KR102290992B1 - Electronic apparatus and method for controlling a group action - Google Patents

Electronic apparatus and method for controlling a group action Download PDF

Info

Publication number
KR102290992B1
KR102290992B1 KR1020140187564A KR20140187564A KR102290992B1 KR 102290992 B1 KR102290992 B1 KR 102290992B1 KR 1020140187564 A KR1020140187564 A KR 1020140187564A KR 20140187564 A KR20140187564 A KR 20140187564A KR 102290992 B1 KR102290992 B1 KR 102290992B1
Authority
KR
South Korea
Prior art keywords
electronic device
group action
external device
information
state
Prior art date
Application number
KR1020140187564A
Other languages
Korean (ko)
Other versions
KR20160072753A (en
Inventor
하지훈
이민호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2015/012839 priority Critical patent/WO2016099048A1/en
Priority to US14/953,184 priority patent/US10505752B2/en
Priority to CN201510931385.8A priority patent/CN105704204B/en
Publication of KR20160072753A publication Critical patent/KR20160072753A/en
Application granted granted Critical
Publication of KR102290992B1 publication Critical patent/KR102290992B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공된다. 보다 상세하게는 외부 장치의 상태 변경에 대응되는 그룹 액션을 생성하고 외부 장치를 제어가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공된다. 개시된 실시예 중 일부는 서버를 통해 수신된 외부 장치의 상태 정보에 대응하여 그룹 액션을 생성하고, 생성된 그룹 액션을 통해 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공된다.An electronic device and a method for controlling a group action of the electronic device are provided. In more detail, an electronic device capable of generating a group action corresponding to a state change of an external device and controlling the external device and a group action control method of the electronic device are provided. Some of the disclosed embodiments provide an electronic device capable of generating a group action in response to status information of an external device received through a server, and changing the status of the external device through the generated group action, and a group action control method of the electronic device do.

Description

전자 장치 및 전자 장치의 그룹 액션 제어방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING A GROUP ACTION}ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING A GROUP ACTION

아래 실시예들은 전자 장치 및 전자 장치의 그룹 액션 제어방법에 관한 것으로, 상세하게는 외부 장치의 상태 변경에 대응되는 그룹 액션을 생성, 수정하고, 그룹 액션을 이용하여 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법에 관한 것이다.The following embodiments relate to an electronic device and a method for controlling a group action of the electronic device, and in particular, an electronic device capable of creating and modifying a group action corresponding to a change in the state of the external device, and using the group action to change the state of the external device The present invention relates to a device and a method for controlling a group action of an electronic device.

최근 전자 장치에서 제공하는 다양한 서비스 및 기능들은 점차 확대되고, 멀티 태스킹도 가능하다. 전자 장치에 IoT(Internet of things) 환경에 대응되는 다양한 어플리케이션이 개발되고 있다. Recently, various services and functions provided by electronic devices are gradually expanding, and multitasking is also possible. Various applications corresponding to the Internet of things (IoT) environment are being developed in electronic devices.

IoT 환경은 사물(things)이 각종 통신 기술을 이용하여 인터넷에 접속되는 환경을 의미한다. 사용자 주위의 사물들이 인터넷을 통해 상호 통신이 가능하고, 사용자와 사물과의 통신도 가능할 수 있다. The IoT environment refers to an environment in which things are connected to the Internet using various communication technologies. Things around the user may communicate with each other through the Internet, and communication between the user and things may also be possible.

IoT 환경에서, 사용자에 의해 휴대되는 전자 장치와 하나의 사물 사이의 제어(예를 들어, 동작 시작, 동작 종료, 전원 온/오프 등)가 전자 장치에 인스톨된 어플리케이션을 이용하여 수행되는 것이 일반적이다. 전자 장치와 복수의 사물들로 구성된 IoT환경에서, 전자 장치에 인스톨된 어플리케이션을 이용하여 전자 장치와 각각의 사물들을 등록하는데 시간이 많이 소요된다. 또한, 전자 장치에서 등록된 사물들을 각각 제어하기 위해 번거롭고 복잡한 단계가 필요할 수 있다. In the IoT environment, it is common that control (eg, start operation, end operation, power on/off, etc.) between an electronic device carried by a user and one thing is performed using an application installed in the electronic device. . In an IoT environment composed of an electronic device and a plurality of things, it takes a lot of time to register the electronic device and each thing using an application installed in the electronic device. In addition, cumbersome and complicated steps may be required to control each of the registered objects in the electronic device.

본 발명의 실시예에 따른 전자 장치의 그룹 액션 제어방법은 외부 장치 및 서버와 연결가능한 전자 장치에서 어플리케이션을 실행하는 단계, 상기 서버로 상기 외부 장치에 대응되는 외부 장치 상태 정보를 요청하는 단계, 상기 서버에서부터 수신된 상기 외부 장치 상태 정보를 상기 어플리케이션 화면에 표시하는 단계, 및, 상기 표시된 외부 장치 상태 정보에 대응되는 그룹 액션을 생성하는 단계를 포함하고, 상기 외부 장치 상태 정보는 사용자의 입력에 의해 수동으로 변경된 외부 장치의 상태 정보를 포함한다. A method for controlling a group action of an electronic device according to an embodiment of the present invention includes the steps of executing an application in an electronic device connectable to an external device and a server, requesting external device status information corresponding to the external device from the server, and the displaying the external device status information received from a server on the application screen, and generating a group action corresponding to the displayed external device status information, wherein the external device status information is input by a user. Contains manually changed status information of the external device.

본 발명의 다른 실시예에 따른 전자 장치의 그룹 액션 제어방법은 외부 장치 및 서버와 연결가능한 전자 장치에서 어플리케이션을 실행하는 단계, 상기 전자 장치의 상태가 변경되는 경우, 상기 서버로 상기 외부 장치의 상태 정보를 요청하는 단계, 상기 서버에서부터 수신된 상기 전자 장치의 상태 변경에 대응되는 추천 그룹 액션 리스트를 상기 어플리케이션 화면에 표시하는 단계, 상기 추천 그룹 액션 리스트 중 하나의 추천 그룹 액션의 선택을 수신하는 단계, 및, 상기 선택된 추천 그룹 액션을 실행하는 단계를 포함하고, 상기 추천 그룹 액션은 사용자의 입력에 의해 변경되는 외부 장치의 상태에 대응된다. A method for controlling a group action of an electronic device according to another embodiment of the present invention includes executing an application in an electronic device connectable to an external device and a server, and when the state of the electronic device is changed, the state of the external device to the server Requesting information, displaying a recommended group action list corresponding to a state change of the electronic device received from the server on the application screen, receiving a selection of one recommended group action from the recommended group action list , and executing the selected recommended group action, wherein the recommended group action corresponds to a state of an external device changed by a user input.

본 발명의 실시예에 따른 전자 장치는 터치 스크린, 서버와 연결되는 통신부, 및, 상기 터치 스크린 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 서버로 상기 서버와 연결되는 외부 장치에 대응되는 외부 장치 상태 정보를 요청하고, 상기 서버에서부터 수신되어 상기 터치 스크린에 표시되는 상기 외부 장치 상태 정보를 이용하여 그룹 액션을 생성하고, 상기 외부 장치 상태 정보는 사용자의 입력에 의해 수동으로 변경된 상기 외부 장치의 상태 정보를 포함한다. An electronic device according to an embodiment of the present invention includes a touch screen, a communication unit connected to a server, and a control unit for controlling the touch screen and the communication unit, wherein the control unit corresponds to an external device connected to the server with the server. request external device status information to be used, create a group action using the external device status information received from the server and displayed on the touch screen, wherein the external device status information is manually changed by a user input Contains device status information.

외부 장치의 상태 변경에 대응되는 그룹 액션을 생성하고 생성된 그룹 액션으로 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공될 수 있다. An electronic device capable of generating a group action corresponding to a state change of the external device and changing the state of the external device by the generated group action and a group action control method of the electronic device may be provided.

서버를 통해 수신된 외부 장치 상태 정보에 대응되는 그룹 액션을 생성하고, 생성된 그룹 액션을 통해 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공될 수 있다. An electronic device capable of generating a group action corresponding to external device status information received through a server, and changing the status of the external device through the generated group action, and a group action control method of the electronic device may be provided.

외부 장치의 상태 정보를 분석하는 서버에서부터 외부 장치의 상태에 대응되는 추천 그룹 액션을 수신하고, 수신된 추천 그룹 액션을 통해 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공될 수 있다. An electronic device capable of receiving a recommended group action corresponding to the state of the external device from a server that analyzes the state information of the external device, and changing the state of the external device through the received recommended group action, and a group action control method of the electronic device are provided can be

전자 장치의 상태 변경에 대응되는 그룹 액션을 수신하고 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공될 수 있다. An electronic device capable of receiving a group action corresponding to a state change of the electronic device and changing the state of an external device and a group action control method of the electronic device may be provided.

이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 외부 장치의 상태 변경에 대응되는 그룹 액션을 생성하고 생성된 그룹 액션으로 외부 장치의 상태를 변경가능한 전자 장치 및 전자 장치의 그룹 액션 제어방법이 제공될 수 있다.Without being limited thereto, according to various embodiments of the present disclosure, an electronic device capable of generating a group action corresponding to a state change of an external device and changing the state of the external device by the generated group action and a group action control method of the electronic device are provided can be

도 1은 본 발명의 실시예에 따른 전자 장치, 외부 장치 및 서버의 연결을 나타내는 개략적인 도면이다.
도 2a는 본 발명의 실시예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 2b는 본 발명의 실시예에 따른 외부 장치를 나타내는 개략적인 블럭도이다.
도 2c는 본 발명의 실시예에 따른 서버를 나타내는 개략적인 블럭도이다.
도 3은 본 발명의 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 6a 내지 6f는 본 발명의 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
도 7a 내지 7e는 본 발명의 다른 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
도 8a 내지 도 8g는 본 발명의 다른 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.1 is a schematic diagram illustrating a connection between an electronic device, an external device, and a server according to an embodiment of the present invention.
2A is a schematic block diagram illustrating an electronic device according to an embodiment of the present invention.
2B is a schematic block diagram illustrating an external device according to an embodiment of the present invention.
2C is a schematic block diagram illustrating a server according to an embodiment of the present invention.
3 is a schematic flowchart illustrating an electronic device, an external device, a server, and a method for controlling a group action of an electronic device according to an embodiment of the present invention.
4 is a schematic flowchart illustrating an electronic device, an external device, a server, and a group action control method of an electronic device according to another embodiment of the present invention.
5 is a schematic flowchart illustrating an electronic device, an external device, a server, and a group action control method of the electronic device according to another embodiment of the present invention.
6A to 6F are diagrams illustrating examples of screens of an electronic device according to an embodiment of the present invention.
7A to 7E are diagrams illustrating examples of screens of an electronic device according to another embodiment of the present invention.
8A to 8G are diagrams illustrating examples of screens of an electronic device according to another embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. In addition, a method of making and using the present invention will be described in detail with reference to the contents described in the accompanying drawings. The same reference numbers or reference numerals presented in each drawing indicate parts or components that perform substantially the same functions.

“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including an ordinal number such as “first” and “second” may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term “and/or” includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어플리케이션(application)은 컴퓨터용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 워드 프로세서, 스프레드 시트, 연락처(contacts) 어플리케이션, 캘린더(calendar) 어플리케이션, 메모(memo) 어플리케이션, 알람(alarm) 어플리케이션, SNS(Social Network System) 어플리케이션, 채팅(chatting) 어플리케이션, 지도(Map) 어플리케이션, 뮤직 플레이어 또는 비디오 플레이어를 포함할 수 있다. 본 발명의 실시예에 따른 어플리케이션은 전자 장치 또는 전자 장치와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 발명의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 전자 장치에서 실행되는 소프트웨어를 의미할 수 있다. An application refers to software used by a user by running on an operating system (OS) for a computer or a mobile OS. For example, the application includes a word processor, a spreadsheet, a contacts application, a calendar application, a memo application, an alarm application, a social network system (SNS) application, a chatting application, It may include a Map application, a music player, or a video player. An application according to an embodiment of the present invention may refer to software executed in an electronic device or an external device (eg, a server, etc.) connected to the electronic device by wire or wirelessly. Also, an application according to an embodiment of the present invention may refer to software executed in an electronic device in response to a received user input.

본 발명의 실시예에서, 외부 장치(200)의 상태는 외부 장치(200)의 상황(context)를 의미할 수 있다. 외부 장치(200)의 상태에 대응되는 상태 정보는 외부 장치(200)의 상황 정보(context information)를 의미할 수 있다. 외부 장치(200)의 상태 변경은 외부 장치(200)의 상황 정보 변경과 동일한 의미일 수 있다. In an embodiment of the present invention, the state of the external device 200 may mean the context of the external device 200 . The state information corresponding to the state of the external device 200 may mean context information of the external device 200 . Changing the state of the external device 200 may have the same meaning as changing the context information of the external device 200 .

콘텐트(content)는 실행되는 어플리케이션에서 표시될 수 있다. 예를 들어, 어플리케이션 중 하나인 비디오 플레이어에서 재생되는 비디오 파일 또는 오디오 파일, 뮤직 플레이어에서 재생되는 뮤직 파일, 포토 갤러리에서 표시되는 포토 파일, 웹 브라우저에서 표시되는 웹 페이지 파일 등을 포함할 수 있다. 콘텐트는 어플리케이션에서 표시 또는 실행되는 비디오 파일, 오디오 파일, 텍스트 파일, 이미지 파일 또는 웹 페이지를 포함할 수 있다. 본 발명의 실시예에서 “비디오”라는 용어는 동영상과 동일한 의미로 사용될 수 있다. 또한, 콘텐트는 수신되는 사용자 입력(예를 들어, 터치 등)에 대응하여 실행되는 비디오 파일, 오디오 파일, 텍스트 파일, 이미지 파일 또는 웹 페이지를 포함할 수 있다. Content may be displayed in an application being executed. For example, it may include a video file or audio file played on a video player, which is one of the applications, a music file played on the music player, a photo file displayed on a photo gallery, a web page file displayed on a web browser, and the like. The content may include a video file, an audio file, a text file, an image file, or a web page displayed or executed in an application. In an embodiment of the present invention, the term “video” may be used with the same meaning as a moving picture. Also, the content may include a video file, an audio file, a text file, an image file, or a web page that is executed in response to a received user input (eg, a touch, etc.).

콘텐트는 실행되는 어플리케이션 화면 및 어플리케이션 화면을 구성하는 유저 인터페이스(user interface)를 포함한다. 또한, 콘텐트는 하나의 콘텐트 또는 복수의 콘텐츠를 포함할 수도 있다. The content includes an executed application screen and a user interface constituting the application screen. Also, the content may include one content or a plurality of content.

위젯(widget)은 사용자와 어플리케이션 또는 OS와의 상호 작용을 보다 원활하게 지원해주는 그래픽 유저 인터페이스(GUI, Graphic User Interface) 중 하나인 미니 어플리케이션을 의미한다. 예를 들어, 날씨 위젯, 계산기 위젯, 시계 위젯 등이 있다. A widget refers to a mini-application that is one of graphic user interfaces (GUIs) that more smoothly support interaction between a user and an application or an OS. For example, a weather widget, a calculator widget, a clock widget, and so on.

본 명세서에서 그룹 액션은 하나 또는 복수의 외부 장치의 액션들의 집합(set)을 의미할 수 있으며, 그룹 액션에 포함되는 적어도 하나의 액션은 대응되는 외부 장치의 상태 변경을 위한 제어 명령어를 포함할 수 있다. 그룹 액션이 생성되는 경우, 그룹 액션에 대응되는 그룹 액션 정보가 생성되어 저장될 수 있다. 그룹 액션 정보는 설정된 상황에 대응되는 외부 장치들의 설정된 동작(예를 들어, 상태 변경)을 수행하여야 하는 지에 관한 정보를 포함할 수 있다. 예를 들어, 그룹 액션 정보는 그룹 액션 타이틀, 외부 장치 식별자(ID), 외부 장치 이름, 외부 장치의 상태 변경 정보(예를 들어, On ↔ Off 등) 또는 외부 장치의 상태 변경 조건 정보(예를 들어, 제한 기간 5분) 등을 포함할 수 있으며, 이에 한정되지 않는다.
In this specification, a group action may mean a set of actions of one or a plurality of external devices, and at least one action included in the group action may include a control command for changing the state of the corresponding external device. have. When a group action is generated, group action information corresponding to the group action may be generated and stored. The group action information may include information on whether a set operation (eg, state change) of external devices corresponding to a set situation should be performed. For example, group action information includes group action title, external device identifier (ID), external device name, external device status change information (eg, On ↔ Off, etc.) or external device status change condition information (eg, For example, a limited period of 5 minutes) may be included, but is not limited thereto.

본 출원서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
The terms used in this application are used to describe the embodiments, and are not intended to limit and/or limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. The same reference numerals provided in the respective drawings indicate members that perform substantially the same functions.

도 1은 본 발명의 실시예에 따른 전자 장치, 외부 장치 및 서버의 연결을 나타내는 개략적인 도면이다. 1 is a schematic diagram illustrating a connection between an electronic device, an external device, and a server according to an embodiment of the present invention.

도 1을 참조하면, 전자 장치(100), 서버(300) 및 외부 장치(200)는 각각의 통신부(도 2 참조)를 이용하여 무선으로 서로 연결될 수 있다. 예를 들어, 애드 혹 모드(ad-hoc mode) 또는 AP(access point)를 통해 무선으로 상호 연결되는 인프라스트럭쳐 모드(infra-structure mode)로 연결될 수 있다. 전자 장치(100) 및 외부 장치(200)는 서버(300)와 무선으로 연결될 수 있다. 또한, 전자 장치(100)는 직접 외부 장치(200)와 무선으로 연결될 수 있다. Referring to FIG. 1 , an electronic device 100 , a server 300 , and an external device 200 may be wirelessly connected to each other using respective communication units (see FIG. 2 ). For example, it may be connected in an ad-hoc mode or an infrastructure mode that is wirelessly interconnected through an access point (AP). The electronic device 100 and the external device 200 may be wirelessly connected to the server 300 . Also, the electronic device 100 may be directly connected to the external device 200 wirelessly.

무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이 장치(100), 태블릿 장치(200) 및 외부 장치(300)는 커넥터를 통해 유선으로도 연결 가능하다. Wireless communication is, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared communication (IrDA, infrared Data Association) ), NFC (Near Field Communication), etc. may be there, but is not limited thereto. Also, the display device 100 , the tablet device 200 , and the external device 300 may be connected by wire through a connector.

전자 장치(100)는 어플리케이션(600, 도 6c 참조)을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태 변경(예를 들어, 전원 온/오프, 채널 변경 등)에 대응되는 상태 변경 정보를 서버(300)를 통해 수신할 수 있다. 또한, 전자 장치(100)는 어플리케이션(600, 도 6c 참조)을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태 변경(예를 들어, 전원 온/오프, 채널 변경 등) 에 대응되는 상태 변경 정보를 디스플레이 장치(201)에서부터 직접 수신할 수도 있다. The electronic device 100 has a state corresponding to a state change (eg, power on/off, channel change, etc.) of the display device 201 that is one of the external devices 200 through the application 600 (refer to FIG. 6C ). Change information may be received through the server 300 . Also, the electronic device 100 responds to a state change (eg, power on/off, channel change, etc.) of the display device 201 that is one of the external devices 200 through the application 600 (refer to FIG. 6C ). State change information to be changed may be directly received from the display device 201 .

전자 장치(100)는 어플리케이션(600, 도 6c 참조) 및 서버(300)을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태를 변경(예를 들어, 전원 온)할 수 있다. 또한, 전자 장치(100)는 어플리케이션(600, 도 6c 참조)을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태를 직접 변경(예를 들어, 전원 온)할 수도 있다.
The electronic device 100 may change the state (eg, power on) of the display device 201 , which is one of the external devices 200 , through the application 600 (refer to FIG. 6C ) and the server 300 . Also, the electronic device 100 may directly change (eg, turn on the power) of the display device 201 , which is one of the external devices 200 , through the application 600 (refer to FIG. 6C ).

도 2a는 본 발명의 실시예에 따른 전자 장치를 나타내는 개략적인 블럭도이다. 2A is a schematic block diagram illustrating an electronic device according to an embodiment of the present invention.

도 2를 참조하면, 전자 장치(100)는 이동 통신부(120), 서브 통신부(130) 및 커넥터(165)를 이용하여 외부 장치(200)와 유선 또는 무선으로 연결될 수 있다. 전자 장치(100)는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), MP3 플레이어, 동영상 플레이어, 태블릿 PC, 신체에 착용 가능한 웨어러블 장치, 전자 칠판, 또는 디스플레이 장치(201) 등을 포함할 수 있다. 디스플레이 장치(201)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률(curvature)인 화면을 가지는 커브드(curved) TV, 고정 곡률인 화면을 가지는 플렉시블(flexible) TV, 고정 곡률인 화면을 가지는 벤디드(bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. Referring to FIG. 2 , the electronic device 100 may be connected to the external device 200 by wire or wirelessly using the mobile communication unit 120 , the sub communication unit 130 , and the connector 165 . The electronic device 100 may include a mobile phone (not shown), a smart phone (not shown), an MP3 player, a video player, a tablet PC, a wearable device that can be worn on the body, an electronic blackboard, or a display device 201 . can The display device 201 includes an analog TV, a digital TV, a 3D-TV, a smart TV, an LED TV, an OLED TV, a plasma TV, a monitor, a curved TV having a fixed curvature screen, and a fixed curvature screen. It may be implemented as a flexible TV having a fixed curvature screen, a bent TV having a fixed curvature screen, and/or a curvature variable TV capable of changing the curvature of the current screen by a received user input, but is not limited thereto. It will be readily understood by those of ordinary skill in the art.

전자 장치(100)는 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치일 수 있다. 전자 장치(100)는 입력 펜 및 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치일 수 있다. 전자 장치(100)는 터치 스크린(190)에서 입력되는 인터랙션(예를 들어, 터치 또는 터치 제스처)을 이용하여 외부 장치와 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있는 전자 장치를 포함할 수 있다. 또한, 전자 장치(100)는 디스플레이부(예를 들어, 터치 패널은 없고 디스플레이 패널만 있는, 도시되지 아니함)를 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 장치를 의미할 수 있다. 전자 장치(100)는 하나 또는 둘 이상의 터치 스크린을 가질 수 있다. 또한, 전자 장치(100)는 하나의 터치 스크린에 각각 구분되는 복수의 화면을 가질 수도 있다. The electronic device 100 may be an electronic device that has a touch screen and can transmit or receive data (or content) to the outside through the communication unit 120 or 130 . The electronic device 100 may be an electronic device capable of externally transmitting or receiving data (or content) through the communication unit 120 or 130 with an input pen and a touch screen. The electronic device 100 is an electronic device capable of transmitting or receiving data (or content) with an external device to the outside using an interaction (eg, touch or touch gesture) input from the touch screen 190 . may include In addition, the electronic device 100 has a display unit (eg, there is no touch panel and only a display panel, not shown) and transmits data (or content) to the outside through the communication unit 120 or 130 or from the outside. It may mean a receiving device. The electronic device 100 may have one or more touch screens. Also, the electronic device 100 may have a plurality of separate screens on one touch screen.

전자 장치(100)는 제어부(110), 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175) 및 전원 공급부(180)를 포함한다. 전자 장치(100)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 포함한다.
The electronic device 100 includes a control unit 110 , a mobile communication unit 120 , a sub communication unit 130 , a multimedia unit 140 , a camera 150 , a GPS 155 , an input/output unit 160 , a sensor unit ( 170 ), a storage unit 175 , and a power supply unit 180 . The electronic device 100 includes a touch screen 190 and a touch screen controller 195 .

제어부(110)는 프로세서(Processor, 111), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. The controller 110 stores signals or data input from the outside of the processor 111 , a ROM 112 in which a control program for controlling the electronic device 100 is stored, and the electronic device 100 , or It may include a RAM (RAM) 113 used as a storage area for various tasks performed in the device 100 .

제어부(110)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들(120 내지 195)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원 공급부(180)를 이용하여 내부 구성 요소들(120 내지 195)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(110)는 센서부(170)의 센서, 저장부(175)에 저장된 OS(Operation System) 또는 어플리케이션을 실행할 수 있다. The controller 110 controls the overall operation of the electronic device 100 and the signal flow between the internal components 120 to 195 of the electronic device 100 , and performs a function of processing data. The control unit 110 controls the supply of power to the internal components 120 to 195 using the power supply unit 180 . In addition, when a user input or a set condition is satisfied, the control unit 110 may execute a sensor of the sensor unit 170 , an operating system (OS) stored in the storage unit 175 , or an application.

프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 버스(bus)로 상호 연결될 수 있다. The processor 111 may include a graphic processing unit (GPU, not shown) for graphic processing. The processor 111 may be implemented in the form of a system on chip (SoC) including a core (not shown) and a GPU (not shown). The processor 111 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. In addition, the processor 111 , the ROM 112 , and the RAM 113 may be interconnected by a bus.

제어부(110)는 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다. The control unit 110 includes a mobile communication unit 120 , a sub communication unit 130 , a multimedia unit 140 , a camera 150 , a GPS 155 , an input/output unit 160 , a sensor unit 170 , a storage unit ( 175 ), the power supply unit 180 , the touch screen 190 , and the touch screen controller 195 may be controlled.

본 발명의 실시예에 따른 제어부(110)는 외부 장치 및 서버와 연결가능한 전자 장치에서 어플리케이션을 실행하고, 상기 서버를 통해 상기 외부 장치에 대응되는 외부 장치 상태 정보를 요청하여 상기 서버에서부터 수신된 상기 외부 장치 상태 정보를 상기 어플리케이션 화면에 표시하고, 상기 표시된 외부 장치 상태 정보에 대응되는 그룹 액션을 생성한다. The control unit 110 according to an embodiment of the present invention executes an application in an electronic device connectable to an external device and a server, requests external device status information corresponding to the external device through the server, and receives the information from the server. The external device status information is displayed on the application screen, and a group action corresponding to the displayed external device status information is generated.

제어부(110)는 상기 외부 장치 상태 정보에 상기 외부 장치의 식별자, 이름, 동작 정보, 공간 정보, 환경 정보, 가용 자원 정보, 동작 이력 정보, 또는 장애 정보를 포함하도록 제어할 수 있다. The controller 110 may control the external device status information to include the identifier, name, operation information, space information, environment information, available resource information, operation history information, or failure information of the external device.

상기 전자 장치의 상태가 변경되는 경우, 제어부(110)는 상기 서버에 상기 전자 장치의 상태 변경에 대응되는 상기 외부 장치의 상태 정보를 요청하도록 제어할 수 있다. When the state of the electronic device is changed, the controller 110 may control the server to request the state information of the external device corresponding to the change in the state of the electronic device.

상기 전자 장치의 상태가 변경되는 경우, 제어부(110)는 상기 서버로 상기 전자 장치의 상태 변경에 대응되는 상태 변경 정보를 전송 하도록 제어할 수 있다. When the state of the electronic device is changed, the controller 110 may control to transmit state change information corresponding to the state change of the electronic device to the server.

제어부(110)는 상기 전자 장치의 위치 변경을 상기 전자 장치에서 검출되거나 또는 상기 전자 장치와 상기 외부 장치의 연결을 통해 검출되도록 제어할 수 있다. The controller 110 may control the location change of the electronic device to be detected by the electronic device or detected through a connection between the electronic device and the external device.

상기 서버와 연결되지 않는 경우, 제어부(110)는 상기 외부 장치로 상기 외부 장치의 상태 정보를 요청하도록 제어할 수 있다. When not connected to the server, the controller 110 may control the external device to request status information of the external device.

상기 외부 장치 상태 정보를 상기 어플리케이션 화면에 표시하는 경우, 제어부(110)는 상기 화면에 표시되는 상기 외부 장치에 대응되는 아이콘을 우선 순위에 의해 표시되도록 제어할 수 있다. When the external device status information is displayed on the application screen, the controller 110 may control the icons corresponding to the external devices displayed on the screen to be displayed in order of priority.

제어부(110)는 상기 표시된 외부 장치 상태 정보에 포함되는 선택 박스에 대한 사용자의 선택에 대응하여 상기 그룹 액션과 다른 그룹 액션을 생성하도록 제어할 수 있다. The controller 110 may control to generate a group action different from the group action in response to a user's selection of a selection box included in the displayed external device status information.

제어부(110)는 상기 생성된 그룹 액션에 상기 외부 장치에 대응되는 식별자를 포함하는 그룹 액션 정보를 포함하도록 제어할 수 있다. The controller 110 may control to include group action information including an identifier corresponding to the external device in the generated group action.

상기 생성된 그룹 액션을 저장하는 경우, 제어부(110)는 상기 저장된 그룹 액션에 그룹 액션 타이틀을 포함하는 그룹 액션 정보를 포함하도록 제어할 수 있다. When storing the generated group action, the controller 110 may control to include group action information including a group action title in the stored group action.

상기 생성된 그룹 액션을 저장하는 경우, 제어부(110)는 상기 그룹 액션의 저장에 대응하여 시각, 청각 및 촉각 피드백 중 적어도 하나의 피드백을 제공하도록 제어할 수 있다. When storing the generated group action, the controller 110 may control to provide at least one of visual, auditory, and tactile feedback in response to the storage of the group action.

본 발명의 다른 실시예에 따른 제어부(110)는 외부 장치 및 서버와 연결가능한 전자 장치에서 어플리케이션을 실행하고, 상기 전자 장치의 상태가 변경되는 경우, 상기 서버로 상기 외부 장치의 상태 정보를 요청하여 상기 서버에서부터 수신된 상기 전자 장치의 상태 변경에 대응되는 추천 그룹 액션 리스트를 상기 어플리케이션 화면에 표시하고, 상기 추천 그룹 액션 리스트 중 하나의 추천 그룹 액션의 선택을 수신하여 상기 선택된 추천 그룹 액션을 실행한다. The control unit 110 according to another embodiment of the present invention executes an application in an electronic device connectable to an external device and a server, and requests status information of the external device to the server when the status of the electronic device is changed. A recommended group action list corresponding to the state change of the electronic device received from the server is displayed on the application screen, and a selection of one recommended group action from the recommended group action list is received and the selected recommended group action is executed. .

제어부(110)는 상기 추천 그룹 액션의 실행에 대응되는 컨트롤 패킷을 상기 서버로 전송하도록 제어할 수 있다. The controller 110 may control to transmit a control packet corresponding to the execution of the recommendation group action to the server.

본 발명의 실시예에서 “제어부”이라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함한다.
In an embodiment of the present invention, the term “control unit” includes a processor 111 , a ROM 112 , and a RAM 113 .

이동 통신부(120)는 제어부의 제어에 따라 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망을 통해 외부 장치와 연결할 수 있다. 이동 통신부(120)는 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다. The mobile communication unit 120 may connect to an external device through a mobile communication network using one or more antennas under the control of the control unit. Mobile communication unit 120 is a mobile phone (not shown), smart phone (not shown), tablet PC or other electronic device (not shown) having a connectable phone number and voice calls, video calls, text messages (SMS) , can transmit/receive wireless signals for multimedia messages (MMS) and data communication.

서브 통신부(130)는 무선랜(131)과 근거리 통신부(132) 중 적어도 하나(예를 들어, 무선랜(131) 및 근거리 통신부(132) 중 하나, 또는 무선랜(131)과 근거리 통신부(132) 모두)를 포함할 수 있다. The sub communication unit 130 includes at least one of the wireless LAN 131 and the short-range communication unit 132 (eg, one of the wireless LAN 131 and the short-range communication unit 132 , or the wireless LAN 131 and the short-range communication unit 132 ). ) can be included.

무선랜(131)은 제어부의 제어에 따라 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(132)은 제어부의 제어에 따라 AP없이 무선으로 전자 장치(100)와 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다. The wireless LAN 131 may be wirelessly connected to the AP at a place where an access point (AP) is installed under the control of the controller. The wireless LAN 131 supports the wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronics Engineers (IEEE). The short-range communication unit 132 may perform short-distance communication between the electronic device 100 and an external device wirelessly without an AP under the control of the controller. Short-distance communication may include Bluetooth, Bluetooth low energy, infrared data association (IrDA), Wi-Fi, Ultra Wideband (UWB), and Near Field Communication (NFC). can

전자 장치(100)는 성능에 따라 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(100)는 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132) 중 하나, 또는 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132)의 조합을 포함할 수 있다. 전자 장치(100)는 이동 통신부(120) 및 서브 통신부(130) 중 하나를 이용하여 외부의 액세서리(예를 들어, 무선 스피커, 무선 헤드셋 등)와 연결할 수 있다. The electronic device 100 may include at least one of a mobile communication unit 120 , a wireless LAN 131 , and a short-range communication unit 132 according to performance. For example, the electronic device 100 may include one of the mobile communication unit 120 , the wireless LAN 131 , and the short-range communication unit 132 , or the mobile communication unit 120 , the wireless LAN 131 , and the short-range communication unit 132 . may include a combination of The electronic device 100 may connect to an external accessory (eg, a wireless speaker, a wireless headset, etc.) using one of the mobile communication unit 120 and the sub communication unit 130 .

본 발명의 실시예에서 “통신부”라는 용어는 이동 통신부(120), 서브 통신부(130)를 포함한다.
In an embodiment of the present invention, the term “communication unit” includes a mobile communication unit 120 and a sub communication unit 130 .

멀티미디어부(140)는 방송 수신부(141), 오디오 재생부(142) 또는 동영상 재생부(143)를 포함할 수 있다. 방송 수신부(141)는 제어부의 제어에 따라 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부는 수신된 방송 신호 및 방송 부가 정보를 터치 스크린, 비디오 코덱(video code, 도시되지 아니함) 및 오디오 코덱(audio codec, 도시되지 아니함)을 이용하여 재생할 수 있다. The multimedia unit 140 may include a broadcast receiver 141 , an audio player 142 , or a video player 143 . The broadcast receiving unit 141 includes a broadcast signal (for example, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal) transmitted from an external broadcast station through an antenna (not shown) under the control of the controller and additional broadcast information (for example, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal). For example, an Electric Program Guide (EPS) or an Electric Service Guide (ESG) may be received. Also, the controller may reproduce the received broadcast signal and broadcast additional information using a touch screen, a video codec (not shown), and an audio codec (not shown).

오디오 재생부(142)는 제어부의 제어에 따라 전자 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav를 포함하는 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다. The audio reproducing unit 142 is an audio source pre-stored in the storage unit 175 of the electronic device 100 or received from the outside (eg, file extension mp3, wma, ogg, or wav) according to the control of the controller. included audio file) can be played using an audio codec.

본 발명의 실시예에 따라 오디오 재생부(142)는 제어부의 제어에 따라 그룹 액션의 생성 또는 그룹 액션의 실행에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다. According to an embodiment of the present invention, the audio reproducing unit 142 provides audio feedback (eg, output of an audio source stored in the storage unit, etc.) corresponding to generation of a group action or execution of a group action under the control of the controller. You can play through the codec.

본 발명의 실시예에 따라 오디오 재생부(142)는 제어부의 제어에 따라 터치 스크린(190)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다. According to an embodiment of the present invention, the audio reproducing unit 142 provides auditory feedback (eg, an audio source stored in the storage unit) corresponding to a touch detected on the touch screen 190 or a continuous movement of the touch under the control of the controller. output, etc.) can be played back through the audio codec.

동영상 재생부(143)는 제어부의 제어에 따라 전자 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv를 포함하는 비디오 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 전자 장치(100)에 설치가능한 멀티미디어 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 소스를 재생할 수 있다. 또한, 전자 장치(100)에 설치가능한 멀티미디어 어플리케이션은 하드웨어 코덱(도시되지 아니함) 및/또는 소프트웨어 코덱(도시되지 아니함)을 이용하여 동영상 소스를 재생할 수 있다. The video playback unit 143 is a digital video source (eg, a file extension of mpeg, mpg, mp4, avi that is pre-stored in the storage unit 175 of the electronic device 100 or received from the outside) according to the control of the controller. , mov, or mkv) can be played using a video codec. The multimedia application installable in the electronic device 100 may reproduce an audio source or a moving picture source using an audio codec and/or a video codec. Also, a multimedia application installable in the electronic device 100 may reproduce a video source using a hardware codec (not shown) and/or a software codec (not shown).

본 발명의 실시예에 따라 동영상 재생부(143)은 제어부의 제어에 따라 그룹 액션의 생성 또는 그룹 액션의 실행에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 통해 재생할 수 있다. According to an embodiment of the present invention, the video playback unit 143 provides visual feedback (eg, output of a video source stored in the storage, etc.) corresponding to the generation of a group action or execution of the group action under the control of the controller. You can play through the codec.

다양한 파일 확장자를 가지는 오디오/비디오 파일을 재생가능한 다양한 종류의 비디오 코덱 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. It will be readily understood by those skilled in the art that various types of video codecs and audio codecs capable of reproducing audio/video files having various file extensions are being produced and sold.

멀티미디어부(140)는 전자 장치(100)의 성능 또는 구조에 대응하여 방송 수신부(141)을 제외하고 오디오 재생부(142)과 동영상 재생부(143)를 포함할 수 있다. 또한, 제어부(110)는 멀티미디어부(140)의 오디오 재생부(142) 또는 동영상 재생부(143)를 포함할 수 있다. The multimedia unit 140 may include an audio reproducing unit 142 and a moving picture reproducing unit 143 excluding the broadcast receiving unit 141 in response to the performance or structure of the electronic device 100 . Also, the controller 110 may include an audio reproducing unit 142 or a moving picture reproducing unit 143 of the multimedia unit 140 .

본 발명의 실시예에서 “오디오 코덱”이라는 용어는 하나 또는 둘 이상의 오디오 코덱을 포함할 수 있다. 본 발명의 실시예에서 “비디오 코덱”이라는 용어는 하나 또는 둘 이상의 비디오 코덱을 포함할 수 있다.
In an embodiment of the present invention, the term “audio codec” may include one or more than one audio codec. In an embodiment of the present invention, the term “video codec” may include one or two or more video codecs.

카메라(150)는 제어부의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 전면(도 1a의 100a)의 제1 카메라(도 1a의 151) 및 후면(도시되지 아니함)의 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라(150)는 제1 카메라(151) 및 제2 카메라(152) 중 하나 또는 양자를 모두 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(153))을 포함할 수 있다. The camera 150 is at least one of a first camera (151 in FIG. 1A) of a front side (100a of FIG. 1A) and a second camera 152 of a rear side (not shown) for capturing still images or moving pictures under the control of the controller. may contain one. For example, the camera 150 may include one or both of the first camera 151 and the second camera 152 . Also, the first camera 151 or the second camera 152 may include an auxiliary light source (eg, a flash 153 ) that provides an amount of light required for photographing.

제어부는 전면의 제1 카메라(151) 및 제1 카메라(151)에 인접(예를 들어, 제1 카메라(151)와의 간격이 30 mm 보다 크고 80 mm 보다 작은)되게 위치하는 추가 카메라(예를 들어, 제3 카메라(도시되지 아니함))를 이용하여 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한 제어부는 후면의 제2 카메라(152) 및 제2 카메라(152)에 인접(예를 들어, 제2 카메라(152)와의 간격이 30 mm 보다 크고 80 mm 보다 작은)되게 위치하는 추가 카메라(예를 들어, 제4 카메라(도시되지 아니함))를 이용하여 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한, 카메라(151, 152)는 별도의 어댑터(도시되지 아니함)에 착탈가능한 추가 렌즈(도시되지 아니함)를 이용하여 광각, 망원 및 접사 촬영을 할 수 있다.
The control unit includes the first camera 151 on the front and an additional camera positioned adjacent to the first camera 151 (eg, the distance from the first camera 151 is greater than 30 mm and less than 80 mm). For example, a 3D still image or 3D moving image may be captured using a third camera (not shown). In addition, the control unit is located adjacent to the second camera 152 and the second camera 152 on the rear side (eg, the distance from the second camera 152 is greater than 30 mm and less than 80 mm) an additional camera (for example) For example, a 3D still image or a 3D moving picture may be captured using a fourth camera (not shown). In addition, the cameras 151 and 152 can perform wide-angle, telephoto, and macro photography by using an additional lens (not shown) that is detachable to a separate adapter (not shown).

GPS(155)는 지구 궤도상에 있는 복수의 GPS 위성(156, 도 5c 참조)에서부터 주기적으로 신호(예를 들어, GPS 위성의 궤도 정보, 위성의 시간 정보 및 항법 메시지 등)를 수신한다. 실외의 경우, 전자 장치(100)는 복수의 GPS위성(155a 내지 155d)에서부터 수신되는 신호를 이용하여 복수의 GPS 위성(156a 내지 156d)과 전자 장치(100)의 위치를 산출하고, 송/수신 시간차를 이용하여 거리를 산출할 수 있다. 삼각 측량을 통해 전자 장치(100)의 위치, 시간 또는 이동 속도를 산출할 수 있다. 궤도 보정 또는 시간 보정을 위해 추가의 GPS 위성이 필요할 수 있다. 복수의 GPS 위성(156)에서부터 GPS(155)를 통해 신호가 수신되는 실내의 경우도 휴대 장치(100)는 휴대 장치(100)의 위치, 시간 또는 이동 속도를 산출할 수 있다. The GPS 155 periodically receives signals (eg, orbit information of GPS satellites, time information of satellites, navigation messages, etc.) from a plurality of GPS satellites 156 (refer to FIG. 5C ) in Earth's orbit. When outdoors, the electronic device 100 calculates the positions of the plurality of GPS satellites 156a to 156d and the electronic device 100 using signals received from the plurality of GPS satellites 155a to 155d, and transmits/receives them. The distance can be calculated using the time difference. The position, time, or movement speed of the electronic device 100 may be calculated through triangulation. Additional GPS satellites may be required for orbital or time correction. Even indoors where signals are received from a plurality of GPS satellites 156 through the GPS 155 , the portable device 100 may calculate the location, time, or movement speed of the portable device 100 .

실내의 경우, 전자 장치(100)는 무선 AP(도시되지 아니함)를 이용하여 전자 장치(100)의 위치 또는 이동 속도를 검출할 수 있다. 실내에서 전자 장치(100)의 위치 검출은 무선 AP의 ID를 이용한 셀 아이디(cell-ID) 방식, 무선 AP의 ID와 RSS(Received signal strength)를 이용한 강화 셀 아이디(enhanced cell-ID) 방식 또는 AP에서부터 전송된 신호의 전자 장치(100)에 수신되는 각도를 이용한 AoA(Angle of Arrival) 방식을 이용할 수 있다. In the case of indoors, the electronic device 100 may detect the position or movement speed of the electronic device 100 using a wireless AP (not shown). The location detection of the electronic device 100 indoors is performed using a cell-ID method using an ID of a wireless AP, an enhanced cell-ID method using an ID of a wireless AP and received signal strength (RSS), or An Angle of Arrival (AoA) method using an angle received by the electronic device 100 of a signal transmitted from the AP may be used.

또한, 전자 장치(100)는 무선 비컨(beacon, 도시되지 아니함)을 이용하여 실내에 위치하는 휴대 장치(100)의 위치 또는 이동 속도를 검출할 수 있다. 상기의 방식뿐만 아니라 다양한 방식을 통해 전자 장치(100)의 실내 위치를 검출할 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
Also, the electronic device 100 may detect the position or movement speed of the portable device 100 located indoors by using a wireless beacon (not shown). It will be easily understood by a person skilled in the art that the indoor location of the electronic device 100 can be detected through various methods as well as the above method.

입/출력부(160)는 하나 또는 둘 이상의 버튼(161), 마이크(162), 스피커(163), 진동 모터(164), 커넥터(165), 키패드(166) 및 입력 펜(167) 중 적어도 하나를 포함할 수 있다. The input/output unit 160 includes at least one of one or more buttons 161 , a microphone 162 , a speaker 163 , a vibration motor 164 , a connector 165 , a keypad 166 , and an input pen 167 . may contain one.

도 1을 참조하면, 버튼(161)은 전면(100a)의 하부에 있는 홈 버튼(161a), 메뉴 버튼(161b), 및 돌아가기 버튼(161c)을 포함한다. 버튼(161)은 측면(100b)의 전원/잠금 버튼(161d) 및 적어도 하나의 볼륨 버튼(161e)을 포함할 수 있다. 또한, 전자 장치(100)의 버튼(161)은 홈 버튼(161a), 전원/잠금 버튼(161d) 및 볼륨 버튼(161e)만을 포함할 수 있다. 전자 장치(100)의 버튼(161)은 물리적 버튼뿐만 아니라 터치 스크린(190) 외부의 베젤에 터치 버튼으로도 구현될 수 있다. 또한, 전자 장치(100)의 버튼(161)은 터치 스크린(190)상에 텍스트, 이미지 또는 아이콘 형태로 표시될 수 있다. Referring to FIG. 1 , the button 161 includes a home button 161a , a menu button 161b , and a return button 161c at the lower portion of the front surface 100a . The button 161 may include a power/lock button 161d and at least one volume button 161e on the side surface 100b. Also, the button 161 of the electronic device 100 may include only a home button 161a, a power/lock button 161d, and a volume button 161e. The button 161 of the electronic device 100 may be implemented as a touch button on a bezel outside the touch screen 190 as well as a physical button. Also, the button 161 of the electronic device 100 may be displayed on the touch screen 190 in the form of text, an image, or an icon.

마이크(162)는 제어부의 제어에 따라 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 마이크(162)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(175)에 저장되거나 또는 스피커(163)를 통해 출력될 수 있다. 마이크(162)는 전자 장치(100)의 전면(100a), 측면(100b) 및 후면에 하나 또는 둘 이상 위치할 수 있다. 또한, 전자 장치(100)의 측면(100b)에만 하나 또는 둘 이상의 마이크(162)가 위치할 수도 있다. The microphone 162 receives a voice or sound from the outside under the control of the controller and generates an electrical signal. The electrical signal generated by the microphone 162 may be converted by the audio codec and stored in the storage 175 or may be output through the speaker 163 . One or two or more microphones 162 may be located on the front side 100a , the side surface 100b , and the rear side of the electronic device 100 . Also, one or two or more microphones 162 may be located only on the side surface 100b of the electronic device 100 .

스피커(163)는 제어부의 제어에 따라 오디오 코덱을 이용하여 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140) 또는 카메라(150)의 다양한 신호(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 전자 장치(100)의 외부로 출력할 수 있다. The speaker 163 uses an audio codec under the control of the controller to receive various signals (eg, wireless signals, broadcast signals) of the mobile communication unit 120 , the sub communication unit 130 , the multimedia unit 140 , or the camera 150 . , an audio source, a video file, or a picture) may be output to the outside of the electronic device 100 .

스피커(163)는 전자 장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 또는 사진 촬영버튼 조작음)를 출력할 수 있다. 전자 장치(100)의 전면(100a), 측면(100b) 및 후면에 하나 또는 복수의 스피커(163)가 위치할 수 있다. 도 1 및 도 2a를 참조하면, 전자 장치(100)의 전면(100a)에 복수의 스피커(163a)(163b)가 위치할 수 있다. 또한, 전자 장치(100)의 전면(100a)과 후면에 각각 스피커(163a, 163b)가 위치할 수 있다. 전자 장치(100)의 전면(100a)에 하나의 스피커(163a) 및 후면에 복수의 스피커(163b, 또한 추가 스피커(도시되지 아니함))이 위치할 수 있다. 또한, 측면(100b)에 스피커(163a, 163b)가 위치할 수 있다. 측면(100b)에 추가 스피커(도시되지 아니함)가 위치하는 전자 장치(100)는 전면(100a) 및 후면에 스피커가 위치하는 전자 장치(도시되지 아니함)와 다른 사운드 효과를 사용자에게 제공할 수 있다. The speaker 163 may output a sound corresponding to a function performed by the electronic device 100 (eg, a touch operation sound corresponding to a phone number input, or a photo capturing button operation sound). One or a plurality of speakers 163 may be positioned on the front surface 100a, the side surface 100b, and the rear surface of the electronic device 100 . 1 and 2A , a plurality of speakers 163a and 163b may be positioned on the front surface 100a of the electronic device 100 . Also, speakers 163a and 163b may be positioned on the front side 100a and the rear side of the electronic device 100 , respectively. One speaker 163a on the front side 100a of the electronic device 100 and a plurality of speakers 163b on the rear side, and additional speakers (not shown) may be located. Also, speakers 163a and 163b may be positioned on the side surface 100b. The electronic device 100 in which an additional speaker (not shown) is positioned on the side surface 100b may provide a user with a sound effect different from that of the electronic device (not shown) in which the speaker is positioned on the front side 100a and the rear side. .

본 발명의 실시예에 따라 스피커(163)는 제어부의 제어에 따라 그룹 액션의 생성 또는 그룹 액션의 실행에 대응하여 청각 피드백을 출력할 수 있다. According to an embodiment of the present invention, the speaker 163 may output auditory feedback in response to generation of a group action or execution of the group action under the control of the controller.

진동 모터(164)는 제어부의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 진동 모터(164)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 예를 들어, 다른 전자 장치(도시되지 아니함)에서부터 음성 통화 요청이 수신되는 경우, 진동 모드인 전자 장치(100)의 진동 모터(164)는 제어부의 제어에 따라 동작할 수 있다. 진동 모터(164)는 전자 장치(100)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동 모터(164)는 전자 장치(100) 전체를 진동되게 하거나 또는 전자 장치(100)의 일 부분만을 진동되게 할 수도 있다. The vibration motor 164 may convert an electrical signal into mechanical vibration under the control of the controller. The vibration motor 164 may include a linear vibration motor, a bar type vibration motor, a coin type vibration motor, or a piezoelectric element vibration motor. For example, when a voice call request is received from another electronic device (not shown), the vibration motor 164 of the electronic device 100 in the vibration mode may operate under the control of the controller. One or two or more vibration motors 164 may be located in the electronic device 100 . Also, the vibration motor 164 may cause the entire electronic device 100 to vibrate or only a portion of the electronic device 100 to vibrate.

본 발명의 실시예에 따라 진동 모터(164)는 제어부의 제어에 따라 그룹 액션의 생성 또는 그룹 액션의 실행에 대응하여 촉각 피드백을 출력할 수 있다. 또한, 진동 모터(164)는 제어부의 제어 명령에 기초하여 기 저장되거나 외부에서부터 수신된 다양한 촉각 피드백(예를 들어, 진동의 세기 및 진동 지속 시간)을 제공할 수 있다. According to an embodiment of the present invention, the vibration motor 164 may output a tactile feedback in response to generation of a group action or execution of a group action under the control of the controller. Also, the vibration motor 164 may provide various tactile feedbacks (eg, intensity of vibration and duration of vibration) that are pre-stored or received from the outside based on a control command of the controller.

커넥터(165)는 전자 장치(100)와 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부의 제어에 따라 전자 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 전자 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 입력 받거나 또는 배터리(도시되지 아니함)를 충전할 수 있다. 또한, 전자 장치(100)는 커넥터(165)를 통해 외부의 액세서리(예를 들어, 스피커(도시되지 아니함), 키보드 도크(keyboard dock, 도시되지 아니함))와 연결할 수 있다. The connector 165 may be used as an interface for connecting the electronic device 100 and an external device (not shown) or a power source (not shown). According to the control of the controller, the electronic device 100 transmits data stored in the storage unit 175 to an external device (not shown) or data from the external device (not shown) through a wired cable connected to the connector 165 . can receive The electronic device 100 may receive power from a power source (not shown) or charge a battery (not shown) through a wired cable connected to the connector 165 . Also, the electronic device 100 may be connected to an external accessory (eg, a speaker (not shown) and a keyboard dock (not shown)) through the connector 165 .

키패드(166)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전자 장치(100)에 전면(100a)에 형성되는 물리적인 키패드(도시되지 아니함), 터치 스크린(190)내 표시되는 가상 키패드(도시되지 아니함) 및 무선 또는 유선으로 연결가능한 물리적인 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)의 전면(100a)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다. The keypad 166 may receive a key input from a user for controlling the electronic device 100 . The keypad 166 includes a physical keypad (not shown) formed on the front surface 100a of the electronic device 100, a virtual keypad (not shown) displayed in the touch screen 190, and a physical keypad that can be connected wirelessly or by wire. Including a keypad (not shown). It is easy for a person skilled in the art that a physical keypad (not shown) formed on the front surface 100a of the electronic device 100 may be excluded depending on the performance or structure of the electronic device 100 . will be understood

입력 펜(167)은 전자 장치(100)의 터치 스크린(190)의 홈 화면(191) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 패드 화면, 캘린더 화면, 등)에 표시되는(구성하는) 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 터치하거나 선택할 수 있다. 입력 펜(167)은 전자 장치(100)의 터치 스크린(190) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 화면, 캘린더 화면 등)에 표시되는 콘텐트(content, 예를 들어, 텍스트 파일, 이미지 파일, 오디오 파일, 비디오 파일 또는 웹 페이지)를 터치하거나 선택할 수 있다. 또한, 입력 펜(166)은 전자 장치(100)의 터치 스크린(190)에 표시되는 필기 어플리케이션(예를 들어, 메모 화면 등) 또는 그리기 어플리케이션의 화면(예를 들어, 캔버스 화면 등)에서 필기(handwriting) 또는 그리기(drawing, painting or sketching)를 할 수 있다. The input pen 167 is applied to the home screen 191 of the touch screen 190 of the electronic device 100 or a screen displayed on a handwriting/drawing application (eg, a memo screen, a note pad screen, a calendar screen, etc.). It is possible to touch or select a displayed (composed) object (eg, menu, text, image, video, figure, icon, and shortcut icon). The input pen 167 provides content (eg, content, for example) displayed on the touch screen 190 of the electronic device 100 or a screen displayed on a handwriting/drawing application (eg, a memo screen, a note screen, a calendar screen, etc.). For example, you can touch or select a text file, an image file, an audio file, a video file, or a web page). In addition, the input pen 166 is used for writing (eg, a canvas screen) on a screen of a writing application (eg, a memo screen, etc.) or a drawing application (eg, a canvas screen) displayed on the touch screen 190 of the electronic device 100 . handwriting) or drawing (drawing, painting or sketching).

입력 펜(167)은 정전 용량 방식, 저항막 방식, 또는 전자기 공명(electromagnetic resonance, EMR)의 터치 스크린을 터치하거나 또는 표시되는 가상 키패드를 이용하여 문자 등을 입력할 수 있다. 입력 펜(167)은 스타일러스 펜 또는 내장된 진동 소자(예를 들어, 액추에이터(actuator) 또는 진동 모터)가 진동하는 햅틱 펜(haptic pen, 도시되지 아니함)을 포함할 수 있다. 또한, 입력 펜(167)은 전자 장치(100)에서부터 수신되는 제어 정보뿐만 아니라 입력 펜(167)에 내장된 센서(예를 들어, 가속도 센서, 도시되지 아니함)에서 검출된 센싱 정보에 대응하여 진동 소자를 동작(예를 들어, 진동)시킬 수 있다. The input pen 167 may input a character or the like by touching a capacitive, resistive, or electromagnetic resonance (EMR) touch screen or using a displayed virtual keypad. The input pen 167 may include a stylus pen or a haptic pen (not shown) in which a built-in vibration element (eg, an actuator or a vibration motor) vibrates. In addition, the input pen 167 vibrates in response to sensing information detected by a sensor (eg, an acceleration sensor, not shown) built in the input pen 167 as well as control information received from the electronic device 100 . The device may be actuated (eg, vibrated).

입력 펜(167)이 삽입구(도시되지 아니함)에서 인출되는 경우, 제어부는 설정된 필기/그리기 어플리케이션을 실행하여 터치 스크린(190)에 필기/그리기 어플리케이션의 화면(도시되지 아니함)을 표시할 수 있다. When the input pen 167 is withdrawn from the insertion hole (not shown), the controller may display a screen (not shown) of the writing/drawing application on the touch screen 190 by executing the set writing/drawing application.

입력 펜(167)은 사용자의 손가락(예를 들어, 엄지를 포함)을 포함할 수 있다. 예를 들어, 정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서, 사용자의 손가락에 의해 필기 또는 그리기가 입력될 수 있다. The input pen 167 may include a user's finger (eg, including a thumb). For example, in an application displayed on a capacitive touch screen or a resistive touch screen, handwriting or drawing may be input by a user's finger.

정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서 사용자의 손가락에 의해 필기 또는 그리기가 입력되는 경우, 제어부는 엄지를 포함하는 손가락 중 하나의 터치를 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 검출할 수 있다. When handwriting or drawing is input by a user's finger in an application displayed on the capacitive touch screen or the resistive touch screen, the controller applies a touch of one of the fingers including the thumb to the touch screen 190 and the touch screen controller. (195) can be used to detect it.

전자 장치(100)의 삽입구(도시되지 아니함) 및 입력 펜(167)의 형상(예를 들어, 원형 단면 또는 다각형 단면) 또는 구조(예를 들어, 배터리(도시되지 아니함)를 포함)는 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
The shape (eg, circular cross-section or polygonal cross-section) or structure (eg, including a battery (not illustrated)) of the insertion hole (not shown) and the input pen 167 of the electronic device 100 is the electronic device It will be readily understood by those of ordinary skill in the art that it may be changed according to the performance or structure of (100).

센서부(170)는 전자 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(170)는 사용자의 전자 장치(100)에 대한 접근 여부를 검출하는 근접 센서(171), 전자 장치(100) 주변의 빛의 양을 검출하는 조도 센서(172), 전자 장치(100)의 회전관성을 이용하여 방향을 검출하는 자이로 센서(173)를 포함할 수 있다. 또한, 센서부(170)는 전자 장치(100)에 가해지는 3축(예를 들어, x축, y축, z축)의 가속도를 검출하는 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. The sensor unit 170 includes at least one sensor that detects the state of the electronic device 100 . For example, the sensor unit 170 includes a proximity sensor 171 that detects whether the user approaches the electronic device 100 , an illuminance sensor 172 that detects an amount of light around the electronic device 100 , and an electronic device. A gyro sensor 173 that detects a direction by using the rotational inertia of the device 100 may be included. In addition, the sensor unit 170 detects an acceleration sensor (not shown) that detects acceleration in three axes (eg, x-axis, y-axis, and z-axis) applied to the electronic device 100 and the direction of the gravitational force. It may include a gravity sensor that detects, or an altimeter that detects altitude by measuring atmospheric pressure.

센서부(170)는 전자 장치(100)의 운동 가속도와 중력 가속도를 각각 측정할 수 있다. 전자 장치(170)가 움직이지 않는 경우, 센서부(170)는 중력 가속도만을 측정할 수 있다. 예를 들어, 전자 장치(100)의 전면이 위로 향하는 경우, 중력 가속도는 양(+)방향이고, 전자 장치(100)의 후면이 위로 향하는 경우, 중력가속도는 음(-)의 방향일 수 있다. 또한, 센서부(170)는 사용자의 지문을 검출하는 지문 센서(도시되지 아니함), 또는 사용자의 심장 박동을 검출하는 심박 센서(도시되지 아니함)를 더 포함할 수 있다.The sensor unit 170 may measure motion acceleration and gravitational acceleration of the electronic device 100 , respectively. When the electronic device 170 does not move, the sensor unit 170 may measure only the gravitational acceleration. For example, when the front side of the electronic device 100 faces upward, the gravitational acceleration may be in a positive (+) direction, and when the rear side of the electronic device 100 faces upward, the gravitational acceleration may be in a negative (-) direction. . In addition, the sensor unit 170 may further include a fingerprint sensor (not shown) for detecting the user's fingerprint, or a heart rate sensor (not shown) for detecting the heartbeat of the user.

센서부(170)에 포함되는 적어도 하나의 센서는 전자 장치(100)의 상태를 검출하고, 검출에 대응되는 전기적인 신호를 생성하여 제어부로 전송한다. 센서부(170)에 포함되는 센서는 전자 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
At least one sensor included in the sensor unit 170 detects the state of the electronic device 100 , generates an electrical signal corresponding to the detection, and transmits it to the control unit. It will be easily understood by those of ordinary skill in the art that the sensors included in the sensor unit 170 may be added or deleted according to the performance of the electronic device 100 .

저장부(175)는 제어부의 제어에 따라 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 및 터치 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 전자 장치(100) 또는 제어부의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.The storage unit 175 includes the mobile communication unit 120, the sub communication unit 130, the multimedia unit 140, the camera 150, the GPS 155, the input/output unit 160, the sensor unit ( 170), and a signal or data input/output corresponding to the operation of the touch screen 190 may be stored. The storage unit 175 includes a control program for controlling the electronic device 100 or the controller, a graphical user interface (GUI) related to an application provided by a manufacturer or downloaded from an external source, images for providing the GUI, user information, and documents. , databases or related data.

본 발명의 실시예에 따른 저장부(175)는 전자 장치(100)의 장치 정보, 외부 장치(200)의 장치 정보 또는 서버(300)의 장치 정보를 저장할 수 있다. The storage unit 175 according to an embodiment of the present invention may store device information of the electronic device 100 , device information of the external device 200 , or device information of the server 300 .

저장부(175)는 서버(200)에서부터 수신된 외부 장치 상태 정보, 추천 그룹 액션, 추천 그룹 액션 리스트를 저장할 수 있다. The storage unit 175 may store the external device state information, the recommended group action, and the recommended group action list received from the server 200 .

저장부(175)는 생성된 그룹 액션 또는 그룹 액션을 변경하여 생성된 다른 그룹 액션을 저장할 수 있다. The storage unit 175 may store the generated group action or another group action generated by changing the group action.

저장부(175)는 그룹 액션 실행에 대응되는 컨트롤 패킷을 저장할 수 있다. The storage unit 175 may store a control packet corresponding to execution of a group action.

저장부(175)는 제1 터치 내지 제5 터치, 제1 터치 위치 내지 제5 터치 위치 제11 터치 및 제12 터치, 제11 터치 위치 정보 및 제125 터치 위치 정보, 또는 제21 터치 및 제22 터치, 제21 터치 위치 정보 및 제22 터치 위치 정보를 저장할 수 있다. The storage unit 175 may store first touch to fifth touch, first touch position to fifth touch position, eleventh touch and twelfth touch, eleventh touch position information and 125th touch position information, or twenty-first touch and twenty-second touch information. The touch, the twenty-first touch location information, and the twenty-second touch location information may be stored.

저장부(175)는 그룹 액션의 생성 또는 그룹 액션의 실행에 대응하여 터치 스크린(190)에 출력되는 사용자가 인지가능한 시각 피드백(예를 들어, 비디오 소스 등), 스피커(163)에서 출력되는 사용자가 인지가능한 청각 피드백(예를 들어, 사운드 소스 등) 및 진동 모터(164)에서 출력되는 사용자가 인지가능한 촉각 피드백(예를 들어, 햅틱 패턴 등)을 저장할 수 있다. The storage unit 175 includes a user-recognizable visual feedback (eg, a video source, etc.) output to the touch screen 190 in response to generation of a group action or execution of the group action, and a user output from the speaker 163 . may store a perceptible auditory feedback (eg, a sound source, etc.) and a user-perceivable tactile feedback (eg, a haptic pattern, etc.) output from the vibration motor 164 .

저장부(175)는 사용자에게 제공되는 피드백의 피드백 제공 시간(예를 들어, 300 msec)을 저장할 수 있다. The storage unit 175 may store a feedback provision time (eg, 300 msec) of the feedback provided to the user.

본 발명의 실시예에서 “저장부”라는 용어는 저장부(175), 제어부 내 롬(112), 램(113) 또는 전자 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
In an embodiment of the present invention, the term “storage unit” refers to the storage unit 175, the ROM 112 in the control unit, the RAM 113, or a memory card (not shown) mounted in the electronic device 100 (eg, , micro SD card, memory stick). The storage unit may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

전원 공급부(180)는 제어부의 제어에 따라 전자 장치(100) 내부에 위치하는 구성 요소들(120 내지 175)을 공급할 수 있다. 전원 공급부(180)는 제어부의 제어에 따라 커넥터(165)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 하나 또는 둘 이상의 배터리(도시되지 아니함)는 전면(100a)에 위치하는 터치 스크린(190)과 후면(100c) 사이에 위치할 수 있다. The power supply unit 180 may supply the components 120 to 175 located inside the electronic device 100 under the control of the controller. The power supply unit 180 may supply power input from an external power source (not shown) to the electronic device 100 through a wired cable (not shown) connected to the connector 165 under the control of the controller. In addition, the power supply unit 180 may supply power to one or two or more batteries (not shown) under the control of the control unit to enter the field. One or more batteries (not shown) may be positioned between the touch screen 190 positioned on the front surface 100a and the rear surface 100c.

전원 공급부(180)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
The power supply unit 180 may wirelessly charge one or more batteries (not shown) (eg, magnetic resonance method, electromagnetic wave method, or magnetic induction method) under the control of the controller.

터치 스크린(190)은 터치 입력을 수신하는 터치 패널(도시되지 아니함)과 화면 표시를 위한 디스플레이 패널(도시되지 아니함)을 포함한다. 터치 스크린(190)은 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치 스크린(190)은 홈 화면(191) 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 전송한다. 터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 펜(167)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다. The touch screen 190 includes a touch panel (not shown) for receiving a touch input and a display panel (not shown) for displaying a screen. The touch screen 190 may provide a graphical user interface (GUI) corresponding to various services (eg, voice call, video call, data transmission, broadcast reception, photo taking, video viewing, or application execution) to the user. have. The touch screen 190 transmits an analog signal corresponding to a single touch or a multi-touch input through the home screen 191 or the GUI to the touch screen controller 195 . The touch screen 190 may receive a single touch or multi-touch input through the user's body (eg, a finger including a thumb) or the input pen 167 .

디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 전자 장치(100)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다. A display panel (not shown) includes a plurality of pixels and displays an image through the pixels. For example, the display panel (not shown) includes a liquid crystal display (LCD), an organic light emitting diode (OLED), an LED, and the like. A display panel (not shown) may display various images and a plurality of objects according to various operating states of the electronic device 100 , execution of applications or services, and the like.

본 발명의 실시예에서 터치는 터치 스크린(190)과 사용자의 신체 또는 입력 펜(167)의 접촉에 한정되지 않고, 비접촉을 포함한다. 예를 들어, 비접촉은 터치 스크린(190)과 사용자의 신체 또는 입력 펜(167)과의 간격이 50 mm 이하의 호버링(hovering)을 포함할 수 있다. 터치 스크린(190)에서 검출가능한 비접촉 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. In the embodiment of the present invention, the touch is not limited to the contact between the touch screen 190 and the user's body or the input pen 167, but includes non-contact. For example, the non-contact may include hovering in which the distance between the touch screen 190 and the user's body or the input pen 167 is 50 mm or less. It will be readily understood by those skilled in the art that the non-contact interval detectable on the touch screen 190 may be changed according to the performance or structure of the electronic device 100 .

터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다. The touch screen 190 may be implemented by, for example, a resistive method, a capacitive method, an infrared method, or an acoustic wave method.

터치 스크린(190)은 전자기 공명 방식(electromagnetic resonance, EMR) 을 포함할 수 있다. 전자기 공명 방식의 터치 스크린은 전자기 공명 방식의 루프 코일에 공진하는 공진 회로를 가지는 입력 펜(도시되지 아니함)의 입력을 수신하기 위한 별도의 전자기 공명 방식의 터치 패널(도시되지 아니함)을 더 포함한다. The touch screen 190 may include an electromagnetic resonance (EMR) method. The electromagnetic resonance type touch screen further includes a separate electromagnetic resonance type touch panel (not shown) for receiving an input from an input pen (not shown) having a resonance circuit resonating with the electromagnetic resonance type loop coil. .

본 발명의 실시예에 따른 터치 스크린(190)는 제어부의 제어에 따라 그룹 액션의 생성 또는 그룹 액션의 실행에 대응하여 시각 피드백을 표시할 수 있다.
The touch screen 190 according to an embodiment of the present invention may display visual feedback in response to generation of a group action or execution of a group action under the control of the controller.

터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(190) 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다. The touch screen controller 195 converts an analog signal corresponding to a single touch or a multi-touch received from the touch screen 190 into a digital signal and transmits it to the controller. The controller may calculate X and Y coordinates corresponding to the touch position on the touch screen 190 by using the digital signal received from the touch screen controller 195 .

제어부는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부는 입력된 터치에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(예를 들어, 도 1의 193a)을 다른 단축 아이콘(예를 들어, 193b 내지 193h)과 구분되게 표시하거나 또는 선택된 단축 아이콘(도 1의 193a)에 대응되는 어플리케이션(예를 들어, 전화)를 실행하여 터치 스크린(190)에 어플리케이션 화면을 표시할 수 있다. The controller may control the touch screen 190 using a digital signal received from the touch screen controller 195 . For example, in response to an input touch, the control unit displays a shortcut icon (eg, 193a in FIG. 1 ) displayed on the touch screen 190 to be distinguished from other shortcut icons (eg, 193b to 193h) or An application screen may be displayed on the touch screen 190 by executing an application (eg, a phone) corresponding to the selected shortcut icon ( 193a of FIG. 1 ).

터치 스크린 컨트롤러(195)는 하나 또는 복수의 터치 스크린 컨트롤러(195)로 구현될 수 있다. 전자 장치(100)의 성능 또는 구조에 대응하여 터치 스크린 컨트롤러(195)는 제어부에 포함될 수도 있다. The touch screen controller 195 may be implemented as one or a plurality of touch screen controllers 195 . The touch screen controller 195 may be included in the control unit in response to the performance or structure of the electronic device 100 .

터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호와 별개로 전자기 공명 방식의 터치 스크린에서 수신되는 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 전자기 공명 방식의 터치 스크린에서 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다. 또한, 전자기 공명 방식의 터치 스크린의 경우, 전자기 공명 방식의 터치 스크린 컨트롤러(도시되지 아니함)를 이용할 수 있다. The touch screen controller 195 converts an analog signal corresponding to a touch received from the electromagnetic resonance type touch screen separately from an analog signal corresponding to a single touch or a multi-touch received from the touch screen 190 into a digital signal, and the controller send to The controller may calculate X and Y coordinates corresponding to the touch position of the image on the electromagnetic resonance type touch screen by using the digital signal received from the touch screen controller 195 . In addition, in the case of an electromagnetic resonance type touch screen, an electromagnetic resonance type touch screen controller (not shown) may be used.

도 1 및 도 2a에서 도시된 전자 장치(100)는 하나의 터치 스크린에 대해서만 도시하였으나, 복수의 터치 스크린을 구비할 수 있다. 각각의 터치 스크린은 각각의 하우징(도시되지 아니함)에 위치하며 각각의 하우징(도시되지 아니함)은 힌지(도시되지 아니함)에 의해 상호 연결될 수 있다. 또한, 하나의 하우징(도시되지 아니함)에 플렉시블한 복수의 터치 스크린이 위치할 수 있다. 플렉시블한 복수의 터치 스크린은 하나의 디스플레이 패널과 복수의 터치 패널을 포함하여 구성될 수 있다. 플렉시블한 복수의 터치 스크린은 복수의 디스플레이 패널에 대응되는 하나의 터치 패널을 포함하여 구성될 수 있다. 또한, 플렉시블한 복수의 터치 스크린은 복수의 디스플레이 패널에 대응되는 복수의 터치 패널을 포함하여 구성될 수 있다. Although the electronic device 100 illustrated in FIGS. 1 and 2A is illustrated with only one touch screen, it may include a plurality of touch screens. Each touch screen is located in a respective housing (not shown), and each housing (not shown) may be interconnected by a hinge (not shown). In addition, a plurality of flexible touch screens may be positioned in one housing (not shown). A plurality of flexible touch screens may be configured to include one display panel and a plurality of touch panels. The plurality of flexible touch screens may be configured to include one touch panel corresponding to the plurality of display panels. In addition, the plurality of flexible touch screens may be configured to include a plurality of touch panels corresponding to the plurality of display panels.

도 2에 도시된 전자 장치(100)의 구성 요소들은 전자 장치(100)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
It is easy for a person skilled in the art that at least one component may be added or deleted in response to the performance of the electronic device 100 to the components of the electronic device 100 illustrated in FIG. 2 . will be understood

도 2b는 본 발명의 실시예에 따른 외부 장치를 나타내는 개략적인 블럭도이다. 2B is a schematic block diagram illustrating an external device according to an embodiment of the present invention.

도 2b를 참조하면, 외부 장치(200)는 통신부(230)를 이용하여 전자 장치(100), 다른 외부 장치 또는 서버와 유선 또는 무선으로 연결될 수 있다. Referring to FIG. 2B , the external device 200 may be connected to the electronic device 100 , another external device, or a server by wire or wirelessly using the communication unit 230 .

외부 장치(200)는 디스플레이 장치(201), 로봇 청소기(202), 세탁기(203), 에어컨(204), 전등(205) 또는 자동 잠금 장치(auto door lock, 206)을 포함할 수 있다. 또한, 외부 장치(200)는 커튼(도시되지 아니함), 온도 센서를 포함하는 센서(도시되지 아니함), 창문(도시되지 아니함), 냉장고(도시되지 아니함), 선풍기(도시되지 아니함), 차고(garage), 홈 시어터(home theater, 도시되지 아니함), 무선 사운드 바(sound-bar, 도시되지 아니함), 무선 헤드셋(headset, 도시되지 아니함), 무선 이어폰(earphone, 도시되지 아니함), 무선 헤드폰(headphone, 도시되지 아니함), 모니터(도시되지 아니함), 웨어러블 장치(도시되지 아니함), 책갈피(도시되지 아니함), 휴대폰(도시되지 아니함) 또는 스마트 폰(도시되지 아니함)을 포함할 수 있다. 외부 장치(200)는 통신부(230)를 이용하여 전자 장치(100)와 연결가능한 장치를 의미한다. 외부 장치(200)는 제어부(210)의 제어에 따라 기능부(260) 또는 센서부(270)를 이용하여 외부 장치(200)의 내부 또는 외부의 상태를 검출하고, 검출된 상태를 통신부(230)를 통해 전자 장치(100)로 전송가능한 장치를 의미할 수 있다. 외부 장치(200)는 각각의 외부 장치(201 내지 206)의 집합을 포함하는 의미일 수 있다. The external device 200 may include a display device 201 , a robot cleaner 202 , a washing machine 203 , an air conditioner 204 , a light 205 , or an automatic door lock 206 . In addition, the external device 200 includes a curtain (not shown), a sensor including a temperature sensor (not shown), a window (not shown), a refrigerator (not shown), a fan (not shown), a garage ( garage), home theater (not shown), wireless sound-bar (not shown), wireless headset (headset, not shown), wireless earphone (not shown), wireless headphones ( It may include a headphone, not shown), a monitor (not shown), a wearable device (not shown), a bookmark (not shown), a mobile phone (not shown) or a smart phone (not shown). The external device 200 means a device connectable to the electronic device 100 using the communication unit 230 . The external device 200 detects the internal or external state of the external device 200 using the function unit 260 or the sensor unit 270 under the control of the controller 210 , and transmits the detected state to the communication unit 230 . ) may mean a device that can be transmitted to the electronic device 100 through The external device 200 may mean including a set of each external device 201 to 206 .

외부 장치(200)는 외부 장치(200)의 고유한 기능(function)을 수행할 수 있다. 예를 들어, 외부 장치(200)의 고유 기능은 텔레비전의 방송 수신 기능, 로봇 청소기의 자동 청소 기능, 세탁기의 세탁 기능, 에어컨의 냉방 기능, 전등의 조명 기능, 자동 잠금 장치의 잠금 기능, 냉장고의 냉장/냉동 기능, 또는 오디오 장치의 오디오 출력, 등을 포함할 수 있다. 외부 장치(200)의 고유 기능은 상기의 기능만으로 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. The external device 200 may perform a unique function of the external device 200 . For example, the unique functions of the external device 200 include a TV broadcast reception function, an automatic cleaning function of a robot vacuum cleaner, a washing function of a washing machine, a cooling function of an air conditioner, a lighting function of an electric lamp, a locking function of an automatic locking device, and a lock function of a refrigerator. It may include a refrigeration/freezing function, or an audio output of an audio device, and the like. It will be readily understood by those skilled in the art that the unique function of the external device 200 is not limited to the above function.

외부 장치(200)는 제어부(210), 통신부(230), 기능부(260), 센서부(270), 저장부(275), 전원 공급부(280) 및 디스플레이부(290)를 포함할 수 있다.
The external device 200 may include a control unit 210 , a communication unit 230 , a function unit 260 , a sensor unit 270 , a storage unit 275 , a power supply unit 280 , and a display unit 290 . .

제어부(210)는 프로세서(Processor, 211), 외부 장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 212) 및 외부 장치(200)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 외부 장치(200)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 213)을 포함할 수 있다. The controller 210 stores a signal or data input from the outside of the processor 211 , a ROM 212 in which a control program for controlling the external device 200 is stored, and the external device 200 , or The device 200 may include a RAM 213 used as a storage area for various tasks performed by the device 200 .

제어부(210)는 외부 장치(200)의 전반적인 동작 및 외부 장치(200)의 내부 구성 요소들(220 내지 290)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원 공급부(280)를 이용하여 내부 구성 요소들(220 내지 290)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(210)는 센서부(270)의 센서, 저장부(275)에 저장된 OS(Operation System) 또는, 어플리케이션을 실행할 수 있다. The controller 210 controls the overall operation of the external device 200 and the signal flow between the internal components 220 to 290 of the external device 200, and performs a function of processing data. The control unit 210 controls the supply of power to the internal components 220 to 290 by using the power supply unit 280 . In addition, when a user input or a set condition is satisfied, the controller 210 may execute a sensor of the sensor unit 270 , an operating system (OS) stored in the storage unit 275 , or an application.

프로세서(211)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(211)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(211), 롬(212) 및 램(213)은 버스(bus)로 상호 연결될 수 있다. The processor 211 may include a graphic processing unit (GPU, not shown) for graphic processing. The processor 211 may be implemented in the form of a system on chip (SoC) including a core (not shown) and a GPU (not shown). The processor 211 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. In addition, the processor 211 , the ROM 212 , and the RAM 213 may be interconnected by a bus.

제어부(210)는 통신부(230), 기능부(260), 센서부(270), 저장부(275), 전원 공급부(280), 및 디스플레이부린(290)를 제어할 수 있다. The controller 210 may control the communication unit 230 , the function unit 260 , the sensor unit 270 , the storage unit 275 , the power supply unit 280 , and the display unit 290 .

본 발명의 실시예에 따른 제어부(210)는 센서부(270) 및 별도의 센서(도시되지 아니함)을 통해 외부 장치(200)의 상태 및 상태 변경을 검출하도록 제어할 수 있다. The controller 210 according to an embodiment of the present invention may control the state and change of the external device 200 to be detected through the sensor unit 270 and a separate sensor (not shown).

제어부(210)는 통신부(230) 및 저장부(275)에 저장된 서버 장치 정보를 통해 검출된 상태 변경에 대응되는 외부 장치 상태 정보를 서버(200)로 전송하도록 제어할 수 있다. The controller 210 may control to transmit external device state information corresponding to a state change detected through the server device information stored in the communication unit 230 and the storage unit 275 to the server 200 .

제어부(210)는 통신부(230)를 통해 서버(300)에서부터 그룹 액션 실행에 대응되는 컨트롤 패킷을 수신하도록 제어할 수 있다. The controller 210 may control to receive a control packet corresponding to execution of a group action from the server 300 through the communication unit 230 .

제어부(210)는 서버 장치 정보, 외부 장치 상태 정보, 또는 그룹 액션 실행에 대응되는 컨트롤 패킷을 저장부(275)에 저장되도록 제어할 수 있다. The controller 210 may control server device information, external device status information, or a control packet corresponding to execution of a group action to be stored in the storage unit 275 .

본 발명의 실시예에서 “외부 장치의 제어부(210)”이라는 용어는 프로세서(211), 롬(212) 및 램(213)을 포함한다. In the embodiment of the present invention, the term “controller 210 of an external device” includes a processor 211 , a ROM 212 , and a RAM 213 .

본 발명의 실시예에서, 외부 장치(200)의 제어부(210)는 각각의 외부 장치(201 내지 206)의 제어부를 의미할 수 있다.
In an embodiment of the present invention, the controller 210 of the external device 200 may mean a controller of each of the external devices 201 to 206 .

외부 장치(200)는 이동 통신부(도시되지 아니함)를 포함할 수 있다. The external device 200 may include a mobile communication unit (not shown).

외부 장치(200)의 이동 통신부(도시되지 아니함)는 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC, 태블릿 장치 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다.
The mobile communication unit (not shown) of the external device 200 is a mobile phone (not shown), a smart phone (not shown), a tablet PC, a tablet device or other electronic device (not shown) having a connectable phone number and It can transmit/receive wireless signals for voice calls, video calls, text messages (SMS), multimedia messages (MMS), and data communication.

통신부(230)는 무선랜(231)과 근거리 통신부(232) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜(231) 및 근거리 통신부(232) 중 하나만 포함하거나 또는 무선랜(231)과 근거리 통신부(232) 모두 포함할 수 있다. The communication unit 230 may include at least one of a wireless LAN 231 and a short-range communication unit 232 . For example, only one of the wireless LAN 231 and the short-range communication unit 232 may be included, or both the wireless LAN 231 and the short-range communication unit 232 may be included.

무선랜(231)은 제어부의 제어에 따라 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(231)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(232)은 제어부의 제어에 따라 AP없이 무선으로 전자 장치(100)와 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다. The wireless LAN 231 may be wirelessly connected to the AP at a place where an access point (AP) is installed under the control of the controller. The wireless LAN 231 supports the wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronics Engineers (IEEE). The short-range communication unit 232 may perform short-distance communication between the electronic device 100 and an external device wirelessly without an AP under the control of the controller. Short-distance communication may include Bluetooth, Bluetooth low energy, infrared data association (IrDA), Wi-Fi, Ultra Wideband (UWB), and Near Field Communication (NFC). can

통신부(230)는 제어부(210)의 제어에 따라 기능부(260)에서 검출된(또는 저장된) 환경 정보 또는 상태 정보를 서버(300)로 전송할 수 있다. 통신부(230)는 제어부(210)의 제어에 따라 기능부(260)에서 검출된(또는 저장된) 환경 정보 또는 상태 정보를 서버(300)로 주기적(예를 들어, 1 초(sec), 변경 가능)으로 전송할 수 있다. 또한, 통신부(230)는 서버(300) 및 전자 장치(100) 중 하나에서부터 검출된(또는 저장된) 환경 정보 또는 상태 정보의 전송 요청을 수신할 수 있다. The communication unit 230 may transmit the environment information or state information detected (or stored) in the function unit 260 to the server 300 under the control of the control unit 210 . The communication unit 230 periodically (eg, 1 second (sec), changeable environment information or state information detected by the function unit 260 (or stored) to the server 300 under the control of the control unit 210 ) ) can be transmitted. Also, the communication unit 230 may receive a request for transmission of detected (or stored) environment information or state information from one of the server 300 and the electronic device 100 .

외부 장치(200)는 통신부(230)를 이용하여 다른 외부 장치(예를 들어, 무선 스피커, 무선 헤드셋 등)와 연결할 수 있다.
The external device 200 may connect to another external device (eg, a wireless speaker, a wireless headset, etc.) using the communication unit 230 .

멀티미디어부(240)는 방송 수신부(241), 오디오 재생부(242) 또는 동영상 재생부(243)를 포함할 수 있다. 방송 수신부(241)는 제어부(210)의 제어에 따라 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부는 수신된 방송 신호 및 방송 부가 정보를 터치 스크린, 비디오 코덱(video code, 도시되지 아니함) 및 오디오 코덱(audio codec, 도시되지 아니함)을 이용하여 재생할 수 있다. The multimedia unit 240 may include a broadcast receiver 241 , an audio player 242 , or a video player 243 . The broadcast receiver 241 includes a broadcast signal (eg, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal) transmitted from an external broadcast station through an antenna (not shown) under the control of the controller 210 and a broadcast addition Information (eg, an Electric Program Guide (EPS) or an Electric Service Guide (ESG)) may be received. Also, the controller may reproduce the received broadcast signal and broadcast additional information using a touch screen, a video codec (not shown), and an audio codec (not shown).

오디오 재생부(242)는 제어부의 제어에 따라 외부 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav를 포함하는 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다. The audio reproducing unit 242 is an audio source pre-stored in the storage unit 275 of the external device 200 or received from the outside (eg, file extension of mp3, wma, ogg, or wav) according to the control of the controller. included audio file) can be played using an audio codec.

본 발명의 실시예에 따라 오디오 재생부(242)은 제어부(210)의 제어에 따라 외부 장치(300)의 이동 및 외부 장치(300)로 콘텐트 출력에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다. According to an embodiment of the present invention, the audio reproducing unit 242 is an auditory feedback (eg, storage unit) corresponding to the movement of the external device 300 and output of the content to the external device 300 under the control of the controller 210 . output of an audio source stored in ) can be played through the audio codec.

동영상 재생부(243)는 제어부의 제어에 따라 외부 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv를 포함하는 비디오 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 외부 장치(200)에 설치가능한 멀티미디어 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 파일을 재생할 수 있다. 또한, 외부 장치(200)에 설치가능한 멀티미디어 어플리케이션은 하드웨어 코덱(도시되지 아니함) 및/또는 소프트웨어 코덱(도시되지 아니함)을 이용하여 동영상 파일을 재생할 수 있다. The video playback unit 243 is pre-stored in the storage unit 275 of the external device 200 or received from the outside according to the control of the controller, a digital video source (eg, file extensions of mpeg, mpg, mp4, avi). , mov, or mkv) can be played using a video codec. The multimedia application installable in the external device 200 may reproduce an audio source or a moving picture file using an audio codec and/or a video codec. Also, the multimedia application installable in the external device 200 may play a video file using a hardware codec (not shown) and/or a software codec (not shown).

본 발명의 실시예에 따라 동영상 재생부(243)은 제어부(210)의 제어에 따라 외부 장치(300)의 이동 및 외부 장치(300)로 콘텐트 출력에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 통해 재생할 수 있다. According to an embodiment of the present invention, the video playback unit 243 is a visual feedback (eg, storage unit) corresponding to the movement of the external device 300 and output of the content to the external device 300 under the control of the controller 210 . output of the video source stored in ) can be played through the video codec.

다양한 종류의 비디오 코덱 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. It will be readily understood by those skilled in the art that various types of video codecs and audio codecs are being produced and sold.

멀티미디어부(240)는 외부 장치(200)의 성능 또는 구조에 대응하여 방송 수신부(241)을 제외하고 오디오 재생부(242)과 동영상 재생부(243)를 포함할 수 있다. 또한, 멀티미디어부(240)의 오디오 재생부(242) 또는 동영상 재생부(243)는 제어부(210)에 포함될 수 있다. The multimedia unit 240 may include an audio reproducing unit 242 and a moving picture reproducing unit 243 excluding the broadcast receiving unit 241 in response to the performance or structure of the external device 200 . Also, the audio reproducing unit 242 or the moving picture reproducing unit 243 of the multimedia unit 240 may be included in the controller 210 .

본 발명의 실시예에서 “오디오 코덱”이라는 용어는 하나 또는 둘 이상의 오디오 코덱을 포함할 수 있다. 본 발명의 실시예에서 “비디오 코덱”이라는 용어는 하나 또는 둘 이상의 비디오 코덱을 포함할 수 있다.
In an embodiment of the present invention, the term “audio codec” may include one or more than one audio codec. In an embodiment of the present invention, the term “video codec” may include one or two or more video codecs.

외부 장치(200)는 제어부(210)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 전면의 제1 카메라(도시되지 아니함) 및 후면의 제2 카메라(도시되지 아니함) 중 적어도 하나를 포함할 수 있다. 예를 들어, 외부 장치(200)는 제1 카메라(도시되지 아니함) 및 제2 카메라(도시되지 아니함) 중 하나 또는 양자를 모두 포함할 수 있다.
The external device 200 may include at least one of a front first camera (not shown) and a rear second camera (not shown) for capturing still images or moving images under the control of the controller 210 . . For example, the external device 200 may include one or both of a first camera (not shown) and a second camera (not shown).

외부 장치(200)는 GPS(도시되지 아니함)를 포함할 수 있다. GPS(도시되지 아니함)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 외부 장치(200)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다.
The external device 200 may include a GPS (not shown). The GPS (not shown) periodically receives information (eg, accurate location information and time information of the GPS satellites receivable from the external device 200) from a plurality of GPS satellites (not shown) in Earth's orbit. do.

기능부(260)는 외부 장치(200)와 다른 장치들과 차별되는 기능을 수행할 수 있다. 기능은 텔레비전의 방송 수신 기능, 로봇 청소기의 자동 청소 기능, 세탁기의 세탁 기능, 에어컨의 냉방 기능, 전등의 조명 기능, 자동 잠금 장치의 잠금 기능, 냉장고의 냉장/냉동 기능, 또는 오디오 장치의 오디오 출력, 등을 포함할 수 있다. The function unit 260 may perform a function different from that of the external device 200 and other devices. Functions include TV broadcast reception function, robot vacuum cleaner automatic cleaning function, washing machine washing function, air conditioner cooling function, lamp lighting function, automatic locking function, refrigerator cooling/freezing function, or audio output of audio device , and the like.

외부 장치(200)가 디스플레이 장치(201)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 디스플레이 패널(도시되지 아니함) 및 튜너(도시되지 아니함)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 따라 수신된 방송 신호에 포함된 오디오를 스피커(도시되지 아니함)를 통해 출력할 수 있다. When the external device 200 is the display device 201 , the function unit 260 is included in the broadcast signal received through the display panel (not shown) and the tuner (not shown) under the control of the controller 210 . video can be displayed on the screen. Also, the function unit 260 may output audio included in the received broadcast signal through a speaker (not shown) under the control of the control unit 210 .

외부 장치(200)가 로봇 청소기(202)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 모터(도시되지 아니함) 및 필터(도시되지 아니함)를 통해 바닥의 먼지를 흡입할 수 있다. 또한, 기능부(260)는 주변 장애물을 피하고 자율 주행을 위한 휠(도시되지 아니함)을 포함할 수 있다. When the external device 200 is the robot cleaner 202, the function unit 260 may suck the dust on the floor through a motor (not shown) and a filter (not shown) under the control of the controller 210. have. Also, the functional unit 260 may include a wheel (not shown) for avoiding surrounding obstacles and for autonomous driving.

외부 장치(200)가 세탁기(203)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 뚜껑, 세탁조(도시되지 아니함) 및 모터(도시되지 아니함)를 통해 세탁조에 수납된 세탁물을 세탁할 수 있다. 또한, 기능부(260)는 회전에 의해 진동되는 세탁조의 진동을 감쇠하는 진동 저감 부재(예를 들어, 밸런서(balancer)를 포함할 수 있다. When the external device 200 is the washing machine 203, the function unit 260 removes the laundry stored in the washing tub through the lid, the washing tub (not shown) and the motor (not shown) under the control of the control unit 210 . Can be washed. In addition, the functional unit 260 may include a vibration reducing member (eg, a balancer) for damping the vibration of the washing tub vibrated by rotation.

외부 장치(200)가 에어컨(204)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 냉동 사이클(refrigerating cycle)을 구성하는 압축기(compressor, 도시되지 아니함), 응축기(condenser, 도시되지 아니함), 팽창 밸브(expansion valve, 도시되지 아니함) 및 증발기(evaporator, 도시되지 아니함)을 이용하여 주위 온도를 냉각할 수 있다. 또한, 기능부(260)는 냉매(도시되지 아니함) 및 냉매가 이동하는 튜브(도시되지 아니함)를 포함할 수 있다. 외부 장치가 냉장고인 경우에도 동일하게 적용될 수 있다. When the external device 200 is the air conditioner 204 , the function unit 260 includes a compressor (not shown) and a condenser (not shown) constituting a refrigeration cycle under the control of the controller 210 . Not shown), an expansion valve (not shown) and an evaporator (not shown) may be used to cool the ambient temperature. In addition, the functional unit 260 may include a refrigerant (not shown) and a tube (not shown) through which the refrigerant moves. The same may be applied when the external device is a refrigerator.

외부 장치(200)가 전등(205)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 소켓에 장착된 전구의 온/오프 또는 전구의 밝기를 변경할 수 있다. When the external device 200 is the light 205 , the function unit 260 may change the on/off of the light bulb installed in the socket or the brightness of the light bulb according to the control of the controller 210 .

외부 장치(200)가 자동 잠금 장치(206)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 문(door)를 선택적으로 잠금(lock) 또는 잠금 해제(unlock)할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 따라 비정상적인 상황에 스피커(도시되지 아니함)를 통해 경고음을 출력할 수 있다. When the external device 200 is the automatic locking device 206 , the function unit 260 may selectively lock or unlock a door under the control of the controller 210 . Also, the function unit 260 may output a warning sound through a speaker (not shown) in an abnormal situation under the control of the control unit 210 .

외부 장치(200)가 오디오 장치(도시되지 아니함)인 경우, 기능부(260)는 제어부(210)의 제어에 따라 통신부(230)를 통해 수신되는 오디오 스트리밍을 출력할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 따라 오디오를 출력할 수 있다. When the external device 200 is an audio device (not shown), the function unit 260 may output audio streaming received through the communication unit 230 under the control of the controller 210 . Also, the function unit 260 may output audio under the control of the control unit 210 .

외부 장치(200)가 센서(도시되지 아니함)인 경우, 기능부(260)는 센서의 고유 기능을 수행할 수 있다. 기능부(260)에서 검출된 환경 정보(예를 들어, 온도, 기울기, 이동 속도 등) 또는 상태 정보(예를 들어, 전원 온, 대기, 동작 등)을 저장부(275)에 저장할 수 있다. 또한, 센서(도시되지 아니함)는 제어부(260)의 제어에 따라 통신부(230)를 통해 전자 장치(100)로 환경 정보 또는 상태 정보를 전송할 수 있다. When the external device 200 is a sensor (not shown), the function unit 260 may perform a unique function of the sensor. Environment information (eg, temperature, slope, movement speed, etc.) or state information (eg, power on, standby, operation, etc.) detected by the function unit 260 may be stored in the storage unit 275 . Also, a sensor (not shown) may transmit environmental information or state information to the electronic device 100 through the communication unit 230 under the control of the controller 260 .

예를 들어, 조도 센서인 경우, 기능부(260)는 주변 조도를 검출할 수 있다. 온도 센서인 경우, 기능부(260)는 온도를 검출할 수 있다. 습도 센서인 경우, 기능부(260)는 주변의 습도를 검출할 수 있다. 가속도 센서인 경우, 기능부(260)는 3축(예를 들어, x축, y축, z축)의 가속도를 검출할 수 있다. 자이로 센서인 경우, 회전 관성을 이용하여 방향을 검출할 수 있다. 상기의 센서뿐만 아니라 다양한 센서로 기능부(260)가 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
For example, in the case of an illuminance sensor, the function unit 260 may detect ambient illuminance. In the case of a temperature sensor, the function unit 260 may detect a temperature. In the case of a humidity sensor, the function unit 260 may detect ambient humidity. In the case of an acceleration sensor, the function unit 260 may detect acceleration in three axes (eg, an x-axis, a y-axis, and a z-axis). In the case of the gyro sensor, the direction may be detected using rotational inertia. It will be easily understood by those of ordinary skill in the art that the functional unit 260 may be implemented using various sensors as well as the above sensors.

센서부(270)는 제어부(210)의 제어에 따라 외부 장치(200)의 내부 또는 외부의 상태를 검출할 수 있다. 센서부(270)는 제어부(210)의 제어에 따라 외부 장치(200)의 내부 또는 외부의 상태 변경을 검출할 수 있다. 외부 장치(200)가 센서가 아닌 경우, 외부 장치(200)는 기능부(260) 및 센서부(270)를 모두 포함할 수 있다. 또한, 외부 장치(200)가 센서인 경우, 외부 장치(200)의 센서부(270)는 기능부(260)에 의해 대체될 수 있다.
The sensor unit 270 may detect an internal or external state of the external device 200 under the control of the controller 210 . The sensor unit 270 may detect a change in the internal or external state of the external device 200 under the control of the controller 210 . When the external device 200 is not a sensor, the external device 200 may include both the function unit 260 and the sensor unit 270 . Also, when the external device 200 is a sensor, the sensor unit 270 of the external device 200 may be replaced by the function unit 260 .

저장부(275)는 제어부(210)의 제어에 따라 통신부(230), 기능부(260), 센서부(270), 및 디스플레이부(290)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(275)는 외부 장치(200) 또는 제어부의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. The storage unit 275 stores signals or data input/output corresponding to the operations of the communication unit 230 , the function unit 260 , the sensor unit 270 , and the display unit 290 under the control of the control unit 210 . can be saved The storage unit 275 includes a control program for controlling the external device 200 or the controller, a graphical user interface (GUI) related to an application provided by a manufacturer or downloaded from the outside, images for providing the GUI, user information, and documents , databases or related data.

저장부(275)는 제어부(210)의 제어에 따라 기능부(260)의 동작에 관련된 데이터 또는 센서부(270)에 의해 검출된 환경 정보(예를 들어, 온도, 가속도, 조도 등) 또는 상태 정보(예를 들어, 전원 온, 동작 등)를 저장할 수 있다. The storage unit 275 stores data related to the operation of the function unit 260 under the control of the control unit 210 or environmental information (eg, temperature, acceleration, illuminance, etc.) or state detected by the sensor unit 270 . Information (eg, power on, operation, etc.) may be stored.

저장부(275)는 서버 장치 정보, 외부 장치 상태 정보, 또는 그룹 액션 실행에 대응되는 컨트롤 패킷을 저장할 수 있다.
The storage unit 275 may store server device information, external device status information, or a control packet corresponding to execution of a group action.

전원 공급부(280)는 제어부의 제어에 따라 외부 장치(200) 내부에 위치하는 구성 요소들(230 내지 290)을 공급할 수 있다. 전원 공급부(280)는 제어부의 제어에 따라 커넥터(도시되지 아니함)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 외부 장치(200)로 공급할 수 있다. 또한, 전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. The power supply unit 280 may supply the components 230 to 290 located inside the external device 200 under the control of the controller. The power supply 280 may supply power input from an external power source (not shown) to the external device 200 through a wired cable (not shown) connected to a connector (not shown) under the control of the controller. have. In addition, the power supply unit 280 may supply power to one or more batteries (not shown) under the control of the control unit to enter the field.

전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
The power supply unit 280 may wirelessly charge (eg, magnetic resonance method, electromagnetic wave method, or magnetic induction method) one or more batteries (not shown) according to the control of the controller.

디스플레이부(290)는 제어부(210)의 제어에 따라 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 외부 장치(200)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다. The display unit 290 provides a GUI (eg, voice call, video call, data transmission, broadcast reception, photo taking, video viewing, or application execution) corresponding to various services to the user under the control of the controller 210 ( Graphical User Interface) can be provided. A display panel (not shown) includes a plurality of pixels and displays an image through the pixels. For example, the display panel (not shown) includes a liquid crystal display (LCD), an organic light emitting diode (OLED), an LED, and the like. A display panel (not shown) may display various images and a plurality of objects according to various operating states of the external device 200, execution of applications or services, and the like.

디스플레이부(290)는 디스플레이 패널(도시되지 아니함) 및 터치 패널(도시되지 아니함)을 포함하는 터치 스크린(도시되지 아니함)를 포함할 수 있다. 터치 스크린(290)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다. The display unit 290 may include a display panel (not shown) and a touch screen (not shown) including a touch panel (not shown). The touch screen 290 may be implemented by, for example, a resistive method, a capacitive method, an infrared method, or an acoustic wave method.

본 발명의 실시예에 따라 디스플레이부(290)는 제어부(210)의 제어에 따라 그룹 액션의 실행에 대응되는 시각 피드백을 출력할 수 있다.
According to an embodiment of the present invention, the display unit 290 may output visual feedback corresponding to the execution of the group action under the control of the controller 210 .

도 1, 도 2a 및 도 2b에서, 전자 장치(100)와 외부 장치(200)로 구분하였으나, 동일 종류인 복수의 전자 장치(예를 들어, 태블릿 장치1, 2)로 구현될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. Although the electronic device 100 and the external device 200 are divided in FIGS. 1, 2A, and 2B , the fact that the electronic device 100 can be implemented with a plurality of electronic devices (eg, tablet devices 1 and 2) of the same type is It will be readily understood by those of ordinary skill in the art.

도 2b에 도시된 외부 장치(200)의 구성 요소들은 외부 장치(200)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
It is easy for a person skilled in the art that at least one component may be added or deleted in response to the performance of the external device 200 to the components of the external device 200 shown in FIG. 2B. will be understood

도 2c는 본 발명의 실시예에 따른 서버를 나타내는 개략적인 블럭도이다. 2C is a schematic block diagram illustrating a server according to an embodiment of the present invention.

도 2c를 참조하면, 서버(300)는 통신부(330)를 통해 전자 장치(100) 및 외부 장치(200) 중 적어도 하나와 무선으로 연결된다. 서버(300)는 외부 장치(200)에 상태 정보를 요청할 수 있다. 서버(300)는 외부 장치(200)에서부터 상태 정보를 수신할 수 있다. 서버(300)는 전자 장치(100)에서부터 상태 정보의 전송에 대응되는 요청을 받을 수 있다. 서버(300)는 전자 장치(100)로 상태 정보를 전송할 수 있다. 본 발명의 실시예에서, 서버(300)는 수신된 상태 정보를 저장하고, 전자 장치(100) 및 외부 장치(200)로 상태 정보를 송/수신할 수 있는 컴퓨팅 장치를 의미할 수 있다. 서버(300)는 게이트웨이(gateway) 또는 홈 서버를 포함할 수 있다. 냉장고 또는, 디스플레이 장치가 게이트웨이 역할을 수행할 수도 있다. Referring to FIG. 2C , the server 300 is wirelessly connected to at least one of the electronic device 100 and the external device 200 through the communication unit 330 . The server 300 may request status information from the external device 200 . The server 300 may receive status information from the external device 200 . The server 300 may receive a request corresponding to the transmission of the state information from the electronic device 100 . The server 300 may transmit status information to the electronic device 100 . In an embodiment of the present invention, the server 300 may refer to a computing device capable of storing received state information and transmitting/receiving state information to the electronic device 100 and the external device 200 . The server 300 may include a gateway or a home server. A refrigerator or a display device may serve as a gateway.

서버(300)는 제어부(310), 통신부(330), 저장부(375), 전원 공급부(380) 및 디스플레이부(370)를 포함할 수 있다.
The server 300 may include a control unit 310 , a communication unit 330 , a storage unit 375 , a power supply unit 380 , and a display unit 370 .

제어부(310)은 프로세서(Processor, 311)를 포함한다. 제어부(310)은 프로세서(311) 및 서버(300)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 312)을 포함할 수 있다. 또한, 제어부(310)은 프로세서(311), 롬(312) 및 서버(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 서버(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 313)을 포함할 수 있다. The control unit 310 includes a processor (Processor, 311). The controller 310 may include a ROM 312 in which a control program for controlling the processor 311 and the server 300 is stored. In addition, the controller 310 stores signals or data input from the outside of the processor 311 , the ROM 312 and the server 300 , or is used as a storage area corresponding to various operations performed in the server 300 . It may include a RAM 313 .

제어부(310)은 전원 공급부(390)에서부터 내부 구성요소들(330 내지 390)에게 공급되는 전원을 제어한다. The control unit 310 controls power supplied from the power supply unit 390 to the internal components 330 to 390 .

제어부(310)는 통신부(330), 저장부(375), 전원 공급부(380) 및 디스플레이부(370)를 제어할 수 있다.The controller 310 may control the communication unit 330 , the storage unit 375 , the power supply unit 380 , and the display unit 370 .

제어부(310)은 통신부(330)를 통해 외부 장치(200)에서부터 외부 장치 상태 정보를 수신할 수 있다. 제어부(210)는 수신된 외부 장치 상태 정보를 통신부(330)를 통해 전자 장치(100)로 전송할 수 있다. The control unit 310 may receive external device status information from the external device 200 through the communication unit 330 . The controller 210 may transmit the received external device state information to the electronic device 100 through the communication unit 330 .

제어부(310)는 통신부(330)를 통해 수신된 외부 장치 상태 정보를 이용하여 그룹 액션, 추천 그룹 액션, 추천 그룹 액션 리스트를 생성하여 전자 장치(100)로 전송할 수 있다. The control unit 310 may generate a group action, a recommended group action, and a recommended group action list by using the external device state information received through the communication unit 330 and transmit it to the electronic device 100 .

제어부(310)는 통신부(330)를 통해 수신된 외부 장치 상태 정보를 관리 소프트웨어를 이용하여 분석하고, 추천 그룹 액션 또는 추천 그룹 액션 리스트를 통신부(330)를 통해 전자 장치(100)로 전송할 수 있다. The control unit 310 may analyze the external device state information received through the communication unit 330 using management software, and transmit a recommended group action or a recommended group action list to the electronic device 100 through the communication unit 330 . .

제어부(310)는 통신부(330)를 통해 그룹 액션 실행에 대응되는 컨트롤 패킷을 전자 장치(100)에서부터 수신할 수 있다. The control unit 310 may receive a control packet corresponding to execution of a group action from the electronic device 100 through the communication unit 330 .

제어부(310)는 통신부(330)를 통해 수신된 컨트롤 패킷을 외부 장치(200)로 전송할 수 있다. The control unit 310 may transmit the control packet received through the communication unit 330 to the external device 200 .

제어부(310)는 통신부(330)를 통해 전송된 컨트롤 패킷에 대응하여 변경된 외부 장치의 상태 정보를 수신할 수 있다.
The control unit 310 may receive the changed state information of the external device in response to the control packet transmitted through the communication unit 330 .

통신부(330)은 제어부(310)의 제어에 따라 전자 장치(100) 및 외부 장치(200)와 무선으로 연결할 수 있다. 통신부(330)는 무선랜(331)과 근거리 통신부(332) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜(331) 및 근거리 통신부(332) 중 하나만 포함하거나 또는 무선랜(331)과 근거리 통신부(332) 모두 포함할 수 있다. The communication unit 330 may wirelessly connect to the electronic device 100 and the external device 200 under the control of the controller 310 . The communication unit 330 may include at least one of a wireless LAN 331 and a short-range communication unit 332 . For example, only one of the wireless LAN 331 and the short-range communication unit 332 may be included, or both the wireless LAN 331 and the short-range communication unit 332 may be included.

무선랜(331)은 제어부의 제어에 따라 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(331)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(332)은 제어부의 제어에 따라 AP없이 무선으로 전자 장치(100) 및 외부 장치(200)와 근거리 통신을 할 수 있다. The wireless LAN 331 may be wirelessly connected to the AP at a place where an access point (AP) is installed under the control of the controller. The wireless LAN 331 supports the wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronics Engineers (IEEE). The short-range communication unit 332 may perform short-distance communication with the electronic device 100 and the external device 200 wirelessly without an AP under the control of the controller.

근거리 통신부(332)는 블루투스(331)뿐만 아니라 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다. The short-range communication unit 332 may further include other short-range communication (eg, near field communication (NFC), not shown) and Bluetooth low energy (BLE) as well as the Bluetooth 331 .

통신부(330)는 제어부(310)의 제어에 따라 외부 장치(200)에서부터 환경 정보 또는 상태 정보를 수신할 수 있다. 통신부(330)는 제어부(310)의 제어에 따라 전자 장치(100)에서부터 환경 정보 또는 상태 정보의 전송에 대응되는 요청을 받을 수 있다. 통신부(330)는 제어부(310)의 제어에 따라 전자 장치(100)로 환경 정보 또는 상태 정보를 전송할 수 있다.
The communication unit 330 may receive environment information or status information from the external device 200 under the control of the control unit 310 . The communication unit 330 may receive a request corresponding to transmission of environment information or state information from the electronic device 100 under the control of the control unit 310 . The communication unit 330 may transmit environment information or status information to the electronic device 100 under the control of the control unit 310 .

서버(300)는 오디오를 출력하는 스피커(도시되지 아니함)를 포함할 수 있다.
The server 300 may include a speaker (not shown) for outputting audio.

저장부(375)는 제어부(310)의 제어에 따라 서버(300)를 구동하고 제어하기 위한 다양한 데이터, 제어 프로그램을 저장할 수 있다. 저장부(375)는 통신부(330), 전원 공급부(380) 및 디스플레이부(390)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. The storage unit 375 may store various data and control programs for driving and controlling the server 300 under the control of the control unit 310 . The storage unit 375 may store input/output signals or data corresponding to the driving of the communication unit 330 , the power supply unit 380 , and the display unit 390 .

저장부(375)는 외부 장치(200)에 대응되는 외부 장치 상태 및 전자 장치(100)에 대응되는 전자 장치 상태를 저장할 수 있다. 저장부(375)는 외부 장치(200)에서부터 수신된 외부 장치 상태 정보, 전자 장치(100)에서부터 수신된 전자 장치 상태 정보를 저장할 수 있다. 저장부(375)는 외부 장치(200)의 상태를 변경가능한 그룹 액션의 실행에 대응되는 컨트롤 패킷을 저장할 수 있다. The storage unit 375 may store an external device state corresponding to the external device 200 and an electronic device state corresponding to the electronic device 100 . The storage unit 375 may store external device state information received from the external device 200 and electronic device state information received from the electronic device 100 . The storage unit 375 may store a control packet corresponding to execution of a group action capable of changing the state of the external device 200 .

저장부(375)는 전자 장치(100), 외부 장치(200) 및 각각의 상태 정보를 관리하는 관리 소프트웨어(도시되지 아니함)를 저장할 수 있다. 저장부(375)는 외부 장치(200)로 전송된 컨트롤 패킷에 대응하여 수신된 외부 장치의 변경된 상태 정보를 저장할 수 있다. The storage unit 375 may store the electronic device 100 , the external device 200 , and management software (not shown) for managing respective state information. The storage unit 375 may store changed state information of the external device received in response to the control packet transmitted to the external device 200 .

저장부(375)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
The storage unit 375 may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

전원 공급부(380)는 제어부(310)의 제어에 따라 서버(300) 내부의 구성 요소들(330 내지 380)에게 외부의 전원 소스에서부터 입력되는 전원을 공급한다.
The power supply unit 380 supplies power input from an external power source to the components 330 to 380 inside the server 300 under the control of the control unit 310 .

디스플레이부(390)는 제어부(310)의 제어에 따라 전자 장치(100) 또는 외부 장치(200)에서부터 수신된 정보(예를 들어, 환경 정보, 상태 정보, 제어 커맨드 등)에 대응되는 이미지 또는 텍스트를 표시할 수 있다. 디스플레이부부(390)는 예를 들어, LCD(liquid crystal display) 방식, OLED(Organic Light Emitting Diodes) 방식, PDP(Plasma Display Panel) 방식, 또는 VFD(Vacuum fluorescent display) 방식을 포함할 수 있다. 디스플레이 방식에 따라 표시가능한 비디오 및/또는 텍스트 정보가 다를 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. The display unit 390 displays an image or text corresponding to information (eg, environment information, status information, control command, etc.) received from the electronic device 100 or the external device 200 under the control of the controller 310 . can be displayed. The display unit 390 may include, for example, a liquid crystal display (LCD) method, an organic light emitting diode (OLED) method, a plasma display panel (PDP) method, or a vacuum fluorescent display (VFD) method. It will be readily understood by those skilled in the art that displayable video and/or text information may be different depending on the display method.

도 1 및 도 2c의 서버(300)에 도시된 구성 요소들(예를 들어, 330 내지 280)은 서버(300)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
The components (eg, 330 to 280) shown in the server 300 of FIGS. 1 and 2C can be added or deleted according to the performance of the server 300. It will be readily understood by those of ordinary skill in the art.

도 3는 본 발명의 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다. 3 is a schematic flowchart illustrating an electronic device, an external device, a server, and a method for controlling a group action of an electronic device according to an embodiment of the present invention.

도 6a 내지 6f는 본 발명의 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
6A to 6F are diagrams illustrating examples of screens of an electronic device according to an embodiment of the present invention.

도 3의 단계(S310)에서, 외부 장치의 상태가 변경된다. In step S310 of FIG. 3 , the state of the external device is changed.

도 6a를 참조하면, 사용자의 주변에서 서버(300)와 연결가능한 다양한 외부 장치(200)가 위치할 수 있다. 예를 들어, 외부 장치(200)는 사용자의 댁 내(in-house)에 디스플레이 장치(201), 로봇 청소기(202), 세탁기(203), 에어컨(204), 전등(205) 또는 자동 잠금 장치(auto door lock, 206)를 포함할 수 있다. 상기의 외부 장치에 한정되지 않고 통신부를 통해 전송 시점의 상태 정보 또는 변경된 상태 정보를 전송가능한 다양한 외부 장치가 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. Referring to FIG. 6A , various external devices 200 connectable to the server 300 may be located in the vicinity of the user. For example, the external device 200 may include a display device 201 , a robot cleaner 202 , a washing machine 203 , an air conditioner 204 , a light 205 , or an automatic locking device in the user's in-house. (auto door lock, 206). It will be readily understood by those of ordinary skill in the art that there are various external devices capable of transmitting status information at the time of transmission or changed status information through a communication unit without being limited to the above external devices.

본 발명의 실시예에서, 외부 장치(200)의 제어부(210)는 각각의 외부 장치(201 내지 206)의 제어부를 의미할 수 있다. In an embodiment of the present invention, the controller 210 of the external device 200 may mean a controller of each of the external devices 201 to 206 .

본 발명의 실시예에서, 외부 장치(200)의 상태는 외부 장치(200)의 상황(context)를 의미할 수 있다. 외부 장치(200)의 상태에 대응되는 상태 정보는 외부 장치(200)의 상황 정보(context information)를 의미할 수 있다. 외부 장치(200)의 상태 변경은 외부 장치(200)의 상황 정보 변경과 동일한 의미일 수 있다. In an embodiment of the present invention, the state of the external device 200 may mean the context of the external device 200 . The state information corresponding to the state of the external device 200 may mean context information of the external device 200 . Changing the state of the external device 200 may have the same meaning as changing the context information of the external device 200 .

외부 장치(200)의 상황 정보는 식별자(ID), 외부 장치 이름, 외부 장치의 동작 정보(operation information, 예를 들어, 동작(busy), 대기(standby), 전원 온/오프(power on/off), 데이터 전송(data transfer) 등), 외부 장치의 공간 정보(예를 들어, 위치, 이동 방향, 이동 속도 등), 외부 장치의 주변의 환경 정보(예를 들어, 온도, 습도, 조도, 소음 등), 외부 장치의 가용 자원 정보(예를 들어, 배터리 잔량, 디스플레이 해상도, 프로세서 클락 스피드, 메모리 리소스 등), 외부 장치의 동작에 대응되는 이력 정보(예를 들어, 동작 시간, 대기 시간 등) 또는 외부 장치의 장애 정보(예를 들어, 장애 부위, 장애 발생 시간, A/S 조치, A/S 일자 등) 등의 항목을 포함할 수 있다. Context information of the external device 200 includes an identifier (ID), an external device name, operation information of the external device, for example, operation (busy), standby (standby), power on / off (power on / off) ), data transfer, etc.), spatial information of an external device (eg, location, movement direction, movement speed, etc.), environmental information (eg, temperature, humidity, illuminance, noise, etc.) etc.), available resource information of the external device (eg, battery level, display resolution, processor clock speed, memory resource, etc.), history information corresponding to the operation of the external device (eg, operation time, standby time, etc.) Alternatively, it may include items such as fault information (eg, faulty part, fault occurrence time, A/S action, A/S date, etc.) of the external device.

전자 장치(100)의 상황 정보는 식별자(ID), 전자 장치 이름, 전자 장치의 동작 정보(예를 들어, 동작(busy), 대기(standby), 전원 온/오프(power on/off), 데이터 전송(data transfer) 등), 전자 장치의 공간 정보(예를 들어, 위치, 이동 방향, 이동 속도 등), 외부 장치의 주변의 환경 정보(예를 들어, 온도, 습도, 조도, 소음 등), 전자 장치의 가용 자원 정보(예를 들어, 배터리 잔량, 디스플레이 해상도, 프로세서 클락 스피드, 메모리 리소스 등), 전자 장치의 동작에 대응되는 이력 정보(예를 들어, 동작 시간, 대기 시간 등) 또는 전자 장치의 장애 정보(예를 들어, 장애 부위, 장애 발생 시간, A/S 조치, A/S 일자 등) 등의 항목을 포함할 수 있다. 또한, 전자 장치(100)의 상황 정보는 전자 장치(100)를 휴대하는 사용자에 대응되는 사용자 정보(예를 들어, 사용자 식별자(ID), 패스워드, 사용자 이름. 사용자의 생체 정보(예를 들어, 지문, 홍채, 맥박, 혈압, 체온 등) 등을 포함할 수 있다. The context information of the electronic device 100 includes an identifier (ID), an electronic device name, operation information (eg, busy, standby, power on/off), and data of the electronic device. data transfer, etc.), spatial information of the electronic device (eg, location, movement direction, movement speed, etc.), environmental information around the external device (eg, temperature, humidity, illumination, noise, etc.); Available resource information (eg, battery level, display resolution, processor clock speed, memory resource, etc.) of the electronic device, history information corresponding to the operation of the electronic device (eg, operation time, standby time, etc.) or the electronic device may include items such as failure information (eg, failure site, failure time, A/S action, A/S date, etc.). In addition, the context information of the electronic device 100 includes user information corresponding to a user carrying the electronic device 100 (eg, a user identifier (ID), a password, a user name, and the user's biometric information (eg, fingerprint, iris, pulse, blood pressure, body temperature, etc.).

사용자에 입력에 의해 사용자의 주변(예를 들어, 거실, 주방, 방, 사무실 등)에 위치하는 외부 장치(200)의 상태(state)가 변경될 수 있다. 외부 장치(200)의 상태 및 상태 변경은 외부 장치(200)의 센서부(270) 또는 기계식/전자식 스위치의 움직임을 검출하는 센서(도시되지 아니함)를 통해 검출할 수 있다. The state of the external device 200 located in the vicinity of the user (eg, living room, kitchen, room, office, etc.) may be changed by the user's input. The state and state change of the external device 200 may be detected through the sensor unit 270 of the external device 200 or a sensor (not shown) that detects the movement of a mechanical/electronic switch.

기설정된 조건(예를 들어, 일몰, 우천 등)에 의해 주변에 위치하는 외부 장치(200)의 상태가 자동으로 변경될 수 있다. 외부 장치(200)는 사용자의 상태 변경(예를 들어, 외출 등) 또는 전자 장치(100)의 상태 변경의 검출에 대응하여 외부 장치(200)의 상태를 변경할 수 있다. The state of the external device 200 located in the vicinity may be automatically changed according to a preset condition (eg, sunset, rain, etc.). The external device 200 may change the state of the external device 200 in response to a state change of the user (eg, going out, etc.) or detection of a state change of the electronic device 100 .

또한, 사용자는 상태(예를 들어, 사용자의 외출, 사용자의 취침 등) 변경에 대응하여 사용자의 주변에 위치하는 외부 장치(200)의 상태를 수동으로 변경할 수 있다. 사용자에 의한 외부 장치(200)의 수동 상태 변경은 사용자가 직접 외부 장치(200)의 상태를 변경(예를 들어, 외부 장치(200)의 전원 버튼을 누름) 또는 사용자에 의해 전자 장치(100)의 어플리케이션을 이용하여 외부 장치(200)의 상태를 변경을 포함할 수 있다. In addition, the user may manually change the state of the external device 200 located in the vicinity of the user in response to a change in state (eg, the user goes out, the user sleeps, etc.). The manual state change of the external device 200 by the user is the user directly changing the state of the external device 200 (eg, pressing the power button of the external device 200) or the electronic device 100 by the user may include changing the state of the external device 200 by using the application of .

사용자가 집 밖으로 나가기 전, 사용자는 수동으로 디스플레이 장치(201)의 전원 오프(off), 로봇 청소기(202)의 청소 시작(on), 세탁기(203)의 세탁 시작, 에어컨(204)의 전원 오프, 전등(205)의 전원 오프 또는 자동 잠금 장치(auto door lock, 206)의 잠금(lock)으로 상태를 변경할 수 있다. 또한, 사용자가 집 밖으로 나가기 전, 사용자는 집 안에 있는 외부 장치(201 내지 206)를 사용자에게 익숙한 다양한 조합으로 상태 변경할 수 있다. 예를 들어, 다양한 조합은 외부 장치의 상태 변경 순서 또는 외부 장치의 상태 변경 개수 (예를 들어, 하나의 외부 장치만 상태 변경, 2개의 외부 장치만 상태 변경, 3개의 외부 장치만 상태 변경, 4개의 외부 장치만 상태 변경, 5개의 외부 장치만 상태 변경, 또는 모든 외부 장치의 상태 변경 등)를 포함할 수 있다. Before the user leaves the house, the user manually turns off the power of the display device 201 , starts cleaning the robot cleaner 202 , starts washing the washing machine 203 , and turns off the power of the air conditioner 204 . , it is possible to change the state by turning off the power of the light 205 or locking the automatic door lock 206 . Also, before the user leaves the house, the user may change the state of the external devices 201 to 206 in the house to various combinations familiar to the user. For example, the various combinations can determine the order of state change of external devices or the number of state changes of external devices (e.g., only one external device changes state, only two external devices change state, only three external devices change state, 4 state change of only five external devices, state change of only five external devices, or state change of all external devices).

사용자가 집 안에서부터 집 밖으로 나오는 경우, 전자 장치(100)의 상태 정보 중 공간 상황(예를 들어, 위치 정보)가 변경될 수 있다. 또한, 사용자가 거실에서 침실로 이동하는 경우, 전자 장치(100)의 상태 정보 중 위치 정보(예를 들어, 공간 상황)가 변경될 수 있다. When the user comes out of the house from inside the house, a spatial situation (eg, location information) among the state information of the electronic device 100 may be changed. Also, when the user moves from the living room to the bedroom, location information (eg, a space situation) among status information of the electronic device 100 may be changed.

외부 장치(201 내지 206)의 각 제어부는 외부 장치(201 내지 206)의 변경된 상태 정보를 각 저장부에 저장할 수 있다. 외부 장치(201 내지 206) 중 일부의 저장부에 저장된 상태 정보가 예를 들어 설명된다. 아래 <표 1>는 디스플레이 장치(201)의 저장부(275)에 저장된 상태 정보의 예를 나타낼 수 있다. Each control unit of the external devices 201 to 206 may store changed state information of the external devices 201 to 206 in each storage unit. State information stored in the storage of some of the external devices 201 to 206 is described as an example. Table 1 below may show examples of state information stored in the storage unit 275 of the display device 201 .

장치 이름device name 상태state 변경 시간change time TelevisionTelevision OffOff 09:0509:05 TelevisionTelevision OnOn 06:0106:01 TelevisionTelevision OffOff 00:3800:38

또한, 아래 <표 2>는 전등(205)의 저장부(275)에 저장된 상태 정보의 예를 나타낼 수 있다.In addition, <Table 2> below may show an example of state information stored in the storage unit 275 of the lamp 205 .

장치 이름device name 상태state 변경 시간change time LighterLighter OffOff 09:0609:06 LighterLighter OnOn 06:0006:00 LighterLighter OffOff 00:3900:39

여기서, 저장된 상태 정보는 외부 장치 식별자, 외부 장치 이름, 상태 변경 시간을 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 다양한 정보를 나타내는 항목을 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다. Here, it is common knowledge in the art that the stored state information may include a plurality of items indicating an external device identifier, an external device name, and a state change time, but is not limited thereto, and may include items indicating various information. It will be easily understood by those who have

나머지 외부 장치의 저장부에도 위의 <표 1> 또는 <표 2>와 동일하게 상태 정보가 저장될 수 있다. State information may be stored in the storage unit of the other external devices as in <Table 1> or <Table 2> above.

전자 장치(100)는 어플리케이션(610, 도 6c 참조)을 이용하여 서버(300)로 외부 장치(200)의 상태 변경에 대한 모니터링(monitoring) 시작(예를 들어, 사용자 입력에 의해)을 요청할 수 있다. 서버(300)의 제어부는 “모니터링 시작”에 대응하여 외부 장치(200)의 상태에 대한 모니터링을 시작할 수 있다. 서버(300)의 제어부는 외부 장치(200)로 “모니터링 시작”을 알릴 수 있다. 외부 장치에서 상태 변경이 발생하는 경우, 외부 장치(200)의 제어부(210)는 서버(300)로 외부 장치의 상태 변경에 대응되는 외부 장치 상황 정보를 전송할 수 있다. The electronic device 100 may request the server 300 to start monitoring (eg, by a user input) for a state change of the external device 200 using the application 610 (refer to FIG. 6C ). have. The control unit of the server 300 may start monitoring the state of the external device 200 in response to “start monitoring”. The control unit of the server 300 may notify “start monitoring” to the external device 200 . When a status change occurs in the external device, the controller 210 of the external device 200 may transmit external device status information corresponding to the status change of the external device to the server 300 .

또한, 전자 장치(100)는 어플리케이션(610, 도 6c 참조)을 이용하여 서버(300)로 외부 장치(200)의 상태 변경에 대한 모니터링(monitoring) 종료(예를 들어, 사용자 입력에 의해)를 요청할 수도 있다.
In addition, the electronic device 100 terminates monitoring (eg, by a user input) for a state change of the external device 200 to the server 300 using the application 610 (refer to FIG. 6C ). You may request

도 3의 단계(S320)에서, 외부 장치에서 변경된 상황 정보가 서버로 전송된다. In step S320 of FIG. 3 , context information changed in the external device is transmitted to the server.

도 6a를 참조하면, 외부 장치(200)의 제어부(210)는 변경된 상태에 대응되는 상태 정보를 서버(300)로 전송할 수 있다. 외부 장치(200)의 제어부(210)는 변경된 상황 정보를 서버(300)로 전송할 수 있다. 외부 장치(200)의 상태에 대응되는 상태 정보는 외부 장치(200)의 상황 정보(context information)를 의미할 수 있다. 변경된 상태 정보는 상태 정보에 포함된 항목 중 변경된 항목만을 포함하는 상태 정보이거나 또는 변경된 항목 및 변경되지 않은 항목 중 적어도 일부를 포함하는 상태 정보일 수 있다. 외부 장치(200)의 제어부(210)는 저장부(275)에 저장된 서버 정보를 이용하여 변경된 상황 정보를 서버로(300)로 전송할 수 있다. 저장된 서버 정보는 서버 식별자, 서버 이름, 또는 서버 연결 정보(예를 들어, SSID, IP 주소, MAC 주소, 채널 번호 또는 보안 키 등)를 포함할 수 있다. Referring to FIG. 6A , the controller 210 of the external device 200 may transmit state information corresponding to the changed state to the server 300 . The controller 210 of the external device 200 may transmit the changed context information to the server 300 . The state information corresponding to the state of the external device 200 may mean context information of the external device 200 . The changed state information may be state information including only a changed item among items included in the state information, or may be state information including at least some of a changed item and an unchanged item. The control unit 210 of the external device 200 may transmit the changed context information to the server 300 by using the server information stored in the storage unit 275 . The stored server information may include a server identifier, a server name, or server connection information (eg, SSID, IP address, MAC address, channel number or security key, etc.).

외부 장치(200)의 제어부(210)는 통신부(230)를 통해 주기적(예를 들어, 5,000 ㎳, 변경 가능)으로 전송 시점의 상태 정보, 외부 요청에 의한 전송 회신 시점의 상태 정보 및 상태 변경 발생에 대응되어 전송되는 상태 정보 중 적어도 하나의 상태 정보를 서버(300)로 전송할 수 있다. The control unit 210 of the external device 200 periodically (eg, 5,000 ms, changeable) through the communication unit 230, the state information at the time of transmission, the state information at the time of the transmission reply by the external request, and the state change occurs At least one piece of status information from among the status information transmitted in response to , may be transmitted to the server 300 .

외부 장치(200)의 제어부(210)는 변경된 상태 정보를 저장부(275)에 저장할 수 있다. 또한, 외부 장치(200)의 제어부(210)는 전송된 상태 정보에 대응되는 전송 상태 정보를 저장부(275)에 저장할 수 있다. 저장되는 전송 상태 정보는 이력 관리를 위한 전송 식별자(ID), 외부 장치 이름, 전송 시작 시간, 전송 종료 시간, 수신 장치의 식별자(ID), 수신 장치의 MAC 주소, 전송된 상태 정보 등을 포함할 수 있다. The control unit 210 of the external device 200 may store the changed state information in the storage unit 275 . Also, the control unit 210 of the external device 200 may store transmission state information corresponding to the transmitted state information in the storage unit 275 . The stored transmission status information may include a transmission identifier (ID) for history management, an external device name, a transmission start time, a transmission end time, an identifier of the receiving device (ID), a MAC address of the receiving device, and transmitted status information. can

외부 장치(200)의 제어부(210)는 변경된 상태에 대응되는 상태 정보(또는 상황 정보)를 서버(300)뿐만 아니라 전자 장치(100)로 전송할 수 있다. The controller 210 of the external device 200 may transmit state information (or context information) corresponding to the changed state to the electronic device 100 as well as the server 300 .

전자 장치(100)의 상태가 변경되는 경우, 제어부는 전자 장치(100)의 변경된 상태에 대응되는 상태 정보(또는 상황 정보)를 서버(300)로 전송할 수 있다. 전자 장치(100)의 제어부는 변경된 상태 정보를 저장부에 저장할 수 있다. 저장부에 저장된 전자 장치(100)의 변경된 상태 정보는 이력 관리를 위한 변경 식별자(ID), 상태 변경 시간, 변경 전 위치, 변경 후 위치 등을 포함할 수 있다. When the state of the electronic device 100 is changed, the controller may transmit state information (or context information) corresponding to the changed state of the electronic device 100 to the server 300 . The controller of the electronic device 100 may store the changed state information in the storage unit. The changed state information of the electronic device 100 stored in the storage may include a change identifier (ID) for history management, a state change time, a position before the change, a position after the change, and the like.

서버(300)의 제어부(310)는 외부 장치(200)에서부터 수신된 상태 정보 또는 전자 장치(100)에서부터 수신된 상태 정보를 저장부(375)에 저장할 수 있다. The controller 310 of the server 300 may store the state information received from the external device 200 or the state information received from the electronic device 100 in the storage unit 375 .

아래 <표 3>는 각각의 외부 장치(201 내지 206)에서부터 수신되어 서버(300)의 저장부(375)에 저장된 상태 정보의 예를 나타낼 수 있다.Table 3 below may show examples of state information received from each of the external devices 201 to 206 and stored in the storage unit 375 of the server 300 .

외부 장치 이름External device name 상태state 변경 시간change time Auto door lockauto door lock OffOff 09:0509:05 LighterLighter OffOff 09:0409:04 Air conditionerair conditioner OffOff 09:0309:03 Washing machinewashing machine OnOn 09:0309:03 Robotic vacuum cleanerRobotic vacuum cleaner OnOn 09:0109:01 TelevisionTelevision OffOff 09:0109:01 ...... ...... ...... TelevisionTelevision OnOn 06:0106:01 LighterLighter OnOn 06:0006:00

여기서, 저장된 상태 정보는 외부 장치 식별자, 외부 장치 이름, 및 상태 변경 시간을 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다. Here, the stored state information may include a plurality of items indicating an external device identifier, an external device name, and a state change time, but is not limited thereto, and it is common in the art to include items capable of indicating various states. It will be easily understood by those who have knowledge.

서버(300)의 저장부(375)에 저장되는 상태 정보는 <표 3>처럼 하나로 저장되거나 또는 <표 1>처럼 외부 장치(201 내지 206) 각각으로 저장될 수 있다.
The state information stored in the storage unit 375 of the server 300 may be stored as one as shown in <Table 3> or may be stored in each of the external devices 201 to 206 as shown in <Table 1>.

도 3의 단계(S330)에서, 전자 장치에서 어플리케이션이 실행된다. In step S330 of FIG. 3 , an application is executed in the electronic device.

도 6b를 참조하면, 사용자는 전자 장치(100)의 화면에 표시된 단축 아이콘(193a 내지 193h)에서 선택 대상인 어플리케이션(예를 들어, OIC Agent)에 대응되는 단축 아이콘(193a)에 제1 터치(301)를 한다. 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제1 터치(301)를 검출할 수 있다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제1 터치(301)에 대응되는 제1 터치 위치(301a, 예를 들어, X1와 Y1좌표)를 산출할 수 있다. Referring to FIG. 6B , a user touches a first touch 301 on a shortcut icon 193a corresponding to an application (eg, OIC Agent) to be selected from shortcut icons 193a to 193h displayed on the screen of the electronic device 100 . ) do. The controller may detect the first touch 301 using the touch screen 190 and the touch screen controller 195 . The controller may calculate a first touch position 301a (eg, X1 and Y1 coordinates) corresponding to the first touch 301 by using an electrical signal received from the touch screen controller 195 .

제어부는 제1 터치 위치(301a)에 대응되는 제1 터치 위치 정보를 저장부에 저장할 수 있다. 저장되는 제1 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. The controller may store first touch location information corresponding to the first touch location 301a in the storage unit. The stored first touch location information may include a touch identifier (ID) for history management, a touch location, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.).

도 6c를 참조하면, 전자 장치(100)의 제어부는 화면에 제1 터치(301)에 대응되는 어플리케이션(600)을 표시할 수 있다. Referring to FIG. 6C , the controller of the electronic device 100 may display the application 600 corresponding to the first touch 301 on the screen.

어플리케이션(600)은 어플리케이션 이름(611)을 포함하는 어플리케이션 이름 영역(610), 외부 장치(200)에 대응되는 식별자(예를 들어, 아이콘(621a 내지 621f)), 변경된 상태(622, 도 6d 참조)를 표시하는 표시 영역(620)을 포함할 수 있다. 어플리케이션(600)은 어플리케이션 및 사용자의 인터랙션을 표시하는 인터랙션 영역(630)을 포함할 수 있다. The application 600 includes an application name area 610 including an application name 611 , an identifier corresponding to the external device 200 (eg, icons 621a to 621f ), and a changed state 622 , see FIG. 6D . ) may include a display area 620 for displaying the . The application 600 may include an interaction area 630 that displays an interaction between the application and the user.

어플리케이션 이름 영역(610)은 메뉴(612) 및 새로 고침(refresh)에 대응되는 아이콘(612)을 포함할 수 있다. 어플리케이션(600)의 표시 영역(620)은 서브 타이틀(620a) 및 사용자의 선택을 수신하는 선택 박스(623, 도 6d 참조) 중 적어도 하나 또는 모두(620a 및 623)를 포함할 수 있다. The application name area 610 may include a menu 612 and an icon 612 corresponding to refresh. The display area 620 of the application 600 may include at least one or both 620a and 623 of a subtitle 620a and a selection box 623 (refer to FIG. 6D ) for receiving a user's selection.

선택 박스(623)에서 체크마크(checkmark)를 포함하는 경우, 외부 장치(200)의 상태가 이미 변경되었거나 또는 변경 예정을 의미할 수 있다. 서버(300)에서 수신되는 외부 장치의 상태 정보에서 체크 마크를 포함하는 선택 박스가 있는 경우, 해당하는 외부 장치(200)의 상태는 이미 변경되었음을 의미할 수 있다. 또한, 전자 장치(100)에서부터 서버(300)로 전송되는 외부 장치의 상태 정보에서 체크마크를 포함하는 선택 박스가 있는 경우, 해당하는 외부 장치(200)의 상태는 변경 예정임을 의미할 수 있다. When a checkmark is included in the selection box 623 , it may mean that the state of the external device 200 has already been changed or is scheduled to be changed. When there is a selection box including a check mark in the state information of the external device received from the server 300 , it may mean that the state of the corresponding external device 200 has already been changed. Also, when there is a selection box including a check mark in the state information of the external device transmitted from the electronic device 100 to the server 300 , it may mean that the state of the corresponding external device 200 is to be changed.

표시 영역(620)에 표시되는 외부 장치(200)에 대응되는 아이콘의 개수가 화면에 표시가능한 아이콘의 개수보다 많은 경우, 제어부는 사용자에 의해 스크롤 가능하도록 스크롤 바(도시되지 아니함), 스크롤 가능한 방향에 대응되는 아이콘(도시되지 아니함)을 표시할 수도 있다. When the number of icons corresponding to the external device 200 displayed on the display area 620 is greater than the number of icons that can be displayed on the screen, the controller includes a scroll bar (not shown) and a scrollable direction to enable scrolling by the user. An icon (not shown) corresponding to may be displayed.

전자 장치(100)에서, 사용자의 제1 터치(301)없이 어플리케이션이 실행될 수도 있다. 예를 들어, 외부 장치(200)에서부터 변경된 상태 정보가 수신되는 경우, 서버(300)의 제어부(310)는 전자 장치(100)로 외부 장치(200)의 상태 변경에 대응되는 어플리케이션(600)의 실행을 요청할 수 있다. In the electronic device 100 , the application may be executed without the user's first touch 301 . For example, when the changed state information is received from the external device 200 , the controller 310 of the server 300 sends the electronic device 100 to the application 600 corresponding to the state change of the external device 200 . can be requested to run.

전자 장치(100)에서부터 변경된 상태 정보가 수신되는 경우, 서버(300)의 제어부(310)는 전자 장치(100)로 외부 장치(200)의 상태 변경에 대응되는 어플리케이션(600)의 실행을 요청할 수 있다. 또한, 외부 장치(200) 및 전자 장치(100)에서부터 변경된 각각의 상태 정보가 수신되는 경우, 서버(300)의 제어부(310)는 전자 장치(100)로 외부 장치(200)의 상태 변경에 대응되는 어플리케이션(600)의 실행을 요청할 수 있다. 서버(300)의 제어부(310)는 통신부(330)를 통해 어플리케이션(600)의 실행에 대응되는 제어 커맨드(예를 들어, 컨트롤 패킷)을 전자 장치(100)로 전송할 수 있다.
When the changed state information is received from the electronic device 100 , the controller 310 of the server 300 may request the electronic device 100 to execute the application 600 corresponding to the state change of the external device 200 . have. Also, when each changed state information is received from the external device 200 and the electronic device 100 , the controller 310 of the server 300 responds to the state change of the external device 200 to the electronic device 100 . The execution of the application 600 may be requested. The controller 310 of the server 300 may transmit a control command (eg, a control packet) corresponding to the execution of the application 600 to the electronic device 100 through the communication unit 330 .

도 3의 단계(S340)에서, 서버에 외부 장치의 상황 정보가 요청된다. In step S340 of FIG. 3 , context information of the external device is requested from the server.

도 6c 및 도 6d를 참조하면, 전자 장치(100)의 제어부는 제1 터치(301)에 대응하여 서버(300)에 가장 최근(last)에 변경된 외부 장치(200)의 상태 정보를 요청할 수 있다. 예를 들어, 가장 최근은 상태 요청 시점을 기준으로 이전 30분(변경 가능)을 포함할 수 있다. 전자 장치(100)의 제어부는 제1 터치(301)에 대응하여 실행된 어플리케이션(600)을 통해 서버(300)에 가장 최근(last)부터 변경된 외부 장치(200)의 상태 정보를 요청할 수 있다. 6C and 6D , the controller of the electronic device 100 may request the most recently changed state information of the external device 200 from the server 300 in response to the first touch 301 . . For example, the most recent may include the previous 30 minutes (can be changed) based on the time of the status request. The controller of the electronic device 100 may request status information of the external device 200 changed from the most recent to the server 300 through the application 600 executed in response to the first touch 301 .

전자 장치(100)의 제어부는 전자 장치(100)의 상태 변경(예를 들어, 집 안에서부터 집 밖으로의 위치 변경)에 대응되는 외부 장치(예를 들어, 201 내지 206)의 상태 정보를 요청할 수 있다. 전자 장치(100)의 상태 변경에 대응되는 외부 장치는 전자 장치(100)의 상태 변경 시점을 기준으로 이전 30분(변경 가능)동안 전자 장치(100)의 위치 변경 전(예를 들어, 집 안)의 위치에 있는 외부 장치를 의미할 수 있다. The control unit of the electronic device 100 may request status information of the external devices (eg, 201 to 206 ) corresponding to a change in the state of the electronic device 100 (eg, a change in location from inside the house to outside the house). have. The external device corresponding to the state change of the electronic device 100 before the change of the location of the electronic device 100 (for example, in the house) for 30 minutes (changeable) prior to the state change time of the electronic device 100 ) may mean an external device in the location of

전자 장치(100)의 제어부는 전자 장치(100)의 상태 변경(예를 들어, 집 안에서부터 집 밖으로의 위치 변경)에 대응하여 어플리케이션(600)을 통해 가장 최근(last)에 위치 변경 전(예를 들어, 집 안)의 위치에 있는 외부 장치(예를 들어, 201 내지 206)의 상태 정보들을 요청할 수 있다. The control unit of the electronic device 100 responds to a state change of the electronic device 100 (eg, a change of location from inside the house to outside the house) before the most recent location change (eg, through the application 600 ) For example, it is possible to request status information of an external device (eg, 201 to 206 ) located at a location in the house.

전자 장치(100)와 서버(300)가 연결되지 않는 경우(예를 들어, 서버의 주소 변경 등), 전자 장치(100)의 제어부는 저장된 외부 장치 정보를 이용하여 각각의 외부 장치(201 내지 206)에게 상태 정보를 요청할 수 있다.
When the electronic device 100 and the server 300 are not connected (eg, change of address of the server, etc.), the controller of the electronic device 100 uses the stored external device information to each of the external devices 201 to 206 . ) to request status information.

도 3의 단계(S350)에서, 서버에서부터 요청한 외부 장치의 상황 정보가 수신된다. In step S350 of FIG. 3 , context information of an external device requested from the server is received.

전자 장치(100)의 제어부는 상황 정보 요청에 대응하여 서버(300)에서부터 송신되는 상황 정보를 통신부(130)을 통해 수신할 수 있다. 수신되는 상황 정보는 가장 최근(last)에 변경된 외부 장치(200)의 상태 정보, 전자 장치(100)의 상태 변경(예를 들어, 집 안에서부터 집 밖으로의 위치 변경), 또는, 전자 장치(100)의 상태 변경(예를 들어, 집 안에서부터 집 밖으로의 위치 변경)에 대응되는 외부 장치(예를 들어, 201 내지 206)의 상태 정보를 포함할 수 있다. 전자 장치(100)의 위치 변경 정보는 그룹 액션의 생성 위치 정보로 사용될 수도 있다. The control unit of the electronic device 100 may receive context information transmitted from the server 300 through the communication unit 130 in response to a request for context information. The received context information may include the most recently changed state information of the external device 200 , a state change of the electronic device 100 (eg, a change of location from inside the house to the outside of the house), or the electronic device 100 . . The location change information of the electronic device 100 may be used as generation location information of a group action.

또한, 수신된 상황 정보는 전자 장치(100)의 상태 정보 요청 시점을 기준으로 변경된 순서에 대응되는 외부 장치(200)의 상태 정보를 포함할 수 있다. In addition, the received context information may include state information of the external device 200 corresponding to a changed order based on the request time of the state information of the electronic device 100 .

전자 장치(100)와 서버(300)가 연결되지 않는 경우(예를 들어, 서버의 주소 변경 등), 전자 장치(100)의 제어부는 상황 정보 요청에 대응하여 외부 장치(200)에서부터 송신되는 상황 정보를 통신부(230)를 통해 수신할 수도 있다. When the electronic device 100 and the server 300 are not connected (eg, a change in the address of the server, etc.), the control unit of the electronic device 100 is transmitted from the external device 200 in response to the request for context information Information may be received through the communication unit 230 .

전자 장치(100)의 제어부는 통신부(230)를 통해 수신된 상황 정보를 저장부에 저장할 수 있다.
The control unit of the electronic device 100 may store the context information received through the communication unit 230 in the storage unit.

도 3의 단계(S360)에서, 그룹 액션이 표시된다. In step S360 of FIG. 3 , a group action is displayed.

도 6d를 참조하면, 전자 장치(100)의 제어부는 서버(300)에서부터 수신된(또는 저장된) 상황 정보를 표시할 수 있다. 전자 장치(100)의 제어부는 서버(300)에서부터 수신된(또는 저장된) 상황 정보를 어플리케이션(600)을 통해 표시할 수 있다. 또한, 전자 장치(100)의 제어부는 서버(300)에서부터 수신된(또는 저장된) 상황 정보를 프로세싱하여 어플리케이션(600)에 표시할 수 있다. 예를 들어, 프로세싱은 외부 장치(200)를 아이콘으로 표시, 변경된 상태를 직관적(변경 전/후를 구분하여 표시)으로 표시 등을 포함할 수 있다. 제어부는 서버(300)에서부터 수신된 상황 정보를 외부 장치(200)의 변경 시간에 대응하여 표시할 수 있다. 또한, 제어부는 서버(300)에서부터 수신된 상황 정보를 전력 소비량(예를 들어, 전력 소비량이 높은 순서대로, 도시되지 아니함) 또는 사용자의 선호도(favorite, 도시되지 아니함)에 따라 우선(priority)하여 표시할 수도 있다. Referring to FIG. 6D , the controller of the electronic device 100 may display situation information received (or stored) from the server 300 . The control unit of the electronic device 100 may display situation information received (or stored) from the server 300 through the application 600 . In addition, the control unit of the electronic device 100 may process the received (or stored) situation information from the server 300 and display it on the application 600 . For example, the processing may include displaying the external device 200 as an icon, and intuitively displaying the changed state (distinct before/after the change). The controller may display the situation information received from the server 300 in response to the change time of the external device 200 . In addition, the control unit prioritizes the context information received from the server 300 according to the power consumption (eg, in the order of the highest power consumption, not shown) or the user's preference (favorite, not shown). can also be displayed.

도 6c와 비교하면, 전자 장치(100)의 제어부는 어플리케이션(600)의 표시 영역(620)에 외부 장치에 대응되는 아이콘(621a 내지 621f), 변경된 상태(622a 내지 622f) 및 선택 박스(623a 내지 623f)를 표시할 수 있다. Compared with FIG. 6C , the controller of the electronic device 100 displays icons 621a to 621f corresponding to the external device, changed states 622a to 622f, and selection boxes 623a to 623a to the display area 620 of the application 600 . 623f) can be displayed.

표시 영역(620)에 표시되는 아이콘의 개수가 표시 영역(620)에 표시가능한 아이콘의 개수(예를 들어, 6 개)보다 많은 경우, 제어부는 터치(또는 호버링)에 의해 스크롤 가능하도록 스크롤 바(도시되지 아니함), 스크롤 가능한 방향에 대응되는 심볼(예를 들어, ↑, ↓, 또는 △, ▽, 도시되지 아니함)을 표시할 수도 있다. When the number of icons displayed on the display area 620 is greater than the number of icons displayable on the display area 620 (for example, 6), the controller controls the scroll bar ( Not shown), a symbol (for example, ↑, ↓, or △, ▽, not shown) corresponding to the scrollable direction may be displayed.

전자 장치(100)의 제어부는 어플리케이션(600)의 인터랙션 영역(630)에 “그룹 액션 생성”에 대응되어 선택가능한 버튼(631)을 표시할 수 있다. The control unit of the electronic device 100 may display a selectable button 631 corresponding to “generate group action” in the interaction area 630 of the application 600 .

사용자는 인터랙션 영역(630)의 버튼(631)에 제2 터치(302)를 하는 경우, 제어부는 새로운 그룹 액션을 생성할 수 있다. 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제2 터치(302)를 검출할 수 있다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제2 터치(302)에 대응되는 제2 터치 위치(302a, 예를 들어, X2와 Y2좌표)를 산출할 수 있다. When the user makes a second touch 302 on the button 631 of the interaction area 630 , the controller may create a new group action. The controller may detect the second touch 302 using the touch screen 190 and the touch screen controller 195 . The controller may calculate a second touch position 302a (eg, X2 and Y2 coordinates) corresponding to the second touch 302 by using an electrical signal received from the touch screen controller 195 .

제어부는 제2 터치 위치(302a)에 대응되는 제2 터치 위치 정보를 저장부에 저장할 수 있다. 저장되는 제2 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. The controller may store second touch location information corresponding to the second touch location 302a in the storage unit. The stored second touch location information may include a touch identifier (ID) for history management, a touch location, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.).

그룹 액션은 하나 또는 복수의 외부 장치의 액션들의 집합(set)을 의미할 수 있으며, 그룹 액션에 포함되는 적어도 하나의 액션은 대응되는 외부 장치의 상태 변경을 위한 제어 명령어를 포함할 수 있다. 그룹 액션이 생성되는 경우, 그룹 액션에 대응되는 그룹 액션 정보가 생성되어 저장될 수 있다. 그룹 액션에 관한 정보는 설정된 상황에 대응되는 외부 장치들의 설정된 동작(예를 들어, 상태 변경)을 수행하여야 하는 지에 관한 정보를 포함할 수 있다. The group action may mean a set of actions of one or a plurality of external devices, and at least one action included in the group action may include a control command for changing the state of the corresponding external device. When a group action is generated, group action information corresponding to the group action may be generated and stored. The information about the group action may include information on whether to perform a set operation (eg, state change) of external devices corresponding to a set situation.

예를 들어, 그룹 액션에 관한 정보는 그룹 액션 타이틀, 외부 장치 식별자(ID), 외부 장치 이름, 외부 장치의 상태 변경 정보(예를 들어, On ↔ Off 등) 또는 외부 장치의 상태 변경 조건 정보(예를 들어, 제한 기간 5분) 등을 포함할 수 있으며, 이에 한정되지 않는다. For example, group action information includes group action title, external device identifier (ID), external device name, external device status change information (eg, On ↔ Off, etc.) or external device status change condition information ( For example, a limit period of 5 minutes) may be included, but is not limited thereto.

전자 장치(100)의 제어부는 생성된 그룹 액션의 실행을 통해 그룹 액션에 대응되는 복수의 외부 장치(200)의 상태를 일괄 변경할 수 있다. 제어부는 그룹 액션의 실행을 통해 그룹 액션에 대응되는 복수의 외부 장치(200)의 상태를 자동으로 변경할 수 있다. The controller of the electronic device 100 may collectively change the states of the plurality of external devices 200 corresponding to the group action through execution of the generated group action. The controller may automatically change the states of the plurality of external devices 200 corresponding to the group action through execution of the group action.

도 3의 단계(S360)에서, 표시된 그룹 액션을 저장하는 경우, 도 3의 단계(S370)로 진행한다.
In the case of storing the displayed group action in step S360 of FIG. 3 , the process proceeds to step S370 of FIG. 3 .

도 3의 단계(S370)에서, 그룹 액션이 저장된다. In step S370 of FIG. 3 , the group action is stored.

전자 장치(100)의 제어부는 제2 터치에 대응하여 화면에 키패드(166) 및 새로운 그룹 액션 타이틀 입력창(도시되지 아니함)을 표시할 수 있다. 사용자는 키패드(166)를 이용하여 새로운 그룹 액션 타이틀을 입력할 수 있다. 입력된 새로운 그룹 액션 타이틀은 “외출(go out)”일 수 있다. 새로운 그룹 액션이 입력되는 경우, 사용자는 화면에 표시되는 확인(ok, 도시되지 아니함)을 선택할 수 있다. 그룹 액션 타이틀로 외출을 가지는 그룹 액션의 생성 위치는 현관일 수 있다. 전자 장치(100)가 현관에 도착하는 경우, 서버(300)는 그룹 액션 타이틀로 외출을 가지는 그룹 액션을 전자 장치(100)에 추천할 수 있다. The controller of the electronic device 100 may display the keypad 166 and a new group action title input window (not shown) on the screen in response to the second touch. The user may enter a new group action title using the keypad 166 . The input new group action title may be “go out”. When a new group action is input, the user may select a confirmation (ok, not shown) displayed on the screen. A generation location of a group action having an outing as a group action title may be a hallway. When the electronic device 100 arrives at the entrance, the server 300 may recommend a group action having going out as a group action title to the electronic device 100 .

도 6e를 참조하면, 전자 장치(100)의 제어부는 서브 타이틀(620a)을 입력된 새로운 그룹 액션 타이틀(620b)로 변경할 수 있다. 사용자에 의해 새로운 그룹 액션 타이틀(620b)가 선택되는 경우, 새로운 그룹 액션 타이틀(620b)은 키패드(166)에 의해 수정될 수 있다. Referring to FIG. 6E , the controller of the electronic device 100 may change the subtitle 620a to the input new group action title 620b. When a new group action title 620b is selected by the user, the new group action title 620b may be modified by the keypad 166 .

전자 장치(100)의 제어부는 어플리케이션(600)의 인터랙션 영역(630)에 “그룹 액션 저장”에 대응되고 선택가능한 버튼(632)을 표시할 수 있다. The control unit of the electronic device 100 may display a selectable button 632 corresponding to “store group action” in the interaction area 630 of the application 600 .

표시 영역(620)에 표시되는 항목(621 내지 623) 중 변경 항목이 없는 경우, 사용자는 인터랙션 영역(630)의 버튼(632)에 제3 터치(303)를 한다. 전자 장치(100)의 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제3 터치(303)를 검출할 수 있다. 전자 장치(100)의 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제2 터치(302)에 대응되는 제3 터치 위치(303a, 예를 들어, X3와 Y3좌표)를 산출할 수 있다. When there is no change item among the items 621 to 623 displayed on the display area 620 , the user makes a third touch 303 on the button 632 of the interaction area 630 . The controller of the electronic device 100 may detect the third touch 303 using the touch screen 190 and the touch screen controller 195 . The control unit of the electronic device 100 calculates a third touch position 303a (eg, X3 and Y3 coordinates) corresponding to the second touch 302 by using an electrical signal received from the touch screen controller 195 . can

전자 장치(100)의 제어부는 제3 터치 위치(303a)에 대응되는 제3 터치 위치 정보를 저장부에 저장할 수 있다. 저장되는 제2 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. The controller of the electronic device 100 may store third touch location information corresponding to the third touch location 303a in the storage unit. The stored second touch location information may include a touch identifier (ID) for history management, a touch location, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.).

전자 장치(100)의 제어부는 그룹 액션의 저장에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 전자 장치(100)에서 제공되는 피드백은 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나로 사용자에게 제공될 수 있다. 제어부는 시각적 피드백, 청각적 피드백 및 촉각적 피드백 중 하나 또는 시각적 피드백, 청각적 피드백 및 촉각적 피드백들의 조합을 전자 장치(100)를 통해 사용자에게 제공할 수 있다. The controller of the electronic device 100 may provide a feedback corresponding to the storage of the group action to the user. The feedback provided by the electronic device 100 may be provided to the user as one of visual feedback, auditory feedback, and tactile feedback. The controller may provide one of visual feedback, auditory feedback, and tactile feedback or a combination of visual feedback, auditory feedback, and tactile feedback to the user through the electronic device 100 .

시각 피드백은 그룹 액션의 저장에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 어플리케이션(600)에서 표시되는 오브젝트와 구별되게 표시될 수 있다. 청각 피드백은 그룹 액션의 저장에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다. 촉각 피드백은 그룹 액션의 저장에 대응되게 진동모터(164)에서 출력될 수 있다. Visual feedback is a visual effect (eg, an animation effect such as a separate image or a fade applied to a separate image) corresponding to the storage of the group action to be displayed separately from the object displayed in the application 600 . can The auditory feedback may be output from the speaker 163 as a sound corresponding to the storage of the group action. The tactile feedback may be output from the vibration motor 164 to correspond to the storage of the group action.

전자 장치(100)의 환경 설정(도시되지 아니함)에서, 그룹 액션의 저장에 대응되는 피드백(예를 들어, 시각 피드백, 청각 피드백, 및 촉각 피드백 중 적어도 하나)을 선택 및/또는 변경할 수도 있다. In an environment setting (not shown) of the electronic device 100 , a feedback corresponding to the storage of the group action (eg, at least one of visual feedback, auditory feedback, and tactile feedback) may be selected and/or changed.

적어도 하나의 피드백이 사용자에게 제공되는 피드백 제공 시간(예를 들어, 300 msec, 변경 가능)을 사용자가 입력 및/또는 변경할 수 있다. The user may input and/or change a feedback providing time (eg, 300 msec, changeable) at which at least one feedback is provided to the user.

전자 장치(100)의 제어부는 제3 터치(303)에 대응하여 그룹 액션에 대응되는 그룹 액션 타이틀(예를 들어, 외출)을 포함하는 그룹 액션 정보를 저장부에 저장할 수 있다. 그룹 액션 정보는 그룹 액션 타이틀, 외부 장치 식별자(ID), 외부 장치 이름, 외부 장치의 상태 변경 정보(예를 들어, On ↔ Off, Unlock ↔ Lock 등) 또는 외부 장치의 상태 변경 제한 기간(예를 들어, 5분)을 포함할 수 있다. 또한, 그룹 액션 정보는 그룹 액션 타이틀(예를 들어, 외출)이 없는 그룹 액션 정보를 포함할 수 있다. In response to the third touch 303 , the controller of the electronic device 100 may store group action information including a group action title (eg, going out) corresponding to the group action in the storage unit. Group action information includes group action title, external device identifier (ID), external device name, external device status change information (eg On ↔ Off, Unlock ↔ Lock, etc.) or external device status change limit period (eg For example, 5 minutes). Also, the group action information may include group action information without a group action title (eg, going out).

도 3의 단계(S370)에서, 그룹 액션이 저장되는 경우, 전자 장치의 그룹 액션 제어방법은 종료된다.
In step S370 of FIG. 3 , when the group action is stored, the method for controlling the group action of the electronic device is terminated.

도 3의 단계(S360)로 되돌아 가서, 도 3의 단계(S360)에서, 상황 정보를 변경하여 다른 그룹 액션을 생성하는 경우, 도 3의 단계(S380)로 진행한다. Returning to step S360 of FIG. 3 , if another group action is generated by changing the context information in step S360 of FIG. 3 , the process proceeds to step S380 of FIG. 3 .

도 3의 단계(S380)에서, 변경된 그룹 액션이 저장된다. In step S380 of FIG. 3 , the changed group action is stored.

도 6f를 참조하면, 사용자는 선택 박스(623e)에 제4 터치(304)를 한다. 전자 장치(100)의 제어부는 제4 터치(304)에 대응하여 선택 박스(623e)를 공백(empty)으로 표시할 수 있다. 전자 장치(100)의 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제4 터치(304)를 검출할 수 있다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제4 터치(304)에 대응되는 제4 터치 위치(304a, 예를 들어, X4와 Y4좌표)를 산출할 수 있다. 제어부에 의한 제4 터치(304)의 검출은 제1 터치(301) 내지 제3 터치(303)과 실질적으로 유사(예를 들어, 터치 이름이 다름)하므로 중복되는 설명은 생략된다. Referring to FIG. 6F , the user makes a fourth touch 304 on the selection box 623e. The control unit of the electronic device 100 may display the selection box 623e as empty in response to the fourth touch 304 . The controller of the electronic device 100 may detect the fourth touch 304 using the touch screen 190 and the touch screen controller 195 . The controller may calculate a fourth touch position 304a (eg, X4 and Y4 coordinates) corresponding to the fourth touch 304 by using an electrical signal received from the touch screen controller 195 . Since the detection of the fourth touch 304 by the controller is substantially similar to the first touch 301 to the third touch 303 (eg, the touch name is different), a redundant description will be omitted.

사용자에 의해 블랭크인 선택 박스(623e)가 다시 선택되는 경우, 전자 장치(100)의 제어부는 다시 선택된 선택 박스(623e)에 체크 마크를 표시할 수 있다. 또한, 사용자에 의해 복수의 선택 박스(예를 들어, 623c, 623d)가 선택되는 경우, 전자 장치(100)의 제어부는 선택에 대응하여 선택 박스(623c, 623d)를 공백으로 표시할 수 있다. When the blank selection box 623e is selected again by the user, the controller of the electronic device 100 may display a check mark in the selected selection box 623e again. Also, when a plurality of selection boxes (eg, 623c and 623d) are selected by the user, the control unit of the electronic device 100 may display the selection boxes 623c and 623d blank in response to the selection.

사용자에 의해 변경 대상인 상황 정보에 대응되는 선택 박스(623e)가 선택되는 경우, 전자 장치(100)의 제어부는 인터랙션 영역(630)에 “변경된 그룹 액션의 생성”에 대응되는 버튼(633)을 표시할 수 있다. 버튼(633)이 표시된 후, 사용자에 의해 선택 박스가 선택될 수도 있다. When the selection box 623e corresponding to the context information to be changed is selected by the user, the control unit of the electronic device 100 displays a button 633 corresponding to “creation of a changed group action” in the interaction area 630 . can do. After the button 633 is displayed, the selection box may be selected by the user.

변경된 그룹 액션을 생성하는 경우, 사용자는 인터랙션 영역(630)의 버튼(633)에 제5 터치(305)를 한다. 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제5 터치(305)를 검출할 수 있다. 제어부에 의한 제5 터치(305)의 검출은 제1 터치(301) 내지 제4 터치(304)과 실질적으로 유사(예를 들어, 터치 이름이 다름)하므로 중복되는 설명은 생략된다. When creating a changed group action, the user makes a fifth touch 305 on the button 633 of the interaction area 630 . The controller may detect the fifth touch 305 using the touch screen 190 and the touch screen controller 195 . Since the detection of the fifth touch 305 by the controller is substantially similar to the first touch 301 to the fourth touch 304 (eg, the touch name is different), a redundant description will be omitted.

도 3의 단계(S380)에서, 변경된 그룹 액션을 저장하는 경우, 도 3의 단계(S370)로 진행한다. In the case of storing the changed group action in step S380 of FIG. 3 , the process proceeds to step S370 of FIG. 3 .

도 3의 단계(360에서부터 S370)은 도3의 단계(S380에서부터 S370)와 실질적으로 동일하므로, 중복되는 설명은 생략된다. Steps 360 to S370 of FIG. 3 are substantially the same as steps S380 to S370 of FIG. 3 , and thus overlapping descriptions are omitted.

도 3의 단계(S370)에서, 변경된 그룹 액션이 저장되는 경우, 전자 장치의 그룹 액션 제어방법은 종료된다.
In step S370 of FIG. 3 , when the changed group action is stored, the method for controlling the group action of the electronic device is terminated.

도 4는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다. 4 is a schematic flowchart illustrating an electronic device, an external device, a server, and a group action control method of an electronic device according to another embodiment of the present invention.

도 7a 내지 7e는 본 발명의 다른 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
7A to 7E are diagrams illustrating examples of screens of an electronic device according to another embodiment of the present invention.

도 4의 단계(S410)에서, 사용자가 현관에 도착한다. In step S410 of FIG. 4 , the user arrives at the entrance.

도 7a를 참조하면, 사용자에 의해 휴대되는 전자 장치(100)가 현관(front door)에 도착된다. 전자 장치(100)의 어플리케이션(600)은 현관 도착 전부터 실행 중일 수 있다. Referring to FIG. 7A , the electronic device 100 carried by the user arrives at a front door. The application 600 of the electronic device 100 may be running even before arrival at the entrance.

전자 장치(100)의 제어부는 전자 장치(100)의 현관 도착을 GPS(155)를 통한 위치 정보 수신 또는 통신부(130)을 통한 서버(300)와 전자 장치(100)의 연결 중 하나에 의해 현관 도착을 결정할 수 있다. 제어부는 저장부에 저장된 서버 정보 및 통신부(130)를 이용하여 서버(300)와 연결될 수 있다. The controller of the electronic device 100 detects the arrival of the electronic device 100 at the entrance by either receiving location information through the GPS 155 or connecting the server 300 and the electronic device 100 through the communication unit 130 . You can decide to arrive. The control unit may be connected to the server 300 using the server information stored in the storage unit and the communication unit 130 .

전자 장치(100)의 제어부는 통신부(130)을 통한 외부 장치 중 하나인 자동 잠금 장치(206)와 연결에 의해 현관 도착을 결정할 수 있다. 사용자에 의해 휴대되는 전자 장치(어플리케이션(600)이 실행되지 않은, 100)의 현관 도착에 대응하여, 전자 장치(100)의 제어부는 어플리케이션(600)을 실행할 수도 있다. The control unit of the electronic device 100 may determine the arrival of the entrance hall by connection with the automatic locking device 206 which is one of the external devices through the communication unit 130 . In response to the arrival of the front door of the electronic device carried by the user (the application 600 is not executed, 100 ), the controller of the electronic device 100 may execute the application 600 .

전자 장치(100)가 자동 잠금 장치(206)에 근접하거나 또는 접촉하는 경우, 전자 장치(100) 및 자동 잠금 장치(206)는 상호 무선으로 연결될 수 있다. 자동 잠금 장치(206)는 전자 장치(100)에서부터 전자 장치의 식별자(ID)를 수신할 수 있다. 전자 장치의 식별자(ID)의 수신에 대응하여 자동 잠금 장치(100)는 상태 변경(예를 들어, lock → unlock)될 수 있다. 자동 잠금 장치(206)의 변경된 상태 정보는 서버(300)로 전송될 수 있다. 자동 잠금 장치(206)의 변경된 상태 정보에 전자 장치(100)의 식별자가 포함되어 서버(300)로 전송될 수 있다. When the electronic device 100 approaches or comes into contact with the self-locking device 206 , the electronic device 100 and the self-locking device 206 may be wirelessly connected to each other. The self-locking device 206 may receive an identifier (ID) of the electronic device from the electronic device 100 . In response to the reception of the identifier (ID) of the electronic device, the state of the automatic locking device 100 may be changed (eg, lock → unlock). The changed state information of the automatic locking device 206 may be transmitted to the server 300 . The identifier of the electronic device 100 may be included in the changed state information of the automatic locking device 206 and transmitted to the server 300 .

서버(300)는 자동 잠금 장치(206)의 변경된 상태 정보를 수신할 수 있다. 서버(300)의 제어부(310)는 수신된 자동 잠금 장치(206)의 변경된 상태 정보를 이용하여 전자 장치(100)의 현관 도착을 결정할 수 있다. The server 300 may receive the changed state information of the automatic locking device 206 . The controller 310 of the server 300 may determine the arrival of the front door of the electronic device 100 using the received changed state information of the automatic locking device 206 .

또한, 전자 장치(100)의 제어부는 자동 잠금 장치(206)에서부터 자동 잠금 장치의 식별자(ID)를 수신할 수 있다. 또한, 전자 장치(100)의 제어부는 자동 잠금 장치(206)에서부터 자동 잠금 장치의 위치(예를 들어, 공간 정보)를 수신할 수 있다. 전자 장치(100)의 제어부는 수신된 자동 잠금 장치의 식별자(ID) 및 자동 잠금 장치(206)의 공간 정보를 이용하여 전자 장치(100)의 상태 변경(예를 들어, 현관에 도착)를 결정할 수 있다. Also, the controller of the electronic device 100 may receive an identifier (ID) of the self-locking device from the self-locking device 206 . Also, the controller of the electronic device 100 may receive a location (eg, spatial information) of the automatic locking device from the automatic locking device 206 . The control unit of the electronic device 100 determines a state change (eg, arrival at the entrance) of the electronic device 100 using the received identifier (ID) of the automatic locking device and spatial information of the automatic locking device 206 . can

전자 장치(100)의 현관 도착은 전자 장치(100)의 상태 정보 중 공간 정보의 변경을 의미할 수 있다. 어플리케이션(600)이 실행 중인 전자 장치(100)가 현관에 도착하는 경우, 전자 장치(100)의 어플리케이션(600)은 자동 잠금 장치(206)의 연결에 대응하여 전자 상태(100)의 상태 정보의 변경을 검출할 수 있다. 전자 장치(100)의 현관 도착에 대응하여 전자 장치(100)의 어플리케이션(600)은 자동으로 전자 상태(100)의 상태 정보를 검출할 수 있다. The arrival of the front door of the electronic device 100 may mean a change of spatial information among the state information of the electronic device 100 . When the electronic device 100, in which the application 600 is running, arrives at the entrance, the application 600 of the electronic device 100 responds to the connection of the automatic locking device 206 to the status information of the electronic state 100. Changes can be detected. In response to the arrival of the front door of the electronic device 100 , the application 600 of the electronic device 100 may automatically detect state information of the electronic state 100 .

전자 장치(100)의 제어부는 현관 도착에 대응하여 변경된 상태 정보를 저장부에 저장할 수 있다. 저장된 전자 장치(100)의 변경된 상태 정보는 이력 관리를 위한 변경 식별자(ID), 상태 변경 시간, 변경 전 위치, 변경 후 위치 등을 포함할 수 있다.
The control unit of the electronic device 100 may store changed state information in response to the arrival of the entrance hall in the storage unit. The stored changed state information of the electronic device 100 may include a change identifier (ID) for history management, a state change time, a position before the change, a position after the change, and the like.

도 4의 단계(S420)에서, 전자 장치의 현관 도착이 서버로 전송된다. In step S420 of FIG. 4 , the arrival of the electronic device at the entrance is transmitted to the server.

현관에서, 전자 장치(100)와 서버(300)가 연결되는 경우, 전자 장치(100)의 제어부는 서버(300)로 전자 장치(100)의 현관 도착에 대응되는 상태 정보를 전송할 수 있다. 전자 장치(100)의 제어부는 변경된 상황 정보를 통신부(130)을 통해 서버(300)로 전송할 수 있다. 변경된 상태 정보는 상태 정보 중 변경된 항목만을 포함하는 상태 정보이거나 또는 변경된 항목을 포함하는 상태 정보일 수 있다. 제어부는 저장부에 저장된 서버 정보를 이용하여 변경된 상황 정보를 서버로(300)로 전송할 수 있다. At the entrance, when the electronic device 100 and the server 300 are connected, the controller of the electronic device 100 may transmit status information corresponding to the arrival of the electronic device 100 to the server 300 . The control unit of the electronic device 100 may transmit the changed context information to the server 300 through the communication unit 130 . The changed state information may be state information including only a changed item among the state information or may be state information including a changed item. The control unit may transmit the changed context information to the server 300 by using the server information stored in the storage unit.

전자 장치(100)의 제어부는 서버(300)로 전송된 상태 정보에 대응되는 전송 상태 정보를 저장부에 저장할 수 있다. 저장되는 전송 상태 정보는 이력 관리를 위한 전송 식별자(ID), 전자 장치 이름, 전송 시작 시간, 전송 종료 시간, 수신 장치의 식별자(ID), 수신 장치의 MAC 주소, 전송된 상태 정보 등을 포함할 수 있다.
The control unit of the electronic device 100 may store transmission state information corresponding to the state information transmitted to the server 300 in the storage unit. The stored transmission status information may include a transmission identifier (ID) for history management, an electronic device name, a transmission start time, a transmission end time, an identifier (ID) of the receiving device, MAC address of the receiving device, and transmitted status information. can

도 4의 단계(S430)에서, 서버에서부터 추천 그룹 액션이 수신된다. In step S430 of FIG. 4 , a recommended group action is received from the server.

전자 장치(100)의 현관 도착에 대응되는 추천 그룹 액션(또는 추천 그룹 액션 리스트)이 통신부(130)를 통해 서버(300)에서부터 수신된다. 전자 장치(100)가 현관에 도착하는 경우, 서버(300)의 제어부(310)는 그룹 액션의 생성 위치(예를 들어, 현관 또는 현관 주위)를 고려한 추천 그룹 액션을 전자 장치(100)로 전송할 수 있다. 또한, 전자 장치(100)의 현관 도착에 대응되는 추천 그룹 액션이 복수인 경우, 통신부(130)를 통해 추천 그룹 액션 리스트가 서버(300)에서부터 수신될 수 있다. A recommended group action (or a recommended group action list) corresponding to the entrance of the electronic device 100 is received from the server 300 through the communication unit 130 . When the electronic device 100 arrives at the entrance, the control unit 310 of the server 300 transmits to the electronic device 100 a recommended group action in consideration of the generation location of the group action (eg, around the entrance or around the entrance). can Also, when there are a plurality of recommended group actions corresponding to the entrance of the electronic device 100 , the recommended group action list may be received from the server 300 through the communication unit 130 .

전자 장치(100)의 제어부는 수신된 추천 그룹 액션(또는 추천 그룹 액션 리스트)을 저장부에 저장할 수 있다.
The controller of the electronic device 100 may store the received recommended group action (or recommended group action list) in the storage unit.

도 4의 단계(S440)에서, 추천 그룹 액션이 표시된다. In step S440 of FIG. 4 , a recommended group action is displayed.

도 7b 및 도 7c를 참조하면, 전자 장치(100)의 제어부는 수신된 추천 그룹 액션(또는, 추천 그룹 액션 리스트)을 화면에 표시할 수 있다. 전자 장치(100)의 제어부는 수신된 추천 그룹 액션 리스트(720) 및 추천 그룹 액션(750, 도 7c 참조) 중 하나를 표시할 수 있다. 또한, 전자 장치(100)의 제어부는 서버(300)에서부터 수신된(또는 저장된) 추천 그룹 액션(또는 추천 그룹 액션 리스트)를 프로세싱하여 어플리케이션(600)의 표시 영역(620)에 표시할 수 있다. 예를 들어, 프로세싱은 외부 장치를 아이콘으로 표시, 변경된 상태를 직관적(변경 전/후를 구분하여 표시)으로 표시 등을 포함할 수 있다. 7B and 7C , the controller of the electronic device 100 may display the received recommended group action (or the recommended group action list) on the screen. The controller of the electronic device 100 may display one of the received recommended group action list 720 and the recommended group action 750 (refer to FIG. 7C ). Also, the controller of the electronic device 100 may process the recommended group action (or the recommended group action list) received (or stored) from the server 300 and display it on the display area 620 of the application 600 . For example, the processing may include displaying an external device as an icon, displaying a changed state intuitively (distinguishing before/after change), and the like.

표시되는 추천 그룹 액션 리스트(720)는 추천 그룹 액션 리스트에 대응되는 서브 타이틀(720a), 추천 그룹 액션에 대응되는 타이틀(721a 내지 721f) 및 선택 박스(722a 내지 722f)를 포함할 수 있다. The displayed recommended group action list 720 may include a subtitle 720a corresponding to the recommended group action list, titles 721a to 721f corresponding to the recommended group action, and selection boxes 722a to 722f.

추천 그룹 액션 리스트(720)에 표시되는 타이틀의 개수가 표시 영역에 표시가능한 타이틀의 개수보다 많은 경우, 제어부는 사용자에 의해 스크롤 가능하도록 스크롤 바(도시되지 아니함), 스크롤 가능한 방향에 대응되는 아이콘(도시되지 아니함)을 표시할 수 있다. When the number of titles displayed in the recommended group action list 720 is greater than the number of titles that can be displayed in the display area, the controller includes a scroll bar (not shown) and an icon corresponding to the scrollable direction so that the user can scroll through the list (not shown). not shown) may be displayed.

추천 그룹 액션 타이틀을 선택하는 경우, 사용자는 추천 그룹 액션 타이틀인 귀가(721b)에 대응되는 선택 박스(722b)에 제11 터치(701)를 한다. 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제11 터치(701)를 검출할 수 있다. 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제11 터치(701)에 대응되는 제11 터치 위치(701a, 예를 들어, X11와 Y11좌표)를 산출할 수 있다. When selecting the recommended group action title, the user makes an eleventh touch 701 on the selection box 722b corresponding to the recommended group action title, Return 721b. The controller may detect the eleventh touch 701 using the touch screen 190 and the touch screen controller 195 . The controller may calculate an eleventh touch position 701a (eg, X11 and Y11 coordinates) corresponding to the eleventh touch 701 by using an electrical signal received from the touch screen controller 195 .

전자 장치(100)의 제어부는 제11 터치 위치(701a)에 대응되는 제11 터치 위치 정보를 저장부에 저장할 수 있다. 저장되는 제11 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. The controller of the electronic device 100 may store the eleventh touch location information corresponding to the eleventh touch location 701a in the storage unit. The stored eleventh touch location information may include a touch identifier (ID) for history management, a touch location, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.).

전자 장치(100)의 제어부는 제11 터치(701)에 대응하여 귀가(721b)에 대응되는 선택 박스(722b)를 선택되게 표시할 수 있다. The controller of the electronic device 100 may display a selection box 722b corresponding to the return home 721b to be selected in response to the eleventh touch 701 .

전자 장치(100)의 제어부는 어플리케이션(600)의 인터랙션 영역(730)에 “추천 그룹 액션 타이틀의 선택”에 대응하는 텍스트(731)를 표시할 수 있다. 제어부는 제11 터치(701)에 대응하여 표시되는 텍스트(731)를 표시하지 않을 수 있다. The controller of the electronic device 100 may display a text 731 corresponding to “selection of a recommended group action title” in the interaction area 730 of the application 600 . The controller may not display the text 731 displayed in response to the eleventh touch 701 .

전자 장치(100)의 제어부는 제11 터치(701)에 의해 추천 그룹 액션 타이틀인 귀가에 대응되는 그룹 액션(750)을 표시할 수 있다. 제어부는 제11 터치(701)에 대응하여 추천 그룹 액션(750)을 표시할 수 있다. The control unit of the electronic device 100 may display the group action 750 corresponding to the recommended group action title, Homecoming, by the eleventh touch 701 . The controller may display the recommended group action 750 in response to the eleventh touch 701 .

표시되는 추천 그룹 액션(750)은 추천 그룹 액션에 대응되는 타이틀(750a), 추천 그룹 액션에 대응되는 외부 장치 아이콘(751a 내지 751f), 변경 예정 상태(752a, 752d 내지 752f) 및 선택 박스(753a 내지 753f)를 포함할 수 있다. The displayed recommended group action 750 includes a title 750a corresponding to the recommended group action, external device icons 751a to 751f corresponding to the recommended group action, change scheduled states 752a, 752d to 752f, and a selection box 753a. to 753f).

추천 그룹 액션(750)에 표시되는 외부 장치(200)에 대응되는 아이콘의 개수가 표시 영역에 표시가능한 아이콘의 개수보다 많은 경우, 제어부는 사용자에 의해 스크롤 가능하도록 스크롤 바(도시되지 아니함), 스크롤 가능한 방향에 대응되는 아이콘(도시되지 아니함)을 표시할 수도 있다. 사용자에 의해 선택 박스(753a 내지 753f)의 선택이 변경될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. When the number of icons corresponding to the external device 200 displayed in the recommended group action 750 is greater than the number of icons displayable in the display area, the controller includes a scroll bar (not shown) and a scroll bar to enable scrolling by the user. An icon (not shown) corresponding to a possible direction may be displayed. It will be readily understood by those skilled in the art that the selection of the selection boxes 753a to 753f may be changed by a user.

전자 장치(100)의 제어부는 어플리케이션(600)의 인터랙션 영역(730)에 “그룹 액션 실행”에 대응되어 선택가능한 버튼(732)을 표시할 수 있다. The control unit of the electronic device 100 may display a selectable button 732 corresponding to “execution of a group action” in the interaction area 730 of the application 600 .

본 발명의 다른 실시예에서, 전자 장치(100)에 수신된 추천 그룹 액션(또는, 추천 그룹 액션 리스트)은 사용자뿐만 아니라 가족(예를 들어, 엄마, 아빠, 자녀, 할아버지, 할머니 등)이 휴대하는 전자 장치(도시되지 아니함)도 수신(예를 들어, 공유)할 수 있다. 가족에 대응되는 사용자 정보를 가지는 각각의 전자 장치(도시되지 아니함)가 서버(300)와 연결되는 경우, 가족에 대응되는 사용자 정보를 가지는 각각의 전자 장치(도시되지 아니함)는 서버(300)에서부터 추천 그룹 액션(또는, 추천 그룹 액션 리스트)를 수신할 수 있다. 가족이 휴대하는 전자 장치(도시되지 아니함)에서 추천 그룹 액션(또는, 추천 그룹 액션 리스트)를 수신은 사용자가 휴대하는 전자 장치(100)에서 추천 그룹 액션(또는, 추천 그룹 액션 리스트)를 수신과 실질적으로 동일하므로 중복되는 설명은 생략된다. In another embodiment of the present invention, the recommended group action (or the recommended group action list) received by the electronic device 100 is carried by not only the user but also the family (eg, mother, father, child, grandfather, grandmother, etc.) An electronic device (not shown) may also receive (eg, share). When each electronic device (not shown) having user information corresponding to a family is connected to the server 300 , each electronic device (not shown) having user information corresponding to the family is transmitted from the server 300 . A recommended group action (or a recommended group action list) may be received. Receiving the recommended group action (or the recommended group action list) from the electronic device (not shown) carried by the family includes receiving the recommended group action (or the recommended group action list) from the electronic device 100 carried by the user and Since they are substantially the same, overlapping descriptions are omitted.

도 7c를 참조하면, 수신된 추천 그룹 액션이 하나인 경우, 전자 장치(100)의 제어부는 추천 그룹 액션 리스트(720)를 제외하고, 추천 그룹 액션(750)을 바로 어플리케이션(600)의 표시 영역(620)에 표시할 수 있다. Referring to FIG. 7C , when the received recommended group action is one, the controller of the electronic device 100 excludes the recommended group action list 720 and directly displays the recommended group action 750 in the display area of the application 600 . It can be indicated at 620 .

추천 그룹 액션(750)만 표시는 추천 그룹 액션 리스트(720)에서 선택된 추천 그룹 액션(750)의 표시와 실질적으로 유사(추천 그룹 액션의 개수에 따른 추천 그룹 액션 리스트의 표시)하므로 중복되는 설명은 생략된다.
Since the display of only the recommended group action 750 is substantially similar to the display of the recommended group action 750 selected from the recommended group action list 720 (display of the recommended group action list according to the number of recommended group actions), the overlapping description is is omitted.

도 4의 단계(S450)에서, 추천 그룹 액션이 실행된다. In step S450 of FIG. 4 , a recommended group action is executed.

도 7d를 참조하면, 사용자는 추천 그룹 액션의 실행에 대응되는 버튼(732)에 제12 터치(702)를 한다. 전자 장치(100)의 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제12 터치(702)를 검출할 수 있다. 전자 장치(100)의 제어부에 의한 제12 터치(702)의 검출은 제11 터치(701)과 실질적으로 유사(예를 들어, 터치 이름이 다름)하므로 중복되는 설명은 생략된다. 제12 터치(702)에 대응하여 전자 장치(100)의 제어부는 표시된 추천 그룹 액션을 실행할 수 있다. Referring to FIG. 7D , the user makes a twelfth touch 702 on a button 732 corresponding to the execution of the recommended group action. The controller of the electronic device 100 may detect the twelfth touch 702 using the touch screen 190 and the touch screen controller 195 . Since the detection of the twelfth touch 702 by the control unit of the electronic device 100 is substantially similar to the eleventh touch 701 (eg, a touch name is different), a redundant description will be omitted. In response to the twelfth touch 702 , the controller of the electronic device 100 may execute the displayed recommended group action.

전자 장치(100)의 제어부는 제12 터치(702)에 대응하여 추천 그룹 액션(750)에 포함되는 외부 장치(201, 204 내지 206)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다. In response to the twelfth touch 702 , the control unit of the electronic device 100 changes the state of the external devices 201 , 204 to 206 included in the recommended group action 750 (eg, a control packet). can create

전자 장치(100)의 제어부는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다. 제어부는 제어 커맨드를 외부 장치(201, 204 내지 206)에 대응하여 각각(예를 들어, 외부 장치(201)에 대응되는 제어 커맨드 등) 생성할 수 있다. 또한, 전자 장치(100)의 제어부는 제어 커맨드를 외부 장치(201, 204 내지 206) 모두에 대응하여 하나의 통합 제어 커맨드를 생성할 수도 있다. 통신부(130)를 통해 전송되는 제어 커맨드의 구조는 계층적(hierarchical) 구조를 가질 수 있다. The control unit of the electronic device 100 may transmit the generated control command to the server 300 through the communication unit 130 . The controller may generate a control command corresponding to the external devices 201 and 204 to 206 (eg, a control command corresponding to the external device 201, etc.). Also, the controller of the electronic device 100 may generate one integrated control command in response to the control command to all of the external devices 201 , 204 to 206 . The structure of the control command transmitted through the communication unit 130 may have a hierarchical structure.

제어 커맨드에 대응되는 컨트롤 패킷은 수신처(예를 들어, 서버) 주소 및 길이(length)에 대응되는 MAC 헤더(MAC header, 도시되지 아니함), 외부 장치의 상태 정보 변경에 대응되는 페이로드(payload, 도시되지 아니함) 및 전송 오류 검출에 대응되는 CRC(cyclical redundancy check, 도시되지 아니함)를 포함하는 3개의 프레임으로 구성될 수 있다. The control packet corresponding to the control command includes a MAC header (not shown) corresponding to a destination (eg, server) address and length, and a payload corresponding to a change in state information of an external device. (not shown) and a cyclical redundancy check (CRC, not shown) corresponding to transmission error detection.

전자 장치(100)의 제어부는 추천 그룹 액션 또는 추천 그룹 액션에 대응하여 생성된 제어 커맨드를 저장부에 저장할 수 있다.
The controller of the electronic device 100 may store the recommended group action or a control command generated in response to the recommended group action in the storage unit.

도 4의 단계(S460)에서, 추천 그룹 액션에 대응하여 외부 장치의 상태가 변경된다. In step S460 of FIG. 4 , the state of the external device is changed in response to the recommended group action.

도 7e를 참조하면, 서버(300)의 제어부(310)는 전자 장치(100)에서 전송된 추천 그룹 액션에 대응되는 제어 커맨드를 통신부(330)를 통해 수신할 수 있다. 수신된 제어 커맨드는 제어부(310)의 제어에 따라 저장부(375)에 저장될 수 있다. Referring to FIG. 7E , the control unit 310 of the server 300 may receive a control command corresponding to a recommended group action transmitted from the electronic device 100 through the communication unit 330 . The received control command may be stored in the storage unit 375 under the control of the control unit 310 .

제어부(310)는 저장된 외부 장치 정보 및 수신된 제어 커맨드를 이용하여 상태 변경 대상인 외부 장치(201, 204 내지 206)로 각각 전송할 수 있다. 제어부(310)는 하나의 통합 제어 커맨드를 외부 장치(201, 204 내지 206)로 각각 전송할 수도 있다. 외부 장치(201, 204 내지 206)의 제어부는 수신된 통합 제어 커맨드에서 각각 외부 장치(201, 204 내지 206)에 대응되는 제어 커맨드만을 추출하여 상태를 변경할 수 있다. The controller 310 may transmit the stored external device information and the received control command to the external devices 201, 204 to 206, which are state change targets, respectively. The controller 310 may transmit one integrated control command to the external devices 201, 204 to 206, respectively. The controller of the external devices 201 and 204 to 206 may extract only the control commands corresponding to the external devices 201 and 204 to 206 from the received integrated control command to change the state.

외부 장치(201, 204 내지 206)의 제어부는 통신부(230)를 통해 제어 커맨드를 수신할 수 있다. 외부 장치(201, 204 내지 206)의 제어부는 수신된 제어 커맨드를 저장부(275)에 저장할 수 있다. The control unit of the external devices 201 , 204 to 206 may receive a control command through the communication unit 230 . The control unit of the external devices 201 , 204 to 206 may store the received control command in the storage unit 275 .

외부 장치(201, 204 내지 206)의 각 제어부는 수신된 제어 커맨드에 대응하여 외부 장치(201, 204 내지 206)의 상태를 변경할 수 있다. 예를 들어, 외부 장치(201, 204 내지 206)의 제어부는 디스플레이 장치(201)의 전원 온(on), 에어컨(204)의 전원 온, 전등(205)의 전원 온 또는 자동 잠금 장치(206)의 잠금 해제(unlock)로 상태를 변경할 수 있다. Each of the controllers of the external devices 201 and 204 to 206 may change the state of the external devices 201 and 204 to 206 in response to the received control command. For example, the control unit of the external devices 201 , 204 to 206 may control the display device 201 to be powered on, the air conditioner 204 to be powered on, the light 205 to be powered on, or the self-locking device 206 . The state can be changed by unlocking the

외부 장치(201, 204 내지 206)의 각 제어부는 변경된 상황 정보를 서버(300)로 각각 전송할 수 있다. Each of the controllers of the external devices 201 , 204 to 206 may transmit the changed context information to the server 300 , respectively.

서버(300)는 외부 장치(201, 204 내지 206)의 변경된 상황 정보를 통신부(330)를 통해 수신할 수 있다. 서버(300)는 외부 장치(201, 204 내지 206)의 변경된 상황 정보를 통신부(330)을 통해 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 추천 그룹 액션(750)의 실행에 대응하여 변경된 외부 장치(201, 204 내지 206)의 상황 정보를 통신부를 통해 수신할 수 있다. The server 300 may receive the changed context information of the external devices 201 , 204 to 206 through the communication unit 330 . The server 300 may transmit the changed context information of the external devices 201 , 204 to 206 to the electronic device 100 through the communication unit 330 . The electronic device 100 may receive, through the communication unit, context information of the external devices 201 , 204 to 206 changed in response to the execution of the recommended group action 750 .

도 3의 단계(S460)에서, 외부 장치의 상태가 변경되는 경우, 전자 장치의 그룹 액션 제어방법은 종료된다.
In step S460 of FIG. 3 , when the state of the external device is changed, the group action control method of the electronic device is terminated.

도 5는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다. 5 is a schematic flowchart illustrating an electronic device, an external device, a server, and a group action control method of the electronic device according to another embodiment of the present invention.

도 8a 내지 도 8g는 본 발명의 다른 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
8A to 8G are diagrams illustrating examples of screens of an electronic device according to another embodiment of the present invention.

도 5의 단계(S510)에서, 외부 장치의 상태가 변경된다. In step S510 of FIG. 5 , the state of the external device is changed.

도 8a 및 도 8b를 참조하면, 사용자는 자동 잠금 장치(206)를 잠금(lock)으로 상태 변경할 수 있다. 사용자는 나머지 외부 장치 중 디스플레이 장치(201), 에어컨(204) 및 전등(205)의 상태를 유지한 채 외출할 수 있다. 로봇 청소기(202) 및 세탁기(203)의 상태는 최초 상태(예를 들어, 전원 오프) 대비 변함없다. 8A and 8B , the user may change the state of the automatic locking device 206 to lock. The user may go out while maintaining the states of the display device 201 , the air conditioner 204 , and the lamp 205 among the remaining external devices. The states of the robot cleaner 202 and the washing machine 203 do not change compared to the initial state (eg, power off).

외부 장치206)의 제어부는 변경된 상태 정보를 저장부에 저장할 수 있다. The controller of the external device 206 may store the changed state information in the storage unit.

외부 장치(201)의 저장부에 저장된 상태 정보는 다른 실시예의 <표 1>처럼 나타낼 수 있으며, 중복되는 설명은 생략된다.
State information stored in the storage unit of the external device 201 may be represented as in <Table 1> of another embodiment, and overlapping descriptions will be omitted.

도 5의 단계(S520)에서, 외부 장치에서 변경된 상황 정보가 서버로 전송된다. In step S520 of FIG. 5 , context information changed in the external device is transmitted to the server.

도 8a를 참조하면, 자동 잠금 장치(206)의 제어부(210)는 변경된 상태를 서버(300)로 전송할 수 있다. 자동 잠금 장치(206)의 제어부(210)는 변경된 상황 정보를 서버(300)로 전송할 수 있다. 변경된 상태 정보는 상태 정보 중 변경된 항목만을 포함하는 상태 정보이거나 또는 변경된 항목을 포함하는 상태 정보일 수 있다. 자동 잠금 장치(206)의 제어부(210)는 저장부(275)에 저장된 서버 정보를 이용하여 변경된 상황 정보를 서버로(300)로 전송할 수 있다. Referring to FIG. 8A , the controller 210 of the automatic locking device 206 may transmit the changed state to the server 300 . The controller 210 of the automatic locking device 206 may transmit the changed context information to the server 300 . The changed state information may be state information including only a changed item among the state information or may be state information including a changed item. The control unit 210 of the automatic locking device 206 may transmit the changed situation information to the server 300 by using the server information stored in the storage unit 275 .

또한, 전자 장치(100)의 상태 정보가 변경(예를 들어, 전자 장치(100)의 위치가 집 안에서부터 집 밖으로 변경)되는 경우, 전자 장치(100)의 제어부는 전자 장치(100)의 변경된 상태 정보를 서버(300)로 전송할 수 있다. 전자 장치(100)의 제어부는 변경된 상태 정보를 저장부에 저장할 수 있다. 저장부에 저장된 전자 장치(100)의 변경된 상태 정보는 이력 관리를 위한 변경 식별자(ID), 상태 변경 시간, 변경 전 위치, 변경 후 위치 등을 포함할 수 있다.
Also, when the state information of the electronic device 100 is changed (eg, the location of the electronic device 100 is changed from inside the house to out of the house), the controller of the electronic device 100 controls the changed status of the electronic device 100 . Status information may be transmitted to the server 300 . The controller of the electronic device 100 may store the changed state information in the storage unit. The changed state information of the electronic device 100 stored in the storage may include a change identifier (ID) for history management, a state change time, a position before the change, a position after the change, and the like.

도 5의 단계(S530)에서, 서버에서 상황 정보가 분석된다. In step S530 of FIG. 5 , context information is analyzed in the server.

서버(300)의 제어부(310)는 수신된 자동 잠금 장치(206)의 상태 정보를 저장부(375)에 저장할 수 있다. 서버(300)의 저장부(375)에 저장되는 상태 정보는 다른 실시에의 <표 3>처럼 나타낼 수 있으며, 중복되는 설명은 생략된다. The control unit 310 of the server 300 may store the received state information of the automatic locking device 206 in the storage unit 375 . The state information stored in the storage unit 375 of the server 300 may be represented as in <Table 3> of another embodiment, and overlapping descriptions are omitted.

서버(300)의 저장부(375)는 제어부(310)의 제어에 따라 수신된 외부 장치(200)의 상태 정보 및 전자 장치(100)의 상태 정보를 저장할 수 있다. The storage unit 375 of the server 300 may store the received state information of the external device 200 and the state information of the electronic device 100 under the control of the controller 310 .

저장된 각각의 상태 정보는 관리 소프트웨어(도시되지 아니함)에 의해 관리될 수 있다. 관리 소프트웨어는 외부 장치(200) 및 전자 장치(100)의 상태 정보 분석에 예를 들어, 시계열(time-series) 유사성 탐색이 가능한 K-평균 클러스터링(K-means clustering) 알고리즘 또는 교차상관(Cross-correlation) 알고리즘을 이용할 수 있다. 상기의 알고리즘뿐만 아니라 다양한 유사성 탐색 알고리즘이 이용될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. Each stored state information may be managed by management software (not shown). The management software is for analyzing the state information of the external device 200 and the electronic device 100, for example, a K-means clustering algorithm or cross-correlation (Cross-) capable of time-series similarity search. correlation) algorithm can be used. It will be readily understood by those skilled in the art that various similarity search algorithms as well as the above algorithm may be used.

관리 소프트웨어는 전자 장치(100)의 상태 정보 및 외부 장치(100)의 상태 정보를 이용하여 외부 장치의 상태, 상태에서 특징을 추출하고, 학습하여 추론할 수 있다. 또한, 관리 소프트웨어는 전자 장치(100)의 상태 정보 및 외부 장치(100)의 상태 정보를 이용하여 전자 장치의 상태, 상태에서 특징을 추출하고, 학습하여 추론할 수 있다. The management software may extract, learn, and infer the state of the external device by using the state information of the electronic device 100 and the state information of the external device 100 . In addition, the management software may extract, learn, and infer the state of the electronic device by using the state information of the electronic device 100 and the state information of the external device 100 .

또한, 서버(300)의 저장부(375)는 제어부(310)의 제어에 따라 수신된 외부 장치(200)의 상태 정보 변경에 대응되는 사용자의 외부 장치 사용 이력 및 전자 장치(100)의 상태 정보 변경에 대응되는 사용자의 전자 장치 사용 이력을 저장할 수 있다. 저장된 각각의 사용 이력은 관리 소프트웨어(도시되지 아니함)에 의해 관리될 수 있다. 관리 소프트웨어는 외부 장치 사용 이력에서 특징을 추출하고, 학습하여 추론할 수 있다. 또한, 관리 소프트웨어는 전자 장치 사용 이력에서 특징을 추출하고, 학습하여 추론할 수 있다. In addition, the storage unit 375 of the server 300 includes a user's external device usage history and status information of the electronic device 100 corresponding to a change in the status information of the external device 200 received under the control of the controller 310 . A user's electronic device usage history corresponding to the change may be stored. Each of the stored usage histories may be managed by management software (not shown). The management software can extract, learn, and infer features from the external device usage history. Also, the management software may extract, learn, and infer a feature from the electronic device usage history.

관리 소프트웨어는 분석에 대응되는 하나 또는 복수의 그룹 액션을 생성할 수 있다. 예를 들어, 사용자가 외부 장치(200)의 상태를 변경하지 않고, 외출(예를 들어, 사용자가 휴대하는 전자 장치(100)의 상태 정보(예를 들어, 공간 정보)가 변경)하는 경우, 관리 소프트웨어는 전자 장치(100)의 상태 정보에 대응되는 외부 장치(200)의 상태를 확인할 수 있다. 외부 장치(200)의 상태에 변경이 없는 경우, 관리 소프트웨어는 사용자에게 상태 변경이 필요한 외부 장치(예를 들어, 그룹 액션에 대응되는)를 추천할 수 있다. The management software may create one or more group actions corresponding to the analysis. For example, when the user goes out without changing the state of the external device 200 (eg, the state information (eg, spatial information) of the electronic device 100 carried by the user changes), The management software may check the state of the external device 200 corresponding to the state information of the electronic device 100 . When there is no change in the state of the external device 200 , the management software may recommend an external device (eg, corresponding to a group action) requiring a state change to the user.

사용자가 외부 장치(200)의 상태를 변경하지 않고, 취침(예를 들어, 사용자가 휴대하는 전자 장치(100)의 상태 정보가 변경(예를 들어, 취침 시간 경과))하려는 경우, 소프트웨어는 전자 장치(100)의 상태 정보에 대응되는 외부 장치(200)의 상태를 확인할 수 있다. 외부 장치(200)의 상태에 변경이 없는 경우, 관리 소프트웨어는 사용자에게 상태 변경이 필요한 외부 장치(예를 들어, 그룹 액션)를 추천할 수 있다. 또한, 사용자의 신체 정보(예를 들어, 맥박, 체온 등) 변경 및 외부 장치(200)의 환경 정보(예를 들어, 댁 내 온도, 습도 등) 변경되는 경우, 관리 소프트웨어는 사용자에게 상태 변경이 필요한 외부 장치(예를 들어, 그룹 액션에 대응되는 외부 장치)를 추천할 수 있다. When the user goes to sleep (eg, the state information of the electronic device 100 carried by the user changes (eg, elapses of bedtime)) without changing the state of the external device 200, the software The state of the external device 200 corresponding to the state information of the device 100 may be checked. When there is no change in the state of the external device 200 , the management software may recommend an external device (eg, a group action) requiring a state change to the user. In addition, when the user's body information (eg, pulse, body temperature, etc.) changes and the environmental information (eg, indoor temperature, humidity, etc.) of the external device 200 is changed, the management software provides the user with a state change A necessary external device (eg, an external device corresponding to a group action) may be recommended.

외부 장치(200)의 상태를 변경하지 않고, 취침(사용자가 휴대하는 전자 장치(100)의 상태 정보(예를 들어, 시간 정보)가 변경)하려는 경우, 소프트웨어는 전자 장치(100)의 상태 정보에 대응되는 외부 장치(200)의 상태를 확인할 수 있다. 외부 장치(200)의 상태에 변경이 없는 경우, 관리 소프트웨어는 사용자에게 상태 변경이 필요한 외부 장치(예를 들어, 그룹 액션에 대응되는)를 추천할 수 있다. When going to bed (state information (eg, time information) of the electronic device 100 carried by the user changes) without changing the state of the external device 200 , the software provides the state information of the electronic device 100 It is possible to check the state of the external device 200 corresponding to . When there is no change in the state of the external device 200 , the management software may recommend an external device (eg, corresponding to a group action) requiring a state change to the user.

저장부(375)는 제어부(310)의 제어에 따라 생성된 하나 또는 복수의 그룹 액션을 저장할 수 있다. The storage 375 may store one or a plurality of group actions generated under the control of the controller 310 .

서버(300)의 제어부(310)는 외부 장치(200)의 상태 정보(예를 들어, 자동 잠금 장치(206)의 상태 정보)를 통신부(330)를 통해 전자 장치(100)로 전송할 수 있다. 또한, 서버(300)의 제어부(310)는 생성된 하나 또는 둘 이상의 추천 그룹 액션을 통신부(330)를 통해 전자 장치(100)로 전송할 수 있다. 또한, 서버(300)의 제어부(310)는 생성된 하나 또는 둘 이상의 추천 그룹 액션을 통신부(330)를 통해 각각의 외부 장치(200)로 전송할 수 있다.
The control unit 310 of the server 300 may transmit status information of the external device 200 (eg, status information of the self-locking device 206 ) to the electronic device 100 through the communication unit 330 . Also, the controller 310 of the server 300 may transmit one or more generated recommended group actions to the electronic device 100 through the communication unit 330 . In addition, the controller 310 of the server 300 may transmit the generated one or more recommended group actions to each external device 200 through the communication unit 330 .

도 5의 단계(S540)에서, 서버에서부터 수신된 외부 장치의 상태 정보가 표시된다. In step S540 of FIG. 5 , status information of the external device received from the server is displayed.

전자 장치(100)의 제어부는 서버(300)에서부터 수신되는 외부 장치 상태 정보(820)를 통신부(130)을 통해 수신할 수 있다. 수신되는 외부 장치 상태 정보는 가장 최근(last)부터 변경된 외부 장치(200)의 상태 정보, 또는, 전자 장치(100)의 상태 변경(예를 들어, 집 안에서부터 집 밖으로의 위치 변경)에 대응되는 외부 장치(예를 들어, 201 내지 206)의 상태 정보를 포함할 수 있다. The control unit of the electronic device 100 may receive the external device state information 820 received from the server 300 through the communication unit 130 . The received external device state information corresponds to the state information of the external device 200 changed from the last, or a change in the state of the electronic device 100 (eg, a change of location from inside the house to the outside of the house). Status information of the external device (eg, 201 to 206 ) may be included.

도 8c를 참조하면, 전자 장치(100)의 제어부는 수신된 외부 장치(200)의 상태 정보(820)를 화면에 표시할 수 있다. 외부 장치의 상태 정보(820)에서 외부 장치(200)에 대응되는 아이콘(821a 내지 821f), 변경된 상태(822a 내지 822f) 및 선택 박스(823a 내지 823f)가 화면에 표시될 수 있다. 외부 장치(201 내지 206) 중 자동 잠금 장치(206)의 상태 정보만이 변경되어 표시된다. Referring to FIG. 8C , the controller of the electronic device 100 may display the received state information 820 of the external device 200 on the screen. In the state information 820 of the external device, icons 821a to 821f, changed states 822a to 822f, and selection boxes 823a to 823f corresponding to the external device 200 may be displayed on the screen. Only the state information of the automatic locking device 206 among the external devices 201 to 206 is changed and displayed.

제어부는 통신부(230)를 통해 수신된 외부 장치 상태 정보를 저장부에 저장할 수 있다.
The control unit may store the external device state information received through the communication unit 230 in the storage unit.

도 5의 단계(S550)에서, 수신된 추천 그룹 액션이 표시된다. In step S550 of FIG. 5 , the received recommended group action is displayed.

도 8d를 참조하면, 전자 장치(100)의 제어부는 서버(300)에서부터 수신된 추천 그룹 액션(850)을 표시할 수 있다. 제어부는 수신된 추천 그룹 액션을 외부 장치(200)의 상태 정보 다음에 표시할 수 있다. Referring to FIG. 8D , the controller of the electronic device 100 may display the recommended group action 850 received from the server 300 . The controller may display the received recommended group action next to the state information of the external device 200 .

전자 장치(100)의 제어부는 서버(300)에서부터 수신된 외부 장치(200)의 상태 정보 및 수신된 추천 그룹 액션을 구별되게 함께 표시할 수 있다. 전자 장치(100)의 제어부는 외부 장치(200)의 상태 정보(850)에서 상태 정보(852a, 852d, 852e) 및 선택 박스(853a, 853d, 853e) 중 하나를 추천 그룹 액션과 구별되게 표시할 수 있다. 또한, 전자 장치(100)의 제어부는 외부 장치(200)의 상태 정보(850)의 상태 정보(852a, 852d, 852e) 및 선택 박스(853a, 853d, 853e) 모두를 추천 그룹 액션과 구별되게 표시할 수 있다. 예를 들어, 상태 정보(852a, 852d, 852e)의 폰트, 폰트 크기, 폰트 컬러, 또는 배경 컬러 중 적어도 하나가 변경되어 구별될 수 있다. 또한, 선택 박스(853a, 853d, 853e)의 박스 크기, 박스 라인 컬러, 박스 내부 컬러, 체크마크, 체크마크 컬러 중 적어도 하나가 변경되어 구별될 수 있다. The controller of the electronic device 100 may display the state information of the external device 200 received from the server 300 and the received recommended group action to be distinguished together. The control unit of the electronic device 100 may display one of the status information 852a, 852d, 852e and the selection boxes 853a, 853d, and 853e in the status information 850 of the external device 200 to be distinguished from the recommended group action. can Also, the control unit of the electronic device 100 displays all of the state information 852a, 852d, 852e and the selection boxes 853a, 853d, and 853e of the state information 850 of the external device 200 to be distinguished from the recommended group action. can do. For example, at least one of a font, a font size, a font color, and a background color of the state information 852a , 852d , and 852e may be changed to be distinguished. In addition, at least one of a box size, a box line color, a box inner color, a check mark, and a check mark color of the selection boxes 853a , 853d and 853e may be changed and distinguished.

전자 장치(100)의 제어부는 수신된 추천 그룹 액션을 전력 소비량(예를 들어, 전력 소비량이 높은 순서대로, 도시되지 아니함) 또는 사용자의 선호도(favorite, 도시되지 아니함)에 따라 표시할 수도 있다. 추천 그룹 액션이 실행되는 경우, 전력 소비량이 다른 외부 장치보다 상대적으로 많은 외부 장치가 우선적으로 실행(예를 들어, 상태 변경)될 수 있다. 이런 경우, 가정의 전력 소비를 절감할 수도 있다. The controller of the electronic device 100 may display the received recommended group actions according to the power consumption amount (eg, in the order of the highest power consumption, not shown) or the user's preference (not shown). When the recommended group action is executed, an external device that consumes relatively more power than other external devices may be preferentially executed (eg, state change). In this case, it is possible to reduce the power consumption of the home.

추천 그룹 액션이 실행되는 경우, 다른 외부 장치보다 사용자에 의해 선호되는 외부 장치가 우선적으로 실행(예를 들어, 상태 변경)될 수 있다. When the recommended group action is executed, an external device preferred by the user over other external devices may be preferentially executed (eg, state change).

전자 장치(100)의 제어부는 인터랙션 영역(830)에 “추천 그룹 액션”에 대응하는 텍스트(831)를 표시할 수 있다. 표시된 텍스트(831)가 결정된 시간(예를 들어, 1 초, 변경 가능)을 경과하는 경우, 제어부는 텍스트(831)을 표시하지 않을 수 있다.
The controller of the electronic device 100 may display the text 831 corresponding to the “recommended group action” in the interaction area 830 . When the displayed text 831 elapses after a determined time (eg, 1 second, which can be changed), the controller may not display the text 831 .

도 5의 단계(S560)에서, 추천 그룹 액션이 실행된다. In step S560 of FIG. 5 , a recommended group action is executed.

도 8e를 참조하면, 표시된 추천 그룹 액션을 실행하는 경우, 사용자는 추천 그룹 액션의 실행에 대응되는 버튼(832)에 제21 터치(801)를 한다. 전자 장치(100)의 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제21 터치(801)를 검출할 수 있다. 전자 장치(100)의 제어부는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제21 터치(801)에 대응되는 제21 터치 위치(801a, 예를 들어, X21와 Y21좌표)를 산출할 수 있다. Referring to FIG. 8E , when the displayed recommended group action is executed, the user makes a twenty-first touch 801 on a button 832 corresponding to the execution of the recommended group action. The controller of the electronic device 100 may detect the twenty-first touch 801 using the touch screen 190 and the touch screen controller 195 . The control unit of the electronic device 100 calculates the twenty-first touch position 801a (eg, X21 and Y21 coordinates) corresponding to the twenty-first touch 801 by using the electrical signal received from the touch screen controller 195 . can

전자 장치(100)의 제어부는 제21 터치 위치(801a)에 대응되는 제21 터치 위치 정보를 저장부에 저장할 수 있다. 저장되는 제21 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. The controller of the electronic device 100 may store the twenty-first touch position information corresponding to the twenty-first touch position 801a in the storage unit. The stored twenty-first touch location information may include a touch identifier (ID) for history management, a touch location, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.).

전자 장치(100)의 제어부는 제21 터치(801)에 대응하여 추천 그룹 액션(850)에 포함되는 외부 장치(201, 204, 205)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다. The control unit of the electronic device 100 is a control command (eg, a control packet) for changing the state of the external devices 201 , 204 , and 205 included in the recommended group action 850 in response to the twenty-first touch 801 . can create

전자 장치(100)의 제어부는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다. 전자 장치(100)의 제어부는 제어 커맨드를 외부 장치(201, 204, 205)에 대응하여 각각(예를 들어, 외부 장치(201)에 대응되는 제어 커맨드 등) 생성할 수 있다. 또한, 전자 장치(100)의 제어부는 제어 커맨드를 외부 장치(201, 204, 205) 모두에 대응하여 하나의 통합 제어 커맨드를 생성할 수도 있다. 통신부(130)를 통해 전송되는 제어 커맨드의 구조는 계층적(hierarchical) 구조를 가질 수 있다. The control unit of the electronic device 100 may transmit the generated control command to the server 300 through the communication unit 130 . The control unit of the electronic device 100 may generate each control command corresponding to the external devices 201 , 204 , and 205 (eg, a control command corresponding to the external device 201 ). Also, the controller of the electronic device 100 may generate one integrated control command in response to the control command to all of the external devices 201 , 204 , and 205 . The structure of the control command transmitted through the communication unit 130 may have a hierarchical structure.

제어 커맨드에 대응되는 컨트롤 패킷은 수신처(예를 들어, 서버) 주소 및 길이(length)에 대응되는 MAC 헤더(MAC header, 도시되지 아니함), 외부 장치의 상태 정보 변경에 대응되는 페이로드(payload, 도시되지 아니함) 및 전송 오류 검출에 대응되는 CRC(cyclical redundancy check, 도시되지 아니함)를 포함하는 3개의 프레임으로 구성될 수 있다. The control packet corresponding to the control command includes a MAC header (not shown) corresponding to a destination (eg, server) address and length, and a payload corresponding to a change in state information of an external device. (not shown) and a cyclical redundancy check (CRC, not shown) corresponding to transmission error detection.

도 8f를 참조하면, 서버(300)의 제어부(310)는 전자 장치(100)에서 전송된 제어 커맨드를 통신부(330)를 통해 수신할 수 있다. 수신된 제어 커맨드는 제어부(310)의 제어에 따라 저장부(375)에 저장될 수 있다. Referring to FIG. 8F , the control unit 310 of the server 300 may receive a control command transmitted from the electronic device 100 through the communication unit 330 . The received control command may be stored in the storage unit 375 under the control of the control unit 310 .

제어부(310)는 저장된 외부 장치 정보를 이용하여 상태 변경 대상인 외부 장치(201, 204, 205)로 각각 제어 커맨드를 전송할 수 있다. 제어부(310)는 하나의 통합 제어 커맨드를 외부 장치(201, 204, 205)로 각각 전송할 수도 있다. 외부 장치(201, 204, 205)의 제어부는 수신된 통합 제어 커맨드에서 각각 외부 장치(201, 204, 205)에 대응되는 제어 커맨드만을 추출하여 상태를 변경할 수 있다. The controller 310 may transmit a control command to the external devices 201 , 204 , and 205 that are state change targets by using the stored external device information, respectively. The controller 310 may transmit one integrated control command to the external devices 201 , 204 , and 205 , respectively. The controller of the external devices 201 , 204 , and 205 may extract only the control command corresponding to the external devices 201 , 204 , and 205 from the received integrated control command to change the state.

외부 장치(201, 204, 205)의 제어부는 통신부(230)를 통해 제어 커맨드를 수신할 수 있다. 외부 장치(201, 204, 205)의 제어부는 수신된 제어 커맨드를 저장부(275)에 저장할 수 있다. The control unit of the external devices 201 , 204 , and 205 may receive a control command through the communication unit 230 . The controller of the external devices 201 , 204 , and 205 may store the received control command in the storage 275 .

외부 장치(201, 204, 205)의 각 제어부는 수신된 제어 커맨드에 대응하여 외부 장치(201, 204, 205)의 상태를 변경할 수 있다. 예를 들어, 외부 장치(201, 204, 205)의 각 제어부는 디스플레이 장치(201)의 전원 오프, 에어컨(204)의 전원 오프, 전등(205)의 전원 오프로 상태를 변경할 수 있다. Each of the controllers of the external devices 201 , 204 , and 205 may change the state of the external devices 201 , 204 , and 205 in response to the received control command. For example, each of the controllers of the external devices 201 , 204 , and 205 may change the state of the display device 201 to be powered off, the air conditioner 204 to be powered off, or the light 205 to be powered off.

본 발명의 다른 실시예에서, 사용자가 전자 장치(100)에서 울리는 모닝콜(morning call)을 종료(off)하는 경우, 전자 장치(100)는 서버(300)에서부터 전자 장치(100)의 상태 변경(예를 들어, 모닝콜 종료)에 대응되는 추천 그룹 액션을 수신할 수 있다. 모닝콜에 대응되는 추천 그룹 액션은 예를 들어, 전등(도시되지 아니함)을 점진적으로 밝게 점등, TV의 전원을 온 할 수 있다. 사용자의 입력 또는 설정된 시간(예를 들어, 30 sec, 변경 가능)이 경과하는 경우, 전자 장치(100)의 제어부는 수신된 추천 그룹 액션을 실행할 수 있다.
In another embodiment of the present invention, when the user terminates (off) a morning call ringing from the electronic device 100, the electronic device 100 changes the state of the electronic device 100 from the server 300 ( For example, a recommended group action corresponding to the end of the wake-up call may be received. The recommended group action corresponding to the wake-up call may, for example, gradually turn on a light (not shown) brightly and turn on the TV. When a user input or a set time (eg, 30 sec, which can be changed) elapses, the controller of the electronic device 100 may execute the received recommended group action.

도 5의 단계(S570)에서, 추천 그룹 액션이 저장된다. In step S570 of FIG. 5 , the recommended group action is stored.

도 8g를 참조하면, 전자 장치(100)의 제어부는 제21 터치(801)에 대응하여 인터랙션 영역(830)에 “그룹 액션 저장”을 위한 선택가능한 버튼(832)을 표시할 수 있다. Referring to FIG. 8G , the control unit of the electronic device 100 may display a selectable button 832 for “store group action” in the interaction area 830 in response to the twenty-first touch 801 .

추천 그룹 액션(820)에 표시되는 항목(821 내지 823) 중 변경 항목이 없는 경우, 사용자는 버튼(832)에 제22 터치(802)를 한다. 전자 장치(100)의 제어부는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제22 터치(802)를 검출할 수 있다. 제어부에 의한 제22 터치(802)의 검출은 제21 터치(801)과 실질적으로 유사(예를 들어, 터치 이름이 다름)하므로 중복되는 설명은 생략된다.If there is no change item among the items 821 to 823 displayed in the recommended group action 820 , the user makes a twenty-second touch 802 on the button 832 . The controller of the electronic device 100 may detect the twenty-second touch 802 using the touch screen 190 and the touch screen controller 195 . Since the detection of the twenty-second touch 802 by the controller is substantially similar to the twenty-first touch 801 (eg, a touch name is different), a redundant description thereof will be omitted.

전자 장치(100)의 제어부는 제22 터치(802)에 대응하여 화면에 키패드(166) 및 새로운 그룹 액션 타이틀 입력창(도시되지 아니함)을 표시할 수 있다. 사용자는 키패드(166)를 이용하여 새로운 그룹 액션 타이틀을 입력할 수 있다. 입력된 새로운 그룹 액션 타이틀은 “외출2(go out2)”일 수 있다. 새로운 그룹 액션이 입력되는 경우, 사용자는 화면에 표시되는 확인(ok, 도시되지 아니함)을 선택할 수 있다. The controller of the electronic device 100 may display the keypad 166 and a new group action title input window (not shown) on the screen in response to the twenty-second touch 802 . The user may enter a new group action title using the keypad 166 . The input new group action title may be “go out2”. When a new group action is input, the user may select a confirmation (ok, not shown) displayed on the screen.

전자 장치(100)의 제어부는 그룹 액션의 저장에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 전자 장치(100)에서 제공되는 피드백은 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나로 사용자에게 제공될 수 있다. 전자 장치(100)의 제어부는 시각적 피드백, 청각적 피드백 및 촉각적 피드백 중 하나 또는 시각적 피드백, 청각적 피드백 및 촉각적 피드백들의 조합을 전자 장치(100)를 통해 사용자에게 제공할 수 있다. The controller of the electronic device 100 may provide a feedback corresponding to the storage of the group action to the user. The feedback provided by the electronic device 100 may be provided to the user as one of visual feedback, auditory feedback, and tactile feedback. The controller of the electronic device 100 may provide one of visual feedback, auditory feedback, and tactile feedback or a combination of visual feedback, auditory feedback, and tactile feedback to the user through the electronic device 100 .

시각 피드백은 그룹 액션의 저장에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 어플리케이션(600)에서 표시되는 오브젝트와 구별되게 표시될 수 있다. 청각 피드백은 그룹 액션의 저장에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다. 촉각 피드백은 그룹 액션의 저장에 대응되게 진동모터(164)에서 출력될 수 있다. Visual feedback is a visual effect (eg, an animation effect such as a separate image or a fade applied to a separate image) corresponding to the storage of the group action to be displayed separately from the object displayed in the application 600 . can The auditory feedback may be output from the speaker 163 as a sound corresponding to the storage of the group action. The tactile feedback may be output from the vibration motor 164 to correspond to the storage of the group action.

전자 장치(100)의 환경 설정(도시되지 아니함)에서, 그룹 액션의 저장에 대응되는 피드백(예를 들어, 시각 피드백, 청각 피드백, 및 촉각 피드백 중 적어도 하나)을 선택 및/또는 변경할 수도 있다. In an environment setting (not shown) of the electronic device 100 , a feedback corresponding to the storage of the group action (eg, at least one of visual feedback, auditory feedback, and tactile feedback) may be selected and/or changed.

적어도 하나의 피드백이 사용자에게 제공되는 피드백 제공 시간(예를 들어, 300 msec, 변경 가능)을 사용자가 입력 및/또는 변경할 수 있다. The user may input and/or change a feedback providing time (eg, 300 msec, changeable) at which at least one feedback is provided to the user.

전자 장치(100)의 제어부는 제22 터치(802)에 대응하여 추천 그룹 액션 타이틀(예를 들어, 외출2) 및 추천 그룹 액션에 대응되는 상태 정보를 저장부에 저장할 수 있다. In response to the twenty-second touch 802 , the controller of the electronic device 100 may store a recommended group action title (eg, going out 2) and state information corresponding to the recommended group action in the storage unit.

도 5의 단계(S570)에서, 추천 그룹 액션이 저장되는 경우, 전자 장치의 그룹 액션 제어방법은 종료된다.
In step S570 of FIG. 5 , when the recommended group action is stored, the method for controlling the group action of the electronic device is terminated.

본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to the exemplary embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. For example, the computer-readable medium, whether erasable or rewritable, may be a volatile or non-volatile storage device, such as a storage device, such as a ROM, or a volatile or non-volatile storage device, such as a RAM, memory chip, device or integrated circuit, for example. It may be stored in a memory, or a storage medium that is both optically or magnetically writable and machine (eg, computer) readable, such as, for example, a CD, DVD, magnetic disk or magnetic tape. It will be appreciated that a memory that may be included in a mobile terminal is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present invention. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited exemplary embodiments and drawings, the present invention is not limited to the above exemplary embodiments, and those of ordinary skill in the art to which the present invention pertains can learn from these descriptions. Various modifications and variations are possible.

그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described exemplary embodiments, but should be defined by the following claims as well as the claims and equivalents.

100: 전자 장치 110: 전자 장치 제어부
130: 전자 장치 통신부 175: 전자 장치 저장부
190: 전자 장치 터치 스크린
200: 외부 장치 210: 외부 장치 제어부
230: 외부 장치 통신부 275: 외부 장치 저장부
300: 서버 310: 서버 제어부
330: 서버 통신부 375: 서버 저장부
620, 820: 외부 장치 상태 정보 750, 850: 추천 그룹 액션100: electronic device 110: electronic device control unit
130: electronic device communication unit 175: electronic device storage unit
190: electronic device touch screen
200: external device 210: external device control unit
230: external device communication unit 275: external device storage unit
300: server 310: server control unit
330: server communication unit 375: server storage unit
620, 820: external device status information 750, 850: recommended group action

Claims (20)

전자 장치가 그룹 액션을 제어하는 방법에 있어서,
외부 장치 및 서버와 연결가능한 상기 전자 장치에서 어플리케이션을 실행하는 단계;
상기 전자 장치의 상태 변경에 응답하여, 상기 서버로, 상기 전자 장치의 상태 변경에 대응되는 상기 외부 장치에 관련된 그룹 액션 리스트를 요청하는 단계;
상기 전자 장치의 상태 변경에 대응되는 상기 외부 장치의 상태 정보에 기초하여 생성된 그룹 액션 리스트를 상기 서버로부터 수신하는 단계;
상기 서버에서부터 수신된 상기 그룹 액션 리스트를 상기 어플리케이션의 화면에 표시하는 단계;
상기 그룹 액션 리스트에 관련된 입력에 기초하여 그룹 액션을 생성하는 단계; 및
상기 생성된 그룹 액션을 실행함으로써 상기 그룹 액션에 대응되는 상기 외부 장치의 상태를 변경하는 단계;
를 포함하고,
상기 그룹 액션은 하나 이상의 외부 장치들의 액션들의 세트를 포함하며,
상기 그룹 액션 내의 적어도 하나의 액션은 상기 적어도 하나의 액션에 관련된 상기 하나 이상의 외부 장치들의 상태를 변경하기 위한 제어 명령을 포함하며,
상기 외부 장치의 상태 정보는, 상태가 변경된 상기 전자 장치가 상기 요청을 생성하기 이전의 기설정된 시간에 대응되고 변경되는 상기 외부 장치의 상태 정보를 포함하는 전자 장치의 그룹 액션 제어방법. A method for an electronic device to control a group action, the method comprising:
executing an application in the electronic device connectable to an external device and a server;
in response to the state change of the electronic device, requesting, from the server, a group action list related to the external device corresponding to the state change of the electronic device;
receiving, from the server, a group action list generated based on status information of the external device corresponding to the status change of the electronic device;
displaying the group action list received from the server on the screen of the application;
generating a group action based on an input related to the group action list; and
changing the state of the external device corresponding to the group action by executing the generated group action;
including,
the group action comprises a set of actions of one or more external devices;
At least one action in the group action includes a control command for changing a state of the one or more external devices related to the at least one action,
The state information of the external device corresponds to a preset time before the electronic device whose state has changed to generate the request and includes state information of the external device that is changed. 제1항에 있어서,
상기 외부 장치의 상태 정보는 상기 외부 장치의 식별자, 이름, 동작 정보, 공간 정보, 환경 정보, 가용 자원 정보, 동작 이력 정보, 또는 장애 정보를 포함하는, 방법. According to claim 1,
The state information of the external device includes an identifier, name, operation information, space information, environment information, available resource information, operation history information, or failure information of the external device. 삭제delete 제1항에 있어서,
상기 그룹 액션 리스트를 요청하는 단계는,
상기 전자 장치의 상태가 변경되는 경우, 상기 서버로 상기 전자 장치의 상태 변경에 대응되는 상태 변경 정보를 전송하는 것을 포함하는, 방법. According to claim 1,
The step of requesting the group action list,
When the state of the electronic device is changed, the method comprising transmitting state change information corresponding to the state change of the electronic device to the server. 제4항에 있어서,
상기 전자 장치의 상태 변경은 상기 전자 장치의 위치 변경을 포함하고,
상기 전자 장치의 위치 변경은 상기 전자 장치에서 검출되거나 또는 상기 전자 장치와 상기 외부 장치의 연결을 통해 검출되는, 방법. 5. The method of claim 4,
The change in the state of the electronic device includes a change in the location of the electronic device,
The method of claim 1, wherein the change in the position of the electronic device is detected by the electronic device or through a connection between the electronic device and the external device. 제1항에 있어서,
상기 서버와 연결되지 않는 경우, 상기 외부 장치로 상기 외부 장치의 그룹 액션 리스트를 요청하는, 방법. According to claim 1,
When the server is not connected, requesting the group action list of the external device from the external device. 제1항에 있어서,
상기 그룹 액션 리스트를 상기 어플리케이션의 화면에 표시하는 단계는,
상기 화면에 표시되는 상기 외부 장치에 대응되는 아이콘을 우선 순위에 의해 표시하는 단계를 포함하는, 방법. According to claim 1,
Displaying the group action list on the screen of the application comprises:
and displaying an icon corresponding to the external device displayed on the screen in order of priority. 제1항에 있어서,
상기 그룹 액션을 생성하는 단계는,
상기 표시된 그룹 액션 리스트에 포함되는 선택 박스에 대한 사용자의 선택에 대응하여 상기 그룹 액션과 다른 그룹 액션을 생성하는 단계를 포함하는 것인, 방법. According to claim 1,
The step of creating the group action includes:
and generating a group action different from the group action in response to a user's selection of a selection box included in the displayed group action list. 제1항에 있어서,
상기 생성된 그룹 액션은 상기 외부 장치에 대응되는 식별자를 포함하는 그룹 액션 정보를 포함하는, 방법. According to claim 1,
The generated group action includes group action information including an identifier corresponding to the external device. 제1항에 있어서,
상기 생성된 그룹 액션을 저장하는 단계를 더 포함하고,
상기 저장된 그룹 액션은 그룹 액션 타이틀을 포함하는 그룹 액션 정보를 포함하는, 방법. According to claim 1,
Further comprising the step of storing the created group action,
wherein the stored group action includes group action information including a group action title. 제10항에 있어서,
상기 그룹 액션의 저장에 대응하여 시각, 청각 및 촉각 피드백 중 적어도 하나의 피드백을 제공하는 단계;
를 더 포함하는, 방법. 11. The method of claim 10,
providing at least one of visual, auditory and tactile feedback in response to the storage of the group action;
A method further comprising: 전자 장치에 있어서,
터치 스크린;
서버와 연결되는 통신부; 및,
상기 터치 스크린 및 상기 통신부를 제어하는 제어부를 포함하고,
상기 제어부는
상기 전자 장치의 상태 변경에 응답하여, 상기 서버로, 상기 전자 장치의 상태 변경에 대응되며 상기 서버와 연결되는 외부 장치에 관련된 외부 장치의 그룹 액션 리스트를 요청하고, 상기 전자 장치의 상태 변경에 대응되는 상기 외부 장치의 상태 정보에 기초하여 생성된 그룹 액션 리스트를 상기 서버로부터 수신하고, 상기 서버에서부터 수신된 상기 그룹 액션 리스트를 상기 터치 스크린에 표시하고, 상기 그룹 액션 리스트에 관련된 입력에 기초하여 그룹 액션을 생성하고, 상기 생성된 그룹 액션을 실행함으로써 상기 그룹 액션에 대응되는 상기 외부 장치의 상태를 변경하며,
상기 그룹 액션은 하나 이상의 외부 장치들의 액션들의 세트를 포함하며,
상기 그룹 액션 내의 적어도 하나의 액션은 상기 적어도 하나의 액션에 관련된 상기 하나 이상의 외부 장치들의 상태를 변경하기 위한 제어 명령을 포함하며,
상기 외부 장치 상태 정보는, 상태가 변경된 상기 전자 장치가 상기 요청을 생성하기 이전의 기설정된 시간에 대응되고 변경되는 상기 외부 장치의 상태 정보를 포함하는 전자 장치. In an electronic device,
touch screen;
a communication unit connected to the server; and,
A control unit for controlling the touch screen and the communication unit,
the control unit
In response to the state change of the electronic device, a group action list of an external device corresponding to the state change of the electronic device and related to the external device connected to the server is requested from the server, and responding to the state change of the electronic device Receive a group action list generated based on the state information of the external device from the server, display the group action list received from the server on the touch screen, and group based on an input related to the group action list generating an action and changing the state of the external device corresponding to the group action by executing the generated group action,
the group action comprises a set of actions of one or more external devices;
At least one action in the group action includes a control command for changing a state of the one or more external devices related to the at least one action,
The external device state information includes state information of the external device that is changed and corresponds to a preset time before the electronic device whose state has changed generates the request. 제12항에 있어서,
상기 전자 장치의 위치에 대응되는 신호를 수신하는 GPS를 더 포함하고,
상기 제어부는 상기 위치에 대응되는 위치 정보를 이용하여 상기 전자 장치의 위치 변경을 검출하는 전자 장치. 13. The method of claim 12,
Further comprising a GPS for receiving a signal corresponding to the location of the electronic device,
The control unit detects a change in the location of the electronic device by using location information corresponding to the location. 제13항에 있어서,
상기 위치 변경에 대응되어 상기 전자 장치의 상태 정보가 변경되는 경우, 상기 제어부는 상기 서버에 상기 전자 장치의 상태 변경에 대응되는 상기 그룹 액션 리스트를 요청하는 전자 장치. 14. The method of claim 13,
When the state information of the electronic device is changed in response to the change of location, the control unit requests the server for the group action list corresponding to the change in the state of the electronic device. 제13항에 있어서,
상기 위치 변경에 대응되어 상기 전자 장치의 상태 정보가 변경되는 경우, 상기 제어부는 상기 통신부를 통해 상기 서버로 상기 전자 장치의 변경된 상태 정보를 전송하는 전자 장치. 14. The method of claim 13,
When the state information of the electronic device is changed in response to the change of location, the control unit transmits the changed state information of the electronic device to the server through the communication unit. 제12항에 있어서,
상기 전자 장치와 상기 서버가 연결되지 않는 경우, 상기 제어부는 상기 외부 장치에 상기 그룹 액션 리스트를 요청하는 전자 장치. 13. The method of claim 12,
When the electronic device and the server are not connected, the control unit requests the group action list from the external device. 제12항에 있어서,
상기 제어부는 상기 터치 스크린을 통해 상기 그룹 액션의 그룹 액션 타이틀을 사용자 입력에 의해 수신하는 전자 장치. 13. The method of claim 12,
The control unit receives the group action title of the group action through the touch screen in response to a user input. 제12항에 있어서,
상기 전자 장치와 상기 외부 장치가 직접 연결되는 경우, 상기 제어부는 상기 외부 장치의 연결에 대응하여 상기 전자 장치의 상태 변경을 결정하는 전자 장치. 13. The method of claim 12,
When the electronic device and the external device are directly connected, the control unit determines a state change of the electronic device in response to the connection of the external device. 삭제delete 제1항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for executing the method of claim 1 in a computer is recorded.
KR1020140187564A 2014-12-15 2014-12-23 Electronic apparatus and method for controlling a group action KR102290992B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2015/012839 WO2016099048A1 (en) 2014-12-15 2015-11-27 Electronic apparatus and method of controlling group action
US14/953,184 US10505752B2 (en) 2014-12-15 2015-11-27 Electronic apparatus and method of controlling group action
CN201510931385.8A CN105704204B (en) 2014-12-15 2015-12-15 Electronic device and method of controlling group operation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140180495 2014-12-15
KR1020140180495 2014-12-15

Publications (2)

Publication Number Publication Date
KR20160072753A KR20160072753A (en) 2016-06-23
KR102290992B1 true KR102290992B1 (en) 2021-08-20

Family

ID=56353404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187564A KR102290992B1 (en) 2014-12-15 2014-12-23 Electronic apparatus and method for controlling a group action

Country Status (1)

Country Link
KR (1) KR102290992B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185079A1 (en) * 2010-05-17 2013-07-18 Chang Kwon Park Home appliance, home appliance system, and method for operating same
US20140167929A1 (en) * 2012-12-13 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling devices in home network system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185079A1 (en) * 2010-05-17 2013-07-18 Chang Kwon Park Home appliance, home appliance system, and method for operating same
US20140167929A1 (en) * 2012-12-13 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling devices in home network system

Also Published As

Publication number Publication date
KR20160072753A (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US10505752B2 (en) Electronic apparatus and method of controlling group action
KR102269035B1 (en) Server and method for controlling a group action
US10362438B2 (en) Portable apparatus and method of controlling location information of portable apparatus
EP3122038B1 (en) Portable apparatus, display apparatus, and method for displaying photo thereof
US10712938B2 (en) Portable device and screen display method of portable device
US11329938B2 (en) Terminal apparatus and method for controlling internet of things (IoT) devices
US8666523B2 (en) Device, method and timeline user interface for controlling home devices
US10152226B2 (en) Portable device and method of changing screen of portable device
KR102152052B1 (en) Electronic apparatus and method for managing function in electronic apparatus
EP3118720B1 (en) Apparatus for displaying an image and management of a plurality of processing cores, and method of operating the same
KR102655584B1 (en) Display apparatus and controlling method thereof
CN107852425B (en) Image display device and operation method thereof
KR102077228B1 (en) Electronic device and Method for controlling the electronic device thereof
KR102290992B1 (en) Electronic apparatus and method for controlling a group action
US20220383635A1 (en) Method and an electronic apparatus for acquiring a floor map of a room layout

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right