KR20170015622A - 사용자 단말 장치 및 그 제어 방법 - Google Patents

사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20170015622A
KR20170015622A KR1020150107371A KR20150107371A KR20170015622A KR 20170015622 A KR20170015622 A KR 20170015622A KR 1020150107371 A KR1020150107371 A KR 1020150107371A KR 20150107371 A KR20150107371 A KR 20150107371A KR 20170015622 A KR20170015622 A KR 20170015622A
Authority
KR
South Korea
Prior art keywords
image
information
processor
function
command
Prior art date
Application number
KR1020150107371A
Other languages
English (en)
Inventor
원영민
김영진
오준섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150107371A priority Critical patent/KR20170015622A/ko
Priority to EP16830716.3A priority patent/EP3329352B1/en
Priority to PCT/KR2016/007298 priority patent/WO2017018683A1/en
Priority to CN201680040967.XA priority patent/CN107835978A/zh
Priority to US15/221,890 priority patent/US20170034468A1/en
Publication of KR20170015622A publication Critical patent/KR20170015622A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H04M1/72533—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

사용자 단말 장치가 개시된다. 본 사용자 단말 장치는 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보를 저장하는 스토리지, 카메라, 카메라에 의해 기설정된 서비스 공간 내의 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 디스플레이 및 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별하고, 식별된 디바이스와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이하도록 제어하는 프로세서를 포함한다. 그에 따라, 기설정된 서비스 공간 내의 적어도 하나의 디바이스를 관리할 수 있게 되어 사용자 편의성이 향상된다.

Description

사용자 단말 장치 및 그 제어 방법 { USER TERMINAL APPARATUS AND CONTROL METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 기설정된 서비스 공간 내의 적어도 하나의 디바이스를 관리하기 위한 사용자 단말 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 디바이스들이 개발 및 보급되고 있으며, 각종 통신 기능이 구비된 디바이스들이 대부분의 일반 가정에서도 많이 사용되고 있다. 더 나아가, 종래 통신 기능이 없던 디바이스에도 통신 기능이 구비되어 IoT(Internet of Things)의 환경이 조성되고 있다.
IoT는 사물 인터넷의 약자로, 생활 속 사물들을 유무선 네트워크로 연결해 정보를 공유하는 환경을 의미한다. 스마트홈 등 다양한 분야에서 사물을 네트워크로 연결해 정보를 공유할 수 있다. 그리고, 통신 기능을 이용하여 사용자들이 다양한 디바이스를 원격으로 제어할 수 있게 되었다.
다만, 특정 IoT 디바이스를 제어하거나 모니터링하기 위해서는 특정 프로그램이 필요하고, IoT 디바이스에 따라 또는 IoT 디바이스를 생산하는 업체에 따라 각각 별도의 프로그램이 필요하기 때문에 이용에 불편이 있었다.
그리고, 기존에 웹사이트에서 디바이스를 선택하여 각 디바이스가 지원하는 리소스들을 연결하는 등의 방법을 통해 IoT 디바이스 간 매크로 명령을 생성할 수도 있었다. 다만, 사용자는 해당 웹서비스에 접속해야 하고, 수많은 디바이스들 중에서 원하는 디바이스를 선택하는 과정이 요구되어 불편이 있었다.
그에 따라, 좀더 직관적으로 IoT 디바이스를 제어 및 모니터링할 뿐만 아니라 IoT 디바이스 간 매크로 명령을 생성하는 IoT 디바이스 관리 방법이 필요하게 되었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별하고, 식별된 디바이스를 관리하는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보를 저장하는 스토리지, 카메라, 상기 카메라에 의해 상기 기설정된 서비스 공간 내의 상기 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 디스플레이 및 상기 매핑 정보에 기초하여 상기 촬영 이미지에 포함된 디바이스를 식별하고, 상기 식별된 디바이스와 관련된 사용자 명령이 입력되면, 상기 사용자 명령에 따른 정보를 상기 촬영 이미지 상에 디스플레이하도록 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 식별된 디바이스의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 상기 식별된 디바이스의 기능에 대한 정보를 수신하여 상기 촬영 이미지 상에 디스플레이하고, 상기 디스플레이된 기능에 대한 정보 중 선택된 기능이 상기 식별된 디바이스에서 실행되도록 제어할 수 있다.
그리고, 상기 프로세서는 상기 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하고, 상기 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 상기 UI 상에 입력되면, 상기 UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성할 수 있다.
또한, 상기 프로세서는 상기 생성된 매크로 명령에 포함된 디바이스의 기능 실행이 감지되면, 상기 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어할 수 있다.
그리고, 상기 프로세서는 상기 매크로 명령을 생성하기 위한 UI를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 상기 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 상기 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공할 수 있다.
또한, 상기 기설정된 서비스 공간 내에 설치되어 상기 적어도 하나의 디바이스를 제어하는 네트워크 장치와 통신을 수행하는 통신부를 더 포함하며, 상기 프로세서는 상기 식별된 디바이스에서 상기 선택된 기능을 실행하기 위한 제어 명령을 상기 네트워크 장치로 전송할 수 있다.
그리고, 상기 프로세서는 상기 식별된 디바이스의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 상기 식별된 디바이스의 동작 상태에 대한 정보를 수신하여 상기 촬영 이미지 상에서 상기 식별된 디바이스가 디스플레이된 영역에 디스플레이할 수 있다.
또한, 상기 프로세서는 상기 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 상기 촬영 이미지에 상기 식별된 디바이스에 대응되는 IP(Internet Protocol) 정보 및 맥 어드레스(Mac Address) 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성할 수 있다.
그리고, 상기 프로세서는 상기 촬영 이미지에 포함된 디바이스 타입을 감지하고, 상기 감지된 디바이스 타입에 대응되는 디바이스에 대한 응답 요청 신호를 상기 기설정된 공간 내에 브로드캐스팅(broadcasting)하고, 상기 적어도 하나의 디바이스로부터 응답 신호가 수신되면 상기 응답 신호를 전송한 디바이스 목록을 디스플레이하고, 사용자 명령에 따라 상기 촬영 이미지에 포함된 디바이스의 이미지와 상기 디스플레이된 목록 중 선택된 디바이스를 매핑시킨 매핑 정보를 상기 스토리지에 저장할 수 있다.
또한, 상기 프로세서는 상기 응답 신호가 수신되면 수신된 신호의 세기 및 상기 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 상기 적어도 하나의 디바이스의 식별 정보를 순차적으로 나열한 상기 디바이스 목록을 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 제어 방법은 기설정된 서비스 공간 내의 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 단계, 상기 기설정된 서비스 공간 내의 상기 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 상기 촬영 이미지에 포함된 디바이스를 식별하는 단계 및 상기 식별된 디바이스와 관련된 사용자 명령이 입력되면, 상기 사용자 명령에 따른 정보를 상기 촬영 이미지 상에 디스플레이하는 단계를 포함한다.
또한, 상기 촬영 이미지 상에 디스플레이하는 단계는, 상기 식별된 디바이스의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 상기 식별된 디바이스의 기능에 대한 정보를 수신하여 상기 촬영 이미지 상에 디스플레이하고, 상기 디스플레이된 기능에 대한 정보 중 선택된 기능이 상기 식별된 디바이스에서 실행되도록 제어하는 단계를 더 포함할 수 있다.
그리고, 상기 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하는 단계 및 상기 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 상기 UI 상에 입력되면, 상기 UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 생성된 매크로 명령에 포함된 디바이스의 기능 실행이 감지되면, 상기 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어하는 단계를 더 포함할 수 있다.
그리고, 상기 매크로 명령을 생성하기 위한 UI를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 상기 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 상기 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 제어하는 단계는 상기 식별된 디바이스에서 상기 선택된 기능을 실행하기 위한 제어 명령을, 상기 기설정된 서비스 공간 내에 설치되어 상기 적어도 하나의 디바이스를 제어하는 네트워크 장치로 전송할 수 있다.
그리고, 상기 촬영 이미지 상에 디스플레이하는 단계는, 상기 식별된 디바이스의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 상기 식별된 디바이스의 동작 상태에 대한 정보를 수신하여 상기 촬영 이미지 상에서 상기 식별된 디바이스가 디스플레이된 영역에 디스플레이할 수 있다.
또한, 상기 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 상기 촬영 이미지에 상기 식별된 디바이스에 대응되는 IP(Internet Protocol) 정보 및 맥 어드레스(Mac Address) 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성할 수 있다.
그리고, 상기 촬영 이미지에 포함된 디바이스 타입을 감지하는 단계, 상기 감지된 디바이스 타입에 대응되는 디바이스에 대한 응답 요청 신호를 상기 기설정된 공간 내에 브로드캐스팅(broadcasting)하는 단계, 상기 적어도 하나의 디바이스로부터 응답 신호가 수신되면 상기 응답 신호를 전송한 디바이스 목록을 디스플레이하는 단계 및 사용자 명령에 따라 상기 촬영 이미지에 포함된 디바이스의 이미지와 상기 디스플레이된 목록 중 선택된 디바이스를 매핑시킨 매핑 정보로 저장하는 단계를 더 포함할 수 있다.
또한, 상기 디바이스 목록을 디스플레이하는 단계는, 상기 응답 신호가 수신되면 수신된 신호의 세기 및 상기 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 상기 적어도 하나의 디바이스의 식별 정보를 순차적으로 나열한 상기 디바이스 목록을 디스플레이할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치는 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별하고, 식별된 디바이스를 관리하게 됨에 따라 사용자가 좀더 편리하게 다양한 디바이스를 관리할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 디바이스 관리 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 스토리지에 저장된 소프트웨어 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 디바이스와 관련된 사용자 명령을 입력받기 위한 UI를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 디바이스의 기능 제어를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 복수의 기능을 이용한 매크로 명령의 생성을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 디바이스의 동작 상태를 모니터링하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 스냅샷 이미지를 생성 및 이용하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 매핑 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 디바이스 관리 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 디바이스 관리 시스템(10)은 사용자 단말 장치(100), 적어도 하나의 디바이스(200) 및 네트워크 장치(300)를 포함한다.
디바이스 관리 시스템(10)은 가정에서 쓰이는 모든 전기, 전자 제품을 유무선의 하나의 시스템으로 연결, 쌍방향 통신이 가능한 홈 네트워크 시스템으로 구현될 수 있으나, 네트워크를 통해 복수의 기기를 연결하여 제어하는 시스템이면 이에 한정되지 않고 적용 가능하다. 예를 들어, 회사 내의 기기를 네트워크로 연결하여 제어하는 시스템의 경우에도 이에 포함될 수 있다.
네트워크 장치(300)는 게이트웨이 장치, 네트워크 서버, 외부 클라우드 서버 등으로 구현되어, 디바이스 관리 시스템(10) 내의 적어도 하나의 디바이스(200)의 동작을 전반적으로 제어한다. 즉, 네트워크 장치(300)는 자신과 통신 가능한 상태에 있는 디바이스(200)의 동작을 제어할 수 있다. 예를 들어, 네트워크 장치(300)는 홈 서버, 클라우드 서버 등으로 구현 가능하다.
특히, 네트워크 장치(300)는 사용자 단말 장치(100)로부터 수신된 사용자 명령에 기초하여, 적어도 하나의 디바이스(200)를 제어하기 위한 제어 명령을 생성하여, 디바이스(200)로 전달할 수 있다.
또한, 네트워크 장치(300)는 수신된 사용자 명령을 기초로 적어도 하나의 디바이스(200)를 제어하기 위해, 사용자 명령에 대응되는 제어 명령을 저장할 수 있다.
예를 들어, 도 1과 같은 디바이스 관리 시스템(10)이 구축된 경우, 네트워크 장치(300)는 스마트 TV, 홈 시어터, 전등, 로봇 청소기 및 블라인드에서 제공 가능한 다양한 기능을 제어할 수 있는 제어 명령을 저장하고, 사용자 명령에 대응되는 제어 명령을 각 디바이스로 전송할 수 있다. 보다 구체적인 예로, 네트워크 장치(300)는 TV의 볼륨을 변경하기 위한 사용자 명령이 사용자 단말 장치(100)로부터 수신되면, 기저장된 제어 명령 중 사용자 명령에 대응되도록 TV의 볼륨을 변경할 수 있는 제어 명령을 TV로 전송할 수 있다.
한편, 이상에서는 네트워크 장치(300)를 이용하여 사용자 단말 장치(100)와 적어도 하나의 디바이스(200)가 통신을 수행하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 네트워크 장치(300)를 이용하여 사용자 단말 장치(100)와 적어도 하나의 디바이스(200)가 최초 연결되면 이후에는 네트워크 장치(300) 없이 사용자 단말 장치(100)와 적어도 하나의 디바이스(200)가 직접 통신을 수행할 수도 있다. 또한, 처음부터 사용자 단말 장치(100)와 적어도 하나의 디바이스(200)가 직접 통신을 수행하는 구성도 가능하다.
사용자 단말 장치(100)는 기설정된 서비스 공간 내의 적어도 하나의 디바이스(200) 및 대응되는 이미지가 매핑된 매핑 정보를 저장할 수 있다. 예를 들어, 사용자 단말 장치(100)는 TV와 그에 대응되는 이미지가 매핑된 매핑 정보를 저장하고 있을 수 있다. 또한, 사용자 단말 장치(100)는 TV의 모델명, IP(Internet Protocol) 주소, 맥 어드레스(Mac Address), TV가 위치한 장소 및 TV 주변 이미지를 저장하고 있을 수 있다. 다만, 이는 일 실시 예에 불과하고, 사용자 단말 장치(100)는 TV 뿐만 아니라, 조명기구, 냉장고 및 세탁기 등에 대한 매핑 정보를 저장하고 있을 수 있고, 통신 기능이 구비된 디바이스라면 제한이 없이 매핑 정보를 저장하고 있을 수 있다.
사용자 단말 장치(100)는 이미지를 촬영할 수 있고, 기설정된 서비스 공간 내의 적어도 하나의 디바이스(200)가 촬영된 이미지를 디스플레이할 수 있다. 기설정된 서비스 공간은 동일한 통신 네트워크에 연결된 공간일 수 있으며, 네트워크 장치(300)에 의해 생성된 공간일 수 있다.
사용자 단말 장치(100)는 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스(200)를 식별할 수 있다. 예를 들어, 사용자 단말 장치(100)는 촬영 이미지에서 TV가 발견되면, 매핑 정보 중 TV에 대한 이미지와 촬영 이미지에서의 TV 이미지를 비교하여 촬영 이미지로부터 TV를 식별할 수 있다. 다만, 이는 일 실시 예에 불과하고, 사용자 단말 장치(100)는 매핑 정보 중 TV에 대한 이미지 뿐만 아니라 TV 주변의 이미지를 이용하여 촬영 이미지로부터 TV를 식별할 수도 있다.
사용자 단말 장치(100)는 식별된 디바이스(200)와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이할 수 있다. 예를 들어, 사용자 단말 장치(100)는 식별된 디바이스(200)와 관련된 메뉴를 디스플레이할 수 있고, 디스플레이된 메뉴 중 식별된 디바이스(200)의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면, 식별된 디바이스(200)의 동작 상태에 대한 정보를 요청하여 디스플레이할 수 있다. 사용자 명령에 따른 구체적인 동작에 대하여는 후술한다.
디바이스(200)는 네트워크에 연결되어 있는 전자 장치일 수 있다. 예를 들어, 디바이스(200)는 데스크탑 컴퓨터, 노트북 및 스마트폰일 수 있다. 다만, 이에 한정되는 것은 아니고, 디바이스(200)는 통신 기능이 구비된 전자 장치이기만 하면 특별한 제한은 없다.
상술한 바와 같이 사용자 단말 장치(100)는 디바이스 관리 시스템(10) 내의 디바이스(200)를 촬영 이미지로부터 식별하고, 식별된 디바이스(200)를 관리할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치(100)의 구성을 나타내는 블럭도이다.
도 2a에 따르면, 사용자 단말 장치(100)는 스토리지(110), 카메라(120), 디스플레이(130) 및 프로세서(140)를 포함한다.
한편, 도 2a는 사용자 단말 장치(100)가 저장 기능, 촬영 기능, 디스플레이 기능 및 제어 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2a에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성 요소가 더 추가될 수도 있다.
스토리지(110)는 기설정된 서비스 공간 내의 적어도 하나의 디바이스(200) 및 대응되는 이미지가 매핑된 정보를 저장하고 있을 수 있다. 예를 들어, 스토리지(110)는 기설정된 서비스 공간 내의 TV와 대응되는 이미지, 조명기구와 대응되는 이미지 및 세탁기와 대응되는 이미지를 저장하고 있을 수 있다. 다만, 이에 한정되는 것은 아니며, 스토리지(110)는 통신 기능이 구비된 디바이스라면 그에 대응되는 이미지와 함께 매핑 정보를 저장할 수 있다.
스토리지(110)에 저장되어 있는 정보는 사용자에 의해 설정된 매핑 정보일 수 있다. 또한, 스토리지(110)는 다른 사용자의 사용자 단말 장치로부터 수신된 촬영 이미지에 포함된 매핑 정보를 저장할 수도 있다. 이에 대한 구체적인 내용을 후술한다.
스토리지(110)는 매핑 정보 외에도 디바이스(200)가 제공하는 기능에 대한 정보를 저장하고 있을 수 있다. 예를 들어, 스토리지(110)는 TV에 대한 매핑 정보 외에도 TV가 제공하는 전원 on/off 기능, 볼륨 조절 기능, 채널 변경 기능 등에 대한 정보를 저장하고 있을 수 있다. 이 경우, 사용자 단말 장치(100)는 디바이스(200)의 기능을 제어하고자 하는 경우에 디바이스(200)와 별도의 통신 없이 기능에 대한 리스트를 제공할 수도 있다.
또한, 스토리지(110)는 매핑 정보 외에 후술할 매크로 명령 등을 저장할 수 있다. 매크로 명령의 생성 및 실행에 대한 구체적인 내용은 후술한다.
카메라(120)는 이미지를 촬영하기 위한 구성요소이다. 사용자 단말 장치(100)는 카메라(120)를 이용하여 기설정된 공간 내의 적어도 하나의 디바이스(200)를 촬영할 수 있다. 카메라(120)는 특정 시점에서 적어도 하나의 디바이스(200)가 촬영된 이미지를 생성할 수도 있으나, 연속적으로 이미지를 촬영할 수도 있다. 연속적으로 촬영된 이미지는 후술할 디스플레이(130)에서 디스플레이될 수 있다.
카메라(120)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 사용자 단말 장치(100)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
디스플레이(130)는 프로세서(140)의 제어에 의해 촬영된 이미지를 디스플레이할 수 있다. 또한, 디스플레이(130)는 촬영 이미지에 포함된 디바이스(200)가 제공하는 기능 및 디바이스(200)를 제어하기 위한 메뉴 등을 나타내는 UI를 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 디스플레이(130)는 사용자 인터랙션을 입력받을 수 있는 UI를 디스플레이할 수도 있다.
그리고, 디스플레이(130)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(130)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
프로세서(140)는 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스(200)를 식별하고, 식별된 디바이스(200)와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이할 수 있다.
또한, 프로세서(140)는 식별된 디바이스(200)의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 식별된 디바이스(200)의 기능에 대한 정보를 수신하여 촬영 이미지 상에 디스플레이하고, 디스플레이된 기능에 대한 정보 중 선택된 기능이 식별된 디바이스(200)에서 실행되도록 제어할 수 있다.
그리고, 프로세서(140)는 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하고, 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 UI 상에 입력되면, UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성할 수 있다.
특히, 프로세서(140)는 생성된 매크로 명령에 포함된 디바이스(200)의 기능 실행이 감지되면, 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어할 수 있다.
또한, 프로세서(140)는, 생성된 매크로 명령에 포함된 디바이스(200)의 기능이 실행되면, 디바이스(200)의 기능의 실행 사실을 알리기 위한 신호를 전송하도록 디바이스(200)를 제어하고, 신호가 수신되면 디바이스(200)의 기능이 실행되었음을 감지할 수 있다.
그리고, 사용자 단말 장치(100)는 기설정된 서비스 공간 내에 설치되어 적어도 하나의 디바이스(200)를 제어하는 네트워크 장치(300)와 통신을 수행하는 통신부를 더 포함하며, 프로세서(140)는 식별된 디바이스(200)에서 선택된 기능을 실행하기 위한 제어 명령을 네트워크 장치(300)로 전송할 수 있다.
또한, 프로세서(140)는 식별된 디바이스(200)의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 식별된 디바이스(200)의 동작 상태에 대한 정보를 수신하여 촬영 이미지 상에서 식별된 디바이스(200)가 디스플레이된 영역에 디스플레이할 수 있다.
그리고, 프로세서(140)는 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 촬영 이미지에 식별된 디바이스에 대응되는 IP 정보 및 맥 어드레스 정보를 포함하는 스냅샷 이미지를 생성할 수 있다.
또한, 프로세서(140)는 촬영 이미지에 포함된 디바이스 타입을 감지하고, 감지된 디바이스 타입에 대응되는 디바이스(200)에 대한 응답 요청 신호를 기설정된 공간 내에 브로드캐스팅(broadcasting)하고, 적어도 하나의 디바이스(200)로부터 응답 신호가 수신되면 응답 신호를 전송한 디바이스 목록을 디스플레이하고, 사용자 명령에 따라 촬영 이미지에 포함된 디바이스의 이미지와 디스플레이된 목록 중 선택된 디바이스를 매핑시킨 매핑 정보를 스토리지(110)에 저장할 수 있다.
여기서, 프로세서(140)는 응답 신호가 수신되면 수신된 신호의 세기 및 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 적어도 하나의 디바이스(200)의 식별 정보를 순차적으로 나열한 디바이스 목록을 디스플레이할 수 있다.
도 2b는 본 발명의 다른 실시 예에 따른 사용자 단말 장치(100')의 세부 구성을 나타내는 블럭도이다. 도 2b에 따르면, 사용자 단말 장치(100')는 스토리지(110), 카메라(120), 디스플레이(130), 프로세서(140), 통신부(150), 사용자 인터페이스부(155), 오디오 처리부(160), 비디오 처리부(170), 스피커(180), 버튼(181), 마이크(182)를 포함한다. 도 2b에 도시된 구성요소들 중 도 2a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(140)는 스토리지(110)에 저장된 각종 프로그램을 이용하여 사용자 단말 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(140)는 RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다.
RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(143)는 스토리지(110)에 액세스하여, 스토리지(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(110)에 저장된 각종 프로그램 등을 이용하여 다양한 동작을 수행한다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 스토리지(110)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 스토리지(110)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(130)의 디스플레이 영역 내에 표시된다.
한편, 상술한 프로세서(140)의 동작은 스토리지(110)에 저장된 프로그램에 의해 이루어질 수 있다.
스토리지(110)는 사용자 단말 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 적어도 하나의 디바이스(200) 및 대응되는 이미지를 매핑한 매핑 정보 및 적어도 하나의 디바이스(200)의 스펙 정보 등과 같이 다양한 데이터를 저장한다.
이 경우 프로세서(140)는 스토리지(110)에 저장된 정보에 기초하여 입력된 영상을 처리하여 디스플레이할 수 있다.
카메라(120)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(120)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 외부기기와 통신을 수행할 수 있다.
통신부(150)는 와이파이칩(151), 블루투스 칩(152), 무선 통신 칩(153) 등 다양한 통신칩을 포함한다. 와이파이 칩(151) 및 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 무선 통신 칩(153)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
사용자 인터페이스부(155)는 다양한 사용자 인터랙션(interaction)을 수신한다. 사용자 단말 장치(100)가 터치 기능을 제공하는 전자 장치로 구현되는 경우 사용자 인터페이스부(155)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수도 있다. 이 경우, 사용자 인터페이스부(155)는 상술한 디스플레이(130)로 사용될 수 있게 된다.
오디오 처리부(160)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(160)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(170)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(170)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
스피커(180)는 오디오 처리부(160)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.
버튼(181)은 사용자 단말 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다. 마이크(182)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
도 3은 본 발명의 일 실시 예에 따른 스토리지(110)에 저장된 소프트웨어 구성을 설명하기 위한 도면이다.
도 3에 따르면, 스토리지(110)에는 베이스 모듈(111), 센싱 모듈(112), 통신 모듈(113), 프리젠테이션 모듈(114), 웹 브라우저 모듈(115), 서비스 모듈(116)을 포함하는 소프트웨어가 저장될 수 있다.
베이스 모듈(111)이란 사용자 단말 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 베이스 모듈(111)은 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈(111-1), 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 보안 모듈(111-2) 및 네트워크 연결을 지원하기 위한 네트워크 모듈(111-3) 등을 포함한다.
센싱 모듈(112)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 센싱 모듈(112)은 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈 등을 포함할 수도 있다.
통신 모듈(113)은 적어도 하나의 디바이스(200) 또는 네트워크 장치(300)와 통신을 수행하기 위한 모듈이다.
프리젠테이션 모듈(114)은 디스플레이 화면을 구성하기 위한 모듈로 멀티미디어 모듈(114-1) 및 UI 렌더링 모듈(114-2)을 포함할 수 있다. 멀티미디어 모듈(114-1)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. UI 렌더링 모듈(114-2)은 이미지를 조합하는 이미지 합성기(Image Compositor module), 이미지를 디스플레이할 화면상의 좌표를 조합하여 생성하는 좌표 조합 모듈, 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
웹 브라우저 모듈(115)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다.
서비스 모듈(116)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(116)은 본 발명에 따른 UI 제공 프로그램 외에 컨텐츠 재생 프로그램, 알람 관리 프로그램, 기타 위젯 등과 같은 다양한 프로그램 모듈을 포함할 수 있다. 예를 들어, 서비스 모듈(116)은 본 발명에 따른 적어도 하나의 디바이스(200)를 관리하기 위한 UI를 제공하는 서비스 프로그램을 포함할 수 있다.
도 3에서는 다양한 프로그램 모듈들을 도시하였으나, 도시된 각종 프로그램 모듈들은 사용자 단말 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 위치 기반 모듈을 더 포함하는 형태로 구현될 수 있다.
이하에서는 본 발명의 이해를 돕기 위한 기본 구성과 다양한 실시 예에 대하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 디바이스(200)와 관련된 사용자 명령을 입력받기 위한 UI를 설명하기 위한 도면이다.
도 4에 따르면, 프로세서(140)는 카메라(120)에 의해 기설정된 서비스 공간 내의 적어도 하나의 디바이스(200)가 촬영된 이미지를 디스플레이할 수 있다. 또한, 프로세서(140)는 식별된 디바이스(200)와 관련된 사용자 명령을 입력받기 위한 UI를 촬영 이미지 상에 오버랩하여 제공할 수 있다. 예를 들어, 프로세서(140)는 제어, 모니터링, 매크로 명령 생성 및 스냅샷 이미지 생성의 사용자 명령을 입력받을 수 있는 UI를 제공할 수 있다.
한편, 프로세서(140)는 촬영된 이미지로부터 적어도 하나의 디바이스(200)가 식별되는 경우에 UI를 디스플레이할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(140)는 먼저 UI를 디스플레이하고, 사용자 입력이 있으면 촬영된 이미지로부터 적어도 하나의 디바이스(200)를 식별할 수도 있다.
한편, 촬영 이미지는 사용자 단말 장치(100)에서 실시간으로 촬영되는 프리뷰(preview) 이미지일 수 있다. 예를 들어, 사용자 단말 장치(100)가 움직임에 따라 촬영 이미지가 변경될 수 있다. 다만, 이에 한정되는 것은 아니며, 촬영 이미지는 정지 이미지일 수도 있다. 예를 들어, 촬영 이미지는 특정 시점의 이미지가 저장된 것일 수 있다. 또는, 타 사용자 단말 장치에 의해 촬영된 이미지를 수신하여 저장된 이미지일 수도 있다. 또는, 프리뷰 이미지가 디스플레이되는 중에 디바이스가 인식된 순간 저장된 이미지일 수도 있다. 이하에서는 촬영 이미지가 상술한 모든 개념을 포함하는 것으로 설명한다.
한편, 도 4에는 네트워크 장치(300)는 도시하지 않았다. 다만, 프로세서(140)는 네트워크 장치(300)를 통하여 적어도 하나의 디바이스(200)와 통신을 수행할 수도 있고, 적어도 하나의 디바이스(200)와 직접 통신을 수행할 수도 있다. 네트워크 장치(300)는 홈 내 게이트웨이, 서버, 외부 클라우드 서버 등일 수 있으나, 이에 한정되지 않고, 프로세서(140)와 적어도 하나의 디바이스(200)의 통신을 중계할 수 있는 장치이면 무관하다. 이하에서는 특별한 언급이 없으면 사용자 단말 장치(100) 및 디바이스(200) 간 직접 통신 또는 네트워크 장치(300)를 통한 간접 통신 전부가 가능한 것으로 설명한다.
도 5는 본 발명의 일 실시 예에 따른 디바이스(200)의 기능 제어를 설명하기 위한 도면이다.
도 5에 따르면, 프로세서(140)는 기설정된 서비스 공간 내의 적어도 하나의 디바이스(200) 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스(200)를 식별하고, 식별된 디바이스(200)와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이할 수 있다.
특히, 프로세서(140)는 식별된 디바이스(200)의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 식별된 디바이스(200)의 기능에 대한 정보를 수신하여 촬영 이미지 상에 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 TV의 기능 제어와 관련된 사용자 명령이 입력되면, TV의 on/off 기능, mute 기능, 채널 전환 기능 및 볼륨 조절 기능 등을 수신하여 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니고, 사용자 단말 장치(100)는 디바이스(200)의 기능에 대한 정보를 저장하고 있을 수 있고, 프로세서(140)는 디바이스(200)로부터 기능에 대한 정보를 수신하지 않고 기저장되어 있는 식별된 디바이스(200)의 기능에 대한 정보를 디스플레이할 수도 있다.
한편, 프로세서(140)는 식별된 디바이스(200)의 기능에 대한 정보 중 현재 식별된 디바이스(200)의 상태에 기초하여 제어 가능한 기능에 대한 정보만을 디스플레이할 수도 있다. 예를 들어, 현재 TV가 꺼져있는 상태라면, 프로세서(140)는 이러한 TV의 동작 상태를 감지하고 on 기능을 디스플레이하고, off 기능은 디스플레이하지 않을 수 있다.
한편, 사용자 단말 장치(100)는 기설정된 서비스 공간 내에 설치되어 적어도 하나의 디바이스(200)를 제어하는 네트워크 장치(300)와 통신을 수행하는 통신부(150)를 더 포함할 수 있으며, 프로세서(140)는 식별된 디바이스(200)에서 선택된 기능을 실행하기 위한 제어 명령을 네트워크 장치로 전송할 수 있다.
여기서, 프로세서(140)는 네트워크 장치(300)를 통해 식별된 디바이스(200)로 사용자 명령에 대응되는 신호를 전송할 수 있고, 그에 대한 응답 신호를 수신할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 식별된 디바이스(200)와 직접 통신을 수행할 수도 있다.
도 5는 도 4의 UI에서 제어를 선택한 경우의 도면으로, 프로세서(140)는 TV 및 전등의 기능에 대한 정보(510, 520)를 수신하여 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자가 TV를 직접 터치하고 TV의 기능에 대한 정보를 요청한 경우에, 프로세서(140)는 TV의 기능에 대한 정보(510)만을 디스플레이할 수도 있다.
프로세서(140)는 디스플레이된 기능에 대한 정보 중 선택된 기능이 식별된 디바이스(200)에서 실행되도록 제어할 수 있다. 예를 들어, 사용자가 전등의 on 기능을 선택하면, 프로세서(140)는 전등이 켜지도록 제어할 수 있다. 상술한 바와 같이 네트워크 장치(300) 또는 서버가 프로세서(140)로부터 제어 신호를 수신하여 직접 전등을 제어할 수도 있으나, 프로세서(140)가 전등과 직접 통신을 수행하여 제어할 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 복수의 기능을 이용한 매크로 명령의 생성을 설명하기 위한 도면이다.
도 6a에 따르면, 프로세서(140)는 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI(610)를 디스플레이할 수 있다. 프로세서(140)는 UI(610)에 조건(triggers) 영역과 실행(actions) 영역을 포함하여 디스플레이할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(140)는 별도의 영역 구분 없이 UI(610)를 디스플레이할 수도 있다.
프로세서(140)는 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 UI 상에 입력되면, UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성할 수 있다. 예를 들어, 사용자가 TV의 on 감지를 조건 영역으로 드래그 앤 드랍하고, 전등의 off 기능을 실행 영역으로 드래그 앤 드랍하여 규칙 생성 버튼을 터치하면, 프로세서(140)는 TV의 on을 감지하면 전등을 off 시키는 규칙을 생성할 수 있다. 다만, 이에 한정되는 것은 아니고, 프로세서(140)는 조건 영역 및 실행 영역 중 하나를 포커스하고, 사용자가 터치한 기능이 포커스된 영역으로 추가되도록 제어할 수도 있다.
프로세서(140)는 디바이스(200) 별로 조건 영역 및 실행 영역에 추가될 기능을 구분하여 디스플레이할 수도 있다. 예를 들어, 프로세서(140)는 TV의 on 감지를 조건 영역에 추가될 기능(621)으로, TV on을 실행 영역에 추가될 기능(622)으로 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니고, 프로세서(140)는 도 4와 같이 디바이스(200)의 기능에 대한 정보를 분류하지 않고 디스플레이할 수도 있다.
한편, 별도의 영역 구분 없이 UI(610)가 디스플레이된 경우에, 프로세서(140)는 순차적으로 선택된 기능을 디스플레이하고, 순차적으로 기능이 실행되도록 매크로 명령을 생성할 수 있다.
프로세서(140)는 조건 영역 및 실행 영역 중 적어도 하나에 복수의 기능을 추가하여 매크로 명령을 생성할 수도 있다. 예를 들어, 프로세서(140)는 TV가 켜지고 채널이 변경되면, 전등을 끄도록 매크로 명령을 생성할 수도 있다. 또한, 프로세서(140)는 TV가 켜지면, 전등이 꺼지고 세탁기가 멈추도록 매크로 명령을 생성할 수도 있다.
한편, 프로세서(140)는 복수의 디바이스가 아닌 하나의 디바이스로도 매크로 명령을 생성할 수도 있다. 예를 들어, 프로세서(140)는 TV가 켜지면 TV의 볼륨을 특정 값으로 설정하도록 매크로 명령을 생성할 수도 있다.
프로세서(140)는 생성된 매크로 명령에 포함된 디바이스(200)의 기능 실행이 감지되면, 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어할 수 있다. 예를 들어, 프로세서(140)는 TV가 켜지면 전등이 꺼지도록 제어할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(140)는 생성된 매크로 명령을 대응되는 디바이스(200)로 전송하여 직접 동작하도록 할 수도 있다. 예를 들어, 프로세서(140)는 생성된 매크로 명령을 TV로 전송할 수 있고, TV는 켜질 때마다 전등이 꺼지도록 제어할 수도 있다.
프로세서(140)는 생성된 매크로 명령에 포함된 디바이스(200)의 기능이 실행되면, 디바이스(200)의 기능의 실행 사실을 알리기 위한 신호를 전송하도록 디바이스(200)를 제어하고, 신호가 수신되면 디바이스(200)의 기능이 실행되었음을 감지할 수 있다. 예를 들어, 프로세서(140)는 TV가 켜지면 전등이 꺼지는 매크로 명령이 생성된 경우, 프로세서(140)는 TV가 켜질 때마다 TV가 켜진 사실을 알리기 위한 신호를 전송하도록 제어할 수 있다.
도 6b에 따르면, 프로세서(140)는 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 동시에 실행하는 매크로 명령을 생성하기 위한 UI(640)를 디스플레이할 수 있다. 프로세서(140)는 식별된 디바이스의 기능에 대한 정보(650, 660)을 디스플레이하고, 기능에 대한 정보(650, 660) 중 선택된 기능을 UI(640)에 추가할 수 있다.
프로세서(140)는 사용자의 전체 실행 버튼의 입력이 있으면, UI(640)에 포함된 기능을 동시에 실행하도록 대응되는 디바이스(200)를 제어할 수 있다. 예를 들어, 프로세서(140)는 TV on 기능, TV 볼륨 조절 기능 및 전등 off 기능을 동시에 제어하도록 매크로 명령을 생성할 수 있고, 전체 실행 버튼의 입력에 따라 TV 및 전등을 제어할 수 있다.
도 6c에 따르면, 프로세서(140)는 촬영 이미지의 일 영역에 매크로 명령의 추천 목록에 대한 UI(670)를 디스플레이할 수 있다. 프로세서(140)는 사용자가 일반적으로 이용할 수 있는 매크로 명령을 생성하여 제공할 수 있다. 예를 들어, 프로세서(140)는 TV 시청의 집중도를 높이기 위해 TV가 켜지면 전등을 끄는 매크로 명령, 소음을 최소화하기 위해 휴대폰 통화 중에는 TV를 mute 시키는 매크로 명령 등을 제공할 수 있다.
이러한 추천 매크로 명령은 사용자 단말 장치(100)의 제조 시에 추가될 수도 있으나, 이에 한정되는 것은 아니다. 예를 들어, 복수의 사용자의 사용 패턴에 기초하여 새로운 추천 매크로 명령이 생성될 수도 있다.
프로세서(140)는 추천 목록의 매크로 명령 중 하나에 대한 매크로 명령 생성 버튼이 입력되면, 해당 매크로 명령을 생성하여 적용하게 된다.
이상에서는 매크로 명령의 생성에 대하여만 설명하였으나, 프로세서(140)는 현재 생성되어 있는 매크로 명령의 목록을 디스플레이하고, 이를 삭제하는 UI를 제공할 수도 있다.
도 6d에 따르면, 프로세서(140)는 매크로 명령을 생성하기 위한 UI(680)를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공할 수 있다. 예를 들어, 기설정된 시점에서 TV가 꺼져 있고, 전등이 켜져 있는 이력이 저장되어 있는 상태에서, 프로세서(140)는 사용자 명령에 따라 현재 복수의 디바이스의 동작 상태를 감지할 수 있다. 그리고, 현재 TV가 켜져 있고, 전등이 꺼져 있는 상태라면, 프로세서(140)는 기설정된 시점 이후로 TV on 기능 및 전등 off 기능이 실행되었음을 판단할 수 있고, 이러한 기능들을 추천 리스트로 제공할 수 있다.
프로세서(140)는 기설정된 시점에서 복수의 디바이스의 동작 상태 정보를 요청하고, 수신된 동작 상태 정보를 저장할 수 있다. 예를 들어, 프로세서(140)는 사용자가 사용자 단말 장치(100)를 사용하지 않는 시점의 복수의 디바이스의 동작 상태 정보를 수신하여 저장할 수 있다. 다만, 이에 한정되는 것은 아니고, 프로세서(140)는 한 시간 간격으로 복수의 디바이스의 동작 상태 정보를 수신하여 저장할 수도 있다.
프로세서(140)는 매크로 명령을 생성하기 위한 UI(680)를 디스플레이하기 위한 사용자 명령이 입력되면, 복수의 디바이스의 동작 상태 정보를 요청하고, 수신된 동작 상태 정보를 기설정된 시점의 복수의 디바이스의 동작 상태 정보와 비교할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 사용자가 사용자 단말 장치(100)를 사용하는 시점에 복수의 디바이스의 동작 상태 정보를 요청하고, 수신된 동작 상태 정보를 기설정된 시점의 복수의 디바이스의 동작 상태 정보와 비교할 수도 있다. 또한, 프로세서(140)는 한 시간 간격으로 복수의 디바이스의 동작 상태 정보를 요청하고, 수신된 동작 상태 정보를 한 시간 전의 복수의 디바이스의 동작 상태 정보와 비교할 수도 있다.
프로세서(140)는 시간 차이가 있는 복수의 동작 상태 정보를 비교하여 동작 상태 정보의 변경 이력을 판단하고, 사용자에게 제공할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(140)는 동일한 변경 이력이 수차례 누적된 경우에만 사용자에게 제공할 수도 있다. 또한, 프로세서(140)는 동일한 변경 이력이 수차례 누적된 경우에 사용자에게 제공하지 않고, 바로 매크로 명령을 생성할 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 디바이스(200)의 동작 상태를 모니터링하는 방법을 설명하기 위한 도면이다.
도 7에 따르면, 프로세서(140)는 식별된 디바이스(200)의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 식별된 디바이스(200)의 동작 상태에 대한 정보를 수신하여 촬영 이미지 상에서 식별된 디바이스가 디스플레이된 영역에 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 TV의 동작 상태에 대한 정보(710)를 수신하여 촬영 이미지 상에서 TV가 디스플레이된 영역에 디스플레이할 수 있다.
TV의 동작 상태에 대한 정보는 전원, 채널, 볼륨 등의 현재 상태를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, TV의 동작 상태에 대한 정보는 현재 디스플레이되고 있는 채널의 방송사, TV에 연결된 외부 장치에 대한 정보 등을 포함할 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 스냅샷 이미지를 생성 및 이용하는 방법을 설명하기 위한 도면이다.
도 8a에 따르면, 프로세서(140)는 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 촬영 이미지에 식별된 디바이스에 대응되는 IP 정보 및 맥 어드레스 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성할 수 있다. 예를 들어, 프로세서(140)는 사용자가 스냅샷 버튼(810)을 터치하면 촬영 이미지에 포함된 TV, 전등에 대한 정보를 포함하여 스냅샷 이미지를 생성할 수 있고, TV, 전등에 대한 정보는 스냅샷 이미지의 태그 정보로서 저장될 수 있다. 디바이스 정보를 스냅샷 이미지에 저장하는 방법에 대하여는 후술한다.
프로세서(140)는 사용자가 공유하기 버튼(820)을 터치하여 생성된 스냅샷 이미지를 타 사용자 단말 장치로 전송하거나, 타 사용자 단말 장치에서 생성된 스냅샷 이미지를 수신할 수 있다. 프로세서(140)는 수신된 스냅샷 이미지를 이용하여 스냅샷 이미지에 포함된 디바이스(200)를 제어할 수 있다. 예를 들어, 프로세서(140)는 친구로부터 친구 집에 대한 스냅샷 이미지를 수신하고, 친구 집에 있는 TV를 제어할 수 있다. 이때, 프로세서(140)는 스냅샷 이미지에 포함되어 있는 디바이스 정보 중 IP 정보 및 맥 어드레스 정보 중 적어도 하나를 이용하여 TV를 제어할 수 있다.
프로세서(140)는 사용자 단말 장치(100)가 스냅샷 이미지에 포함된 디바이스(200)와 동일한 네트워크 망에 있지 않은 경우, 서버 등을 통해 디바이스(200)의 동작을 제어할 수 있다. 다만, 프로세서(140)는 사용자 단말 장치(100)가 스냅샷 이미지에 포함된 디바이스(200)와 동일한 네트워크 망에 있는 경우, 직접 제어할 수도 있다. 또는, 프로세서(140)는 스냅샷 이미지에 포함된 디바이스(200)와 블루투스(Bluetooth)로 연결되어 디바이스(200)를 제어할 수도 있다. 프로세서(140)가 디바이스(200)와 블루투스로 연결되는 경우 스냅샷 이미지에 포함되어 있는 디바이스 정보 중 맥 어드레스 정보를 이용할 수 있다.프로세서(140)는 생성되거나 수신된 스냅샷 이미지들을 포함하는 UI를 디스플레이할 수 있다. 그리고, 프로세서(140)는 스냅샷 이미지들을 이용하여 각각 다른 장소에 위치한 디바이스(200)를 제어할 수 있다.
한편, 프로세서(140)는 수신된 스냅샷 이미지를 이용하여 상술한 디바이스(200)의 제어, 모니터링 및 매크로 명령 생성 등의 기능을 수행할 수도 있다. 또한, 프로세서(140)는 복수의 이미지를 이용하여 매크로 명령을 생성할 수도 있다. 예를 들어, 프로세서(140)는 친구 집에 위치한 컴퓨터가 켜지면 사용자 집에 위치한 노트북이 켜지도록 매크로 명령을 생성할 수도 있다.
도 8b에는, JPEG 포맷으로 생성된 스냅샷 이미지의 구조(830) 및 스냅샷 이미지를 실제 편집기로 오픈했을 때의 이진 정보(840)를 도시하고 있다. 프로세서(140)는 메타 데이터에 디바이스 정보를 추가하여 JPEG 포맷의 스냅샷 이미지를 생성할 수 있다. 프로세서(140)는 APPn Section(850)을 이용하여 이미지의 기본 정보에 있어서 필요한 여러 메타 정보 외에 원하는 데이터를 스냅샷 이미지에 포함할 수 있다.
APPn Section(850) 각각은 Marker Number(860), Data Size(870), Data(880)를 포함할 수 있다. Marker Number(860)는 APPn Section(850)의 시작 위치를 나타낸다. 그리고, Marker Number(860) 뒤에 위치하는 Data Size(870)는 데이터의 크기를 나타낸다. Data Size(870)의 뒤에 위치하는 Data(880)는 실제 필요한 데이터를 저장하고 있다.
Data(880)는 최대 524362 byte를 저장할 수 있으며, 촬영 이미지에 식별된 디바이스에 대응되는 IP 정보 및 맥 어드레스 정보 중 적어도 하나를 포함하기에 충분한 크기이다. 프로세서(140)는 Data(880)에 디바이스의 통신 프로토콜, 디바이스 명, 제조사, 디바이스가 제공하는 기능 등을 저장할 수 있다. 또한, 프로세서(140)는 스냅샷 이미지 내에서의 디바이스의 이미지에 대한 위치 정보(x, y, width, height) 등을 포함하여 저장할 수 있다.
이상에서는 JPEG 포맷의 스냅샷 이미지에 대하여만 설명하였으나, 이에 한정되는 것은 아니며, 디바이스 정보를 추가할 수 있는 포맷의 이미지라면 얼마든지 이용 가능하다.
또한, 프로세서(140)는 디바이스 정보와 이미지 정보를 메타 데이터를 이용하여 하나의 파일로 생성할 수도 있으나, 복수의 파일로 구분하여 생성할 수도 있다. 예를 들어, 프로세서(140)는 기존에 이용되는 이미지 정보를 스냅샷 이미지로 생성하고, 디바이스에 대한 정보를 Xml 포맷의 파일로 생성하여 두 개의 파일이 있는 경우에만 디바이스의 제어가 가능하도록 할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 매핑 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 9a에 따르면, 프로세서(140)는 촬영 이미지에 포함된 디바이스 타입을 감지하고, 감지된 디바이스 타입에 대응되는 디바이스(200)에 대한 응답 요청 신호를 기설정된 공간 내에 브로드캐스팅(broadcasting)할 수 있다. 예를 들어, 프로세서(140)는 촬영 이미지에서 TV의 형상이 감지되면, 기설정된 공간 내의 디바이스(200) 중 TV에 해당하는 디바이스(200)의 응답 요청 신호를 브로드캐스팅할 수 있다. 응답 요청 신호를 수신한 디바이스(200)는 자신이 TV인지를 판단하여 TV라고 판단하면 응답 신호를 전송하고, TV가 아니라고 판단하면 아무런 동작을 수행하지 않을 수 있다. 상술한 바와 같이, 디바이스(200)는 네트워크 장치(300)에 응답 신호를 전송할 수도 있으나, 사용자 단말 장치(100)로 직접 응답 신호를 전송할 수도 있다.
프로세서(140)는 적어도 하나의 디바이스(200)로부터 응답 신호가 수신되면 응답 신호를 전송한 디바이스 목록(910)을 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 거실 TV, 안방 TV 및 작은 방 TV로부터 응답 신호를 수신하여 대응되는 디바이스 목록(910)을 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 응답 신호를 전송한 디바이스의 모델명을 디스플레이할 수도 있다. 거실 TV, 안방 TV 및 작은 방 TV는 각각의 TV가 네트워크 장치(300)에 연결될 때, 사용자가 설정한 명칭일 수 있다.
프로세서(130)는 사용자 명령에 따라 촬영 이미지에 포함된 디바이스(200)의 이미지와 디스플레이된 목록 중 선택된 디바이스(200)를 매핑시킨 매핑 정보를 스토리지(110)에 저장할 수 있다. 예를 들어, 프로세서(140)는 촬영 이미지 상의 TV 이미지와 거실 TV를 매핑시키는 사용자 명령에 따라 매핑 정보를 생성할 수 있다.
또한, 프로세서(140)는 촬영 이미지 상의 TV 이미지 외에 TV의 주변 이미지도 매핑시킬 수 있다. 이후, 프로세서(140)는 다른 시점에서 촬영된 이미지라도 TV 이미지 및 TV 주변의 이미지를 이용하여 매핑 정보로부터 거실 TV 임을 식별할 수 있다.
도 9b에 따르면, 프로세서(140)는 응답 신호가 수신되면 수신된 신호의 세기 및 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 적어도 하나의 디바이스(200)의 식별 정보를 순차적으로 나열한 디바이스 목록(920, 930)을 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 수신된 신호의 세기가 강하거나 응답 신호가 수신된 시간이 짧은 경우 사용자 단말 장치(100)와 대응되는 디바이스(200)가 가깝게 위치한 것으로 판단할 수 있고, 촬영 이미지에 포함된 디바이스(200)일 확률이 높다고 판단할 수 있다. 그에 따라, 프로세서(140)는 해당 디바이스(200)의 모델명 등을 상부에 배치하여 사용자의 선택이 용이하도록 디바이스 목록을 디스플레이할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 기설정된 서비스 공간 내의 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이한다(S1010). 그리고, 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별한다(S1020). 그리고, 식별된 디바이스와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이한다(S1030).
또한, 촬영 이미지 상에 디스플레이하는 단계(S1030)는 식별된 디바이스의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 식별된 디바이스의 기능에 대한 정보를 수신하여 촬영 이미지 상에 디스플레이하고, 디스플레이된 기능에 대한 정보 중 선택된 기능이 식별된 디바이스에서 실행되도록 제어하는 단계를 더 포함할 수 있다.
그리고, 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하는 단계 및 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 UI 상에 입력되면, UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성하는 단계를 더 포함할 수 있다.
또한, 생성된 매크로 명령에 포함된 디바이스의 기능 실행이 감지되면, 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어하는 단계를 더 포함할 수 있다.
그리고, 매크로 명령을 생성하기 위한 UI를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공하는 단계를 더 포함할 수 있다.
또한, 제어하는 단계는, 식별된 디바이스에서 선택된 기능을 실행하기 위한 제어 명령을, 기설정된 서비스 공간 내에 설치되어 적어도 하나의 디바이스를 제어하는 네트워크 장치로 전송할 수 있다.
그리고, 촬영 이미지 상에 디스플레이하는 단계(S1030)는, 식별된 디바이스의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 식별된 디바이스의 동작 상태에 대한 정보를 수신하여 촬영 이미지 상에서 식별된 디바이스가 디스플레이된 영역에 디스플레이할 수 있다.
또한, 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 촬영 이미지에 식별된 디바이스에 대응되는 IP 정보 및 맥 어드레스 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성할 수 있다.
그리고, 촬영 이미지에 포함된 디바이스 타입을 감지하는 단계, 감지된 디바이스 타입에 대응되는 디바이스에 대한 응답 요청 신호를 기설정된 공간 내에 브로드캐스팅(broadcasting)하는 단계, 적어도 하나의 디바이스로부터 응답 신호가 수신되면 응답 신호를 전송한 디바이스 목록을 디스플레이하는 단계 및 사용자 명령에 따라 촬영 이미지에 포함된 디바이스의 이미지와 디스플레이된 목록 중 선택된 디바이스를 매핑시킨 매핑 정보로 저장하는 단계를 더 포함할 수 있다.
또한, 디바이스 목록을 디스플레이하는 단계는, 응답 신호가 수신되면 수신된 신호의 세기 및 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 적어도 하나의 디바이스의 식별 정보를 순차적으로 나열한 디바이스 목록을 디스플레이할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치는 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별하고, 식별된 디바이스를 관리하게 됨에 따라 사용자가 좀더 편리하게 다양한 디바이스를 관리할 수 있게 된다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치는 사용자 인터랙션과 관련된 사용 이력 데이터에 기초하여 애플리케이션의 비활성화 여부를 결정하고, 불필요한 애플리케이션을 비활성화시킴에 따라 리소스 및 배터리 효율을 개선시켜 사용자 편의성을 향상시킬 수 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 기설정된 서비스 공간 내의 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 단계, 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 촬영 이미지에 포함된 디바이스를 식별하는 단계 및 식별된 디바이스와 관련된 사용자 명령이 입력되면, 사용자 명령에 따른 정보를 촬영 이미지 상에 디스플레이하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 디바이스 관리 시스템 100 : 사용자 단말 장치
200 : 디바이스 300 : 네트워크 장치
110 : 스토리지 120 : 카메라
130 : 디스플레이 140 : 프로세서
150 : 통신부 140 : 사용자 인터페이스부
160 : 오디오 처리부 170 : 비디오 처리부
180 : 스피커 181 : 버튼
182 : 마이크

Claims (20)

  1. 기설정된 서비스 공간 내의 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보를 저장하는 스토리지;
    카메라;
    상기 카메라에 의해 상기 기설정된 서비스 공간 내의 상기 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 디스플레이; 및
    상기 매핑 정보에 기초하여 상기 촬영 이미지에 포함된 디바이스를 식별하고, 상기 식별된 디바이스와 관련된 사용자 명령이 입력되면, 상기 사용자 명령에 따른 정보를 상기 촬영 이미지 상에 디스플레이하도록 제어하는 프로세서;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 디바이스의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 상기 식별된 디바이스의 기능에 대한 정보를 수신하여 상기 촬영 이미지 상에 디스플레이하고,
    상기 디스플레이된 기능에 대한 정보 중 선택된 기능이 상기 식별된 디바이스에서 실행되도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하고,
    상기 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 상기 UI 상에 입력되면, 상기 UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 생성된 매크로 명령에 포함된 디바이스의 기능 실행이 감지되면, 상기 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 매크로 명령을 생성하기 위한 UI를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 상기 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 상기 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제2항에 있어서,
    상기 기설정된 서비스 공간 내에 설치되어 상기 적어도 하나의 디바이스를 제어하는 네트워크 장치와 통신을 수행하는 통신부;를 더 포함하며,
    상기 프로세서는,
    상기 식별된 디바이스에서 상기 선택된 기능을 실행하기 위한 제어 명령을 상기 네트워크 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 디바이스의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 상기 식별된 디바이스의 동작 상태에 대한 정보를 수신하여 상기 촬영 이미지 상에서 상기 식별된 디바이스가 디스플레이된 영역에 디스플레이하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 상기 촬영 이미지에 상기 식별된 디바이스에 대응되는 IP(Internet Protocol) 정보 및 맥 어드레스(Mac Address) 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성하는 것을 특징으로 하는 사용자 단말 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지에 포함된 디바이스 타입을 감지하고, 상기 감지된 디바이스 타입에 대응되는 디바이스에 대한 응답 요청 신호를 상기 기설정된 공간 내에 브로드캐스팅(broadcasting)하고,
    상기 적어도 하나의 디바이스로부터 응답 신호가 수신되면 상기 응답 신호를 전송한 디바이스 목록을 디스플레이하고, 사용자 명령에 따라 상기 촬영 이미지에 포함된 디바이스의 이미지와 상기 디스플레이된 목록 중 선택된 디바이스를 매핑시킨 매핑 정보를 상기 스토리지에 저장하는 것을 특징으로 하는 사용자 단말 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 응답 신호가 수신되면 수신된 신호의 세기 및 상기 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 상기 적어도 하나의 디바이스의 식별 정보를 순차적으로 나열한 상기 디바이스 목록을 디스플레이하는 것을 특징으로 하는 것을 특징으로 하는 사용자 단말 장치.
  11. 기설정된 서비스 공간 내의 적어도 하나의 디바이스가 촬영된 이미지를 디스플레이하는 단계;
    상기 기설정된 서비스 공간 내의 상기 적어도 하나의 디바이스 및 대응되는 이미지가 매핑된 매핑 정보에 기초하여 상기 촬영 이미지에 포함된 디바이스를 식별하는 단계; 및
    상기 식별된 디바이스와 관련된 사용자 명령이 입력되면, 상기 사용자 명령에 따른 정보를 상기 촬영 이미지 상에 디스플레이하는 단계;를 포함하는 사용자 단말 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 촬영 이미지 상에 디스플레이하는 단계는,
    상기 식별된 디바이스의 기능 제어와 관련된 사용자 명령이 입력되면, 외부로부터 상기 식별된 디바이스의 기능에 대한 정보를 수신하여 상기 촬영 이미지 상에 디스플레이하고,
    상기 디스플레이된 기능에 대한 정보 중 선택된 기능이 상기 식별된 디바이스에서 실행되도록 제어하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 촬영 이미지의 일 영역에 복수의 디바이스의 적어도 하나의 기능을 순차적으로 실행하는 매크로 명령을 생성하기 위한 UI를 디스플레이하는 단계; 및
    상기 각 디바이스에 대응되는 기능에 대한 정보 중 선택된 적어도 하나의 기능이 상기 UI 상에 입력되면, 상기 UI 상에 입력된 복수의 디바이스의 기능을 순차적으로 실행하는 매크로 명령을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  14. 제13항에 있어서,
    상기 생성된 매크로 명령에 포함된 디바이스의 기능 실행이 감지되면, 상기 매크로 명령에 포함된 타 디바이스의 기능이 실행되도록 제어하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  15. 제13항에 있어서,
    상기 매크로 명령을 생성하기 위한 UI를 디스플레이하기 위한 사용자 명령이 입력되면, 기설정된 시점에서 상기 복수의 디바이스의 동작 상태에 대한 이력에 기초하여 상기 매크로 명령에 포함될 복수의 디바이스의 기능에 대한 추천 리스트를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  16. 제12항에 있어서,
    상기 제어하는 단계는,
    상기 식별된 디바이스에서 상기 선택된 기능을 실행하기 위한 제어 명령을, 상기 기설정된 서비스 공간 내에 설치되어 상기 적어도 하나의 디바이스를 제어하는 네트워크 장치로 전송하는 것을 특징으로 하는 제어 방법.
  17. 제11항에 있어서,
    상기 촬영 이미지 상에 디스플레이하는 단계는,
    상기 식별된 디바이스의 동작 상태를 모니터링하기 위한 사용자 명령이 입력되면 상기 식별된 디바이스의 동작 상태에 대한 정보를 수신하여 상기 촬영 이미지 상에서 상기 식별된 디바이스가 디스플레이된 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  18. 제11항에 있어서,
    상기 촬영 이미지에 대한 스냅샷 이미지 생성을 위한 사용자 명령이 입력되면 상기 촬영 이미지에 상기 식별된 디바이스에 대응되는 IP(Internet Protocol) 정보 및 맥 어드레스(Mac Address) 정보 중 적어도 하나를 포함하는 스냅샷 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제11항에 있어서,
    상기 촬영 이미지에 포함된 디바이스 타입을 감지하는 단계;
    상기 감지된 디바이스 타입에 대응되는 디바이스에 대한 응답 요청 신호를 상기 기설정된 공간 내에 브로드캐스팅(broadcasting)하는 단계;
    상기 적어도 하나의 디바이스로부터 응답 신호가 수신되면 상기 응답 신호를 전송한 디바이스 목록을 디스플레이하는 단계; 및
    사용자 명령에 따라 상기 촬영 이미지에 포함된 디바이스의 이미지와 상기 디스플레이된 목록 중 선택된 디바이스를 매핑시켜 상기 매핑 정보로 저장하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  20. 제19항에 있어서,
    상기 디바이스 목록을 디스플레이하는 단계는,
    상기 응답 신호가 수신되면 수신된 신호의 세기 및 상기 응답 신호가 수신된 시간 중 적어도 하나에 기초하여 상기 적어도 하나의 디바이스의 식별 정보를 순차적으로 나열한 상기 디바이스 목록을 디스플레이하는 것을 특징으로 하는 것을 특징으로 하는 제어 방법.
KR1020150107371A 2015-07-29 2015-07-29 사용자 단말 장치 및 그 제어 방법 KR20170015622A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150107371A KR20170015622A (ko) 2015-07-29 2015-07-29 사용자 단말 장치 및 그 제어 방법
EP16830716.3A EP3329352B1 (en) 2015-07-29 2016-07-06 User terminal apparatus and controlling method thereof
PCT/KR2016/007298 WO2017018683A1 (en) 2015-07-29 2016-07-06 User terminal apparatus and controlling method thereof
CN201680040967.XA CN107835978A (zh) 2015-07-29 2016-07-06 用户终端装置及其控制方法
US15/221,890 US20170034468A1 (en) 2015-07-29 2016-07-28 User terminal apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150107371A KR20170015622A (ko) 2015-07-29 2015-07-29 사용자 단말 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170015622A true KR20170015622A (ko) 2017-02-09

Family

ID=57884685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150107371A KR20170015622A (ko) 2015-07-29 2015-07-29 사용자 단말 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20170034468A1 (ko)
EP (1) EP3329352B1 (ko)
KR (1) KR20170015622A (ko)
CN (1) CN107835978A (ko)
WO (1) WO2017018683A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024228A (ko) * 2017-08-31 2019-03-08 한화테크윈 주식회사 실시간 실내 영상을 이용한 홈 오토메이션 시스템
WO2021060806A1 (ko) * 2019-09-25 2021-04-01 삼성전자 주식회사 끊김 없이 이미지를 표시하는 전자 장치 및 그의 동작 방법
US11243740B2 (en) 2017-10-31 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20159817A1 (it) * 2015-12-31 2017-07-01 Marco Franciosa Metodo e sistema per controllare l?accensione di luci
US10511456B2 (en) 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US11003147B2 (en) 2016-06-12 2021-05-11 Apple Inc. Automatically grouping accessories
US10498552B2 (en) 2016-06-12 2019-12-03 Apple Inc. Presenting accessory state
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US10572530B2 (en) 2016-07-03 2020-02-25 Apple Inc. Prefetching accessory data
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US10764153B2 (en) 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US10469281B2 (en) 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
DE102016118888A1 (de) * 2016-10-05 2018-04-05 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung eines Fahrzeugs
KR102397886B1 (ko) 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
KR20200061279A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102629330B1 (ko) * 2018-11-28 2024-01-26 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
KR20190094128A (ko) * 2019-07-23 2019-08-12 엘지전자 주식회사 IoT 기기 정보 제공 방법, IoT 기기 정보 제공 장치 및 지능형 컴퓨팅 디바이스
WO2021179148A1 (zh) * 2020-03-09 2021-09-16 Oppo广东移动通信有限公司 一种设置方法和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800625B2 (ja) * 2003-01-30 2006-07-26 ソニー株式会社 制御装置および方法、記録媒体、並びにプログラム
US9632665B2 (en) * 2004-09-08 2017-04-25 Universal Electronics Inc. System and method for flexible configuration of a controlling device
FR2927792A1 (fr) * 2008-02-25 2009-08-28 Dominique Persoons Clou radial percutane.
US8350697B2 (en) * 2009-05-18 2013-01-08 Alarm.Com Incorporated Remote device control and energy monitoring by analyzing data and applying rules
TWI458291B (zh) * 2009-06-22 2014-10-21 Wistron Corp 實像網控裝置及其相關方法
US20130052946A1 (en) * 2011-08-23 2013-02-28 Manjirnath Chatterjee Home automation using a mobile device
CN102749893A (zh) * 2012-05-20 2012-10-24 上海极赛维思信息技术有限公司 移动物联网动态绑定控制***及方法
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US9628691B2 (en) * 2013-11-14 2017-04-18 Qualcomm Incorporated Method and apparatus for identifying a physical IoT device
US9824578B2 (en) * 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US9821470B2 (en) * 2014-09-17 2017-11-21 Brain Corporation Apparatus and methods for context determination using real time sensor data
CN104460328B (zh) * 2014-10-29 2019-05-10 小米科技有限责任公司 基于设定场景模式的智能设备控制方法和装置
US10009117B2 (en) * 2014-12-26 2018-06-26 Intel Corporation Data storage, input, and output for human body communication

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024228A (ko) * 2017-08-31 2019-03-08 한화테크윈 주식회사 실시간 실내 영상을 이용한 홈 오토메이션 시스템
US11444799B2 (en) 2017-08-31 2022-09-13 Hanwha Techwin Co., Ltd. Method and system of controlling device using real-time indoor image
US11671275B2 (en) 2017-08-31 2023-06-06 Hanwha Techwin Co., Ltd. Method and system of controlling device using real-time indoor image
US11243740B2 (en) 2017-10-31 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
WO2021060806A1 (ko) * 2019-09-25 2021-04-01 삼성전자 주식회사 끊김 없이 이미지를 표시하는 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
EP3329352A1 (en) 2018-06-06
EP3329352A4 (en) 2018-07-25
CN107835978A (zh) 2018-03-23
US20170034468A1 (en) 2017-02-02
EP3329352B1 (en) 2020-03-11
WO2017018683A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
EP3329352B1 (en) User terminal apparatus and controlling method thereof
US10242168B2 (en) Methods and apparatuses for controlling smart device
US10564833B2 (en) Method and apparatus for controlling devices
US10055094B2 (en) Method and apparatus for dynamically displaying device list
JP6399748B2 (ja) コンテンツ再生装置、そのｕｉ提供方法、ネットワークサーバ及びその制御方法
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
KR20140077489A (ko) 사용자 단말 장치, 네트워크 장치 및 그 제어 방법
EP3023928A1 (en) Method and device for setting task
KR20160077011A (ko) 스마트 홈 디바이스의 운전상태 조절 방법, 장치, 프로그램 및 기록매체
CN114286165B (zh) 一种显示设备、移动终端、投屏数据传输方法及***
RU2633174C2 (ru) Способ и устройство для динамического отображения списка устройств
KR20140133363A (ko) 디스플레이 장치 및 이의 제어 방법
JP6283749B2 (ja) 機器接続を促す方法および装置
CN113272745A (zh) 智能家居设备分享***、方法及电子设备
JPWO2013014874A1 (ja) Ｇｕｉ生成装置、集積回路、ｇｕｉ生成方法、ｇｕｉ生成プログラム
RU2636678C2 (ru) Способ и устройство для трансляции потоковых мультимедийных данных
RU2663709C2 (ru) Способ и устройство для обработки информации
EP3033868B1 (en) Preventing an operation when a processing device communicates with an acquisition device
TWI491232B (zh) 管理用戶選擇型設備的方法和系統
EP3826228A1 (en) Broadcasting and discovering methods, broadcasting and discovering devices and storage medium
KR20160003400A (ko) 디스플레이 장치 및 그 제어 방법
CN105335061A (zh) 信息的显示方法、装置及终端
CN113542488B (zh) 采用终端设备控制受控终端的方法、设备和存储介质
CN114780001B (zh) 一种多路开关设备的控制方法、终端设备及服务器
US11842518B2 (en) Camera apparatus, control method for camera apparatus, and storage medium