KR102342117B1 - 단말기, 및 이를 구비하는 홈 어플라이언스 시스템 - Google Patents

단말기, 및 이를 구비하는 홈 어플라이언스 시스템 Download PDF

Info

Publication number
KR102342117B1
KR102342117B1 KR1020150035007A KR20150035007A KR102342117B1 KR 102342117 B1 KR102342117 B1 KR 102342117B1 KR 1020150035007 A KR1020150035007 A KR 1020150035007A KR 20150035007 A KR20150035007 A KR 20150035007A KR 102342117 B1 KR102342117 B1 KR 102342117B1
Authority
KR
South Korea
Prior art keywords
web page
home appliance
application screen
information
text
Prior art date
Application number
KR1020150035007A
Other languages
English (en)
Other versions
KR20160109847A (ko
Inventor
이주완
서대근
송지현
김락용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150035007A priority Critical patent/KR102342117B1/ko
Priority to US15/065,463 priority patent/US10573302B2/en
Priority to EP16159617.6A priority patent/EP3068078B1/en
Publication of KR20160109847A publication Critical patent/KR20160109847A/ko
Application granted granted Critical
Publication of KR102342117B1 publication Critical patent/KR102342117B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/08—Upper layer protocols
    • H04W80/12—Application layer protocols, e.g. WAP [Wireless Application Protocol]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 통신 장치에 관한 것이다. 본 발명의 실시예에 따른 단말기는, 디스플레이부와, 서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부와, 사운드를 수집하는 마이크와, 서버로부터 수신되는, 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 마이크를 통해 사용자의 음성이 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출하며, 추출된 정보를 출력하도록 제어하는 제어부를 포함한다. 이에 따라, 홈 어플라이언스 이용시의 사용자의 이용 편의성을 향상시킬 수 있게 된다.

Description

단말기, 및 이를 구비하는 홈 어플라이언스 시스템{Terminal, and home appliance system including the same}
본 발명은 단말기, 및 이를 구비하는 홈 어플라이언스 시스템에 관한 것으로, 더욱 상세하게는, 홈 어플라이언스 이용시의 사용자의 이용 편의성을 향상시킬 수 있는 단말기, 및 이를 구비하는 홈 어플라이언스 시스템에 관한 것이다.
건물 내에 배치되는 홈 어플라이언스 중 냉장고는, 사용자를 위해, 음식을 저장하고, 세탁물 처리기기는 세탁물을 처리하며, 에어컨은 실내 온도를 조정하거고, 조리기기는, 음식물을 조리하는 기능 등을 수행한다.
한편, 다양한 통신 방식이 발달함에 따라, 홈 어플라이언스에 대한, 통신을 통해, 사용자의 이용 편의성을 증대하려는 다양한 방안이 연구되고 있다.
본 발명의 목적은, 홈 어플라이언스 이용시의 사용자의 이용 편의성을 향상시킬 수 있는 단말기, 및 이를 구비하는 홈 어플라이언스 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 단말기는, 디스플레이부와, 서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부와, 사운드를 수집하는 마이크와, 서버로부터 수신되는, 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 마이크를 통해 사용자의 음성이 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출하며, 추출된 정보를 출력하도록 제어하는 제어부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 홈 어플라이언스 시스템은, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출하며, 추출된 정보를 출력하거나, 홈 어플라이언스로 전송하는 단말기와, 단말기로부터 수신된 정보에 기초하여 운전을 수행하는 홈 어플라이언스를 포함한다.
본 발명의 실시예에 따르면, 단말기는, 디스플레이부와, 서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부와, 사운드를 수집하는 마이크와, 서버로부터 수신되는, 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 마이크를 통해 사용자의 음성이 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출하며, 추출된 정보를 출력하도록 제어하는 제어부를 포함함으로써, 홈 어플라이언스 이용시의 사용자의 이용 편의성을 향상시킬 수 있게 된다.
한편, 대화형 자연어와 관련된 음성 명령에 따라, 대응하는 정보를 추출하여 출력함으로써, 사용자가 단말기에 대한 터치 동작 없이도 간편하게, 관련 정보를 획득할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.
특히, 조리 중, 음성을 통해 명령하고, 대응하는 정보를 음향 출력 모듈을 통해 청취할 수 있게 되어, 사용자의 이용 편의성을 향상시킬 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 홈 어플라이언스 시스템 구성도의 일예이다.
도 2a 내지 도 2e는 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 3은 도 1의 홈 어플라이언스의 간략한 내부 블록도이다.
도 4는 도 1의 서버의 내부 블록도이다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 6은 도 1의 이동 단말기의 동작방법의 일예를 도시한 순서도이다.
도 7a 내지 도 12f는 도 6의 동작방법의 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일실시예에 따른 홈 어플라이언스 시스템 구성도의 일예이다.
도면을 참조하면, 본 발명의 일실시예에 따른 통신 시스템(50)은, 홈 어플라이언스(200), AP 장치(400), 서버(500), 네트워크(550), 단말기(600)를 포함할 수 있다.
한편, 단말기(600)는, 휴대폰, 스마트 폰, 태블릿 PC, 웨어러블 기기 등과 같은 이동 단말기이거나, 모니터, TV와 같은 고정 단말기일 수 있다. 이하에서는, 스마트폰과 같은 이동 단말기를 중심으로 기술한다.
홈 어플라이언스(200)는, 사용자를 위한 전자 기기(electric device)로서, 예를 들어, 냉장고(도 2의 200a), 세탁기(도 2의 200b), 에어컨(도 2의 200c), 조리기기(도 2의 200d), 청소기(도 2의 200e) 등이 예시될 수 있다.
홈 어플라이언스(200)는, 내부에 통신부(미도시)를 구비하고, 내부 네트워크(10) 내의 전자기기들 또는 외부 네트워크(550)를 통해 접속 가능한 전자기기들과 데이터를 교환할 수 있다. 이를 위해, 통신부(미도시)는, AP 장치(400)와 유, 무선으로 데이터 교환을 수행할 수 있다.
억세스 포인트(access point;AP) 장치(400)는, 인접 전자 기기(electric device)에 내부 네트워크(10)를 제공할 수 있다. 특히, 무선 네트워크를 제공할 수 있다.
한편, AP 장치(400)는, 내부 네트워크(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다. 여기서, 소정 통신 방식은, WiFi 통신 방식일 수 있다.
이때, 내부 네트워크(10) 내에 위치하는 이동 단말기(600)는, AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속함으로써, 홈 어플라이언스(200)에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.
한편, AP 장치(400)는, 내부 네트워크(10) 외에, 외부 네트워크(550)를 통해, 외부 전자기기와 데이터 통신을 수행할 수 있다.
예를 들어, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 이동 단말기(600)와 무선 데이터 통신을 수행할 수 있다.
이때, 외부 네트워크(550)에 위치하는 이동 단말기(600)는, 외부 네트워크(550), 및 AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속함으로써, 홈 어플라이언스에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.
다른 예로, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 서버(500)와 무선 데이터 통신을 수행할 수 있다.
서버(500)는, 웹 서버일 수 있다. 이에 따라, 홈 어플라이언스와 관련된 웹 페이지 화면과 관련된 데이터를 이동 단말기(600)에 제공할 수 있다.
한편, 서버(500)는, 음성 인식 알고리즘을 구비할 수도 있다. 그리고, 음성 데이터 수신시, 수신되는 음성 데이터를, 텍스트 형식의 데이터로 변환하여, 출력할 수 있다.
한편, 서버(500)는, 홈 어플라이언스(200)에 대한 펌웨어 정보, 운전 정보(코스 정보 등)를 저장하고, 홈 어플라이언스(200)에 대한 제품 정보를 등록할 수 있다. 예를 들어, 서버(500)는, 홈 어플라이언스(200) 제조자가 운영하는 서버일 수 있다. 다른 예로, 서버(500)는, 공개된 애플리케이션 스토어 운영자가 운영하는 서버일 수도 있다.
한편, 본 발명의 실시예에 따른, 이동 단말기(600)는, 서버(500)로부터 수신되는, 홈 어플라이언스(200)와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크(623)를 통해 사용자의 음성이 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출하며, 추출된 정보를 출력할 수 있다. 이에 따라, 사용자는 간편하게, 원하는 정보를 바로 획득할 수 있게 되며, 따라서, 사용자의 이용 편의성을 향상시킬 수 있게 된다.
한편, 대화형 자연어와 관련된 음성 명령에 따라, 대응하는 정보를 추출하여 출력함으로써, 사용자가 단말기에 대한 터치 동작 없이도 간편하게, 관련 정보를 획득할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.
특히, 조리 중, 음성을 통해 명령하고, 대응하는 정보를 음향 출력 모듈을 통해 청취할 수 있게 되어, 사용자의 이용 편의성을 향상시킬 수 있게 된다.
한편, 이동 단말기(600)는, 추출된 정보를 통신부(610)를 통해 홈 어플라이언스(200)로 전송할 수 있다.
한편, 이동 단말기(600)는, 이미지와 텍스트를 포함하는 웹 페이지 또는 애플리케이션 화면 내에서, 텍스트를 분석하고, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출할 수 있다.
예를 들어, 이동 단말기(600)는, 홈 어플라이언스(200) 중 조리기기를 이용한 조리 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크(623)를 통해, 조리 방법 중 소정 재료와 관련된 사운드가 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 소정 재료와 관련된 정보를 추출하며, 추출된 소정 재료와 관련된 정보를 출력할 수 있다.
다른 예로, 이동 단말기(600)는, 홈 어플라이언스(200) 중 조리기기를 이용한 조리 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크(623)를 통해, 조리 방법 중 조리기기의 운전 시간 또는 운전 패턴과 관련된 사운드가 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 운전 시간 또는 운전 패턴와 관련된 정보를 추출하며, 추출된 운전 시간 또는 운전 패턴과 관련된 정보를 출력할 수 있다.
또 다른 예로, 이동 단말기(600)는, 홈 어플라이언스(200)의 구매와 관련된 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크(623)를 통해, 홈 어플라이언스(200)의 가격과 관련된 사운드가 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 가격과 관련된 정보를 추출하며, 추출된 가격과 관련된 정보를 출력할 수 있다.
또 다른 예로, 이동 단말기(600)는, 홈 어플라이언스(200)의 운전 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크(623)를 통해, 홈 어플라이언스(200)의 운전 패턴 또는 운전 시간과 관련된 사운드가 입력되는 경우, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 운전 패턴 또는 운전 시간과 관련된 정보를 추출하며, 추출된 운전 패턴 또는 운전 시간과 관련된 정보를 출력할 수 있다.
한편, 홈 어플라이언스(200)는, 이동 단말기(600)로부터의 정보를 무선으로 수신하고, 이동 단말기(600)로부터 수신된 정보에 대응하여 운전 모드를 설정하고, 설정된 운전 모드에 따라 운전을 수행할 수 있다.
상술한 내용에 대해서는, 도 6 이하를 참조하여 보다 상세히 기술한다.
도 2a는, 냉장고(200a)를 예시하며, 도 2b는, 세탁기(200b)를 예시하며, 도 2c는, 에어컨(200c)을 예시하며, 도 2d는, 조리기기(200d)를 예시하며, 도 2e는 로봇 청소기(200e)를 예시한다.
도 3은 도 1의 홈 어플라이언스의 간략한 내부 블록도이다.
도면을 참조하면, 홈 어플라이언스(200)는, 사용자 입력을 위한 입력부(220), 홈 어플라이언스의 동작 상태 등을 표시하는 표시부(230), 다른 외부 장치와의 통신을 위한 통신부(222), 홈 어플라이언스를 구동하는 구동부(245), 및 내부 제어를 위한 제어부(270)를 포함할 수 있다.
예를 들어, 홈 어플라이언스가 냉장고인 경우, 구동부(245)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부를 포함할 수 있다.
다른 예로, 홈 어플라이언스가 세탁기인 경우, 구동부(245)는, 드럼 또는 터브를 구동하는 구동부를 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스가 에어컨인 경우, 구동부(245)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기팬을 동작시키는 실내기 팬 구동부를 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스가 조리기기인 경우, 구동부(245)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부를 포함할 일 수 있다.
또, 다른 예로, 홈 어플라이언스가 청소기인 경우, 구동부(245)는, 공기 흡입을 위한 팬 모터 구동부를 포함할 수 있다.
한편, 통신부(222)는, 적어도, 근거리 자기장 통신이 가능한, 근거리 자기장 통신 모듈(217)을 포함할 수 있다.
그 외, 홈 어플라이언스 내의 데이터를 저장하기 위한 메모리(240)를 더 포함할 수 있다.
도 4는 도 1의 서버의 내부 블록도이다.
도면을 참조하면, 서버(500)는, 통신 모듈(530), 저장부(540), 및 프로세서(520)를 구비할 수 있다.
통신 모듈(530)은, 이동 단말기(600)로부터 홈 어플라이언스 관련 정보를 수신할 수 있다. 특히, 홈 어플라이언스 제품 정보를 수신할 수 있다. 그리고, 통신 모듈(530)은, 수신되는 홈 어플라이언스 제품 정보에 대한 제품 정보 등록 결과 정보를 이동 단말기(600)로 송신할 수 있다.
이를 위해, 통신 모듈(530)은, 인터넷 모듈 또는 이동 통신 모듈을 구비할 수 있다.
저장부(540)는, 수신되는 홈 어플라이언스의 제품 정보를 저장하고, 홈 어플라이언스의 제품 등록을 위해, 수신되는 제품 정보를 저장할 수 있다.
프로세서(520)는, 서버(500)의 전반적인 동작을 제어할 수 있다.
한편, 프로세서(520)는, 이동 단말기(600)로부터 홈 어플라이언스의 제품 정보를 수신하는 경우, 홈홈 어플라이언스의 제품 등록 결과 정보를 생성하도록 제어할 수 있다. 그리고, 생성된 제품 등록 결과 정보를 이동 단말기(600)로 전송하도록 제어할 수 있다.
한편, 다른 예로, 홈 어플라이언스 관련 정보가, 홈 어플라이언스의 전력 소비 정보인 경우, 프로세서(520)는, 저장부(540)에 저장된, 전력 가격 정보, 온 피크 타임 전력 정보, 오프 피크 타임 전력 정보, 실시간 전력 정보 등을 전력 정보를, 이동 단말기(600)로 전송하도록 제어할 수 있다.
한편, 서버(500)는, 홈 어플라이언스(200) 제조자가 운영하는 서버 또는 홈 어플라이언스(200) 관련 애플리케이션 스토어 운영자가 운영하는 서버일 수 있다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 5를 참조하면, 이동 단말기(600)는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터페이스부(670), 제어부(680), 및 전원 공급부(690)를 포함할 수 있다.
본 발명의 실시예에 따른 무선 통신부(610)는, 네트워크 공유기(550)를 통해, 전력 관리부(500)와 무선으로 데이터를 교환할 수 있다. 예를 들어, 이동 단말기(100)가 내부 전력망에 대한 전력 모니터링 모드인 경우, 무선 통신부(610)는, 전력 모니터링 요청을 송신할 수 있으며, 그에 따라, 모니터링 정보를 수신할 수 있다. 다른 예로, 이동 단말기(100)가 내부 전력망에 대한 원격 제어 모드인 경우, 무선 통신부(610)는, 원격제어신호를 송신할 수 있다. 그리고, 원격제어에 대한 결과 정보를 수신할 수 있다.
한편, 무선 통신부(610)는, 방송수신 모듈(611), 이동통신 모듈(613), 무선 인터넷 모듈(615), NFC 모듈(617), 및 GPS 모듈(619) 등을 포함할 수 있다.
방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다.
방송수신 모듈(611)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(660)에 저장될 수 있다.
이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(615)은 이동 단말기(600)에 내장되거나 외장될 수 있다. 예를 들어, 무선 인터넷 모듈(615)은, WiFi 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.
NFC 모듈(617)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(617)은, NFC 태그 또는 NFC 모듈이 탑재된 전자장치와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, 해당 전자장치로부터 데이터를 수신하거나, 해당 전자장치로 데이터를 전송할 수 있다.
그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(619)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.
A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다.
사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(630)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(651)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(640)는 이동 단말기(600)의 개폐 상태, 이동 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(600)의 현 상태를 감지하여 이동 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(640)는, 감지센서(641), 압력센서(643), 및 모션 센서(645) 등을 포함할 수 있다. 모션 센서(645)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(600)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.
출력부(650)는 디스플레이(651), 음향출력 모듈(653), 알람부(655), 및 햅틱 모듈(657) 등을 포함할 수 있다.
디스플레이(651)는 이동 단말기(600)에서 처리되는 정보를 표시 출력한다.
한편, 전술한 바와 같이, 디스플레이(651)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(651)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
음향출력 모듈(653)은 무선 통신부(610)로부터 수신되거나 메모리(660)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(653)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(655)는 이동 단말기(600)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .
햅틱 모듈(haptic module)(657)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(657)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.
메모리(660)는 제어부(680)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(670)는 이동 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(670)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(600) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(600) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(680)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(680)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(681)을 구비할 수도 있다. 멀티미디어 재생 모듈(681)은 제어부(680) 내에 하드웨어로 구성될 수도 있고, 제어부(680)와 별도로 소프트웨어로 구성될 수도 있다.
전원 공급부(690)는, 제어부(680)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 도 5에 도시된 이동 단말기(600)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(600)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 6은 도 1의 이동 단말기의 동작방법의 일예를 도시한 순서도이고 도 7a 내지 도 12f는 도 6의 동작방법의 설명에 참조되는 도면이다.
먼저, 이동 단말기(600)의 제어부(680)는, 사용자 입력 등에 따라, 홈 어플라이언스(200)와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(680)는, 홈 어플라이언스(200)가 조리기기(200d)인 경우, 조리기기(200d)를 이용한 조리 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어할 수 있다.
다른 예로, 이동 단말기(600)의 제어부(680)는, 홈 어플라이언스(200)의 구매와 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어할 수 있다.
또 다른 예로, 이동 단말기(600)의 제어부(680)는, 홈 어플라이언스(200)의 운전 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어할 수 있다.
다음, 이동 단말기(600)의 제어부(680)는, 웹 페이지 또는 애플리케이션 화면 내의 텍스트를 분석할 수 있다(S615).
이동 단말기(600)의 제어부(680)는, 웹 페이지 또는 애플리케이션 화면이, 이미지와 텍스트를 포함하는 경우, 텍스트만 추출하여, 웹 페이지 또는 애플리케이션 화면 내의 텍스트를 분석할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(680)는, 텍스트 인식 알고리즘을 이용하여, 현재 표시되고 있는 웹 페이지 또는 애플리케이션 화면 내의 텍스트를 추출할 수 있다. 그리고, 추출된 텍스트를 분석할 수 있다.
다른 예로, 이동 단말기(600)의 제어부(680)는, 서버(500)로, 웹 페이지 또는 애플리케이션 화면과 관련된 텍스트 데이터의 전송을 요청할 수 있으며, 서버(500)로부터 텍스트 데이터를 수신할 수 있다. 그리고, 추출된 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 사용자 음성이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다(S620).
이동 단말기(600)의 제어부(680)는, 이동 단말기(600) 내의 음성 인식 알고리즘 또는 서버(500)의 음성 인식 알고리즘을 이용하여, 음성을 인식할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(680)는, '소금 몇술?', '가열 몇 분?' 과 같은 자연어에 대한 음성이 입력되는 경우, 음성 인식 알고리즘을 이용하여, 음성을 인식할 수 있다.
다음, 이동 단말기(600)의 제어부(680)는, 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 음성에 매칭하는 정보를 추출할 수 있다(S625). 그리고, 추출된 정보를 출력할 수 있다(S630).
예를 들어, 이동 단말기(600)의 제어부(680)는, '소금 몇술?', '가열 몇 분?' 과 같은 음성에 매칭되는, '소금 3티스푼', '3분 가열'과 같은 정보를 추출할 수 있다.
이동 단말기(600)의 제어부(680)는, '소금 3티스푼', '3분 가열'과 같은 정보를, 디스플레이부(651) 또는 음향 출력 모듈(653)을 통해 출력되도록 제어할 수 있다.
이와 같이, 이동 단말기(600)의 제어부(680)는, 화형 자연어와 관련된 음성 명령에 따라, 대응하는 정보를 추출하여 출력함으로써, 사용자가 이동 단말기(600)에 대한 터치 동작 없이도 간편하게, 관련 정보를 획득할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 통신부(610)를 통해, 추출된 정보를 홈 어플라이언스(200)로 전송할 수 있다(S635).
다음, 홈 어플라이언스(200)의 통신부(222)는, 무선으로 이동 단말기(600)로부터의 정보를 수신할 수 있다(S640).
다음, 홈 어플라이언스(200)의 제어부(270)는, 수신된 정보에 대응하여 운전 모드를 설정할 수 있다(S645).
다음, 홈 어플라이언스(200)의 제어부(270)는, 설정된 모드에 따라 운전을 수행하도록 제어할 수 있다.
예를 들어, 수신된 정보가, '3분 가열'과 같은 정보인 경우, 조리기기(200d)는, '3분 가열' 동작을 수행할 수 있다. 이에 의해, 사용자는 간편하게, 원하는 조리 동작을 수행할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
도 7a는, '볶음밥 조리법'이라는 검색어(715)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
사용자의 입력에 의해, 이동 단말기(600)의 제어부(680)는, 이동 단말기(600)에서 웹 브라우저를 구동하여, 웹 페이지 화면(710)이 표시되도록 제어할 수 있다.
한편, 도면과 같이, '볶음밥 조리법'이라는 검색어(715)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 7b와 같이, '볶음밥 조리 관련 화면'(720)이 검색되어 표시될 수 있다.
도 7b의 '볶음밥 조리 관련 화면'(720)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '볶음밥 조리 관련 화면'(720) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 7c와 같이, '소금 몇 술?'과 같은 사용자(700)의 음성(730)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 7d와 같이, '볶음밥 조리 관련 화면'(720) 내의 텍스트 중 '소금 몇 술?'과 같은 사용자(700) 음성(730)에 매칭하는 정보(722)를 추출할 수 있다. 도면에서는, '소금 3 티스푼을 넣어주세요' 와 같은 정보(722)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 7e와 같이, 음향 출력 모듈(653)을 통해, '소금 3 티스푼을 넣어주세요' 와 같은 사운드(740)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다. 특히, 조리 중, 음성을 통해 명령하고, 대응하는 정보를 음향 출력 모듈을 통해 청취할 수 있게 되어, 사용자의 이용 편의성을 향상시킬 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 7e와 같이, 디스플레이부(651) 내에 표시되는 '볶음밥 조리 관련 화면'(720) 내에, '소금 3 티스푼을 넣어주세요' 와 같은 정보를 포함하는 영역(745)이, 하이라이트되어 표시되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(680)는, 도 7f와 같이, 통신부(610)를 통해, 추출된 정보(Sfa)를 조리기기(200d)로 전송할 수 있다.
조리기기(200d)는, 조리 운전 시작 전에, '소금 3 티스푼을 넣어주세요' 와 같은 정보를 다시, 음향 출력 모듈(미도시)을 통해, 출력할 수도 있다.
도 8a는, '최신 조리 코스'이라는 검색어(815)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
도면과 같이, '최신 조리 코스'이라는 검색어(815)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 8b와 같이, '최신 조리 코스 관련 화면'(820)이 검색되어 표시될 수 있다.
도 8b의 '최신 조리 코스 관련 화면'(820)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '최신 조리 코스 관련 화면'(820) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 8c와 같이, '가열 몇 분?'과 같은 사용자(700)의 음성(830)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 8d와 같이, '최신 조리 코스 관련 화면'(820) 내의 텍스트 중 '가열 몇 분?'과 같은 사용자(700)의 음성(830)에 매칭하는 정보(822)를 추출할 수 있다. 도면에서는, '3분 동안 가열해주세요' 와 같은 정보(822)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 8e와 같이, 음향 출력 모듈(653)을 통해, '3분 동안 가열해주세요' 와 같은 사운드(840)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다. 특히, 조리 중, 음성을 통해 명령하고, 대응하는 정보를 음향 출력 모듈을 통해 청취할 수 있게 되어, 사용자의 이용 편의성을 향상시킬 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 8e와 같이, 디스플레이부(651) 내에 표시되는 '최신 조리 코스 관련 화면'(820) 내에, '3분 동안 가열해주세요' 와 같은 정보를 포함하는 영역(845)이, 하이라이트되어 표시되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(680)는, 도 8f와 같이, 통신부(610)를 통해, 추출된 정보(Sfb)를 조리기기(200d)로 전송할 수 있다.
한편, 조리기기(200d)는, 조리 운전 시작 시, 가열 모드를 3분으로 설정하여, 동작되도록 할 수 있다.
도 9a는, '냉장고 구매 싸이트'이라는 검색어(915)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
도면과 같이, '냉장고 구매 싸이트'이라는 검색어(915)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 9b와 같이, '냉장고 구매 싸이트 관련 화면'(920)이 검색되어 표시될 수 있다.
도 9b의 '냉장고 구매 싸이트 관련 화면'(920)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '냉장고 구매 싸이트 관련 화면'(920) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 9c와 같이, '850L 얼마?'과 같은 사용자(700)의 음성(930)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 9d와 같이, '냉장고 구매 싸이트 관련 화면'(920) 내의 텍스트 중 '850L 얼마?'과 같은 사용자(700)의 음성(930)에 매칭하는 정보(922)를 추출할 수 있다. 도면에서는, '850L는 250만원 입니다' 와 같은 정보(922)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 9e와 같이, 음향 출력 모듈(653)을 통해, '850L는 250만원 입니다' 와 같은 사운드(940)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 9e와 같이, 디스플레이부(651) 내에 표시되는 '냉장고 구매 싸이트 관련 화면'(920) 내에, '850L는 250만원 입니다' 와 같은 정보를 포함하는 영역(945)이, 하이라이트되어 표시되도록 제어할 수도 있다.
도 10a는, '추천 세탁 코스'이라는 검색어(1015)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
도면과 같이, '추천 세탁 코스'이라는 검색어(1015)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 10b와 같이, '추천 세탁 코스 관련 화면'(1020)이 검색되어 표시될 수 있다.
도 10b의 '추천 세탁 코스 관련 화면'(1020)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '추천 세탁 코스 관련 화면'(1020) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 10c와 같이, '헹굼 몇 분?'과 같은 사용자(700)의 음성(1030)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 10d와 같이, '추천 세탁 코스 관련 화면'(1020) 내의 텍스트 중 '헹굼 몇 분?'과 같은 사용자(700)의 음성(1030)에 매칭하는 정보(1022)를 추출할 수 있다. 도면에서는, '3분입니다' 와 같은 정보(1022)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 10e와 같이, 음향 출력 모듈(653)을 통해, '3분입니다' 와 같은 사운드(1040)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 10e와 같이, 디스플레이부(651) 내에 표시되는 '추천 세탁 코스 관련 화면'(1020) 내에, '3분입니다' 와 같은 정보를 포함하는 영역(1045)이, 하이라이트되어 표시되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(680)는, 도 10f와 같이, 통신부(610)를 통해, 추출된 정보(Sfc)를 세탁기(200b)로 전송할 수 있다.
한편, 세탁기(200b)는, 운전 시작 시, 헹굼 모드를 3분으로 설정하여, 동작되도록 할 수 있다.
도 11a는, '에어컨 절전 방법'이라는 검색어(1115)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
도면과 같이, '에어컨 절전 방법'이라는 검색어(1115)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 11b와 같이, '에어컨 절전 방법 관련 화면'(1120)이 검색되어 표시될 수 있다.
도 11b의 '에어컨 절전 방법 관련 화면'(1120)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '에어컨 절전 방법 관련 화면'(1120) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 11c와 같이, '적정 실내 온도는?'과 같은 사용자(700)의 음성(1130)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 11d와 같이, '에어컨 절전 방법 관련 화면'(1120) 내의 텍스트 중 '적정 실내 온도는?'과 같은 사용자(700)의 음성(1130)에 매칭하는 정보(1122)를 추출할 수 있다. 도면에서는, '26도입니다' 와 같은 정보(1122)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 11e와 같이, 음향 출력 모듈(653)을 통해, '26도입니다' 와 같은 사운드(1140)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 11e와 같이, 디스플레이부(651) 내에 표시되는 '에어컨 절전 방법 관련 화면'(1120) 내에, '26도입니다' 와 같은 정보를 포함하는 영역(1145)이, 하이라이트되어 표시되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(680)는, 도 11f와 같이, 통신부(610)를 통해, 추출된 정보(Sfd)를 에어컨(200c)으로 전송할 수 있다.
한편, 에어컨(200c)은, 운전 시작 시, 목표 온도를 26도로 설정하여, 동작되도록 할 수 있다.
도 12a는, '최신 청소 코스'이라는 검색어(1215)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 것을 예시한다.
도면과 같이, '최신 청소 코스'이라는 검색어(1215)가 검색용 웹 페이지 화면(710) 내의 검색창에 입력되는 경우, 도 12b와 같이, '최신 청소 코스 관련 화면'(1220)이 검색되어 표시될 수 있다.
도 12b의 '최신 청소 코스 관련 화면'(1220)은, 이미지와 텍스트를 포함할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, '최신 청소 코스 관련 화면'(1220) 내의 텍스트만 추출하여, 텍스트를 분석할 수 있다.
한편, 이동 단말기(600)의 제어부(680)는, 마이크(623)를 통해, 도 12c와 같이, '추천 청소 패턴은?'과 같은 사용자(700)의 음성(1230)이 입력되는 경우, 사용자 음성에 대한 신호 처리를 수행한다. 그리고, 음성 신호 처리에 기반하여, 음성을 인식한다.
이동 단말기(600)의 제어부(680)는, 도 12d와 같이, '최신 청소 코스 관련 화면'(1220) 내의 텍스트 중 '추천 청소 패턴은?'과 같은 사용자(700)의 음성(1230)에 매칭하는 정보(1222)를 추출할 수 있다. 도면에서는, '지그 재그 패턴입니다' 와 같은 정보(1222)가 예시된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 12e와 같이, 음향 출력 모듈(653)을 통해, '지그 재그 패턴입니다' 와 같은 사운드(1240)가 출력되도록 제어할 수 있다.
이에 의해, 사용자는, 이동 단말기(600)에 대한 터치 동작 없이도, 간편하게, 관련 정보를 획득할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(680)는, 도 12e와 같이, 디스플레이부(651) 내에 표시되는 '최신 청소 코스 관련 화면'(1220) 내에, '지그 재그 패턴입니다' 와 같은 정보를 포함하는 영역(1245)이, 하이라이트되어 표시되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(680)는, 도 12f와 같이, 통신부(610)를 통해, 추출된 정보(Sfe)를 청소기(200e)로 전송할 수 있다.
한편, 청소기(200e)는, 운전 시작 시, 청소 모드를 '지그 재그 패턴'으로 설정하여, 동작되도록 할 수 있다.
본 발명에 따른 단말기, 및 이를 구비하는 홈 어플라이언스 시스템은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 단말기의 동작 방법 또는 홈 어플라이언스의 동작방법은, 단말기 또는 홈 어플라이언스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (10)

  1. 디스플레이부;
    서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부;
    사운드를 수집하는 마이크; 및
    상기 서버로부터 수신되는, 상기 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해 사용자의 음성이 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하며, 상기 추출된 정보를 출력하도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 홈 어플라이언스의 운전 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해, 상기 홈 어플라이언스의 운전 패턴 또는 운전 시간과 관련된 사운드가 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 운전 패턴 또는 운전 시간과 관련된 정보를 추출하며, 상기 추출된 운전 패턴 또는 운전 시간과 관련된 정보를 출력하도록 제어하는 것을 특징으로 하는 단말기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 추출된 정보를 상기 통신부를 통해 상기 홈 어플라이언스로 전송하도록 제어하는 것을 특징으로 하는 단말기.
  3. 디스플레이부;
    서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부;
    사운드를 수집하는 마이크; 및
    상기 서버로부터 수신되는, 상기 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해 사용자의 음성이 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하며, 상기 추출된 정보를 출력하도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 홈 어플라이언스 중 조리기기를 이용한 조리 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해, 상기 조리 방법 중 소정 재료와 관련된 사운드가 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 소정 재료와 관련된 정보를 추출하며, 상기 추출된 소정 재료와 관련된 정보를 출력하도록 제어하는 것을 특징으로 하는 단말기.
  4. 제1항에 있어서,
    상기 웹 페이지 또는 애플리케이션 화면은, 이미지와 텍스트를 포함하며,
    상기 제어부는,
    상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트를 분석하고, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하는 것을 특징으로 하는 단말기.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 홈 어플라이언스 중 조리기기를 이용한 조리 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해, 상기 조리 방법 중 상기 조리기기의 운전 시간 또는 운전 패턴과 관련된 사운드가 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 운전 시간 또는 운전 패턴와 관련된 정보를 추출하며, 상기 추출된 운전 시간 또는 운전 패턴과 관련된 정보를 출력하도록 제어하는 것을 특징으로 하는 단말기.
  6. 디스플레이부;
    서버와 데이터를 교환하거나, 홈 어플라이언스로 데이터를 전송하는 통신부;
    사운드를 수집하는 마이크; 및
    상기 서버로부터 수신되는, 상기 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해 사용자의 음성이 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하며, 상기 추출된 정보를 출력하도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 홈 어플라이언스의 구매와 관련된 웹 페이지 또는 애플리케이션 화면을 표시하도록 제어하고, 상기 마이크를 통해, 상기 홈 어플라이언스의 가격과 관련된 사운드가 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 가격과 관련된 정보를 추출하며, 상기 추출된 가격과 관련된 정보를 출력하도록 제어하는 것을 특징으로 하는 단말기.
  7. 삭제
  8. 제1항에 있어서,
    음향 출력 모듈;을 더 포함하고,
    상기 제어부는,
    상기 추출된 정보를 상기 음향 출력 모듈을 통해 사운드 출력되도록 제어하는 것을 특징으로 하는 단말기.
  9. 서버로부터 수신되는, 홈 어플라이언스와 관련된 정보를 포함하는 웹 페이지 또는 애플리케이션 화면을 표시하고, 마이크를 통해 사용자의 음성이 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하며, 상기 추출된 정보를 출력하거나, 상기 홈 어플라이언스로 전송하는 단말기; 및
    상기 단말기로부터 수신된 정보에 기초하여 운전을 수행하는 상기 홈 어플라이언스;를 포함하며,
    상기 단말기는,,
    상기 홈 어플라이언스의 운전 방법과 관련된 웹 페이지 또는 애플리케이션 화면을 표시하고, 상기 마이크를 통해, 상기 홈 어플라이언스의 운전 패턴 또는 운전 시간과 관련된 사운드가 입력되는 경우, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 운전 패턴 또는 운전 시간과 관련된 정보를 추출하며, 상기 추출된 운전 패턴 또는 운전 시간과 관련된 정보를 출력하는 것을 특징으로 하는 홈 어플라이언스 시스템.
  10. 제9항에 있어서,
    상기 단말기는,
    상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트를 분석하고, 상기 웹 페이지 또는 애플리케이션 화면 내의 텍스트 중 상기 음성에 매칭하는 정보를 추출하는 것을 특징으로 하는 홈 어플라이언스 시스템.
KR1020150035007A 2015-03-13 2015-03-13 단말기, 및 이를 구비하는 홈 어플라이언스 시스템 KR102342117B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150035007A KR102342117B1 (ko) 2015-03-13 2015-03-13 단말기, 및 이를 구비하는 홈 어플라이언스 시스템
US15/065,463 US10573302B2 (en) 2015-03-13 2016-03-09 Terminal and home appliance system including the same
EP16159617.6A EP3068078B1 (en) 2015-03-13 2016-03-10 Terminal and home appliance system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150035007A KR102342117B1 (ko) 2015-03-13 2015-03-13 단말기, 및 이를 구비하는 홈 어플라이언스 시스템

Publications (2)

Publication Number Publication Date
KR20160109847A KR20160109847A (ko) 2016-09-21
KR102342117B1 true KR102342117B1 (ko) 2021-12-21

Family

ID=55527827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035007A KR102342117B1 (ko) 2015-03-13 2015-03-13 단말기, 및 이를 구비하는 홈 어플라이언스 시스템

Country Status (3)

Country Link
US (1) US10573302B2 (ko)
EP (1) EP3068078B1 (ko)
KR (1) KR102342117B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015009157A1 (de) * 2015-07-14 2017-01-19 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät
US10142820B2 (en) * 2016-02-25 2018-11-27 Haier Us Appliance Solutions, Inc. Consumer appliance with a detachable tablet
KR101813593B1 (ko) * 2016-03-15 2018-01-30 엘지전자 주식회사 음향 센서, 및 이를 구비하는 홈 어플라이언스 시스템
DE102016220350A1 (de) * 2016-10-18 2018-04-19 BSH Hausgeräte GmbH System zum gemeinsamen Kochen
CN106453007B (zh) * 2016-10-31 2020-10-30 邯郸美的制冷设备有限公司 防止智能家电误动作的控制方法和装置、路由器和智能家电
JP2020515021A (ja) * 2017-01-06 2020-05-21 レボリューション・クッキング・エルエルシー 調理機器のための加熱要素
KR102452644B1 (ko) * 2017-10-31 2022-10-11 삼성전자주식회사 전자 장치, 음성 인식 방법 및 기록 매체
EP3803854B1 (en) 2018-05-25 2022-11-23 Carrier Corporation Controlling home automation devices through security panel using voice assistant
US11032620B1 (en) * 2020-02-14 2021-06-08 Sling Media Pvt Ltd Methods, systems, and apparatuses to respond to voice requests to play desired video clips in streamed media based on matched close caption and sub-title text
US20240015045A1 (en) * 2022-07-07 2024-01-11 Paulmicheal Lee King Touch screen controlled smart appliance and communication network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130080289A1 (en) 2011-09-28 2013-03-28 Rupessh Ranen Roy Retail shopping
US20130104251A1 (en) 2005-02-01 2013-04-25 Newsilike Media Group, Inc. Security systems and methods for use with structured and unstructured data
US20140167931A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling a home device remotely in a home network system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947100A1 (de) * 1999-09-30 2001-04-12 Siemens Ag Verfahren zur Umsetzung einer sprachgebundenen Ausgabe von Gerätezuständen
JP2003514261A (ja) 1999-11-09 2003-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターネットページのハイパーリンクを作動させる音声認識方法
KR100438696B1 (ko) * 2001-04-13 2004-07-05 삼성전자주식회사 홈네트워크 환경에서의 디바이스 제어 시스템 및 방법
US7421504B2 (en) * 2002-05-08 2008-09-02 Matsushita Electric Industrial Co., Ltd. Service providing device and service providing method
US8504410B2 (en) * 2007-03-02 2013-08-06 Poorya Pasta Method for improving customer survey system
KR20110052863A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법
US8527549B2 (en) * 2010-02-22 2013-09-03 Sookasa Inc. Cloud based operating and virtual file system
US20130274937A1 (en) * 2010-06-22 2013-10-17 Junho AHN Component for network system and method for controlling same
KR101320801B1 (ko) * 2011-12-12 2013-10-22 엘지전자 주식회사 이동 단말기 및 그 동작 방법
US8433719B1 (en) 2011-12-29 2013-04-30 Google Inc. Accelerating find in page queries within a web browser
WO2013142852A1 (en) * 2012-03-23 2013-09-26 Sententia, LLC Method and systems for text enhancement
SE1200431A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
KR101924962B1 (ko) * 2012-10-04 2018-12-04 엘지전자 주식회사 이동 단말기, 홈 어플라이언스 및 그 동작방법
KR102010384B1 (ko) * 2013-01-02 2019-08-13 엘지전자 주식회사 이동 단말기, 홈 어플라이언스 및 그 동작방법
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US20160057816A1 (en) * 2014-08-25 2016-02-25 Nibu Alias Method and system of a smart-microwave oven
KR102277749B1 (ko) 2014-11-13 2021-07-16 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130104251A1 (en) 2005-02-01 2013-04-25 Newsilike Media Group, Inc. Security systems and methods for use with structured and unstructured data
US20130080289A1 (en) 2011-09-28 2013-03-28 Rupessh Ranen Roy Retail shopping
US20140167931A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling a home device remotely in a home network system

Also Published As

Publication number Publication date
US20160267910A1 (en) 2016-09-15
EP3068078B1 (en) 2018-08-22
US10573302B2 (en) 2020-02-25
KR20160109847A (ko) 2016-09-21
EP3068078A1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
KR102342117B1 (ko) 단말기, 및 이를 구비하는 홈 어플라이언스 시스템
US10129746B2 (en) Mobile terminal, home appliance, and method of operating the same
US9773408B2 (en) Mobile terminal and operation method thereof
US9640174B2 (en) Home appliance and operation method thereof
US9407330B2 (en) Mobile terminal, home appliance and method for operating the same
CN107703872B (zh) 家电设备的终端控制方法、装置及终端
KR101924961B1 (ko) 홈 어플라이언스 및 그 동작방법
US20140087661A1 (en) Home appliance using terminal and operating method thereof
KR20140089795A (ko) 홈 어플라이언스 및 그 동작방법
US9860621B2 (en) Home appliance and operating method thereof
KR20140081270A (ko) 이동 단말기, 통신 장치, 및 그 동작 방법
KR102033932B1 (ko) 이동 단말기, 홈 어플라이언스 및 그 동작방법
KR102077563B1 (ko) 홈 어플라이언스 및 그 동작방법
CN113808379A (zh) 控制方法、电子设备及存储介质
KR101859959B1 (ko) 휴대 단말기 및 그 동작방법
KR102010384B1 (ko) 이동 단말기, 홈 어플라이언스 및 그 동작방법
KR102198182B1 (ko) 이동 단말기, 홈 어플라이언스 및 그 동작방법
KR102106908B1 (ko) 이동 단말기, 및 그 동작방법
KR101969031B1 (ko) 이동 단말기, 홈 어플라이언스 및 그 동작방법
KR20140089875A (ko) 홈 어플라이언스, 이동 단말기, 및 그 동작방법
KR102152730B1 (ko) 홈 어플라이언스 및 그 동작방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant