KR101936639B1 - 홈 어플라이언스 및 홈 어플라이언스 시스템 - Google Patents

홈 어플라이언스 및 홈 어플라이언스 시스템 Download PDF

Info

Publication number
KR101936639B1
KR101936639B1 KR1020170085590A KR20170085590A KR101936639B1 KR 101936639 B1 KR101936639 B1 KR 101936639B1 KR 1020170085590 A KR1020170085590 A KR 1020170085590A KR 20170085590 A KR20170085590 A KR 20170085590A KR 101936639 B1 KR101936639 B1 KR 101936639B1
Authority
KR
South Korea
Prior art keywords
voice
home appliance
age
user
server
Prior art date
Application number
KR1020170085590A
Other languages
English (en)
Inventor
유성훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020170085590A priority Critical patent/KR101936639B1/ko
Application granted granted Critical
Publication of KR101936639B1 publication Critical patent/KR101936639B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은, 홈 어플라이언스 및 홈 어플라이언스 시스템에 관한 것이다. 본 발명의 실시예에 따른, 홈 어플라이언스는, 표시부와, 음성을 수신하는 마이크와, 사용자의 연령을 연산하기 위한, 연령별 음성 데이터를 저장하는 메모리와, 연령별 음성 데이터를 기초로, 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 연령이, 소정 연령 이하인 경우, 홈 어플라이언스의 제어권한을 제한하는 제어부를 포함한다. 이에 따라, 소정 연령 이하의 홈 어플라이언스에 대한 제어 권한을 제한할 수 있다.

Description

홈 어플라이언스 및 홈 어플라이언스 시스템{Home appliance and home appliance system}
본 발명은 홈 어플라이언스 및 홈 어플라이언스 시스템에 관한 것으로, 보다 상세하게는, 소정 연령 이하의 홈 어플라이언스에 대한 제어 권한을 제한할 수 있는 홈 어플라이언스 및 홈 어플라이언스 시스템에 관한 것이다.
가정이나 사무실 등의 소정 공간에서 사용되는 공기조화기, 세탁기, 광파 오븐 등의 홈 어플라이언스(Home appliance)들은 각각 사용자의 조작에 따라 고유의 기능과 동작을 수행한다.
이러한 홈 어플라이언스의 동작을 위해서, 사용자는, 홈 어플라이언스 본체에 구비된 버튼 등을 직접 조작하거나, 매번 본체로 이동하여 입력하여야 하는 불편함을 피해 리모콘 등의 원격제어장치를 사용할 수 있다.
나아가, 음성인식 기술을 이용하여 홈 어플라이언스를 제어하는 방안에 대한연구가 증가하고 있다. 그러나 음성 인식 기술의 경우, 소정 연령 이하, 특히, 아동들의 사용에있어서 주의가 요구된다 할 것이다.
예를 들어, 오븐의 경우, 아동들의 안전을 위해서, 위험한 기능의 제어 권한을 사전에 차단할 필요가 있으며, 공기조화기의 경우, 음성인식 기능이, 아이들의 장난으로 사용되어, 자원 낭비를 일으키는 것을 방지할 필요성이 있다.
본 발명의 목적은, 소정 연령 이하의 홈 어플라이언스에 대한 제어 권한을 제한할 수 있는 홈 어플라이언스 및 홈 어플라이언스 시스템을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 실시예에 따른 홈 어플라이언스는, 표시부와, 음성을 수신하는 마이크와, 사용자의 연령을 연산하기 위한, 연령별 음성 데이터를 저장하는 메모리와, 연령별 음성 데이터를 기초로, 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 연령이, 소정 연령 이하인 경우, 홈 어플라이언스의 제어권한을 제한하는 제어부를 포함한다.
상기 목적을 달성하기 위한, 본 발명의 다른 실시예에 따른 홈 어플라이언스 시스템은, 음성을 전송하는 홈 어플라이언스 및 음성을 수신하는 통신모듈과, 사용자의 연령을 연산하기 위한, 연령별 음성 데이터를 저장하는 저장부와, 연령별 음성 데이터를 기초로, 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 연령이, 소정 연령 이하인 경우, 제어 제한 신호를 생성하는 프로세서를 구비하는 서버를 포함하고, 서버는 제어 제한 신호를 홈 어플라이언스로 전송하고, 홈 어플라이언스는, 제어 제한 신호를 기초로, 제어권한을 제한한다.
본 발명의 실시예에 따른 홈 어플라이언스는, 연령별 음성 데이터를 기초로, 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 연령이 소정 연령 이하인 경우, 홈 어플라이언스의 제어권한을 제한할 수 있다.
또한, 홈 어플라이언스는, 기 설정된 시간에 제어권한을 제한하므로, 홈 어플라이언스, 예를 들어 영상 표시 장치에 있어서, 기 설정된 시간에 부적절한 시청을 제한한거나, 공기조화기에 있어, 자원 낭비를 방지할 수 있다.
또한, 홈 어플라이언스는, 소정 연령 이하의, 홈 어플라이언스 사용에 대한, 잠재적인 위험을 차단하거나, 홈 어플라이언스 사용에 있어, 에너지 절약을 도모할 수도 있다.
또한, 홈 어플라이언스는, 인식된 연령에 따라 상이한 사용자 인터페이스(UI)를 표시하므로, 사용자 편의성이 증대될 수 있다.
또한, 홈 어플라이언스는, 보호자의 동의하에 아동 음성을 등록한 경우, 제어권한의 제한을 해제하므로, 홈 어플라이언스의 유연한 사용을 가능하게 한다.
또한, 홈 어플라이언스는, 음성 데이터 관련 업데이트 데이터를 서버로부터 수신하여, 업데이트를 진행하므로, 음성 인식 성능이 향상될 수 있다.
본 발명의 다른 실시예에 따른 홈 어플라이언스 시스템은, 연령별 음성 데이터를 기초로, 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 연령이 소정 연령 이하인 경우, 홈 어플라이언스의 제어권한을 제한할 수 있다.
도 1은, 본 발명의 일실시예에 따른, 홈 어플라이언스 시스템의 구성도이다.
도 2는, 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 3은, 본 발명의 일실시예에 따른, 홈 어플라이언스의 간략한 내부 블록도이다.
도 4는, 도 1의 서버의 내부 블록도이다.
도 5는, 본 발명의 일실시예에 따른 홈 어플라이언스의 동작방법에 대한 순서도이다.
도 6은, 도 5의 동작방법을 설명하기 위한 참조도면이다.
도 7은, 본 발명의 설명에 참조되는 도면이다.
도 8은, 본 발명의 일실시예에 따른, 홈 어플라이언스의 동작방법에 대한 순서도이다.
도 9는, 도 8의 동작방법을 설명하기 위한 참조도면이다.
도 10은, 본 발명의 다른 실시예에 따른, 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 11은, 본 발명의 다른 실시예에 따른, 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 12는, 본 발명의 다른 실시예에 따른, 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 13 내지 도 20은, 본 발명의 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은, 본 발명의 일실시예에 따른, 홈 어플라이언스 시스템의 구성도이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 따른 홈 어플라이언스 시스템(10)은, 통신 모듈(미도시)을 구비하여 다른 기기와 통신하거나 네트워크에 접속할 수 있는 홈 어플라이언스(Home appliance, 200)와 서버(400)를 포함하여 구성될 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 어플라이언스 시스템(10)은, 스마트 폰(smart phone), 태블릿(Tablet) PC 등 휴대 단말기(미도시)를 포함할 수 있다.
홈 어플라이언스(200)는, 내부에 통신 모듈(미도시)을 구비하여 홈 어플라이언스 시스템(10) 내/외부의 전자기기들과 통신할 수 있다.
예를 들어, 홈 어플라이언스 시스템(10) 내에 복수의 홈 어플라이언스(200)가 존재하는 경우, 복수의 홈 어플라이언스(200)는, 통신 모듈을 통해 서로 정보 전송이 가능할 수 있다.
본 발명의 일 실시예에 따른 홈 어플라이언스 시스템(10)은, 액세스 포인트(access point: AP) 장치(300)를 더 포함할 수 있고, 홈 어플라이언스(200)는 액세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.
액세스 포인트 장치(300)는, 홈 어플라이언스 시스템(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다.
여기서, 소정 통신 방식은, 와이파이(Wi-Fi) 통신 방식일 수 있다. 이에 대응하여, 홈 어플라이언스(200)가 구비하는 통신 모듈은 와이파이 통신 모듈일 수 있으나, 본 발명은 통신 방식에 한정되지 않는다.
또는, 홈 어플라이언스(200)는, 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 홈 어플라이언스(200)는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.
홈 어플라이언스(200)는, 와이파이(wi-fi) 통신 모듈 등을 통해 홈 어플라이언스 시스템에 포함되는 서버 또는 외부의 소정 서버, 사용자의 휴대 단말기 등과 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다.
사용자는 휴대 단말기를 통하여 홈 어플라이언스 시스템(10) 내의 홈 어플라이언스(200)에 관한 정보를 확인하거나 홈 어플라이언스(200)를 제어할 수 있다.
홈 어플라이언스(200)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있다. 또한, 홈 어플라이언스(200)는, 사용자 음성을 인식할 수 있다.
홈 어플라이언스(200)는, 연령병 음성 데이터를 기초로, 사용자 음성을 인식하여 사용자 연령을 연산할 수 있다.
홈 어플라이언스(200)는, 연산 된 연령이 소정 연령 이하인 경우, 홈 어플라이언스(200)의 제어권한을 제한할 수 있다. 이에 따라, 홈 어플라이언스(200)에 음성 인식 기술이 적용됨으로 인해, 발생할 수 있는 잠재적인 위험요소를 사전에 차단하고, 에너지 낭비로부터 홈 어플라이언스(200)의 사용을 방지할 수 있다.
홈 어플라이언스(200)는, 제1 사용자의 음성 등록 명령 후, 기 설정된 시간 이내에 수신한 제2 사용자의 음성을 기초로 음성 등록을 수행할 수 있다. 또한, 홈 어플라이언스(200)는, 제2 사용자의 음성 등록 후, 제2 사용자의 홈 어플라이언스(200)에 대한 제어권한의 제한을 해제할 수 있다.
제1 사용자는 소정 연령을 초과하는 사용자일 수 있고, 제2 사용자는 소정 연령 이하의 사용자일 수 있다. 예를 들어, 제1 사용자는 성인일 수 있고, 제2 사용자는 아동일 수 있다. 이에 따라, 아동의 경우라도 성인의 동의하에, 홈 어플라이언스(200)에 대한 제어가 가능하게 된다.
홈 어플라이언스(200)는, 사용자 음성을 서버(400)로 전송하고, 연령별 음성 데이터 관련 업데이트 데이터를 서버(400)로부터 수신할 수 있다.
홈 어플라이언스(200)는, 서버(400)로부터 수신한 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200)에 저장된 연령별 음성 데이터를 업데이트할 수 있다.
홈 어플라이언스는(200), 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는 음성 인식 서버 시스템(100)에 접속할 수 있다. 이하에서, 서버(400)가, 음성 인식 서버 시스템(100)을 포함하여 구성되는 경우, 음성 인식 서버 시스템(100)을 서버(400)라고 통칭하여 명명할 수 있다.
서버(400)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있다. 또한, 서버(400)는, 사용자 음성을 인식할 수 있다. 한편, 연령별 음성 데이터는, 방대한 사용자 연령별 음성 데이터에서 유용한 정보를 추출하는, 데이터 마이닝 기법에 의한 것일 수 있다.
서버(400)는, 연령별 음성 데이터를 기초로, 사용자 음성을 인식하여 사용자 연령을 연산할 수 있다.
서버(400)는, 연산 된 연령이 소정 연령 이하인 경우, 제어 제한 신호를 홈 어플라이언스(200)로 전송할 수 있다. 이때, 홈 어플라이언스(200)는, 제어 제한 신호를 기초로, 소정 연령 이하의 홈 어플라이언스(200)에 대한 제어권한을 제한할 수 있다.
서버(400)는, 데이터 마이닝 기법을 사용하여, 연령별 음성 데이터 관련 업데이트 데이터를 생성할 수 있고, 연령별 음성 데이터 관련 업데이트 데이터를 기초로 서버(400)에 저장된 연령별 음성 데이터를 업데이트할 수 있다.
또한, 서버(400)는, 연령별 음성 데이터 관련 업데이트 데이터를 홈 어플라이언스(200)로 전송할 수 있고, 홈 어플라이언스(200)는, 서버(400)로부터 수신받은 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200)에 저장된 연령별 음성 데이터를 업데이트할 수 있다.
한편, 상기 홈 어플라이언스 시스템(10)에 포함되는 서버(400)들 중 적어도 일부는 홈 어플라이언스의 제조 회사, 판매 회사가 운영하는 서버(400)거나 제조 회사 또는 판매 회사가 서비스를 위탁한 회사가 운영하는 서버(400)일 수 있다.
도 2는, 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도면을 참조하여 설명하면, 홈 어플라이언스(200)에는 통신 모듈을 구비한 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e), TV(200f) 등이 해당될 수 있다. 한편, 홈 어플라이언스(200)는, 다양한 예가 더 가능하다.
도 3은, 본 발명의 일실시예에 따른, 홈 어플라이언스의 간략한 내부 블록도이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 다른, 홈 어플라이언스는, 사용자의 음성 명령을 수신하는 오디오 입력부(220), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 각종 데이터를 저장하는 메모리(250), 소정 정보를 표시하는 표시부(292), 각 홈 어플라이언스(200)에 구현된 동작을 수행하는 구동부(280), 사용자의 명령을 입력받는 입력부(260), 다른 전자기기와 무선 통신하는 통신부(270) 및 홈 어플라이언스(200)의 전반적인 동작을 제어하는 제어부(240)를 포함할 수 있다.
오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 등을 입력받을 수 있다. 이를 위해, 오디오 입력부(220)는, 하나 이상의 마이크(MIC)를 구비할 수 있다. 예를 들어, 오디오 입력부(200)는, 사용자 음성을 더 정확히 수신하기 위하여 제1 마이크(221)와 제2 마이크(222)를 구비할 수 있다. 복수의 마이크(221, 222, 이하 구분의 필요성이 없는 경우 221이라 함)는, 서로 다른 위치에 이격 되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
한편, 도 3등에서는, 오디오 입력부(220)가 제1 마이크(221)와 제2 마이크(222)의 2개의 마이크를 구비하는 예를 도시하였으나, 본 발명은 이에 한정되지 않는다.
오디오 입력부(220)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 명령을 제어부(240) 또는 소정 서버(400)에서 인식할 수 있도록 데이터화할 수 있다.
한편, 오디오 입력부(220)는, 각 마이크(221, 2221)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.
입력부(260)는, 홈 어플라이언스(200)의 동작 제어를 위한 입력 데이터를 발생시킬 수 있다. 사용자 입력부(260)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
메모리(250)는 홈 어플라이언스의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(microprocessor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
메모리(250)에는 홈 어플라이언스의 동작제어를 위한 데이터, 통신부(270)를 통해 수신되는 데이터 등이 저장될 수 있다.
실시예에 따라서는, 메모리(250)에는 사용자가 입력한 음성 명령의 음원 파일이 저장될 수 있고, 저장된 음원 파일은 통신부(270)를 통하여 음성 인식 서버 시스템(100)으로 전송될 수 있다. 또한, 상기 저장된 음원 파일은 기설정된 시간 경과 또는 기설정된 동작 수행 후에 삭제될 수 있다.
메모리(250)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있고, 제어부(240)는 연령별 음성 데이터를 기초로, 사용자 음성을 인식하여 사용자 연령을 연산할 수 있다.
예를 들어, 연령별 음성 데이터는 연령별 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터 등을 포함할 수 있다.
제어부(240)는, 마이크(221)가 수신한 음성의 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 등을 메모리(250)에 저장된 연령별 음성 데이터와 비교하여, 사용자 연령을 연산할 수 있다.
한편, 메모리(250)에는 음성 인식을 위한 데이터가 저장될 수 있고, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
또는, 실시예에 따라서는, 홈 어플라이언스(200)는 음성 인식 모듈(미도시)을 포함하고, 음성 인식 모듈이 호출어 인식 등 간단한 음성 인식을 수행할 수 있다.
또한, 음성 신호의 호출어 포함 여부를 판별하기 위한 호출어 판단알고리즘이 메모리(250)에 저장될 수 있다.
제어부(240) 및 음성 인식 모듈은 상기 호출어 판단 알고리즘에 기초하여 상기 음성 신호의 상기 호출어 포함 여부를 판별할 수 있다.
한편, 간단한 음성 인식은 홈 어플라이언스(200)가 수행하고, 자연어 처리 등 고차원의 음성 인식은 음성 인식 서버 시스템(100)에서 수행될 수 있다.
예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다.
홈 어플라이언스이 시스템 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 음성 인식 서버 시스템(100)을 통하여 수행될 수 있다.
또는, 호출어 음성 입력 여부의 판단은 홈 어플라이언스(200)와 음성 인식 서버 시스템(100)에서 이중으로 수행될 수 있다. 이에 따라, 호출어 음성입력 판단의 오인식을 줄이고, 인식률을 높일 수 있다.
메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(250)에는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 이 경우에, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호로부터 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식할 수 있다.
한편, 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다. 또한, 호출어는 사용자에 의해 설정 변경이 가능하다.
제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다.
통신부(270)는, 하나 이상의 통신 모듈을 구비하여, 다른 전자기기와, 무선 통신을 수행하여, 각종 신호를 주고받을 수 있다. 예를 들어, 통신부(270)는 홈 어플라이언스 시스템(10) 내/외부의 전자기기들과 통신할 수 있다.
또한, 통신부(270)는 액세스 포인트 장치(300)와 통신하고, 액세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.
또한, 제어부(240)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 등을 음성 인식 서버 시스템(100) 등으로 전송할 수 있다.
제어부(240)는, 사용자 음성을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 통신부(270)를 통해 음성 인식 서버 시스템(100) 등으로 전송할 수도 있다.
한편, 통신부(270)를 통하여 제어 신호가 수신되면, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.
통신부(270)는, 연령별 음성 데이터 관련 업데이트 데이터를 서버(400)로부터 수신할 수 있고, 제어부(240)는, 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 메모리(250)에 저장된 연령별 음성 데이터를 업데이트 할 수 있다.
표시부(292)는, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.
실시예에 따라서는, 표시부(292)는, 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 표시부(292)는 출력장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 오디오 출력부(291)는, 제어부(240)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다.
오디오 출력부(291)는, 제어부(240)로부터 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 오디오 출력부(291)는 스피커 등을 구비할 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 음성 인식 과정 및 홈 어플라이언스(200) 제어 과정 중에 발생할 수 있는 다양한 상황들을 고려한 사용자 경험(User Experience, UX) 또는 사용자 인터페이스(User Interface, UI) 등을 제공할 수 있다.
제어부(240)는 음성 인식 과정 및 홈 어플라이언스(200) 제어 과정의 각 단계에 대응하여 소정 정보를 시각적/청각적 수단으로 사용자에게 제공하도록 오디오 출력부(291) 및 표시부(292)를 제어할 수 있다.
제어부(240)는 표시부(292)를 제어하여 음성 인식 과정 및 홈 어플라이언스(200) 제어 과정의 각 단계에 대응하여 시각적 정보를 제공할 수 있다.
또한, 제어부(240)는 오디오 출력부(291)를 제어하여 음성 인식 과정 및 홈 어플라이언스(200) 제어 과정의 각 단계에 대응하여 청각적 정보를 제공할 수 있다.
구동부(280)는 홈 어플라이언스(200)에 구현된 동작을 수행하는 것으로, 각 홈 어플라이언스(200)별로 다르게 구성될 수 있다.
예를 들어, 홈 어플라이언스(200)가 공기조화기(200a)인 경우, 구동부(280)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기팬을 동작시키는 실내기팬 구동부 등을 포함할 수 있다.
다른 예로, 홈 어플라이언스(200)가 청소기(200b)인 경우, 구동부(280)는, 공기 흡입을 위한 팬 모터 구동부 등을 포함할 수 있다.
또 다른 예로, 홈 어플라이언스(200)가 냉장고(200c)인 경우, 구동부(280)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부 등을 포함할 수 있다.
또 다른 예로, 홈 어플라이언스(200)가 세탁기(200d)인 경우, 구동부(280)는, 드럼 또는 터브를 구동하는 구동부(280) 등을 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스(200)가 조리기기(200e)인 경우, 구동부(280)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부 등 을 포함할 수 있다.
한편, 구동부(280)는, 모터 구동부를 포함할 수 있고, 모터를 구동하기 위해, 인버터(420) 등을 포함할 수 있다.
제어부(240)는, 홈 어플라이언스(200)의 전반적인 동작을 제어할 수 있다.
상술한 바와 같이, 제어부(240)는, 메모리(250)에 저장된 연령별 음성 데이터를 기초로, 마이크(221)가 수신한 사용자 음성을 인식하여, 사용자의 연령을 연산할 수 있다.
제어부(240)는, 연산 된 연령이 소정 연령 이하인 경우, 홈 어플라이언스(200)의 제어권한을 제한할 수 있다.
소정 연령은, 제조사 또는 사용자에 의해 설정될 수 있다. 예를 들어, 소정 연령은, 6세 미만의 취학 전 아동일 수 있다. 다른 예로, 소정 연령은, 14세 미만의 어린이를 포함할 수도 있다. 소정 연령은, 홈 어플라이언스(200)의 제어권한을 제한하는 것이 필요한 경우를 고려하여 적절하게 설정될 수 있다.
이에 따라, 홈 어플라이언스(200)는, 소정 연령 이하의, 홈 어플라이언스 사용에 대한, 잠재적인 위험을 차단하거나, 홈 어플라이언스 사용에 있어, 에너지 절약을 도모할 수도 있다.
한편, 제어권한은, 전원 온(ON), 오프(OFF) 제어권한 또는 운전 모드 제어권한일 수 있다. 예를 들어, 조기기기(200f), 특히 광파 오븐의 경우, 제어부(240)는, 소정 연령 이하의 광파 오븐에 대한 전원 온(ON) 제어를 제한할 수 있다. 이에 따라, 제어부(240)는, 광파 오븐의 부주의한 사용으로 인한 화재의 위험으로부터 아동의 안전을 보호할 수 있다.
다른 예로, 공기조화기(200a)의 경우, 제어부(240)는, 소정 연령 이하의 음성 명령에 대해, 공기조화기(200a)를 최대 출력의 60%로 운전하거나, 2시간 연속 운전 후 절전 모드로 동작하도록 할 수 있다. 이에 따라, 제어부(240)는, 공기조화기(200a)의 무분별한 사용으로 인한 자원 낭비를 방지할 수 있다.
제어부(240)는, 기 설정된 시간 동안에, 소정 연령 이하의 홈 어플라이언스(200)에 대한 제어권한을 제한할 수 있다. 기 설정된 시간은 제조사 또는 사용자에 의해 설정될 수 있다. 예를 들어, TV(200f)의 경우, 기 설정된 시간은, 소정 연령 이하의 부적절한 시청을 방지하기 위하여 23시부터 다음날 8시까지로 설정될 수 있다.
다른 예로, 조리기기(200e)의 경우, 기 설정된 시간은, 보호자의 감독 아래 조리기기(200e)가 사용될 수 있도록 적절하게 설정될 수도 있다.
한편, 홈 어플라이언스(200)는 사용자 입력을 위한 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 더 포함할 수 있다.
조작부(230)는, 복수의 조작 버튼을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(240)로 전달할 수 있다.
카메라(210)는 홈 어플라이언스(200) 주변, 외부 환경 등을 촬영하는 것으로, 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
예를 들어, 카메라(210)는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광 다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지 센서(예를 들어, CMOS image sensor)와, 광 다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
한편, 카메라(210)가 촬영하여 획득된 영상은 메모리(250)에 저장될 수 있다.
제어부(240)는, 상기 카메라(210)가 획득하는 영상에 기초하여, 사용자의 존재 여부 및, 홈 어플라이언스와의 거리 정보를 판별할 수 있다.
도 4는, 도 1의 서버의 내부 블록도이다.
도면을 참조하여 설명하면, 서버(400)는 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는, 음성 인식 서버 시스템(100)을 더 포함하여 구성될 수 있다.
서버(400)는, 음성을 수신하는 통신모듈(403)과, 사용자 연령을 연산하기 위한 연령별 음성 데이터를 저장하는 저장부(401)와, 연령별 음성 데이터를 기초로 음성을 인식하여, 사용자의 연령을 연산하는 프로세서(402)를 포함하여 구성될 수 있다.
통신모듈(403)은, 휴대 단말기, 공기조화기(200a), 다른 서버 등으로부터 상태 정보, 동작 정보, 조작 정보, 음성 데이터, 문자 데이터 등 각종 데이터를 수신할 수 있다.
또한, 통신모듈(403)은, 수신되는 각종 정보에 대응하는 데이터를 그대로 또는 소정 처리 후에 휴대 단말기, 공기조화기(200a), 다른 서버 등으로 전송할 수도 있다.
통신모듈(403)은, 홈 어플라이언스(200)가 전송한 사용자 음성을 수신할 수 있다. 한편, 사용자 음성은 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환된 것일 수 있다.
저장부(401)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있고, 프로세서(402)는 연령별 음성 데이터를 기초로, 사용자 음성을 인식하여 사용자 연령을 연산할 수 있다.
예를 들어, 연령별 음성 데이터는 연령별 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터 등을 포함할 수 있다.
프로세서(402)는, 통신모듈(403)이 수신한 음성의 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 등을 저장부(401)에 저장된 연령별 음성 데이터와 비교하여, 사용자 연령을 연산할 수 있다.
프로세서(402)는, 연산 된 연령이 소정 연령 이하인 경우, 제어 제한 신호를 생성할 수 있다. 또한, 프로세서(402)는, 제어 제한 신호를 통신모듈(403)을 통해 홈 어플라이언스(200)로 전송할 수 있다.
한편, 홈 어플라이언스(200)는, 서버(400)로부터 수신한 제어 제한 신호를 기초로, 홈 어플라이언스(200)에 대한, 사용자의 제어권한을 제한할 수 있다.
프로세서(402)는, 홈 어플라이언스(200)가 전송한 사용자 음성을 기초로, 연령별 음성 데이터 관련 업데이트 데이터를 생성할 수 있다. 또한, 프로세서(402)는, 연령별 음성 데이터 관련 업데이트 데이터를 저장부(401)에 저장하도록 제어할 수 있다.
저장부(401)는, 연령별 음성 데이터 관련 업데이트 데이터를 저장할 수 있고, 업데이트 데이터의 생성 날짜, 버전 등의 정보도 저장할 수 있다.
도 5는, 본 발명의 일실시예에 따른 홈 어플라이언스의 동작방법에 대한 순서도이고, 도 6은, 도 5의 동작방법을 설명하기 위한 참조도면이다.
도면을 참조하여 설명하면, 마이크(221)는 사용자 음성을 수신할 수 있다(S110). 오디오 입력부(200)는, 아날로그 음성을 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성을 제어부(240)에서 인식할 수 있도록 데이터화 할 수 있다.
한편, 오디오 입력부(200)는 마이크(221)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.
메모리(250)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있다.
도 6a는 성별 및 연령별 기본 주파수(Fundamentla frequency: Fo)의 변화를 수집한 데이터이고, 도 6b는, 도 6a를 기초로 데이터마이닝 기법을 활용하여 성별 및 연령별 기본 주파수(Fo)의 변화를 패턴화한 도면이다. 한편, 데이터 마이닝에 대해서는 후술한다.
도 6a에서, 남성의 경우, 20대가 되면서 기본 주파수가 10대보다 낮아져 40대까지 안정된 상태가 유지되는 것을 알 수 있다. 여성의 경우, 10대에서 30대까지 연령 증가에 따라 기본 주파수(Fo)의 점진적 감소를 보이다가 50대 이후 두드러진 감소를 나타내는 것을 알 수 있다.
또한, 생애 2년 이하의 유아는 300~500Hz의 높은 기본 주파수(Fo)를 가지며, 3세 부터 14세 이하의 여아와 남아는 250~300Hz의 기본 주파수(Fo)를 가지는 것을 알 수 있다.
메모리(250)는, 상기와 같은, 연령별 기본 주파수(Fo)의 변화 데이터를 저장할 수 있다. 또한, 메모리(250)는, 연령별 기본 주파수(Fo)의 변화 데이터 외에, 연령에 따른, 음도(pitch) 변화 데이터, 강도(loudness) 변화 데이터, 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터, 빠르기(Tempo) 데이터 등을 저장할 수도 있다.
제어부(240)는, 마이크(221)가 수신한 음성에서 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 등의 데이터를 추출할 수 있다.
제어부(240)는, 추출된 데이터 중 적어도 어느 하나, 또는 추출된 데이터의 조합을, 메모리(250)에 저장된 연령별 음성 데이터와 비교하여, 사용자 연령을 연산할 수 있다(S120).
예를 들어, 제어부(240)는, 마이크(221)가 수신한 음성에서 기본 주파수(Fo) 데이터를 추출할 수 있다. 추출된 기본 주파수(Fo)가 223.1Hz인 경우, 제어부(240)는, 기본 주파수(Fo) 또는, 음도(Pitch) 변화 등의 데이터와 조합하여 사용자의 연령이 20세라고 연산할 수 있다.
다른 예로, 제어부(240)는, 음성에서 추출된 기본 주파수(Fo)가 251.4Hz인 경우, 제어부(240)는, 기본 주파수(Fo) 또는, 음도(Pitch) 변화 등의 데이터와 조합하여 사용자의 연령이 14세라고 연산할 수 있다.
제어부(240)는, 연산 된 사용자 연령을 기초로, 사용자 연령이 소정 연령 이하에 해당하는지 여부를 연산할 수 있다(S130).
소정 연령은, 제조사 또는 사용자에 의해 설정될 수 있다. 예를 들어, 소정 연령은, 6세 미만의 취학 전 아동일 수 있다. 다른 예로, 소정 연령은, 14세 미만의 어린이를 포함할 수도 있다. 또한, 소정 연령은, 홈 어플라이언스(200)의 제어권한을 제한하는 것이 필요한 경우를 고려하여 적절하게 설정될 수 있다.
제어부(240)는, 연산 된 사용자 연령이 소정 연령 이하인 경우, 홈 어플라이언스(200)에 대한, 사용자의 제어권한을 제한할 수 있다(S140).
한편, 제어권한은, 전원 온(ON)/오프(OFF) 제어권한 또는 운전 모드 제어권한일 수 있다.
예를 들어, 조기기기(200f), 특히 광파 오븐의 경우, 제어부(240)는, 아동의 광파 오븐에 대한 전원 온(ON) 제어를 제한할 수 있다.
다른 예로, 공기조화기(200a)의 경우, 제어부(240)는, 아동의 냉방 모드 음성 명령에 대해, 공기조화기(200a)를 최대 출력의 60%로 운전하거나, 2시간 연속 운전 후 절전 모드로 동작하도록 할 수 있다.
또 다른 예로, TV(200f)의 경우, 제어부(240)는, 아동의 채널 선택 음성 명령에 대해, 부적절한 채널 선택권을 제한할 수도 있다.
제어부(240)는, 연산 된 사용자 연령이 소정 연령을 초과하는 경우, 홈 어플라이언스(200)에 대한, 사용자의 제어를 허용할 수 있다(S150). 이때, 소정 연령을 초과하는 사용자는 제어권한의 제한을 받지 않고 홈 어플라이언스(200)에 대한 전반적인 제어를 할 수 있다.
한편, 제어부(240)는, 제어권한에 기초하여 사용자 인터페이스(UI)를 표시부(292)에 표시하도록 제어할 수 있고, 이에 대해서는 도 7에서 살펴본다.
도 7은, 본 발명의 설명에 참조되는 도면이다.
도면을 참조하여 설명하면, 도 7은, 조리기기(200e), 특히 광파 오븐에 표시된 사용자 인터페이스(UI)의 구성을 예시하는 도면이다.
조리기기(200e), 특히 광파 오븐은, 사용자 명령을 입력받는 조그 휠을 포함할 수 있고, 오븐, 전기그릴, 전자렌지, 식품건조, 스팀 기능 등에 대응하는 오브젝트들을 디스플레이(310)에 표시할 수 있다.
도 7a에서, 제어부(240)는, 연산된 연령이 소정 연령을 초과하는 경우, 오븐 기능에 대응하는 오브젝트를, 디스플레이(310)에 활성화하여 표시하도록 제어할 수 있다.
도 7b에서, 제어부(240)는, 연산된 연령이 소정 연령 이하인 경우, 오븐 기능에 대응하는 오브젝트를, 디스플레이(310)에 비활성화하여 표시하도록 제어할 수 있다.
도 7a 및 도 7b는, 제어권한의 제한을 표시하는 일 예일 뿐, 이에 한정되지 않으며, 제어권한의 제한을 나타내는 형태는, UI, 디자인, 동영상, 그림, 문자, 3D 오브젝트 등으로 표시될 수도 있다.
또한, 도 7a 및 도 7b에서는 조리기기(200e), 특히 광파 오븐의 경우만을 예시하나, 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), TV(200f) 등의 홈 어플라이언스(200)의 경우에도 제어권한의 제한을 표시하는 오브젝트가 적절한 위치에, 적절한 크기로, 표시부(292)에 표시될 수 있을 것이다.
도 8은, 본 발명의 일실시예에 따른 홈 어플라이언스의 동작방법에 대한 순서도이고, 도 9는 도 8의 동작방법을 설명하기 위한 참조도면이다.
도면을 참조하여 설명하면, 마이크(221)는 사용자 음성을 수신할 수 있다(S210).
제어부(240)는 마이크(221)가 수신한 음성 내에, 제1 사용자의 음성 등록 명령이 포함되었는지 여부를 연산할 수 있다(S220). 이때, 제1 사용자는 소정 연령을 초과하는 사용자일 수 있다. 한편, 소정 연령은 만 19세 이상의 성인일 수 있다.
예를 들어, 사용자 음성 등록 명령은 "음성 등록 모드", "사용자 음성 등록", "아동 음성 등록" 등일 수 있고, 이는 제조사에 의해 설정될 수 있다.
제어부(240)는, 마이크(221)가 수신한 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함되어있지 않은 경우, 음성 등록을 진행하지 않고 종료할 수 있다.
제어부(240)는, 마이크(221)가 수신한 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함된 경우, 기 설정된 시간 이내에 제2 사용자의 음성이 수신되었는지 여부를 연산할 수 있다(S230). 이때, 제2 사용자는 소정 연령 이하의 사용자일 수 있다. 소정 연령은 만 14세 미만의 어린이일 수 있다.
한편, 소정 연령은 홈 어플라이언스(200)의 제어권한을 제한하는 것이 필요한 경우를 고려하여 적절하게 설정될 수 있다.
예를 들어, 제2 사용자의 음성은, 공기조화기(200a)의 경우, "엘지 휘센", 냉장고(200c), 조리기기(200e) 등의 경우에는 "엘지 디오스"일 수 있다. 한편, 제2 사용자의 음성은, 제2 사용자의 음성을 식별할 수 있는 것이라면 상술한 예에 한정되지 않는다.
제어부(240)는, 기 설정된 시간 이내에 소정 연령 이하의 제2 사용자의 음성을 수신받지 못하거나, 제1 사용자를 포함하는, 소정 연령을 초과하는 사용자의 음성이 수신된 경우, 음성 등록을 진행하지 않고 종료할 수 있다.
제어부(240)는, 기 설정된 시간 이내에 소정 연령 이하의 제2 사용자의 음성을 수신한 경우, 제2 사용자의 음성을 기초로, 제2 사용자의 음성을 등록할 수 있다(S240).
제어부(240)는, 제2 사용자의 음성이 등록된 이후, 제2 사용자의 홈 어플라이언스(200)에 대한 제어권한의 제한을 해제할 수 있다(S250). 따라서, 제2 사용자는, 제2 사용자의 음성이 등록된 이후, 홈 어플라이언스의 온(ON)/오프(OFF) 제어, 운전 모드 제어 등 홈 어플라이언스(200)의 전반적인 제어를 할 수 있다.
예를 들어, 도 9a에서, 제1 사용자는 "음성 등록 모드"를 발화할 수 있고, 조리기기(200e)는, 마이크(221)가 수신한 음성을 기초로 제1 사용자의 연령이 소정 연령을 초과하는지 여부를 연산할 수 있다.
조리기기(200e)는, 마이크(221)가 수신한 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함된 경우, 음성 등록 명령에 대응하는 처리 결과를 오디오로 출력할 수 있다.
예를 들어, 조리기기(200e)는, 음성 등록 명령에 대응하여 "음성 등록 모드에 진입하였습니다"를 오디오로 출력할 수 있다.
조리기기(200e)가 제1 사용자의 음성 등록 명령을 수신받은 경우, 조리기기(200e)는, 기 설정된 시간 이내에 제2 사용자의 음성을 수신하기 위한 수신 대기 모드에 진입할 수 있다. 기 설정된 시간은 30초 일 수 있고, 이는 제조사에 의해 설정될 수 있다.
예를 들어, 도 9b에서, 제2 사용자는 기 설정된 시간 이내에 "엘지 디오스"를 발화할 수 있고, 조리기기(200e)는, 기 설정된 시간 이내에 수신된 제2 사용자 음성을 기초로, 제2 사용자의 음성을 등록할 수 있다.
조리기기(200e)는, 기 설정된 시간 이내에, 소정 연령 이하의 제2 사용자의 음성을 수신한 경우, 음성 등록에 대응하는 처리 결과를 오디오로 출력할 수 있다.
예를 들어, 조기기기(200e)는, 음성 등록에 대응하여, "음성 등록을 완료하였습니다"를 오디오로 출력할 수 있다.
제2 사용자의 음성이 등록된 이후, 제2 사용자는, 홈 어플라이언스(200)의 전반적인 제어를 할 수 있다.
도 10은, 본 발명의 다른 실시예에 따른 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도면을 참조하여 설명하면, 홈 어플라이언스(200), 특히, 마이크(221)는 사용자 음성을 수신할 수 있다(S310). 한편, 마이크(221)가 수신하는 음성은, 호출어 또는 호출어 이후 입력되는 사용자 음성 명령일 수 있다. 호출어에 대한 설명은, 도 15 이하에서 살펴본다.
홈 어플라이언스(200), 특히, 통신부(270)는 사용자 음성을 서버(400)로 전송할 수 있다(S311). 한편, 사용자 음성은 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환된 것일 수 있다.
서버(400), 특히, 통신모듈(403)은 홈 어플라이언스(200)가 전송한 사용자 음성을 수신할 수 있다.
서버(400), 특히, 저장부(401)는, 사용자 연령을 연산하기 위한, 연령별 음성 데이터를 저장할 수 있다. 예를 들어 저장부(401)는, 연령에 따른, 기본 주파수(Fo) 변화 데이터, 음도(pitch) 변화 데이터, 강도(loudness) 변화 데이터, 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터, 빠르기(Tempo) 데이터 등을 저장할 수 있다.
서버(400), 특히, 프로세서(402)는, 통신모듈(403)이 수신한 음성에서 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 등의 데이터를 추출할 수 있다.
서버(400), 특히, 프로세서(402)는, 추출된 데이터 중 적어도 어느 하나, 또는 추출된 데이터의 조합을, 저장부(401)에 저장된 연령별 음성 데이터와 비교하여, 사용자 연령을 연산할 수 있다(S320).
서버(400), 특히, 프로세서(402)는, 연산 된 연령을 기초로, 사용자 연령이 소정 연령 이하에 해당하는지 여부를 연산할 수 있다(S330).
소정 연령은, 제조사 또는 사용자에 의해 설정될 수 있고, 홈 어플라이언스(200)의 제어권한을 제한하는 것이 필요한 경우를 고려하여 적절하게 설정될 수 있다.
서버(400), 특히 프로세서(402)는, 연산 된 사용자 연령이 소정 연령이 이하인 경우, 제어 제한 신호를 생성할 수 있다(S340). 이때, 서버(400), 특히 프로세서(402)는, 제어 제한 신호를 통신모듈(403)을 통해 홈 어플라이언스(200)로 전송할 수 있다(S341).
홈 어플라이언스(200), 특히, 통신부(270)는 제어 제한 신호를 수신받을 수 있다. 홈 어플라이언스(200), 특히, 제어부(240)는 제어 제한 신호를 기초로, 홈 어플라이언스(200)에 대한 사용자의 제어권한을 제한할 수 있다(S350).
서버(400), 특히 프로세서(402)는, 연산 된 사용자 연령이 소정 연령을 초과하는 경우, 제어 신호를 생성할 수 있다(S360).
서버(400), 특히 프로세서(402)는, 제어 신호를 통신모듈(403)을 통해 홈 어플라이언스(200)로 전송할 수 있다(S361).
홈 어플라이언스(200), 특히, 통신부(270)는, 제어 신호를 수신받을 수 있다. 홈 어플라이언스(200), 특히, 제어부(240)는, 수신한 제어 신호에 대응하여 동작하도록 홈 어플라이언스(200)를 제어할 수 있다(S370).
도 11은, 본 발명의 다른 실시예에 따른 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도면을 참조하여 설명하면, 홈 어플라이언스(200), 특히, 마이크(221)는 사용자 음성을 수신할 수 있다(S1010). 한편, 마이크(221)가 수신하는 음성은, 호출어 또는 호출어 이후 입력되는 사용자 음성 명령일 수 있다.
홈 어플라이언스(200), 특히, 통신부(270)는 사용자 음성을 서버(400)로 전송할 수 있다(S1020). 한편, 사용자 음성은 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환된 것일 수 있다.
서버(400), 특히, 통신모듈(403)은 홈 어플라이언스(200)가 전송한 사용자 음성을 수신할 수 있다.
서버(400), 특히 프로세서(402)는, 통신모듈(403)이 수신한 음성 내에, 제1 사용자 음성 등록 명령이 포함되었는지 여부를 연산할 수 있다(S1030). 이때, 제1 사용자는 소정 연령을 초과하는 사용자일 수 있다.
서버(400), 특히 프로세서(402)는, 통신모듈(403)이 수신한 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함되어있지 않은 경우, 음성 등록을 진행하지 않고 종료할 수 있다.
서버(400), 특히 프로세서(402)는, 통신모듈(403)이 수신한 음성 내에. 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함된 경우, 기 설정된 시간 이내에 제2 사용자의 음성이 수신되었는지 여부를 연산할 수 있다(S1040). 이때, 제2 사용자는 소정 연령 이하의 사용자일 수 있다.
한편, 소정 연령은 홈 어플라이언스(200)의 제어권한을 제한하는 것이 필요한 경우를 고려하여 적절하게 설정될 수 있다.
서버(400), 특히 프로세서(402)는, 기 설정된 시간 이내에 소정 연령 이하의 제2 사용자의 음성을 수신받지 못하거나, 제1 사용자를 포함하는, 소정 연령을 초과하는 사용자의 음성을 수신받은 경우, 음성 등록을 진행하지 않고 종료할 수 있다.
서버(400), 특히 프로세서(402)는, 기 설정된 시간 이내에 소정 연령 이하의 제2 사용자의 음성을 수신한 경우, 제2 사용자의 음성을 기초로, 제2 사용자의 음성을 등록할 수 있다(S1050).
서버(400), 특히 저장부(401)는, 제2 사용자의 음성 정보를 저장할 수 있다. 예를 들어, 제2 사용자의 기본 주파수(Fo) 데이터, 음도(pitch) 데이터, 강도(loudness) 데이터, 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터, 빠르기(Tempo) 데이터 등을 저장할 수 있다.
서버(400), 특히 프로세서(402)는, 제2 사용자의 음성이 등록된 이후, 제2 사용자의 홈 어플라이언스(200)에 대한 제어권한의 제한을 해제할 수 있다(S1060). 보다 상세하게는, 서버(400)는, 제2 사용자의 음성이 등록된 이후, 제2 사용자의 음성 명령에 대응하는 제어신호를 홈 어플라이언스(200)로 전송할 수 있다.
예를 들어, 서버(400)는, 제2 사용자의 음성이 등록된 이후, 제2 사용자의 설정 온도를 변경하는 음성 명령이 수신되면, 홈 어플라이언스(200)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다. 이때, 홈 어플라이언스(200)는, 서버(400)에서 수신 받은 제어 신호를 기초로, 설정 온도를 변경할 수 있다.
도 12는, 본 발명의 다른 실시예에 따른 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도면을 참조하여 설명하면, 홈 어플라이언스(200), 특히, 마이크(221)는 사용자 음성을 수신할 수 있다(S1110).
홈 어플라이언스(200), 특히, 통신부(270)는 사용자 음성을 서버(400)로 전송할 수 있다(S1120). 한편, 사용자 음성은 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환된 것일 수 있다.
서버(400), 특히, 통신모듈(403)은 홈 어플라이언스(200)가 전송한 사용자 음성을 수신할 수 있다.
서버(400), 특히, 저장부(401)는 사용자 음성을 저장할 수 있다(S1130). 예를 들어, 서버(400), 특히, 저장부(401)는, 사용자 음성을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 저장할 수 있다.
다른 예로, 서버(400), 특히, 저장부(401)는 사용자 음성을, 기본 주파수(Fo) 데이터, 음도(pitch) 데이터, 강도(loudness) 데이터, 진동 변화율(jitter) 데이터, 파형 규칙성(shimmer) 데이터, 빠르기(Tempo) 데이터 등으로 분류하여 저장할 수 있다.
이때, 서버(400), 특히, 프로세서(402)는, 사용자 음성을 기초로, 데이터 마이닝 기법에 의해, 연령별 음성 데이터를 생성하여 저장부(401)에 저장할 수 있다(S1140, S1150).
예를 들어, 도 6a에서와 같이, 서버(400)는, 사용자 음성을 기초로 연령별 기본 주파수(Fo) 데이터를 수집할 수 있다. 또한, 서버 특히 프로세서(402)는, 상기 연령별 기본 주파수(Fo) 데이터에서 오류값, 이상값 등의 의미 없는 정보를 삭제하는 정제과정(cleaning, transformation)을 수행할 수 있다.
도 6b에서와 같이, 서버(400), 특히, 프로세서(402)는, 기본 주파수(Fo)의 평균값을 추출하여 연령별 기본 주파수 마이닝 모델을 생성할 수 있다.
서버(400), 특히, 프로세서(402)는, 연령별 기본 주파수(Fo)의 최소값, 최대값(임계치), 표준 편차 등을 이용하여 최대 허용 불일치 값(mismatch)을 정의할 수 있다.
한편, 서버(400), 특히, 프로세서(402)는, 통신모듈(403)이 수신한 음성이 최대 허용 불일치 값(mismatch) 범위 이내에 속하는 경우, 해당 연령의 사용자로 연산할 수 있다.
예를 들어, 만 14세 음성의 기본 주파수 평균이 251Hz이고, 최대 허용 불일치가±0.8%인 경우, 서버(400)가 수신한 음성의 기본 주파수가 251.7Hz라면, 프로세서(402)는, 사용자가 만 14세라고 연산할 수 있다.
서버(400), 특히, 프로세서(402)는, 데이터 마이닝 기법에 의해, 제1 연령별 음성 데이터 관련 업데이트 데이터를 생성할 수 있다. 이때, 서버(400), 특히 프로세서(402)는, 업데이트 데이터 생성을 위해, 의사결정트리(decision tree), 신경망 모형(neural network), 규칙 귀납(rule induction), K-평균 군집화(K-means clustering) 등의 기법을 사용할 수 있다.
서버(400), 특히, 통신모듈(403)은 데이터 마이닝 기법에 의한, 제1 연령별 음성 데이터 관련 업데이트 데이터를 홈 어플라이언스(200)로 전송할 수 있다(S1160).
홈 어플라이언스(200), 특히, 통신부(270)는, 제1 연령별 음성 데이터 관련 업데이트 데이터를 수신받을 수 있다.
홈 어플라이언스(200), 특히, 제어부(240)는, 제1 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 메모리(250)에 저장된 연령별 음성 데이터를 업데이트할 수 있다(S1170). 한편, 메모리(250)에 저장된 연령별 음성 데이터를 제1 연령별 음성 데이터라고 할 수 있다.
서버(400), 특히, 프로세서(402)는, 데이터 마이닝 기법에 의해, 제2 연령별 음성 데이터 관련 업데이트 데이터를 생성할 수 있다. 이때, 서버(400), 특히 프로세서(402)는, 업데이트 데이터 생성을 위해, 의사결정트리(decision tree), 신경망 모형(neural network), 규칙 귀납(rule induction), K-평균 군집화(K-means clustering) 등의 기법을 사용할 수 있다.
서버(400), 특히, 프로세서(402)는, 데이터 마이닝 기법에 의한, 제2 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 저장부(401)에 저장된 연령별 음성 데이터를 업데이트 할 수 있다(S1180). 한편, 저장부(401)에 저장된 연령별 음성 데이터를 제2 연령별 음성 데이터라고 할 수 있다.
도 13 내지 도 19는 본 발명의 설명에 참조되는 도면이다.
도 13은 음성 인식 서버 시스템의 일예이다. 도 13를 참조하면, 음성 인식 서버 시스템은, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다.
음성 서버(110)는, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 상기 수신한 음성 데이터를 텍스트(text) 데이터로 변환하며, 텍스트 데이터를 분석하여 음성 명령을 판별할 수 있다.
또한, 음성 서버(110)는, 판별한 음성 명령에 대응하는 신호를 소정 서버로 송신할 수 있다.
예를 들어, 음성 인식 서버 시스템은 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200)로 송신하는 가전 제어 서버(130)를 포함할 수 있다.
상기 홈 어플라이언스(200)는 사용자가 발화한 음성 명령 입력을 수신하여 수신한 음성 명령 입력에 기초한 음성 데이터를 상기 음성 서버(110)로 송신할 수 있다.
상기 음성 서버(110)는, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 상기 판별한 음성 명령에 기초하는 응답 신호를 상기 홈 어플라이언스(200)로 송신하는 자연어 처리(Natural Language Processing: NLP) 서버(112), 및, 상기 홈 어플라이언스(200)로부터 상기 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200)로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버(113)를 포함할 수 있다.
상기 자동 음성 인식 서버(111)는 홈 어플라이언스(200)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 상기 자연어 처리 서버(112)로 송신할 수 있다.
상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 음성 명령을 판별할 수 있다.
상기 자연어 처리 서버(112)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
이에 따라, 상기 자연어 처리 서버(112)는 사용자가 일상적인 사용 언어로 음성 명령을 입력하더라도 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
상기 자연어 처리 서버(112)는 자연어 처리 결과에 대응하는 신호, 즉, 판별한 음성 명령에 대응하는 신호를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 연계 서비스 서버(120)는, 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신할 수 있다.
상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200)에 관한 것이면, 상기 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행할 수 있다.
또는, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200)에 관한 것이 아니면, 외부의 외부 서비스(121)와 통신하여 대응하는 동작을 수행할 수 있다.
예를 들어, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 날씨, 주식, 뉴스 등의 정보를 요청하는 명령이면, 요청된 정보에 대응하는 서비스를 제공하는 서버로 해당 정보를 요청하고 수신할 수 있다.
또한, 상기 연계 서비스 서버(120)는 수신한 정보를 음성 서버(110)로 송신할 수 있고, 상기 자연어 처리 서버(112)는 수신한 정보를 홈 어플라이언스(200)로 전달할 수 있다.
상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200)에 관한 것이면, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하여 상기 가전 제어 서버(130)로 송신할 수 있다.
상기 가전 제어 서버(130)는, 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200)로 송신할 수 있다.
예를 들어, 공기조화기(200a)의 설정 온도를 변경하는 요청이 수신되면, 상기 가전 제어 서버(130)는 상기 공기조화기(200a)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.
한편, 홈 어플라이언스(200)는 상기 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다.
또한, 홈 어플라이언스(200)는 요청받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 상기 가전 제어 서버(130)로 송신할 수 있다.
또한, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 음성 서버(110)는, 상기 처리 결과 정보를 포함하는 응답 신호를 상기 홈 어플라이언스(200)로 송신할 수 있다.
또한, 상기 음성 서버(110)는, 상기 홈 어플라이언스(200)로부터 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함하는 신호를 수신하고, 상기 수신한 출력 문구 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200)로 전송할 수 있다.
이 경우에, 상기 자연어 처리 서버(112)가 상기 홈 어플라이언스(200)로 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는, 상기 처리 결과 정보를 포함할 수 있다.
한편, 홈 어플라이언스(200)는 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 기초하는 응답 신호를 수신할 수 있다. 여기서, 응답 신호를 상기 판별한 음성 명령에 대응하는 응답의 텍스트 데이터를 포함할 수 있다.
예를 들어, 사용자가 공기조화기의 설정 온도를 변경하는 음성 명령을 입력한 경우에, 상기 응답 신호는 설정 온도를 변경하였음을 나타내는 텍스트 데이터를 포함할 수 있다.
한편, 홈 어플라이언스(200)는 수신한 응답 신호에 대응하는 텍스트를 포함하는 신호를 상기 텍스트 음성 변환 서버(113)로 송신할 수 있다. 여기서, 상기 응답 신호에 대응하는 텍스트를 포함하는 신호는 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함할 수 있다.
한편, 상기 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200)로 송신할 수 있다. 여기서 변환된 음성 데이터는 음원 파일을 포함할 수 있다.
상기 홈 어플라이언스(200)는 스피커를 통하여 수신한 음성 데이터에 기초한 음성 안내 메시지를 출력할 수 있다.
한편, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200)의 상태 정보를 상기 가전 제어 서버(130)로 요청하고, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다. 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200)의 상태 정보가 확보되어 있는 상태가 아닌 경우에는, 상기 홈 어플라이언스(200)로 상태 정보를 요청하여 수신할 수 있다.
한편, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.
또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
이 경우에도, 홈 어플라이언스(200)는 상기 텍스트 음성 변환 서버(113)로 음성 데이터를 요청, 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.
실시예에 따라서는, 상기 음성 서버(110)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 상기 자연어 처리 서버(112)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다.
이 경우에, 상기 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 상기 자연어 처리 서버(112)가 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 지원하지 않는 기능임을 알리는 신호일 수 있다.
음성 서버(110) 및 이를 포함하는 음성 인식 서버 시스템(100)은, 자연어 음성처리를 위해 여러 역할을 하는 서버를 유기적으로 연결하여 이용할 수 있다.
홈 어플라이언스(200)는 음성 명령의 수신 및 전처리, 서버 전송까지의 동작을 수행하고, 음성 서버(110)는, 음성/텍스트 변환, 의도분석, 명령 식별 등 자연어 처리 과정을 수행할 수 있다.
음성 서버(110)가 자연어 처리를 수행함으로써, 홈 어플라이언스(200) 내부 임베디드 모듈의 CPU, 메모리 등의 부담을 감소시킬 수 있다.
한편, 연계 서비스 서버(120)는 외부 서비스 및 가전 제어 서버(130)와 통신하여 사용자의 음성 명령에 기초한 동작을 수행할 수 있다.
한편, 홈 어플라이언스(200)는 음성 서버(110)로부터 음원 파일을 포함하는 음성 데이터를 수신하여, 음성 안내 메시지를 오디오로 출력함으로써, 청각적 피드백으로 사용자의 음성 입력에 화답할 수 있다.
홈 어플라이언스(200)는 음성 서버(110)로부터 음성 파일을 스트리밍으로 전달 받아 사용자에게 음성 안내 메시지를 재생, 출력할 수 있다. 이에 따라 홈 어플라이언스(200)는 다양한 음원 파일을 저장하고 있을 필요가 없다.
한편, 연계 서비스 서버(120)를 통하여 다른 서버와 충돌하지 않으면서도 다양한 외부 서비스들과의 연계가 가능하다. 또한, 외부 서비스 연동 서버를 통해 의도분석 시 외부 정보를 반영하여 의도분석 성공률을 높일 수 있다.
음성 인식 서버 시스템(100)은, 복수의 서버를 통해, 호환성 및 연결성을 확보하고, 최종 제어 명령은 가전 제어 서버(130)를 활용함으로써, 음성 인식 과정과 가전 제어 서버(130)를 통해 와이파이 통신을 이용한 가전 제어 사이의 충돌 및 휴대 단말기를 통한 가전 제어와 홈 어플라이언스(200)를 통한 음성 입력에 의한 가전 제어 간 충돌을 막을 수 있다.
음성 인식 서버 시스템(100)은, 서버 간 유기적인 연결을 통해 어느 한 서버에 의존하여 특정서버에 부하가 몰리는 것을 줄일 수 있고, 각각의 서버 별 역할이 달라, 특정 서버에서 문제가 생길 경우 동일한 역할을 하는 타 서버와의 연계를 통해 쉽게 대응이 가능하다.
또한, 복수의 서버들을 독립적으로 수시로 업데이트할 수 있어, 성능 개선에 유리하다.
도 14는, 음성 인식 서버 시스템의 일예이다.
도 14에서 예시된 음성 인식 서버 시스템은, 도 13에서 예시된 음성 인식 서버 시스템이 음성 안내 메시지 출력을 위한 음성 데이터가 홈 어플라이언스(200)로 전송되는 과정을 개선하여 음성 제어 응답 시간을 향상한 것이다.
따라서, 도 13와 도 14에서 예시된 음성 인식 서버 시스템은 상기 차이점 이외의 동작은 실질적으로 동일하게 수행할 수 있고, 이하에서는 동일한 부분에 대해서는 간략히 기술한다.
도 14를 참조하면, 음성 인식 서버 시스템은, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다.
또한, 음성 인식 서버 시스템은, 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200)로 송신하는 가전 제어 서버(130)를 더 포함할 수 있다.
도 14에서 예시된 음성 인식 서버 시스템은, 홈 어플라이언스(200)의 요청 없이도, 상기 음성 서버(110)가 상기 음성 명령에 기초하는 처리 결과 정보를 포함하는 음성 데이터를 상기 홈 어플라이언스(200)로 송신할 수 있다.
상기 음성 서버(110)는, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리 서버(112), 및, 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 홈 어플라이언스(200)로 송신하는 텍스트 음성 변환 서버(113)를 포함할 수 있다.
본 실시예에서도, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 연계 서비스 서버(120)는 음성 서버(110), 더욱 상세하게는 자연어 처리 서버(112)로 상기 처리 결과 정보를 전달할 수 있다.
이 경우에, 상기 텍스트 음성 변환 서버(113)가 상기 홈 어플라이언스(200)로 송신하는 음성 데이터는, 상기 처리 결과 정보를 포함할 수 있다.
또한, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200)의 상태 정보를 상기 가전 제어 서버로 요청하고, 상기 가전 제어 서버는, 상기 홈 어플라이언스(200)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
또한, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.
또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 음성 서버(110)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
예를 들어, 상기 연계 서비스 서버(120)는 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
또한, 상기 자연어 처리 서버(112)는 상기 텍스트 음성 변환 서버(113)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 전달하고, 상기 텍스트 음성 변환 서버(113)는 대응하는 음성 데이터를 생성하여 홈 어플라이언스(200)로 송신할 수 있다.
홈 어플라이언스(200)는 상기 텍스트 음성 변환 서버(113)로부터 음성 데이터를 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.
실시예에 따라서는, 상기 음성 서버(110)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 상기 자연어 처리 서버(112)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다.
이 경우에, 상기 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 상기 자연어 처리 서버(112)가 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 지원하지 않는 기능임을 알리는 신호일 수 있다.
홈 어플라이언스(200)가 동작한 후 제일 마지막으로 음성 안내를 위한 텍스트 음성 변환 서버(113)에 해당 동작에 대한 안내 멘트를 요청할 경우 동작과 안내 멘트 사이에 시간 차가 발생할 수 있다.
하지만, 도 14의 음성 인식 서버 시스템에 따르면, 의도분석이 완료되어 동작 요청이 자연어 처리 서버(112)에서 송신될 때, 이와 동시에 텍스트 음성 변환 서버(113)로 정보를 제공해줄 수 있다.
또한, 가전 제어 서버(130)에서 홈 어플라이언스(200)에 제어 명령을 내리는 시점에 준하여 텍스트 음성 변환 서버(113)에서 홈 어플라이언스(200)로 안내멘트를 제공할 수 있다.
이에 따라, 홈 어플라이언스(200) 동작과 동시 또는 바로 후 안내멘트가 발화될 수 있다.
본 실시예에 따르면, 자연어 처리 서버(112)와 텍스트 음성 변환 서버(113)를 바로 연결함으로써, 가전 제어 서버(130)를 통한 제어명령과 안내멘트 사이의 시간 차를 최소화할 수 있다.
한편, 도 13와 도 14에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하였지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 홈 어플라이언스(200)에는 공기조화기(200a) 외에 로봇청소기, 냉장고, 세탁기, 조리기기 등이 해당될 수 있다.
한편, 음성 인식 서버 시스템은, 도 13와 도 14과 달리, 음성 인식 및 처리를 위한 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113)는 하나의 통합 서버로 구성될 수 있다.
또한, 실시예에 따라서는, 연계 서비스 서버(120)와 가전 제어 서버(130)는 하나의 통합 서버로 구성될 수 있다.
본 발명에 따르면, 음성 입력에 따라 홈 어플라이언스(200)가 동작함으로써, 사용자가 리모콘 등 원격제어장치, 휴대 단말기 등을 조작할 필요가 없어, 사용자 편의성을 증대시킬 수 있다.
또한, 도 13과 도 14를 참조하여 설명한 것과 같이, 본 발명은 복수의 서버를 이용하여, 사용자의 자연어 음성 명령을 인식하고, 대응하는 제어 동작을 수행함으로써, 홈 어플라이언스(200), 각 서버의 시스템 자원에 제한되지 않고 효율적으로 자연어를 인식, 처리할 수 있다.
도 15 내지 도 17은 음성 인식 서버 시스템의 신호 흐름을 예시한 도면으로, 도 13에 예시된 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.
도 15는 사용자의 음성 명령에 따라 홈 어플라이언스(200)가 동작하는 통상적인 상황에서의 신호 흐름을 예시한다.
이하에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하지만 본 발명은 이에 한정되지 않는다.
도 15를 참조하면, 홈 어플라이언스(200), 예를 들어, 공기조화기(200a)는 사용자의 음성 명령을 수신할 수 있고(S410), 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S420).
예를 들어, 공기조화기(200a)는 사용자가 "LG 휘센, 온도 19도로 해"와 같이 온도 설정을 변경하는 명령을 수신하면, 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.
한편, 공기조화기(200a)는 호출어를 포함하는 웨이크 업 신호를 수신한 후, 명령어 입력을 대기하다가 입력되는 음성 명령을 음성 서버(110)로 송신할 수 있다.
또는, 공기조화기(200a)는 호출어 및 음성 명령을 포함하는 연속적인 음성 입력을 수신할 수 있다. 이 경우에, 공기조화기(200a)는 호출어를 인식하고, 음성 명령을 음성 서버(110)로 송신할 수 있다.
한편, 시스템 내부에서 기기 상호 간에 통신할 때, 송수신하는 신호는, 주고받는 메인 데이터 외에 각 기기의 식별 정보, 수행하는 작업(task)에 대한 세션(session) 값 등을 더 포함할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S431), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S433).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S441).
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 온도 19도로 해"에서 사용자가 공기조화기(200a)의 설정 온도를 18도로 변경하라는 의도의 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 상기 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S443).
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S451), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S453), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S455).
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 판별한 음성 명령에 따라 해당 공기조화기(200a)의 설정 온도를 18도로 변경하라는 요청 신호를 가전 제어 서버(130)로 송신할 수 있다(S461).
가전 제어 서버(130)는, 상기 요청 신호에 기초하여, 제어 신호를 생성, 공기조화기(200a)로 송신함으로써, 공기조화기(200a)를 제어할 수 있다(S463).
또한, 가전 제어 서버(130)는, 공기조화기(200a)의 제어 후 상기 홈 어플라이언스(200)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다(S465).
연계 서비스 서버(120)는, "에어컨 온도를 18도로 설정합니다" 등 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있고(S470), 자연어 처리 서버(112)는 판별한 사용자의 음성 명령에 기초하는 응답 신호를 상기 홈 어플라이언스(200)로 송신할 수 있다(S481). 여기서, 판별한 사용자의 음성 명령에 기초하는 응답 신호는 상기 처리 결과 정보를 포함할 수 있다.
한편, 홈 어플라이언스(200)는 상기 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S483), 이를 수신한 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S485), 상기 홈 어플라이언스(200)로 송신할 수 있다(S487).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "에어컨 온도를 18도로 설정합니다" 등 음성 안내 메시지를 출력할 수 있다(S490).
도 16는 해당 홈 어플라이언스(200)의 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.
도 16를 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 빨래 시작" 등 공기조화기(200a)가 지원하지 않는 빨래 기능에 대한 사용자의 음성 명령을 수신할 수 있다(S510).
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S520). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S531), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S533).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S541).
또한, 자연어 처리 서버(112)는 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 본 실시예에서는, 자연어 처리 서버(112)는 공기조화기(200a)가 지원하지 않는 빨래 기능을 사용자가 요청했음을 판별할 수 있다.
이후, 자연어 처리 서버(112)는 공기조화기(200a)로 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S543).
한편, 홈 어플라이언스(200)는 상기 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S551), 이를 수신한 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S553), 상기 홈 어플라이언스(200)로 송신할 수 있다(S555).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "지원하지 않는 기능입니다" 등 음성 안내 메시지를 출력할 수 있다(S560).
도 17은 해당 홈 어플라이언스(200)의 현재 동작 모드에서 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 쿨파워 시작해" 등 공기조화기(200a)의 특정 모드 운전을 지시하는 사용자의 음성 명령을 수신할 수 있다(S610).
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S620). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S631), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S633).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S641).
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 쿨파워 시작해"에서 사용자가 공기조화기(200a)를 쿨파워 모드로 운전하라는 의도의 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 상기 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S643).
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S651), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S653), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S655).
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 공기조화기(200a)의 현재 상태 정보를 기준으로 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다(S657). 예를 들어, 현재 공기조화기(200a)가 제습 모드로 운전 중이고, 쿨파워 모드는 냉방 모드에서만 지원되는 경우에, 자연어 처리 서버(112)는 현재 상태에서 지원하지 않는 쿨파워 모드를 사용자가 요청했음을 판별할 수 있다.
이후, 연계 서비스 서버(120)는 자연어 처리 서버(112)로 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S660).
또한, 자연어 처리 서버(112)로 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)로 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S671).
한편, 홈 어플라이언스(200)는 상기 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S673), 이를 수신한 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S675), 상기 홈 어플라이언스(200)로 송신할 수 있다(S677).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "쿨파워는 냉방모드에서만 지원됩니다" 등 음성 안내 메시지를 출력할 수 있다(S680).
도 18 내지 도 20은 음성 인식 서버 시스템의 신호 흐름을 예시한 도면으로, 도 14에 예시된 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.
도 18은 사용자의 음성 명령에 따라 홈 어플라이언스(200)가 동작하는 통상적인 상황에서의 신호 흐름을 예시한다.
도 18을 참조하면, 홈 어플라이언스(200), 예를 들어, 공기조화기(200a)는 사용자의 음성 명령을 수신할 수 있고(S710), 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S720).
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S731), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S733).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S741).
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 온도 19도로 해"에서 사용자가 공기조화기(200a)의 설정 온도를 18도로 변경하라는 의도의 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 상기 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S743).
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S751), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S753), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S755).
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 판별한 음성 명령에 따라 해당 공기조화기(200a)의 설정 온도를 18도로 변경하라는 요청 신호를 가전 제어 서버(130)로 송신할 수 있다(S761).
가전 제어 서버(130)는, 상기 요청 신호에 기초하여, 제어 신호를 생성, 공기조화기(200a)로 송신함으로써, 공기조화기(200a)를 제어할 수 있다(S763).
또한, 가전 제어 서버(130)는, 공기조화기(200a)의 제어 후 상기 홈 어플라이언스(200)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다(S765).
연계 서비스 서버(120)는, "에어컨 온도를 18도로 설정합니다" 등 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있다(S770).
한편, 자연어 처리 서버(112)는 판별한 사용자의 음성 명령에 기초하는 응답 신호를 텍스트 음성 변환 서버(113)로 송신할 수 있다(S781). 여기서, 판별한 사용자의 음성 명령에 기초하는 응답 신호는 상기 처리 결과 정보를 포함할 수 있다.
한편, 텍스트 음성 변환 서버(113)는 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S783), 상기 홈 어플라이언스(200)로 송신할 수 있다(S785).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "에어컨 온도를 18도로 설정합니다" 등 음성 안내 메시지를 출력할 수 있다(S790).
도 19은 해당 홈 어플라이언스(200)의 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.
도 19을 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 빨래 시작" 등 공기조화기(200a)가 지원하지 않는 빨래 기능에 대한 사용자의 음성 명령을 수신할 수 있다(S810).
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S820). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S831), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S833).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S841).
또한, 자연어 처리 서버(112)는 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 본 실시예에서는, 자연어 처리 서버(112)는 공기조화기(200a)가 지원하지 않는 빨래 기능을 사용자가 요청했음을 판별할 수 있다.
이후, 자연어 처리 서버(112)는 텍스트 음성 변환 서버(113)로 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S843).
텍스트 음성 변환 서버(113)는 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S845), 상기 홈 어플라이언스(200)로 송신할 수 있다(S847).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "지원하지 않는 기능입니다" 등 음성 안내 메시지를 출력할 수 있다(S850).
도 20는 해당 홈 어플라이언스(200)의 현재 동작 모드에서 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.
도 20를 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 쿨파워 시작해" 등 공기조화기(200a)의 특정 모드 운전을 지시하는 사용자의 음성 명령을 수신할 수 있다(S910).
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S920). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S931), 상기 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S933).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S941).
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 쿨파워 시작해"에서 사용자가 공기조화기(200a)를 쿨파워 모드로 운전하라는 의도의 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 상기 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S943).
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S951), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S953), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S955).
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 공기조화기(200a)의 현재 상태 정보를 기준으로 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다(S957). 예를 들어, 현재 공기조화기(200a)가 제습 모드로 운전 중이고, 쿨파워 모드는 냉방 모드에서만 지원되는 경우에, 자연어 처리 서버(112)는 현재 상태에서 지원하지 않는 쿨파워 모드를 사용자가 요청했음을 판별할 수 있다.
이후, 연계 서비스 서버(120)는 자연어 처리 서버(112)로 상기 판별한 음성 명령이 상기 홈 어플라이언스(200)가 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S960).
또한, 자연어 처리 서버(112)로 상기 판별한 음성 명령이 텍스트 음성 변환 서버(113)로 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S971).
한편, 텍스트 음성 변환 서버(113)는, 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S973), 상기 홈 어플라이언스(200)로 송신할 수 있다(S975).
홈 어플라이언스(200)는 수신한 음성 데이터에 기초하여 "쿨파워는 냉방모드에서만 지원됩니다" 등 음성 안내 메시지를 출력할 수 있다(S980).
이에 따라, 사용자의 명령을 이해 못한 경우, 제공할 수 없는 기능인 경우 등에 대하여 적합한 음성 안내를 제공하는 사용자 경험을 구현할 수 있다.
명령 처리 중 발생하는 각각의 상황과 시점에 맞는 안내 멘트를 제공함으로써, 사용자의 불편함을 최소화할 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나, 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
10: 홈 어플라이언스 시스템
200: 홈 어플라이언스
240: 제어부
250: 메모리
270: 통신부
400: 서버
401: 저장부
402: 프로세서
403: 통신모듈

Claims (13)

  1. 표시부;
    음성을 수신하는 마이크;
    사용자의 연령을 연산하기 위한, 연령별 음성 데이터를 저장하는 메모리;
    상기 연령별 음성 데이터를 기초로, 상기 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 상기 연령이, 소정 연령 이하인 경우, 홈 어플라이언스의 제어권한을 제한하는 제어부;를 포함하고,
    상기 제어부는,
    기 설정된 시간 동안에, 상기 제어권한을 제한하는 것을 특징으로 하는 홈 어플라이언스.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제어권한은,
    전원 온(on) 제어권한 또는 운전 모드 제어권한 중 어느 하나인 것을 특징으로 하는 홈 어플라이언스.
  4. 제 1항에 있어서,
    상기 제어부는,
    제한된 상기 제어권한에 기초하여, 사용자 인터페이스(UI)를 상기 표시부에 표시하도록 제어하는 것을 특징으로 하는 홈 어플라이언스.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 마이크가 수신한 상기 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함된 경우, 상기 음성 등록 명령 후, 기 설정된 시간 이내에 수신한, 소정 연령 이하의 제2 사용자의 음성을 기초로 음성 등록을 수행하는 것을 특징으로 하는 홈 어플라이언스.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 제2 사용자의 음성 등록 후, 상기 제2 사용자의 상기 홈 어플라이언스에 대한, 상기 제어권한의 제한을, 해제하는 것을 특징으로 하는 홈 어플라이언스.
  7. 제 1항에 있어서,
    상기 연령별 음성 데이터는,
    연령별 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터 중 적어도 어느 하나의 데이터를 포함하고,
    상기 제어부는,
    상기 마이크가 수신한 상기 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 중 적어도 어느 하나를 상기 연령별 음성 데이터와 비교하여, 사용자 연령을 연산하는 것을 특징으로 하는 홈 어플라이언스.
  8. 제 1항에 있어서,
    상기 마이크가 수신한 상기 음성을 서버로 전송하고, 연령별 음성 데이터 관련 업데이트 데이터를 서버로부터 수신하는 통신부;를 더 포함하고,
    상기 제어부는,
    상기 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 상기 메모리에 저장된, 상기 연령별 음성 데이터를 업데이트하는 것을 특징으로 하는 홈 어플라이언스.
  9. 음성을 전송하는 홈 어플라이언스; 및
    상기 음성을 수신하는 통신모듈과, 사용자의 연령을 연산하기 위한, 연령별 음성 데이터를 저장하는 저장부와, 상기 연령별 음성 데이터를 기초로, 상기 음성을 인식하여, 사용자의 연령을 연산하고, 연산 된 상기 연령이, 소정 연령 이하인 경우, 제어 제한 신호를 생성하는 프로세서를 포함하는 서버;를 포함하고,
    상기 서버는,
    상기 제어 제한 신호를 상기 홈 어플라이언스로 전송하고,
    상기 홈 어플라이언스는,
    상기 제어 제한 신호를 기초로, 제어권한을 제한하는 것을 특징으로 하는 홈 어플라이언스 시스템.
  10. 제 9항에 있어서,
    상기 서버는,
    상기 통신모듈이 수신한 상기 음성 내에, 소정 연령을 초과하는 제1 사용자의 음성 등록 명령이 포함된 경우, 상기 음성 등록 명령 수신 후, 기 설정된 시간 이내에 수신한 소정 연령 이하의 제2 사용자의 음성을 기초로, 음성 등록을 수행하는 것을 특징으로 하는 홈 어플라이언스 시스템.
  11. 제 10항에 있어서,
    상기 서버는,
    상기 제2 사용자의 음성등록 후, 상기 제2 사용자의 상기 홈 어플라이언스에 대한, 상기 제어권한의 제한을, 해제하는 것을 특징으로 하는 홈 어플라이언스 시스템.
  12. 제 9항에 있어서,
    상기 연령별 음성 데이터는,
    연령별 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 데이터 중 적어도 어느 하나의 데이터를 포함하고,
    상기 서버는,
    상기 통신모듈이 수신한 상기 음성의, 주파수(frequency), 음도(pitch), 강도(loudness), 진동 변화율(jitter), 파형 규칙성(shimmer) 중 적어도 어느 하나를 상기 연령별 음성 데이터와 비교하여, 사용자 연령을 연산하는 것을 특징으로 하는 홈 어플라이언스 시스템.
  13. 제 9항에 있어서,
    상기 서버는,
    데이터 마이닝 기법에 의한, 제1 연령별 음성 데이터 관련 업데이트 데이터를, 상기 홈 어플라이언스로 전송하고, 데이터 마이닝 기법에 의한, 제2 연령별 음성 데이터 관련 업데이트 데이터를 기초로, 상기 저장부에 저장된 상기 연령별 음성 데이터를, 업데이트 하는 것을 특징으로 하는 홈 어플라이언스 시스템.
KR1020170085590A 2017-07-05 2017-07-05 홈 어플라이언스 및 홈 어플라이언스 시스템 KR101936639B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170085590A KR101936639B1 (ko) 2017-07-05 2017-07-05 홈 어플라이언스 및 홈 어플라이언스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170085590A KR101936639B1 (ko) 2017-07-05 2017-07-05 홈 어플라이언스 및 홈 어플라이언스 시스템

Publications (1)

Publication Number Publication Date
KR101936639B1 true KR101936639B1 (ko) 2019-01-09

Family

ID=65017141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170085590A KR101936639B1 (ko) 2017-07-05 2017-07-05 홈 어플라이언스 및 홈 어플라이언스 시스템

Country Status (1)

Country Link
KR (1) KR101936639B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111023470A (zh) * 2019-12-06 2020-04-17 厦门快商通科技股份有限公司 空调温度调节方法、介质、设备及装置
KR20210026622A (ko) * 2019-08-30 2021-03-10 (주)쿠첸 차일드락 기능을 구비하는 가열 기기
WO2021232798A1 (zh) * 2020-05-18 2021-11-25 珠海格力电器股份有限公司 一种智能家居设备的控制方法、装置、设备及介质
CN117690431A (zh) * 2023-12-25 2024-03-12 杭州恒芯微电子技术有限公司 一种基于语音识别的麦克风***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162421A1 (en) 2014-04-22 2015-10-29 Kenwood Limited Kitchen appliance having contactless operation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162421A1 (en) 2014-04-22 2015-10-29 Kenwood Limited Kitchen appliance having contactless operation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026622A (ko) * 2019-08-30 2021-03-10 (주)쿠첸 차일드락 기능을 구비하는 가열 기기
KR102311289B1 (ko) * 2019-08-30 2021-10-14 (주)쿠첸 차일드락 기능을 구비하는 가열 기기
CN111023470A (zh) * 2019-12-06 2020-04-17 厦门快商通科技股份有限公司 空调温度调节方法、介质、设备及装置
WO2021232798A1 (zh) * 2020-05-18 2021-11-25 珠海格力电器股份有限公司 一种智能家居设备的控制方法、装置、设备及介质
CN117690431A (zh) * 2023-12-25 2024-03-12 杭州恒芯微电子技术有限公司 一种基于语音识别的麦克风***

Similar Documents

Publication Publication Date Title
JP6902136B2 (ja) システムの制御方法、システム、及びプログラム
KR101936639B1 (ko) 홈 어플라이언스 및 홈 어플라이언스 시스템
US10692499B2 (en) Artificial intelligence voice recognition apparatus and voice recognition method
JP6053097B2 (ja) 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
JP6305390B2 (ja) 情報通知方法、情報端末、およびプログラム
CN108574515B (zh) 一种基于智能音箱设备的数据分享方法、装置和***
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
US10803863B2 (en) Artificial intelligence voice recognition apparatus
CN105206275A (zh) 一种设备控制方法、装置及终端
KR101924963B1 (ko) 홈 어플라이언스의 동작 방법
KR102395013B1 (ko) 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
KR20180127100A (ko) 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
US20210195500A1 (en) Electronic device for setting up network of external device and method for operating same
KR20180110974A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20180110972A (ko) 음성 인식 방법
KR101946587B1 (ko) 공기조화기 및 공기조화 시스템
KR101949363B1 (ko) 홈 어플라이언스 및 그 동작 방법
KR20190070906A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20190054707A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
JP2020200968A (ja) 電気機器
KR20180110973A (ko) 홈 어플라이언스 및 그 동작 방법
JP3723203B2 (ja) 通信回線を用いた情報供給システム
JP3851344B2 (ja) 通信回線を用いた情報供給システム
JP3764468B2 (ja) 通信回線を用いた情報供給システム
JP2006270948A (ja) 通信回線を用いた情報供給システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant