KR20130018464A - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20130018464A
KR20130018464A KR1020110115249A KR20110115249A KR20130018464A KR 20130018464 A KR20130018464 A KR 20130018464A KR 1020110115249 A KR1020110115249 A KR 1020110115249A KR 20110115249 A KR20110115249 A KR 20110115249A KR 20130018464 A KR20130018464 A KR 20130018464A
Authority
KR
South Korea
Prior art keywords
voice
motion
user
input
electronic device
Prior art date
Application number
KR1020110115249A
Other languages
English (en)
Inventor
김정근
김유태
유승동
한상진
류희섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/567,427 priority Critical patent/US20130033644A1/en
Priority to JP2014539880A priority patent/JP2014532933A/ja
Priority to AU2012336602A priority patent/AU2012336602A1/en
Priority to MX2014001447A priority patent/MX2014001447A/es
Priority to PCT/KR2012/009240 priority patent/WO2013069936A1/en
Priority to EP12191394.1A priority patent/EP2590424A3/en
Priority to CN2012104422075A priority patent/CN103092337A/zh
Publication of KR20130018464A publication Critical patent/KR20130018464A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Manipulator (AREA)

Abstract

전자 장치 및 그의 제어 방법이 제공된다. 본 전자 장치의 제공 방법은 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식하고, 음성 인식 모듈을 통해 사용자 음성이 인식되면, 원격 제어 장치에 의해 제어 가능한 태스크 중에서 상기 인식된 사용자 음성에 대응되는 음성 태스크를 수행하고,모션 인식 모듈을 통해 사용자 모션이 인식되면, 원격 제어 장치에서 제어 가능한 태스크 중에서 인식된 사용자 모션에 대응되는 모션 태스크를 수행한다. 이에 의해, 사용자는 음성 인식 및 모션 인식을 이용하여 전자 장치를 더욱 효과적으로 제어할 수 있게 된다.

Description

전자 장치 및 그의 제어 방법{Electronic apparatus and Method for controlling electronic apparatus thereof}
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 음성 입력부 및 모션 입력부를 통해 입력된 음성 및 모션에 따라 제어되는 전자 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다.
이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 전자 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 전자 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 전자 장치의 다양한 기능을 효과적으로 사용하기에는 어려움이 있었다. 가령, 전자 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하였다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않은 일이었다.
또한, 다양한 메뉴들을 화면상에 표시하여 사용자가 해당 메뉴를 찾아서 선택하도록 하는 방법의 경우, 사용자가 복잡한 메뉴 트리를 일일이 확인하여, 자신이 원하는 메뉴를 선택하여야 한다는 번거로움이 있었다.
따라서, 전자 장치를 조금 더 편리하고 효과적으로 제어하기 위한 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 음성 입력부 및 모션 입력부를 통해 입력된 음성 및 모션에 의해 제어되는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식하는 단계; 및 상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 원격 제어 장치에 의해 제어 가능한 태스크 중에서 상기 인식된 사용자 음성에 대응되는 음성 태스크를 수행하고,상기 모션 인식 모듈을 통해 상기 사용자 모션이 인식되면, 상기 원격 제어 장치에서 제어 가능한 태스크 중에서 상기 인식된 사용자 모션에 대응되는 모션 태스크를 수행하는 단계;를 포함하며, 상기 음성 태스크 및 상기 모션 태스크는 상기 원격 제어 장치에 구비된 버튼 별로 구분되어 매핑될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 인식 모듈을 통해 음성 개시 명령이 인식되면, 상기 음성 인식 모듈을 통해 인식된 사용자 음성에 의해서 상기 전자 장치가 제어되는 음성 태스크 모드로 전환하는 단계; 및 모션 인식 모듈을 통해 모션 개시 명령이 인식되면, 상기 모션 인식 모듈을 통해 인식된 사용자 모션에 의해서 상기 전자 장치가 제어되는 모션 태스크 모드로 전환하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치의 제어 방법은, 상기 음성 인식을 안내하기 위한 음성 아이템이 포함된 음성 가이드 정보 및 상기 모션 인식을 안내하기 위한 모션 아이템이 포함된 모션 가이드 정보 중 하나를 디스플레이하는 단계; 상기 음성 가이드 정보에 포함된 음성 아이템 중 하나에 대응되는 명령어가 인식되면, 상기 인식된 명령어에 대응되는 음성 태스크를 수행하는 단계; 및 상기 모션 가이드 정보에 포함된 모션 아이템 중 하나에 대응되는 모션이 인식되면, 상기 인식된 모션에 대응되는 모션 태스크를 수행하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식하는 단계; 및 상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 채널 식별자가 각각 부여된 복수의 채널 중 상기 인식된 사용자 음성에 대응되는 채널 식별자가 부여된 채널로 변경하는 채널 바로가기를 수행하고, 상기 모션 인식 모듈을 통해 사용자의 모션이 인식되면, 상기 사용자의 모션의 방향에 대응되도록 상기 복수의 채널을 단계적으로 변경하는 채널 재핑을 수행하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치의 제어 방법은, 음성 인식 모듈을 통해 음성 개시 명령(trigger voice)을 인식하는 단계; 상기 인식된 음성 개시 명령에 응답하여 상기 음성 인식에 의해 제어되는 음성 태스크 모드를 수행하기 위한 음성 아이템을 디스플레이부에 표시하는 단계; 및 모션 인식 모듈을 통해 모션 개시 명령이 인식되면, 상기 모션 인식에 의해 제어되는 모션 태스크 모드에 대응되는 모션 아이템을 상기 디스플레이부에 표시하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치의 제어 방법은, 모션 인식 모듈을 통해 모션 개시 명령(trigger motion)을 인식하는 단계; 상기 인식된 모션 개시 명령에 응답하여 상기 모션 인식에 의해 제어되는 모션 태스크 모드를 수행하기 위한 모션 아이템을 디스플레이부에 표시하는 단계; 및 음성 인식 모듈을 통해 음성 개시 명령이 인식되면, 상기 음성 인식에 의해 제어되는 음성 태스크 모드에 대응되는 음성 아이템을 상기 디스플레이부에 표시하는 단계;를 포함한다.
그리고, 상기 음성 태스크는, 채널 바로가기 및 소리끄기 중 적어도 하나를 포함하며, 상기 모션 태스크는, 채널 재핑(zapping) 및 볼륨 레벨 조절 중 적어도 하나를 포함할 수 있다.
또한, 상기 인식된 사용자 음성에 채널을 선택하기 위한 채널 식별자가 포함되면, 상기 사용자 음성에 포함된 채널 식별자에 대응되는 채널로 변경되는 채널 바로가기를 수행하며, 상기 채널 식별자는 채널번호, 채널명 및 프로그램 명 중 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자 모션은 슬랩을 포함하며, 상하 방향의 슬랩이 인식되면, 채널 재핑을 수행하고, 좌우 방향의 슬랩이 인식되면, 볼륨 레벨 조절을 수행할 수 있다.
또한, 상기 인식된 사용자 모션이 위쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 증가된 채널로 변경되도록 채널 재핑을 수행하고, 상기 인식된 사용자 모션이 아래쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 감소된 채널로 변경되도록 채널 재핑을 수행하며, 상기 인식된 사용자 모션이 오른쪽 방향의 슬랩 모션이면, 현재 출력되는 볼륨 레벨보다 기 설정된 레벨만큼 증가된 볼륨이 출력되도록 볼륨 레벨 조절을 수행하고, 상기 인식된 사용자 모션이 왼쪽 방향의 슬랩 모션이면, 현재 출력되는 볼륨보다 기 설정된 레벨만큼 감소된 볼륨이 출력되도록 볼륨 레벨 조절을 수행할 수 있다.
그리고, 상기 음성 태스크는 상기 원격 제어 장치에 구비된 숫자 버튼에 의해 수행 가능한 태스크이며, 상기 모션 태스크는 상기 원격 제어 장치에 구비된 볼륨 업/다운 버튼 및 채널 업/다운 버튼 중 적어도 하나에 의해 수행 가능한 태스크일 수 있다.
또한, 상기 사용자 음성이 인식된 경우, 상기 음성 태스크를 수행하기 위한 음성 아이템을 디스플레이하는 단계; 및 상기 사용자 모션이 인식된 경우, 상기 모션 태스크를 수행하기 위한 모션 아이템을 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 음성 아이템 및 모션 아이템은, 디스플레이 화면의 동일한 영역에 디스플레이될 수 있다.
또한, 상기 음성 태스크 및 상기 모션 태스크를 포함하는 복수의 태스크들을 수행하기 위한 복수의 모듈을 저장부에 저장하는 단계;를 더 포함할 수 있다.
그리고, 상기 음성 태스크 및 상기 모션 태스크 각각은, 서로 다른 태스크의 결합 없이 단독으로 상기 전자 장치의 설정을 변경할 수 있다.
또한, 상기 채널 바로가기를 수행하는 단계는, 상기 사용자 음성에 숫자가 포함된 경우, 상기 사용자 음성에 대응되는 채널 번호를 가지는 채널로 바로 변경되는 채널 바로가기를 수행할 수 있다.
그리고, 상기 채널 재핑을 수행하는 단계는, 상기 사용자 모션이 위쪽 방향의 슬랩 모션 및 아래쪽 방향의 슬랩 모션 중 하나인 경우, 상기 사용자 모션에 대응되는 방향으로 채널 번호를 순차적으로 변경하는 채널 재핑을 수행할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 사용자 모션을 입력받는 모션 입력부; 및 상기 사용자 음성 및 상기 사용자 모션 중 하나를 인식하고, 상기 사용자 음성이 인식되면, 원격 제어 장치에 의해 제어 가능한 태스크 중에서 상기 인식된 사용자 음성에 대응되는 음성 태스크를 수행하고, 상기 사용자 모션이 인식되면, 상기 원격 제어 장치에서 제어 가능한 태스크 중에서 상기 인식된 사용자 모션에 대응되는 모션 태스크를 수행하는 제어부;를 포함하며, 상기 음성 태스크 및 상기 모션 태스크는 상기 원격 제어 장치에 구비된 버튼별로 구분되어 매핑될 수 있다.
그리고, 상기 음성 태스크는, 채널 바로가기 및 소리끄기 중 적어도 하나를 포함하며, 상기 모션 태스크는, 채널 재핑(zapping) 및 볼륨 레벨 조절 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령을 입력받는 음성 입력부; 모션 개시 명령을 입력받는 모션 입력부; 및 상기 음성 개시 명령 및 상기 모션 개시 명령 중 하나를 인식하고, 상기 음성 개시 명령이 인식되면, 상기 음성 입력부에 입력된 사용자 음성에 의해서 상기 전자 장치가 제어되는 음성 태스크 모드로 전환하며, 상기 모션 개시 명령이 인식되면, 상기 모션 입력부에 입력된 사용자 모션에 의해서 상기 전자 장치가 제어되는 모션 태스크 모드로 전환하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치는, 상기 음성 인식을 위해 사용자 음성을 입력받는 음성 입력부; 상기 모션 인식을 위해 사용자 모션을 입력받는 모션 입력부; 상기 음성 인식을 안내하기 위한 음성 아이템이 포함된 음성 가이드 정보 및 상기 모션 인식을 안내하기 위한 모션 아이템이 포함된 모션 가이드 정보 중 하나를 디스플레이하는 디스플레이부; 및 상기 음성 가이드 정보에 포함된 음성 아이템에 대응되는 명령어 중 하나가 인식되면, 상기 인식된 명령어에 대응되는 음성 태스크를 수행하고, 상기 모션 가이드 정보에 포함된 모션 아이템 중 하나가 인식되면, 상기 인식된 모션에 대응되는 모션 태스크를 수행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 사용자 모션을 입력받는 모션 입력부; 및 상기 사용자 음성 및 상기 사용자 모션 중 하나를 인식하고, 상기 사용자 음성이 인식되면, 채널 식별자가 각각 부여된 복수의 채널 중 상기 인식된 사용자 음성에 대응되는 채널 식별자가 부여된 채널로 변경하는 채널 바로가기를 수행하고, 상기 사용자의 모션이 인식되면, 상기 인식된 사용자 모션의 방향에 대응되도록 상기 복수의 채널을 단계적으로 변경하는 채널 재핑을 수행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치는, 디스플레이부; 사용자 음성을 입력받는 음성 입력부; 사용자 모션을 입력받는 모션 입력부; 및 상기 디스플레이부, 상기 음성 입력부 및 상기 모션 입력부를 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 음성 입력부를 통해 입력된 음성 개시 명령을 인식하고, 상기 음성 개시 명령에 응답하여 음성 인식으로 수행되는 음성 태스크 모드에 대응되는 음성 아이템을 상기 디스플레이부에 표시하도록 제어하고, 상기 모션 입력부를 통해 입력된 모션 개시 명령이 인식되면, 상기 모션 개시 명령에 응답하여 모션 인식으로 수행되는 모션 태스크 모드로 전환되도록 제어한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 모션 인식이 가능한 전자 장치는, 디스플레이부; 사용자 음성을 입력받는 음성 입력부; 사용자 모션을 입력받는 모션 입력부; 및 상기 디스플레이부, 상기 음성 입력부 및 상기 모션 입력부를 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 모션 입력부를 통해 입력된 모션 개시 명령이 인식되면, 상기 사용자 모션으로 수행되는 모션 태스크에 대응되는 모션 아이템을 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 음성 입력부를 통해 입력된 음성 개시 명령이 인식되면, 상기 사용자 음성으로 수행되는 음성 태스크 모드를 수행하기 위한 음성 아이템을 상기 디스플레이부에 표시하도록 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 인식된 음성에 따라 음성 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 음성 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계; 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계; 상기 음성 태스크들 중, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계; 인식된 모션에 따라 모션 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서, 상기 모션 태스크들을 수행하기 위한 모션 가이드 정보를 표시하는 단계; 상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하는 단계; 및 상기 제2 태스크들 중, 상기 제1 모션 아이템에 대응하는 태스크를 수행하는 단계를 포함한다.
그리고, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는, 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보(additional item information) 를 표시하는 단계를 포함할 수 있다.
또한, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는, 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계를 더 포함할 수 있다.
그리고, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는, 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다.
또한, 상기 적어도 하나의 음성 아이템 각각은 발화가능한(utterable) 명령어일 수 있다.
그리고, 상기 아이템 부가 정보는 상기 제1 음성 아이템과 관련된 부가 명령어, 가이드 문구 및 발화(utterance) 예시 중 적어도 하나를 포함할 수 있다.
또한, 상기 적어도 하나의 모션 아이템 각각은 상기 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 및 상기 인식 가능한 모션에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다.
그리고, 상기 음성 가이드 정보 및 상기 모션 가이드 정보 중 적어도 하나는 상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
또한, 상기 아이템 부가 정보는 상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 하나의 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
그리고, 상기 음성 태스크 모드는 상기 모션 태스크 모드로 진입하기 위한 미리 설정된 모션을 나타내는 모션 개시 명령(trigger motion)이 인식되는 경우, 상기 모션 태스크 모드로 전환되고, 상기 모션 태스크 모드는 상기 음성 태스크 모드로 진입하기 위한 미리 설정된 음성을 나타내는 음성 개시 명령(trigger voice)이 인식되는 경우, 상기 음성 태스크 모드로 전환될 수 있다.
또한, 상기 음성 태스크들 및 상기 모션 태스크들은 서로 상이하고, 상기 음성 태스크들은 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자에 대응하는 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 채널 바로가기를 포함하고, 상기 모션 태스크들은 채널 업 및 다운 중 하나에 대응하는 제2 모션이 인식된 경우, 상기 채널 업 및 다운 중 하나에 대응하도록, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하기 위한 채널 재핑을 포함할 수 있다.
그리고, 상기 아이템 부가 정보는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 음성 태스크들 중 채널 바로가기인 경우, 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구 및 발화 예시 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 아이템 부가 정보에 대응하는 상기 식별자에 대한 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 상기 채널 바로가기를 수행할 수 있다.
그리고, 상기 제1 모션 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 모션 아이템에 대응하는 상기 태스크가 상기 모션 태스크들 중 채널 재핑인 경우, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경할 수 있다.
또한, 상기 음성 태스크들 및 상기 모션 태스크들은 서로 상이하고, 상기 음성 태스크들은 미리 설정된 레벨들 중 하나의 레벨에 대응하는 제4 음성이 인식된 경우, 상기 인식된 제4 음성에 대응하는 상기 레벨로서 볼륨 레벨을 지정하기 위한 볼륨 레벨 지정을 포함하고, 상기 모션 태스크들은 볼륨 업 및 다운 중 하나에 대응하는 제3 모션이 인식된 경우, 상기 볼륨 업 및 다운 중 하나에 대응하도록, 현재 볼륨에서 현재 볼륨 레벨보다 미리 설정된 레벨만큼 증가시키는 것과 미리 설정된 레벨만큼 감소시키는 것 중 하나를 나타내는 볼륨 레벨 조절을 포함할 수 있다.
그리고, 상기 아이템 부가 정보는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 음성 태스크들 중 전원끄기인 경우, 상기 전원끄기의 수행 여부를 문의하는 가이드 문구 및 상기 문의의 답변에 대한 발화 예시 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 음성 태스크들 중 소리끄기인 경우, 상기 소리끄기가 수행되도록 제어하고, 상기 제1 음성 아이템을 대신하여 상기 제1 태스크들 중 소리켜기에 대응하는 제2 음성 아이템을 포함하는 변경된 음성 가이드 정보를 표시하는 단계를 포함할 수 있다.
그리고, 상기 음성 가이드 정보로서 표시된 상기 적어도 하나의 음성 아이템은 상기 음성 가이드 정보와 함께 표시되는 어플리케이션, OSD(on screen display) 및 인식 후보(candidate) 중 적어도 하나에 따라, 상기 음성 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
또한, 상기 모션 가이드 정보로서 표시된 상기 적어도 하나의 모션 아이템은 상기 모션 가이드 정보와 함께 표시되는 어플리케이션, OSD 및 인식 후보 중 적어도 하나에 따라, 상기 모션 태스크들에 대응하는 모션 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
그리고, 상기 음성 태스크 모드에서 상기 음성 가이드 정보와 함께 인식 후보가 표시된 후, 상기 음성 태스크 모드에서 상기 모션 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 태스크 모드에 상응하는 상기 모션 가이드 정보로 변경하여 표시하는 단계를 더 포함하고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
또한, 상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는 상기 계속하여 표시되는 인식 후보 중 하나의 인식 후보에 포커스를 표시하는 단계를 포함할 수 있다.
그리고, 상기 모션 태스크 모드에서 상기 모션 가이드 정보와 함께 인식 후보가 표시된 후, 상기 모션 태스크 모드에서 상기 음성 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 모션 가이드 정보를 상기 음성 태스크 모드에 상응하는 상기 음성 가이드 정보로 변경하여 표시하는 단계를 더 포함하고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
또한, 상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는 상기 계속하여 표시되는 인식 후보에 대응하는 숫자 및 문자 중 적어도 하나로 구성된 인덱스를 표시하는 단계를 포함할 수 있다.
그리고, 상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 음성 아이템이 상기 음성 태스크들에 대응하는 음성 아이템들 중에서 상기 적어도 하나의 음성 아이템과 다른 아이템을 표시 위한 아이템인 경우, 상기 다른 아이템을 표시하는 단계를 포함할 수 있다.
또한, 상기 다른 아이템을 표시하는 단계는 표시된 음성 아이템 중 어느 하나가 미리 설정된 시간동안 인식되지 않는 경우, 상기 음성 태스크 모드를 중단하기 위한 타이머의 구동을 생략하는 것을 더 포함할 수 있다.
그리고, 기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는 상기 제1 음성 아이템 및 상기 제1 음성 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
또한, 상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는 상기 제1 모션 아이템 및 상기 제1 모션 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
그리고, 상기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는 상기 제1 음성의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
또한, 상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는 상기 제1 모션의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함한다.
그리고, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하고, 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어하는 제어부를 포함하고, 상기 제어부는 상기 음성 태스크 모드에서 상기 UI로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고, 상기 제1 태스크들 중 상기 제1 음성 아이템에 대응하는 태스크를 수행하고, 상기 모션 태스크 모드에서 상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하고, 상기 제2 태스크들 중 상기 제1 모션 아이템에 대응하는 태스크를 수행할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계; 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계; 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보를 표시하는 단계; 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계; 및 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하는 제어부를 포함하고, 상기 제어부는 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고, 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어하고, 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하고, 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 제스처 인식이 가능한 전자 장치의 UI 제공방법은, 음성 개시 명령(trigger voice)을 인식하는 단계; 상기 인식된 음성 개시 명령에 응답하여, 음성 인식이 가능한 명령어에 대응하는 음성 아이템을 상기 전자 장치의 디스플레이 화면에 표시하는 단계; 제1 명령어에 대응되는 제1 명령어 음성(voice)을 인식하는 단계; 및 상기 제1 명령어 음성에 응답하여, 상기 디스플레이 화면에 음성 인식을 통해 제어 가능한 제1 어플리케이션의 제1 단축 아이콘을 음성 인식을 통해 제어 불가능한 제2 어플리케이션의 제2 단축 아이콘과 구별되게 표시하는 단계를 포함한다.
그리고, 상기 제1 단축 아이콘은 상기 제1 어플리케이션의 오리지널 단축 아이콘과 상기 오리지널 단축 아이콘의 일측에 표시되는 추가(additional) 아이콘과의 결합(combination)일 수 있다.
또한, 상기 제1 단축 아이콘의 이름은 상기 제2 단축 아이콘의 이름과 구별되게 표시될 수 있다.
그리고, 음성 인식을 통해 상기 제1 어플리케이션이 제어되면, 상기 제1 단축 아이콘이 상기 제2 단축 아이콘과 구별되게 표시되는 단계를 더 포함할 수 있다.
또한, 상기 인식된 음성 개시 명령에 응답하여, 상기 디스플레이 화면의 일측에 제1 피드백(feedback)을 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 UI에 표시되는 상기 제1 단축 아이콘의 이름에 대응되는 제2 명령어 음성을 인식하는 단계를 더 포함하고, 상기 제1 단축 아이콘의 이름은 상기 제1 단축 아이콘의 일측에 표시될 수 있다.
또한, 상기 제2 명령어 음성에 응답하여, 상기 제1 어플리케이션이 상기 디스플레이 화면에 표시되는 단계를 더 포함할 수 있다.
그리고, 상기 제2 명령어 음성을 수신하여 인식하는 단계에 있어서, 상기 제2 명령어 음성에 대응되는 어플리케이션이 복수이면, 상기 UI의 일측에 상기 복수의 어플리케이션에 대응되는 어플리케이션의 목록이 표시될 수 있다.
또한, 상기 UI에는 음성 인식을 통해 제어 가능한 제3 어플리케이션의 제3 단축 아이콘 및 상기 제3 단축 아이콘의 일측에는 상기 제3 단축 아이콘의 이름이 표시되고, 상기 제3 단축 아이콘의 이름이 결정된 길이보다 길면, 상기 제3 단축 아이콘의 이름의 일 부분만 표시될 수 있다.
그리고, 상기 제3 단축 아이콘의 이름의 일 부분에 대응되는 제3 명령어 음성을 인식하는 단계;를 더 포함하고, 상기 제3 명령어 음성에 응답하여, 상기 제3 어플리케이션이 상기 디스플레이 화면에 표시될 수 있다.
또한, 상기 음성 아이템은 복귀(return)를 포함하고, 복귀에 대응되는 제4 명령어 음성을 인식하면, 상기 제4 명령어 음성에 응답하여 상기 UI가 표시되기 이전으로(previous) 복귀할 수 있다.
그리고, 수신되는 방송 신호에 대응되는 영상, 음성, 제어 데이터는 상기 디스플레이 화면 및 스피커를 통해 출력되는 단계;를 더 포함할 수 있다.
또한, 모션 개시 명령(trigger motion)을 인식하는 단계; 상기 인식된 모션 개시 명령에 응답하여, 모션 인식을 통해 제어 가능한 모션에 대응되는 모션 아이템을 상기 디스플레이 화면에 표시하는 단계; 및 상기 제1 단축 아이콘을 상기 제2 단축 아이콘과 동일한 방식으로 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 인식된 모션 개시 명령에 응답하여, 상기 디스플레이 화면의 일측에 제2 피드백을 표시하는 단계를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 제스처 인식이 가능한 전자 장치의 UI 제공방법은, 음성 개시 명령을 인식하는 단계; 상기 음성 개시 명령에 응답하여, 음성 인식을 통해 제어 가능한 제1 어플리케이션의 제1 단축 아이콘에 관련된 명령어를 포함하는 음성 아이템을 상기 전자 장치의 디스플레이 화면의 일측에 표시하는 단계; 상기 명령어에 대응되는 명령어 음성을 인식하는 단계; 및 상기 명령어 음성에 응답하여, 상기 디스플레이 화면에 상기 제1 단축 아이콘을 음성 인식을 통해 제어 불가능한 제2 어플리케이션의 제2 단축 아이콘과 구별되게 표시하는 단계를 포함하고, 상기 제1 단축 아이콘은 상기 제1 어플리케이션의 오리지널 단축 아이콘과 상기 오리지널 단축 아이콘의 일측에 표시되는 추가 아이콘과의 결합일 수 있다.
그리고, 모션 개시 명령이 인식되면, 상기 제1 단축 아이콘은 상기 제2 단축 아이콘과 동일하게 표시되는 단계를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 음성 인식 및 제스처 인식이 가능한 전자 장치는, 디스플레이부; 음성을 수신하는 음성 입력부; 및 상기 디스플레이부 및 상기 음성 입력부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 음성 입력부를 통해 수신된 음성 개시 명령을 인식하여 음성 인식을 통해 제어 가능한 음성 아이템을 상기 디스플레이부에 표시하고, 상기 음성 입력부를 통해 수신된 제1 명령어 음성을 인식하여, 상기 디스플레이부에 음성 인식을 통해 제어 가능한 제1 어플리케이션의 제1 단축 아이콘을 포함하는 UI를 표시하도록 제어하고, 상기 UI에는 상기 제1 단축 아이콘과 음성 인식을 통해 제어 불가능한 제2 어플리케이션의 제2 단축 아이콘을 구별되게 표시될 수 있다.
그리고, 상기 제어부는, 상기 제1 어플리케이션의 오리지널 단축 아이콘과 상기 오리지널 단축 아이콘의 일측에 표시되는 추가 아이콘과의 결합인 상기 제1 단축 아이콘이 표시되도록 제어할 수 있다.
또한, 상기 제어부는, 상기 음성 입력부를 통해 수신된 상기 제1 단축 아이콘의 이름에 대응되는 제2 명령어 음성을 인식하고, 상기 인식된 제2 명령어 음성에 응답하여, 상기 제1 어플리케이션을 상기 디스플레이부에 표시되도록 제어할 수 있다.
그리고, 사용자의 모션을 수신하는 모션 입력부;를 더 포함하고, 상기 제어부는, 상기 모션 입력부를 제어하고, 상기 모션 입력부를 통해 수신되는 모션 개시 명령을 인식하여, 모션 인식을 통해 제어 가능한 모션 아이템을 상기 디스플레이부에 표시하고, 상기 UI에는 상기 제1 단축 아이콘과 상기 제2 단축 아이콘을 동일하게 표시되도록 제어할 수 있다.
또한, 외부 장치와 유/무선으로 연결가능한 네트워크 인터페이스부;를 더 포함하고, 상기 제어부는, 상기 네트워크 인터페이스부를 제어하여 음성 인식으로 제어 가능한 제3 어플리케이션을 상기 외부 장치로부터 다운로드하도록 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 UI 제공 방법은, 음성 태스크 모드로 진입하는 단계; 및 상기 음성 태스크 모드에서 디스플레이 화면에 음성 인식을 통해 제어가능한 제1 어플리케이션에 대응되는 제1 단축 아이콘을 음성 인식을 통해 제어 불가능한 제2 어플리케이션의 제2 단축 아이콘과 구별되게 표시하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 인식된 사용자의 모션에 응답하여, 복수 개의 방송 신호들 중 하나의 방송 신호를 선택하는 단계; 상기 선택된 방송 신호를 제공하는 단계; 상기 선택된 방송 신호의 제공을 중지하고, 저장된 컨텐츠를 제공하는 단계; 상기 인식된 사용자의 모션과 동일한 형태의 사용자의 모션을 재 인식하는 단계; 및 상기 재 인식된 사용자의 모션에 응답하여, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계를 포함하는 제어 방법.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 복수 개의 방송 신호들 중 하나의 방송 신호 및 저장된 컨텐츠 중 하나를 제공하는 단계; 모션 인식을 통해 사용자의 모션을 인식하는 단계; 상기 인식된 사용자의 모션에 응답하여, 상기 방송 신호를 제공하면, 상기 제공된 방송 신호의 볼륨의 크기를 조절하거나 또는 상기 복수 개의 방송 신호들 중 다른 하나의 방송 신호를 제공하고, 상기 컨텐츠를 제공하면, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계를 포함한다.
그리고, 상기 방송 신호는, 방송 수신부로부터 수신한 방송 신호이고, 상기 컨텐츠는, 상기 저장부에 저장된 컨텐츠이거나, 외부단자 입력부 또는 네트워크 인터페이스로부터 수신된 컨텐츠인 것일 수 있다.
또한, 상기 컨텐츠는 복수 개의 페이지를 포함하고, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계는, 상기 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 다른 하나의 페이지가 표시되는 화면으로 변경하는 단계일 수 있다.
그리고, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계는, 상기 인식된 사용자의 모션의 방향에 대응하여, 상기 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 상, 하, 좌 또는 우 측에 위치한 페이지 중 하나의 페이지가 표시되는 화면으로 변경하는 단계일 수 있다.
또한, 상기 컨텐츠는 하나의 페이지를 포함하고,
상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계는,상기 하나의 페이지의 일부가 표시되는 화면을 상기 하나의 페이지의 다른 일부가 표시되는 화면으로 변경하는 단계일 수 있다.
그리고, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 단계는, 상기 제공된 컨텐츠가 표시되는 화면을 상기 컨텐츠와 다른 컨텐츠가 표시되는 화면으로 변경하는 단계일 수 있다.
또한, 음성 인식 모듈을 통해 사용자의 음성을 인식하는 단계; 및상기 인식된 사용자의 음성에 따라 상기 복수 개의 방송 신호들 중 또 다른 하나의 방송 신호를 제공하는 단계를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 제1 영상 데이터 및 상기 제1 영상 데이터를 위한 오디오 데이터를 함께 제공하는 단계; 인식된 사용자의 모션에 응답하여, 상기 오디오 데이터의 볼륨의 크기를 조절하는 단계; 상기 제1 영상 데이터 및 상기 오디오 데이터의 제공을 중지하고, 제2 영상 데이터를 제공하는 단계; 상기 인식된 사용자의 모션과 실질적으로 동일한 형태의 사용자의 모션을 재 인식하는 단계; 및 상기 재 인식한 사용자의 모션에 응답하여, 상기 제2 영상 데이터가 표시되는 화면의 적어도 일부를 변경하는 단계일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 복수 개의 소스에서 각각 제공되는 영상 데이터들 중 제1 영상 데이터 및 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 제2 영상 데이터 중 하나를 제공하는 단계; 모션 인식 모듈을 통해 사용자의 모션을 인식하는 단계; 및 상기 인식된 사용자의 모션에 응답하여, 상기 제1 영상 데이터를 제공하면, 상기 제1 영상 데이터를 제공하는 소스와 다른 소스에서 제공되는 영상 데이터를 제공하고, 상기 제2 영상 데이터를 제공하면, 상기 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 상기 제2 영상 데이터와 다른 영상 데이터를 제공하는 단계일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치의 전원 인가 시에 바로 재생되는 제1 영상 데이터 및 상기 전자 장치의 전원 인가 후 사용자에 의한 모드 진입 후에 재생되는 제2 영상 데이터 중 하나를 제공하는 단계; 모션 인식 모듈을 통해 사용자의 모션을 인식하는 단계; 및 상기 인식된 사용자의 모션에 응답하여,상기 제1 영상 데이터를 제공하면 상기 전자 장치의 전원 인가 시에 바로 재생되는 상기 제1 영상 데이터와 다른 영상 데이터를 제공하고, 상기 제2 영상 데이터를 제공하면 상기 사용자에 의한 모드 진입 후에 재생하는 상기 제2 영상 데이터와 다른 영상 데이터를 제공하는 단계일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 복수 개의 동영상 중 하나의 동영상 또는 복수 개의 이미지 중 하나의 이미지 중 하나를 제공하는 단계; 모션 인식 모듈을 통해 사용자의 모션을 인식하는 단계; 및 상기 인식한 사용자의 모션에 응답하여, 상기 동영상을 제공하면, 상기 복수 개의 동영상 중 상기 제공된 동영상과 다른 동영상을 제공하고, 상기 이미지를 제공하면, 상기 복수 개의 이미지 중 상기 제공된 이미지와 다른 이미지를 제공하는 단계일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 복수 개의 방송 신호들 중 하나의 방송 신호 및 저장된 컨텐츠 중 하나를 디스플레이하는 디스플레이부; 사용자의 모션을 입력 받는 모션 입력부; 및 상기 사용자의 모션에 응답하여, 상기 방송 신호를 제공하면, 상기 제공된 방송 신호의 볼륨의 크기를 조절하거나 또는 상기 복수 개의 방송 신호들 중 다른 하나의 방송 신호를 제공하고, 상기 컨텐츠를 제공하면, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 제어부를 포함한다.
그리고, 상기 컨텐츠는 복수 개의 페이지를 포함하고, 상기 제어부는 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 경우, 상기 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 다른 하나의 페이지가 표시되는 화면으로 변경하는 것일 수 있다.
또한, 상기 제어부는, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 경우, 상기 모션 입력부를 통해 인식된 사용자의 모션의 방향에 대응하여, 상기 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 상, 하, 좌 또는 우 측에 위치한 페이지 중 하나의 페이지가 표시되는 화면으로 변경하는 것일 수 있다.
그리고, 상기 컨텐츠는 하나의 페이지를 포함하고, 상기 제어부는, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 경우, 상기 하나의 페이지의 일부가 표시되는 화면을 상기 하나의 페이지의 다른 일부가 표시되는 화면으로 변경하는 것일 수 있다.
또한, 사용자의 음성을 입력 받는 음성 입력부를 더 포함하고, 상기 제어부는, 상기 사용자의 음성에 따라 상기 복수 개의 방송 신호들 중 다른 방송 신호를 제공하는 것일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 제1 영상 데이터 또는 제2 영상 데이터를 디스플레이하는 디스플레이부; 상기 제1 영상 데이터를 위한 오디오 데이터를 제공하는 오디오 출력부; 사용자의 모션을 입력 받는 모션 입력부; 및 상기 사용자의 모션에 응답하여, 상기 제1 영상 데이터를 제공하면 상기 제1 영상 데이터를 위한 오디오 데이터의 볼륨의 크기를 조절하고, 상기 제2 영상 데이터를 제공하면 상기 제2 영상 데이터가 표시되는 화면의 적어도 일부를 변경하는 제어부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 복수 개의 동영상 중 하나의 동영상 또는 복수 개의 이미지 중 하나의 이미지 중 하나를 디스플레이하는 디스플레이부; 사용자의 모션을 입력 받는 모션 입력부; 및 상기 사용자의 모션에 응답하여, 상기 동영상을 제공하면 상기 복수 개의 동영상 중 상기 제공된 동영상과 다른 동영상을 제공하고, 상기 이미지를 제공하면 상기 복수 개의 이미지 중 상기 제공된 이미지와 다른 이미지를 제공하는 제어부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 복수 개의 소스에서 각각 제공되는 영상 데이터들 중 제1 영상 데이터 및 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 제2 영상 데이터 중 하나를 디스플레이하는 디스플레이부; 사용자의 모션을 입력 받는 모션 입력부; 및 상기 사용자의 모션에 응답하여, 상기 제1 영상 데이터를 제공하면 상기 제1 영상 데이터를 제공하는 소스와 다른 소스에서 제공되는 영상 데이터를 제공하고, 상기 제2 영상 데이터를 제공하면 상기 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 상기 제2 영상 데이터와 다른 영상 데이터를 제공하는 제어부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식하는 단계; 및 상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 컨텐츠 식별자가 각각 부여된 복수의 컨텐츠 중 상기 인식된 사용자 음성에 대응되는 컨텐츠 식별자가 부여된 컨텐츠를 실행하고, 상기 모션 인식 모듈을 통해 사용자의 모션이 인식되면, 상기 사용자의 모션의 방향에 대응하여 상기 복수의 컨텐츠를 변경하는 단계를 포함한다.
그리고, 상기 컨텐츠는 방송 컨텐츠인 것을 특징으로 하며, 상기 변경하는 단계는, 상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 방송 채널 식별자가 각각 부여된 복수의 방송 채널 중 상기 인식된 사용자 음성에 대응되는 방송 채널 식별자가 부여된 방송 채널로 변경되고, 상기 모션 인식 모듈을 통해 사용자의 모션이 인식되면, 상기 사용자의 모션의 방향에 대응하도록 상기 복수의 방송 채널을 단계적으로 변경할 수 있다.
또한, 상기 채널 식별자는 채널번호, 채널명 및 프로그램 명 중 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자 모션은 슬랩을 포함하며, 상기 변경하는 단계는, 상기 인식된 사용자 모션이 위쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 증가된 채널로 변경되도록 채널 재핑을 수행하고, 상기 인식된 사용자 모션이 아래쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 감소된 채널로 변경되도록 채널 재핑을 수행할 수 있다.
또한, 상기 컨텐츠는, 영상 컨텐츠, 음악 컨텐츠 및 사진 컨텐츠 중 하나일 수 있다.
그리고, 상기 컨텐츠 식별자는, 상기 컨텐츠의 이름일 수 있다.
또한, 상기 사용자의 모션은 슬랩을 포함하며, 상기 변경하는 단계는, 상기 인식된 사용자 모션이 오른쪽 방향의 슬랩 모션이면, 재생되기 위한 복수의 컨텐츠를 포함하는 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 다음 순서에 출력되는 컨텐츠로 변경하고, 상기 인식된 사용자 모션이 왼쪽 방향의 슬랩 이면, 상기 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 이전 순서에 출력되는 컨텐츠로 변경할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 사용자 모션을 입력받는 모션 입력부; 및 상기 사용자 음성 및 상기 사용자 모션 중 하나를 인식하고, 상기 사용자 음성이 인식되면, 컨텐츠 식별자가 각각 부여된 복수의 컨텐츠 중 상기 인식된 사용자 음성에 대응되는 컨텐츠 식별자가 부여된 컨텐츠를 실행하고, 상기 사용자의 모션이 인식되면, 상기 인식된 사용자 모션의 방향에 대응되도록 상기 복수의 컨텐츠를 변경하는 제어부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 리모컨을 통해 입력되는 리모컨 신호로 상기 전자 장치가 제어되는 리모컨 모드에서, 상기 전자 장치를 제어하는 단계; 음성 인식 모듈을 통해 음성 개시 명령을 인식하는 단계; 및 상기 음성 개시 명령이 인식되는 경우, 상기 음성 인식 모듈에 의해 인식된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하는 단계;를 포함한다.
그리고, 상기 전환하는 단계는, 상기 전자 장치의 모드가 음성 태스크 모드임을 표시하는 아이콘 및 상기 음성 태스크를 안내하는 음성 아이템이 포함된 음성 가이드 정보를 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 리모컨은 터치 패드를 포함할 수 있다.
그리고, 상기 리모컨 모드로 전환하기 위해 상기 리모컨에 구비된 버튼 중 제1 버튼이 선택되면, 상기 제1 버튼에 대응되는 제1 리모컨 신호를 수신하는 단계; 및 상기 제1 리모컨 신호에 응답하여, 상기 리모컨 모드로 전환하는 단계;를 포함할 수 있다.
또한, 상기 제1 버튼은 상기 리모컨 모드로 전환되기 위한 리모컨 모드 전환 버튼일 수 있다.
그리고, 상기 제1 버튼은 상기 리모컨에 구비된 버튼 중 임의의 버튼이며, 상기 리모컨 모드로 전환하는 단계는, 상기 리모컨 모드로 전환한 후, 상기 제1 버튼에 대응되는 태스크를 수행하는 단계;를 더 포함할 수 있다.
또한, 모션 인식 모듈을 통해 모션 개시 명령을 인식하는 단계; 상기 모션 개시 명령이 인식되는 경우, 상기 모션 인식 모듈에 의해 인식된 사용자 모션에 의해 제어되는 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 리모컨을 통해 입력되는 리모컨 신호로 상기 전자 장치가 제어되는 리모컨 모드에서, 상기 전자 장치를 제어하는 단계; 모션 인식 모듈을 통해 모션 개시 명령을 인식하는 단계; 및 상기 모션 개시 명령이 인식되는 경우, 상기 모션 인식 모듈에 의해 인식된 사용자 모션에 의해 제어되는 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계;를 포함한다.
그리고, 상기 전환하는 단계는, 상기 전자 장치의 모드가 모션 태스크 모드임을 표시하는 아이콘 및 상기 모션 태스크를 안내하는 모션 아이템이 포함된 모션 가이드 정보를 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 리모컨은 터치 패드를 포함할 수 있다.
그리고, 상기 리모컨 모드로 전환하기 위해 상기 리모컨에 구비된 버튼 중 제1 버튼이 선택되면, 상기 제1 버튼에 대응되는 제1 리모컨 신호를 수신하는 단계; 및 상기 제1 리모컨 신호에 응답하여, 상기 리모컨 모드로 전환하는 단계;를 포함할 수 있다.
또한, 상기 제1 버튼은 상기 리모컨 모드로 전환되기 위한 리모컨 모드 전환 버튼일 수 있다.
그리고, 상기 제1 버튼은 상기 리모컨에 구비된 버튼 중 임의의 버튼이며, 상기 리모컨 모드로 전환하는 단계는, 상기 리모컨 모드로 전환한 후, 상기 제1 버튼에 대응되는 태스크를 수행하는 단계;를 더 포함한다.
또한, 음성 인식 모듈을 통해 음성 개시 명령을 인식하는 단계; 상기 음성 개시 명령이 인식되는 경우, 상기 음성 인식 모듈에 의해 인식된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 리모컨과 연동하는 전자 장치는, 상기 리모컨으로부터 리모컨 신호를 수신하는 리모컨 신호 수신부; 음성 개시 명령을 입력받는 음성 입력부; 상기 리모컨 신호 수신부로 수신된 리모컨 신호에 따라 상기 전자 장치가 제어되는 리모컨 모드에서, 상기 음성 입력부를 통해 입력된 음성 개시 명령이 인식되는 경우, 상기 음성 입력부에 의해 입력된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 리모컨과 연동하는 전자 장치는, 상기 리모컨으로부터 리모컨 신호를 수신하는 리모컨 신호 수신부; 모션 개시 명령을 입력받는 모션 입력부; 상기 리모컨 신호 수신부로 수신된 리모컨 신호에 따라 상기 전자 장치가 제어되는 리모컨 모드에서, 상기 모션 입력부를 통해 입력된 모션 개시 명령이 인식되는 경우, 상기 모션 입력부에 의해 입력된 사용자 모션에 의해 제어되는 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치와 연동하는 휴대기기로부터, 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 입력받는 단계; 상기 입력된 사용자 음성을 인식하는 단계;및 상기 인식된 사용자 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계;를 포함한다.
그리고, 상기 휴대기기는, 리모콘, 휴대폰, PDA 및 노트북 중 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법는, 외부의 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되면, 상기 휴대기기로부터 제어 신호를 입력받는 단계; 상기 휴대기기로부터 입력된 제어 신호에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계;를 포함하고, 상기 제어 신호는, 상기 휴대기기가 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 인식하여 생성될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 외부의 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되면, 상기 휴대기기에 구비된 마이크에 입력된 사용자의 음성을 상기 휴대기기로부터 입력받는 단계; 상기 휴대기기로부터 입력된 사용자의 음성을 인식하는 단계; 상기 사용자의 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계;를 포함한다.
그리고, 상기 휴대기기에 포함된 제1 버튼이 선택되면, 상기 제1 버튼에 대응되는 제1 신호를 수신하는 단계; 상기 제1 신호에 응답하여 상기 전자 장치의 모드를 음성 태스크 모드로 전환하는 단계;를 더 포함할 수 있다.
또한, 상기 음성 태스크 모드는, 상기 휴대기기에 포함된 마이크로부터 입력된 사용자의 음성에 따라 음성 태스크가 수행되는 모드일 수 있다.
그리고, 상기 음성 태스크 모드에서 상기 제1 버튼 및 제2 버튼 중 하나가 선택되면, 상기 음성 태스크 모드를 해제하는 단계;를 더 포함할 수 있다.
또한, 상기 입력받는 단계는, 상기 휴대기기에 구비된 제2 버튼이 선택되는 동안, 상기 휴대기기에 구비된 마이크로부터 입력된 사용자의 음성을 상기 휴대기기로부터 입력받을 수 있다.
그리고, 상기 휴대기기에 구비된 제2 버튼이 선택되는 동안, 상기 사용자 음성이 입력 가능함을 나타내는 UI를 디스플레이하는 단계;를 더 포함할 수 있다.
또한. 상기 휴대기기에 구비된 마이크는 상기 휴대기기가 전화 통화를 위해 이용되는 마이크일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 상기 전자 장치와 연동하는 휴대기기로부터 사용자 음성을 입력받는 음성 입력부; 및 상기 음성 입력부를 통해 상기 휴대기기로부터 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성이 입력되면, 상기 입력된 사용자 음성을 인식하고, 상기D인식된 사용자 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부;를 포함한다.
그리고, 상기 휴대기기는, 리모콘, 휴대폰, PDA 및 노트북 중 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 외부의 휴대기기와 통신을 수행하는 통신부;및 상기 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되어, 상기 통신부를 통해 상기 휴대기기로부터 제어 신호가 입력되면, 상기 휴대기기로부터 입력된 제어 신호에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부;를 포함하고, 상기 제어 신호는, 상기 휴대기기가 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 인식하여 생성될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 상기 전자 장치와 연동하는 휴대기기로부터 사용자 음성을 입력받는 음성 입력부; 및 상기 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되고, 상기 휴대기기에 구비된 마이크로부터 입력된 사용자의 음성이 입력되면, 상기 휴대기기로부터 입력된 사용자의 음성을 인식하고, 상기 사용자의 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트 및 웹 페이지 중 하나가 디스플레이하는 단계; 모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 및 상기 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하는 단계;를 포함한다.
그리고, 상기 모션 개시 명령이 인식되면, 상기 디스플레이 화면 하단에 모션 태스크를 수행하기 위한 모션 가이드 정보를 디스플레이하는 단계;를 포함한다.
또한, 상기 디스플레이 단계에서 상기 컨텐츠 리스트가 디스플레이된 경우, 상기 모션 입력부에 입력되는 사용자의 모션에 따라 상기 포인터가 제1 단축 아이콘에 위치하면, 상기 제1 단축 아이콘을 다른 단축 아이콘과 구별되게 표시하는 단계;를 더 포함할 수 있다.
그리고, 상기 포인터가 제1 단축 아이콘에 위치하고, 상기 모션 입력부를 통해 사용자의 제1 모션이 입력되면, 상기 제1 단축 아이콘을 실행하는 단계;를 더 포함할 수 있다.
또한, 상기 컨텐츠 리스트 화면의 종료 명령이 입력되면, 상기 컨텐츠 리스트 및 상기 포인터를 디스플레이 화면에서 제거하는 단계;를 더 포함할 수 있다.
그리고, 상기 디스플레이 단계에서 상기 웹 페이지가 디스플레이된 경우, 상기 모션 입력부에 입력되는 사용자의 모션에 따라 상기 포인터가 상기 웹 페이지에 존재하는 제1 하이퍼링크에 위치하면, 상기 제1 하이퍼링크를 다른 하이퍼링크와 구별되게 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 포인터가 제1 하이퍼링크에 위치하고, 상기 모션 입력부를 통해 사용자의 제1 모션이 입력되면, 상기 제1 하이퍼링크를 실행하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령을 입력받는 모션 입력부; 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트를 디스플레이하는 디스플레이부;및 상기 모션 입력부를 통해 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 상기 컨텐츠 리스트가 디스플레이된 화면의 중앙에 포인터가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령을 입력받는 모션 입력부; 복수 개의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 디스플레이부;및 상기 모션 입력부를 통해 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 상기 웹 페이지가 디스플레이된 화면의 중앙에 포인터가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트 및 웹 페이지 중 하나가 디스플레이하는 단계; 모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 및 상기 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하는 단계; 상기 모션 입력부를 통해 기설정된 모션을 입력받는 단계; 상기 포인터를 디스플레이 화면에서 제거하고, 상기 기설정된 모션에 대응되는 모션 태스크를 수행하는 단계;를 포함한다.
그리고, 상기 디스플레이하는 단계는, 상기 포인터가 상기 컨텐츠 리스트의 제1 단축 아이콘에 위치하면, 상기 포인터가 위한 제1 단축 아이콘이 하이라이트 되도록 디스플레이하는 것을 특징으로 하는 단계;를 더 포함할 수 있다.
또한, 상기 기 설정된 모션이 입력되면, 상기 하이라이트 되도록 디스플레이된 상기 제1 단축 아이콘의 하이라이트 표시를 제거하는 단계;를 더 포함할 수 있다.
그리고, 상기 기설정된 모션은, 상기 전자 장치의 모션 모드를 수행하기 위한 모션이며, 상하좌우 방향의 슬랩 모션, 그랩 모션 및 반시계 방향의 회전 모션 중 하나일 수 있다.
또한, 상기 기설정된 모션이 상하좌우 방향의 슬랩 모션인 경우, 상기 전자 장치의 디스플레이 화면을 상기 상하좌우 방향의 슬랩 모션에 따라 이동하는 단계;및 상기 화면 이동 후, 상기 포인터를 상기 사용자의 손이 위치한 지점에 다시 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 기설정된 모션이 그랩 모션인 경우, 상기 포인터가 위치하는 제1 단축 아이콘을 실행하는 단계;및 상기 제1 단축 아이콘 실행 후, 상기 포인터를 상기 사용자의 손이 위치한 지점에 다시 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 기설정된 모션이 반시계 방향의 회전 모션인 경우, 상기 디스플레이 화면에 현재 선국되는 채널의 방송 프로그램을 디스플레이하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령 및 사용자의 모션을 입력받는 모션 입력부; 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트 및 웹 페이지 중 하나가 디스플레이하는 디스플레이부; 상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하며, 상기 모션 입력부를 통해 기설정된 모션이 입력되면, 상기 포인터를 디스플레이 화면에서 제거하고, 상기 기설정된 모션에 대응되는 모션 태스크를 수행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법는, 선택가능한 복수의 아이템을 디스플레이하는 단계; 음성 입력부 및 모션 입력부 중 하나를 통해 사용자의 음성 및 사용자의 모션 중 하나를 입력받는 단계; 상기 사용자의 입력에 따라 상기 복수의 아이템 중 제1 아이템이 선택되면, 상기 제1 아이템을 다른 아이템과 구별되게 디스플레이하는 단계;를 포함하고, 상기 디스플레이하는 단계는, 상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 제1 아이템의 이름 중 일부만을 디스플레이하고, 상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 모션 태스크 모드인 경우, 상기 제1 아이템의 이름의 전체 이름을 디스플레이한다.
그리고, 상기 선택가능한 아이템은, 어플리케이션을 실행하기 위한 컨텐츠 리스트에 포함된 단축 아이콘 및 웹 페이지에 포함된 하이퍼링크 중 하나일 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 제1 아이템 및 상기 제1 아이템의 이름을 상기 다른 아이템 및 상기 다른 아이템의 이름보다 진하게 디스플레이할 수 있다.
그리고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 음성 입력부를 통해 입력된 사용자의 음성이 상기 디스플레이된 제1 아이템의 이름 중 일부와 일치하면, 상기 제1 아이템을 실행하는 단계;를 더 포함할 수 있다.
또한, 상기 디스플레이된 제1 아이템의 일부 이름에 띄어쓰기가 없는 경우, 상기 음성 입력부를 통해 상기 디스플레이된 제1 아이템의 이름을 구성하는 복수의 스펠링과 대응되는 사용자 입력이 입력되면, 상기 제1 아이템을 실행하는 단계;를 더 포함할 수 있다.
그리고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 디스플레이된 아이템의 이름 중 음성 입력부를 통해 입력된 사용자의 음성과 일치하는 아이템이 복수 개인 경우, 후보군 리스트를 디스플레이하는 단계;를 포함하는 제어 방법.
또한, 상기 후보군 리스트는, 상기 입력된 사용자 음성과 일치하는 복수 개의 아이템의 전체 이름을 표시할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 선택가능한 복수의 아이템이 포함된 화면을 디스플레이하는 디스플레이부; 사용자의 음성을 입력받는 음성 입력부; 사용자의 모션을 입력받는 모션 입력부; 상기 음성 입력부 및 상기 모션 입력부 중 하나를 통해 사용자의 음성 및 사용자의 모션 중 하나가 입력되면, 상기 사용자의 입력에 따라 상기 복수의 아이템 중 제1 아이템을 선택하고, 상기 제1 아이템을 다른 아이템과 구별되게 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 제1 아이템의 이름 중 일부만을 디스플레이하고, 상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 모션 태스크 모드인 경우, 상기 제1 아이템의 이름의 전체 이름을 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법는, 음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 단계;및 음성 입력부를 통해 상기 복수의 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 음성 가이드 정보의 제1 영역에 제1 채도를 가지는 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이하고, 상기 음성 가이드 정보의 제2 영역에 제2 채도를 가지는 음성 아이템을 디스플레이하는 단계;를 포함한다.
그리고, 상기 음성 가이드 정보는 상기 전자 장치의 모드가 음성 태스크 모드임을 표시하는 아이콘을 포함하고, 상기 아이콘은 상기 음성 가이드 정보의 중앙에 위치할 수 있다.
또한, 상기 제1 영역은 상기 아이콘의 좌측 영역이며, 상기 제2 영역은 상기 아이콘의 우측 영역일 수 있다.
그리고, 상기 사용자 음성이 채널 변경을 수행하기 위한 명령어인 경우, 상기 제1 영역에는 채널 변경을 안내하는 가이드 문구가 디스플레이되고, 상기 제2 영역에는 채널 변경을 위한 발화가능한 명령어의 예에 대응되는 음성 아이템 및 채널 변경 취소에 대응되는 음성 아이템이 디스플레이될 수 있다.
또한, 상기 사용자 음성이 전원 종료를 수행하기 위한 명령어인 경우, 상기 제1 영역에는 전원 종료를 확인하는 가이드 문구가 디스플레이되고, 상기 제2 영역에는 전원 종료의 수행 여부에 대한 명령어에 대응되는 음성 아이템이 디스플레이될 수 있다.
그리고, 상기 제2 채도는 제1 채도보다 진할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 디스플레이부;및 상기 음성 입력부를 통해 상기 복수의 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 음성 가이드 정보의 제1 영역에 제1 채도를 가지는 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이하고, 상기 음성 가이드 정보의 제2 영역에 제2 채도를 가지는 음성 아이템을 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 단계;및 상기 음성 입력부를 통해 입력된 사용자 음성에 상기 복수의 음성 아이템에 대응되는 명령어 이외의 기설정된 단어가 포함되면, 상기 기설정된 단어에 대응되는 음성 태스크를 수행하는 단계;를 포함하며, 상기 기설정된 단어는 상기 전자 장치와 연동하는 리모컨에 포함된 단축 키에 대응되는 단어일 수 있다.
그리고, 상기 기설정된 단어는, 채널목록을 생성하기 위한 명령어, 메뉴 생성을 위한 명령어, 소셜 네트워크를 실행하기 위한 명령어, 편성 안내를 위한 명령어, 3D 입체 영상으로의 변환을 위한 명령어 및 방송 안내를 위한 명령어 중 하나를 포함할 수 있다.
또한, 상기 기설정된 단어는, 현재 전자 장치가 수행하는 기능과 연관된 태스크를 제공하는 명령어에 대응되는 단어를 포함할 수 있다.
그리고, 상기 현재 장치가 수행하는 기능이 동영상 재생 기능인 경우, 상기 기설정된 단어는, 동영상의 재생을 위한 명령어, 동영상의 일시정지를 위한 명령어, 동영상의 정지를 위한 명령어, 이전 파일 재생을 위한 명령어, 다음 파일 재생을 위한 명령어, 건너뛰기 위한 명령어 및 뒤로 건너뛰기를 위한 명령어 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 디스플레이부;및 상기 음성 입력부를 통해 입력된 사용자 음성에 상기 복수의 음성 아이템에 대응되는 명령어 이외의 기설정된 단어가 포함되면, 상기 기설정된 단어에 대응되는 음성 태스크를 수행하는 제어부;를 포함하며, 상기 기설정된 단어는 상기 전자 장치와 연동하는 리모컨에 포함된 단축키에 대응되는 단어일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 양손을 이용한 모션 개시 명령을 입력받는 단계;및 상기 양손을 이용한 모션 개시 명령이 입력되면, 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환하는 단계;를 포함한다.
그리고, 상기 양손을 이용한 모션 개시 명령을 입력받는 단계는, 한 손을 이용한 모션 개시 명령을 입력받는 단계; 상기 한 손을 이용한 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계;및 다른 한 손을 이용한 모션 개시 명령을 입력받는 단계;를 포함할 수 있다.
또한, 상기 양손을 이용한 모션 개시 명령은, 상기 양손을 동시에 복수 회 흔드는 쉐이크 모션일 수 있다.
그리고, 상기 양손을 이용한 모션 태스크는, 화면을 확대하거나 축소하는 태스크일 수 있다.
또한, 상기 양손을 이용한 모션 태스크가 불가능한 어플리케이션을 실행하는 경우, 상기 양손을 이용한 모션 태스크가 불가능하다는 메시지를 출력하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령을 입력받는 모션 입력부; 상기 모션 입력부를 통해 양손을 이용한 모션 개시 명령이 입력되면, 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 상기 모션 개시 명령이 입력되면, 상기 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계;를 포함하고, 상기 모션 태스크 모드는, 상기 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 모션 개시 명령을 입력한 사용자의 모션에 의해서만 상기 모션 태스크가 수행될 수 있다.
그리고, 상기 모션 태스크 모드는, 상기 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지될 수 있다.
또한, 상기 모션 태스크 모드는, 상기 모션 개시 명령을 입력한 사용자의 손과 상기 다른 사용자들의 손이 겹치더라도, 상기 모션 개시 명령을 입력한 사용자의 손에 따라 상기 모션 태스크를 수행할 수 있다.
그리고, 상기 모션 태스크 모드가 한 손을 이용한 모션 개시 명령이 입력된 경우, 상기 모션 개시 명령을 입력한 사용자 이외의 다른 사용자의 한 손을 통해 모션 개시 명령이 입력되면, 양손 모션 태스크 모드로 전환하는 단계;를 포함할 수 있다.
또한, 상기 모션 개시 명령은, 사용자의 손을 복수 회 흔드는 회전 모션일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 모션 입력부를 통해 복수의 사용자에 의한 복수의 모션 개시 명령이 입력되면, 상기 복수의 모션 개시 명령 중 최초로 입력된 모션 개시 명령을 판단하는 단계; 상기 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계;를 포함한다.
그리고, 상기 모션 태스크 모드는, 상기 최초로 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 최초로 모션 개시 명령을 입력한 사용자의 모션에 의해서만 모션 태스크가 수행될 수 있다.
또한, 상기 모션 태스크 모드는, 상기 최초로 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령을 입력받는 모션 입력부; 상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 상기 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계;를 포함하고, 상기 모션 태스크 모드는, 상기 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 모션 개시 명령을 입력한 사용자의 모션에 의해서만 상기 모션 태스크가 수행될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 모션 개시 명령을 입력받는 모션 입력부; 상기 모션 입력부를 통해 복수의 사용자에 의한 복수의 모션 개시 명령이 입력되면, 상기 복수의 모션 개시 명령 중 최초로 입력된 모션 개시 명령을 판단하여, 상기 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 영상을 디스플레이하는 단계; 사용자의 제1 음성을 입력받는 단계; 상기 사용자의 제1 음성이 입력되면, 상기 사용자의 제1 음성에 응답하여 적어도 하나의 음성 태스크를 안내하는 제1 메뉴를 상기 영상의 일 영역에 디스플레이하는 단계; 사용자의 제2 음성을 입력받는 단계;및 상기 적어도 하나의 음성 태스크 중 상기 사용자의 제2 음성에 대응되는 음성 태스크를 수행하는 단계;를 포함한다.
그리고, 상기 제1 음성이 채널 변경을 위한 명령어인 경우, 상기 제1 메뉴는 상기 채널 변경을 안내하는 정보가 포함된 것을 특징으로 하며, 상기 제2 음성은 채널 번호, 채널 명 및 프로그램 명 중 하나일 수 있다.
또한, 상기 제2 음성이 채널 변경을 안내하는 정보는, 상기 채널 번호, 채널 명 및 프로그램 명 중 하나의 명령어 예를 포함할 수 있다.
그리고, 상기 제2 음성이 채널 번호 및 채널 명인 경우, 상기 음성 태스크를 수행하는 단계는, 상기 채널 번호 및 채널 명 중 입력된 하나에 대응되는 채널로 변경할 수 있다.
또한, 상기 제2 음성이 프로그램 명인 경우, 상기 음성 태스크를 수행하는 단계는, 상기 기 저장된 프로그램 가이드(EPG)에서 상기 입력된 프로그램 명을 검색하는 단계; 상기 검색 결과에 따라, 상기 입력된 프로그램 명이 방영될 채널로 변경되거나 시청예약을 수행하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 영상을 디스플레이하는 디스플레이부; 사용자의 제1 음성 및 제2 음성을 입력받는 음성 입력부; 상기 사용자의 제1 음성이 입력되면, 상기 사용자의 제1 음성에 응답하여 적어도 하나의 음성 태스크를 안내하는 제1 메뉴를 상기 영상의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 사용자의 제2 음성이 입력되면, 상기 적어도 하나의 음성 태스크 중 상기 사용자의 제2 음성에 대응되는 음성 태스크를 수행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 인식된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 적어도 하나의 단축 아이콘 및 각각에 대응되는 단축 아이콘의 이름을 디스플레이하는 단계; 사용자의 음성을 입력받는 단계; 상기 적어도 하나의 단축 아이콘 중 상기 디스플레이된 단축 아이콘 이름이 단축 아이콘의 전체 이름 중 일부만 디스플레이된 제1 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘의 일부 이름과 일치하면, 상기 제1 단축 아이콘을 실행하는 단계;를 포함한다.
그리고, 상기 실행하는 단계는 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘에 대한 일부 이름을 구성하는 복수의 스펠링과 일치하면, 상기 제1 단축 아이콘을 실행할 수 있다.
또한, 상기 실행하는 단계는, 상기 단축 아이콘 중 상기 단축 아이콘 이름에 특수 문자가 포함된 제2 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 제2 단축 아이콘 이름에 포함된 특수 문자를 제외한 발화가능한 이름과 일치하면, 상기 제2 단축 아이콘을 실행할 수 있다.
그리고, 상기 특수 문자는, 사용자에 의해 발화 불가능한 기호일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 적어도 하나의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 단계; 상기 적어도 하나의 하이퍼링크의 텍스트를 추출하는 단계; 사용자의 음성을 입력받는 단계; 상기 적어도 하나의 하이퍼링크 중 상기 디스플레이된 하이퍼링크의 텍스트가 상기 추출된 하이퍼링크의 텍스트 중 일부만 디스플레이된 제1 하이퍼링크가 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 하이퍼링크의 일부 텍스트와 일치하면, 상기 제1 하이퍼링크를 실행하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자의 음성을 입력받는 음성 입력부; 상기 음성 입력부를 통해 입력된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 단축 아이콘 및 단축 아이콘의 이름을 디스플레이하는 디스플레이부; 상기 단축 아이콘 중 상기 디스플레이된 단축 아이콘 이름이 단축 아이콘의 전체 이름 중 일부만 디스플레이된 제1 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘의 일부 이름과 일치하면, 상기 제1 단축 아이콘을 실행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자의 음성을 입력받는 음성 입력부; 상기 음성 입력부를 통해 입력된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 단축 아이콘 및 단축 아이콘의 이름을 디스플레이하는 디스플레이부; 상기 단축 아이콘 중 상기 단축 아이콘 이름에 특수 문자가 포함된 제2 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 제2 단축 아이콘 이름에 포함된 특수 문자를 제외한 발화가능한 이름과 일치하면, 상기 제2 단축 아이콘을 실행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자의 음성을 입력받는 음성 입력부; 적어도 하나의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 디스플레이부; 상기 적어도 하나의 하이퍼링크의 텍스트를 추출하고, 상기 음성 입력부를 통해 사용자 음성이 입력되면, 상기 사용자의 음성을 인식하며, 상기 적어도 하나의 하이퍼링크 중 상기 디스플레이된 하이퍼링크의 텍스트가 상기 추출된 하이퍼링크의 텍스트 중 일부만 디스플레이된 제1 하이퍼링크가 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 하이퍼링크의 일부 텍스트와 일치하면, 상기 제1 하이퍼링크를 실행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 모션 입력부를 통해 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계; 사용자의 조작에 따라 어플리케이션을 실행하는 단계; 상기 모션 입력부를 통해 사용자 제1 모션 및 사용자 제2 모션 중 하나가 입력되면, 상기 사용자 제1 모션 및 사용자 제2 모션 중 인식된 하나에 대응하여, 상기 어플리케이션 실행 화면을 확대하거나 축소하여 디스플레이하는 단계;를 포함하며, 상기 어플리케이션 제공 화면은 화면 확대 또는 화면 축소가 가능할 수 있다.
그리고, 상기 사용자 제1 모션은 사용자의 두 손이 멀어지도록 이동되는 것을 특징으로 하며, 상기 사용자 제1 모션이 인식되면, 상기 어플리케이션 실행 화면을 확대하여 디스플레이할 수 있다.
또한, 상기 사용자 제2 모션은 사용자의 두 손이 가까워지도록 이동되는 것을 특징으로 하며, 상기 사용자 제2 모션이 인식되면, 상기 어플리케이션 실행 화면을 축소하여 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 모션 입력부를 통해 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계; 사용자의 조작에 따라 어플리케이션을 실행하는 단계; 상기 모션 입력부를 통해 사용자의 그랩 모션이 유지된 채 이동되는 모션이 입력되면, 상기 사용자의 그랩 모션의 이동에 대응하여, 상기 어플리케이션 실행 화면을 이동하여 디스플레이하는 단계;를 포함하며, 상기 어플리케이션 제공 화면은 상기 전자 장치의 디스플레이 화면 내에서 이동 가능할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 디스플레이부; 사용자 제1 모션 및 사용자 제2 모션을 입력받는 모션 입력부;및 사용자의 조작에 따라 어플리케이션을 실행하고, 상기 모션 입력부를 통해 사용자 제1 모션 및 사용자 제2 모션 중 하나가 입력되면, 상기 사용자 제1 모션 및 사용자 제2 모션 중 입력된 하나에 대응하여 상기 디스플레이부에 디스플레이된 어플리케이션 실행 화면을 확대하거나 축소하여 디스플레이하는 제어부;를 포함하고, 상기 어플리케이션 제공 화면은 화면 확대 또는 화면 축소가 가능할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 디스플레이부; 사용자 제3 모션을 입력받는 모션 입력부;및 사용자의 조작에 따라 어플리케이션을 실행하고, 상기 모션 입력부를 통해 사용자 제3 모션이 입력되면, 상기 디스플레이부에 디스플레이된 어플리케이션 실행 화면을 사용자 제3 모션에 따라 이동하여 디스플레이하는 제어부;를 포함하며, 상기 사용자 제3 모션은, 상기 사용자가 그랩 모션을 취한 후 그랩된 손을 이동하는 모션이며, 상기 어플리케이션 제공 화면은 상기 전자 장치의 디스플레이 화면 내에서 이동 가능할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치에 포함된 음성 입력부 및 상기 전자 장치와 연동하는 장치 중 하나로부터 음성 개시 명령을 입력받는 단계; 상기 전자 장치에 포함된 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 아이콘을 디스플레이하고, 상기 전자 장치와 연동하는 장치로부터 상기 음성 개시 명령이 입력되면, 상기 제1 아이콘과 상이한 제2 아이콘을 디스플레이하는 단계;를 포함한다.
그리고, 상기 전자 장치에 포함된 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 음성 태스크 모드로 전환되는 것을 특징으로 하며, 상기 제1 음성 태스크 모드는, 상기 전자 장치에 포함된 음성 입력부로부터 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드일 수 있다.
또한, 상기 제1 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 상기 전자 장치에 포함된 음성 입력부에 사용자 음성이 입력되지 않으면, 상기 제1 음성 태스크 모드를 해제하여, 리모컨에 의해 제어되는 리모컨 모드로 전환하는 단계;를 포함할 수 있다.
그리고, 상기 전자 장치와 연동하는 장치로부터 입력된 음성 개시 명령은, 상기 전자 장치와 연동하는 장치에 구비된 특정 버튼에 대응되는 신호 및 상기 전자 장치와 연동하는 장치에 구비된 음성 입력부를 통해 입력된 특정 사용자 음성 중 하나일 수 있다.
또한, 상기 전자 장치와 연동하는 장치로부터 입력된 음성 개시 명령이 입력되면, 제2 음성 태스크 모드로 전환되는 것을 특징으로 하며, 상기 제2 음성 태스크 모드는, 상기 전자 장치와 연동하는 장치에 구비된 음성 입력부를 통해 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드일 수 있다.
그리고, 상기 제2 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 상기 전자 장치와 연동하는 장치에 포함된 음성 입력부에 사용자 음성이 입력되지 않으면, 상기 제2 음성 태스크 모드를 해제하여, 리모컨에 의해 제어되는 리모컨 모드로 전환하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령을 입력받는 음성 입력부; 전자 장치와 연동하는 장치와 통신을 수행하는 통신부; 디스플레이부;및 상기 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 아이콘을 디스플레이하고, 상기 전자 장치와 연동하는 장치로부터 상기 음성 개시 명령이 입력되면, 상기 제1 아이콘과 상이한 제2 아이콘을 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 인식 모듈을 통해 음성 개시 명령을 인식하는 단계; 상기 음성 개시 명령이 인식되면, 상기 음성 인식 모듈을 통해 인식된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 가이드 정보를 디스플레이하는 단계; 문자 입력이 요구되는 태스크를 수행하기 위한 제1 사용자 음성이 인식되면, 텍스트 입력창을 디스플레이하는 단계; 상기 텍스트 입력창에 입력하기 위한 제2 사용자 음성이 인식되면, 상기 인식된 제2 사용자 음성에 대응되는 텍스트를 상기 텍스트 입력창에 디스플레이하고, 문자 입력 메뉴(IME, input Method Editor)를 디스플레이하는 단계;를 포함한다.
그리고, 상기 문자 입력이 요구되는 태스크는, 검색을 수행하기 위한 태스크인 것일 수 있다.
또한, 성기 문자 입력 메뉴를 디스플레이하는 단계는, 상기 사용자 음성이 인식되는 동안 이전까지 디스플레이되었던 화면을 디스플레이하고, 상기 텍스트 입력창에 입력하기 위한 사용자 음성이 인식된 후, 상기 문자 입력 메뉴를 디스플레이할 수 있다.
그리고, 상기 텍스트 입력창에 입력된 텍스트를 포함하는 후보군 검색어가 복수 존재할 경우, 상기 문자 입력 메뉴에 후보군 검색어 리스트를 오버래핑하여 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 상기 텍스트 입력창의 텍스트 입력이 완료되거나 상기 텍스트 입력창의 텍스트 입력을 취소하는 경우, 디스플레이 화면에 상기 문자 입력 메뉴를 제거하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령을 입력받는 음성 입력부; 디스플레이부; 상기 음성 입력부를 통해 문자 입력이 요구되는 태스크를 수행하기 위한 제1 사용자 음성이 입력되면, 텍스트 입력창을 디스플레이하며, 상기 음성 입력부를 통해 상기 텍스트 입력창에 입력하기 위한 제2 사용자 음성이 입력되면, 상기 인식된 제2 사용자 음성에 대응되는 텍스트를 상기 텍스트 입력창에 디스플레이하고, 문자 입력 메뉴(IME, input Method Editor)를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법는, 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 단계; 상기 전자 장치와 연동하는 외부 장치에 포함된 음성 입력 버튼이 선택되는 경우, 상기 음성 가이드 정보에 음성 검색을 안내하는 제1 가이드 문구가 디스플레이하는 단계; 및 상기 외부 장치에 포함된 음성 검색 버튼이 선택되는 동안 상기 음성 입력부를 통해 입력된 사용자 음성을 인식하는 단계;를 포함한다.
그리고, 상기 인식하는 단계는, 상기 음성 가이드 정보에 상기 음성 입력부를 통해 사용자 음성이 입력되고 있다는 정보를 포함하는 제2 가이드 문구를 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 음성 검색 버튼의 선택이 해제되면, 상기 음성 가이드 정보에 사용자 음성의 입력이 완료되었는지 여부를 확인하는 제3 가이드 문구를 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 제3 가이드 문구는, 상기 사용자 음성의 입력을 계속할지 여부, 상기 입력된 사용자 음성을 완료되었는지 여부 및 상기 입력된 사용자 음성을 취소할지 여부를 묻는 메시지가 포함될 수 있다.
또한, 상기 제3 가이드 문구가 디스플레이되는 동안 상기 음성 검색 버튼이 다시 선택되어 사용자 음성이 입력되면, 상기 입력된 사용자 음성을 이전에 인식된 사용자 음성에 계속해서 인식하는 단계;를 포함할 수 있다.
그리고, 상기 인식된 사용자 음성에 대응되는 텍스트를 텍스트 입력창에 디스플레이하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자의 음성을 입력받는 음성 입력부; 상기 전자 장치와 연동하는 외부 장치로부터 신호를 수신하는 통신부; 디스플레이부; 상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 동안, 상기 외부 장치에 포함된 음성 입력 버튼이 선택되는 경우, 상기 음성 가이드 정보에 음성 검색을 안내하는 제1 가이드 문구가 디스플레이하고, 상기 외부 장치에 포함된 음성 검색 버튼이 선택되는 동안 상기 음성 입력부를 통해 입력된 사용자 음성을 인식하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 입력된 음성 개시 명령에 대응하여, 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이하는 단계; 상기 음성 태스크 모드에서, 디스플레이 화면에서 선택가능한 아이템들의 텍스트를 추출하는 단계; 상기 음성 입력부를 통해 입력된 사용자 음성이 상기 추출된 텍스트와 일치하는 경우, 상기 텍스트에 대응되는 아이템을 실행하는 단계;를 포함한다.
그리고, 상기 선택가능한 아이템은, 어플리케이션을 실행하기 위한 컨텐츠 리스트에 포함된 단축 아이콘 및 웹 페이지에 포함된 하이퍼링크 중 하나일 수 있다.
또한, 상기 텍스트가 추출된 아이템은 텍스트가 추출되지 않은 다른 아이템과 구별되게 디스플레이할 수 있다.
그리고, 상기 텍스트를 추출하는 단계는, 상기 이름 텍스트가 기설정된 글자 수를 초과하는 경우, 상기 전체 텍스트 중 상기 기설정된 글자 수 이하의 텍스트를 추출할 수 있다.
또한, 상기 실행하는 단계는, 상기 음성 입력부를 통해 입력된 사용자 음성이 상기 추출된 기설정된 글자 수 이하의 텍스트와 일치하는 경우, 상기 기설정된 글자 수 이하의 텍스트에 대응되는 아이템을 실행할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령 및 사용자의 음성을 입력받는 음성 입력부; 상기 음성 입력부를 통해 음성 개시 명령이 입력되면, 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이하며, 상기 음성 태스크 모드에서, 디스플레이 화면에서 선택가능한 아이템들의 텍스트를 추출하고, 상기 음성 입력부를 통해 입력된 사용자 음성이 상기 추출된 텍스트와 일치하는 경우, 상기 텍스트에 대응되는 아이템을 실행하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령에 응답하여, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하는 단계; 상기 음성 태스크 모드에서, 복수의 하이퍼링크를 포함하는 웹 페이지에서 상기 복수의 하이퍼링크의 텍스트를 추출하는 단계; 음성 입력부를 통해 사용자 음성이 입력되는 도중 상기 입력된 사용자 음성이 포함된 텍스트를 가지는 하이퍼링크가 하나만 존재하는 경우, 상기 텍스트에 대응되는 하이퍼링크를 실행하는 단계;를 포함한다.
그리고, 상기 실행하는 단계는, 상기 음성 입력부를 통해 사용자 음성이 입력되는 도중 상기 입력된 사용자 음성과 상기 텍스트의 일부가 일치하는 단축 아이콘이 하나만 존재하는 경우, 상기 텍스트에 대응되는 하이퍼링크를 실행할 수 있다.
또한, 상기 추출된 텍스트는 추출되지 못한 텍스트와 구별되게 표시하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령 및 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 음성 입력부를 통해 상기 음성 개시 명령이 입력되면, 상기 음성 입력부에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드에서 복수의 하이퍼링크가 포함된 웹 페이지에서 상기 복수의 하이퍼링크의 텍스트를 추출하고, 상기 음성 입력부를 통해 사용자 음성이 입력되는 도중 상기 입력된 사용자 음성이 포함된 텍스트를 가지는 단축 아이콘이 하나만 존재하는 경우, 상기 텍스트에 대응되는 하이퍼링크를 실행하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령에 응답하여, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하는 단계; 상기 음성 태스크 모드에서, 복수의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 단계; 상기 복수의 하이퍼링크에 포함된 텍스트를 추출하는 단계; 음성 입력부를 통해 사용자 음성을 입력받는 단계; 상기 입력된 사용자 음성을 인식하여, 상기 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 복수 개 존재하는 경우, 상기 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크를 포함하는 후보군 리스트를 디스플레이하는 단계;를 포함한다.
그리고, 상기 음성 입력부를 통해 사용자 음성을 재입력받는 단계; 상기 재입력된 사용자 음성을 인식하고, 상기 재입력된 사용자 음성을 반영하여 상기 후보군 리스트를 변경하는 단계;를 포함할 수 있다.
또한, 상기 재입력된 사용자 음성을 반영한 결과, 상기 입력된 사용자 음성 및 재입력된 사용자 음성과 일치하는 텍스트를 포함하는 하이퍼링크가 하나인 경우, 상기 일치하는 텍스트를 포함하는 하이퍼링크를 바로 실행하는 단계;를 포함할 수 있다.
그리고, 상기 추출된 텍스트는 추출되지 못한 텍스트와 구별되게 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 전자 장치의 모드가 음성 태스크 모드일 때, 상기 후보군 리스트를 디스플레이할 수 있다.
그리고, 상기 음성 태스크 모드가 해제되면, 상기 후보군 리스트를 디스플레이 화면에서 제거하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 복수의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 디스플레이부; 음성 개시 명령 및 사용자 음성을 입력받는 음성 입력부; 상기 음성 개시 명령이 입력되면, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드에서, 상기 복수의 하이퍼링크에 포함된 텍스트를 추출하고, 상기 음성 입력부에 입력된 사용자 음성을 인식하며, 상기 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 복수 개 존재하는 경우, 상기 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크를 포함하는 후보군 리스트를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 음성 입력부를 통해 사용자 음성이 재입력되면, 상기 재입력된 사용자 음성을 인식하고, 상기 재입력된 사용자 음성을 반영하여 상기 후보군 리스트를 변경하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령에 응답하여, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하는 단계; 상기 음성 태스크 모드에서, 상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 단계; 상기 음성 입력부를 통해 사용자 음성을 입력하는 단계; 상기 음성 입력부를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 상기 음성 가이드 정보의 제1 영역에 상기 사용자 음성을 인식할 수 없다는 피드백 UI를 디스플레이하는 단계;를 포함한다.
그리고, 상기 피드백 UI는, 상기 기설정된 크기 및 상기 음성 입력부를 통해 입력된 사용자 음성의 크기를 바 형태로 표현한 GUI일 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 기설정된 크기 이상의 사용자 음성이 입력되어야 한다는 메시지를 함께 디스플레이할 수 있다.
그리고, 상기 제1 영역은 상기 음성 가이드 정보의 하단 영역일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 음성 개시 명령 및 사용자의 음성을 입력받는 음성 입력부; 상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 디스플레이부; 상기 음성 개시 명령이 입력되면, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드에서, 상기 음성 입력부를 통해 사용자 음성이 입력되고, 상기 음성 입력부를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 상기 음성 가이드 정보의 제1 영역에 상기 사용자 음성을 인식할 수 없다는 피드백 UI가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 전자 장치를 더욱 편리하고 효과적으로 제어할 수 있게 된다.
도 1 내지 3은 본 발명의 다양한 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도,
도 4 및 도 5는 음성 태스크 및 모션 태스크에 대응되는 원격 제어 장치의 버튼에 대한 도면,
도 6 내지 도 32는 음성 태스크의 수행 방법의 다양한 예를 설명하기 위한 도면,
도 33 내지 도 58는 모션 태스크의 수행 방법에 대한 다양한 예를 설명하기 위한 도면,
도 59 및 도 60은 본 발명의 다양한 실시 예에 따른, 전체 태스크를 모션 태스크 및 음성 태스크로 구분하여 제어하는 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 61 및 도 62는 본 발명의 일 실시 예에 따른, 전자 장치의 음성 태스크에 대한 음성 UI를 도시한 도면,
도 63은 본 발명의 일 실시 예에 따른, 전자 장치의 모션 태스크에 대한 모션 UI를 도시한 도면,
도 64 내지 도 66는 본 발명의 일 실시 예에 따른, 음성 인식 또는 모션 인식에 따른 시각적 피드백을 나타내는 도면,
도 67 내지 도 69는 본 발명의 다양한 실시 예에 따른, 음성 UI 및 모션 UI를 제공하는 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 70 내지 도 78은 본 발명의 다양한 실시 예에 따른, 음성 어플리케이션 전용 아이콘을 설명하기 위한 전자 장치의 UI 표시 방법을 설명하기 위한 도면,
도 79는 본 발명의 실시 예에 따른 전자 장치의 UI 표시방법을 설명하기 위한 흐름도,
도 80 내지 도 91은 본 발명의 다양한 실시 예에 따른 상,하,좌,우 방향으로의 사용자의 모션에 응답하여 변경되는 화면을 나타내는 도면,
도 92 및 도 93은 본 발명의 다양한 일 실시 예에 따른 사용자의 모션에 응답하여 화면이 변경되는 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 94 내지 도 97은 본 발명의 다양한 실시 예에 따른, 리모컨 모드, 모션 태스크 모드, 음성 태스크 모드을 수행하는 방법을 설명하기 위한 도면 및 흐름도,
도 98은 본 발명의 일 실시 예에 따른, 휴대기기를 이용한 음성 인식을 설명하기 위한 흐름도,
도 99 내지 도 104은 본 발명의 일 실시 예에 따른, 포인팅 모드를 설명하기 위한 도면 및 흐름도,
도 105 내지 도 108은 본 발명의 일 실시 예에 따른, 포인팅 모드시 모션이 입력되었을 경우, 디스플레이 방법을 설명하기 위한 도면 및 흐름도,
도 109 내지 도 111은 본 발명의 일 실시 예에 따른, 음성 태스크 모드에서의 아이템 표시 방법을 설명하기 위한 도면 및 흐름도,
도 112 내지 도 115는 본 발명의 일 실시 예에 따른, 서로 다른 채도를 가지는 UI를 설명하기 위한 도면 및 흐름도,
도 116 내지 도 118은 본 발명의 일 실시 예에 따른, 디스플레이 음성 아이템 이외의 명령어에 대응되는 태스크 수행을 설명하기 위한 도면 및 흐름도,
도 119 내지 도 121은 본 발명의 일 실시 예에 따른, 양손 모션 태스크 모드로 전환되기 위한 모션 개시 명령을 설명하기 위한 도면 및 흐름도,
도 122는 본 발명의 일 실시 예에 따른, 복수의 사용자에 의해 모션 개시명령이 입력된 경우, 모션 태스크 모드를 수행하는 방법을 설명하기 위한 흐름도
도 123 내지 도 126은 본 발명의 일 실시 예에 따른, 음성 인식을 이용하여 단계별로 진입하여 태스크를 수행하는 방법을 설명하기 위한 도면 및 흐름도,
도 127 및 도 129는 본 발명의 일 실시 예에 따른, 일부 이름이 디스플레이된 단축 아이콘 실행을 설명하기 위한 도면 및 흐름도,
도 130 내지 도 134는 본 발명의 일 실시 예에 따른, 특수 제스쳐에 따른 태스크 수행을 설명하기 위한 도면 및 흐름도,
도 135 내지 도 137은 본 발명의 일 실시 예에 따른, 음성 입력 방법에 따라 상이하게 디스플레이되는 아이콘을 설명하기 위한 도면 및 흐름도,
도 138 내지 도 142은 본 발명의 일 실시 예에 따른, 문자 입력 메뉴를 디스플레이하는 방법을 설명하기 위한 도면 및 흐름도,
도 143는 본 발명의 일 실시 예에 따른, 외부기기를 이용한 음성 태스크 수행 방법을 설명하기 위한 흐름도,
도 144 내지 도 146는 본 발명의 일 실시 예에 따른, 디스플레이 화면에 발화 가능한 명령어가 표시된 경우, 음성 태스크를 수행하는 방법을 설명하기 위한 도면 및 흐름도,
도 147은 본 발명의 일 실시 예에 따른, 자동 음성 인식 방법을 설명하기 위한 흐름도,
도 148은 본 발명의 일 실시 예에 따른, 후보군 리스트를 디스플레이하는 방법을 설명하기 위한 흐름도, 그리고,
도 149는 본 발명의 일 실시 예에 따른, 음성 인식 오류를 안내하기 위한 UI를 설명하기 위한 흐름도이다.
도 1은 본 발명의 실시 예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)를 포함한다. 전자 장치(100)는 외부의 네트워크와 연결될 수 있는 스마트 TV, 셋탑박스, PC로, 또는 디지털 TV 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
음성 입력부(110)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(140)로 출력한다. 예를 들어, 음성 입력부(110)는 마이크로폰으로 구현될 수 있다. 또한, 음성 입력부(110)는 전자 장치(100)와 일체형(all-in-one)뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 음성 입력부(110)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
모션 입력부(120)는 사용자의 모션을 촬상한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(140)로 제공한다. 예를 들어, 모션 입력부(120)는 렌즈 및 이미지센서로 구성되는 모션 입력부(120) 유닛으로 구현될 수 있다. 또한, 모션 입력부(120)는 전자 장치(100)와 일체형뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 모션 입력부(120)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
저장부(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(130)는 음성 입력부(110)를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스는 기 설정된 음성 및 기 설정된 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 기 설정된 모션 및 기 설정된 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다.
제어부(140)는 음성 입력부(110), 모션 입력부(120), 및 저장부(130)를 제어한다. 제어부(140)는 CPU(central processing unit) 및 전자 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
음성 입력부(110)를 통해 음성이 입력되는 경우, 제어부(140)는 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다. 사용자 음성이 입력되는 경우, 제어부(140)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(140)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(140)은 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(140)은 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 그러나, 상술한 바와 같이, 사용자의 음성을 인식하는 방법은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자 음성을 인식할 수 있다. 이에 따라, 제어부(140)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
모션 입력부(120)를 통해 모션이 입력되는 경우, 제어부(140)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 모션 인식(motion recognition)은 모션 입력부(120)를 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 손(예를 들어, 손가락을 펴거나 손가락을 오므려 주먹을 쥐는) 영역으로 분리하고, 연속되는 손의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(140)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손)를 감지한다. 제어부(140)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(140)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다.
제어부(140)는 추적된 오브젝트의 형태 및 움직임에 따라 모션을 판단한다. 예를 들어, 제어부(140)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(140)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 결정된 시간(예를 들어, 800ms) 내에 결정된 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어나지 않는 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어난 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단할 수 있다. 다른 일 예로, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단한다.
제어부(140)는 상술한 바와 같이, 인식된 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 전자 장치(100)의 태스크는 채널 변경, 볼륨 조절, 컨텐츠(예를 들어, 동영상, 음악, 사진 등)의 재생 또는 인터넷 브라우징 등과 같이, 전자 장치(100)에 의해 수행될 수 있는 기능 중 적어도 하나를 포함한다.
제어부(140)가 전자 장치(100)를 제어하는 구체적인 방법에 대해서는 추후에 자세히 설명하도록 한다.
도 2는 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도를 도시한 도면이다. 도 2를 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180) 및 영상 출력부(190)를 포함한다. 도 2에 도시된 전자 장치(100)는 셋탑박스(set-top box)로 구현될 수 있다.
한편, 도 2에 도시된 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명은 도 1에서 설명한 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명과 같으므로, 자세한 설명은 생략한다.
방송 수신부(150)는 유, 무선으로 외부로부터 방송 신호를 수신한다. 방송 신호는 영상(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG)를 포함한다. 방송 수신부(150)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다.
외부단자 입력부(160)는 전자 장치(100)의 외부로부터 영상 데이터(예를 들어, 동영상 사진 등), 오디오 데이터(예를 들어, 음악 등) 등을 수신한다. 외부 단자(160)는 HDMI입력 단자(High-Definition Multimedia Interface input), 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다. 리모컨 신호 수신부(170)는 외부의 리모컨으로부터 입력되는 리모컨 신호를 수신한다. 리모컨 신호 수신부(170)는 전자 장치(100)가 음성 태스크 모드이거나 모션 태스크 모드에서도 리모컨 신호를 수신할 수 있다. 네트워크 인터페이스부(180)는 제어부(140)의 제어에 의해 전자 장치(100)와 외부 장치(예를 들어, 서버)를 연결할 수 있다. 제어부(140)는 네트워크 인터페이스부(180)를 통해 연결된 외부 장치로부터 어플리케이션을 다운로드 하거나 웹 브라우징을 할 수 있다. 네트워크 인터페이스부(180)는 이더넷(Ethernet), 무선랜(182) 및 블루투스(bluetooth) 중 적어도 하나를 제공할 수 있다.
영상 출력부(190)는 방송 수신부(150)를 통해 수신되는 외부의 방송 신호, 또는 외부단자 입력부(160)에서 입력되는 영상 데이터, 또는 저장부(130)에 저장된 영상 데이터를 외부의 디스플레이 장치(예를 들어, 모니터, TV)로 출력한다.
도 3은 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 블럭도를 도시한 도면이다. 도 3에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 디스플레이부(193) 및 오디오 출력부(196)를 포함한다. 이때, 전자 장치(100)는 디지털 TV일 수 있으나, 이에 한정되는 것은 아니다.
한편, 도 3에서 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨신호 수신부(170) 및 네트워크 인터페이스부(180)에 대한 설명은 도 1 및 도 2에서 동일한 참조번호를 가지는 구성에 대한 설명과 같으므로, 자세한 설명은 생략한다.
디스플레이부(193)는 방송 수신부(150)를 통해 수신된 방송 신호에 대응되는 영상을 표시한다. 디스플레이부(193)는 외부 단자(160)를 통해 입력되는 영상 데이터(예를 들어, 동영상)을 표시할 수 있다. 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 태스크를 수행하기 위한 음성 가이드 정보 및 모션 태스크를 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
오디오 출력부(196)는 제어부(140)의 제어에 의해 방송 신호에 대응되는 음성을 출력한다. 오디오 출력부(196)는 스피커(196a), 헤드폰 출력 단자(196b) 또는 S/PDIF 출력 단자(163c) 중 적어도 하나를 포함할 수 있다. 한편, 저장부(130)는 도 3에 도시된 바와 같이, 전원 제어 모듈(130a), 채널 제어 모듈(130b), 볼륨 제어 모듈(130c), 외부입력 제어 모듈(130d), 화면 제어 모듈(130e), 오디오 제어 모듈(130f), 인터넷 제어 모듈(130g), 어플리케이션 모듈(130h), 검색 제어 모듈(130i), UI 처리 모듈(130j), 음성 인식 모듈(130k), 모션 인식 모듈(130l), 음성 데이터베이스(130m) 및 모션 데이터베이스(130n)를 포함한다. 이들 모듈들(130a 내지 130n)은 각각 전원 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 외부 입력 제어 기능, 화면 제어 기능, 오디오 제어 기능, 인터넷 제어 기능, 어플리케이션 실행 기능, 검색 제어 기능, UI 처리 기능을 수행하기 위하여 소프트웨어로 구현될 수 있다. 제어부(140)는 저장부(130)에 저장된 이들 소프트웨어를 실행시켜 해당 기능을 수행할 수 있다.
이하에서는 도면을 참조하여, 본 발명의 다양한 실시 예에 대해 설명하기로 한다.
제어부(140)는 음성 인식 모듈(130k)을 통해 사용자 음성을 인식하면, 원격 제어 장치에 의해 제어 가능한 태스크 중에서 인식된 사용자 음성에 대응되는 음성 태스크를 수행한다. 제어부(140)는 모션 인식 모듈(130l)을 통해 사용자 모션을 인식하면, 원격 제어 장치에서 제어 가능한 태스크 중에서 인식된 사용자 모션에 대응되는 모션 태스크를 수행한다. 이때, 음성 태스크 및 모션 태스크는 상기 원격 제어 장치에 구비된 버튼별로 구분되어 매핑되어 있다.
여기서, 음성 태스크란 음성 인식 모듈을 통해 인식된 음성에 따라 제어 가능한 태스크를 의미한다. 일 예로, 음성 태스크로 전자 장치(100)의 전원 제어, 채널 바로 가기, 소리끄기, 외부단자 변경, 볼륨 레벨 지정, 문자 입력 및 영상 재생/정지 기능 중 적어도 하나가 포함될 수 있다. 즉, 사용자가 음성으로 발화할 수 있는 명칭 또는 식별자를 가진 각종 태스크 또는 문자 입력이 요구되는 태스크가 음성 태스크로 설정될 수 있다.
또한, 모션 태스크란 모션 인식 모듈을 통해 인식된 모션에 따라 제어 가능한 태스크를 의미한다. 일 예로, 모션 태스크로 채널 재핑, 볼륨 레벨 조절, 화면 내비게이션, 슬라이드 바 컨트롤 및 커서 포인팅 등이 포함될 수 있다. 즉, 사용자 모션의 종류 및 방향 등에 따라 단계적으로 제어 가능한 각종 태스크 및 커서가 사용되는 태스크가 모션 태스크로 설정될 수 있다.
음성 인식 모듈을 통해 사용자의 음성이 인식되는 경우, 제어부(140)는 사용자의 음성에 포함된 발화 내용에 직접적으로 대응하는 음성 태스크를 수행한다.
예를 들어, 제어부(140)는 사용자가 발화한 음성 중에서 채널 식별자를 인식한다. 채널 식별자는 채널을 구분하기 위한 식별자로써 채널 명, 채널, 번호, 프로그램 명 중 적어도 하나를 포함할 수 있다.
상술한 바와 같이 저장부(130)에 음성 데이터베이스가 저장되어 있는 경우, 제어부(140)는 음성 데이터베이스를 이용하여 인식된 채널 식별자에 대응되는 채널로 바로 가기를 수행할 수 있다. 즉, 사용자가 “11”이라고 말한 경우, 제어부(140)는 음성 데이터베이스에 “11”에 해당하는 음성 태스크가 기록되어 있는지 확인한다. 이 때, ‘11’에 해당하는 음성 태스크가 11번 채널을 선국하도록 하는 채널 바로 가기 기능이라면, 제어부(140)는 11번 채널로 바로 가기 동작을 수행한다.
또한, 모션 인식 모듈을 통해 사용자의 모션이 인식되는 경우, 제어부(140)는 사용자의 모션의 방향에 따라 사용자의 모션에 대응하는 모션 태스크를 수행한다.
예를 들어, 위쪽 방향의 슬랩 동작이 모션 인식 모듈을 통해 인식되는 경우, 제어부(140)는 모션 데이터베이스로부터 위쪽 방향 슬랩 모션에 대응되는 모션 태스크를 확인하여, 현재 채널을 기준으로 기설정된 번호(예를 들어, 1)만큼 증가된 채널로 변경하는 채널 재핑을 수행할 수 있다. 또한, 아래쪽 방향의 슬랩 모션이 모션 인식 모듈을 통해 인식되는 경우, 제어부(140)는 모션 데이터베이스로부터 아래쪽 방향 슬랩 동작에 대응되는 모션 태스크를 확인하여, 현재 디스플레이 중인 채널을 기준으로 기설정된 번호(예를 들어, 1)만큼 감소된 채널로 변경하는 채널 재핑을 수행할 수 있다.
한편, 음성 태스크 및 모션 태스크는 도 4 및 도 5에 도시된 바와 같이, 원격 제어 장치에 구비된 버튼별로 구분되어 매핑될 수 있다.
도 4는 적어도 하나의 음성 태스크를 수행하기 위한 명령어에 대응되는 원격 제어 장치의 버튼을 도시하였다. 즉, 음성 입력이 인식된 경우 수행되는 태스크는 원격 제어 장치의 버튼 중 하나에 따라 수행되는 태스크에 대응할 수 있다.. 예를 들어, 도 4에 도시된 바와 같이, 원격 제어 장치의 전원 버튼(401)에 따라 수행되는 태스크는 “호출어(예를 들어, 지니)” 또는 “전원”이라는 음성이 인식된 경우 수행되는 태스크에 대응된다. 이에 따라, 외부입력 버튼(402)은 “외부입력”이라는 음성과 대응된다. 또한, 숫자 버튼(403)은 발화한 숫자와 대응된다. 또한, 이전 채널 버튼(404)은 “이전 채널”이라는 음성과 대응된다. 또한, 음소거(mute) 버튼(405)은 “소리끄기” 또는 “소리켜기”라는 음성과 대응된다. 또한, 채널목록 버튼(406)은 “채널목록”이라는 음성과 대응된다. 또한, 스마트 허브/메뉴/검색/간편메뉴/정보표시 버튼(407), 복귀 버튼(408), 종료 버튼(409), 소셜 네트워크/ 3D 영상 제공 버튼(410), 도움말 버튼(411) 및 재생/일시정지/정지 버튼/녹화 버튼(412)은 각각의 버튼 명칭에 해당하는 음성과 대응된다.
도 5는 적어도 하나의 모션 태스크를 수행하기 위한 모션에 대응되는 원격 제어 장치의 버튼을 도시하였다. 즉, 모션 입력이 인식된 경우 수행되는 태스크는 원격 제어 장치의 버튼 중 하나에 따라 수행되는 태스크에 대응할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 볼륨 업/다운 버튼 및 채널 업/다운 버튼(421)에 따라 수행되는 태스크는 상-하-좌-우 슬랩 모션이 인식된 경우 수행되는 태스크에 대응된다. 이에 따라, 상,하,좌,우 방향 버튼(422)은 상-하-좌-우 슬랩 모션과 대응된다. 또한, 선택 버튼(423)은 그랩 모션과 대응된다. 또한, 기능 버튼(425)은 OSD에 키 가이드가 있는 경우, 해당 키의 포인팅 모션과 대응된다.
이때, 음성 태스크 및 상기 모션 태스크 각각은 서로 다른 태스크의 결합 없이 단독으로 전자 장치(100)의 설정을 변경할 수 있다. 즉, 음성 태스크는 음성 인식 모듈(130k)에 의해 인식된 사용자 음성을 이용하여 전자 장치(100)의 설정을 변경할 수 있으며, 모션 태스크는 모션 인식 모듈(130l)에 의해 인식된 사용자 모션을 이용하여 전자 장치(100)의 설정을 변경할 수 있다.
제어부(140)는 음성 인식 모듈(130k) 및 모션 인식 모듈(130l) 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식한다. 그리고, 음성 인식 모듈(130k)을 통해 사용자 음성이 인식되면, 제어부(140)는 컨텐츠 식별자가 각각 부여된 복수의 컨텐츠 중 인식된 사용자 음성에 대응되는 컨텐츠 식별자가 부여된 컨텐츠를 실행한다. 그리고, 모션 인식 모듈(130l)을 통해 사용자의 모션이 인식되면, 제어부(140)는 사용자의 모션의 방향에 대응하여 복수의 컨텐츠를 변경한다.
여기서, 컨텐츠는 방송 컨텐츠일 수 있다. 특히, 음성 인식 모듈(130k)을 통해 사용자 음성이 인식되면, 제어부(140)는 현재 방송 채널에서 방송 채널 식별자가 각각 부여된 복수의 방송 채널 중 인식된 사용자 음성에 대응되는 방송 채널 식별자가 부여된 방송 채널로 변경한다. 이때, 채널 식별자는 채널번호, 채널명 및 프로그램 명 중 적어도 하나를 포함할 수 있다.
그리고, 모션 인식 모듈(130l)을 통해 사용자의 모션이 인식되면, 제어부(140)는 사용자의 모션의 방향에 대응하도록 복수의 방송 채널을 단계적으로 변경한다. 이때, 사용자 모션은 슬랩을 포함할 수 있다. 예를 들어, 인식된 사용자 모션이 위쪽 방향의 슬랩 모션이면, 제어부(140)는 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 증가된 채널로 변경되도록 채널 재핑을 수행한다. 그리고, 인식된 사용자 모션이 아래쪽 방향의 슬랩 모션이면, 제어부(140)는 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 감소된 채널로 변경되도록 채널 재핑을 수행한다.
여기서, 컨텐츠는 영상 컨텐츠, 음악 컨텐츠 및 사진 컨텐츠 중 하나일 수 있다. 컨텐츠가 영상 컨텐츠, 음악 컨텐츠 및 사진 컨텐츠 중 하나이면, 컨텐츠 식별자는 컨텐츠의 이름일 수 있다.
또한, 컨텐츠가 영상 컨텐츠, 음악 컨텐츠 및 사진 컨텐츠 중 하나이면, 사용자의 모션은 슬랩을 포함할 수 있다. 예를 들어, 인식된 사용자 모션이 오른쪽 방향의 슬랩 모션이면, 제어부(140)는 재생되기 위한 복수의 컨텐츠를 포함하는 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 다음 순서에 출력되는 컨텐츠로 변경하고, 인식된 사용자 모션이 왼쪽 방향의 슬랩 이면, 제어부(140)는 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 이전 순서에 출력되는 컨텐츠로 변경할 수 있다.
음성 인식 모듈(130k)을 통해 음성 개시 명령이 인식되면, 제어부(140)는 전자 장치(100)의 모드를 음성 인식 모듈(130k)을 통해 인식된 사용자 음성에 의해서 전자 장치(100)가 제어되는 음성 태스크 모드로 전환한다. 모션 인식 모듈(130l)을 통해 모션 개시 명령이 인식되면, 제어부(140)는 전자 장치(100)의 모드를 모션 인식 모듈(130l)을 통해 인식된 사용자 모션에 의해서 전자 장치(100)가 제어되는 모션 태스크 모드로 전환한다.
구체적으로, 제어부(140)는 원격 제어 장치(예를 들어, 리모컨)에 의해 제어되는 리모컨 모드, 음성에 의해 제어되는 음성 태스크 모드, 모션에 의해 제어되는 모션 태스크 모드 중 하나로 동작할 수 있다. 제어부(140)는 타 모드를 개시하기 위한 개시 명령이 입력되면 해당 모드로 전환할 수 있다.
제어부(140)는 리모컨 모드 또는 모션 태스크 모드 하에서 음성 인식 모듈을 통해 음성 개시 명령(trigger voice)이 인식되면, 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다. 여기서, 음성 개시 명령은 음성 태스크 모드에 진입하는 동작에 매칭되는 단어가 포함된 명령이다. 예를 들어, “지니”라는 단어가 음성 개시 명령으로 설정된 경우라면, 제어부(140)는 “지니”가 인식되었을 때 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다. 이러한 음성 개시 명령에 관한 단어는 사용자가 전자 장치(100)의 환경 설정 모드를 통해 직접 변경할 수도 있고, 전자 장치(100)의 제조 시에 디폴트로 정의된 고정 명령어가 될 수도 있다.
음성 태스크 모드로 동작하는 동안, 제어부(140)는 음성 데이터베이스를 이용하여 사용자가 발화한 음성에 포함된 단어에 대응되는 음성 태스크를 수행한다.
제어부(140)는 일반 모드로 복귀하기 위한 개시명령이나 모드 해지 명령, 모션 태스크 모드로 전환하기 위한 모션 개시 명령이 인식되기 전까지는 음성 태스크 모드를 유지할 수 있다. 또는, 음성 태스크 모드로 전환한 후 기 설정된 시간(예를 들어, 5분) 이상 동안 아무런 음성도 인식되지 않으면, 제어부(140)는 자동으로 리모컨 모드로 복귀할 수도 있다.
제어부(140)는 일반 모드 또는 음성 태스크 모드 하에서 모션 인식 모듈을 통해 모션 개시 명령(trigger motion)이 인식되는 경우에는 모션 태스크 모드로 전환할 수 있다. 여기서, 모션 개시 명령이라 함은 모션 태스크 모드에 진입하기 위해 기 설정된 모션이다. 예를 들어, 손을 좌우 방향으로 3~4회 흔드는 모션이 모션 개시 명령으로 설정되었다면, 이러한 모션이 인식되었을 때, 제어부(140)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이러한 모션 개시 명령에 관한 모션은 사용자가 전자 장치(100)의 환경 설정모드를 통해 직접 변경할 수도 있고, 전자 장치(100)의 제조 시에 디폴트로 정의된 고정 모션이 될 수도 있다.
모션 태스크 모드로 동작하는 동안, 제어부(140)는 모션 데이터베이스를 이용하여 사용자의 모션에 대응되는 모션 태스크를 수행한다. 제어부(140)는 리모컨 모드로 복귀하기 위한 개시명령이나 모드 해지 명령, 음성 태스크 모드로 전환하기 위한 음성 개시 명령이 인식되기 전까지는 모션 태스크 모드를 유지할 수 있다. 또는, 모션 태스크 모드로 전환한 후 기 설정된 시간(예를 들어, 5분) 동안 아무런 모션도 인식되지 않으면, 제어부(140)는 자동으로 일반 모드로 복귀할 수도 있다.
제어부(140)는 음성 인식을 안내하기 위한 음성 아이템이 포함된 음성 가이드 정보 및 모션 인식을 안내하기 위한 모션 아이템이 포함된 모션 가이드 정보 중 하나를 디스플레이한다. 그리고, 음성 가이드 정보에 포함된 음성 아이템에 대응되는 명령어들 중 하나가 인식되면, 제어부(140)는 인식된 명령어에 대응되는 음성 태스크를 수행한다. 그리고, 모션 가이드 정보에 포함된 모션 아이템에 대응되는 모션들 중 하나가 인식되면, 제어부(140)는 인식된 모션에 대응되는 모션 태스크를 수행한다.
구체적으로, 제어부(140)는 음성 인식 모듈(130k)을 통해 음성 개시 명령이 인식된 경우, 사용자의 음성에 의해 제어 가능한 음성 태스크들에 대한 음성 아이템이 디스플레이 되도록 처리할 수 있다. 음성 아이템에는 각종 음성 태스크들에 대응되는 명령어가 표시될 수 있다. 이에 따라, 사용자가 어떠한 명령어를 발화하면 어떠한 음성 태스크가 수행될 지 여부를 용이하게 인식할 수 있어, 사용자는 음성 태스크를 보다 편리하게 수행할 수 있게 된다.
또한, 제어부(140)는 모션 인식 모듈(130l)을 통해 모션 개시 명령이 인식된 경우, 사용자의 모션에 의해 제어 가능한 모션 태스크들에 대한 모션 아이템이 디스플레이 되도록 한다. 모션 아이템에는 각종 모션 태스크에 대응되는 모션이 표시될 수 있다. 이에 따라, 사용자가 어떠한 모션을 취하면, 어떠한 모션 태스크가 수행될 지 여부를 용이하게 인식할 수 있어, 사용자는 모션 태스크를 보다 편리하게 수행할 수 있게 된다.
이러한 음성 아이템 또는 모션 아이템은 디스플레이 화면의 동일한 영역(예를 들어, 화면의 하단)에 디스플레이될 수 있다. 또한, 음성 아이템 또는 모션 아이템이 디스플레이되는 영역은 디스플레이되는 영상과 오버랩 될 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 다른 위치 및 방법에 의해 음성 아이템 및 모션 아이템이 디스플레이될 수 있다. 예를 들어, 음성 아이템 또는 모션 아이템은 디스플레이 화면의 우측 또는 좌측에 디스플레이될 수 있다.
전자 장치(100)의 태스크는 사용자의 음성에 의해 제어되는 음성 태스크 및 사용자의 모션에 의해 제어되는 모션 태스크를 아래의 표 1과 같이 구분할 수 있다.

음성 태스크
전원 제어, 채널 바로가기, 볼륨 레벨 지정, 소리끄기, 외부입력 변경, 검색, 기능 실행 (대상의 명칭이 명확한 경우), 기능 취소, 문자 입력

모션 태스크
채널 재핑, 볼륨 레벨 조절, 기능 실행 (대상 명칭이 불명확한 경우), 재생 컨트롤, 슬라이드바 컨트롤, 커서 포인팅
표 1에 도시된 음성 태스크는 음성 개시 명령에 의해 실행되는 음성 태스크 모드에서 수행될 수 있으며, 표 1에 도시된 모션 태스크는 모션 개시 명령에 의해 실행되는 모션 태스크 모드에서 수행될 수 있다.
이하에서는 도 6 내지 도 32를 참조하여, 사용자의 음성에 의해 제어되는 음성 태스크들을 설명하고, 도 33 내지 도 58을 참조하여, 사용자의 모션에 의해 제어되는 모션 태스크들을 설명하기로 한다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 전원 켜기를 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 영상이 출력되지는 않으나, 음성 입력부(110) 및 제어부(140)에는 전원이 공급되는 대기모드에서 음성 인식 모듈(130k)을 통해 "전원 켜기"가 인식된 경우, 전자 장치(100)는 도 7에 도시된 바와 같이, 전원이 온 된다.
도 8 내지 도 10은 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 전원 끄기를 설명하기 위한 도면이다. 도 8에 도시된 바와 같이, 음성 태스크 모드에 진입하여 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이되고, 음성 인식 모듈(130k)을 통해 음성 아이템(811)에 대응되는"전원끄기"가 인식된 경우, 전자 장치(140)는 도 9에 도시된 바와 같이, 음성 가이드 정보에 전자 장치(100)의 전원을 끌지 여부를 다시 한 번 확인하는 가이드 영역(920)을 디스플레이한다. 음성 인식 모듈(130k)을 통해 음성 아이템(922)에 대응되는 "예"가 인식된 경우, 전자 장치(100)는 도 10에 도시된 바와 같이, 전원을 오프 한다.
도 11 및 도 12는 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 스마트 전원 켜기를 설명하기 위한 도면이다. 여기서 스마트 전원 켜기는 전자 장치(100)의 전원이 온 되는 동시에 사용자가 원하는 채널로 바로 변경되는 기능이다. 도 11에 도시된 바와 같이, 영상이 출력되지는 않으나, 음성 입력부(110) 및 제어부(140)에는 전원이 공급되는 대기 모드에서 음성 인식 모듈(130k)을 통해 "지니" 와 "채널 6"이 연속적으로 인식된 경우, 전자 장치(100)는 도 12에 도시된 바와 같이, 전원을 온 하고, 채널 6번을 디스플레이한다.
도 13 내지 도 16은 본 발명의 일 실시 예에 따른, 채널 번호가 포함된 음성 인식을 이용한 채널 바로가기를 설명하기 위한 도면이다. 도 13에 도시된 바와 같이, 음성 태스크 모드에 진입하여 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이 되고, 음성 인식 모듈(130k)을 통해 음성 아이템(812)에 대응되는 "채널"이 인식된 경우, 도 14에 도시된 바와 같이, 전자 장치(100)는 디스플레이 화면 하단의 음성 가이드 정보에 채널 번호와 채널 명을 안내하는 가이드 영역(830)을 디스플레이한다. 가이드 영역(830)이 디스플레이되고, 음성 인식 모듈(130k)을 통해 "칠"이라는 음성이 인식된 경우, 도 16에 도시된 바와 같이, 전자 장치(100)는 채널 7번이 선국 되도록 채널 변경한다.
음성 인식 모듈(130k)을 통해 인식된 "칠"을 포함하거나 “칠”과 유사한 후보군이 있을 경우, 도 15에 도시된 바와 같이, 전자 장치(100)는 음성 후보군 리스트(1100) 및 음성 후보군의 입력 방법을 안내하는 후보군 선택 가이드(1510)를 디스플레이한다.
음성 후보군 리스트(1100)가 디스플레이되고, 음성 인식 모듈(130k)을 통해 후보군 리스트의 1 번 아이템(1101)에 대응하는 "1 번"이 인식된 경우, 전자 장치(100)는 도 16에 도시된 바와 같이, 채널 7번이 선국 되도록 한다.
도 17 내지 도 20은 본 발명의 일 실시 예에 따른, 채널명이 포함된 음성 인식을 이용한 채널 바로가기를 설명하기 위한 도면이다. 도 17에 도시된 바와 같이, 음성 태스크 모드에 진입하여 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이되고, 음성 인식 모듈(130k)을 통해 음성 아이템(812)에 대응하는 "채널"이 인식된 경우, 도 18에 도시된 바와 같이, 전자 장치(100)는 음성 가이드 정보에 채널 번호와 채널 명을 안내하는 가이드 영역(830)을 디스플레이한다. 가이드 영역(830)이 디스플레이되고, 음성 인식 모듈(130k)을 통해 "엠비씨"라는 음성이 인식된 경우, 전자 장치(100)는 도 20에 도시된 바와 같이, "엠비씨"라는 채널 명을 가지는 채널 11번이 선국 되도록 한다.
음성 인식 모듈(130k)을 통해 인식된 "엠비씨"를 포함하거나 “엠비씨"와 유사한 후보군이 있을 경우, 도 19에 도시된 바와 같이, 전자 장치(100)는 음성 후보군 리스트(1900) 및 음성 후보군의 입력 방법을 안내하는 후보군 선택 가이드(1910)를 디스플레이한다. 음성 후보군 리스트(1900)가 디스플레이되고, 음성 인식 모듈(130k)을 통해 후보군 리스트(1900)에 포함된 1번(1901)에 대응되는 음성인 "11 번"이 인식된 경우, 도 20에 도시된 바와 같이, 전자 장치(100)는 "엠비씨"라는 채널 명을 가지는 채널 11번이 선국되도록 한다.
도 21 내지 도 23은 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 소리끄기(mute)를 설명하기 위한 도면이다. 도 21에 도시된 바와 같이, 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이되고, 음성 인식 모듈(130k)을 통해 음성 아이콘(813)에 대응하는 "소리끄기"가 인식된 경우, 전자 장치(100)는 오디오 출력부(196)를 제어하여 오디오가 출력되지 않도록 한다. 또한, 도 22에 도시된 바와 같이, 전자 장치(100)는 디스플레이 화면에 소리끄기 아이콘(2200)을 디스플레이 한다. 또한, 이때, 가이드 영역(1210)에는 소리끄기(813) 명령어 대신에 소리켜기(2213) 명령어가 디스플레이된다.
음성 인식 모듈(130k)을 통해 "소리켜기"가 인식된 경우, 전자 장치(100)는 오디오 출력부(196)에서 소리끄기 이전의 볼륨 레벨로 오디오가 출력되도록 한다. 또한, 도 23에 도시된 바와 같이, 전자 장치(100)는 디스플레이 화면에 소리끄기 아이콘(2200)을 삭제한다.
도 24 내지 도 26은 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 외부입력 변경을 설명하기 위한 도면이다. 도 24에 도시된 바와 같이, 음성 태스크 모드에 진입하여 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이되고, 음성 인식 모듈(130k)을 통해 음성 아이템(814)에 대응하는 "외부입력"이 인식된 경우, 도 25에 도시된 바와 같이, 전자 장치(100)는 외부입력 리스트(2500) 및 외부입력 선택을 안내하는 가이드(2510)를 디스플레이한다. 이때, 외부입력 리스트(2500)에는 외부단자 입력부(160)에 연결된 외부 단자인 USB 외부단자, AV1 외부단자, PC 외부 단자는 선명하게 표시되고, 연결되지 않은 외부 단자인 “HDMI 1” 및 “HDMI 2”는 희미하게 표시된다. 외부입력 리스트(2500)가 디스플레이되고, 사용자의 음성 모듈(130k)을 통해 "피씨"가 인식된 경우, 전자 장치(100)는 도 26에 도시된 바와 같이, 디스플레이 화면을 외부입력 "PC"와 연결된 상태로 변경한다.
도 27 내지 도 29는 본 발명의 일 실시 예에 따른, 발화 대상 명칭이 명확한 기능 실행 태스크를 설명하기 위한 도면이다. 도 27에 도시된 바와 같이, 스마트 기능(예를 들어, 인터넷 접속, 어플리케이션 실행, 동영상 재생, 음악 감상 등)을 수행하기 위한 컨텐츠 리스트를 디스플레이하는 사용자 명령이 입력되는 경우, 스마트 허브(2700)가 디스플레이된다. 스마트 허브(2700)는 전자 장치(100)에서 지원하는 기능의 중심이 되는 UI이며, 전자 장치(100)에서 지원하는 복수의 기능(예를 들어, 비디오 보기, 음악 듣기, 인터넷 접속 등)에 대응되는 단축 아이콘이 표시되는 UI이다. 또한, 스마트 허브(2700)는 전자 장치(100)의 저장부(130)에 저장된 컨텐츠(예를 들어, 포토, 음악, 비디오 등)에 대응되는 단축 아이콘, 외부로부터 수신 가능한 컨텐츠(예를 들어, 포토, 음악, 비디오 등)에 대응되는 단축 아이콘 및 외부와 연결 가능한 어플리케이션(예를 들어, 인터넷 브라우저 등)에 대응되는 단축 아이콘이 표시되는 UI이다.
음성 태스크 모드로 진입하기 위해 음성 인식 모듈(130k)을 통해 "지니"가 인식되는 경우, 전자 장치(100)는 도 28에 도시된 바와 같이, 디스플레이 화면 하단에 음성 GUI를 생성하고, 음성 태스크 모드로 진입한다. 이때, 음성 태스크 모드로 진입되는 경우, 전자 장치(100)는 스마트 허브(2700)에서 사용자의 음성에 의해 선택될 수 있는 단축 아이콘을 표시할 수 있도록, 스마트 허브(2700)의 단축 아이콘의 이름에 밑줄을 표시한다.
도 28에 도시된 바와 같이, 음성 가이드 정보가 디스플레이되고, 음성 인식 모듈(130k)을 통해 "유어 비디오"라는 사용자의 음성이 인식되는 경우, 전자 장치(100)는 도 29에 도시된 바와 같이, 스마트 허브(2700)의 "유어 비디오"에 포함되는 동영상을 실행시킨다. 여기서, “유어 비디오” 에 포함된 동영상이 1개인 경우에는 동영상이 바로 실행되고, “유어 비디오”에 포함된 동영상이 복수인 경우에는 “유어 비디오”에 포함된 동영상 리스트를 표시한다.
도 30 내지 도 32는 본 발명의 일 실시 예에 따른, 음성 인식을 이용하여 영상 재생기능 및 영상 정지 기능을 설명하기 위한 도면이다. 도 30에 도시된 바와 같이, 영상(예를 들어, 저장부(130)에 저장된 동영상)이 재생되고, 음성 태스크 모드로 진입하기 위해 음성 인식 모듈(130k)을 통해 "지니"가 인식되는 경우, 도 31에 도시된 바와 같이, 전자 장치(100)는 음성 태스크 모드로 진입하고, 음성 가이드 정보를 디스플레이 화면 하단에 디스플레이한다.
음성 가이드 정보가 디스플레이된 상태에서, 음성 인식 모듈(130k)을 통해 "일시정지"가 인식되는 경우, 전자 장치(100)는 현재 재생되는 영상을 일시 정지하고, 도 32에 도시된 바와 같이, 디스플레이 화면에 일시 정지 아이콘을 디스플레이하고, 영상을 일시 정지한다. 음성 인식 모듈(130k)을 통해 "재생"이 인식되는 경우, 도 31에 도시된 바와 같이, 전자 장치(100)는 일시 정지된 영상을 다시 재생한다.
한편, 영상 재생 중에는 음성 가이드 정보에 일시정지/정지 명령어가 표시될 수 있으며, 영상 일시 정지 중에는 음성 가이드 정보에 재생 명령어가 표시될 수 있다.
상술한 바와 같이, 음성 인식 모듈(130k)을 통해 인식된 사용자의 음성에 의해 제어되는 음성 태스크는 발화 가능한 식별자가 부여된 태스크 또는 문자 입력이 필요한 태스크로써, 사용자는 음성을 통해 음성 태스크를 더욱 쉽고 편하게 제어할 수 있게 된다.
도 33 및 도 34는 본 발명의 일 실시 예에 따른, 모션 인식을 이용한 채널 재핑을 설명하기 위한 도면이다. 도 33에 도시된 바와 같이, 모션 태스크 모드에 진입하여 디스플레이 화면 하단에 모션 가이드 정보가 디스플레이되고, 모션 인식 모듈(130l)을 통해 모션 아이템(3313)에 대응하는 사용자의 손이 오른쪽 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 34에 도시된 바와 같이, 현재 채널(6번)에 한 번호가 증가된 다음 채널(7번)이 선국되도록 한다. 이와 반대로, 도 34에 도시된 바와 같이 7번 채널이 디스플레이되고, 모션 인식 모듈(130l)을 통해 모션 아이템(3313)에 대응하는 사용자의 손이 현재 위치에서 왼쪽 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 33에 도시된 바와 같이, 현재 채널(7번)에 한 번호가 감소된 이전 채널(6번)이 선국되도록 한다.
도 35 내지 도 37은 본 발명의 일 실시 예에 따른, 모션 인식을 이용한 볼륨 레벨 조절을 설명하기 위한 도면이다. 도 35에 도시된 바와 같이, 모션 태스크 모드에 진입하여 디스플레이 화면 하단에 모션 가이드 정보가 디스플레이되고, 모션 인식 모듈(130l)을 통해 모션 아이템(3312)에 대응하는 사용자의 손이 위쪽 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 36에 도시된 바와 같이, 볼륨 레벨을 표시하는 볼륨 레벨 조절바(3600)를 디스플레이하고, 현재 볼륨 레벨(9)에서 한 단계 증가된 다음 단계의 볼륨(10)을 출력한다. 볼륨 레벨 조절바(3600)가 디스플레이된 후 기 설정된 시간(예를 들어, 5초) 이상 사용자의 모션이 인식되지 않는 경우, 전자 장치(100)는 도 37에 도시된 바와 같이, 볼륨 레벨 조절바(3600)를 디스플레이 화면에서 제거하고, 조절된 볼륨 레벨에 따라 오디오를 출력한다.
도 38 내지 도 41은 본 발명의 일 실시 예에 따른, 사용자의 포인팅 동작을 이용한 채널 변경을 설명하기 위한 도면이다. 도 38에 도시된 바와 같이, 사용자가 채널을 선택하기 위해 채널목록(3800) 생성 명령(예를 들어, 리모컨의 채널목록 버튼)을 입력하여 디스플레이 화면에 채널목록(3800)가 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 모션이 인식되는 경우, 도 39에 도시된 바와 같이, 전자 장치(100)는 커서(3910)를 생성하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다.
모션 가이드 정보가 디스플레이되고, 커서(3910)를 이동시키기 위해 모션 인식 모듈(130l)을 통해 현재 손의 위치에서 왼쪽 아래 방향으로 이동시키는 모션이 인식되는 경우, 도 40에 도시된 바와 같이, 전자 장치(100)는 커서(2010)를 모션에 따라 이동시켜 "11-1 MBC" 에 위치시킨다.
모션 인식 모듈(130l)을 통해 모션 아이템(3314)에 대응하는 그랩 모션이 인식되는 경우, 도 41에 도시된 바와 같이, 전자 장치(100)는 "11-1 MBC"를 선국하여 "채널 11-1 MBC"를 디스플레이 한다.
도 42 내지 도 45는 본 발명의 일 실시 예에 따른, 사용자의 포인팅 동작을 이용한 어플리케이션의 실행을 설명하기 위한 도면이다. 도 42에 도시된 바와 같이, 디스플레이 화면에 스마트 허브가 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 쉐이크 모션이 인식되는 경우, 도 43에 도시된 바와 같이, 전자 장치(100)는 커서(4310)를 생성하여 표시하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다.
모션 인식 모듈(130l)을 통해 현재 손의 위치에서 오른쪽 아래 방향으로 이동시키는 모션이 인식되는 경우, 도 44에 도시된 바와 같이, 전자 장치(100)는 커서(4310)를 모션에 따라 이동시켜 "APP 2" 에 위치시킨다.
모션 인식 모듈(130l)을 통해 모션 아이템(4311)에 대응하는 그랩 모션이 인식되는 경우, 도 45에 도시된 바와 같이, 전자 장치(100)는 "APP 2"를 실행한다. 이때, 전자 장치(100)는 도 45에 도시된 바와 같이, 스마트 허브가 나타나는 화면 대신에 선택된 어플리케이션을 실행하는 화면을 나타낼 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 전자 장치(100)는 스마트 허브 내에 스마트 허브보다 작은 화면으로 어플리케이션을 실행할 수 있다.
도 46 내지 도 48은 본 발명의 일 실시 예에 따른, 사용자의 모션을 이용한 스마트 허브의 어플리케이션 표시 영역에서의 내비게이션을 설명하기 위한 도면이다. 도 46에 도시된 바와 같이, 디스플레이 화면에 스마트 허브가 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 모션이 인식되는 경우, 도 47에 도시된 바와 같이, 전자 장치(100)는 커서(4710)를 생성하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다.
커서(4710)가 내비게이션이 가능한 영역(예를 들어, 좌우 이동 방향 키(4713, 4716)가 표시된 영역)에 위치하고, 모션 인식 모듈(130l)을 통해 현재 손의 위치에서 오른쪽 방향으로 이동되는 슬랩이 인식되는 경우, 도 48에 도시된 바와 같이, 전자 장치(100)는 커서(4710)가 위치한 어플리케이션 표시 영역(4720)을 왼쪽 방향으로 이동한다.
도 49 내지 도 52는 본 발명의 일 실시 예에 따른, 모션 인식을 이용한 대상 명칭이 명확하지 않은 아이콘의 실행을 설명하기 위한 도면이다. 도 49에 도시된 바와 같이, 디스플레이 화면에 웹 페이지 화면이 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 모션이 인식되는 경우, 도 50에 도시된 바와 같이, 전자 장치(100)는 커서(5010)를 생성하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다.
커서(5010)를 이동시키기 위해 모션 인식 모듈(130l)을 통해 현재 손의 위치를 왼쪽 위 방향으로 이동시키는 모션이 인식되는 경우, 전자 장치(100)는 도 51에 도시된 바와 같이, 커서(5010)를 모션에 따라 "북마크 아이콘"(4910)에 위치한다.
모션 인식 모듈(130l)을 통해 그랩이 인식되는 경우, 도 52에 도시된 바와 같이, 전자 장치(100)는 현재 디스플레이 화면 상에 웹 페이지를 북마크한 것을 나타내는 북마크(5220)를 표시한다.
도 53 내지 도 55는 본 발명의 일 실시 예에 따른, 모션 인식을 이용한 재생 컨트롤 태스크를 설명하기 위한 도면이다. 도 53에 도시된 바와 같이, 컨텐츠 영상(예를 들어, 저장부(130)에 저장된 동영상 또는 외부에서 수신된 동영상)이 디스플레이 화면에 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 모션이 인식되는 경우, 도 54에 도시된 바와 같이, 전자 장치(100)는 재생 컨트롤 바(5410)를 생성하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다. 이때, 재생 컨트롤 바(5410)는 모션 개시 명령이 인식되는 경우, 디스플레이 화면에 표시된다. 또한, 재생 컨트롤 바(5410)는 별도의 사용자 입력(예를 들어, 리모컨 버튼)이 있는 경우, 디스플레이 화면에 표시될 수 있다.
모션 인식 모듈(130l)을 통해 왼쪽 방향의 슬랩 모션이 인식되는 경우, 도 55에 도시된 바와 같이, 전자 장치(100)는 현재 영상에서 기 설정된 시간(예를 들어, 10분) 뒤로 가서 재생한다. 이때, 기 설정된 시간은 환경 설정을 통해 변경될 수 있다.
도 56 내지 도 58은 본 발명의 일 실시 예에 따른, 또 다른 모션 인식을 이용한 재생 컨트롤 태스크를 설명하기 위한 도면이다. 도 56에 도시된 바와 같이, 영상(예를 들어, 저장부(130)에 저장된 동영상 또는 외부에서 수신된 동영상)이 디스플레이 화면에 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 인식 모듈(130l)을 통해 손을 3~4회 흔드는 모션이 인식되는 경우, 도 57에 도시된 바와 같이, 전자 장치(100)는 재생 컨트롤 바(5710)를 생성하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이한다. 이때, 재생 컨트롤 바(5710)는 모션 개시 명령이 인식되는 경우, 디스플레이 화면에 표시된다. 또한, 재생 컨트롤 바(5710)는 별도의 사용자 입력(예를 들어, 리모컨 버튼)이 있는 경우, 디스플레이 화면을 통해 표시될 수 있다.
모션 인식 모듈(130l)을 통해 그랩 모션이 인식되는 경우, 전자 장치(100)는 현재 재생 위치를 나타내는 아이콘(5715)을 선택하고, 그 후 모션 인식 모듈(130l)을 통해 왼쪽 방향의 이동 모션이 인식되는 경우, 전자 장치(100)는 왼쪽 방향의 이동 모션에 대응되는 시간만큼 뒤로 가서 재생한다, 그리고, 아이콘(5715) 역시 왼쪽 방향의 이동 모션에 대응되는 만큼 뒤로 이동된다. 모션 인식 모듈(130l)을 통해 그랩이 해제(예를 들어, 손을 펴는 스프레드(spread) 동작)되는 경우, 도 58에 도시된 바와 같이, 전자 장치(100)는 뒤로 간 시간에서부터 영상을 다시 재생한다. 그러나, 이는 일 실시 예에 불과할 뿐, 그랩 후, 오른쪽 방향의 이동 모션이 인식되는 경우, 전자 장치(100)는 오른쪽 방향의 이동 모션에 대응되는 시간만큼 앞으로 가서 재생한다. 그리고, 아이콘(5715) 역시 오른쪽 방향의 이동 모션에 대응되는 만큼 앞으로 이동된다.
상술한 바와 같이, 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 의해 제어되는 모션 태스크는 설정값이 단계적으로 변경되는 태스크 또는 커서가 이용되는 태스크로써, 사용자는 모션을 통해 모션 태스크를 더욱 쉽고 편하게 제어할 수 있게 된다.
도 59 및 도 60은 본 발명의 다양한 실시 예에 따른, 전체 태스크를 모션 태스크 및 음성 태스크로 구분하여 제어하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 59는 본 발명의 일 실시 예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 사용자의 음성 또는 모션을 인식한다(S5910). 사용자 음성은 마이크를 통해 입력되어 음성 인식 모듈에 의해 인식될 수 있고, 사용자 모션은 카메라에 의해 촬상되어 모션 인식 모듈에 의해 인식될 수 있다.
이와 같이, 전자 장치(100)는 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 입력이 인식되면(S5910), 수신된 사용자 입력에 따라 음성 태스크 및 모션 태스크 중 하나를 수행한다(S5920). 이때, 음성 태스크는 전자 장치(100)를 제어하기 위한 태스크 중 사용자의 음성에 대응되는 식별자를 포함하는 태스크이며, 모션 태스크는 전자 장치(100)를 제어하기 위한 태스크 중 사용자의 모션의 방향에 따라 단계적으로 수행되는 태스크이다.
상술한 방법과 같이, 사용자는 음성 및 모션을 함께 사용하여 보다 효과적으로 전자 장치(100)를 제어할 수 있게 된다.
도 60은 본 발명의 일 실시 예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 개시 명령을 인식한다(S6005). 이때, 개시 명령에는 음성 인식 모듈을 통해 인식된 음성 개시 명령 또는 모션 인식 모듈을 통해 인식된 모션 개시 명령이 포함된다.
이때, 인식된 개시 명령이 음성 개시 명령이면(S6010-Y), 전자 장치(100)는 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S6015). 이때, 음성 태스크 모드는 음성 인식 모듈을 통해 인식된 사용자의 음성에 의해서 태스크가 수행되는 모드이다.
음성 태스크 모드로 전환되는 경우, 전자 장치(100)는 음성 아이템을 포함하는 음성 가이드 정보를 생성한다(S6020). 예를 들어, 도 61에 도시된 바와 같이, 음성 태스크를 수행하기 위한 음성 아이템이 포함된 음성 가이드 정보가 표시된다.
음성 태스크 모드로 전환된 상태에서, 전자 장치(100)는 사용자의 음성이 인식되었는지 여부를 판단하여(S6030), 사용자의 음성이 인식되었다고 판단되는 경우(S6030-Y), 전자 장치(100)는 인식된 사용자의 음성에 대응되는 음성 태스크를 수행한다(S6035). 예를 들어, 도 6 내지 도 32에서 설명한 바와 같은 음성 태스크를 수행할 수 있다.
이때, 음성 태스크로는 전자 장치의 전원 제어, 채널 바로가기, 볼륨 레벨 지정, 소리끄기, 외부입력 변경, 문자 입력 및 재생/정지 기능 중 적어도 하나를 포함할 수 있다.
음성 태스크 모드에서 모션 개시 명령이 인식되었는지 여부를 판단하고(S6040), 모션 개시 명령이 인식되는 경우(S6040-Y), 전자 장치(100)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다(S6045). 예를 들어, 음성 태스크 모드에서 모션 개시 명령이 인식되는 경우, 전자 장치(100)는 모션 태스크 모드로 전환하여 도 62에 도시된 바와 같은 모션 아이템이 포함된 모션 가이드 정보를 표시한다.
모션 개시 명령이 인식되지 않으면(S6040-N), 전자 장치(100)는 기존 태스크 모드인 음성 태스크 모드를 유지한다(S6070). 최초로 인식된 개시 명령이 음성 개시 명령이 아닌 모션 개시 명령이라면(S6010-N), 전자 장치(100)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다(S6045). 이때, 모션 태스크 모드는 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 의해서만 태스크가 수행되는 모드이다.
모션 태스크 모드로 전환되는 경우, 전자 장치(100)는 모션 아이템을 포함하는 모션 가이드 정보를 생성한다(S6050). 예를 들어, 도 62에 도시된 바와 같이, 모션 태스크를 수행하기 위한 모션 아이템이 포함된 모션 가이드 정보가 표시된다.
전자 장치(100)는 사용자의 모션이 인식되었는지 여부를 판단하고(S6055), 사용자의 모션이 인식되었다고 판단되는 경우(S6055-Y), 전자 장치(100)는 인식된 사용자의 모션에 대응되는 모션 태스크를 수행한다(S6060). 예를 들어, 도 33 내지 도 58에서 설명한 바와 같은 모션 태스크를 수행할 수 있다.
이때, 음성 태스크로는 채널 재핑, 볼륨 레벨 조절, 화면 내비게이션, 슬라이드바 컨트롤 및 커서 포인팅 중 적어도 하나를 포함할 수 있다.
모션 태스크 모드에서 음성 개시 명령이 있는지 여부를 판단하고(S6065), 음성 개시 명령이 인식되는 경우(S6065-Y), 전자 장치(100)는 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S6010). 예를 들어, 모션 태스크 모드에서 음성 개시 명령이 인식되는 경우, 전자 장치(100)는 음성 태스크 모드로 전환하여 도 60에 도시된 바와 같은 음성 아이템이 포함된 음성 가이드 정보를 표시한다.
음성 개시 명령이 인식되지 않으면(S6040-N), 전자 장치(100)는 기존 태스크 모드인 모션 태스크 모드를 유지한다(S6070).
이상과 같이, 전자 장치(100)는 사용자의 모션 및 음성에 따라 다양한 태스크를 수행할 수 있게 되며, 이로 인해 사용자의 편의성이 증대된다.
제어부(140)는 인식된 음성에 따라 음성 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 음성 태스크들을 수행하기 위한 음성 가이드 정보(voice assistance information)가 표시되도록 제어할 수 있다. 예를 들어, 제어부(140)는 음성 인식 모듈을 통해 음성 개시 명령이 인식된 경우, 사용자의 음성에 의해 제어 가능한 음성 태스크들을 수행하기 위한 음성 가이드 정보가 디스플레이 되도록 제어할 수 있다. 음성 가이드 정보로서 각종 음성 태스크들에 대응되는 적어도 하나의 음성 아이템이 표시될 수 있다. 여기서, 적어도 하나의 음성 아이템 각각은 발화 가능한(utterable) 명령어일 수 있다. 이에 따라, 사용자는 음성 태스크 모드에서 인식 가능한 명령어를 편리하게 인식할 수 있다. 또한, 해당 명령어를 발화하면 어떠한 음성 태스크가 수행될지 여부를 용이하게 인식할 수 있다.
또한, 제어부(140)는 음성 태스크 모드에서 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다. 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보(additional item information)가 존재하는지 여부를 판단할 수 있다. 아이템 부가 정보가 존재하지 않는 경우, 제어부(140)는 제1 음성 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 음성 가이드 정보의 변경이 필요한 경우, 제어부(140)는 변경된 음성 가이드 정보가 표시되도록 디스플레이부(미도시)를 제어할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제어부(140)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다. 제어부(140)는 음성 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다.
또한, 제어부(140)는 인식된 모션에 따라 모션 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 모션 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어할 수 있다. 예를 들어, 제어부(140)는 모션 인식 모듈을 통해 모션 개시 명령이 인식된 경우, 사용자의 모션에 의해 제어 가능한 모션 태스크들을 수행하기 위한 모션 가이드 정보가 디스플레이 되도록 한다. 모션 가이드 정보로서 각종 모션 태스크에 대응되는 적어도 하나의 모션 아이템이 표시될 수 있다. 여기서, 적어도 하나의 모션 아이템 각각은 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 및 인식 가능한 모션에 대응하는 태스크를 포함할 수 있다. 이에 따라, 사용자는 모션 태스크 모드에서 인식 가능한 모션을 쉽게 인식할 수 있으며, 어떠한 모션을 취하면, 어떠한 모션 태스크가 수행될지 여부를 용이하게 인식할 수 있어, 사용자는 모션 태스크를 보다 편리하게 수행할 수 있게 된다.
또한, 제어부(140)는 모션 태스크 모드에서 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다. 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 아이템 부가 정보가 존재하지 않는 경우, 제어부(140)는 제1 모션 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 모션 가이드 정보의 변경이 필요한 경우, 제어부(140)는 변경된 모션 가이드 정보가 표시되도록 디스플레이부(미도시)를 제어할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제어부(140)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다. 제어부(140)는 모션 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 음성 가이드 정보, 모션 가이드 정보, 음성 아이템과 관련된 아이템 부가 정보, 또는 모션 아이템과 관련된 아이템 부가 정보 등은 디스플레이 화면의 동일한 영역(예를 들어, 화면의 하단)에 디스플레이 될 수 있다. 또한, 상기 정보들은 미리 설정된 영역 또는 동적으로 변경되는 영역상에 디스플레이 될 수 있다. 예를 들어, 음성 가이드 정보 또는 모션 가이드 정보는 디스플레이 화면의 상단, 하단, 우측 또는 좌측에 디스플레이될 수 있고, 화면에 함께 표시되는 이미지에 따라 동적으로 변경될 수도 있다.
또한, 음성 가이드 정보, 모션 가이드 정보, 음성 아이템과 관련된 아이템 부가 정보, 또는 모션 아이템과 관련된 아이템 부가 정보 등은 디스플레이되거나 재생되는 영상, 어플리케이션, OSD, 또는 인식 후보 등과 함께 표시되거나, 단독으로도 표시될 수 있다. 또한, 상기 정보들이 표시되는 영역은 영상, 어플리케이션, OSD, 또는 인식 후보가 표시되는 영역과 오버랩되어 표시될 수 있다. 이러한 음성 가이드 정보 또는 모션 가이드 정보는 적어도 일부가 투명하게 표시될 수도 있다. 이러한 투명도(transparency)는 사용자의 선택에 의해 조절될 수 있다.
한편, 상술한 음성 가이드 정보 및 모션 가이드 정보는 다양한 형태로 사용자에게 제공될 수 있다. 이하에서는 도 61 내지 도 63을 참조하여 음성 가이드 정보, 음성 아이템에 관련된 아이템 부가 정보 및 모션 가이드 정보가 더욱 상세히 설명된다.
도 61은 본 발명의 일 실시 예에 따른, 음성 태스크 모드인 경우 디스플레이부(193)에 디스플레이되는 음성 가이드 정보를 나타내는 도면이다.
도 61에 도시된 바와 같이, 음성 태스크 모드에서, 디스플레이부(193)는 음성 가이드 정보로서 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818)을 표시할 수 있다. 여기서, 적어도 하나의 음성 아이템 각각은 발화 가능한 명령어일 수 있다. 또한, 음성 가이드 정보는 음성 태스크 모드를 나타내는 모드 이미지 또는 텍스트 등을 포함할 수 있다. 음성 가이드 정보는 적어도 하나의 음성 아이템을 포함하는 가이드 영역(810) 또는 전자 장치(100)의 지정된 모드(예를 들어, 음성 태스크 모드 또는 모션 태스크 모드)를 표시하는 모드 표시 영역(820)을 포함할 수 있다. 모드 표시 영역(820)에는 음성 태스크 모드 및 모션 태스크 모드 중 지정된 모드를 나타내는 모드 이미지 및 텍스트 중 적어도 하나가 포함될 수 있다. 또한, 가이드 영역(810) 및 모드 표시 영역(820)은 도 61에 도시된 바와 같이 구분되어 표시될 수도 있고, 두 영역의 경계가 구분되지 않게 표시될 수도 있다. 또한, 모드 표시 영역(820)이 생략될 수도 있다. 가이드 영역(810) 및 모드 표시 영역(820) 각각의 위치는 전자 장치(100)의 제조시 설정되거나, 사용자에 의해 임의로 설정되거나, UI와 함께 표시되는 영상에 따라 동적으로 위치될 수도 있다. 예를 들어, 가이드 영역(810) 또는 모드 표시 영역(820)의 위치는, OSD가 표시되는 경우 OSD의 표시가 두드러지도록 OSD의 표시된 영역 밖의 임의 위치로 변경될 수도 있다. 가이드 영역(810)은 디스플레이 화면 하단에 디스플레이될 수 있으며, 모드 표시 영역(820)은 디스플레이 화면의 하단 중앙에 디스플레이될 수 있다. 또한, 모드 표시 영역(820)의 위치는 가이드 영역(810)에 독립적으로 환경 설정에 따라 하단 우측과 같이 다른 위치로 변경될 수 있다.
음성 태스크 모드에서, 가이드 영역(810)은 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818)을 포함한다. 예를 들어, 적어도 하나의 음성 아이템 각각은 음성 태스크를 수행하기 위한 명령어 일 수 있다. 가이드 영역(810)에 포함된 적어도 하나의 명령어는 전원끄기(811), 채널(812), 소리끄기(813), 외부입력(814), 스마트허브(815), 앱스(816), 검색(817) 또는 전체(818) 등을 포함할 수 있다. 이때, 전원끄기(811)는 전자 장치(100)의 전원 끄기를 수행하기 위한 명령어다. 채널(812)은 채널 바로가기를 수행하기 위한 명령어이다. 소리끄기(813)는 소리끄기를 수행하기 위한 명령어다. 외부입력(814)는 외부입력 변경을 수행하기 위한 명령어다. 스마트허브(815)는 전자 장치(100)의 인터넷 기능, 어플리케이션 제공 기능, 멀티미디어(예를 들어, 동영상, 음악, 사진 등) 제공 기능과 같은 스마트 기능에 진입하는 태스크를 수행하기 위한 명령어다. 앱스(816)는 전자 장치(100)의 어플리케이션을 검색하는 태스크를 수행하기 위한 명령어다. 검색(817)은 전자 장치(100)가 제공하는 컨텐츠, 어플리케이션, 기능, 웹 검색을 수행하기 위한 명령어다. 전체(818)는 전체 명령어를 표시하기 위한 명령어다. 또한, 가이드 영역(810)은 전체(818)를 대신하여 명령어로서 ‘더보기’(more)를 포함할 수 있다. 즉, 전체(818) 및 ‘더보기’는 음성 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818)과 다른 아이템을 표시하기 위한 음성 아이템일 수 있다. 또한, 전자 장치(100)가 상기 다른 아이템을 표시하는 경우, 미리 설정된 타이머의 구동을 생략할 수 있다. 여기서, 미리 설정된 타이머는 표시된 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818) 중 어느 하나가 미리 설정된 시간동안 인식되지 않는 경우, 음성 태스크 모드를 중단하기 위한 타이머일 수 있다. 음성 태스크 모드가 중단되는 경우, 음성 가이드 정보의 표시가 사라지고, 일반적인 원격 제어 장치에 의해 제어되는 모드로 변경될 수 있다. 또한, 음성 태스크 모드가 중단되는 경우, 음성 개시 명령에 따라 음성 태스크 모드로 재진입하기 전까지 음성 태스크의 수행이 제한될 수 있다. 또한, 화면에 음성 가이드 정보, 모션 가이드 정보, 아이템 부가 정보 등과 함께 OSD 또는 인식 후보가 표시된 경우, 지정된 모드와 상관 없이 지정된 모드의 중단을 위한 미리 설정된 타이머의 구동이 생략될 수도 있다. 또한, 가이드 영역(810)에는 상술된 명령어들과 다른 명령어가 포함될 수도 있다.
음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818)은 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 즉, 가이드 영역(810)에 디스플레이되는 적어도 하나의 명령어는 전자 장치(100)의 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 예를 들어, 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818)은 음성 가이드 정보와 함께 표시되는 어플리케이션, OSD(on screen display) 및 인식 후보(candidate) 중 적어도 하나에 따라, 음성 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나가 선택적으로 구성된 것일 수 있다. 예를 들어, 현재 전자 장치(100)에 스마트 기능이 수행되는 경우, 방송 수신 상태로 복귀하기 위한 명령어인 “복귀”가 포함된 음성 가이드 정보가 디스플레이 될 수 있다. 여기서, 인식 후보는 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 인식된 음성과 유사한 명령어, 유사한 명령어에 대응하는 태스크, 인식된 모션과 유사한 모션, 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다. 예를 들어, 인식된 음성에 대한 유사후보들은 인식된 음성과 유사한 채널 식별자들의 리스트가 팝업 윈도우내에 표시될 수 있다. OSD는 전자 장치(100)의 현재 설정 정보, 인식 후보를 제외한 전자 장치(100)의 설정 메뉴 등을 포함할 수 있다. 예를 들어, OSD로서, 현재 재생중인 채널의 식별자(채널 번호, 채널명)가 표시되거나, 외부입력 리스트 또는 채널목록이 표시될 수 있다.
제어부(140)는 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템(811, 812, 813, 814, 815, 816, 817, 818) 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다. 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제1 음성 아이템에 관련된 아이템 부가 정보는 제1 음성 아이템과 관련된 부가 명령어, 가이드 문구 또는 발화(utterance) 예시 등을 포함할 수 있다. 예를 들어, 음성 인식 모듈(130k)을 통해 가이드 영역(810)에 표시된 음성 아이템(812)에 대응하는 음성으로서 "채널"이 인식되고, 음성 아이템(812)에 대응하는 태스크가 음성 태스크들 중 채널 바로가기인 경우, 디스플레이부(193)는 도 62에 도시된 바와 같이, 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구, 발화 예시, 또는 부가 명령어(일례로, ‘이전’)를 포함하는 아이템 부가 정보를 표시할 수 있다. 여기서, ‘이전’은 도 61의 가이드 영역(810)을 포함하는 UI가 다시 표시되도록 하기 위한 명령어일 수 있다. 아이템 부가 정보는 부가 명령어, 가이드 문구 또는 발화(utterance) 예시 등을 포함하는 가이드 영역(830) 및 모드 표시 영역(820)을 포함할 수 있다. 일례로, 가이드 영역(830)의 좌측에는 가이드 문구가 표시되고, 가이드 영역(830)의 우측에는 부가 명령어 또는 발화 예시 등이 표시될 수 있다.
또한, 제어부(140)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다. 제어부(140)는 음성 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 음성 아이템이 음성 아이템(812)이고, 도 60의 아이템 부가 정보에 대응하는 제2 음성으로서 ‘MBC’가 인식된 경우, 제어부(140)는 ‘MBC’를 포함하는 채널 식별자에 대응하는 채널로 변경하는 채널 바로 가기를 수행할 수 있다. 이처럼, 제1 음성 아이템에 관련된 아이템 부가 정보는 제1 음성 아이템에 대응하는 태스크를 수행함에 있어서, 해당 태스크의 수행 여부를 문의하거나, 해당 태스크의 수행에 필요한 정보를 추가로 획득하기 위해, 제2 음성의 발화를 가이드하기 위한 정보일 수 있다.
한편, 음성 가이드 정보는 전자 장치(100)의 기능 및 세부 상태에 따라 아래의 표 2와 같이, 디스플레이될 수 있다.
도 63은 본 발명의 일 실시 예에 따른 전자 장치에서, 모션 태스크 모드인 경우 디스플레이부(193)에 디스플레이되는 모션 가이드 정보를 나타낸다.
도 63에 도시된 바와 같이, 모션 태스크 모드에서, 디스플레이부(193)는 모션 가이드 정보로서 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314)을 표시할 수 있다. 여기서, 적어도 하나의 모션 아이템 각각은 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 또는 인식 가능한 모션(또는 모션 이미지)에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다. 또한, 모션 가이드 정보는 모션 태스크 모드를 나타내는 모드 이미지 또는 텍스트 등을 포함할 수 있다. 모션 가이드 정보는 적어도 하나의 모션 아이템을 포함하는 가이드 영역(3310) 및 전자 장치(100)의 모드를 표시하는 모드 표시 영역(3320)을 포함할 수 있다. 모드 표시 영역(3320)에는 음성 태스크 모드 및 모션 태스크 모드 중 지정된 모드를 나타내는 모드 이미지 및 텍스트 중 적어도 하나가 포함될 수 있다. 또한, 가이드 영역(3310) 및 모드 표시 영역(3320)은 도 63에 도시된 바와 같이 구분되어 표시될 수도 있고, 두 영역의 경계가 구분되지 않게 표시될 수도 있다. 또한, 모드 표시 영역(3320)이 생략될 수도 있다. 예를 들어, 가이드 영역(3310)은 디스플레이 화면 하단에 디스플레이 될 수 있으며, 모드 표시 영역(3320)은 디스플레이 화면의 하단 중앙에 디스플레이 될 수 있다. 여기서, 모드 표시 영역(3320)의 위치는 환경 설정에 의해 변경(예를 들어, 하단 우측)될 수 있다.
모션 태스크 모드에서, 가이드 영역(3310)은 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314)을 포함한다. 예를 들어, 적어도 하나의 모션 아이템 각각은 모션 이미지 및 모션 이미지에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다. 가이드 영역(3310)에 포함된 적어도 하나의 모션 아이템은 반시계 방향 회전 모션은 이전 설정으로 가는 기능을 수행하기 위한 뒤로 가기에 대응함을 나타내는 모션 아이템(3311), 상/하 슬랩 모션은 볼륨 레벨 조절을 수행하기 위한 볼륨 업/다운에 대응함을 나타내는 모션 아이템(3312), 좌/우 슬랩 모션은 채널 재핑을 수행하기 위한 채널 업/다운에 대응함을 나타내는 모션 아이템(3313), 그랩 모션은 영상 재생을 수행하기 위한 재생에 대응함을 나타내는 모션 아이템(3314) 등을 포함할 수 있다. 또한, 가이드 영역(3310)에는 상술된 모션 아이템들과 다른 모션 아이템이 포함될 수도 있다. 또한, 상술한 적어도 하나의 모션 아이템들 각각에 포함된 모션 이미지 및 모션 이미지에 대응하는 텍스트는, 인식 가능한 모션 및 인식 가능한 모션에 대응하는 태스크의 매핑 설정에 따라 변경될 수 있다. 예를 들어, 가이드 영역(3310)에는 상/하 슬랩 모션이 채널 재핑을 수행하기 위한 채널 업/다운에 대응함을 나타내는 모션 아이템 및 좌/우 슬랩 모션이 볼륨 레벨 조절을 수행하기 위한 볼륨 업/다운에 대응함을 나타내는 모션 아이템을 포함할 수도 있다.
모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314)은 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 즉, 가이드 영역(3310)에 디스플레이되는 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314)은 전자 장치(100)의 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 예를 들어, 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314)은 모션 가이드 정보와 함께 표시되는 어플리케이션, OSD 및 인식 후보 중 적어도 하나에 따라, 모션 태스크들에 대응하는 모션 아이템들 중에서 적어도 하나가 선택적으로 구성된 것일 수 있다.
또한, 제어부(140)는 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템(3311, 3312, 3313, 3314) 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 예를 들어, 모션 아이템(3314)에 대응하는 그랩 모션이 인식된 경우, 선택된 아이템 또는 영상 파일을 재생할지 여부를 문의하는 가이드 문구, 또는 좌/우 슬랩 모션이 예(Yes)/아니오(No)에 대응함을 나타내는 모션 아이템 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
또한, 제어부(140)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다. 제어부(140)는 모션 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 모션 아이템이 모션 아이템(3314)이고, 지정된 영상 파일을 재생할지 여부를 문의하는 가이드 문구 및 좌/우 슬랩 모션이 예/아니오에 대응함을 나타내는 모션 아이템을 포함하는 아이템 부가 정보에 대응하는 제2 모션으로서 좌측 방향의 슬랩 모션이 인식된 경우, 지정된 영상 파일이 재생될 수 있다. 이처럼, 제1 모션 아이템에 관련된 아이템 부가 정보는 제1 모션 아이템에 대응하는 태스크를 수행함에 있어서, 해당 태스크의 수행 여부를 문의하거나, 해당 태스크의 수행에 필요한 정보를 추가로 획득하기 위해, 제2 모션을 가이드하기 위한 정보일 수 있다.
또한, 모션 인식에 오류가 발생하는 경우, 오류 안내를 나타내는 모션 가이드 정보가 표시될 수 있다. 예를 들어, 모션 가이드 정보는 “제스처를 인식하지 못했습니다. 다시 입력하여 주세요”라는 가이드 문구, 또는 다시 입력을 나타내는 텍스트와 매핑된 손바닥 이미지 등을 포함할 수 있다. 또한, 모션 가이드 정보는 “지금은 양손 인식이 불가능합니다.”라는 가이드 문구, 또는 “ ‘웹 브라우져’, ‘사진 보기’, ‘구글 맵 App’에서만 이용 가능합니다”라는 가이드 문구를 포함할 수 있다. 여기서, 양손 인식은 양손을 좁히기, 양손을 넓히기 등의 모션에 대응하여 화면의 확대, 또는 축소 등의 태스크를 수행하기 위한 것일 수 있다. 또한, 모션 가이드 정보의 일부로서, 모드 표시 영역에 오류 안내를 나타내는 이미지 또는 텍스트 등이 표시될 수도 있다.
이하에서는 도 64 내지 도 66를 참조하여, 전자 장치(100)에서 음성 인식 또는 모션 인식에 따른 피드백을 제공하는 사용자 인터페이스에 대해 설명된다.
도 64에 도시된 바와 같이, 음성 태스크 모드에서, 가이드 영역(810) 및 모드 표시 영역(820) 등을 포함하는 음성 가이드 정보가 디스플레이될 수 있다. 이때, 가이드 영역(810) 및 모드 표시 영역(820)은 화면의 하단에서부터 솟아오르는 시각적 효과가 적용되어 표시될 수 있다. 예를 들어, 가이드 영역(810) 및 모드 표시 영역(820)이 일정 시 구간 동안(일례로, 3초 동안) 애니메이션 형태로 표시될 수 있다. 일례로, 가이드 영역(810) 및 모드 표시 영역(820)의 일부가 하단에서 빠른 속도로 솟아오르며 표시되다가, 점점 느린 속도로 솟아올라 도 64에 표시된 가이드 영역(810) 및 모드 표시 영역(820)의 형태가 완성되면서 솟아오르는 애니메이션이 종료될 수 있다. 또한, 모션 태스크 모드로 진입하는 경우에도 모션 가이드 정보가 상술된 애니메이션 형태로 표시될 수도 있다. 또한, 특정 모드에 대한 UI가 표시되었다가 사라지는 경우, 특정 모드로 전환되는 경우 등에도 상술된 시각적 효과 외에도 다양한 시각적, 청각적 효과가 출력될 수 있다.
전자 장치(100)는 제1 음성 아이템에 대응하는 제1 음성을 인식하는 경우, 제1 음성의 인식 정확도에 따라, 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공할 수 있다. 또한, 전자 장치(100)는 제1 모션 아이템에 대응하는 제1 모션을 인식하는 경우, 제1 모션의 인식 정확도에 따라, 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공할 수 있다. 여기서, 인식 정확도는 제1 음성(또는 제1 모션)이 전자 장치(100)에서 인식 가능한 음성(또는 모션)인지 여부를 판단할 수 있는 수준을 나타내거나, 또는 인식된 음성(또는 모션)이 미리 설정된 명령어들(또는 미리 설정된 모션들) 중 하나에 해당하는지 식별할 수 있는 수준을 나타내는 것일 수 있다. 또한, 인식 정확도는 음성 또는 모션을 인식하여 해당 음성 또는 모션에 대응하는 태스크를 식별하는데까지 걸리는 시간에 따라 나타내는 지표일 수 있다.
예를 들어, 전자 장치(100)가 음성 아이템(815)에 대응하는 음성으로서 “스마트허브”를 인식하는 경우, 전자 장치(100)는 가이드 영역(810)에 포함된 적어도 하나의 명령어(811, 812, 813, 814, 815, 816, 817, 818) 중 하나로 식별가능한 수준을 확률적으로 계산하여 인식 정확도를 결정할 수 있다. 전자 장치(100)는 인식 정확도와 미리 설정된 임계값을 비교하여, 인식 정확도가 임계값보다 큰 경우와 인식 정확도가 낮은 경우 각각에 대응하는 시각적 효과를 서로 다르게 표시할 수 있다. 일례로, 도 65에 도시된 바와 같이, 음성 인식의 정확도에 따라, 모드 표시 영역(6520)에 음성 태스크 모드를 나타내는 이미지의 배경에 시계방향으로 회전하는 애니메이션이 표시될 수 있다. 이때, 애니메이션은, 인식 정확도가 임계값보다 작은 경우 이미지 회전 속도가 느린 것이고, 인식 정확도가 임계값보다 큰 경우 이미지 회전 속도가 빠른 것일 수 있다. 또한, 인식 정확도에 따라 상술된 시각적 피드백이 제공될 때, 각 시각적 피드백과 함께 청각적 피드백이 제공될 수도 있다.
또한, 모드 표시 영역(820)에 표시되는 시각적 피드백으로서의 애니메이션은 음성 아이템에 대응하는 음성이 인식된 이후, 도 66의 스마트 허브(6600)가 구동되어 표시되기 전까지의 시 구간동안 표시되며, 인식 정확도와 무관한 것일 수도 있다.
또한, 전자 장치(100)는 제1 음성 아이템에 대응하는 제1 음성을 인식하는 경우, 제1 음성 아이템 및 제1 음성 아이템에 대응하는 태스크 중 적어도 하나를 나타내는 시각적 피드백 또는 청각적 피드백을 제공할 수 있다. 또한, 전자 장치(100)는 제1 모션 아이템에 대응하는 제1 모션을 인식하는 경우, 제1 모션 아이템 및 제1 모션 아이템에 대응하는 태스크 중 적어도 하나를 나타내는 시각적 피드백 또는 청각적 피드백을 제공할 수 있다.
예들 들어, 도 65에 도시된 바와 같이, 음성 아이템(815)에 대응하는 음성으로서 “스마트 허브”가 인식된 경우, 음성 아이템(815) 또는 음성 아이템(815)에 대응하는 태스크로서 피드백 영역(6530)에 "스마트허브"가 표시될 수 있다. 또한, 피드백 영역(6530)에 대한 제한 없이, 화면의 임의의 위치에서 시각적 피드백이 표시될 수도 있다. 또한, 피드백 영역(6530)에 표시되는 시각적 피드백과 함께, “You said, 스마트허브”라는 청각적 피드백이 출력될 수도 있다.
또한, 아이템(813)에 대응하는 모션으로서 우측 방향 슬랩이 인식된 경우, 전자 장치(100)는 피드백 영역(6530)에 모션 아이템 중 하나에 대응하는 태스크를 나타내는 피드백(예를 들어,“You did, Channel UP”)라는 시각적 피드백을 표시하거나, 전자 장치(100)의 TTS(Text to speech) 모듈(미도시) 등을 이용하여 청각적 피드백이 출력되도록 제어할 수도 있다.
도 67 내지 도 69는 본 발명의 다양한 실시 예에 따른, 음성 가이드 정보 및 모션 가이드 정보를 제공하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 67은 본 발명의 일 실시 예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
단계(6710)에서, 전자 장치(100)는 음성 인식 모듈 및 모션 인식 모듈 중 하나를 이용하여 사용자의 입력(음성 또는 모션)을 인식할 수 있다. 사용자 음성은 마이크를 통해 입력되고, 음성 인식 모듈에 의해 입력된 음성이 인식될 수 있고, 사용자 모션은 카메라에 의해 촬상되고, 모션 인식 모듈에 의해 촬상된 모션이 인식될 수 있다.
단계(6720)에서, 전자 장치(100)는 수신된 사용자 입력에 따라 음성 태스크 및 모션 태스크 중 하나를 수행할 수 있다. 즉, 전자 장치(100)는 음성 태스크 모드 및 모션 태스크 모드 중 하나의 지정된 모드에 따라 동작할 수 있다. 예를 들어, 음성 개시 명령 또는 모션 개시 명령이 인식되는 경우, 인식된 개시 명령에 대응하는 모드가 지정될 수 있다.
음성 태스크 모드는 인식된 음성에 따라 제1 태스크들(즉, 음성 태스크들) 중 적어도 하나를 수행할 수 있는 모드이고, 모션 태스크 모드는 인식된 모션에 따라 제2 태스크들(즉, 모션 태스크들) 중 적어도 하나를 수행할 수 있는 모드이다. 음성 태스크들은 인식된 음성에 따라 수행될 수 있는 태스크들을 나타내고, 모션 태스크들은 인식된 모션에 따라 수행될 수 있는 태스크들을 나타낼 수 있다. 음성 태스크들 및 모션 태스크들은 서로 상이할 수 있다.
도 68 및 도 69은 본 발명의 일 실시 예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
단계(6805)에서, 전자 장치(100)는 지정된 모드가 음성 태스크 모드 및 모션 태스크 모드 중 어느 모드 인지 식별할 수 있다. 여기서는 음성 태스크 모드 및 모션 태스크 모드만을 표시하였지만, 식별가능한 모드들은 원격 제어 장치에 의해 제어되는 모드 등을 더 포함할 수도 있다.모션 태스크 모드인 경우, 전자 장치(100)는 도 69의 단계(6910)로 진입하여 본 발명의 일 실시예에 따른 전자 장치(100)의 제어 동작을 계속할 수 있다.
음성 태스크 모드인 경우, 단계(6810)에서 전자 장치(100)는 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시할 수 있다.
단계(6815)에서, 전자 장치(100)는 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다.
단계(6820)에서, 전자 장치(100)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 제1 음성 아이템과 관련된 아이템 부가 정보가 존재하지 않는 경우, 단계(6825)에서 전자 장치(100)는 제1 음성 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 음성 가이드 정보의 변경이 필요한 경우, 전자 장치(100)는 변경된 음성 가이드 정보를 표시할 수 있다. 예를 들어, 음성 아이템(813)에 대응하는 음성으로서 소리끄기가 인식된 경우, 전자 장치(100)는 소리끄기를 수행하고, 도 22에 도시된 바와 같이, 음성 아이템(813)을 음성 아이템(2213)으로 변경하여, 변경된 음성 가이드 정보를 표시할 수 있다.
제1 음성 아이템과 관련된 아이템 부가 정보가 존재하는 경우, 단계(6830)에서 전자 장치(100)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보를 표시할 수 있다. 예를 들어, 음성 아이템에 대응하는 음성으로서 “채널”이 인식된 경우, 가이드 문구, 발화 예시 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
단계(6835)에서, 전자 장치(100)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다.
단계(6840)에서, 전자 장치(100)는 제1 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 음성 아이템이 음성 아이템(812)이고, 제2 음성이 “칠”인 경우, 전자 장치(100)는 채널 식별자가 7인 채널로 변경하는 채널 바로가기를 수행할 수 있다.
또한, 모션 태스크 모드인 경우, 도 69의 단계(6910)에서 전자 장치(100)는 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 제2 태스크들을 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
단계(6915)에서, 전자 장치(100)는 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다.
단계(6920)에서, 전자 장치(100)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하지 않는 경우, 단계(6925)에서 전자 장치(100)는 제1 모션 아이템에 대응하는 태스크를 수행할 수 있다. 예를 들어, 도 33에서 모션 아이템(3313)에 대응하는 모션으로서 우측 방향의 슬랩이 인식된 경우, 전자 장치(100)는 채널 업에 대응하여 현재 채널(6번)에서 미리 설정된 순서에 따라 현재 채널(6번)의 후에 위치한 다음 채널로서 채널(7번)이 선국되도록 할 수 있다. 또한, 모션 가이드 정보의 변경이 필요한 경우, 전자 장치(100)는 변경된 모션 가이드 정보를 표시할 수도 있다.
제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는 경우, 단계(6930)에서 전자 장치(100)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보를 표시할 수 있다. 예를 들어, 모션 아이템에 대응하는 그랩 모션이 인식된 경우, 선택된 아이템 또는 영상 파일을 재생할지 여부를 문의하는 가이드 문구, 또는 좌/우 슬랩 모션이 예(Yes)/아니오(No)에 대응함을 나타내는 모션 아이템 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
단계(6935)에서, 전자 장치(100)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다.
단계(6940)에서, 전자 장치(100)는 제2 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 모션 아이템이 영상 재생을 위한 모션 아이템이고, 제2 모션이 좌측 방향의 슬랩 모션인 경우, 전자 장치(100)는 지정된 영상 파일을 재생할 수 있다.
제어부(140)는 UI 처리 모듈(130j)를 이용하여 음성 인식을 통해 제어 가능한 컨텐츠의 단축 아이콘과 음성 인식을 통해 제어 불가능한 컨텐츠의 단축 아이콘을 구분되게 표시할 수 있다.
제어부(140)는 전자 장치(100)에 저장된 컨텐츠의 헤더(header, 미도시) 또는 컨텐츠에 포함된 별도의 환경설정 파일(configuration file, 미도시)을 이용하여 컨텐츠의 음성 인식의 지원 여부를 판단할 수 있다.
판단 결과에 따라 음성 인식이 통해 제어 가능한 컨텐츠의 경우, 제어부(140)는 UI 처리 모듈(130j)을 이용하여 저장부에 저장된 추가 아이콘과 컨텐츠의 오리지널 단축 아이콘을 결합하여 디스플레이부에 표시할 수 있다. 디스플레이 화면에 표시되는 추가 아이콘의 여부를 통해 사용자는 음성 인식을 통해 해당 컨텐츠를 제어할 수 있음을 알 수 있다.
저장부(130)에는 다양한 복수의 추가 아이콘인 저장될 수 있다. 사용자는 환경 설정을 통해 오리지널 단축 아이콘과 결합되는 추가 아이콘을 변경할 수 있다.
또한, 제어부(140)는 UI 처리 모듈(130j)를 이용하여 음성 인식을 통해 제어 가능한 컨텐츠의 이름(예를 들어, 민줄 및 굵게 표시)을 음성 인식을 통해 제어 불가능한 컨텐츠의 이름과 구별되게 디스플레이 화면에 표시할 수 있다. 밑줄 및 굵게 표시된 단축 아이콘의 이름을 통해 사용자는 음성 인식을 통해 해당 컨텐츠를 제어할 수 있음을 알 수 있다.
또한, 제어부(140)는 UI 처리 모듈(130j)를 이용하여 음성 인식을 통해 제어 가능한 컨텐츠의 단축 아이콘과 단축 아이콘의 이름을 음성 인식을 통해 제어 불가능한 컨텐츠의 단축 아이콘과 단축 아이콘의 이름과 구별되게 표시할 수 있다.
또한, 제어부(140) 또는 컨텐츠는 실행된 컨텐츠의 UI에 표시되는 도구 모음의 메뉴(예를 들어, 다음 페이지(next), 이전 메이지(previous) 또는 열기(open) 등) 중에서 음성 인식을 통해 제어가능한 메뉴를 음성 인식을 통해 제어 불가능한 메뉴와 구별되게 표시할 수 있다.
이하에서는 도 70 내지 도 79를 참조하여 음성 인식을 통해 제어 가능한 어플리케이션의 단축 아이콘 및 단축 아이콘의 이름을 음성 인식을 통해 제어 불가능한 어플리케이션의 단축 아이콘 및 단축 아이콘의 이름과 구별되게 표시하는 방법의 다양한 실시 예에 대해 설명하기로 한다.
도 70을 참조하면, 전자 장치(100)의 제어부(140)는 방송 수신부(110)에서 수신된 방송신호에 대응되는 영상(video), 음성(audio) 및 제어 데이터(예를 들어, EPG(Electronic Program Guide))를 오디오 출력부(160) 및 디스플레이부(150)의 디스플레이 화면(7000)를 통해 출력한다.
제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화(utterance)되는 음성 개시 명령(trigger voice)을 인식한다. 제어부(140)는 인식된 음성 개시 명령(예를 들어, “지니”)에 의해 음성 인식을 통해 제어 가능한 음성 태스크 모드(voice task mode)로 전환된다. 제어부(140)는 음성 데이터베이스(130m)에 기저장된 음성 개시 명령과 음성 입력부(110) 및 음성 인식 모듈(130k)을 통해 인식된 음성 개시 명령을 비교한다. 비교결과에 따라 음성 개시 명령으로 인식되는 경우, 전자 장치(100)는 제어부(140)에 의해 음성 태스크 모드로 전환된다. 음성 데이터베이스(130m)에는 음성 입력부(110) 및 음성 인식 모듈(130k)을 통해 인식가능한 음성에 대응되는 제1 명령어(예를 들어, “음성 태스크 모드로 전환”에 대응되는 명령어 또는 “채널 변경”에 대응되는 명령어)를 저장될 수 있다. 제어부(140)는 제1 명령어에 대응되는 전자 장치(100)의 음성 태스크를 수행할 수 있다. 음성 데이터베이스(130m)에 기저장된 음성 개시 명령또는 명령어는 환경설정(configuration)을 통해 변경(예를 들어, 추가, 변경 또는 삭제)될 수 있다. 입력되는 음성 개시 명령의 인식은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 71을 참조하면, 제어부(140)는 영상이 표시되는 디스플레이 화면(400)에 음성 태스크 모드를 수행하기 위한 음성 가이드 정보(7110)를 표시한다. 제어부(140)는 음성 가이드 정보(7110)를 표시되는 영상 위에 오버랩되게 한다. 제어부(140)는 음성 가이드 정보(7110)를 디스플레이 화면(400)의 하단에 표시할 수 있다. 음성 가이드 정보(7110)는 명령어/가이드 표시영역(command/guide display area, 7111), 모드 표시 영역(mode display area, 7112) 및 제1 피드백 표시영역(feedback display area, 도 72에서의 7213)을 포함할 수 있다. 또한, 도 72를 참조하면, 모드 표시영역(7112)의 일 측에는 제1 피드백 표시영역(7213)이 표시될 수 있다. 제1 피드백 표시영역(7213)은 제1 시각적 피드백(도 72의 7213a)을 포함할 수 있다. 또한, 제어부(140)는 인식된 제1 명령어를 전자 장치(100)의 스피커(161)에서 출력하여 사용자에게 제1 청각적 피드백(도시되지 아니함)을 제공할 수 있다. 또한, 전자 장치(100)는 사용자에게 시각적 피드백 및 청각적 피드백 중 하나를 제공하거나 시각적 피드백 및 청각적 피드백 함께 제공할 수 있다.
도 73을 참조하면, 제어부(140)는 제1 명령어가 인식되는 경우, 제1 명령어에 대응되는 컨텐츠 리스트(이하에서는 스마트 허브(7300)라고 함)를 표시한다. 스마트 허브(7300)는 전자 장치(100)에서 지원하는 다양한 기능의 중심(hub)이 되는 UI이다. 스마트 허브(7300)는 전자 장치(100)에서 지원하는 다양한 기능(예를 들어, 동영상 보기, 음악 듣기, 인터넷 접속 등)에 대응되는 단축 아이콘이 표시되는 UI이다. 또한, 스마트 허브(7300)는 전자 장치(100)의 저장부(130)에 저장된 컨텐츠(예를 들어, 포토, 음악, 동영상 등)의 단축 아이콘, 외부로부터 수신가능한 컨텐츠(예를 들어, 포토, 음악, 동영상 등)에 대응되는 단축 아이콘 및 실행가능한 어플리케이션(예를 들어, 웹 브라우저 등)의 단축 아이콘이 표시되는 UI이다.
스마트 허브(7300)는 다양한 컨텐츠, 어플리케이션 또는 인터넷 정보를 음성(예를 들어, 음성 태스크 모드) 또는 모션(예를 들어, 모션 태스크 모드)으로 검색 가능한 검색영역(7310), 검색 영역(Search area, 7310)의 일측에 위치하고, 시청중인 방송 영상이 축소되어 표시되는 방송 영역(Broadcasting area, 7320), 검색 영역(7310)의 하단에 위치하고, 저장부(130)에 저장된 동영상에 대응되는 단축 아이콘이 표시되는 너의 비디오 영역(Your Video area, 7330), 검색 영역(7310)의 하단에 위치하고, 전자 장치(100)의 제조사로부터의 알림(notice) 또는 광고를 보여주는 정보 표시영역(Information display area, 7340), 검색 영역(7310)의 하단에 위치하고, 전자 장치(100)의 제조사에서 유료 또는 무료로 제공되는 다양한 서비스에 대응되는 어플리케이션의 단축 아이콘이 표시되는 앱스 영역(Apps area, 7350), 검색 영역(7310)의 하단에 위치하고, 전자 장치(100)의 제조사로부터 제공되는 추천 서비스가 표시되는 추천 영역(Recommended area, 7360) 및 검색 영역(7310)의 하단에 위치하고, 전자 장치(100)에 실행가능한 어플리케이션에 대응되는 단축 아이콘이 표시되는 어플리케이션 영역(Application list area, 7370) 중 복수의 영역을 포함할 수 있다. 스마트 허브(500)에 표시되는 복수의 영역(7310 내지 7370)은 전자 장치(100)의 성능 또는 기능에 따라 추가되거나 삭제될 수 있음은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
스마트 허브(7300)에는 음성 태스크 모드에 대응되는 음성 가이드 정보(7110)가 표시될 수 있다. 또한, 스마트 허브(7100)에는 모션 태스크 모드에 대응되는 모션 가이드 정보가 표시될 수 있다. 음성 가이드 정보(7110) 또는 모션 가이드 정보(7720)는 스마트 허브(7100)위에 오버랩 될 수 있다. 도 73을 참조하면, 스마트 허브(7100)에는 음성 태스크 모드에 대응되는 음성 가이드 정보(7110)가 표시된다.
음성 태스크 모드에서 스마트 허브(7100)에는 음성 인식을 통해 제어 가능한 컨텐츠(예를 들어, 어플리케이션, 동영상 등)에 대응되는 단축 아이콘(예를 들어, 7371)과 음성 인식을 통해 제어 불가능한 컨텐츠에 대응되는 단축 아이콘(예를 들어, 7372)이 구별되게 표시된다. 음성 인식을 통해 제어 가능한 컨텐츠에 대응되는 단축 아이콘(7371)은 음성 인식이 가능한 컨텐츠에 대응되는 오리지널(original) 단축 아이콘(7371a)의 일측에 표시되는 추가(additional) 아이콘(예를 들어, 정지 이미지, 동영상 또는 텍스트 중 하나, 7371b)과의 결합일 수 있다. 추가 아이콘(7371b)은 오리지널 단축 아이콘(7371a)과 오버랩되게 표시되거나 오리지널 단축 아이콘(7371a)과 이격되어 표시될 수 있다. 음성 인식 여부에 따라 컨텐츠에 대응되는 단축 아이콘의 일측에 추가 아이콘을 부가하는 것은 하나의 실시 예이며, 다양하게 음성 인식 여부에 따라 컨텐츠에 대응되는 단축 아이콘을 구분(예를 들어, 추가아이콘(7371b)의 위치 또는 크기를 변경)되게 표시할 수 있음은 당해 기술분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
음성 인식을 통해 제어 가능한 컨텐츠에 대응되는 단축 아이콘의 이름(7371c)은 음성 인식을 통해 제어 불가능한 컨텐츠에 대응되는 단축 아이콘의 이름(7372a)과 구별(예를 들어, 밑줄 및 굵게(underlined and bold))되게 표시된다. 음성 인식여부에 따라 컨텐츠에 대응되는 단축 아이콘의 이름을 밑줄 및 굵게 표시하여 구별하는 것은 하나의 실시 예이며, 다양하게 음성 인식여부에 따라 컨텐츠에 대응되는 단축 아이콘의 이름을 구분(예를 들어, 폰트 또는 컬러 변경 등)하여 표시하는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
스마트 허브(7300)에서 결정된 길이(예를 들어, 영어 15자, 한글 8자)보다 긴 단축 아이콘의 이름(7373c)은 단축 아이콘의 이름은 일부분만 표시될 수 있다. 예를 들어, 단축 아이콘의 표시되지 않는 이름의 나머지는 생략 부호(ellipsis)로 표시될 수 있다.
스마트 허브(7300)에서 음성 가이드 정보(7110)에 표시되는 명령어는 변경될 수 있다. 제1 명령어 음성에 응답하여 스마트 허브(7300)가 표시되는 경우, 스마트 허브(7300)가 표시되기 이전의 영상으로 복귀하기 위한 명령어(예를 들어, 복귀(return, 7111i))가 표시된다. 복귀는 음성 가이드 정보(7110)에 추가(예를 들어, 총 9개의 명령어가 표시)되거나 표시되는 명령어(예를 들어, 전체명령어) 중 하나와 대체(예를 들어, 총 8개의 명령어가 표시)될 수 있다.
제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화되는 제2 명령어 음성(예를 들어, 어플리케이션의 이름인 Exciting e-book(7371c))을 인식한다. 제어부(140)는 음성 데이터베이스(130m)에 기저장된 제2 명령어와 음성 입력부(110) 및 음성 인식 모듈(130k)을 통해 인식된 제2 명령어를 비교한다. 비교결과에 따라 제2 명령어로 인식되는 경우, 제어부(140)는 제1 피드백 표시영역(413)에 인식된 제2 명령어에 대응되는 제3 시각적 피드백(예를 들어, you said “Exciting e-book”, 도시되지 아니함)을 표시할 수 있다. 제3 시각적 피드백(미도시)은 결정된 시간(예를 들어, 500msec)동안 제공될 수 있다. 결정된 시간은 환경설정을 통해 변경될 수 있다.
또한, 제어부(140)는 인식된 제2 명령어를 전자 장치(100)의 스피커(161)에서 출력하여 사용자에게 제3 청각적 피드백(미도시)을 제공할 수 있다.
비교결과에 따라 제2 명령어로 인식하지 못한 경우, 제어부(140)는 제1 피드백 표시영역(7213)에 제4 시각적 피드백(예를 들어, 다시 말해주세요(please, say it again), 도시되지 아니함)을 제공할 수 있다. 또한, 제어부(140)는 제2 명령어 음성을 인식을 위하여 제4 청각적 피드백(예를 들어, 다시 말해주세요(please, say it again), 도시되지 아니함)을 제공할 수 있다.
또한, 인식된 제2 명령어에 대응되는 어플리케이션의 이름이 복수인 경우, 제어부(140)는 복수의 어플리케이션의 이름이 표시되는 후보군 팝업창(candidates pop-up, 7314)을 스마트 허브(7300)에 표시할 수 있다.
도 74를 참조하면, 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 제2 명령어(예를 들어, 어플리케이션의 이름의 일부인 “Exciting”을 포함하는)가 인식되는 경우, 제어부(140)는 제2 명령어에 대응되는 복수의 어플리케이션의 목록을 후보군 팝업창(7414)에 표시한다. 예를 들어, 후보군 팝업창(7414)에는 ①exciting e-book(7414a) ②exciting drum festival(7414b)이 표시된다. 스마트 허브(7300)에 후보군 팝업창(7414)이 표시되는 경우, 스마트 허브(7300)의 하단에 표시되는 명령어/가이드 표시영역(7111)의 명령어는 변경된다. 예를 들어, 명령어/가이드 표시영역(7111)에서 모드 표시영역(7112)을 기준으로 좌측영역에 “Say the number of the item you wish to select(7111j)”가 표시되고, 우측영역에 “Examples)1, 2(7111k) Return(7111i)”이 표시될 수 있다. 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 번호(예를 들어, 1(one))에 대응되는 음성이 인식되는 경우, 제어부(140)는 후보군 팝업창(7414)에서 ① exciting e-book(7414a)을 선택한다. 제어부(140)는 후보군 팝업창(7414)에서 선택된 어플리케이션의 이름(7414a)과 선택되지 않은 어플리케이션의 이름(7414b)를 구별되게 표시할 수 있다.
또한, 후보군 팝업창(7414)에 표시되는 어플리케이션의 전체 이름(full name)에 대응되는 음성이 인식되는 경우, 제어부(140)는 표시되는 후보군 팝업창(7414)에서 ① exciting e-book을 구별되게 표시할 수 있다.
도 75를 참조하면, 제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 인식된 제2 명령어(예를 들어, “Exciting e-book”)에 대응되는 어플리케이션 Exciting e-book을 실행한다. 제어부(140)는 실행되는 Exciting e-book의 UI(7500)를 표시한다. 제어부(140)는 Exciting e-book의 UI(7500)를 스마트 허브(7300) 위에 오버랩되게 표시한다. 또한, 제어부(140)는 Exciting e-book의 UI(7500)를 스마트 허브(7300)와 대체하여 전체 화면 크기로 표시할 수 있다.
표시되는 Exciting e-book의 UI(7500)에는 전자 장치(100)의 저장부에 저장된 복수의 e-book에 대응되는 단축 아이콘(7501 내지 7504) 및 단축 아이콘의 이름(7501a 내지 7504a)이 표시된다. 제어부(140)는 복수의 e-book에 대응되는 단축 아이콘의 이름(7501a 내지 7504a)은 음성 인식여부에 따라 구별되게 표시될 수 있다. 예를 들어, 제어부(140)는 음성 인식을 통해 제어 가능한 e-book에 대응되는 단축 아이콘의 이름(7501a)은 음성 인식을 통해 제어 불가능한 e-book에 대응되는 단축 아이콘의 이름(7502a 내지 7504a)과 구별되게 표시된다. 또한, 제어부(140) 또는 어플리케이션(Exciting e-book)은 Exciting e-book의 도구 영역(도시되지 아니함)의 메뉴(예를 들어, 다음 페이지(next), 이전 페이지(previous) 또는 열기(open), 도시되지 아니함) 중에서 음성 인식을 통해 제어가능한 메뉴를 음성 인식을 통해 제어 불가능한 메뉴와 구별되게 표시할 수 있다. 음성 인식을 통해 제어가능한 e-book에 대응되는 단축 아이콘의 이름(7501a)에 밑줄 및 굵게 표시하여 구별하는 것은 하나의 실시 예이며, 다양하게 음성 인식여부에 따라 e-book에 대응되는 단축 아이콘의 이름을 구분(예를 들어, 폰트 또는 컬러 변경 등)하여 표시하는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. 또한, 제어부(140)는 네트워크 인터페이스부(180)을 통해 음성 인식이 가능한 e-book을 외부의 서버로부터 다운로드 받을 수 있다.
음성 인식을 통해 제어 가능한 e-book에 대응되는 단축 아이콘의 이름(7501a)이 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 인식되는 경우, 제어부(140)는 e-book(7501)을 실행하여 표시할 수 있다. 사용자는 표시되는 e-book을 음성 인식을 통해 제어(예를 들어, 페이지 이동 등)할 수 있다.
제어부(140)는 모션 입력부(120), 모션 인식 모듈(130l) 및 모션 데이터베이스(130n)을 이용하여 사용자의 모션 개시 명령(700)을 인식한다. 도 76을 참조하면, 모션 개시 명령(7600)은 사용자가 손가락을 펴 모션 입력부(120)를 향해 좌/우로 3~4회 흔드는 것이다. 제어부(140)는 전자 장치(100)의 모드를 인식된 모션 개시 명령에 의해 음성 태스크 모드를 모션 인식을 통해 제어가능한 모션 태스크 모드로 전환한다. 제어부(140)는 모션 데이터베이스(130n)에 기저장된 모션 개시 명령과 모션 입력부(120) 및 모션 인식 모듈(130l)을 통해 인식된 모션 개시 명령을 비교한다. 비교결과에 따라 모션 개시 명령으로 인식되는 경우, 전자 장치(100)는 제어부(140)에 의해 음성 태스크 모드에서 모션 태스크 모드로 전환된다. 모션 데이터베이스(130n)에는 모션 입력부(120) 및 모션 인식 모듈(130l)을 통해 인식가능한 모션에 대응되는 제2 명령어(예를 들어, “이전”에 대응되는 명령어 또는 “재생”에 대응되는 명령어)가 저장될 수 있다. 제어부(140)는 제2 명령어에 대응되는 전자 장치(100)의 모션 태스크를 수행할 수 있다. 모션 데이터베이스(130n)에 기저장된 모션 개시 명령은 환경설정을 통해 변경(예를 들어, 추가, 변경 또는 삭제)될 수 있다.
스마트 허브에 모션 가이드 정보를 표시하고, 음성 인식을 통해 제어 가능한 어플리케이션의 단축 아이콘과 음성 인식을 통해 제어 불가능한 어플리케이션의 단축 아이콘을 동일하게 표시한다.
도 77을 참조하면, 제어부(140)는 표시되는 스마트허브(500)에 모션 태스크 모드에 대응되는 모션 가이드 정보(7720) 및 커서(7725)를 표시한다. 제어부(140)는 모션 가이드 정보(7720)를 스마트 허브(7300) 위에 오버랩되게 한다. 제어부(140)는 모션 가이드 정보(7720)를 스마트 허브(7300)의 하단에 표시할 수 있다. 모션 가이드 정보(7720)는 모션/가이드 표시영역(motion/guide display area, 7721), 모드 표시영역(mode display area, 7722) 및 제2 피드백 표시영역(미도시)을 포함할 수 있다.
제어부(140)는 스마트 허브(7300)에 모션 가이드 정보(7720)를 표시하고, 음성 인식을 통해 제어 가능한 어플리케이션의 단축 아이콘과 음성 인식을 통해 제어 불가능한 어플리케이션의 단축 아이콘을 동일하게 표시한다.
도 74를 참조하면, 제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화되는 제3 명령어 음성(예를 들어, 어플리케이션의 이름인 “Exciting drum festival”의 전부 또는 일부)을 인식한다. 제어부(140)는 음성 데이터베이스(130m)에 기저장된 제3 명령어와 음성 입력부(110) 및 음성 인식 모듈(130k)을 통해 인식된 제3 명령어를 비교한다. 비교결과에 따라 제3 명령어로 인식되는 경우, 제어부(140)는 제1 피드백 표시영역(7413)에는 인식된 제3 명령어에 대응되는 제6 시각적 피드백(예를 들어, you said “Exciting drum festival”, 도시되지 아니함)을 표시할 수 있다. 제공되는 제6 시각적 피드백(미도시)은 결정된 시간(예를 들어, 500msec)동안 제공될 수 있다.
제3 명령어를 인식하지 못한 경우, 제어부(140)는 제1 피드백 표시영역(7413)에 제7 시각적 피드백(예를 들어, 다시 말해주세요(please, say it again), 도시되지 아니함)을 표시할 수 있다. 또한, 제어부(140)는 제3 명령어 음성을 인식을 위하여 제6 청각적 피드백(예를 들어, 다시 말해주세요(please, say it again))을 제공할 수 있다.
도 74를 참조하면, 인식된 제3 명령어(예를 들어, 선택대상인 어플리케이션의 이름의 일부인 “Exciting”을 포함하는)에 대응되는 어플리케이션의 이름이 복수인 경우, 제어부(140)는 복수의 어플리케이션의 이름이 표시되는 후보군 팝업창(7414)을 스마트 허브(7400)에 표시할 수 있다. 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 번호(예를 들어, 2(two))에 대응되는 음성이 인식되는 경우, 제어부(140)는 후보군 팝업창(7414)에서 ②exciting drum festival(414b)을 선택한다.
도 78을 참조하면, 제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 인식된 제3 명령어(예를 들어, “Exciting drum festival”)에 대응되는 어플리케이션인 Exciting drum festival을 실행한다. 제어부(140)는 실행되는 Exciting drum festival의 UI(7800)를 표시한다. 제어부(140)는 Exciting drum festival의 UI(7800)를 스마트 허브(7300)위에 오버랩되게 표시한다. 또한, 제어부(140)는 Exciting drum festival의 UI(7800)를 스마트 허브(7300)와 대체하여 전체화면 크기로 표시할 수 있다.
Exciting drum festival의 UI(7800)에 표시되는 드럼(7801 내지 7809)은 사용자의 음성 인식 또는 리모컨에 통해 연주될 수 있다. 또한, Exciting drum festival은 모션 태스크 모드에서 모션 인식(예를 들어, 그랩)을 통해 드럼(7801 내지 7809)을 연주될 수 있다.
도 79는 본 발명의 실시 예에 따른 전자 장치의 UI 표시방법을 설명하기 위한 흐름도이다.
도 79의 단계(S7901)에서, 전자 장치를 켠다. 예를 들어, 전자 장치(100)배치된 전원 버튼(미도시)이 눌려지는 경우, 또는 리모컨에 배치된 전자 장치(100)의 전원키(도시되지 아니함)가 선택(예를 들어, 키 눌림)되는 경우, 또는 전자 장치(100)의 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 사용자의 음성(예를 들어, 전원 켜기)이 인식되는 경우, 전자 장치(100)는 전자 장치(100)를 켤 수 있다.
도 79의 단계(S7902)에서, 방송을 출력한다. 예를 들어, 70에 도시된 바와 같이, 전자 장치(100)는 방송수신부(150)로부터 수신된 방송 신호에 대응되는 영상을 출력한다.
도 79의 단계(S7903)에서, 음성 개시 명령을 인식한다. 즉, 전자 장치(100)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화(utterance)되는 음성 개시 명령(trigger voice)을 인식한다. 그리고, 전자 장치(100)는 인식된 음성 개시 명령에 대응하여 전자 장치(100)의 모드를 음성 인식을 통해 제어 가능한 음성 태스크 모드(voice task mode)로 전환된다.
도 79의 단계(S7904)에서, 명령어 세트를 표시한다. 예를 들어, 도 71에 도시된 바와 같이, 전자 장치(100)는 영상이 표시되는 디스플레이 화면(7000)에 음성 태스크 모드에 대응되는 명령어 세트(7110)를 표시한다.
도 79의 단계(S7905)에서, 제1 명령어 음성을 인식한다. 구체적으로, 전자 장치(100)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화(utterance)되는 제1 명령어 음성(예를 들어, 스마트 허브)을 인식한다. 그리고, 도 72에 도시된 바와 같이, 제1 명령어로 인식되는 경우, 전자 장치(100)는 제1 피드백 표시영역(7213)에 인식된 제1 명령어에 대응되는 제1 시각적 피드백을 표시한다.
도 79의 단계(S7906)에서, UI를 표시한다. 예를 들어,도 73에 도시된 바와 같이, 전자 장치(100)는 제1 명령어가 인식되는 경우, 제1 명령어에 대응되는 스마트 허브(7300)를 표시한다.
도 79의 단계(S7907)에서, 제2 명령어 voice를 인식한다. 구체적으로, 전자 장치(100)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화되는 제2 명령어 음성(예를 들어, 어플리케이션의 이름인 Exciting e-book(7371c))을 인식한다. 또한, 인식된 제2 명령어에 대응되는 어플리케이션의 이름이 복수인 경우, 도 74에 도시된 바와 같이, 전자 장치(100)는 복수의 어플리케이션의 이름이 표시되는 후보군 팝업창(candidates pop-up, 7414)을 스마트 허브(7300)에 표시할 수 있다.
도 79의 단계(S7908)에서, 제1 어플리케이션이 실행된다. 예를 들어, 도 75에 도시된 바와 같이, 전자 장치(100)는 제2 명령어에 대응되는 어플리케이션 Exciting e-book을 실행한다.
도 79의 단계(S7909)에서, 음성 개시 모션(Trigger motion)을 인식한다. 구체적으로, 전자 장치(100)는 모션 입력부(120), 모션 인식 모듈(130l) 및 모션 데이터베이스(130n)을 이용하여 사용자의 모션 개시 명령(7600)을 인식한다. 예를 들어, 모션 개시 명령(7600)은 도 76에 도시된 바와 같이, 사용자가 손가락을 펴 모션 입력부(120)를 향해 좌/우로 3~4회 흔드는 것이다.
도 79의 단계(S7910)에서, 스마트 허브에 모션 아이템을 표시하고, 음성 인식을 통해 제어 가능한 어플리케이션의 단축 아이콘과 음성 인식을 통해 제어 불가능한 어플리케이션의 단축 아이콘을 동일하게 표시한다. 예를 들어, 전자 장치(100)는 도 77에 도시된 바와 같이, 스마트허브(7300)에 모션 태스크 모드에 대응되는 모션 가이드 정보(7720) 및 커서(7725)를 표시한다.
도 79의 단계(S7907)로 되돌아가서, 제2 명령어가 인식되지 않는 경우, 단계(S7911)로 진행한다.
도 79의 단계(S7911)에서, 제3 명령어를 인식한다. 제어부(140)는 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 이용하여 사용자로부터 발화되는 제3 명령어 음성을 인식한다. 이때, 인식된 제3 명령어에 대응되는 어플리케이션의 이름이 복수인 경우, 제어부(140)는 도 74에 도시된 바와 같이, 복수의 어플리케이션의 이름이 표시되는 후보군 팝업창(7414)을 스마트 허브(500)에 표시할 수 있다.
도 79의 단계(S7912)에서, 제3 어플리케이션이 실행된다. 예를 들어, 전자 장치(100)는 도 78에 도시된 바와 같이, 음성 입력부(110), 음성 인식 모듈(130k) 및 음성 데이터베이스(130m)을 통해 인식된 제3 명령어에 대응되는 어플리케이션인 Exciting drum festival을 실행한다.
도 79의 단계(S7911)로 되돌아가서, 제3 명령어 음성이 인식되지 않는 경우, 종료된다.
제어부(140)는 방송 수신부(150)를 통해 입력된 복수 개의 방송 신호들 중 하나의 방송 신호 및 저장된 컨텐츠 중 하나를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 디스플레이부(193)는 제공받은 하나의 방송 신호 또는 저장된 컨텐츠를 디스플레이할 수 있다. 이 때, 저장된 컨텐츠는 전자 장치(100)에 영구적, 일시적 또는 임시적으로 저장되는 컨텐츠를 모두 포함한다. 예를 들어, 저장된 컨텐츠는 전자 장치(100)의 저장부(130)에 사용자의 삭제 요청이 있을 때까지 영구적으로 저장될 수 있다. 또한, 저장된 컨텐츠는 전자 장치(100)의 저장부(130)의 일부가 버퍼로 동작할 경우, 일시적 또는 임시적으로 상기 저장부(130)에 저장될 수 있다. 구체적으로, 외부단자 입력부(160) 또는 네트워크 인터페이스부(180)로부터 입력되는 컨텐츠가 실시간으로 영상 출력부(190) 또는 디스플레이부(193)로 제공되는 경우, 제어부(140)는 컨텐츠의 입력되는 속도와 제공되는 속도가 거의 동일해지도록 저장부(130)의 일부에 컨텐츠를 일시적 또는 임시적으로 저장할 수 있다.
제어부(140)는 모션 인식 모듈(130l)을 이용하여 사용자의 모션을 인식하고, 인식된 사용자의 모션에 응답하여, 제공된 방송 신호 또는 컨텐츠의 제공 상태를 변경할 수 있다. 만약, 제어부(140)가 방송 신호를 제공한다면, 제어부(140)는 인식된 사용자의 모션에 응답하여 방송 신호의 볼륨의 크기를 조절하거나 또는 복수 개의 방송 신호들 중 다른 하나의 방송 신호를 제공할 수 있다. 또는, 제어부(140)가 컨텐츠를 제공한다면, 제어부(140)는 인식된 사용자의 모션에 응답하여 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경할 수 있다.
일 예로, 컨텐츠(예로, 복수 개의 페이지로 구성된 이미지 또는 복수 개의 페이지로 구성된 문서)가 복수 개의 페이지를 포함하고, 복수 개의 페이지 중 하나가 화면에 표시된 경우, 제어부(140)는 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 복수 개의 페이지 중 다른 하나의 페이지가 표시되는 화면으로 변경할 수 있다. 특히, 제어부(140)는 인식된 사용자의 모션의 방향에 대응하여, 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 복수 개의 페이지 중 하나의 페이지의 상, 하, 좌 또는 우 측에 위치한 페이지 중 하나의 페이지가 표시되는 화면으로 변경할 수 있다.
다른 일 예로, 컨텐츠(예로, 웹 페이지)가 하나의 페이지를 포함하는 경우, 제어부(140)는 하나의 페이지의 일부가 표시되는 화면을 상기 하나의 페이지의 다른 일부가 표시되는 화면으로 변경할 수 있다.
또 다른 일 예로, 제어부(140)는 제공되는 컨텐츠(예로, 이미지 또는 동영상)가 표시되는 화면을 상기 컨텐츠와 다른 컨텐츠가 표시되는 화면으로 변경할 수 있다.
한편, 제어부(140)는 음성 인식 모듈(130k)을 이용하여 사용자의 음성을 인식하고, 인식된 사용자의 음성에 따라 복수 개의 방송 신호들 중 하나의 방송 신호를 제공할 수 있다. 예를 들어, 음성 인식 모듈(130k)을 이용하여 채널 식별자가 인식된 경우, 제어부(140)는 채널 제어 모듈(130b)을 이용하여, 상기 복수 개의 방송 신호들 중 인식된 채널 식별자를 갖는 방송 신호를 제공할 수 있다.
다른 일 실시 예에서, 제어부(140)는 모션 인식 모듈(130l)을 이용하여 인식된 사용자의 모션에 응답하여, 복수 개의 방송 신호들 중 하나의 방송 신호를 선택할 수 있다. 제어부(140)는 선택된 방송 신호를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 디스플레이부(193)는 제공받은 하나의 방송 신호를 디스플레이할 수 있다. 다음으로, 제어부(140)는 영상 출력부(190) 또는 디스플레이부(193)로 제공 중인 방송 신호의 제공을 중지할 수 있다. 예를 들어, 제어부(140)는 모션 인식 모듈(130l), 음성 인식 모듈(130k) 또는 리모컨을 통한 사용자의 입력에 응답하여, 방송 신호의 제공을 중지할 수 있다. 그리고, 제어부(140)는 전자 장치(100)에 저장된 컨텐츠를 제공할 수 있다
제어부(140)는 저장된 컨텐츠를 디스플레이부(193)로 제공하는 경우, 복수 개의 방송 신호들 중 하나의 방송 신호를 선택하는 사용자의 모션과 동일한 형태의 사용자의 모션을 재 인식할 수 있다. 여기에서, 동일한 형태의 사용자의 모션은 실질적으로 동일한 형태의 사용자의 모션을 포함한다. 예를 들어, 복수 개의 사용자의 모션들 각각의 오브젝트의 형태 및 상기 각각의 오브젝트의 형태가 움직이는 방향이 동일하고, 상기 각각의 오브젝트의 형태가 움직이는 속도가 모두 기 설정된 속도 이상일 경우, 제어부(140)는 상기 복수 개의 사용자의 모션들을 서로 동일한 형태의 사용자 모션으로 인식할 수 있다. 일 예로, 하나의 방송 신호를 선택하는 사용자의 모션과 재 인식된 사용자의 모션이 모두 슬랩 모션들이고, 슬랩 모션들 모두가 이동하는 방향이 동일한 경우, 제어부(140)는 하나의 방송 신호를 선택하는 사용자의 모션과 재 인식된 사용자의 모션을 동일한 형태의 사용자의 모션으로 인식할 수 있다. 다른 일 예로, 하나의 방송 신호를 선택하는 사용자의 모션이 상 측 방향으로의 슬랩 모션이고, 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경하는 사용자의 모션 또한 상 측 방향으로의 슬랩 모션일 경우, 제어부(140)는 상기 두 개의 모션을 동일한 형태의 사용자의 모션으로 인식할 수 있다.
다음으로, 제어부(140)는 재 인식된 사용자의 모션에 응답하여, 상기 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경할 수 있다.
또 다른 일 실시 예에서, 제어부(140)는 제1 영상 데이터를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 그리고, 제1 영상 데이터를 위한 오디오 데이터를 오디오 출력부(196)로 제공할 수 있다. 이 때, 예를 들어, 제1 영상 데이터는 방송 신호의 영상 데이터이고, 제1 영상 데이터를 위한 오디오 데이터는 상기 방송 신호의 오디오 데이터일 수 있다. 그리고, 제어부(140)는 인식된 사용자의 모션에 응답하여, 오디오 데이터의 볼륨의 크기를 조절할 수 있다. 예를 들어, 제어부(140)는 제1 영상 데이터를 위한 오디오 데이터의 볼륨의 크기를 조절할 수 있다. 다음으로, 제어부(140)는 제1 영상 데이터 및 제1 영상 데이터를 위한 오디오 데이터의 제공을 중지하고, 제2 영상 데이터를 제공할 수 있다. 이 때, 예를 들어, 제2 영상 데이터는 전자 장치(100)에 저장된 컨텐츠의 영상 데이터일 수 있다. 다음으로, 제어부(140)는 오디오 데이터의 볼륨의 크기를 조절하기 위하여 인식된 사용자의 모션과 실질적으로 동일한 형태의 사용자의 모션을 재 인식할 수 있다. 그리고, 제어부(140)는 재 인식된 사용자의 모션에 응답하여, 제2 영상 데이터가 표시되는 화면의 적어도 일부를 변경할 수 있다.
또 다른 일 실시 예에서, 제어부(140)는 복수 개의 소스에서 각각 제공되는 영상 데이터들 중 제1 영상 데이터 및 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 제2 영상 데이터 중 하나를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 디스플레이부(193)는 제공 받은 제1 영상 데이터 또는 제2 영상 데이터를 디스플레이할 수 있다. 예를 들어, 복수 개의 소스에서 각각 제공되는 영상 데이터들 중 제1 영상 데이터는 복수 개의 채널로 수신되는 복수 개의 방송 신호 각각의 영상 데이터들 중 방송 수신부(210)에 포함된 튜너에 의하여 선택된 채널로 수신되는 방송 신호의 영상 데이터일 수 있다. 또한, 예를 들어, 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 제2 영상 데이터는 전자 장치(100)에 저장부(130), 외부 단자 입력부(200)와 연결된 외부 기기 또는 네트워크 인터페이스부(180)와 연결된 서버에서 제공되는 복수 개의 컨텐츠 각각의 영상 데이터들 중 하나의 컨텐츠의 영상 데이터일 수 있다. 다음으로, 제어부(140)는 모션 인식 모듈(130l)을 통해 사용자의 모션을 인식할 수 있다. 그리고, 인식된 사용자 모션에 응답하여, 제어부(140)가 제1 영상 데이터를 제공하면 상기 제1 영상 데이터의 소스와 다른 소스에서 제공되는 영상 데이터를 제공할 수 있다. 또한, 제어부(140)가 제2 영상 데이터를 제공하면 상기 하나의 소스에서 제공되는 복수 개의 영상 데이터들 중 제2 영상 데이터와 다른 영상 데이터를 제공할 수 있다.
또 다른 일 실시 예에서, 제어부(140)는 전자 장치(100)의 전원 인가 시에 바로 재생되는 제1 영상 데이터 및 전자 장치(100)의 전원 인가 후 사용자에 의한 모드 진입 후에 재생되는 제2 영상 데이터 중 하나를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 디스플레이부(193)는 제공 받은 제1 영상 데이터 또는 제2 영상 데이터를 디스플레이할 수 있다. 이 때, 전원 인가 시에 바로 재생되는 제1 영상 데이터는 예를 들어, 전자 장치(100)가 TV인 경우, TV의 전원을 인가 하는 경우 바로 재생되는 방송 신호가 될 수 있다. 또한, 전자 장치(100)의 전원 인가 후 사용자에 의한 모드 진입 후에 재생되는 제2 영상 데이터는 예를 들어, 전자 장치(100)가 TV인 경우, TV의 전원을 인가 후에 음성 입력부(110), 모션 입력부(120) 또는 리모컨을 통한 사용자의 입력에 따른 별도의 모드 진입 후에 재생 가능한 컨텐츠가 될 수 있다. 다음으로, 제어부(140)는 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 응답하여, 제1 영상 데이터를 제공하면 전원 인가 시에 바로 재생되는 다른 영상 데이터(예로, 다른 채널의 방송 신호의 영상 데이터)를 제공할 수 있다. 또한, 제어부(140)는 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 응답하여, 제2 영상 데이터를 제공하면 사용자 모드 진입 후에 재생하는 다른 영상 데이터(예로, 저장부(130)에 저장된 컨텐츠의 영상 데이터, 외부단자 입력부(160) 또는 네트워크 인터페이스부(180)로부터 수신된 컨텐츠의 영상 데이터)를 제공할 수 있다.
또 다른 일 실시 예에서, 제어부(140)는 복수 개의 동영상 중 하나의 동영상 또는 복수 개의 이미지 중 하나의 이미지를 영상 출력부(190) 또는 디스플레이부(193)로 제공할 수 있다. 디스플레이부(193)는 제공 받은 동영상 또는 이미지를 디스플레이할 수 있다. 예를 들어, 복수 개의 동영상 중 하나의 동영상은 복수 개의 방송 신호 중 하나의 방송 신호로써 시간의 진행에 따라 변화하는 영상을 나타낼 수 있다. 또한, 복수 개의 이미지 중 하나의 이미지는 복수 개의 저장된 이미지 중 하나의 이미지가 될 수 있다. 다음으로, 제어부(140)는 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 응답하여, 동영상을 제공하면 상기 복수 개의 동영상 중 상기 제공된 동영상과 다른 동영상(예로, 다른 채널의 방송 신호)를 제공할 수 있다. 또한, 제어부(140)는 모션 인식 모듈(130l)을 통해 인식된 사용자의 모션에 응답하여, 이미지를 제공하면 상기 복수 개의 이미지 중 상기 이미지와 다른 이미지를 제공할 수 있다.
이하에서는 도 80 내지 도 91를 참조하여, 사용자 모션에 응답하여 변경되는 화면에 대해 설명하기로 한다.
도 80 및 도 81은 본 발명의 다양한 일 실시 예에 따른 상 측 방향으로의 사용자의 모션에 응답하여 변경되는 화면을 나타내는 도면이다.
도 80에서 제어부(140)는 사용자의 모션으로 상 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 80의 8010 내지 8020를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 상측 방향으로의 슬랩 모션에 응답하여, 화면상에 방송 신호의 제공을 중지하고, 중지된 방송 신호의 채널 번호보다 증가된 채널 번호를 가진 방송 신호를 제공할 수 있다. 예를 들어, 채널의 번호가 ‘7’인 방송 신호는 채널의 번호가 ‘8’인 방송 신호로 변경될 수 있다. 도 80의 8030 내지 8040을 참조하면, 제어부(140)가 복수 개의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 상 측 방향으로의 슬랩 모션에 응답하여, 화면상에 복수 개의 페이지 중 하나의 페이지가 표시된 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 하 측에 위치한 페이지가 표시되는 화면으로 변경할 수 있다. 예를 들어, 도 80의 8030에 제2 페이지가 표시된 화면은 도 80의 8040에 제3 페이지가 표시된 화면으로 변경될 수 있다.
도 81에서 제어부(140)는 사용자의 모션으로 상 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 81의 8110 내지 8120를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 상 측 방향으로의 슬랩 모션에 응답하여, 화면상에 방송 신호의 제공을 중지하고, 중지된 방송 신호의 채널 번호보다 증가된 채널 번호를 가진 방송 신호를 제공할 수 있다. 도 81의 8130 내지 8140을 참조하면, 제어부(140)가 하나의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 상 측 방향으로의 슬랩 모션에 응답하여, 화면상에 하나의 페이지의 일부를 상기 하나의 페이지에서 상기 일부의 하 측에 위치한 다른 일부로 변경할 수 있다.
도 82 및 도 83은 본 발명의 다양한 일 실시 예에 따른 하 측 방향으로의 사용자의 모션에 응답하여 변경되는 화면을 나타내는 도면이다
도 82에서 제어부(140)는 사용자의 모션으로 하 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 82의 8210 내지 8220를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 하 측 방향으로의 슬랩 모션에 응답하여, 화면상에 방송 신호의 제공을 중지하고, 중지된 방송 신호의 채널 번호보다 감소된 채널 번호를 가진 방송 신호를 제공할 수 있다. 예를 들어, 채널의 번호가 ‘8’인 방송 신호는 채널의 번호가 ‘7’인 방송 신호로 변경될 수 있다. 도 82의 8230 내지 8240을 참조하면, 제어부(140)가 복수 개의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 하 측 방향으로의 슬랩 모션에 응답하여, 화면상에 복수 개의 페이지 중 하나의 페이지가 표시된 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 상 측에 위치한 페이지가 표시되는 화면으로 변경할 수 있다. 예를 들어, 도 82의 8230에 제2 페이지가 표시된 화면은 도 82의 8240에 제1 페이지가 표시된 화면으로 변경될 수 있다.
도 83에서 제어부(140)는 사용자의 모션으로 하 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 83의 8310 내지 8320를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 하 측 방향으로의 슬랩 모션에 응답하여, 화면상에 방송 신호의 제공을 중지하고, 중지된 방송 신호의 채널 번호보다 감소된 채널 번호를 가진 방송 신호를 제공할 수 있다. 도 83의 8330 내지 8340을 참조하면, 제어부(140)가 하나의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 하 측 방향으로의 슬랩 모션에 응답하여, 화면상에 하나의 페이지의 일부를 상기 하나의 페이지에서 상기 일부의 상 측에 위치한 다른 일부로 변경할 수 있다.
도 84 내지 도 87은 본 발명의 다양한 일 실시 예에 따른 좌 측 방향으로의 사용자의 모션에 응답하여 변경되는 화면을 나타내는 도면이다.
도 84에서 제어부(140)는 사용자의 모션으로 좌 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 84의 8410 내지 8420를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 감소시킬 수 있다. 예로, 방송 신호의 볼륨의 크기는 ‘14’에서 ‘13’으로 감소할 수 있다. 도 84의 8430 내지 8440을 참조하면, 제어부(140)가 복수 개의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 우 측에 위치한 페이지가 표시되는 화면으로 변경할 수 있다. 예를 들어, 도 84의 8430에 제2 페이지가 표시된 화면은 도 84의 8440에 제3 페이지가 표시된 화면으로 변경될 수 있다.
도 85에서 제어부(140)는 사용자의 모션으로 좌 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 85의 8510 내지 8520를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 줄일 수 있다. 도 85의 8530 내지 8540을 참조하면, 제어부(140)가 하나의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 하나의 페이지의 일부가 표시되는 화면을 상기 일부의 우 측에 위치한 다른 일부가 표시되는 화면으로 변경할 수 있다.
도 86에서 제어부(140)는 사용자의 모션으로 좌 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 86의 8610 내지 8620을 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 줄일 수 있다. 도 86의 8630 내지 8640을 참조하면, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제2 컨텐츠가 표시되는 화면을 상기 제2 컨텐츠의 이후 순서의 컨텐츠인 제3 컨텐츠가 표시되는 화면으로 변경할 수 있다.
도 87에서 제어부(140)는 사용자의 모션으로 좌 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 87의 8710 내지 8720를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 줄일 수 있다. 도 87의 8730 내지 8740을 참조하면, 제어부(140)가 화면상에 제1 영역(8731) 및 제2 영역(8735) 각각에 적어도 하나 이상의 컨텐츠를 제공하는 경우, 제어부(140)는 좌 측 방향으로의 슬랩 모션에 응답하여, 제2 영역(8735) 상에 컨텐츠(8751)를 제거하고, 제2 영역(8735) 상에 상기 제거된 컨텐츠(8751)와 다른 컨텐츠(8752)를 표시할 수 있다.
도 88에서 제어부(140)는 사용자의 모션으로 우 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 88의 8810 내지 8820을 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 증가시킬 수 있다. 예로, 방송 신호의 볼륨의 크기는 ‘14’에서 ‘15’로 증가할 수 있다. 도 88의 8830 내지 8840을 참조하면, 제어부(140)가 복수 개의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 복수 개의 페이지 중 하나의 페이지가 표시되는 화면을 상기 복수 개의 페이지 중 상기 하나의 페이지의 좌 측에 위치한 페이지가 표시되는 화면으로 변경할 수 있다. 예를 들어, 도 88의 8830에 제2 페이지가 표시된 화면은 도 88의 8840에 제1 페이지 화면으로 변경될 수 있다.
도 89에서 제어부(140)는 사용자의 모션으로 우 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 89의 8910 내지 8920을 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 증가시킬 수 있다. 도 89의 8930 내지 8940을 참조하면, 제어부(140)가 하나의 페이지를 포함하는 컨텐츠를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 하나의 페이지의 일부가 표시되는 화면을 상기 일부의 좌 측에 위치한 다른 일부가 표시되는 화면으로 변경할 수 있다.
도 90에서 제어부(140)는 사용자의 모션으로 우 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 90의 9010 내지 9020를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 증가시킬 수 있다. 도 90의 9030 내지 9040을 참조하면, 제어부(140)가 제2 컨텐츠를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제2 컨텐츠가 표시되는 화면을 상기 제2 컨텐츠의 이전 순서의 컨텐츠인 제3 컨텐츠가 표시되는 화면으로 변경할 수 있다.
도 91에서 제어부(140)는 사용자의 모션으로 우 측 방향으로의 슬랩 모션을 인식할 수 있다. 도 91의 9110 내지 9120를 참조하면, 제어부(140)가 방송 신호를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제공 중인 방송 신호의 볼륨의 크기를 증가시킬 수 있다. 도 91의 9130 내지 9140을 참조하면, 제어부(140)가 화면상에 제1 영역(9131) 및 제2 영역(9135) 각각에 적어도 하나 이상의 컨텐츠를 제공하는 경우, 제어부(140)는 우 측 방향으로의 슬랩 모션에 응답하여, 제2 영역(9135) 상에 컨텐츠(9151)를 제거하고, 제2 영역(9135) 상에 상기 제거된 컨텐츠와 다른 컨텐츠(9152)를 표시할 수 있다.
도 92 및 도 93은 본 발명의 다양한 일 실시 예에 따른 사용자의 모션에 응답하여 화면이 변경되는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 92에서, 전자 장치(100)는 인식된 사용자의 모션에 응답하여, 복수 개의 방송 신호들 중 하나의 방송 신호를 선택한다(S9212). 이 때, 인식된 사용자의 모션은 모션 입력부(120)를 통해 입력되어 모션 인식 모듈(130l)에 의해 인식될 수 있다. 전자 장치(100)는 선택된 방송 신호를 제공한다(S9214). 이 때, 방송 신호는 영상 출력부(190) 또는 디스플레이부(193)로 제공될 수 있다. 다시, 전자 장치(100)는 선택된 방송 신호의 제공을 중지하고, 저장된 컨텐츠를 제공한다(S9216). 이 때, 저장된 컨텐츠는 저장부(130)에 저장되거나, 외부단자 입력부(160) 또는 네트워크 인터페이스부(180)로부터 수신될 수 있다. 전자 장치(100)는 인식된 사용자의 모션과 실질적으로 동일한 형태의 사용자의 모션을 재 인식할 수 있다(S9218). 이 때, 재 인식된 사용자의 모션은 모션 입력부(120)를 통해 입력되어 모션 인식 모듈(130l)에 의해 인식될 수 있다. 전자 장치(100)는 재 인식된 사용자의 모션에 응답하여, 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경할 수 있다(S9220).
도 93에서, 전자 장치(100)는 복수 개의 방송 신호들 중 하나의 방송 신호 및 저장된 컨텐츠 중 하나를 제공한다(S9312). 다시, 전자 장치(100)는 모션 인식 모듈(130l)을 통해 사용자의 모션을 인식한다(S9314). 전자 장치(100)는 사용자의 모션에 응답하여, 전자 장치(100)가 제공하는 신호가 방송 신호인지 또는 컨텐츠인지 판단할 수 있다(S9316). 방송 신호가 제공되는 경우, 전자 장치(100)는 방송 신호의 볼륨의 크기를 조절하거나 또는 복수 개의 방송 신호들 중 다른 하나의 방송 신호를 제공한다(S9318). 또는, 컨텐츠가 제공되는 경우, 전자 장치(100)는 제공된 컨텐츠가 표시되는 화면의 적어도 일부를 변경한다(S9320).
상술한 바와 같은 전자 장치(100)를 통해, 사용자는 사용자의 모션을 통해 전자 장치를 보다 효율적이고 직관적으로 제어할 수 있게 된다.
제어부(140)는 리모컨 신호 수신부(170)에서 수신되는 리모컨 신호, 음성 입력부(110)에서 입력되는 사용자 음성 및 모션 입력부(120)에서 입력되는 사용자 모션에 따라 전자 장치를 제어한다. 여기서, 리모컨은 일반적인 리모컨일 수 있으나, 이에 한정되는 것은 아니고, 터치 패드를 구비하는 리모컨일 수 있다.
구체적으로, 제어부(140)는 리모컨 신호 수신부(170)로 수신된 리모컨 신호에 따라 전자 장치(100)가 제어되는 리모컨 모드에서, 음성 입력부(110)를 통해 입력된 음성 개시 명령이 인식되는 경우, 음성 입력부(110)에 의해 입력된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환한다.
음성 태스크 모드로 전환된 경우, 제어부(140)는 전자 장치(100)의 모드가 음성 태스크 모드임을 표시하는 아이콘 및 음성 태스크를 안내하는 음성 아이템이 포함된 음성 가이드 정보를 디스플레이하도록 디스플레이부(193)를 제어할 수 있다.
음성 태스크 모드에서, 리모컨 모드로 전환하기 위해 리모컨에 구비된 버튼 중 제1 버튼이 선택되면, 리모컨 신호 수신부(170)는 제1 버튼에 대응되는 제1 리모컨 신호를 수신한다. 그리고, 제어부(140)는 전자 장치(100)의 모드를 제1 리모컨 신호에 응답하여, 전자 장치(100)가 리모컨에 의해 제어되는 리모컨 모드로 전환한다. 이때, 제1 버튼은 리모컨 모드로 전환되기 위한 리모컨 모드 전환 버튼일 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 제1 버튼은 상기 리모컨에 구비된 버튼 중 임의의 버튼일 수 있다. 제1 버튼이 임의의 버튼인 경우, 제1 버튼에 대응되는 제1 리모컨 신호가 수신되면, 제어부(140)는 리모컨 모드로 전환한 후, 제1 버튼에 대응되는 태스크를 수행할 수 있다. 예를 들어, 제1 버튼이 음소거 버튼인 경우, 제어부(140)는 전자 장치(100)의 모드를 음성 태스크 모드에서 리모컨 모드로 전환하고, 음소거를 수행할 수 있다.
음성 태스크 모드에서, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 모션 인식 모듈(130l)을 이용하여, 모션 개시 명령을 인식한다. 그리고, 모션 개시 명령이 인식되는 경우, 제어부(140)는 전자 장치(100)의 모드를 모션 입력부(120)에 의해 입력된 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환할 수 있다.
또한, 제어부(140)는 리모컨 신호 수신부(170)로 수신된 리모컨 신호에 따라 전자 장치(100)가 제어되는 리모컨 모드에서, 모션 입력부(120)를 통해 입력된 모션 개시 명령이 인식되는 경우, 모션 입력부(120)에 의해 입력된 사용자 모션에 의해 제어되는 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환한다.
모션 태스크 모드로 전환된 경우, 제어부(140)는 전자 장치(100)의 모드가 모션 태스크 모드임을 표시하는 아이콘 및 모션 태스크를 안내하는 모션 아이템이 포함된 음성 가이드 정보를 디스플레이하도록 디스플레이부(193)를 제어할 수 있다.
모션 태스크 모드에서, 리모컨 모드로 전환하기 위해 리모컨에 구비된 버튼 중 제1 버튼이 선택되면, 리모컨 신호 수신부(170)는 제1 버튼에 대응되는 제1 리모컨 신호를 수신한다. 그리고, 제어부(140)는 제1 리모컨 신호에 응답하여, 전자 장치(100)의 모드를 전자 장치(100)가 리모컨에 의해 제어되는 리모컨 모드로 전환한다. 이때, 제1 버튼은 리모컨 모드로 전환되기 위한 리모컨 모드 전환 버튼일 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 제1 버튼은 상기 리모컨에 구비된 버튼 중 임의의 버튼일 수 있다. 제1 버튼이 임의의 버튼인 경우, 제1 버튼에 대응되는 제1 리모컨 신호가 수신되면, 제어부(140)는 리모컨 모드로 전환한 후, 제1 버튼에 대응되는 태스크를 수행할 수 있다. 예를 들어, 제1 버튼이 음소거 버튼인 경우, 제어부(140)는 전자 장치(100)의 모드를 음성 태스크 모드에서 리모컨 모드로 전환하고, 음소거를 수행할 수 있다.
모션 태스크 모드에서, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 인식 모듈(130k)을 이용하여, 음성 개시 명령을 인식한다. 그리고, 음성 개시 명령이 인식되는 경우, 제어부(140)는 전자 장치(100)의 모드를 음성 입력부(110)에 의해 입력된 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환할 수 있다.
이하에서는 도 94 내지 도 97을 참조하여, 리모컨 모드, 모션 태스크 모드 및 음성 태스크 모드로 전환하는 실시 예를 설명하기로 한다.
구체적으로, 제어부(140)는 전자 장치(100)에 전원이 켜진 후, 일반적으로 리모컨 신호에 의해 제어되는 리모컨 모드로 동작한다. 리모컨 모드는 도 94에 도시된 바와 같이, 별도의 UI가 디스플레이되지 않는다. 그러나, 이는 일 실시 예에 불과할 뿐, 제어부(140)는 리모컨 모드일 때, 리모컨 모드임을 나타내는 UI를 디스플레이할 수 있다.
리모컨 모드에서, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령을 인식하여, 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다. 이때, 제어부(140)는 음성 태스크 모드로 전환하면서, 도 95에 도시된 바와 같은 음성 가이드 정보를 디스플레이할 수 있다.
음성 태스크 모드에서, 리모컨에 구비된 제1 버튼이 선택되면, 제어부(110)는 리모컨 신호 수신부(170)를 통해 제1 버튼에 대응되는 제1 리모컨 신호를 수신하여, 도 94에 도시된 바와 같이, 전자 장치(100)의 모드를 리모컨 모드로 다시 전환한다. 이때, 리모컨에 구비된 제1 버튼은 리모컨 모드 전환 버튼일 수 있으나 이는 일 실시 예에 불과할 뿐, 리모컨에 구비된 임의의 버튼일 수도 있다.
또한, 음성 태스크 모드에서, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 모션 개시 명령을 인식하여 전자 장치(100)의 모드를 모션 입력부(120)를 통해 입력되는 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환한다. 이때, 제어부(140)는 모션 태스크 모드로 전환하면서, 도 96에 도시된 바와 같은 모션 가이드 정보(3310)를 디스플레이할 수 있다.
리모컨 모드에서, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 모션 개시 명령을 인식하여 전자 장치(100)의 모드를 모션 입력부(120)를 통해 입력되는 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환한다. 이때, 제어부(140)는 모션 태스크 모드로 전환하면서, 도 96에 도시된 바와 같은 모션 가이드 정보(3310)를 디스플레이할 수 있다.
모션 태스크 모드에서, 리모컨에 구비된 제1 버튼이 선택되면, 제어부(110)는 리모컨 신호 수신부(170)를 통해 제1 버튼에 대응되는 제1 리모컨 신호를 수신하여, 도 94에 도시된 바와 같이, 전자 장치(100)의 모드를 리모컨 모드로 다시 전환한다. 이때, 리모컨에 구비된 제1 버튼은 리모컨 모드 전환 버튼일 수 있으나 이는 일 실시 예에 불과할 뿐, 리모컨에 구비된 임의의 버튼일 수도 있다.
모션 태스크 모드에서, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령을 인식하여 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다. 이때, 제어부(140)는 음성 태스크 모드로 전환하면서, 도 95에 도시된 바와 같은 음성 가이드 정보를 디스플레이할 수 있다.
상술한 바와 같이, 전자 장치(100)는 리모컨 신호, 음성 개시 명령 및 모션 개시 명령을 이용하여, 리모컨 모드, 음성 태스크 모드 및 모션 태스크 모드로 각각 전환될 수 있다.
도 97은 본 발명의 일 실시 예에 따른, 리모컨 모드, 모션 태스크 모드 및 음성 태스크 모드로 전환하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 전원이 켜진 후, 리모컨에 의해 제어되는 리모컨 모드로 진입한다(S9710).
리모컨 모드에서, 전자 장치(100)는 음성 개시 명령이 입력되었는지 여부를 판단한다(S9720).
리모컨 모드에서 음성 개시 명령이 입력되면(S9720-Y), 전자 장치(100)는 음성 개시 명령에 대응하여, 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자의 음성에 의해 제어되는 음성 태스크 모드로 전환한다(S9730). 이때, 음성 태스크 모드로 진입되면, 전자 장치(100)는 도 95에 도시된 바와 같은 음성 가이드 정보를 디스플레이할 수 있다.
음성 태스크 모드에서, 전자 장치(100)는 모션 개시 명령이 입력되었는지 여부를 판단한다(S9730).
음성 태스크 모드에서 모션 개시 명령이 입력되면(S9740-Y), 전자 장치(100)는 모션 개시 명령에 응답하여 전자 장치(100)의 모드를 모션 입력부(120)를 통해 입력되는 사용자의 모션에 의해 제어되는 모션 태스크 모드로 전환한다(S9750).
그리고, 모션 태스크 모드에서, 전자 장치(100)는 모션 입력부(120)를 통해 입력되는 사용자 모션에 따라 모션 태스크를 수행한다(S9760).
한편, 도 97에서는 리모컨 모드에서 음성 태스크 모드로 변경되는 실시 예에 대해 설명하였으나, 이는 일 실시 예에 불과할 뿐, 리모컨 모드에서 모션 태스크 모드로 변경되는 실시 예 역시 본 발명의 기술적 사상이 적용될 수 있다.
상술한 바와 같이, 전자 장치(100)가 리모컨 모드, 음성 태스크 모드 및 모션 태스크 모드를 전환함으로써, 사용자는 자신이 원하는 모드에 따라, 전자 장치(100)를 제어할 수 있게 된다.
제어부(140)는 외부의 휴대기기를 이용한 음성 인식을 통해 전자 장치(100)를 제어할 수 있다.
구체적으로, 제어부(140)는 외부의 휴대기기에 구비된 마이크를 통해 사용자 음성이 입력되면, 음성 입력부(110)를 통해 사용자 음성을 입력받고, 입력된 사용자 음성을 인식하며, 인식된 사용자 음성에 따라 전자 장치(100)의 음성 태스크를 수행할 수 있다. 이때, 휴대기기는 리모콘, 휴대폰, PDA 및 노트북 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 또한, 이때, 음성 입력부(110)는 외부의 휴대기기로부터 사용자 음성 신호를 수신하기 위한 통신부일 수 있다.
또한, 외부의 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되어, 사용자 음성을 입력받는다. 그리고, 휴대기기가 사용자의 음성을 인식하여 사용자 음성에 대응하는 제어 신호를 생성한 후, 제어 신호를 전자 장치(100)에 전송하면, 제어부(140)는 휴대기기로부터 입력된 제어 신호에 따라 전자 장치(100)의 음성 태스크를 수행할 수 있다.
또한, 제어부(140)는 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되고, 휴대기기에 구비된 마이크로부터 입력된 사용자의 음성이 입력되면, 휴대기기로부터 입력된 사용자의 음성을 인식하고, 사용자의 음성에 따라 전자 장치(100)의 음성 태스크를 수행할 수 있다.
이때, 휴대기기에서 음성 인식을 위한 어플리케이션이 실행된 후 휴대기기에 포함된 제1 버튼이 선택되면, 제어부(140)는 통신부(미도시)를 통해 제1 버튼에 대응되는 제1 신호를 수신하고, 제1 신호에 응답하여 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다. 이때, 휴대기기에 포함된 제1 버튼이 선택되어 전환되는 음성 태스크 모드는 휴대기기에 포함된 마이크로부터 입력된 사용자의 음성에 따라 음성 태스크가 수행되는 모드이다, 그리고, 휴대기기에 포함된 제1 버튼이 선택되어 전환되는 음성 태스크 모드는 휴대기기의 제1 버튼 및 제2 버튼 중 하나가 선택되면, 해제될 수 있다. 이때, 제1 버튼 및 제2 버튼은 휴대기기에 구비된 물리적인 버튼일 수 있으나, 이는 일 실시 예에 불과할 뿐, 음성 인식을 위한 어플리케이션이 실행된 후 휴대기기에 디스플레이된 UI일 수 있다.
또한, 제어부(140)는 음성 태스크 모드에서 휴대기기에 구비된 제2 버튼이 선택되는 동안, 휴대기기로부터 사용자의 음성을 입력받을 수 있다. 이때, 휴대기기에 구비된 제2 버튼이 선택되는 동안, 제어부(140)는 사용자 음성이 입력 가능함을 나타내는 UI를 휴대기기에 디스플레이할 수 있다. 따라서, 사용자는 휴대기기에 디스플레이된 UI를 통해 음성 입력이 가능함을 인지할 수 있게 된다.
휴대기기에서 사용자 음성이 입력되는 경우, 제어부(140)는 전자 장치(100)에 구비된 마이크를 통해 사용자 음성을 입력받지 않는다.
한편, 휴대기기에 구비된 마이크는 휴대기기가 전화 통화를 위해 이용되는 마이크일 수 있다. 즉, 휴대 기기가 일반적인 전화 통화 기능을 하는 경우, 마이크는 사용자로부터 전화 통화를 위한 음성을 입력 받고, 한편, 휴대 기기가 음성 인식을 위한 어플리케이션을 실행하는 경우, 사용자로부터 전자 장치(100)를 제어하기 위한 음성을 입력 받을 수 있다.
도 98은 본 발명의 일 실시 예에 따른, 외부의 휴대기기를 이용하여 사용자의 음성을 인식하는 방법을 설명하기 위한 흐름도이다.
우선, 휴대기기는 음성 입력을 위한 어플리케이션을 실행한다(S9810). 이때, 휴대기기는 휴대폰일 수 있다.
휴대기기에서 음성 입력을 위한 어플리케이션이 실행된 후, 휴대기기는 휴대기기에 구비된 마이크를 통해 사용자 음성을 입력받는다(S9820). 이때, 휴대기기에 구비된 마이크는 전화 통화 기능을 수행하기 위한 마이크일 수 있다.
그리고, 전자 장치(100)는 외부의 휴대기기에 입력된 사용자 음성을 휴대기기로부터 수신한다(S9830).
휴대기기로부터 사용자 음성이 수신되면, 전자 장치(100)는 음성 인식 모듈(130k)을 이용하여 사용자 음성을 인식한다(S9840).
그리고, 전자 장치(100)는 음성 데이터베이스를 이용하여, 인식된 사용자 음성에 따라 음성 태스크를 수행한다(S9850).
한편, 상술한 실시 예에서는 휴대기기가 사용자 음성을 입력받아, 사용자 음성을 전자 장치(100)에 전송하는 것으로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 휴대기기가 사용자 음성을 직접 인식하여, 사용자 음성에 대응되는 제어 신호를 생성한 후, 제어 신호를 전자 장치(100)에 전송할 수 있다.
상술한 바와 같이, 휴대폰과 휴대기기를 이용하여 전자 장치(100)의 음성 태스크를 수행함으로써, 사용자는 더욱 용이하게 음성 인식을 이용하여 전자 장치(100)를 제어할 수 있게 된다.
본 발명의 일 실시 예에 따르면, 모션 태스크 모드는 포인터가 필요한 태스크인지 여부에 따라 모션 모드 및 포인팅 모드 중 하나일 수 있다. 구체적으로, 모션 모드는 기 설정된 모션(예를 들어, 좌우상하 슬랩, 그랩 및 반시계 방향의 회전) 에 따라 전자 장치(100)의 설정이 변경되는 태스크를 제어하는 모드이다. 예를 들어, 전자 장치(100)가 방송 수신 기능을 수행할 때 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 모션 모드로 전환할 수 있다. 따라서, 전자 장치(100)는 기 설정된 모션에 매칭되는 사용자의 모션에 응답하여 볼륨 조절, 채널 변경과 같은 태스크를 수행할 수 있다.
포인팅 모드는 태스크를 수행하기 위해 포인터를 이용하는 모드이다. 예를 들어, 전자 장치(100)가 선택가능한 복수의 아이템이 포함된 리스트(예를 들어, 컨텐츠 리스트, 채널 리스트, EPG 및 웹 페이지 등) 중 하나를 디스플레이할 때 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 포인팅 모드로 전환할 수 있다. 포인팅 모드로 진입되면, 제어부(140)는 디스플레이 화면 중앙에 포인터를 디스플레이한다. 이때, 포인터는 모션 가이드 정보로 인해 디스플레이 화면 중앙의 위쪽에 디스플레이 될 수도 있다.
이하에서는 포인팅 모드에 대해 더욱 상세히 설명하도록 한다.
전자 장치(100)가 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트(예를 들어, 스마트 허브) 및 웹 페이지 중 하나가 디스플레이하는 동안 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이할 수 있다.
이때, 포인팅 모드에 진입되면, 전자 장치(100)는 디스플레이 화면 하단에 모션 태스크를 수행하기 위한 모션 가이드 정보를 디스플레이할 수 있다. 이때, 디스플레이되는 모션 가이드 정보는 모션 모드의 모션 가이드 정보와는 상이할 수 있다.
한편, 전자 장치(100)가 컨텐츠 리스트를 디스플레이하는 경우, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 포인팅 모드로 전환한다. 포인팅 모드에서 모션 입력부(120)에 입력되는 사용자의 모션에 따라 포인터가 컨텐츠 리스트의 제1 단축 아이콘에 위치하면, 제어부(140)는 제1 단축 아이콘을 다른 단축 아이콘과 구별되게 표시한다. 그리고, 포인팅 모드에서 컨텐츠 리스트 화면의 종료 명령이 입력되면, 제어부(140)는 컨텐츠 리스트뿐 아니라, 포인터를 디스플레이 화면에서 제거할 수 있다.
한편, 전자 장치(100)가 웹 페이지를 디스플레이하는 경우, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(40)는 전자 장치(100)의 모드를 포인팅 모드로 전환한다. 이때, 웹 페이지는 복수 개의 하이퍼링크를 포함할 수 있다. 포인팅 모드에서 모션 입력부(120)에 입력되는 사용자의 모션에 따라 포인터가 웹 페이지의 제1 하이퍼링크에 위치하면, 제어부(140)는 제1 하이퍼링크를 다른 하이퍼링크와 구별되게 표시한다. 그리고, 포인터가 제1 하이퍼링크에 위치하고, 모션 입력부(120)를 통해 사용자의 제1 모션(예를 들어, 그랩 모션)이 입력되면, 제어부(140)는 제1 하이퍼링크를 실행한다.
이하에서는 도 99 내지 도 103을 참조하여, 포인팅 모드에 대한 실시 예에 대해 더욱 상세히 설명하도록 한다.
도 99에 도시된 바와 같이, 어플리케이션을 실행하기 위한 단축 아이콘이 포함된 컨텐츠 리스트가 디스플레이되고, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 도 100에 도시된 바와 같이, 모션 가이드 정보 및 포인터(10010)를 디스플레이할 수 있다. 이때, 포인터(10010)는 디스플레이 화면의 중앙에 디스플레이될 수 있다.
그리고, 모션 입력부(120)를 통해 포인터(10010)가 "APP2" 단축 아이콘에 위치하도록 왼쪽 아래 방향으로 이동하는 모션이 입력되면, 제어부(140)는 포인터(10010)를 "APP2" 단축 아이콘에 위치시킨다. 이때, 포인터(10010)가 "APP2"단축 아이콘에 위치하면, 제어부(140)는 도 101에 도시된 바와 같이, "APP2"의 단축 아이콘 및 단축 아이콘 이름을 다른 아이콘에 비해 진하게 하이라이트 하여 표시한다.
포인터(10010)가 "APP2" 단축 아이콘에 위치하고, 모션 입력부(120)를 통해 사용자의 제1 모션(예를 들어, 그랩 모션)이 입력되면, 제어부(120)는 도 102에 도시된 바와 같이, "APP2" 단축 아이콘을 실행한다.
그리고, 도 101에 도시된 바와 같이, 컨텐츠 리스트가 디스플레이되고, 사용자로부터 컨텐츠 리스트 해제 명령(예를 들어, 반시계 방향의 회전 모션 또는 리모컨 버튼)이 입력되면, 제어부(140)는 도 103에 도시된 바와 같이, 디스플레이 화면에 컨텐츠 리스트 및 포인터를 제거하고, 방송 수신 화면을 디스플레이한다.
한편, 상술한 실시 예에서는 컨텐츠 리스트가 디스플레이되는 경우를 설명하였으나, 이에 한정되는 것이 아니며, 복수의 하이퍼링크를 포함하는 웹 페이지가 디스플레이된 경우 역시 본원 발명의 기술적 사상이 적용될 수 있다.
도 104는 본 발명의 일 실시 예에 따른, 포인팅 모드를 제공하는 방법은 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 컨텐츠 리스트 및 웹 페이지 중 하나를 디스플레이한다(S10410). 이때, 컨텐츠 리스트는 어플리케이션을 실행하기 위한 복수 개의 단축 아이콘을 포함하고, 웹 페이지는 복수의 하이퍼링크를 포함할 수 있다.
그리고, 전자 장치(100)는 모션 개시 명령이 입력되었는지 여부를 판단한다(S10420).
모션 개시 명령이 입력되면(S10420-Y), 전자 장치(100)는 전자 장치(100)의 모드를 포인팅 모드로 전환한다(S10430). 이때, 포인팅 모드라 함은, 포인터가 필요한 태스크(예를 들어, 어플리케이션 실행, 웹 페이지 검색 등)를 수행하기 위한 모드이다.
포인팅 모드로 전환되면, 전자 장치(100)는 디스플레이 화면에 포인터를 디스플레이한다(S10440). 이때, 포인터는 디스플레이 화면 중앙에 디스플레이될 수 있다.
상술한 바와 같이, 전자 장치(100)가 포인터가 필요한 태스크를 수행하기 위해 포인팅 모드로 전환됨으로써, 사용자는 더욱 용이하게 전자 장치(100)를 제어할 수 있게 된다.
제어부(140)는 포인팅 모드에서 모션 입력부(120)를 통해 제1 모션이 입력되면, 제1 모션에 대응되는 방향으로 포인터를 이동하고, 모션 입력부(120)를 통해 제2 모션이 입력되면, 제2 모션에 대응되는 모션 태스크를 수행한다.
이때, 포인터가 컨텐츠 리스트의 제1 단축 아이콘에 위치하거나, 웹 페이지의 제1 하이퍼링크에 위치한 상태에서, 제2 모션이 입력되면, 제어부(140)는 포인터가 위치하는 제1 단축 아이콘 및 제1 하이퍼링크의 하이라이트 표시까지 제거할 수 있다.
이때, 제2 모션은 전자 장치의 모션 모드를 수행하기 위한 기 설정된 모션이며, 상하좌우 방향의 슬랩 모션, 그랩 모션 및 반시계 방향의 회전 모션 중 하나일 수 있다.
예를 들어, 제2 모션이 상하좌우 방향의 슬랩 모션인 경우, 제어부(140)는 디스플레이 화면을 입력된 상하좌우 방향의 슬랩 모션에 대응하여 이동시킬 수 있다. 이때, 화면이 이동된 후, 제어부(140)는 포인터를 화면 이동 전의 지점에 다시 디스플레이할 수 있다.
또 다른 예로, 제2 모션이 그랩 모션인 경우, 제어부(140)는 포인터가 위치하는 제1 단축 아이콘을 실행할 수 있다. 이때, 제1 단축 아이콘 실행 후, 제어부(140)는 포인터를 화면 이동 전의 지점에 다시 디스플레이할 수 있다.
또 다른 예로, 제2 모션이 반시계 방향의 회전 모션인 경우, 제어부(140)는 현재 선국되고 있는 채널의 방송 프로그램을 디스플레이 화면에 디스플레이할 수 있다. 즉, 제어부(140)는 컨텐츠 리스트 또는 웹 페이지를 디스플레이 화면에서 제거하고, 방송 수신 기능을 제공할 수 있다. 이때, 방송 수신 기능은 포인터가 필요 없으므로, 포인터가 디스플레이되지 않는다.
한편, 상술한 실시예에서는 포인터가 디스플레이되지 않는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 포인터가 디스플레이되는 지점에 유지되어 디스플레이될 수도 있다.
이하에서는 도 105 내지 도 107을 참조하여, 포인팅 모드에서 기설정된 모션이 입력된 경우의 실시 예에 대해 더욱 상세히 설명하도록 한다.
우선, 도 100에서 상술한 바와 같이, 전자 장치(100)의 모드가 포인팅 모드로 전환되면, 제어부(140)는 도 105에 도시된 바와 같이, 디스플레이 화면 중앙에 포인터(10510)를 디스플레이한다.
디스플레이 화면에 포인터가 디스플레이된 상태에서, 모션 입력부(120)를 통해 오른쪽 방향의 슬랩 모션이 입력되면, 제어부(140)는 도 106에 도시된 바와 같이, 디스플레이 화면에서 포인터(10510)를 제거하고, 어플리케이션 표시 영역(1520)의 화면을 다른 어플리케이션 표시 영역의 화면(10530)으로 전환한다.
그리고, 어플리케이션 표시 영역(10520)이 이동된 후, 제어부(140)는 도 107에 도시된 바와 같이 다시 포인터(10510)를 디스플레이한다.
도 108은 본 발명의 일 실시 예에 따른, 포인팅 모드에서 기설정된 모션이 입력된 경우, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 컨텐츠 리스트 및 웹 페이지 중 하나를 디스플레이한다(S10810). 이때, 컨텐츠 리스트는 어플리케이션을 실행하기 위한 복수 개의 단축 아이콘을 포함하고, 웹 페이지는 복수의 하이퍼링크를 포함할 수 있다.
그리고, 전자 장치(100)는 모션 개시 명령이 입력되었는지 여부를 판단한다(S10820).
모션 개시 명령이 입력되면(S10820-Y), 전자 장치(100)는 전자 장치(100)의 모드를 포인팅 모드로 전환한다(S10830). 이때, 포인팅 모드라 함은, 포인터가 필요한 태스크(예를 들어, 어플리케이션 실행, 웹 페이지 검색 등)를 수행하기 위한 모드이다.
포인팅 모드로 전환되면, 전자 장치(100)는 디스플레이 화면에 포인터를 디스플레이한다(S10840). 이때, 포인터는 디스플레이 화면 중앙에 디스플레이될 수 있다.
그리고, 포인터가 디스플레이된 상태에서 모션 입력부(120)를 통해 기설정된 모션이 입력된 경우(S10850-Y), 전자 장치(100)는 포인터를 제거하고, 기설정된 모션에 대응되는 모션 태스크를 수행한다(S10860). 이때, 기설정된 모션은 모션 모드에서 기설정된 모션으로써, 상하좌우 슬랩 모션, 그랩 모션 및 반시계 방향의 회전 모션일 수 있다.
상술한 바와 같이 전자 장치(100)를 제어함으로써, 사용자는 포인팅 모드에서도 기설정된 모션에 따른 태스크를 수행할 수 있게 된다.
제어부(140)는 전자 장치(100)의 모드에 따라, 선택된 아이템을 상이하게 표시할 수 있다.
구체적으로, 제어부(140)는 선택가능한 복수의 아이템을 디스플레이하도록 디스플레이부(193)를 제어한다. 이때, 선택가능한 아이템은 컨텐츠 리스트의 단축 아이콘 또는 웹 페이지의 하이퍼링크일 수 있다.
그리고, 음성 입력부(110) 및 모션 입력부(120) 중 하나를 통해 사용자의 음성 및 사용자의 모션 중 하나가 입력되면, 제어부(140)는 사용자의 입력에 따라 복수의 아이템 중 제1 아이템을 선택한다. 그리고, 제어부(140)는 선택된 제1 아이템을 다른 아이템과 구별되게 디스플레이할 수 있다. 예를 들어, 제어부(140)는 선택된 제1 아이템을 다른 아이템보다 진하게 하이라이트하여 표시할 수 있다.
제1 아이템이 다른 아이템과 구별되게 디스플레이될 때, 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 전자 장치(100)의 모드가 모션 태스크 모드인 경우, 제어부(140)는 제1 아이템의 이름의 전체 이름을 디스플레이할 수 있다. 예를 들어, 도 109에 도시된 바와 같이, 선택된 "Exciting Drum" 단축 아이콘의 이름을 전부 디스플레이한다. 또한, 제어부(140)는 제1 아이템의 이름을 스크롤 방식으로 전체 이름을 디스플레이할 수 있다. 한편, 상술한 실시 예에서는 모션 태스크 모드인 경우, 아이템의 전체 이름이 디스플레이되는 것으로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 리모컨 모드에서도 아이템의 전체 이름이 디스플레이될 수 있다.
그러나, 제어부(140)는 선택된 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 전자 장치(100)의 모드가 음성 태스크 모드인 경우, 제1 아이템의 이름 중 일부만을 디스플레이할 수 있다. 이때, 제1 아이템의 일부 이름은 고정된다. 예를 들어, 도 110에 도시된 바와 같이, 선택된 "Exciting Drum" 단축 아이콘의 이름 중 일부 이름만이 디스플레이된다.
그리고, 음성 태스크 모드에서, 제1 아이템의 이름 중 일부 이름만 디스플레이된 경우, 음성 입력부(110)를 통해 입력된 사용자의 음성이 디스플레이된 일부 이름과 일치하면, 제어부(140)는 제1 아이템을 실행할 수 있다.
그리고, 디스플레이된 제1 아이템의 일부 이름에 띄어쓰기가 없는 경우, 음성 입력부(110)를 통해 디스플레이된 제1 아이템의 이름을 구성하는 복수의 스펠링과 대응되는 사용자 음성이 입력되면, 제어부(140)는 제1 아이템을 실행할 수 있다. 예를 들어, 디스플레이된 제1 아이템의 이름이 "man"인 경우, "m","a","n"이 순서대로 입력되면, 제어부(140)는 제1 아이템을 실행할 수 있다.
또한, 전자 장치(100)가 음성 태스크 모드인 경우, 디스플레이된 아이템의 이름과 음성 입력부(110)를 통해 입력된 사용자의 음성과 일치하는 아이템이 복수 개인 경우, 제어부(140)는 복수 개의 아이템을 포함하는 후보군 리스트를 디스플레이할 수 있다. 후보군 리스트가 디스플레이되는 경우, 제어부(140)는 사용자가 아이템을 확실히 구분하기 위하여 아이템의 전체 이름을 디스플레이할 수 있다.
도 111은 본 발명의 일 실시 예에 따른, 모드마다 상이하게 아이템을 디스플레이하는 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 선택가능한 복수의 아이템을 디스플레이한다(S11110). 이때, 복수의 아이템은 컨텐츠 리스트에 포함된 어플리케이션을 실행하기 위한 단축 아이콘 또는 웹 페이지에 포함된 하이퍼링크일 수 있다.
전자 장치(100)는 음성 입력부(110) 및 모션 입력부(120) 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 입력받는다(S11120).
전자 장치(100)는 사용자 입력에 따라, 제1 아이템을 선택한다(S11130). 예를 들어, 음성 태스크 모드인 경우, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 사용자 음성에 따라 제1 아이템을 선택할 수 있으며, 모션 태스크 모드인 경우, 전자 장치(100)는 모션 입력부(120)를 통해 입력된 사용자 모션에 따라 제1 아이템을 선택할 수 있으며, 리모컨 모드인 경우, 전자 장치(100)는 리모컨 신호 수신부(170)를 통해 입력된 리모컨 신호에 따라 제1 아이템을 선택할 수 있다.
제1 아이템이 선택되면, 전자 장치(100)는 선택된 제1 아이템을 다른 아이템과 구별되게 디스플레이한다(S11140). 예를 들어, 전자 장치(100)는 선택된 제1 아이템을 다른 아이템보다 진하게 하이라이트 하여 디스플레이할 수 있다.
제1 아이템이 다른 아이템과 구별되게 디스플레이될 때, 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 전자 장치(100)의 모드가 모션 태스크 모드(또는 리모컨 모드)인 경우, 전자 장치(100)는 제1 아이템의 이름의 전체 이름을 디스플레이할 수 있다. 예를 들어, 도 109에 도시된 바와 같이, 선택된 "Exciting Drum" 단축 아이콘의 이름을 전부 디스플레이한다. 또한, 전자 장치(100)는 제1 아이템의 이름을 스크롤 방식으로 전체 이름을 디스플레이할 수 있다.
그러나, 선택된 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 전자 장치(100)의 모드가 음성 태스크 모드인 경우, 전자 장치(100)는 제1 아이템의 이름 중 일부만을 디스플레이할 수 있다. 이때, 제1 아이템의 일부 이름은 고정된다. 예를 들어, 도 110에 도시된 바와 같이, 선택된 "Exciting Drum" 단축 아이콘의 이름 중 일부 이름("Exciting")만이 디스플레이된다.
상술한 바와 같이, 음성 태스크 모드에서만 아이템의 일부 이름이 디스플레이되면, 사용자는 일부 이름만을 발화함으로써, 제1 아이템을 실행할 수 있게 된다.
제어부(140)는 음성 태스크 모드에서 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이한다. 이때, 음성 가이드 정보는 전자 장치(100)의 모드가 음성 태스크 모드임을 표시하는 아이콘을 포함하고 있으며, 음성 태스크 모드임을 표시하는 아이콘은 음성 가이드 정보의 중앙에 위치할 수 있다.
음성 가이드 정보가 디스플레이된 경우, 음성 입력부(110)를 통해 복수의 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 제어부(140)는 음성 가이드 정보의 제1 영역에 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이하고, 음성 가이드 정보의 제2 영역에 음성 아이템을 디스플레이한다. 이때, 제1 영역은 아이콘의 좌측 영역이며, 제2 영역은 상기 아이콘의 우측 영역일 수 있다. 또한, 가이드 문구의 출력 속성과 음성 아이템의 출력 속성은 상이할 수 있다. 이때, 출력 속성에는 글자의 크기, 채도, 명도 및 색상 중 적어도 하나가 포함될 수 있다. 예를 들어, 음성 아이템이 가이드 문구보다 진할 수 있다.
사용자 음성이 채널 변경을 수행하기 위한 명령어인 경우, 제어부(140)는 제1 영역에 채널 변경을 안내하는 가이드 문구를 디스플레이하고, 제2 영역에 채널 변경을 위한 발화가능한 명령어의 예에 대응되는 음성 아이템 및 채널 변경 취소에 대응되는 음성 아이템을 디스플레이할 수 있다.
사용자 음성이 전원 종료를 수행하기 위한 명령어인 경우, 제어부(140)는 제1 영역에 전원 종료를 확인하는 가이드 문구를 디스플레이하고, 제2 영역에 전원 종료의 수행 여부에 대한 명령어에 대응되는 음성 아이템을 디스플레이할 수 있다.
이하에서는 도 112 내지 도 114를 참조하여, 음성 가이드 정보를 디스플레이하는 실시 예를 설명하도록 한다.
음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 제어되는 음성 태스크 모드로 전환한다. 그리고, 제어부(140)는 도 112에 도시된 바와 같은 음성 가이드 정보를 디스플레이한다.
이때, 음성 가이드 정보에는 현재 전자 장치(100)의 모드가 음성 태스크 모드임을 나타내는 아이콘(820)을 디스플레이할 수 있다. 그리고, 음성 가이드 정보에서 아이콘(820)의 좌측 영역에는 전원끄기 음성 아이템(811), 채널 음성 아이템(812), 소리끄기 음성 아이템(813) 및 외부입력 음성 아이템(814)이 디스플레이되고, 음성 가이드 정보에서 아이콘(820)의 우측 영역에는 스마트허브 음성 아이템(815), 앱스 음성 아이템(816), 검색 음성 아이템(817) 및 전체 음성 아이템(818)이 디스플레이될 수 있다.
음성 가이드 정보가 디스플레이되고, 음성 입력부(110)를 통해 채널 음성 아이템(812)에 대응되는 명령어인 "채널"이 입력되는 경우, 제어부(140)는 도 113에 도시된 바와 같이, 음성 가이드 정보를 변환한다. 이때, 제어부(140)는 음성 가이드 정보에서 아이콘(820)의 좌측 영역에 제1 채도를 가지는 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이한다. 예를 들어, 도 113에 도시된 바와 같이, 아이콘의 좌측 영역에는 "채널명이나 채널번호를 말해주세요"(11310)가 디스플레이될 수 있다.
그리고, 제어부(140)는 음성 가이드 정보에서 아이콘(820)의 우측 영역에 제2 채도를 가지는 음성 아이템을 디스플레이한다. 이때, 음성 아이템은 채널 변경을 위한 발화가능한 명령어의 예에 대응되는 음성 아이템 및 채널 변경 취소에 대응되는 음성 아이템(예를 들어, 이전 음성 아이템)일 수 있다. 예를 들어, 도 113에 도시된 바와 같이, 아이콘(820)의 우측 영역에는 "(예: 11,MBC,이전채널 등) 이전"(11320)이 디스플레이될 수 있다.
이때, 제어부(140)는 아이콘(820)의 우측 영역의 채도를 아이콘(820)의 좌측 영역보다 진하게 표시할 수 있다.
또 다른 예로, 도 112에 도시된 바와 같은 음성 가이드 정보가 디스플레이되고, 음성 입력부(110)를 통해 전원끄기 음성 아이템(811)에 대응되는 명령어인 "전원끄기"가 입력되는 경우, 제어부(140)는 도 114에 도시된 바와 같이, 음성 가이드 정보를 변환한다. 이때, 제어부(140)는 음성 가이드 정보에서 아이콘(820)의 좌측 영역에 제1 채도를 가지는 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이한다. 예를 들어, 도 114에 도시된 바와 같이, 아이콘(820)의 좌측 영역에는 "전원을 off 하시겠습니까?"(11410)이 디스플레이될 수 있다.
그리고, 제어부(140)는 음성 가이드 정보에서 아이콘(820)의 우측 영역에 제2 채도를 가지는 음성 아이템을 디스플레이한다. 이때, 음성 아이템은 전원 종료의 수행 여부에 대한 명령어에 대응되는 음성 아이템일 수 있다. 예를 들어, 도 114에 도시된 바와 같이, 아이콘(820)의 우측 영역에는 "예, 아니오"(11420,11430)가 디스플레이될 수 있다.
이때, 제어부(140)는 아이콘(820)의 우측 영역의 채도를 아이콘(820)의 좌측 영역보다 진하게 표시할 수 있다.
도 115는 본 발명의 일 실시 예에 따른, 음성 가이드 정보를 디스플레이하는 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 가이드 정보를 디스플레이한다(S11510). 이때, 음성 가이드 정보는 현재 전자 장치(100)의 모드가 음성 태스크 모드임을 나타내는 아이콘 및 음성 태스크 모드를 안내하는 복수의 음성 아이템이 포함될 수 있다.
그리고, 음성 입력부(110)를 통해 복수의 음성 아이템 중 하나와 대응되는 사용자 음성이 입력되면, 전자 장치(100)는 제1 영역에 제1 채도를 가지는 가이드 문구를 디스플레이할 수 있고, 제2 영역에 제2 채도를 가지는 음성 아이템을 디스플레이할 수 있다. 이때, 제1 영역은 음성 가이드 정보에서 아이콘의 우측 영역이며, 제2 영역은 음성 가이드 정보에서 아이콘의 좌측 영역일 수 있다. 그리고, 제2 채도는 제1 채도보다 진할 수 있다.
상술한 바와 같이, 발화 가능한 음성 아이템을 다른 가이드 문구와 상이한 채도로 표시함으로써, 사용자가 발화해야 할 명령어가 어떤 것인지를 더욱 명확히 알 수 있게 된다.
제어부(140)는 음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이한다. 그리고, 음성 입력부(110)를 통해 입력된 사용자 음성에 복수의 음성 아이템에 대응되는 명령어 이외의 기설정된 단어가 포함되면, 제어부(140)는 기설정된 단어에 대응되는 음성 태스크를 수행할 수 있다.
이때, 기설정된 단어는 전자 장치(100)와 연동하는 리모컨에 포함된 단축 키에 대응되는 단어일 수 있다. 예를 들어, 기설정된 단어는 채널목록을 생성하기 위한 명령어, 메뉴 생성을 위한 명령어, 소셜 네트워크를 실행하기 위한 명령어, 편성 안내를 위한 명령어, 3D 입체 영상으로의 변환을 위한 명령어 및 방송 안내를 위한 명령어 중 하나를 포함할 수 있다.
또한, 기설정된 단어는 현재 전자 장치(100)가 수행하는 기능과 연관된 태스크를 제공하는 명령어에 대응되는 단어일 수 있다. 예를 들어, 현재 장치가 수행하는 기능이 동영상 재생 기능인 경우, 기설정된 단어는 동영상의 재생을 위한 명령어, 동영상의 일시정지를 위한 명령어, 동영상의 정지를 위한 명령어, 이전 파일 재생을 위한 명령어, 다음 파일 재생을 위한 명령어, 건너뛰기 위한 명령어 및 뒤로 건너뛰기를 위한 명령어 중 적어도 하나를 포함할 수 있다.
즉, 상술한 바와 같이, 음성 가이드 정보에 디스플레이되지 않더라도 전자 장치(100)의 필수 기능에 대응되는 명령어가 음성 데이터베이스(130m)에 기 저장됨으로써, 사용자는 전자 장치(100)의 필수 기능을 음성 인식을 통해 이용할 수 있게 된다.
이하에서는 도 116 및 도 117을 참조하여, 음성 가이드 정보에 표시된 음성 아이템 이외의 명령어가 발화되는 경우의 실시 예를 설명하도록 한다.
음성 입력부(110)를 통해 음성 개시 명령(예를 들어, "지니")이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다. 그리고, 음성 태스크 모드로 전환되는 경우, 제어부(140)는 도 116에 도시된 바와 같이 디스플레이 화면 하단에 음성 가이드 정보를 디스플레이할 수 있다.
이때, 음성 가이드 정보에는 현재 전자 장치(100)의 모드가 음성 태스크 모드임을 나타내는 아이콘(820)을 디스플레이할 수 있다. 그리고, 음성 가이드 정보에서 아이콘(820)의 좌측 영역에는 전원끄기 음성 아이템(811), 채널 음성 아이템(812), 소리끄기 음성 아이템(813) 및 외부입력 음성 아이템(814)이 디스플레이되고, 음성 가이드 정보에서 아이콘(820)의 우측 영역에는 스마트허브 음성 아이템(815), 앱스 음성 아이템(816), 검색 음성 아이템(817) 및 전체 음성 아이템(818)이 디스플레이될 수 있다.
음성 가이드 정보가 디스플레이되고, 음성 입력부(110)를 통해 음성 가이드 정보에 포함되어 있지 않은 명령어에 대응되는 "채널목록"이 입력되면, 제어부(140)는 도 117에 도시된 바와 같이, 디스플레이 화면의 일 측에 채널목록(11700)을 도시할 수 있다.
이때, 채널목록(11700)은 현재 선국되는 방송 채널을 중심으로 기설정된 번호 범위 내의 방송 채널을 포함한다. 예를 들어, 현재 선국된 방송 채널이 "9-1 KBS2"인 경우, 제어부(140)는 도 117에 도시된 바와 같이, 채널목록(11700)은 "6-1 SBS", "7-1 KBS 1", "9-1 KBS 2", "11-1 MBC" 및 "13-1 EBS를 포함할 수 있다.
그리고, 사용자는 채널목록(11700)에서 하나의 채널을 선택하여 채널을 변경할 수 있다. 따라서, 음성 가이드 정보에 채널목록에 대응되는 음성 아이템이 디스플레이되지 않더라도, 사용자는 음성 인식을 통해 채널목록을 디스플레이하는 태스크를 수행할 수 있다.
도 118은 본 발명의 일 실시 예에 따른, 음성 가이드 정보에 표시된 음성 아이템 이외의 명령어가 발화된 경우, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 가이드 정보를 디스플레이한다(S11810). 이때, 음성 가이드 정보는 현재 전자 장치(100)의 모드가 음성 태스크 모드임을 나타내는 아이콘 및 음성 태스크 모드를 안내하는 복수의 음성 아이템이 포함될 수 있다.
그리고, 전자 장치(100)는 음성 아이템에 대응되는 명령어 이외의 명령어를 입력받는다(S11820). 이때, 음성 아이템에 대응되는 명령어 이외의 명령어는 전자 장치(100)와 연동하는 리모컨에 포함된 단축 키에 대응되는 단어일 수 있다. 예를 들어, 기설정된 단어는 채널목록을 생성하기 위한 명령어, 메뉴 생성을 위한 명령어, 소셜 네트워크를 실행하기 위한 명령어, 편성 안내를 위한 명령어, 3D 입체 영상으로의 변환을 위한 명령어 및 방송 안내를 위한 명령어 중 하나를 포함할 수 있다.
또한, 음성 아이템에 대응되는 명령어 이외의 명령어는 현재 전자 장치(100)가 수행하는 기능과 연관된 태스크를 제공하는 명령어에 대응되는 단어일 수 있다. 예를 들어, 현재 장치가 수행하는 기능이 동영상 재생 기능인 경우, 기설정된 단어는 동영상의 재생을 위한 명령어, 동영상의 일시정지를 위한 명령어, 동영상의 정지를 위한 명령어, 이전 파일 재생을 위한 명령어, 다음 파일 재생을 위한 명령어, 건너뛰기 위한 명령어 및 뒤로 건너뛰기를 위한 명령어 중 적어도 하나를 포함할 수 있다.
그리고, 전자 장치(100)는 입력된 명령어를 음성 태스크를 수행한다(S11830). 예를 들어, 채널목록을 생성하기 위한 명령어가 입력된 경우, 전자 장치(100)는 채널목록을 생성하여 디스플레이한다.
상술한 바와 같이, 사용자는 음성 가이드 정보에 디스플레이되지 않은 명령어에 대응되는 태스크 역시 수행할 수 있다.
제어부(140)는 한 손(one hand)을 이용한 모션 태스크 모드뿐 아니라, 양손(two hand)을 이용한 양손 모션 태스크 모드를 수행할 수 있다.
구체적으로, 모션 입력부(120)를 통해 양손을 이용한 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환할 수 있다.
이때, 제어부(140)가 양손을 이용한 모션 개시 명령을 입력받는 것은 한 손을 이용한 모션 태스크 모드에서 다른 한 손을 이용한 모션 개시 명령을 입력받는 것일 수 있다. 구체적으로, 도 119에 도시된 바와 같이, 모션 입력부(120)를 통해 모션 개시 명령(한 손을 3~4회 흔드는 모션)이 입력된 경우, 제어부(140)는 모션 입력부(120)를 통해 입력되는 사용자 모션으로 제어되는 모션 태스크 모드로 전환된다. 그리고, 모션 태스크 모드에서 모션 입력부(120)를 통해 다른 한 손을 이용한 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환할 수 있다.
또 다른 실시 예에서, 양손을 이용한 모션 개시 명령은 양손을 동시에 복수 회(예를 들어, 3회 내지 4회) 흔드는 쉐이크 모션이 입력된 것일 수 있다. 구체적으로, 도 120에 도시된 바와 같이, 모션 입력부(120)를 통해 양손을 동시에 복수 회 흔드는 쉐이크 모션이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 양손을 이용하여 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환할 수 있다.
이때, 양손을 이용한 모션 태스크는 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
특히, 양손을 이용한 모션 태스크가 불가능한 어플리케이션을 실행하는 경우, 제어부(140)는 양손을 이용한 모션 태스크가 불가능하다는 메시지를 출력할 수 있다. 예를 들어, 양손을 이용한 모션 태스크가 불가능한 어플리케이션을 실행하는 경우, 제어부(140)는 양손을 이용한 모션 태스크가 불가능하다는 아이콘을 디스플레이할 수 있다.
도 121은 본 발명의 일 실시 예에 따른, 양손 모션 태스크 모드를 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 양손을 이용한 모션 개시 명령을 입력받는다(S12110). 예를 들어, 양손을 이용한 모션 개시 명령을 입력받는 것은 한 손을 이용한 모션 태스크 모드에서 다른 한 손을 이용한 모션 개시 명령이 입력된 것일 수 있다.
또 다른 예를 들면, 양손을 이용한 모션 개시 명령은 양손을 동시에 복수 회(예를 들어, 3~4회) 흔드는 쉐이크 모션이 입력된 것일 수 있다.
양손을 이용한 모션 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 양손을 이용하여 전자 장치(100)의 태스크를 수행하는 양손 모션 태스크 모드로 전환한다(S12120). 이때, 양손 모션 태스크 모드는 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
상술한 바와 같이, 사용자는 한 손뿐만 아니라 양손을 이용하여 모션 태스크를 수행할 수 있게 된다.
모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환한다. 이때, 모션 태스크 모드는 모션 개시 명령을 입력한 사용자가 모션 태스크 모드를 해제하기 전까지, 모션 개시 명령을 입력한 사용자의 모션에 의해서만 상기 모션 태스크가 수행될 수 있다. 또한, 모션 태스크 모드는 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지될 수 있다.
구체적으로, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 모션 인식 모듈(130l)을 이용하여, 모션 개시 명령을 입력한 사용자의 손을 추적한다. 이때, 제어부(140)는 사용자 손의 형태, 색깔 및 움직임 중 적어도 하나를 이용하여 사용자의 손을 추적한다.
그리고, 모션 입력부(120)를 통해 다른 사용자의 손으로 모션 개시 명령이 입력되더라도, 제어부(140)는 다른 사용자의 손에 의해 모션 태스크를 수행하지 않고, 최초로 모션 개시 명령을 입력한 사용자의 손을 추적하여 모션 태스크를 수행한다.
그리고, 모션 개시 명령을 입력한 사용자로부터 모션 태스크 모드를 해제하기 위한 명령이 입력되기 전까지 다른 사용자에 의한 모션 개시 명령이 입력되더라도, 제어부(140)는 최초로 모션 개시 명령을 입력한 사용자에 의해 모션 태스크를 수행한다.
또한, 모션 태스크 모드는 모션 개시 명령을 입력한 사용자의 손과 다른 사용자들의 손이 겹치더라도, 모션 개시 명령을 입력한 사용자의 손에 따라 상기 모션 태스크를 수행할 수 있다.
또한, 모션 태스크 모드가 한 손을 이용한 모션 개시 명령이 입력된 경우, 모션 개시 명령을 입력한 사용자 이외의 다른 사용자의 한 손을 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 양손을 이용하여 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환한다. 이때, 양손 모션 태스크 모드는 최초로 모션 개시 명령을 입력한 사용자의 한 손과 다른 사용자의 한 손을 이용하여 수행될 수 있다.
또한, 모션 입력부(120)를 통해 복수의 사용자에 의한 복수의 모션 개시 명령이 입력되면, 제어부(140)는 복수의 모션 개시 명령 중 최초로 입력된 모션 개시 명령을 판단한다. 그리고, 최초로 입력된 모션 개시 명령이 판단되면, 제어부(140)는 전자 장치(100)의 모드를 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환한다.
이때, 모션 태스크 모드는 최초로 모션 개시 명령을 입력한 사용자가 모션 태스크 모드를 해제하기 전까지, 최초로 모션 개시 명령을 입력한 사용자의 모션에 의해서만 모션 태스크가 수행될 수 있다. 그리고, 모션 태스크 모드는 최초로 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지될 수 있다.
도 122는 본 발명의 일 실시 예에 따른, 복수의 사용자를 통해 복수의 모션 개시 명령이 입력된 경우, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 모션 입력부(120)를 통해 복수의 사용자에 의한 복수의 모션 개시 명령을 입력받는다(S12210). 이때, 모션 개시 명령은 사용자의 손을 복수 회(예를 들어, 3회 내지 4회) 흔드는 쉐이크 모션일 수 있다.
그리고, 전자 장치(100)는 복수의 모션 개시 명령 중 최초로 모션 개시 명령을 판단한다(S12220). 구체적으로, 전자 장치(100)는 모션 개시 명령의 입력을 위해 사용한 사용자의 손의 형태, 색 및 움직임을 이용하여 최초로 입력된 모션 개시 명령을 판단할 수 있다.
그리고, 전자 장치(100)는 최초로 모션 개시 명령을 입력한 사용자의 모션을 이용하여 모션 태스크를 수행한다(S12230). 구체적으로, 전자 장치(100)가 최초로 모션 개시 명령을 판단하면, 전자 장치(100)는 전자 장치(100)의 모드를 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환한다. 그리고, 전자 장치(100)는 모션 태스크 모드에서 최초로 모션 개시 명령을 입력한 사용자 모션을 이용하여 모션 태스크를 수행한다.
이때, 모션 태스크 모드는 최초로 모션 개시 명령을 입력한 사용자가 모션 태스크 모드를 해제하기 전까지, 최초로 모션 개시 명령을 입력한 사용자의 모션에 의해서만 모션 태스크가 수행될 수 있다. 그리고, 모션 태스크 모드는 최초로 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지될 수 있다.
상술한 바와 같이, 최초로 입력한 모션 개시 명령에 따라 모션 태스크를 수행함으로써, 다른 사용자의 모션에 의한 오작동을 방지할 수 있게 한다.
제어부(140)는 음성 태스크를 단계별로 수행될 수 있다. 구체적으로, 음성 입력부(110)를 통해 사용자의 제1 음성이 입력되면, 제어부(140)는 사용자의 제1 음성에 응답하여 적어도 하나의 음성 태스크를 안내하는 제1 메뉴를 영상의 일 영역에 디스플레이할 수 있다. 그리고, 음성 입력부(110)를 통해 사용자의 제2 음성이 입력되면, 제어부(140)는 적어도 하나의 음성 태스크 중 사용자의 제2 음성에 대응되는 음성 태스크를 수행할 수 있다.
예를 들어, 음성 입력부(110)를 통해 채널 변경을 위한 명령어가 입력된 경우, 제어부(140)는 채널 변경을 안내하는 정보가 포함된 제1 메뉴를 디스플레이할 수 있다. 그리고, 음성 입력부(110)를 통해 채널 식별자(예를 들어, 채널 번호, 채널 명 및 프로그램 명 중 하나)에 대응되는 사용자 음성이 입력되면, 제어부(140)는 사용자 음성에 대응되는 채널로 변경할 수 있다.
음성 입력부(110)를 통해 프로그램 명에 대응되는 사용자 음성이 입력되면, 제어부(140)는 기 저장된 프로그램 가이드(EPG)에서 음성 입력부(110)를 통해 입력된 프로그램 명을 검색하고, 검색 결과에 따라, 입력된 프로그램 명이 방영될 채널로 변경되거나 시청예약을 수행할 수 있다.
이하에서는 도 123 내지 도 125를 참조하여, 음성 인식을 단계별로 수행하는 일 실시 예를 설명하기로 한다.
음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다. 그리고, 제어부(140)는 도 123에 도시된 바와 같은, 복수의 음성 아이템이 포함된 음성 가이드 정보를 디스플레이한다.
음성 가이드 정보를 디스플레이하고, 음성 입력부(110)를 통해 채널 음성 아이템(812)에 대응되는 사용자 음성(예를 들어, 채널)이 입력되면, 제어부(140)는 음성 가이드 정보를 변경하여, 음성 태스크의 수행을 안내하는 제1 메뉴를 디스플레이한다. 예를 들어, 도 124에 도시된 바와 같이, 제어부(140)는 채널 변경을 안내하기 위한, "채널명이나 채널번호를 말해주세요."(12410)를 디스플레이할 수 있다.
그리고, 음성 입력부(110)를 통해 채널 번호, 채널명 및 방송 프로그램명 중 하나에 대응되는 사용자 음성이 입력되면, 제어부(140)는 사용자 음성에 대응되는 채널로 전환한다. 예를 들어, 음성 입력부(110)를 통해 "7"이 입력되면, 제어부(140)는 도 125에 도시된 바와 같이, 채널 7번으로 선국하여, 채널 7번을 디스플레이할 수 있다.
따라서, 상술한 바와 같이, 음성 태스크를 단계별로 수행함으로써, 오작동을 방지할 수 있게 된다. 구체적으로, 채널 변경을 원하는 경우, "채널" 음성 아이템을 한 번 선택한 후, 채널을 변경함으로써, 사용자가 원하지 않는 채널로 변경하는 것을 방지할 수 있게 된다.
도 126은 본 발명의 일 실시 예에 따른, 음성 태스크를 단계별로 수행하는 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 영상을 디스플레이한다(S12610). 이때, 영상에는 음성 가이드 정보가 디스플레이될 수 있다.
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 제1 음성을 입력받는다(S12620). 이때, 제1 음성은 디스플레이된 음성 가이드 정보에 포함된 복수의 음성 아이템 중 하나에 대응되는 사용자 음성일 수 있다.
그리고, 전자 장치(100)는 입력된 제1 음성에 응답하여, 음성 태스크 수행을 안내하는 제1 메뉴를 디스플레이한다(S12630).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 제2 음성을 입력받는다.(S12640). 이때, 제2 음성은 특정 음성 태스크를 수행하기 위한 명령어이다.
그리고, 전자 장치(100)는 입력된 제2 음성에 응답하여, 제2 음성에 대응되는 음성 태스크를 수행한다(S12650). 예를 들어, 제2 음성이 채널명인 경우, 전자 장치(100)는 방송 채널을 제2 음성에 대응되는 채널로 변경한다.
따라서, 상술한 바와 같이, 음성 태스크를 단계별로 수행함으로써, 오작동을 방지할 수 있게 된다.
제어부(140)는 음성 입력부(110)를 통해 입력된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 적어도 하나의 단축 아이콘 및 각각에 대응되는 단축 아이콘의 이름을 디스플레이한다.
그리고, 음성 입력부(110)는 사용자 음성을 입력받는다. 그리고, 적어도 하나의 단축 아이콘 중 디스플레이된 단축 아이콘 이름이 단축 아이콘의 전체 이름 중 일부만 디스플레이된 제1 단축 아이콘이 존재하는 경우, 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘의 일부 이름과 일치하면, 제어부(140)는 제1 단축 아이콘을 실행한다.
이때, 입력된 사용자의 음성이 디스플레이된 제1 단축 아이콘에 대한 일부 이름을 구성하는 복수의 스펠링과 일치하면, 제어부(140)는 제1 단축 아이콘을 실행할 수 있다.
또한, 단축 아이콘 중 단축 아이콘 이름에 특수 문자가 포함된 제2 단축 아이콘이 존재하는 경우, 입력된 사용자의 음성이 상기 제2 단축 아이콘 이름에 포함된 특수 문자를 제외한 발화가능한 이름과 일치하면, 제어부(140)는 제2 단축 아이콘을 실행할 수 있다.
여기서, 특수 문자라 함은 사용자에 의해 발화 불가능한 기호일 수 있다. 예를 들어, 특수 문자는 물음표(?), 쉼표(,), 마침표(.) 일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 단축 아이콘의 이름이 "얼굴인식, 음성인식"이라는 어플리케이션이 있는 경우, 제어부(140)는 음성 입력부(110)를 통해 "얼굴인식 음성인식"이라는 사용자 음성이 입력되면, "얼굴인식, 음성인식" 어플리케이션을 실행한다.
한편, 상술한 실시 예에서는 제어부(140)가 단축 아이콘을 실행하는 것으로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 제어부(140)가 하이퍼링크를 실행하는 것 역시 본 발명의 기술적 사상이 적용될 수 있다.
이하에서는 도 127 및 128을 참조하여, 일부 이름이 디스플레이된 단축 아이콘 실행 방법의 일 실시 예에 대해 설명하기로 한다.
한편, 제어부(140)는 사용자의 특정 명령에 따라 어플리케이션을 실행하기 위한 복수의 단축 아이콘을 포함하는 컨텐츠 리스트(예를 들어, 스마트 허브)를 디스플레이한다. 이때, 컨텐츠 리스트에 포함된 복수의 단축 아이콘 중 단축 아이콘의 이름이 기설정된 글자 수를 초과하는 경우, 제어부(140)는 단축 아이콘의 전체 이름 중에서 일부 이름만을 디스플레이할 수 있다. 예를 들어, 컨텐츠 리스트에 포함된 복수의 단축 아이콘 중 단축 아이콘의 이름이 10글자를 넘는 경우, 제어부는(140)는 "Exciting Drum" 단축 어플리케이션 전체 이름을 디스플레이하지 않고, 도 127에 도시된 바와 같이, "Exciting"만을 디스플레이할 수 있다.
컨텐츠 리스트가 디스플레이되고, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다. 음성 태스크 모드로 전환되면, 전자 장치(100)는 도 127에 도시된 바와 같은 음성 가이드 정보를 디스플레이한다.
음성 가이드 정보가 디스플레이되고, 음성 입력부(110)를 통해 디스플레이된 일부 이름과 일치하는 "Exciting"이 발화된 경우, 제어부(140)는 도 128에 도시된 바와 같이, "Exciting Drum" 어플리케이션을 실행한다.
또한, 음성 가이드 정보가 디스플레이되고, 음성 입력부(110)를 통해 디스플레이된 일부 이름을 구성하는 복수의 스펠링인 "E","X","C","I","T","I","N","G"이 입력된 경우, 제어부(140)는 도 128에 도시된 바와 같이, "Exciting Drum" 어플리케이션을 실행할 수 있다.
도 129는 본 발명의 일 실시 예에 따른, 일부 이름만이 디스플레이된 단축 아이콘의 실행 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 대응하여 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S12910). 이때, 전자 장치(100)는 어플리케이션을 실행하기 위한 복수의 단축 아이콘을 포함하는 컨텐츠 리스트를 디스플레이한다.
특히, 전자 장치(100)는 컨텐츠 리스트에 일부 이름이 디스플레이된 단축 아이콘을 디스플레이한다(S12920). 이는 단축 아이콘의 이름이 기설정된 글자 수를 초과하여, 단축 아이콘의 전체 이름을 동시에 디스플레이할 수 없기 때문이다.
전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다(S12920).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 사용자 음성이 디스플레이된 일부 이름과 일치하는지 여부를 판단한다(S12940).
음성 입력부(110)를 통해 입력된 사용자 음성이 디스플레이된 일부 이름과 일치하는 단축 아이콘이 존재하는 경우(S12940-Y), 전자 장치(100)는 해당 단축 아이콘을 실행한다(S12950).
한편, 상술한 실시 예에서는 전자 장치(100)가 단축 아이콘을 실행시키는 것으로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 전자 장치(100)가 하이퍼링크를 실행시키는 것 역시 본 발명의 기술적 사상이 적용될 수 있다.
따라서, 상술한 바와 같이, 디스플레이된 일부 이름만을 발화함으로써, 해당 어플리케이션 또는 하이퍼링크를 실행시킬 수 있게 된다.
제어부(140)는 모션 태스크 모드에서, 모션 입력부(120)를 통해 사용자 제1 모션 및 사용자 제2 모션 중 하나가 입력되면, 사용자 제1 모션 및 사용자 제2 모션 중 인식된 하나에 대응하여, 어플리케이션 실행 화면을 확대하거나 축소하여 디스플레이할 수 있다. 이때, 어플리케이션 제공 화면은 화면 확대 또는 화면 축소가 가능할 수 있다.
구체적으로, 어플리케이션이 실행된 상태에서, 제어부(140)는 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다. 그리고, 제어부(140)는 모션 입력부(120)를 통해 사용자 제1 모션 및 사용자 제2 모션 중 하나가 입력되면, 사용자 제1 모션 및 사용자 제2 모션 중 입력된 하나를 인식하고, 인식된 모션에 대응하여, 어플리케이션 실행 화면을 확대하거나 축소할 수 있다.
이때, 사용자 제1 모션은 사용자의 두 손이 멀어지도록 이동되는 것이며, 사용자 제1 모션이 인식되면, 제어부(140)는 어플리케이션 실행 화면을 확대하여 디스플레이할 수 있다.
또한, 사용자 제2 모션은 사용자의 두 손이 가까워지도록 이동되는 것이며, 사용자 제2 모션이 인식되면, 제어부(140)는 어플리케이션 실행 화면을 축소하여 디스플레이할 수 있다.
또한, 제어부(140)는 모션 태스크 모드에서, 모션 입력부(120)를 통해 사용자 제3 모션이 입력되면, 입력된 사용자 제3 모션을 인식하여, 사용자 제3 모션에 대응되는 어플리케이션 실행 화면을 이동하여 디스플레이할 수 있다. 이때, 사용자 제3 모션은 그랩 모션이 유지된 채 이동되는 모션일 수 있다. 여기서, 어플리케이션 제공 화면은 전자 장치(100)의 디스플레이 화면 내에서 이동 가능한 것일 수 있다.
이하에서는 도 130 내지 도 133을 참조하여, 웹 페이지에서 특수 제스처가 입력되는 실시 예에 대해 설명하기로 한다.
웹 페이지가 디스플레이되고, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 도 130에 도시된 바와 같이, 웹 페이지의 하단에 모션 가이드 정보를 디스플레이할 수 있다. 또한, 모션 태스크 모드에 진입된 경우, 제어부(130)는 디스플레이 화면의 중앙에 포인터(13000)를 디스플레이한다.
모션 가이드 정보가 디스플레이되고, 모션 입력부(120)를 통해 두 손을 이용한 모션 개시 명령이 입력되면, 제어부(140)는 양손 모션 태스크 모드로 진입한다.
양손 모션 태스크 모드에서, 모션 입력부(120)를 통해 두 손이 멀어지는 모션이 입력되면, 제어부(140)는 도 131에 도시된 바와 같이, 웹 페이지 화면을 확대한다. 이때, 웹 페이지 화면이 확대될 때에는 포인터가 제거될 수 있다.
웹 페이지 화면이 확대되면, 제어부(120)는 도 132에 도시된 바와 같이, 포인터(13000)를 다시 디스플레이한다.
포인터(13000)가 디스플레이되고, 모션 입력부(120)를 통해 한 손을 이용하여 그랩 모션을 취한 상태에서 이동되는 모션이 입력되면, 제어부(140)는 그랩 모션을 취한 상태에서 이동되는 모션에 따라 디스플레이 화면을 이동할 수 있다.
예를 들어, 모션 입력부(120)를 통해 한 손을 이용하여 그랩 모션을 취한 상태에서 오른쪽 방향으로 이동되는 모션이 입력되면, 제어부(140)는 도 133에 도시된 바와 같이, 디스플레이 화면을 오른쪽 방향으로 이동할 수 있다.
상술한 바와 같은 사용자 모션을 통해 사용자는 전자 장치(100)의 디스플레이 화면을 이동하거나 확대/축소할 수 있게 된다.
도 134는 본 발명의 일 실시 예에 따른, 특수 제스처가 입력된 경우, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 모션 입력부(120)를 통해 모션 개시 명령을 입력받는다(S13410).
모션 개시 명령이 입력되면, 전자 장치(100)는 모션 개시 명령을 인식하고, 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다(S13420). 모션 태스크 모드로 전환되면, 전자 장치(100)는 모션 태스크 모드를 수행하기 위한 포인터 및 모션 가이드 정보를 디스플레이할 수 있다.
그리고, 전자 장치(100)는 사용자의 조작에 따라 어플리케이션을 실행한다(S13430).
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 특수 모션을 입력받는다(S13440). 이때, 특수 모션은 디스플레이 화면을 확대/축소하기 위한 두 손을 이용한 모션 또는 디스플레이 화면을 이동하기 위한 그랩 모션을 취한 상태에서 이동하는 모션일 수 있다.
특수 모션이 입력되면, 전자 장치(100)는 특수 모션에 대응되는 모션 태스크를 수행한다(S13450). 예를 들어, 두 손이 가까워지는 모션이 입력되면, 전자 장치(100)는 디스플레이 화면을 축소하는 태스크를 수행하고, 두 손이 멀어지는 모션이 입력되면, 전자 장치(100)는 디스플레이 화면을 확대하는 태스크를 수행하고, 그랩 모션을 취한 상태에서 이동되는 모션이 입력되면, 전자 장치(100)는 디스플레이 화면을 이동되는 방향에 따라 이동하여 디스플레이할 수 있다.
따라서, 상술한 바와 같은 모션을 통해, 사용자는 디스플레이 화면을 이동하거나 축소/확대할 수 있게 된다.
제어부(140)는 전자 장치(100)에 포함된 음성 입력부(110)를 통해 음성 개시 명령을 입력받을 수 있으며, 전자 장치(100)와 연동하는 장치로부터 음성 개시 명령을 입력받을 수 있다.
이때, 전자 장치(100)에 포함된 음성 입력부(110)를 통해 음성 개시 명령이 입력된 경우를 원거리 음성인식이라고 하며, 원거리 음성인식이 수행될 때에는 도 135에 도시된 바와 같이, 원거리 음성인식을 알리는 아이콘(13510)을 디스플레이할 수 있다.
구체적으로, 전자 장치(100)에 포함된 음성 입력부(110)로부터 음성 개시 명령이 입력되면, 제어부(100)는 전자 장치(100)의 모드를 제1 음성 태스크 모드로 전환한다. 이때, 제1 음성 태스크 모드는 전자 장치(100)에 포함된 음성 입력부(110)로부터 사용자 음성이 입력되면, 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드이다. 제1 음성 태스크 모드로 전환되면, 제어부(140)는 원거리 음성인식을 알리는 아이콘(13510)을 디스플레이할 수 있다.
원거리 음성인식을 알리는 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 전자 장치(100)에 포함된 음성 입력부(110)에 사용자 음성이 입력되지 않으면, 제어부(140)는 제1 음성 태스크 모드를 해제하여, 전자 장치(100)의 모드를 리모컨에 의해 제어되는 리모컨 모드로 전환할 수 있다.
또한, 전자 장치(100)와 연동하는 장치로부터 음성 개시 명령이 입력이 입력된 경우를 근거리 음성인식이라고 하며, 근거리 음성인식이 수행될 때에는 도 136에 도시된 바와 같이, 근거리 음성인식을 알리는 아이콘(13610)을 디스플레이할 수 있다. 이때, 전자 장치(100)와 연동하는 장치는 리모컨 및 휴대폰 일 수 있으나, 이에 한정되는 것은 아니다.
여기서, 전자 장치(100)와 연동하는 장치로부터 입력된 음성 개시 명령은 전자 장치(100)와 연동하는 장치에 구비된 특정 버튼(음성 태스크 모드 전환 버튼)에 대응되는 신호 및 전자 장치(100)와 연동하는 장치에 구비된 마이크를 통해 입력된 특정 사용자 음성 중 하나일 수 있다.
전자 장치(100)와 연동하는 장치로부터 입력된 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 제2 음성 태스크 모드로 전환할 수 있다. 이때, 제2 음성 태스크 모드는 전자 장치(100)와 연동하는 장치에 구비된 마이크를 통해 사용자 음성이 입력되면, 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드이다. 제2 음성 태스크 모드로 전환되면, 제어부(140)는 근거리 음성인식을 알리는 아이콘(13610)을 디스플레이할 수 있다.
근거리 음성인식을 알리는 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 전자 장치(100)와 연동하는 장치에 포함된 마이크에 사용자 음성이 입력되지 않으면, 제어부(140)는 제2 음성 태스크 모드를 해제하여, 전자 장치(100)의 모드를 리모컨에 의해 제어되는 리모컨 모드로 전환할 수 있다.
도 137은 본 발명의 일 실시 예에 따른, 음성 입력 방법에 따라 상이한 아이콘을 제공하는 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 전자 장치(100)에 구비된 마이크 및 리모컨에 구비된 마이크 중 하나로부터 음성 개시 명령을 입력받는다(S13710). 이때, 전자 장치(100)에 구비된 마이크로부터 음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 원거리 음성 태스크 모드로 전환한다. 그리고, 리모컨에 구비된 마이크로부터 음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 근거리 음성 태스크 모드로 전환한다.
그리고, 전자 장치(100)는 음성 개시 명령이 입력된 장치에 따라 아이콘을 상이하게 디스플레이한다(S13720). 구체적으로, 전자 장치(100)에 구비된 마이크로부터 음성 개시 명령이 입력되면, 전자 장치(100)는 원거리 음성 태스크 모드를 나타내는 아이콘을 디스플레이하고, 리모컨에 구비된 마이크로부터 음성 개시 명령이 입력되면, 전자 장치(100)는 근거리 음성 태스크 모드를 나타내는 아이콘을 디스플레이할 수 있다.
상술한 바와 같이, 음성 개시 명령이 입력되는 장치에 따라 음성 태스크 모드를 구분할 수 있고, 음성 태스크 모드에 따라 상이한 아이콘을 디스플레이함으로써, 사용자가 현재 어떠한 장치를 통해 음성 태스크 모드를 수행해야 하는지를 알 수 있게 된다.
제어부(140)는 더욱 정확한 음성 인식을 위하여, 음성 인식을 수행한 후, 인식된 음성 인식에 대응되는 텍스트를 수정하기 위한 텍스트 입력 수정 메뉴(예를 들어, IME(input Method Editor))를 디스플레이한다.
예를 들어, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 가이드 정보를 디스플레이한다.
그리고, 문자 입력이 요구되는 태스크를 수행하기 위한 제1 사용자 음성이 입력되면, 제어부(140)는 문자 입력을 위한 텍스트 입력창을 디스플레이한다. 이때, 문자 입력이 요구되는 태스크는 웹 페이지 검색일 수 있으나, 이에 한정되는 것은 아니다.
그리고, 텍스트 입력창에 텍스트를 입력하기 위한 제2 사용자 음성이 입력되면, 제어부(140)는 입력된 제2 사용자 음성에 대응되는 텍스트를 텍스트 입력창에 디스플레이하고, 문자 입력 메뉴를 디스플레이할 수 있다.
이때, 제어부(140)는 사용자 음성이 인식되는 동안 이전까지 디스플레이되었던 화면을 디스플레이하고, 텍스트 입력창에 텍스트를 입력하기 위한 제2 사용자 음성을 인식한 후, 텍스트 입력창에 텍스트를 디스플레이한다. 그리고, 제어부(140)는 문자 입력 메뉴를 디스플레이할 수 있다.
이때, 제어부(140)는 텍스트 입력창에 입력된 텍스트를 포함하는 후보군 검색어가 복수 존재할 경우, 문자 입력 메뉴에 후보군 검색어 리스트를 오버래핑하여 디스플레이할 수 있다.
또한, 텍스트 입력창의 텍스트 입력이 완료되거나 상기 텍스트 입력창의 텍스트 입력을 취소하는 경우, 제어부(140)는 디스플레이 화면에 문자 입력 메뉴를 제거할 수 있다.
이하에서는 도 138 내지 141을 참조하여, 문자 입력 메뉴를 디스플레이하는 실시 예에 대해 설명하기로 한다.
우선, 웹 페이지가 디스플레이된 상태에서 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 도 138에 도시된 바와 같이, 음성 가이드 정보를 디스플레이한다.
그리고, 음성 입력부(110)를 통해 "검색" 음성 아이템에 대응되는 사용자 음성(예를 들어, 검색)이 입력되면, 제어부(110)는 텍스트 입력창(13910)을 디스플레이한다.
그리고, 텍스트 입력창(13910)에 텍스트를 입력하기 위한 사용자 음성(예를 들어, "삼성전자")이 입력되면, 제어부(140)는 사용자 음성을 인식하여, 텍스트 입력창(13910)에 인식된 사용자 음성을 디스플레이한다. 즉, 제어부(140)는 도 139에 도시된 바와 같이, 텍스트 입력창(13910)에 "삼성전자"를 입력하여 디스플레이한다.
텍스트 입력창(13910)에 "삼성전자"가 입력되면, 제어부(140)는 도 140에 도시된 바와 같이, 문자 입력 메뉴(13920)를 텍스트 입력창 일 측에 디스플레이한다. 이때, 문자 입력 메뉴는 텍스트 입력창에 입력된 텍스트가 정확하지 않은 경우, 이를 수정하기 위한 메뉴이다.
여기서, 텍스트 입력창(13910)에 입력된 "삼성전자"를 포함하는 후보군 검색어가 복수 개 존재할 때, 제어부(140)는 후보군 검색어 리스트(13930)를 디스플레이한다. 예를 들어, "삼성전자"를 포함하는 후보군 검색어가 "삼성전자", "삼성전자 주가", "삼성전자 소식"이 포함된 경우, 제어부(140)는 도 141에 도시된 바와 같은 후보군 검색어 리스트(13930)를 디스플레이할 수 있다.
도 142는 본 발명의 일 실시 예에 따른, 문자 입력 메뉴(IME)를 표시하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성 개시 명령을 입력받는다(S14210). 이때, 전자 장치(100)는 복수의 단축 아이콘을 포함하는 컨텐츠 리스트 및 복수의 하이퍼링크를 포함하는 웹 페이지를 디스플레이할 수 있다.
음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 음성 태스크 모드로 전환하고, 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이한다(S14220).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 검색을 수행하기 위한 사용자 음성을 입력받는다(S14230).
그리고, 전자 장치(100)는 검색을 수행하기 위하여 텍스트 입력창을 디스플레이한다(S14240).
텍스트 입력창이 디스플레이되면, 전자 장치(100)는 음성 입력부(110)를 통해 텍스트 입력창에 텍스트를 입력하기 위한 사용자 음성을 입력받는다(S14250).
텍스트 입력을 위한 사용자 음성이 입력되면, 전자 장치(100)는 텍스트 입력창에 입력된 사용자 음성에 대응되는 텍스트를 입력한다(S14260).
텍스트 입력창에 텍스트가 입력되면, 전자 장치(100)는 문자 입력 메뉴를 디스플레이한다(S14270). 이때, 문자 입력 메뉴는 음성 인식이 부정확한 경우, 텍스트 입력창에 입력된 텍스트를 수정하기 위한 메뉴이다.
따라서, 음성 입력부(110)에 입력된 사용자 음성이 완벽하게 인식되지 못한 경우, 사용자는 문자 입력 메뉴를 이용하여, 부정확한 음성 인식을 보완할 수 있게 된다.
제어부(140)는 외부기기를 이용하여, 음성 인식을 수행할 수 있다.
구체적으로, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)와 연동하는 장치(예를 들어, 리모컨)를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이한다. 그리고, 전자 장치(100)와 연동하는 외부 장치에 포함된 제1 음성 입력 버튼이 선택되는 경우, 제어부(140)는 음성 가이드 정보에 음성 검색을 안내하는 제1 가이드 문구를 디스플레이한다. 예를 들어, "음성 검색 버튼을 누르고, 음성을 입력하십시오"라는 가이드 문구가 디스플레이될 수 있다.
그리고, 제어부(140)는 외부 장치에 포함된 제2 음성 입력 버튼이 선택되는 동안 음성 입력부(110)를 통해 입력된 사용자 음성을 인식한다. 이때, 음성 입력부(110)는 외부 장치의 마이크에 입력된 사용자 음성을 수신하여, 제어부(140)로 전달한다. 이때, 제어부(140)는 음성 가이드 정보에 음성 입력부(110)를 통해 사용자 음성이 입력되고 있다는 정보를 포함하는 제2 가이드 문구를 디스플레이할 수 있다. 예를 들어, "사용자 음성을 인식하고 있는 중입니다"라는 가이드 문구가 디스플레이될 수 있다.
그리고, 제어부(140)는 인식된 사용자 음성을 텍스트 입력창에 텍스트로 입력할 수 있다. 또한, 제어부(140)는 인식된 사용자 음성에 대응되는 음성 태스크를 수행할 수 있다.
또한, 제2 음성 입력 버튼의 선택이 해제되면, 제어부(140)는 음성 가이드 정보에 사용자 음성의 입력이 완료되었는지 여부를 확인하는 제3 가이드 문구를 디스플레이할 수 있다. 여기서, 제3 가이드 문구에는 사용자 음성의 입력을 계속할지 여부, 입력된 사용자 음성을 완료되었는지 여부 및 입력된 사용자 음성을 취소할지 여부를 묻는 메시지가 포함될 수 있다.
또한, 제3 가이드 문구가 디스플레이되는 동안 제2 음성 입력 버튼이 다시 선택되어 사용자 음성이 입력되면, 제어부(140)는 입력된 사용자 음성을 이전에 인식된 사용자 음성에 계속해서 인식할 수 있다. 예를 들어, 이전까지 인식된 사용자 음성이 "삼성"이고, 제2 음성 입력 버튼이 다시 선택되어 "전자"라는 사용자 음성이 입력되면, 제어부(140)는 텍스트 입력창에 "삼성전자"를 입력하게 된다.
이때, 제1 음성 입력 버튼은 음성 입력 버튼이며, 제2 음성 입력 버튼은 음성 검색 버튼으로 서로 다른 버튼일 수 있으나, 같은 버튼으로도 구현될 수 있다.
도 143는 본 발명의 일 실시 예에 따른, 외부기기를 이용한 음성 태스크 수행 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이한다(S14310).
그리고, 사용자에 의해, 외부기기는 음성 입력 버튼을 선택한다(S14320).
음성 입력 버튼이 선택되면, 전자 장치(100)는 제1 가이드 문구를 디스플레이한다(S14330). 이때, 제1 가이드 문구는 음성 가이드 정보에 음성 검색을 안내하는 UI이다.
그리고, 외부기기에 음성 검색 버튼이 선택되는 동안, 전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다(S14340). 이때, 음성 입력부(110)는 외부기기로부터 입력된 사용자 음성을 수신하는 통신부일 수 있다.
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 사용자 음성을 음성 인식 모듈(130k)을 이용하여 인식한다(S14350).
한편, 상술한 실시예에서 음성 입력 버튼과 음성 검색 버튼은 동일한 버튼으로도 구현될 수 있다.
상술한 바와 같이, 외부 기기의 음성 검색 버튼이 선택되는 동안 음성을 입력 받음으로써, 사용자가 원하지 않는 음성 인식을 방지할 수 있게 된다.
제어부(140)는 디스플레이 화면에 발화 가능한 명칭이 표시된 경우, 명칭을 추출하여 구별되게 표시한다. 그리고, 명칭이 음성 입력부(110)를 통해 입력된 경우, 제어부(140)는 명칭과 대응되는 음성 태스크를 수행한다.
구체적으로, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 입력된 음성 개시 명령에 대응하여, 전자 장치(100)의 모드를 음성 태스크를 수행하기 위한 음성 태스크 모드로 전환하고, 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이한다.
그리고, 음성 태스크 모드에서 제어부(140)는 디스플레이 화면에서 선택가능한 아이템들의 텍스트를 추출한다. 이때, 디스플레이 화면은 어플리케이션을 실행시키기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트 또는 웹 페이지가 디스플레이될 수 있다. 또한, 선택가능한 아이템들은 어플리케이션을 실행하기 위한 컨텐츠 리스트에 포함된 단축 아이콘 및 웹 페이지에 포함된 하이퍼링크 중 하나일 수 있다.
여기서, 아이템의 이름 텍스트가 기설정된 글자 수를 초과하는 경우, 제어부(140)는 아이템의 이름 텍스트 전체 중 기설정된 글자 수 이하의 텍스트만을 추출하여 디스플레이할 수 있다.
또한, 제어부(140)는 텍스트가 추출된 아이템을 텍스트가 추출되지 않은 다른 아이템과 구별되게 디스플레이할 수 있다.
그리고, 음성 입력부(110)를 통해 입력된 사용자 음성이 추출된 텍스트와 일치하는 경우, 제어부(140)는 텍스트에 대응되는 아이템을 실행한다.
여기서, 음성 입력부(110)를 통해 입력된 사용자 음성이 추출된 기설정된 글자 수 이하의 텍스트와 일치하는 경우, 제어부(140)는 기설정된 글자 수 이하의 텍스트에 대응되는 아이템을 실행할 수 있다.
이하에서는 도 144 및 도 145를 참조하여, 디스플레이 화면에 발화 가능한 명령어가 표시된 경우의 일 실시 예에 대해 설명하기로 한다.
제어부(140)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 응답하여, 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다. 이때, 제어부(140)는 디스플레이 화면 하단에 음성 가이드 정보를 디스플레이한다.
그리고, 음성 입력부(110)를 통해 "스마트허브"가 입력되면, 제어부(140)는 도 144에 도시된 바와 같이, 어플리케이션을 실행하기 위한 복수의 단축 아이콘을 포함하는 컨텐츠 리스트를 생성하여 디스플레이한다.
그리고, 제어부(140)는 복수의 단축 아이콘의 이름을 추출한다.
이때, 도 144에 도시된 바와 같이, 단축 아이콘의 이름이 추출된 경우, 제어부(140)는 단축 아이콘의 이름에 밑줄을 표시하고, 단축 아이콘의 이름(예를 들어, APP10, APP11)이 추출되지 않은 경우, 제어부(140)는 단축 아이콘의 이름에 밑줄을 표시하지 않는다.
그리고, 단축 아이콘의 이름이 기설정된 이름을 초과한 경우, 제어부(140)는 단축 아이콘의 이름의 일부를 추출하여 디스플레이한다. 예를 들어, 도 144에 도시된 바와 같이, 단축 아이콘의 이름이 Exciting Drum인 경우, 제어부(140)는 단축 아이콘의 일부 이름인 "Exciting"만이 추출되어 디스플레이될 수 있다. 이때, "Exciting"이 일부 이름임을 나타내기 위해, 제어부(140)는 "Exciting" 뒤에 "..."이라는 표시를 할 수 있다.
추출된 단축 아이콘의 이름이 디스플레이되고, 음성 입력부(110)를 통해 디스플레이된 단축 아이콘의 이름이 입력되면, 제어부(140)는 해당 단축 아이콘을 실행한다. 예를 들어, 음성 입력부(110)를 통해 "Exciting"이 입력되면, 제어부(140)는 도 145에 도시된 바와 같이, "Exciting Drum" 어플리케이션을 실행할 수 있게 된다.
도 146은 본 발명의 일 실시 예에 따른, 디스플레이 화면에 발화 가능한 명령어가 표시된 경우, 음성 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성 개시 명령을 입력받는다(S14610).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 응답하여, 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S14620).
그리고, 전자 장치(100)는 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이 화면 하단에 디스플레이한다(S14630).
그리고, 전자 장치(100)는 디스플레이 화면에 포함된 아이템의 텍스트를 추출한다(S14640). 이때, 아이템은 컨텐츠 리스트에 포함된 단축 아이콘의 이름 또는 웹 페이지에 포함된 하이퍼링크의 텍스트일 수 있다.
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다(S14650).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 사용자 음성과 일치하는 텍스트를 가지는 아이템이 있는 경우, 해당 아이템을 실행한다(S14660). 이때, 텍스트의 일부 이름만이 디스플레이된 경우, 제어부(140)는 텍스트의 일부 이름과 일치하는 사용자 음성이 입력된 경우에도 해당 아이템을 실행할 수 있다.
상술한 바와 같이, 텍스트 명칭을 추출하여 구별되게 표시함으로써, 사용자는 더욱 쉽게 음성인식을 이용할 수 있게 된다.
제어부(140)는 음성 입력부(110)를 통해 사용자 음성이 입력되는 도중 입력된 사용자 음성이 포함된 텍스트를 가지는 하이퍼링크가 하나만 존재하는 경우, 텍스트에 대응되는 하이퍼링크를 실행할 수 있다.
구체적으로, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령에 응답하여, 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다.
음성 태스크 모드에서, 제어부(140)는 복수의 하이퍼링크를 포함하는 웹 페이지에서 복수의 하이퍼링크의 텍스트를 추출한다.
텍스트를 추출한 후, 제어부(140)는 추출된 텍스트를 추출되지 못한 텍스트와 구별되게 표시할 수 있다. 예를 들어, 제어부(140)는 추출된 텍스트에 밑줄을 표시하거나, 굵게 표시하거나. 하이라이트하여 표시할 수 있다.
그리고, 음성 입력부(110)를 통해 사용자 음성이 입력되는 도중 입력된 사용자 음성이 포함된 텍스트를 가지는 하이퍼링크가 하나만 존재하는 경우, 제어부(140)는 텍스트에 대응되는 하이퍼링크를 실행할 수 있다. 예를 들어, 음성 입력부(110)를 통해 입력된 사용자 음성이 "삼성전자"이고, 하이퍼링크에서 추출된 텍스트가 "삼성전자"하나인 경우, 제어부(140)는 "삼성전자"의 텍스트를 가지는 하이퍼링크를 실행할 수 있다.
이때, 음성 입력부(110)를 통해 사용자 음성이 입력되는 도중 입력된 사용자 음성과 텍스트의 전체가 아닌 일부가 일치하는 하이퍼링크가 하나만 존재하는 경우, 제어부(140)는 텍스트에 대응되는 하이퍼링크를 실행할 수 있다.
한편, 상술한 실시 예에서는 웹페이지에 포함된 하이퍼링크를 실행하는 방법에 대해 설명하였으나, 이는 일 실시 예에 불과할 뿐, 컨텐츠 리스트에 포함된 어플리케이션을 실행하기 위한 단축 아이콘을 실시하는 방법에도 본 발명의 기술적 사상이 적용될 수 있다.
도 147은 본 발명의 일 실시 예에 따른, 자동 음성 인식 방법을 설명하기 위한 흐름도이다,
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성 개시 명령을 입력받는다(S14710).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 응답하여, 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S14720).
그리고, 전자 장치(100)의 디스플레이 화면에 하이퍼링크가 포함된 경우, 전자 장치(100)는 하이퍼링크의 텍스트를 추출한다(S14730).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다. 사용자 음성의 입력 도중 입력된 사용자 음성과 일치하는 텍스트를 포함하는 하이퍼링크가 하나인 경우, 전자 장치(100)는 해당 하이퍼링크를 실행한다(S14740). 이때, 사용자 음성과 일치하는 텍스트는 하이퍼링크의 전체 텍스트일 수 있으나, 이는 일 실시예에 불과할 뿐, 하이퍼링크의 일부 텍스트일 수도 있다.
상술한 바와 같이, 사용자 음성과 일치하는 텍스트가 하나밖에 없는 경우, 해당 하이퍼링크가 자동 실행됨으로써, 사용자는 음성 인식을 이용하여 더욱 쉽게 하이퍼링크를 실행시킬 수 있게 된다.
제어부(140)는 입력된 사용자 음성을 인식하여, 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 복수 개 존재하는 경우, 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크를 포함하는 후보군 리스트를 디스플레이한다.
구체적으로, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령에 응답하여, 음성 입력부(110)를 통해 전자 장치(100)의 모드를 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환한다.
이때, 디스플레이 화면에는 복수의 하이퍼링크를 포함하는 웹 페이지가 디스플레이된다.
제어부(140)는 웹 페이지에 포함된 복수의 하이퍼링크에 포함된 텍스트를 추출한다. 이때, 제어부(140)는 추출된 텍스트를 추출되지 않은 텍스트와 구별되게 표시할 수 있다. 예를 들어, 제어부(140)는 추출된 텍스트에 밑줄을 표시하거나, 굵게 표시하거나. 하이라이트하여 표시할 수 있다.
그리고, 음성 입력부(110)를 통해 사용자 음성이 입력되면, 제어부(140)는 입력된 사용자 음성을 인식하고, 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 복수 개 존재하는 경우, 인식된 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크를 포함하는 후보군 리스트를 디스플레이한다. 예를 들어, 음성 입력부(110)에 입력된 사용자 음성이 "삼성전자"인 경우, 제어부(140)는 텍스트에 "삼성전자"가 포함된 텍스트를 가지는 하이퍼링크가 포함된 후보군 리스트를 생성할 수 있다.
이때, 음성 입력부(110)를 통해 사용자 음성이 재입력되면, 제어부(140)는 재입력된 사용자 음성을 인식하고, 재입력된 사용자 음성을 반영하여 후보군 리스트를 변경할 수 있다. 예를 들어, "삼성전자"가 인식되고, "주식"가 재입력된 경우, 제어부(140)는 텍스트에 "삼성전자 주식"이 포함된 텍스트를 가지는 하이퍼링크만이 포함되도록 후보군 리스트를 변경할 수 있다.
그리고, 음성 태스크 모드가 해제되면, 제어부(140)는 후보군 리스트를 디스플레이 화면에서 제거할 수 있다.
도 148은 본 발명의 일 실시 예에 따른, 후보군 리스트를 디스플레이하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성 개시 명령을 입력받는다(S14810).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 응답하여, 음성 태스크 모드로 전환한다(S14820).
그리고, 전자 장치(100)는 사용자의 조작에 따라 디스플레이 화면에 웹 페이지를 디스플레이한다(S14830). 이때, 웹 페이지 화면에는 복수의 하이퍼링크가 포함된다.
그리고, 전자 장치(100)는 웹 페이지에 포함된 하이퍼링크의 텍스트를 추출한다(S14840).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다(S14850).
그리고, 전자 장치(100)는 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 한 개인지 여부를 판단한다(S14860).
사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 한 개인 경우(S14860-Y), 제어부(140)는 해당 하이퍼링크를 실행한다(S14870).
그러나, 사용자 음성과 일치하는 텍스트를 가지는 하이퍼링크가 복수 개인 경우(S14860-N), 제어부(140)는 복수 개의 하이퍼링크가 포함된 후보군 리스트를 생성하여 디스플레이한다(S14880). 그리고, 제어부(140)는 사용자의 조작에 따라 하이퍼링크를 선택(예를 들어, 하이퍼링크의 텍스트를 음성으로 입력)하고(S14890), 선택된 하이퍼링크를 실행한다(S14870).
상술한 바와 같이, 후보군 리스트를 생성함으로써, 사용자 음성과 일치하는 하이퍼링크가 복수 개라도, 사용자는 후보군 리스트를 통해 자신이 원하는 하이퍼링크를 실행시킬 수 있게 된다.
제어부(140)는 음성 입력부(110)를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작을 경우, 음성 가이드 정보의 제1 영역에 사용자 음성을 인식할 수 없다는 피드백 UI를 디스플레이할 수 있다.
구체적으로, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령에 응답하여, 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환할 수 있다.
음성 태스크 모드에서, 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이한다. 이때, 음성 가이드 정보는 디스플레이 화면의 하단에 디스플레이될 수 있다.
그리고, 음성 입력부(110)는 사용자 음성을 입력받는다.
음성 입력부(110)를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 제어부(140)는 음성 가이드 정보의 제1 영역에 사용자 음성을 인식할 수 없다는 피드백 UI를 디스플레이한다. 이때, 피드백 UI는 기설정된 크기 및 음성 입력부(110)를 통해 입력된 사용자 음성의 크기를 바 형태로 표현한 GUI를 포함할 수 있다. 여기서, 제1 영역은 음성 가이드 정보의 하단일 수 있다.
또한, 제어부(140)는 음성 가이드 정보에 기설정된 크기 이상의 사용자 음성이 입력되어야 한다는 메시지를 함께 디스플레이할 수 있다. 예를 들어, "더 크게 말해주세요."라는 메시지가 디스플레이될 수 있다.
도 149는 본 발명의 일 실시 예에 따른, 음성 인식 오류를 안내하기 위한 UI를 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성 개시 명령을 입력받는다(S14910).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성 개시 명령에 응답하여, 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다(S14920).
그리고, 전자 장치(100)는 음성 태스크 모드를 수행하기 위한 음성 가이드 정보를 디스플레이 화면 하단에 디스플레이한다(S14930).
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 사용자 음성을 입력받는다(S14940).
그리고, 음성 입력부(110)를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 전자 장치(100)는 피드백 UI를 디스플레이한다(S14950). 이때, 피드백 UI는 사용자의 음성이 기설정된 크기보다 작아 음성인식이 불가능하다는 메시지 및 더욱 크게 발화하라는 메시지가 포함된 UI일 수 있다.
상술한 바와 같이, 사용자의 목소리가 작아 음성 인식이 불가능한 경우, 전자 장치(100)가 이를 사용자에게 알려줌으로써, 사용자는 음성 인식이 불가능한 이유를 인지하여 이를 용이하게 해결할 수 있게 된다.
상술한 바와 같은 전자 장치(100)를 통해, 사용자는 사용자의 음성 또는 사용자의 모션 중 하나를 통해 전자 장치를 보다 효율적이고 직관적으로 제어할 수 있게 된다.
한편, 상술한 여러 실시 예들에서 음성 입력부(110)는 직접 사용자의 음성을 입력받는 마이크로 구현될 수도 있고, 또는, 마이크에서 입력된 음성 신호를 전달 받는 인터페이스로 구현될 수도 있다. 마찬가지로 모션 입력부(120)는 사용자를 직접 촬상하는 카메라로 구현될 수도 있고, 카메라에서 촬상한 데이터를 전달받는 인터페이스로 구현될 수도 있다.
한편, 상술한 전자 장치(100)는 TV로 구현될 수 있지만, 이에 한정되지 않고, 셋탑 박스, PC, 랩탑 컴퓨터, 태블릿 PC, 전자 액자, 전자 책, PDA, 휴대폰 등과 같은 다양한 장치로 구현될 수 있다.
한편, 상술한 도 3에서는 저장부(130) 내에 각종 소프트웨어 모듈들이 저장된 상태를 설명하였으나, 이들 소프트웨어 모듈들은 반드시 하나의 저장부(130)에 저장되어야 하는 것은 아니다.
즉, 실시 예에 따라, 음성 인식 모듈 및 모션 인식 모듈은 각각 별도의 저장 유닛에 저장될 수 있다. 이에 따라, 음성 인식 모듈은 마이크에서 입력된 음성 신호로부터 사용자 음성을 인식하여, 인식 결과를 제어부(140)로 제공하여 줄 수 있다. 또한, 모션 인식 모듈은 카메라에서 촬상한 영상 신호를 이용하여 사용자의 모션을 인식한 후 인식 결과를 제어부(140)로 제공하여 줄 수도 있다.
또는, 이러한 음성 인식 모듈 및 모션 인식 모듈은 각각 별개의 외부 장치에 저장되어 있을 수 있다. 예를 들어, 마이크를 구비한 음성 인식 장치에서 음성 인식 모듈을 이용하여 사용자의 음성을 인식한 후, 그 인식 결과를 전자 장치(100)로 전송하여 줄 수 있다. 마찬가지로 카메라를 구비한 모션 인식 장치에서 모션 인식 모듈을 이용하여 사용자의 모션을 인식하고, 그 인식 결과를 전자 장치(100)로 전송하여 줄 수도 있다.
또한, 이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 음성 입력부 120: 모션 입력
130: 저장부 140: 제어부
150: 방송 수신부 160: 외부단자 입력부
170: 리모컨 신호 수신부 180: 네트워크 인터페이스부
190: 영상 출력부 193: 디스플레이부
196: 오디오 출력부

Claims (121)

  1. 전자 장치의 제어 방법에 있어서,
    음성 인식 모듈 및 모션 인식 모듈 중 하나를 통해 사용자 음성 및 사용자 모션 중 하나를 인식하는 단계; 및
    상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 컨텐츠 식별자가 각각 부여된 복수의 컨텐츠 중 상기 인식된 사용자 음성에 대응되는 컨텐츠 식별자가 부여된 컨텐츠를 실행하고, 상기 모션 인식 모듈을 통해 사용자의 모션이 인식되면, 상기 사용자의 모션의 방향에 대응하여 상기 복수의 컨텐츠를 변경하는 단계를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 컨텐츠는 방송 컨텐츠인 것을 특징으로 하며,
    상기 변경하는 단계는,
    상기 음성 인식 모듈을 통해 사용자 음성이 인식되면, 방송 채널 식별자가 각각 부여된 복수의 방송 채널 중 상기 인식된 사용자 음성에 대응되는 방송 채널 식별자가 부여된 방송 채널로 변경되고, 상기 모션 인식 모듈을 통해 사용자의 모션이 인식되면, 상기 사용자의 모션의 방향에 대응하도록 상기 복수의 방송 채널을 단계적으로 변경하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 채널 식별자는 채널번호, 채널명 및 프로그램 명 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  4. 제2항에 있어서,
    상기 사용자 모션은 슬랩을 포함하며,
    상기 변경하는 단계는,
    상기 인식된 사용자 모션이 위쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 증가된 채널로 변경되도록 채널 재핑을 수행하고, 상기 인식된 사용자 모션이 아래쪽 방향의 슬랩 모션이면, 현재 출력되는 방송의 채널 번호보다 기 설정된 번호만큼 감소된 채널로 변경되도록 채널 재핑을 수행하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 컨텐츠는,
    영상 컨텐츠, 음악 컨텐츠 및 사진 컨텐츠 중 하나인 것을 특징으로 하는 제어 방법.
  6. 제5항에 있어서,
    상기 컨텐츠 식별자는,
    상기 컨텐츠의 이름인 것을 특징으로 하는 제어 방법.
  7. 제5항에 있어서,
    상기 사용자의 모션은 슬랩을 포함하며,
    상기 변경하는 단계는,
    상기 인식된 사용자 모션이 오른쪽 방향의 슬랩 모션이면, 재생되기 위한 복수의 컨텐츠를 포함하는 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 다음 순서에 출력되는 컨텐츠로 변경하고, 상기 인식된 사용자 모션이 왼쪽 방향의 슬랩 이면, 상기 컨텐츠 리스트에서 현재 출력되는 컨텐츠의 이전 순서에 출력되는 컨텐츠로 변경하는 것을 특징으로 하는 제어 방법.
  8. 전자 장치에 있어서,
    사용자 음성을 입력받는 음성 입력부;
    사용자 모션을 입력받는 모션 입력부; 및
    상기 사용자 음성 및 상기 사용자 모션 중 하나를 인식하고, 상기 사용자 음성이 인식되면, 컨텐츠 식별자가 각각 부여된 복수의 컨텐츠 중 상기 인식된 사용자 음성에 대응되는 컨텐츠 식별자가 부여된 컨텐츠를 실행하고, 상기 사용자의 모션이 인식되면, 상기 인식된 사용자 모션의 방향에 대응되도록 상기 복수의 컨텐츠를 변경하는 제어부를 포함하는 전자 장치.
  9. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치와 연동하는 휴대기기로부터, 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 입력받는 단계;
    상기 입력된 사용자 음성을 인식하는 단계;및
    상기 인식된 사용자 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 휴대기기는,
    리모콘, 휴대폰, PDA 및 노트북 중 하나인 것을 특징으로 하는 제어 방법.
  11. 제9항에 있어서,
    상기 휴대기기에 사용자 음성이 입력되는 경우, 상기 전자 장치에서는 사용자 음성을 입력받지 않는 것을 특징으로 하는 제어 방법.
  12. 전자 장치의 제어 방법에 있어서,
    외부의 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되면, 상기 휴대기기로부터 제어 신호를 수신하는 단계;
    상기 휴대기기로부터 수신된 제어 신호에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계를 포함하고,
    상기 제어 신호는,
    상기 휴대기기가 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 이용하여 생성된 것을 특징으로 하는 제어 방법.
  13. 전자 장치의 제어 방법에 있어서,
    외부의 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되면, 상기 휴대기기에 구비된 마이크에 입력된 사용자의 음성을 상기 휴대기기로부터 입력받는 단계;
    상기 휴대기기로부터 입력된 사용자의 음성을 인식하는 단계;
    상기 사용자의 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 단계를 포함하는 제어 방법.
  14. 제13항에 있어서,
    상기 휴대기기에 포함된 제1 버튼이 선택되면, 상기 제1 버튼에 대응되는 제1 신호를 수신하는 단계;
    상기 제1 신호에 응답하여 상기 전자 장치의 모드를 음성 태스크 모드로 전환하는 단계를 더 포함하는 제어 방법.
  15. 제14항에 있어서,
    상기 음성 태스크 모드는,
    상기 휴대기기에 포함된 마이크로부터 입력된 사용자의 음성에 따라 음성 태스크가 수행되는 모드인 것을 특징으로 하는 제어 방법.
  16. 제14항에 있어서,
    상기 음성 태스크 모드에서 상기 제1 버튼 및 제2 버튼 중 하나가 선택되면, 상기 음성 태스크 모드를 해제하는 단계를 더 포함하는 제어 방법.
  17. 제13항에 있어서,
    상기 입력받는 단계는,
    상기 휴대기기에 구비된 제2 버튼이 선택되는 동안, 상기 휴대기기에 구비된 마이크로부터 입력된 사용자의 음성을 상기 휴대기기로부터 입력받는 것을 특징으로 하는 제어 방법.
  18. 제17항에 있어서,
    상기 휴대기기에 구비된 제2 버튼이 선택되는 동안, 상기 사용자 음성이 입 력 가능함을 나타내는 UI를 디스플레이하는 단계를 더 포함하는 제어 방법.
  19. 제17항에 있어서,
    상기 휴대기기에 구비된 마이크는 상기 휴대기기가 전화 통화를 위해 이용되는 마이크인 것을 특징으로 하는 제어 방법.
  20. 제13항에 있어서,
    상기 휴대기기에 구비된 마이크를 통해 사용자 음성이 입력되는 경우, 상기 전자 장치에서는 사용자 음성을 입력받지 않는 것을 특징으로 하는 제어 방법.
  21. 제13항에 있어서,
    상기 전자 장치는 음성 인식 및 모션 인식이 가능한 것을 특징으로 하는 제어 방법.
  22. 전자 장치에 있어서,
    상기 전자 장치와 연동하는 휴대기기로부터 사용자 음성을 입력받는 음성 입력부; 및
    상기 음성 입력부를 통해 상기 휴대기기로부터 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성이 입력되면, 상기 입력된 사용자 음성을 인식하고, 상기D인식된 사용자 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부를 포함하는 전자 장치.
  23. 제22항에 있어서,
    상기 휴대기기는,
    리모콘, 휴대폰, PDA 및 노트북 중 하나인 것을 특징으로 하는 전자 장치.
  24. 전자 장치에 있어서,
    외부의 휴대기기와 통신을 수행하는 통신부;및
    상기 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되어, 상기 통신부를 통해 상기 휴대기기로부터 제어 신호가 수신되면, 상기 휴대기기로부터 수신된 제어 신호에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부를 포함하고,
    상기 제어 신호는,
    상기 휴대기기가 상기 휴대기기에 구비된 마이크에 입력된 사용자 음성을 이용하여 생성된 것을 특징으로 하는 전자 장치.
  25. 전자 장치에 있어서,
    상기 전자 장치와 연동하는 휴대기기로부터 사용자 음성을 입력받는 음성 입력부; 및
    상기 휴대기기에서 음성 인식을 위한 어플리케이션이 실행되고, 상기 휴대기기에 구비된 마이크로부터 입력된 사용자의 음성이 입력되면, 상기 휴대기기로부터 입력된 사용자의 음성을 인식하고, 상기 사용자의 음성에 따라 상기 전자 장치의 음성 태스크를 수행하는 제어부를 포함하는 전자 장치.
  26. 전자 장치의 제어 방법에 있어서,
    선택가능한 복수의 아이템이 포함된 리스트를 디스플레이하는 단계;
    모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 및
    상기 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하는 단계를 포함하는 제어 방법.
  27. 제26항에 있어서,
    상기 모션 개시 명령이 인식되면, 상기 디스플레이 화면 하단에 모션 태스크를 수행하기 위한 모션 가이드 정보를 디스플레이하는 단계;를 포함하는 제어 방법.
  28. 제26항에 있어서,
    상기 선택가능한 복수의 아이템이 포함된 리스트는,
    채널 리스트, 컨텐츠 리스트, EPG 및 웹 페이지 중 하나인 것을 특징으로 하는 제어 방법.
  29. 제28항에 있어서,
    상기 선택가능한 복수의 아이템이 포함된 리스트가 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트인 경우,
    상기 모션 입력부에 입력되는 사용자의 모션에 따라 상기 포인터가 제1 단축 아이콘에 위치하면, 상기 제1 단축 아이콘을 다른 단축 아이콘과 구별되게 표시하는 단계를 더 포함하는 제어 방법.
  30. 제29항에 있어서,
    상기 포인터가 제1 단축 아이콘에 위치하고, 상기 모션 입력부를 통해 사용자의 제1 모션이 입력되면, 상기 제1 단축 아이콘을 실행하는 단계;를 더 포함하는 제어 방법.
  31. 제29항에 있어서,
    상기 컨텐츠 리스트 화면의 종료 명령이 입력되면, 상기 컨텐츠 리스트 및 상기 포인터를 디스플레이 화면에서 제거하는 단계를 더 포함하는 제어 방법.
  32. 제28항에 있어서,
    상기 선택가능한 복수의 아이템이 포함된 리스트가 복수의 하이퍼링크가 포함된 웹 페이지인 경우,
    상기 모션 입력부에 입력되는 사용자의 모션에 따라 상기 포인터가 상기 웹 페이지에 존재하는 제1 하이퍼링크에 위치하면, 상기 제1 하이퍼링크를 다른 하이퍼링크와 구별되게 표시하는 단계를 더 포함하는 제어 방법.
  33. 제32항에 있어서,
    상기 포인터가 제1 하이퍼링크에 위치하고, 상기 모션 입력부를 통해 사용자의 제1 모션이 입력되면, 상기 제1 하이퍼링크를 실행하는 단계를 더 포함하는 제어 방법.
  34. 제26항에 있어서,
    상기 전자 장치는 모션 인식 및 음성 이식이 가능한 전자 장치인 것을 특징으로 하는 제어 방법.
  35. 제26항에 있어서,
    상기 모션 입력부는 카메라인 것을 특징으로 하는 제어 방법.
  36. 전자 장치에 있어서,
    모션 개시 명령을 입력받는 모션 입력부;
    어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트를 디스플레이하는 디스플레이부;및
    상기 모션 입력부를 통해 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 상기 컨텐츠 리스트가 디스플레이된 화면의 중앙에 포인터가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부를 포함하는 전자 장치.
  37. 전자 장치에 있어서,
    모션 개시 명령을 입력받는 모션 입력부;
    복수 개의 하이퍼링크를 포함하는 웹 페이지를 디스플레이하는 디스플레이부;및
    상기 모션 입력부를 통해 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 상기 웹 페이지가 디스플레이된 화면의 중앙에 포인터가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부를 포함하는 전자 장치.
  38. 전자 장치의 제어 방법에 있어서,
    선택가능한 복수의 아이템이 포함된 리스트를 디스플레이하는 단계;
    모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 및
    상기 모션 개시 명령이 인식되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하는 단계;
    상기 모션 입력부를 통해 제1 모션이 입력되면, 상기 제1 모션에 대응되는 방향으로 상기 포인터를 이동하고, 상기 모션 입력부를 통해 제2 모션이 입력되면, 상기 제2 모션에 대응되는 모션 태스크를 수행하는 단계를 포함하는 제어 방법,
  39. 제38항에 있어서,
    상기 선택가능한 복수의 아이템이 포함된 리스트는,
    채널 리스트, 컨텐츠 리스트, EPG 및 웹 페이지 중 하나인 것을 특징으로 하는 제어 방법.
  40. 제39항에 있어서,
    상기 선택가능한 복수의 아이템이 포함된 리스트가 어플리케이션을 실행하기 위한 복수의 단축 아이콘이 포함된 컨텐츠 리스트인 경우,
    상기 디스플레이하는 단계는,
    상기 포인터가 상기 컨텐츠 리스트의 제1 단축 아이콘에 위치하면, 상기 포인터가 위한 제1 단축 아이콘이 하이라이트 되도록 디스플레이하는 것을 특징으로 하는 단계를 더 포함하는 제어 방법.
  41. 제40항에 있어서,
    상기 제2 모션이 입력되면, 상기 하이라이트 되도록 디스플레이된 상기 제1 단축 아이콘의 하이라이트 표시를 제거하는 단계;를 더 포함하는 제어 방법.
  42. 제41항에 있어서,
    상기 제2 모션은,
    상기 전자 장치의 모션 모드를 수행하기 위한 모션이며, 상하좌우 방향의 슬랩 모션, 그랩 모션 및 반시계 방향의 회전 모션 중 하나인 것을 특징으로 하는 제어 방법.
  43. 제42항에 있어서,
    상기 제2 모션이 상하좌우 방향의 슬랩 모션인 경우,
    상기 전자 장치의 디스플레이 화면을 상기 상하좌우 방향의 슬랩 모션에 따라 이동하는 단계;및
    상기 화면 이동 후, 상기 포인터를 이동하기 전의 지점에 다시 디스플레이하는 단계를 포함하는 제어 방법.
  44. 제42항에 있어서,
    상기 제2 모션이 그랩 모션인 경우,
    상기 포인터가 위치하는 제1 단축 아이콘을 실행하는 단계;및
    상기 제1 단축 아이콘 실행 후, 상기 포인터를 이동하기 전의 지점에 다시 디스플레이하는 단계를 포함하는 제어 방법.
  45. 제42항에 있어서,
    상기 제2 모션이 그랩 모션을 취한 후 이동하는 모션인 경우,
    상기 그랩 모션을 취한 후 이동하는 모션에 대응되는 방향으로 상기 포인터가 위치하는 디스플레이 영역을 이동하는 단계; 및
    상기 디스플레이 영역을 이동한 후, 상기 포인터를 이동하기 전의 지점에 다시 디스플레이하는 단계를 포함하는 제어 방법.
  46. 제42항에 있어서,
    상기 제2 모션이 반시계 방향의 회전 모션인 경우,
    상기 디스플레이 화면에 현재 선국되는 채널의 방송 프로그램을 디스플레이하는 단계를 포함하는 제어 방법.
  47. 제38항에 있어서,
    상기 전자 장치는 모션 인식 및 음성 인식이 가능한 전자 장치인 것을 특징으로 하는 제어 방법.
  48. 제39항에 있어서,
    상기 모션 입력부는 카메라인 것을 특징으로 하는 제어 방법.
  49. 전자 장치에 있어서,
    모션 개시 명령 및 사용자의 모션을 입력받는 모션 입력부;
    선택가능한 복수의 아이템이 포함된 리스트를 디스플레이하는 디스플레이부;
    상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 포인터를 이용하여 제어되는 태스크를 수행하기 위한 포인팅 모드로 전환하고, 디스플레이된 화면의 중앙에 포인터를 디스플레이하며, 상기 모션 입력부를 통해 제1 모션이 입력되면, 상기 제1 모션에 대응되는 방향으로 상기 포인터를 이동하고, 상기 모션 입력부를 통해 제2 모션이 입력되면, 상기 제2 모션에 대응되는 모션 태스크를 수행하는 제어부를 포함하는 전자 장치.
  50. 전자 장치의 제어 방법에 있어서,
    선택가능한 복수의 아이템을 디스플레이하는 단계;
    음성 입력부 및 모션 입력부 중 하나를 통해 사용자의 음성 및 사용자의 모션 중 하나를 입력받는 단계;
    상기 사용자의 입력에 따라 상기 복수의 아이템 중 제1 아이템이 선택되면, 상기 제1 아이템을 다른 아이템과 구별되게 디스플레이하는 단계를 포함하고,
    상기 디스플레이하는 단계는,
    상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 제1 아이템의 이름 중 일부만을 디스플레이하고,
    상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 모션 태스크 모드인 경우, 상기 제1 아이템의 이름의 전체 이름을 디스플레이하는 것을 특징으로 하는 제어 방법.
  51. 제50항에 있어서,
    상기 선택가능한 아이템은,
    어플리케이션을 실행하기 위한 컨텐츠 리스트에 포함된 단축 아이콘 및 웹 페이지에 포함된 하이퍼링크 중 하나인 것을 특징으로 하는 제어 방법.
  52. 제50항에 있어서,
    상기 디스플레이하는 단계는,
    상기 제1 아이템 및 상기 제1 아이템의 이름을 상기 다른 아이템 및 상기 다른 아이템의 이름보다 진하게 디스플레이하는 것을 특징으로 하는 제어 방법.
  53. 제50항에 있어서,
    상기 전자 장치의 모드가 음성 태스크 모드인 경우, 음성 입력부를 통해 입력된 사용자의 음성이 상기 디스플레이된 제1 아이템의 이름 중 일부와 일치하면, 상기 제1 아이템을 실행하는 단계를 더 포함하는 제어 방법.
  54. 제53항에 있어서,
    상기 디스플레이된 제1 아이템의 일부 이름에 띄어쓰기가 없는 경우, 상기 음성 입력부를 통해 상기 디스플레이된 제1 아이템의 이름을 구성하는 복수의 스펠링과 대응되는 사용자 입력이 입력되면, 상기 제1 아이템을 실행하는 단계를 더 포함하는 제어 방법.
  55. 제50항에 있어서,
    상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 디스플레이된 아이템의 이름 중 음성 입력부를 통해 입력된 사용자의 음성과 일치하는 아이템이 복수 개인 경우, 후보군 리스트를 디스플레이하는 단계를 포함하는 제어 방법.
  56. 제55항에 있어서,
    상기 후보군 리스트는,
    상기 입력된 사용자 음성과 일치하는 복수 개의 아이템의 전체 이름을 표시하는 것을 특징으로 하는 제어 방법.
  57. 제50항에 있어서,
    상기 전자 장치는 모션 인식 및 음성 인식이 가능한 전자 장치인 것을 특징으로 하는 제어 방법.
  58. 전자 장치에 있어서,
    선택가능한 복수의 아이템이 포함된 화면을 디스플레이하는 디스플레이부;
    사용자의 음성을 입력받는 음성 입력부;
    사용자의 모션을 입력받는 모션 입력부;
    상기 음성 입력부 및 상기 모션 입력부 중 하나를 통해 사용자의 음성 및 사용자의 모션 중 하나가 입력되면, 상기 사용자의 입력에 따라 상기 복수의 아이템 중 제1 아이템을 선택하고, 상기 제1 아이템을 다른 아이템과 구별되게 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 음성 태스크 모드인 경우, 상기 제1 아이템의 이름 중 일부만을 디스플레이하고,
    상기 제1 아이템의 이름이 기설정된 글자 수를 초과하고, 상기 전자 장치의 모드가 모션 태스크 모드인 경우, 상기 제1 아이템의 이름의 전체 이름을 디스플레이하는 것을 특징으로 하는 전자 장치.
  59. 전자 장치의 제어 방법에 있어서,
    음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 단계;및
    음성 입력부를 통해 상기 복수의 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 음성 가이드 정보의 제1 영역에 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이하고, 상기 음성 가이드 정보의 제2 영역에 음성 아이템을 디스플레이하는 단계를 포함하며,
    상기 가이드 문구의 출력 속성과 상기 음성 아이템의 출력 속성은 상이한 것을 특징으로 하는 제어 방법.
  60. 제59항에 있어서,
    상기 출력 속성은,
    글자의 크기, 채도, 명도 및 색살 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  61. 제59항에 있어서,
    상기 음성 가이드 정보는 상기 전자 장치의 모드가 음성 태스크 모드임을 표시하는 아이콘을 포함하고,
    상기 아이콘은 상기 음성 가이드 정보의 중앙에 위치하는 것을 특징으로 하는 제어 방법.
  62. 제59에 있어서,
    상기 제1 영역은 상기 아이콘의 좌측 영역이며,
    상기 제2 영역은 상기 아이콘의 우측 영역인 것을 특징으로 하는 제어 방법.
  63. 제59항에 있어서,
    상기 사용자 음성이 채널 변경을 수행하기 위한 명령어인 경우,
    상기 제1 영역에는 채널 변경을 안내하는 가이드 문구가 디스플레이되고,
    상기 제2 영역에는 채널 변경을 위한 발화가능한 명령어의 예에 대응되는 음성 아이템 및 채널 변경 취소에 대응되는 음성 아이템이 디스플레이되는 것을 특징으로 하는 제어 방법.
  64. 제59항에 있어서,
    상기 사용자 음성이 전원 종료를 수행하기 위한 명령어인 경우,
    상기 제1 영역에는 전원 종료를 확인하는 가이드 문구가 디스플레이되고,
    상기 제2 영역에는 전원 종료의 수행 여부에 대한 명령어에 대응되는 음성 아이템이 디스플레이되는 것을 특징으로 하는 제어 방법.
  65. 제59항에 있어서,
    상기 음성 아이템은 상기 가이드 문구보다 진한 것을 특징으로 하는 제어 방법.
  66. 전자 장치에 있어서,
    사용자 음성을 입력받는 음성 입력부;
    음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 디스플레이부;및
    상기 음성 입력부를 통해 상기 복수의 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 음성 가이드 정보의 제1 영역에 음성 태스크를 수행하기 위한 가이드 문구를 디스플레이하고, 상기 음성 가이드 정보의 제2 영역에 음성 아이템을 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하며,
    상기 가이드 문구의 출력 속성과 상기 음성 아이템의 출력 속성은 상이한 것을 특징으로 하는 전자 장치.
  67. 전자 장치의 제어 방법에 있어서,
    음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 단계;및
    음성 아이템을 포함하는 명령어가 입력되면 상기 음성 아이템에 대응되는 음성 아이템을 수행하고, 상기 복수의 음성 아이템에 대응되는 명령어 이외의 단어가 포함된 명령어가 입력되면 상기 단어에 대응되는 음성 태스크를 수행하는 단계를 포함하며,
    상기 단어는 상기 전자 장치와 연동하는 리모컨에 포함된 단축 키에 대응되는 단어인 것을 특징으로 하는 제어 방법.
  68. 제67항에 있어서,
    상기 단어는,
    채널목록을 생성하기 위한 명령어, 메뉴 생성을 위한 명령어, 소셜 네트워크를 실행하기 위한 명령어, 편성 안내를 위한 명령어, 3D 입체 영상으로의 변환을 위한 명령어 및 방송 안내를 위한 명령어 중 하나를 포함하는 것을 특징으로 하는 제어 방법.
  69. 제67항에 있어서,
    상기 단어는,
    현재 전자 장치가 수행하는 기능과 연관된 태스크를 제공하는 명령어에 대응되는 단어를 포함하는 것을 특징으로 하는 제어 방법.
  70. 제69항에 있어서,
    상기 현재 장치가 수행하는 기능이 동영상 재생 기능인 경우,
    상기 기설정된 단어는,
    동영상의 재생을 위한 명령어, 동영상의 일시정지를 위한 명령어, 동영상의 정지를 위한 명령어, 이전 파일 재생을 위한 명령어, 다음 파일 재생을 위한 명령어, 건너뛰기 위한 명령어 및 뒤로 건너뛰기를 위한 명령어 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  71. 전자 장치에 있어서,
    사용자 음성을 입력받는 음성 입력부;
    음성 태스크를 안내하는 복수의 음성 아이템을 포함하는 음성 가이드 정보를 디스플레이하는 디스플레이부;및
    음성 아이템을 포함하는 명령어가 입력되면 상기 음성 아이템에 대응되는 음성 아이템을 수행하고, 상기 복수의 음성 아이템에 대응되는 명령어 이외의 단어가 포함된 명령어가 입력되면 상기 단어에 대응되는 음성 태스크를 수행하는 제어부를 포함하며,
    상기 단어는 상기 전자 장치와 연동하는 리모컨에 포함된 단축키에 대응되는 단어인 것을 특징으로 하는 전자 장치.
  72. 전자 장치의 제어 방법에 있어서,
    양손을 이용한 모션 개시 명령을 입력받는 단계;및
    상기 양손을 이용한 모션 개시 명령이 입력되면, 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환하는 단계;를 포함하는 제어 방법.
  73. 제72항에 있어서,
    상기 양손을 이용한 모션 개시 명령을 입력받는 단계는,
    한 손을 이용한 모션 개시 명령을 입력받는 단계;
    상기 한 손을 이용한 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하는 단계;및
    다른 한 손을 이용한 모션 개시 명령을 입력받는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  74. 제72항에 있어서,
    상기 양손을 이용한 모션 개시 명령은,
    상기 양손을 동시에 복수 회 흔드는 쉐이크 모션인 것을 특징으로 하는 제어 방법.
  75. 제72항에 있어서,
    상기 양손을 이용한 모션 태스크는,
    화면을 확대하거나 축소하는 태스크인 것을 특징으로 하는 제어 방법.
  76. 제72항에 있어서,
    상기 양손을 이용한 모션 태스크가 불가능한 어플리케이션을 실행하는 경우, 상기 양손을 이용한 모션 태스크가 불가능하다는 메시지를 출력하는 단계를 더 포함하는 것을 특징으로 하는 제어 방법.
  77. 전자 장치에 있어서,
    모션 개시 명령을 입력받는 모션 입력부;
    상기 모션 입력부를 통해 양손을 이용한 모션 개시 명령이 입력되면, 양손을 이용한 모션 태스크를 수행하는 양손 모션 태스크 모드로 전환하는 제어부를 포함하는 전자 장치.
  78. 전자 장치의 제어 방법에 있어서,
    모션 입력부를 통해 모션 개시 명령을 입력받는 단계;
    상기 모션 개시 명령이 입력되면, 상기 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계를 포함하고,
    상기 모션 태스크 모드는,
    상기 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 모션 개시 명령을 입력한 사용자의 모션에 의해서만 상기 모션 태스크가 수행되는 것을 특징으로 하는 제어 방법.
  79. 제78항에 있어서,
    상기 모션 태스크 모드는,
    상기 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지되는 것을 특징으로 하는 제어 방법.
  80. 제79항에 있어서,
    상기 모션 태스크 모드는,
    상기 모션 개시 명령을 입력한 사용자의 손과 상기 다른 사용자들의 손이 겹치더라도, 상기 모션 개시 명령을 입력한 사용자의 손에 따라 상기 모션 태스크를 수행하는 것을 특징으로 하는 제어 방법.
  81. 제79항에 있어서,
    상기 모션 태스크 모드가 한 손을 이용한 모션 개시 명령이 입력된 경우, 상기 모션 개시 명령을 입력한 사용자 이외의 다른 사용자의 한 손을 통해 모션 개시 명령이 입력되면, 양손 모션 태스크 모드로 전환하는 단계를 포함하는 제어 방법
  82. 제78항에 있어서,
    상기 모션 개시 명령은,
    사용자의 손을 복수 회 흔드는 회전 모션인 것을 특징으로 하는 제어 방법.
  83. 전자 장치의 제어 방법에 있어서,
    모션 입력부를 통해 복수의 사용자에 의한 복수의 모션 개시 명령이 입력되면, 상기 복수의 모션 개시 명령 중 최초로 입력된 모션 개시 명령을 판단하는 단계;
    상기 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계를 포함하는 제어 방법.
  84. 제83항에 있어서,
    상기 모션 태스크 모드는,
    상기 최초로 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 최초로 모션 개시 명령을 입력한 사용자의 모션에 의해서만 모션 태스크가 수행되는 것을 특징으로 하는 제어 방법.
  85. 제83항에 있어서,
    상기 모션 태스크 모드는,
    상기 최초로 모션 개시 명령을 입력한 사용자를 제외한 다른 사용자들로부터 모션 개시 명령이 입력되더라도 유지되는 것을 특징으로 하는 제어 방법.
  86. 전자 장치에 있어서,
    모션 개시 명령을 입력받는 모션 입력부;
    상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 상기 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 단계를 포함하고,
    상기 모션 태스크 모드는,
    상기 모션 개시 명령을 입력한 사용자가 상기 모션 태스크 모드를 해제하기 전까지, 상기 모션 개시 명령을 입력한 사용자의 모션에 의해서만 상기 모션 태스크가 수행되는 것을 특징으로 하는 전자 장치.
  87. 전자 장치에 있어서,
    모션 개시 명령을 입력받는 모션 입력부;
    상기 모션 입력부를 통해 복수의 사용자에 의한 복수의 모션 개시 명령이 입력되면, 상기 복수의 모션 개시 명령 중 최초로 입력된 모션 개시 명령을 판단하여, 상기 최초로 입력된 모션 개시 명령을 입력한 사용자의 모션에 따라 모션 태스크를 수행하는 모션 태스크 모드로 전환하는 제어부를 포함하는 전자 장치.
  88. 전자 장치의 제어 방법에 있어서,
    인식된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 적어도 하나의 단축 아이콘 및 각각에 대응되는 단축 아이콘의 이름을 디스플레이하는 단계;
    사용자의 음성을 입력받는 단계;
    상기 적어도 하나의 단축 아이콘 중 상기 디스플레이된 단축 아이콘 이름이 단축 아이콘의 전체 이름 중 일부만 디스플레이된 제1 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘의 일부 이름과 일치하면, 상기 제1 단축 아이콘을 실행하는 단계를 포함하는 제어 방법.
  89. 제88항에 있어서,
    상기 실행하는 단계는
    상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘에 대한 일부 이름을 구성하는 복수의 스펠링과 일치하면, 상기 제1 단축 아이콘을 실행하는 것을 특징으로 하는 제어 방법.
  90. 제88항에 있어서,
    상기 실행하는 단계는,
    상기 단축 아이콘 중 상기 단축 아이콘 이름에 특수 문자가 포함된 제2 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 제2 단축 아이콘 이름에 포함된 특수 문자를 제외한 발화가능한 이름과 일치하면, 상기 제2 단축 아이콘을 실행하는 것을 특징으로 하는 제어 방법.
  91. 제90항에 있어서,
    상기 특수 문자는,
    사용자에 의해 발화 불가능한 기호인 것을 특징으로 하는 제어 방법.
  92. 전자 장치에 있어서,
    사용자의 음성을 입력받는 음성 입력부;
    상기 음성 입력부를 통해 입력된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 단축 아이콘 및 단축 아이콘의 이름을 디스플레이하는 디스플레이부;
    상기 단축 아이콘 중 상기 디스플레이된 단축 아이콘 이름이 단축 아이콘의 전체 이름 중 일부만 디스플레이된 제1 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 디스플레이된 제1 단축 아이콘의 일부 이름과 일치하면, 상기 제1 단축 아이콘을 실행하는 제어부를 포함하는 전자 장치.
  93. 전자 장치에 있어서,
    사용자의 음성을 입력받는 음성 입력부;
    상기 음성 입력부를 통해 입력된 사용자의 음성에 따라 음성 태스크를 수행하는 음성 태스크 모드에서, 단축 아이콘 및 단축 아이콘의 이름을 디스플레이하는 디스플레이부;
    상기 단축 아이콘 중 상기 단축 아이콘 이름에 특수 문자가 포함된 제2 단축 아이콘이 존재하는 경우, 상기 입력된 사용자의 음성이 상기 제2 단축 아이콘 이름에 포함된 특수 문자를 제외한 발화가능한 이름과 일치하면, 상기 제2 단축 아이콘을 실행하는 제어부를 포함하는 전자 장치.
  94. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치에 포함된 음성 입력부 및 상기 전자 장치와 연동하는 장치 중 하나로부터 음성 개시 명령을 입력받는 단계;
    상기 전자 장치에 포함된 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 아이콘을 디스플레이하고, 상기 전자 장치와 연동하는 장치로부터 상기 음성 개시 명령이 입력되면, 상기 제1 아이콘과 상이한 제2 아이콘을 디스플레이하는 단계를 포함하는 제어 방법.
  95. 제94항에 있어서,
    상기 전자 장치에 포함된 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 음성 태스크 모드로 전환되는 것을 특징으로 하며,
    상기 제1 음성 태스크 모드는,
    상기 전자 장치에 포함된 음성 입력부로부터 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드인 것을 특징으로 하는 제어 방법.
  96. 제95항에 있어서,
    상기 제1 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 상기 전자 장치에 포함된 음성 입력부에 사용자 음성이 입력되지 않으면, 상기 제1 음성 태스크 모드를 해제하여, 리모컨에 의해 제어되는 리모컨 모드로 전환하는 단계를 포함하는 제어 방법.
  97. 제94항에 있어서,
    상기 전자 장치와 연동하는 장치로부터 입력된 음성 개시 명령이 입력되면, 제2 음성 태스크 모드로 전환되는 것을 특징으로 하며,
    상기 제2 음성 태스크 모드는,
    상기 전자 장치와 연동하는 장치에 구비된 음성 입력부를 통해 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 따라 음성 태스크를 수행하는 모드인 것을 특징으로 하는 제어 방법.
  98. 제97항에 있어서,
    상기 전자 장치와 연동하는 장치로부터 입력된 음성 개시 명령은,
    상기 전자 장치와 연동하는 장치에 구비된 특정 버튼에 대응되는 신호 및 상기 전자 장치와 연동하는 장치에 구비된 음성 입력부를 통해 입력된 특정 사용자 음성 중 하나인 것을 특징으로 하는 제어 방법.
  99. 제98항에 있어서,
    상기 제2 아이콘을 디스플레이하는 경우, 기 설정된 시간 동안 상기 전자 장치와 연동하는 장치에 포함된 음성 입력부에 사용자 음성이 입력되지 않으면, 상기 제2 음성 태스크 모드를 해제하여, 리모컨에 의해 제어되는 리모컨 모드로 전환하는 단계를 포함하는 제어 방법.
  100. 전자 장치에 있어서,
    음성 개시 명령을 입력받는 음성 입력부;
    전자 장치와 연동하는 장치와 통신을 수행하는 통신부;
    디스플레이부;및
    상기 음성 입력부로부터 상기 음성 개시 명령이 입력되면, 제1 아이콘을 디스플레이하고, 상기 전자 장치와 연동하는 장치로부터 상기 음성 개시 명령이 입력되면, 상기 제1 아이콘과 상이한 제2 아이콘을 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 전자 장치.
  101. 전자 장치의 제어 방법에 있어서,
    음성 인식 모듈을 통해 음성 개시 명령을 인식하는 단계;
    상기 음성 개시 명령이 인식되면, 상기 음성 인식 모듈을 통해 인식된 사용자 음성에 의해 제어되는 음성 태스크를 수행하기 위한 음성 가이드 정보를 디스플레이하는 단계;
    문자 입력이 요구되는 태스크를 수행하기 위한 제1 사용자 음성이 인식되면, 텍스트 입력창을 디스플레이하는 단계;
    상기 텍스트 입력창에 텍스트를 입력하기 위한 제2 사용자 음성이 인식되면, 상기 인식된 제2 사용자 음성에 대응되는 텍스트를 상기 텍스트 입력창에 디스플레이하고, 상기 텍스트 입력창에 입력된 텍스트를 수정하기 위한 텍스트 입력 수정 메뉴를 디스플레이하는 단계를 포함하는 제어 방법.
  102. 제101항에 있어서,
    상기 텍스트 입력 수정 메뉴는,
    입력 자판(IME, input Method Editor)인 것을 특징으로 하는 제어 방법.
  103. 제101항에 있어서,
    상기 문자 입력이 요구되는 태스크는,
    검색을 수행하기 위한 태스크인 것을 특징으로 하는 것을 특징으로 하는 제어 방법.
  104. 제102항에 있어서,
    성기 문자 입력 메뉴를 디스플레이하는 단계는,
    상기 사용자 음성이 인식되는 동안 이전까지 디스플레이되었던 화면을 디스플레이하고, 상기 텍스트 입력창에 입력하기 위한 사용자 음성이 인식된 후, 상기 텍스트 입력 수정 메뉴를 디스플레이하는 것을 특징으로 하는 제어 방법.
  105. 제102항에 있어서,
    상기 텍스트 입력창에 입력된 텍스트를 포함하는 후보군 검색어가 복수 존재할 경우, 상기 텍스트 입력 수정 메뉴에 후보군 검색어 리스트를 오버래핑하여 디스플레이하는 단계를 더 포함하는 제어 방법.
  106. 제102항에 있어서,
    상기 텍스트 입력창의 텍스트 입력이 완료되거나 상기 텍스트 입력창의 텍스트 입력을 취소하는 경우, 디스플레이 화면에 상기 텍스트 입력 수정 메뉴를 제거하는 단계를 더 포함하는 제어 방법.
  107. 전자 장치에 있어서,
    음성 개시 명령을 입력받는 음성 입력부;
    디스플레이부;
    상기 음성 입력부를 통해 문자 입력이 요구되는 태스크를 수행하기 위한 제1 사용자 음성이 입력되면, 텍스트 입력창을 디스플레이하며, 상기 음성 입력부를 통해 상기 텍스트 입력창에 텍스트를 입력하기 위한 제2 사용자 음성이 입력되면, 상기 인식된 제2 사용자 음성에 대응되는 텍스트를 상기 텍스트 입력창에 디스플레이하고, 상기 텍스트 입력창에 입력된 텍스트를 수정하기 위한 텍스트 입력 수정 메뉴를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 전자 장치.
  108. 전자 장치의 제어 방법에 있어서,
    음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 단계;
    상기 전자 장치와 연동하는 외부 장치에 포함된 제1 음성 입력 버튼이 선택되는 경우, 상기 음성 가이드 정보에 음성 검색을 안내하는 제1 가이드 문구가 디스플레이하는 단계; 및
    상기 외부 장치에 포함된 제2 음성 입력 버튼이 선택되는 동안 상기 음성 입력부를 통해 입력된 사용자 음성을 인식하는 단계를 포함하는 제어 방법.
  109. 제108항에 있어서,
    상기 인식하는 단계는,
    상기 음성 가이드 정보에 상기 음성 입력부를 통해 사용자 음성이 입력되고 있다는 정보를 포함하는 제2 가이드 문구를 디스플레이하는 단계를 포함하는 제어 방법.
  110. 제108항에 있어서,
    상기 음성 검색 버튼의 선택이 해제되면, 상기 음성 가이드 정보에 사용자 음성의 입력이 완료되었는지 여부를 확인하는 제3 가이드 문구를 디스플레이하는 단계를 포함하는 제어 방법.
  111. 제110항에 있어서,
    상기 제3 가이드 문구는,
    상기 사용자 음성의 입력을 계속할지 여부, 상기 입력된 사용자 음성을 완료되었는지 여부 및 상기 입력된 사용자 음성을 취소할지 여부를 묻는 메시지가 포함된 것을 특징으로 하는 제어 방법.
  112. 제111항에 있어서,
    상기 제3 가이드 문구가 디스플레이되는 동안 상기 제2 음성 입력 버튼이 다시 선택되어 사용자 음성이 입력되면, 상기 입력된 사용자 음성을 이전에 인식된 사용자 음성에 계속해서 인식하는 단계를 포함하는 제어 방법.
  113. 제108항에 있어서,
    상기 인식된 사용자 음성에 대응되는 텍스트를 텍스트 입력창에 디스플레이하는 단계를 포함하는 제어 방법.
  114. 제108항에 있어서,
    상기 제1 음성 입력 버튼 및 상기 제2 음성 입력 버튼은 동일한 버튼인 것을 특징으로 하는 제어 방법.
  115. 전자 장치에 있어서,
    사용자의 음성을 입력받는 음성 입력부;
    상기 전자 장치와 연동하는 외부 장치로부터 신호를 수신하는 통신부;
    디스플레이부;
    상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 동안, 상기 외부 장치에 포함된 제1 음성 입력 버튼이 선택되는 경우, 상기 음성 가이드 정보에 음성 검색을 안내하는 제1 가이드 문구가 디스플레이하고, 상기 외부 장치에 포함된 제2 음성 입력 버튼이 선택되는 동안 상기 음성 입력부를 통해 입력된 사용자 음성을 인식하는 제어부를 포함하는 전자 장치.
  116. 전자 장치의 제어 방법에 있어서,
    음성 입력부를 통해 음성 개시 명령을 입력받는 단계;
    상기 음성 개시 명령에 응답하여, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하는 단계;
    상기 음성 태스크 모드에서, 상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 단계;
    상기 음성 입력부를 통해 사용자 음성을 입력하는 단계;
    상기 음성 입력부를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 상기 음성 가이드 정보의 제1 영역에 상기 사용자 음성을 인식할 수 없다는 피드백 UI를 디스플레이하는 단계를 포함하는 제어 방법.
  117. 제116항에 있어서,
    상기 피드백 UI는,
    상기 기설정된 크기 및 상기 음성 입력부를 통해 입력된 사용자 음성의 크기를 바 형태로 표현한 GUI인 것을 특징으로 하는 제어 방법.
  118. 제116항에 있어서,
    상기 디스플레이하는 단계는,
    상기 기설정된 크기 이상의 사용자 음성이 입력되어야 한다는 메시지를 함께 디스플레이하는 것을 특징으로 하는 제어 방법.
  119. 제116항에 있어서,
    상기 제1 영역은 상기 음성 가이드 정보의 하단 영역인 것을 특징으로 하는 제어 방법.
  120. 제116항에 있어서,
    상기 전자 장치는 음성 인식 및 모션 인식이 가능한 전자 장치인 것을 특징으로 하는 제어 방법.
  121. 전자 장치에 있어서,
    음성 개시 명령 및 사용자의 음성을 입력받는 음성 입력부;
    상기 음성 입력부를 통해 입력된 사용자 음성에 의해 수행되는 음성 태스크를 안내하는 음성 가이드 정보를 디스플레이하는 디스플레이부;
    상기 음성 개시 명령이 입력되면, 상기 음성 입력부를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드에서, 상기 음성 입력부를 통해 사용자 음성이 입력되고, 상기 음성 입력부를 통해 입력된 사용자 음성의 크기가 기설정된 크기보다 작은 경우, 상기 음성 가이드 정보의 제1 영역에 상기 사용자 음성을 인식할 수 없다는 피드백 UI가 디스플레이되도록 상기 디스플레이부를 제어하는 제어부를 포함하는 전자 장치.
KR1020110115249A 2011-08-05 2011-11-07 전자 장치 및 그의 제어 방법 KR20130018464A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US13/567,427 US20130033644A1 (en) 2011-08-05 2012-08-06 Electronic apparatus and method for controlling thereof
JP2014539880A JP2014532933A (ja) 2011-11-07 2012-11-05 電子装置及びその制御方法
AU2012336602A AU2012336602A1 (en) 2011-11-07 2012-11-05 Electronic apparatus and method for controlling thereof
MX2014001447A MX2014001447A (es) 2011-11-07 2012-11-05 Aparato electronico y metodo para control del mismo.
PCT/KR2012/009240 WO2013069936A1 (en) 2011-11-07 2012-11-05 Electronic apparatus and method for controlling thereof
EP12191394.1A EP2590424A3 (en) 2011-11-07 2012-11-06 Electronic apparatus and method for controlling thereof
CN2012104422075A CN103092337A (zh) 2011-11-07 2012-11-07 电子装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161515459P 2011-08-05 2011-08-05
US61/515,459 2011-08-05

Publications (1)

Publication Number Publication Date
KR20130018464A true KR20130018464A (ko) 2013-02-25

Family

ID=47895696

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110104840A KR101262700B1 (ko) 2011-08-05 2011-10-13 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110114197A KR20130016024A (ko) 2011-08-05 2011-11-03 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR1020110114198A KR20130016025A (ko) 2011-08-05 2011-11-03 음성 인식 및 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110115249A KR20130018464A (ko) 2011-08-05 2011-11-07 전자 장치 및 그의 제어 방법
KR1020110117849A KR20130016026A (ko) 2011-08-05 2011-11-11 모션 인식을 이용한 전자 장치 및 이의 제어 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020110104840A KR101262700B1 (ko) 2011-08-05 2011-10-13 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110114197A KR20130016024A (ko) 2011-08-05 2011-11-03 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR1020110114198A KR20130016025A (ko) 2011-08-05 2011-11-03 음성 인식 및 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020110117849A KR20130016026A (ko) 2011-08-05 2011-11-11 모션 인식을 이용한 전자 장치 및 이의 제어 방법

Country Status (10)

Country Link
US (2) US20130033428A1 (ko)
EP (2) EP2740018A4 (ko)
KR (5) KR101262700B1 (ko)
CN (6) CN103733163A (ko)
AU (5) AU2012293063B2 (ko)
BR (5) BR112013019981A2 (ko)
CA (5) CA2825831A1 (ko)
MX (5) MX2013008892A (ko)
RU (4) RU2013139311A (ko)
WO (1) WO2013022224A1 (ko)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014137517A1 (en) * 2013-03-05 2014-09-12 Intel Corporation Interaction of multiple perceptual sensing inputs
WO2014163246A1 (ko) * 2013-04-03 2014-10-09 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR20150004052A (ko) * 2013-07-02 2015-01-12 엘지전자 주식회사 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
KR20150130986A (ko) * 2013-03-15 2015-11-24 인텔 코포레이션 음성 및 제스처 명령 영역들을 할당하기 위한 시스템 및 방법
KR101587625B1 (ko) * 2014-11-18 2016-01-21 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20160084059A (ko) * 2015-01-05 2016-07-13 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR20160088652A (ko) * 2015-01-16 2016-07-26 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
WO2016117754A1 (ko) * 2015-01-22 2016-07-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20170028195A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
KR101879349B1 (ko) * 2015-06-24 2018-07-18 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20180124682A (ko) * 2017-05-12 2018-11-21 삼성전자주식회사 디스플레이 장치 및 이의 제어방법
WO2019156412A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR20200109643A (ko) * 2019-03-13 2020-09-23 주식회사 아이스크림미디어 스마트 마이크 제어 서버 및 시스템
KR20210033873A (ko) * 2019-09-19 2021-03-29 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 음성 인식 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
WO2021172660A1 (ko) * 2020-02-28 2021-09-02 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
KR102526790B1 (ko) * 2022-07-15 2023-04-27 헬로칠드런 주식회사 치매 환자를 위한 소통 케어 시스템 및 방법
US11726806B2 (en) 2017-05-12 2023-08-15 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2555536A1 (en) 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR20140085055A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102057629B1 (ko) 2013-02-19 2020-01-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR102112522B1 (ko) * 2013-05-06 2020-05-19 삼성전자주식회사 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 장치 및 방법
KR102069322B1 (ko) * 2013-06-05 2020-02-11 삼성전자주식회사 프로그램 실행 방법 및 그 전자 장치
KR102199558B1 (ko) * 2013-08-06 2021-01-07 엘지전자 주식회사 단말기 및 그 동작 방법
CN104346127B (zh) * 2013-08-02 2018-05-22 腾讯科技（深圳）有限公司 语音输入的实现方法、装置及终端
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
KR102158315B1 (ko) * 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102092164B1 (ko) 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102216048B1 (ko) 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
CN105208056B (zh) * 2014-06-18 2020-07-07 腾讯科技（深圳）有限公司 信息交互的方法及终端
KR101594874B1 (ko) * 2014-07-16 2016-02-17 삼성전자주식회사 전자 장치, 외부 장치 및 전자 장치의 외부 장치 전원 제어방법
EP3187995A4 (en) 2014-09-19 2017-08-23 Huawei Technologies Co., Ltd. Method and apparatus for running application program
KR102311331B1 (ko) * 2014-11-20 2021-10-13 에스케이플래닛 주식회사 데이터저장장치 및 그 동작 방법
KR102310870B1 (ko) 2015-01-12 2021-10-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN104795065A (zh) * 2015-04-30 2015-07-22 北京车音网科技有限公司 一种提高语音识别率的方法和电子设备
EP3096216B1 (en) * 2015-05-12 2018-08-29 Konica Minolta, Inc. Information processing device, information processing program, and information processing method
JP6293372B2 (ja) * 2015-05-20 2018-03-14 三菱電機株式会社 情報処理装置及びインタロック制御方法
US10386941B2 (en) * 2015-06-16 2019-08-20 Intel Corporation Gyratory sensing system to enhance wearable device user experience via HMI extension
KR101702760B1 (ko) * 2015-07-08 2017-02-03 박남태 가상 키보드 음성입력 장치 및 방법
CN105302298B (zh) 2015-09-17 2017-05-31 深圳市国华识别科技开发有限公司 空中书写断笔***和方法
KR20180128101A (ko) 2015-10-12 2018-11-30 주식회사 네오펙트 측정센서장치의 부착위치 초기설정시스템, 초기설정방법 및 초기설정프로그램
KR102496617B1 (ko) * 2016-01-04 2023-02-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
CN106293064A (zh) * 2016-07-25 2017-01-04 乐视控股（北京）有限公司 一种信息处理方法及设备
US10297254B2 (en) * 2016-10-03 2019-05-21 Google Llc Task initiation using long-tail voice commands by weighting strength of association of the tasks and their respective commands based on user feedback
EP3566466A4 (en) 2017-01-05 2020-08-05 Noveto Systems Ltd. AUDIO COMMUNICATIONS SYSTEM AND METHOD
CN107093040A (zh) * 2017-03-03 2017-08-25 北京小度信息科技有限公司 信息生成方法及装置
CN107146609B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 一种播放资源的切换方法、装置及智能设备
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
CN107452382A (zh) * 2017-07-19 2017-12-08 珠海市魅族科技有限公司 语音操作方法及装置、计算机装置和计算机可读存储介质
JPWO2019087495A1 (ja) * 2017-10-30 2020-12-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102519635B1 (ko) * 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
DK201870353A1 (en) * 2018-05-07 2019-12-04 Apple Inc. USER INTERFACES FOR RECOMMENDING AND CONSUMING CONTENT ON AN ELECTRONIC DEVICE
CN108469772B (zh) * 2018-05-18 2021-07-20 创新先进技术有限公司 一种智能设备的控制方法和装置
KR102607666B1 (ko) * 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
CN109343754A (zh) * 2018-08-27 2019-02-15 维沃移动通信有限公司 一种图像显示方法及终端
KR102669100B1 (ko) * 2018-11-02 2024-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109788344A (zh) * 2019-01-30 2019-05-21 四川省有线广播电视网络股份有限公司 智能语音弹窗附加信息投放设计方法
CN113454583A (zh) * 2019-06-11 2021-09-28 深圳迈瑞生物医疗电子股份有限公司 医疗设备控制***及医疗设备
CN112533041A (zh) * 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
US11656838B2 (en) 2019-11-11 2023-05-23 Apple Inc. User interfaces for time period-based curated playlists
CN111128163A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 一种语音电器的控制器及其控制方法、装置和存储介质
CN111208927B (zh) * 2019-12-30 2021-09-07 国电南瑞科技股份有限公司 一种适用于电力***二次设备的人机接口及人机交互方法
KR102243477B1 (ko) * 2020-02-24 2021-04-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN113497958B (zh) * 2020-04-01 2023-08-11 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法
CN111782098A (zh) * 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
CN112397069A (zh) * 2021-01-19 2021-02-23 成都启英泰伦科技有限公司 一种语音遥控方法及装置
CN113573132B (zh) * 2021-07-23 2023-08-11 深圳康佳电子科技有限公司 一种基于语音实现的多应用拼屏方法、装置及存储介质
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和***
CN114461063B (zh) * 2022-01-18 2022-09-20 深圳时空科技集团有限公司 一种基于车载屏幕的人机交互方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5704009A (en) * 1995-06-30 1997-12-30 International Business Machines Corporation Method and apparatus for transmitting a voice sample to a voice activated data processing system
US20040243529A1 (en) * 1996-03-25 2004-12-02 Stoneman Martin L. Machine computational-processing systems for simulated-humanoid autonomous decision systems
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
FI20020847A (fi) * 2002-05-03 2003-11-04 Nokia Corp Menetelmä ja laite valikkotoimintojen käyttämiseksi
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
CN100454220C (zh) * 2003-05-08 2009-01-21 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的控制架构
JP2005208798A (ja) * 2004-01-21 2005-08-04 Nissan Motor Co Ltd 情報提供端末、および情報提供方法
JP2007052397A (ja) 2005-07-21 2007-03-01 Denso Corp 操作装置
JP2007034525A (ja) * 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
DE102005061144A1 (de) * 2005-12-21 2007-06-28 Robert Bosch Gmbh Bedienvorrichtung für ein elektronisches Gerät, insbesondere eine Fahrerinformationsvorrichtung
JP2007171809A (ja) * 2005-12-26 2007-07-05 Canon Inc 情報処理装置及び情報処理方法
EP1855472A3 (fr) * 2005-12-30 2007-11-28 Le Club Confort et Sécurité Téléviseur multifonction et autonome
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100913092B1 (ko) * 2006-12-01 2009-08-21 엘지전자 주식회사 믹스신호의 인터페이스 표시 방법 및 장치
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
CN101483683A (zh) * 2008-01-08 2009-07-15 宏达国际电子股份有限公司 手持装置及其语音识别方法
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ｕｉ 제공방법 및 이를 적용한멀티미디어 기기
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
KR20100030737A (ko) * 2008-09-11 2010-03-19 이필규 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
CN101714355A (zh) * 2008-10-06 2010-05-26 宏达国际电子股份有限公司 语音辨识功能启动***及方法
US8344870B2 (en) * 2008-10-07 2013-01-01 Cisco Technology, Inc. Virtual dashboard
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的***
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
US20100171696A1 (en) * 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
KR20100101389A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ｕｉ제공 방법
US8136051B2 (en) * 2009-03-13 2012-03-13 Sony Corporation Method and apparatus for automatically updating a primary display area
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US8610744B2 (en) * 2009-07-10 2013-12-17 Adobe Systems Incorporated Methods and apparatus for natural media painting using proximity-based tablet stylus gestures
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
KR101289081B1 (ko) * 2009-09-10 2013-07-22 한국전자통신연구원 음성 인터페이스를 이용한 ｉｐｔｖ 시스템 및 서비스 방법
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
RU2422878C1 (ru) * 2010-02-04 2011-06-27 Владимир Валентинович Девятков Способ управления телевизором с помощью мультимодального интерфейса
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
CN201708869U (zh) * 2010-03-31 2011-01-12 广东长虹电子有限公司 一种通过手势控制电视机的装置
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
CN101951474A (zh) * 2010-10-12 2011-01-19 冠捷显示科技（厦门）有限公司 基于手势控制的电视技术

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20150103278A (ko) * 2013-03-05 2015-09-09 인텔 코포레이션 다수의 지각 감지 입력의 상호작용
WO2014137517A1 (en) * 2013-03-05 2014-09-12 Intel Corporation Interaction of multiple perceptual sensing inputs
KR20150130986A (ko) * 2013-03-15 2015-11-24 인텔 코포레이션 음성 및 제스처 명령 영역들을 할당하기 위한 시스템 및 방법
WO2014163246A1 (ko) * 2013-04-03 2014-10-09 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US10078490B2 (en) 2013-04-03 2018-09-18 Lg Electronics Inc. Mobile device and controlling method therefor
KR20150004052A (ko) * 2013-07-02 2015-01-12 엘지전자 주식회사 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
WO2016080713A1 (ko) * 2014-11-18 2016-05-26 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR101587625B1 (ko) * 2014-11-18 2016-01-21 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20160084059A (ko) * 2015-01-05 2016-07-13 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR20160088652A (ko) * 2015-01-16 2016-07-26 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
WO2016117754A1 (ko) * 2015-01-22 2016-07-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10860288B2 (en) 2015-01-22 2020-12-08 Lg Electronics Inc. Display device and control method thereof
KR101879349B1 (ko) * 2015-06-24 2018-07-18 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20170028195A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11726806B2 (en) 2017-05-12 2023-08-15 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
KR20180124682A (ko) * 2017-05-12 2018-11-21 삼성전자주식회사 디스플레이 장치 및 이의 제어방법
US11848007B2 (en) 2018-02-12 2023-12-19 Samsung Electronics Co., Ltd. Method for operating voice recognition service and electronic device supporting same
WO2019156412A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US11404048B2 (en) 2018-02-12 2022-08-02 Samsung Electronics Co., Ltd. Method for operating voice recognition service and electronic device supporting same
KR20200109643A (ko) * 2019-03-13 2020-09-23 주식회사 아이스크림미디어 스마트 마이크 제어 서버 및 시스템
US11122349B2 (en) 2019-03-13 2021-09-14 I-Scream Media Co., Ltd. Server and system for controlling smart microphone
KR20210033873A (ko) * 2019-09-19 2021-03-29 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 음성 인식 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체
KR20210109778A (ko) * 2020-02-28 2021-09-07 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
US11765425B2 (en) 2020-02-28 2023-09-19 Zapple Inc. Broadcast receiving device, method for providing moving image zapping advertisements thereof, and system providing moving image zapping advertisements
WO2021172660A1 (ko) * 2020-02-28 2021-09-02 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
KR102526790B1 (ko) * 2022-07-15 2023-04-27 헬로칠드런 주식회사 치매 환자를 위한 소통 케어 시스템 및 방법

Also Published As

Publication number Publication date
KR20130016016A (ko) 2013-02-14
MX2013008891A (es) 2014-03-12
RU2013139295A (ru) 2015-02-27
RU2013139310A (ru) 2015-02-27
KR20130016026A (ko) 2013-02-14
CA2825827A1 (en) 2013-02-14
AU2012293063A1 (en) 2013-05-02
AU2012293065A1 (en) 2013-05-02
CN107396154A (zh) 2017-11-24
KR20130016025A (ko) 2013-02-14
US20130033428A1 (en) 2013-02-07
CA2825831A1 (en) 2013-02-14
CA2825822A1 (en) 2013-02-14
EP2986015A1 (en) 2016-02-17
BR112013019983A2 (pt) 2016-12-13
WO2013022224A1 (en) 2013-02-14
RU2013139297A (ru) 2015-02-27
CA2842813A1 (en) 2013-02-14
BR112013019984A2 (pt) 2017-07-11
MX2014001469A (es) 2014-02-27
KR101262700B1 (ko) 2013-05-08
US20130033422A1 (en) 2013-02-07
RU2013139311A (ru) 2015-02-27
AU2012293065B2 (en) 2015-04-16
RU2625439C2 (ru) 2017-07-13
CN103150010B (zh) 2016-08-03
AU2012293064A1 (en) 2013-05-02
CN103733163A (zh) 2014-04-16
CA2825813A1 (en) 2013-02-14
AU2012293060B2 (en) 2015-06-04
MX2013008889A (es) 2014-03-12
CN103150010A (zh) 2013-06-12
CN103150011A (zh) 2013-06-12
EP2740018A1 (en) 2014-06-11
AU2012293064B2 (en) 2015-12-17
AU2012293066A1 (en) 2014-01-09
MX2013008888A (es) 2014-03-12
CA2825827C (en) 2020-08-04
AU2012293060A1 (en) 2013-05-02
BR112013019981A2 (pt) 2016-12-13
EP2740018A4 (en) 2015-04-22
BR112014002842A2 (pt) 2017-06-13
KR20130016024A (ko) 2013-02-14
CN103034328A (zh) 2013-04-10
CN104486679A (zh) 2015-04-01
AU2012293063B2 (en) 2015-08-13
MX2013008892A (es) 2014-03-12
BR112013019982A2 (pt) 2016-12-13

Similar Documents

Publication Publication Date Title
JP5746111B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
KR20130018464A (ko) 전자 장치 및 그의 제어 방법
EP2555538A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130033644A1 (en) Electronic apparatus and method for controlling thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid