KR102419597B1 - 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법 - Google Patents

입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102419597B1
KR102419597B1 KR1020170128076A KR20170128076A KR102419597B1 KR 102419597 B1 KR102419597 B1 KR 102419597B1 KR 1020170128076 A KR1020170128076 A KR 1020170128076A KR 20170128076 A KR20170128076 A KR 20170128076A KR 102419597 B1 KR102419597 B1 KR 102419597B1
Authority
KR
South Korea
Prior art keywords
information
electronic device
state
voice
microphone
Prior art date
Application number
KR1020170128076A
Other languages
English (en)
Other versions
KR20190038069A (ko
Inventor
송기현
서제환
윤석훈
이종근
임채영
김민섭
윤현규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170128076A priority Critical patent/KR102419597B1/ko
Priority to US16/046,345 priority patent/US10971143B2/en
Priority to PCT/KR2018/011513 priority patent/WO2019066541A1/en
Priority to CN201880056599.7A priority patent/CN111095192B/zh
Priority to EP18861444.0A priority patent/EP3631615A4/en
Publication of KR20190038069A publication Critical patent/KR20190038069A/ko
Application granted granted Critical
Publication of KR102419597B1 publication Critical patent/KR102419597B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

입력 디바이스가 개시된다. 입력 디바이스는, 센서, 마이크, 통신부 및, 센서를 통해 센싱된 센싱 값에 기초하여 호버링 동작이 식별되면, 전자 장치로 발화 의도 감지 정보를 전송하고, 전자 장치로부터 음성 인식 개시 명령 및 피드백 정보가 수신되면, 마이크를 활성화하고 피드백 정보에 따른 피드백을 제공하고, 마이크를 통해 수신된 음성 신호를 전자 장치로 전송하는 프로세서를 포함한다.

Description

입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법 { Input device, electronic device, system comprising the same and control method thereof }
본 발명은 전자 장치를 제어하는 입력 디바이스, 전자 장치, 이를 포함하는 시스템 및 그 제어 방법에 관한 것이다.
일반적으로, 종래의 음성 인식이 가능한 입력 디바이스(예를 들어, 리모컨)는 전자 장치를 제어하기 위해, 음성 인식 버튼을 누르고 누름 동작이 유지된 상태에서 사용자가 발화를 해야한다. 이후, 음성 인식 버튼에서 손을 떼어 음성 인식을 종료할 수 있었다.
다만, 음성 인식 버튼을 누름과 동시에 발화를 시작하는 경우 초성 입력이 안될 가능성이 높고, 발화 종료 전에 음성 인식 버튼에서 손을 떼어 입력 디바이스가 완전한 문장을 인식하지 못하여 음성 인식의 오류가 발생하는 문제가 있었다.
또한, 종래의 리모컨은 일반적으로 스틱 형태의 디자인으로 사용자가 제어할 전자 장치의 방향으로 리모컨을 지향해야 하는 불편함이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 특정한 사용자 동작에 의해 음성 인식을 개시하고 사용자로부터 수신된 음성 신호를 전자 장치로 전송하는 입력 디바이스, 전자 장치, 이를 포함하는 시스템 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 입력 디바이스는, 센서, 마이크, 통신부 및 상기 센서를 통해 센싱된 센싱 값에 기초하여 호버링 동작이 식별되면, 전자 장치로 발화 의도 감지 정보를 전송하고, 상기 전자 장치로부터 음성 인식 개시 명령 및 피드백 정보가 수신되면, 상기 마이크를 활성화하고 상기 피드백 정보에 따른 피드백을 제공하고, 상기 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송하는 프로세서를 포함할 수 있다.
또한, 상기 프로세서는, 상기 음성 신호를 상기 전자 장치로 전송 후 상기 마이크를 비활성화하거나, 상기 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 경우 상기 마이크를 비활성화할 수 있다.
또한, 상기 프로세서는, 상기 마이크가 비활성화된 후, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보가 수신되면 상기 마이크를 활성화할 수 있다.
또한, 상기 프로세서는, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보 및 대응되는 피드백 정보가 수신되면, 상기 수신된 피드백 정보에 기초하여 추가 발화를 요청하는 피드백을 제공할 수 있다.
상기 센서는, 적어도 하나의 광 출력부 및 광량 측정부를 포함할 수 있다.
또한, 상기 프로세서는, 광을 출력하도록 상기 광 출력부를 제어하고, 상기 광량 측정부를 통해 측정된 상기 출력된 광의 반사량에 기초하여 상기 호버링 동작을 식별할 수 있다.
또한, 상기 프로세서는, 상기 전자 장치로부터 수신된 상기 피드백 정보에 기초하여, 상기 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 상기 음성 인식이 불가능한 상태 중 적어도 하나를 나타내는 피드백을 제공할 수 있다.
상기 피드백 정보는, 상기 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 상기 음성 인식이 불가능한 상태 각각에 대응되는 상이한 피드백 정보를 포함할 수 있다.
또한, 상기 프로세서는, 상기 피드백 정보에 기초하여, 각 상태에 대응되는 상이한 피드백을 제공할 수 있다.
상기 피드백 정보는, 상기 피드백의 타입, 상기 피드백 타입에 따른 패턴, 상기 피드백 타입에 따른 강도 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 입력 디바이스 제어 방법은, 센서를 통해 센싱된 센싱 값에 기초하여 호버링 동작이 식별되면, 전자 장치로 발화 의도 감지 정보를 전송하는 단계, 상기 전자 장치로부터 음성 인식 개시 명령 및 피드백 정보가 수신되면, 마이크를 활성화하고 상기 피드백 정보에 따른 피드백을 제공하는 단계 및, 상기 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송하는 단계를 포함할 수 있다.
또한, 상기 입력 디바이스 제어 방법은, 상기 음성 신호를 상기 전자 장치로 전송 후 상기 마이크를 비활성화하거나, 상기 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 경우 상기 마이크를 비활성화하는 단계를 더 포함할 수 있다.
또한, 상기 입력 디바이스 제어 방법은, 상기 마이크가 비활성화된 후, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보가 수신되면 상기 마이크를 활성화하는 단계를 더 포함할 수 있다.
또한, 상기 입력 디바이스 제어 방법은, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보 및 대응되는 피드백 정보가 수신되면, 상기 수신된 피드백 정보에 기초하여 추가 발화를 요청하는 피드백을 제공하는 단계를 더 포함할 수 있다.
상기 발화 의도 감지 정보를 전송하는 단계는, 광을 출력하고, 상기 출력된 광의 반사량에 기초하여 상기 호버링 동작을 식별할 수 있다.
상기 피드백을 제공하는 단계는, 상기 전자 장치로부터 수신된 상기 피드백 정보에 기초하여, 상기 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 상기 음성 인식이 불가능한 상태 중 적어도 하나를 나타내는 피드백을 제공할 수 있다.
상기 피드백 정보는, 상기 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 상기 음성 인식이 불가능한 상태 각각에 대응되는 상이한 피드백 정보를 포함할 수 있다.
상기 피드백을 제공하는 단계는, 상기 피드백 정보에 기초하여, 각 상태에 대응되는 상이한 피드백을 제공할 수 있다.
상기 피드백 정보는, 상기 피드백의 타입, 상기 피드백 타입에 따른 패턴, 상기 피드백 타입에 따른 강도 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 입력 디바이스 및 전자 장치를 포함하는 시스템은, 센서를 통해 센싱된 센싱 값에 기초하여 호버링 동작이 식별되면, 상기 전자 장치로 발화 의도 감지 정보를 전송하는 입력 디바이스 및, 상기 입력 디바이스로부터 상기 발화 의도 감지 정보가 수신되면, 음성 인식 개시 명령 및 피드백 정보를 상기 입력 디바이스로 전송하는 전자 장치를 포함할 수 있다.
상기 입력 디바이스는, 상기 전자 장치로부터 상기 음성 인식 개시 명령 및 상기 피드백 정보가 수신되면, 마이크를 활성화하고 상기 피드백 정보에 따른 피드백을 제공하고, 상기 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면 간단한 동작만으로 입력 디바이스의 음성 인식을 개시하고 음성 신호에 기초하여 전자 장치를 제어할 수 있다. 또한, 입력 디바이스에서 제공하는 피드백 패턴에 따라 사용자는 음성 인식이 가능한 상태를 알 수 있으므로 사용자의 편의성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른 입력 디바이스 및 전자 장치를 포함하는 시스템을 설명하기 위한 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 입력 디바이스의 구성을 나타내는 블럭도이다.
도 3a 내지 도 3c는 도 2의 입력 디바이스의 세부 구성의 일 예를 나타내는 블럭도 및 입력 디바이스의 일 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 입력 디바이스 및 전자 장치의 상호 간 동작을 설명하기 위한 시퀀스도이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 호버링 동작을 설명하기 위한 시퀀스도이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 스와이핑 동작을 설명하기 위한 시퀀스도이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 터치 동작을 설명하기 위한 시퀀스도이다.
도 8은 본 발명의 일 실시 예에 따른 파지 동작을 설명하기 위한 시퀀스도이다.
도 9a 내지 도9c는 본 발명의 일 실시 예에 따른 피드백 제공부에서 제공하는 피드백을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 입력 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 개시의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 입력 디바이스 및 전자 장치를 포함하는 시스템을 설명하기 위한 모식도이다.
입력 디바이스(100)는 전자 장치(200)를 제어할 수 있는 기능을 구비한다. 입력 디바이스(100)는 예를 들어, 리모컨으로 구현될 수 있다. 다만, 음성을 인식할 수 있는 장치라면 이에 한정되지 않고 적용 가능하다. 예를 들어, 스마트 폰, 태블릿, PC 등으로 구현될 수도 있다.
전자 장치(200)는 입력 디바이스(100)에 의해 제어 가능하도록 구현될 수 있다. 예를 들어, 입력 디바이스(100)는 TV로 구현될 수 있다. 다만, 입력 디바이스(100)에 의해 제어 가능한 장치라면 이에 한정되지 않고 적용 가능하다. 예를 들어, 에어컨, PC, 스피커, 세탁기 등 다양한 형태의 가전 제품(home appliance), 각종 의료기기 등으로 구현될 수도 있다.
본 발명의 일 실시 예에 따르면, 입력 디바이스(100)는 사용자의 편의성을 위해 호버링 동작을 포함하는 특정한 사용자 동작에 의해 음성 인식을 개시하고 사용자로부터 수신된 음성 신호를 전자 장치(200)로 전송하여 전자 장치(200)를 제어할 수 있는데, 이하에서는 도면을 참조하여 본 발명의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 입력 디바이스의 구성을 나타내는 블럭도이다.
도 2에 따르면, 입력 디바이스(100)는 센서(110), 마이크(120), 통신부(130) 및 프로세서(140)를 포함한다.
센서(110)는 사용자 동작을 감지할 수 있다. 센서(110)는 광 출력부(112) 및 광량 측정부(114)를 포함할 수 있다.
광 출력부(112)는 광을 출력할 수 있다. 광 출력부(112)는 적어도 하나의 광원을 포함할 수 있다. 예를 들어, IR을 출력하는 적어도 하나의 IR 광원을 포함할 수 있으나 이에 한정되는 것은 아니다. 광 출력부(112)는 주기적으로 광을 출력할 수 있다.
광량 측정부(114)는 광 출력부(112)에서 출력된 광이 반사되어 돌아오는 광량을 측정할 수 있다. 예를 들어, 광량 측정부(114)는 적어도 하나의 광량 측정 센서를 포함할 수 있다.
예를 들어, 광 출력부(112)에서 광이 출력되고 있는 상태에서 사용자의 손이 입력 디바이스(100)에 근접하는 경우 출력된 광이 사용자 손에 의해 반사될 수 있다. 광량 측정부(114)는 이와 같이 반사되어 입력 디바이스(100)로 들어오는 광량을 측정할 수 있다. 광량 측정부(114)는 적어도 하나 이상 구비될 수 있다. 광 출력부(112)에 복수의 광원이 포함되고, 광량 측정부(114)가 복수의 광원 각각에 대응되는 복수의 광량 측정 센서를 포함할 수 있다. 광 출력부(112) 및 광량 측정부(114)는 하나의 IC 칩으로 구현될 수 있다.
마이크(120)는 외부에서 발생하는 사운드를 수신할 수 있다. 마이크(120)는 적어도 하나 이상 구비될 수 있다.
통신부(130)는 전자 장치(200)와 통신을 수행한다. 여기서, 통신부(130)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared) 와 같은 통신 방식으로 전자 장치(200)와 무선 통신을 수행할 수 있으나, Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 전자 장치(200)와 통신을 수행할 수도 있다.
예를 들어, 통신부(130)는 기설정된 이벤트가 발생하면, 전자 장치(200)와의 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 될 수 있다. 여기서, 연동은 입력 디바이스(100)와 전자 장치(200) 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 전자 장치(200)의 기기 식별 정보가 입력 디바이스(100)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 입력 디바이스(100) 또는 전자 장치(200)에서 기설정된 이벤트가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.
프로세서(140)는 입력 디바이스(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 센서(110)를 통해 센싱된 센싱 값에 기초하여 호버링(hovering) 동작이 식별되면, 전자 장치(200)로 발화 의도 감지 정보를 전송할 수 있다. 본원에서 호버링 동작이란 오브젝트(예를 들어, 사용자의 손)가 입력 디바이스(100)에 근접한 호버링 상태를 일정 시간 동안 유지하는 동작을 의미한다. 다만, 전자 장치(200)로 발화 의도 감지 정보를 전송하기 위한 사용자 동작이 호버링 동작에 한정되는 것은 아니며 스와이핑(Swiping) 동작 또는 터치 동작일 수도 있다. 여기서, 발화 의도 감지 정보란 사용자의 발화가 시작될 수 있음을 알리는 정보이다.
프로세서(140)는 광량 측정부(114)에서 측정된 광량 값에 기초하여 호버링 동작 또는 스와이핑 동작을 식별할 수 있다. 프로세서(140)는 광량 측정부(114)에서 측정된 값에 기초하여 오브젝트가 입력 디바이스(100)에 접근한 것으로 판단되면 광의 출력 주기를 감소시킬 수 있다.
프로세서(140)는 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 이상에 도달한 시점에 대한 정보를 저장할 수 있다. 이후, 프로세서(140)는 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 미만이 된 시점에 대한 정보도 저장할 수 있다.
예를 들어, 광 출력부(112)에 복수의 광원이 포함되고, 광량 측정부(114)가 복수의 광원 각각에 대응되는 복수의 광량 측정 센서를 포함하는 경우를 상정하도록 한다. 이 경우, 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고, 이후 복수의 광량 측정 센서 중 적어도 하나에서 측정된 광량 값이 기설정된 값 이상을 유지하고 있는 경우, 프로세서(140)는 해당 동작을 호버링 동작으로 식별할 수 있다.
예를 들어, 프로세서(140)는 입력 디바이스(100)에 사용자의 손이 근접하여 손의 면적으로 인해 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고, 이후 손이 입력 디바이스(100)에서 근접한 상태를 유지하여 적어도 하나의 광량 측정 센서에서 측정된 광량 값이 기설정된 값 이상인 상태가 기설정된 시간(예를 들어, 1초) 동안 유지되면 해당 동작을 호버링 동작으로 식별할 수 있다. 이는, 호버링 동안 사용자의 손의 움직임으로 인해 적어도 하나 이상의 광량 측정 센서에서 광량이 기설정된 값 미만으로 측정되는 경우를 고려한 것이다.
또한, 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고 이후 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 미만이며, 광량 값이 기설정된 값 이상이 된 시점과 측정된 광량 값이 기설정된 값 미만이 된 시점의 시간 차이가 기설정된 시간(예를 들어, 1초) 이하인 경우 해당 동작을 스와이핑 동작으로 식별할 수 있다.
예를 들어, 프로세서(140)는 입력 디바이스(100)에 사용자의 손이 근접하여 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고, 이후 기설정된 시간 내에 손이 입력 디바이스(100)로부터 멀어져 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 미만이 되면 해당 동작을 스와이핑 동작으로 식별할 수 있다.
광량 측정 센서가 복수 개인 경우, 프로세서(140)는 측정되는 광량이 최초로 증가하는 광량 측정 센서 방향에서 오브젝트가 접근하는 것으로 판단할 수 있다. 또한, 프로세서(140)는 광량 측정 센서에서 증가된 광량이 최후로 감소하는 광량 측정 센서 방향으로 오브젝트가 멀어지는 것으로 판단할 수 있다.
다만, 호버링 동작 및 스와이핑 동작을 식별하는 방법이 이에 한정되는 것은 아니다.
프로세서(140)는 터치 센서(160)를 통해 터치 동작을 식별할 수 있다. 프로세서(140)는 터치 센서(160)로부터 오브젝트와 터치 센서(160) 간의 접촉 상태 데이터를 수집할 수 있다. 프로세서(140)는 수집된 데이터에 기초하여 오브젝트와 터치 센서(160)가 접촉 된 것으로 판단되면 모션 센서(150)로부터 움직임 감지 신호 수신 여부를 판단할 수 있다. 프로세서(140)는 움직임 감지 신호가 수신되는 경우 사용자가 입력 디바이스(100)에 대한 동작이 터치 동작이 아닌 파지 동작으로 식별할 수 있다. 프로세서(140)는 움직임 감지 신호가 수신되지 않는 경우 입력 디바이스(100)에 대한 사용자 동작을 터치 동작으로 식별할 수 있다.
프로세서(140)는 전자 장치(200)로부터 음성 인식 개시 명령 및 피드백 정보가 수신되면, 마이크(120)를 활성화하고 피드백 정보에 따른 피드백을 제공할 수 있다. 여기서, 음성 인식 개시 명령은 마이크(120)를 활성화하기 위한 신호 일 수 있다. 피드백 정보는 음성 인식이 가능한 상태를 알리는 피드백 정보를 제공하는데 필요한 정보일 수 있다.
프로세서(140)는 다양한 방법으로 피드백 정보에 따른 피드백을 사용자에게 제공할 수 있다. 예를 들어, 피드백은 입력 디바이스(100)를 진동시키거나, 특정 음향이나 음성을 출력하는 형태일 수 있다. 또는 피드백은 LED 광원이 발광하는 형태일 수도 있다. 음성 인식이 가능한 상태를 나타내는 피드백과 다른 상태를 나타내는 피드백을 구분하기 위해 진동의 강도, 음향의 볼륨, 음성의 내용 또는 LED 광원이 발광하는 패턴을 다르게 설정하여 각 상태에 대응되는 상이한 피드백을 제공할 수 있다.
프로세서(140)는 마이크(120)를 통해 수신된 음성 신호를 전자 장치(200)로 전송할 수 있다. 여기서, 음성 신호는 마이크(120)를 통해 녹음된 녹음 데이터일 수 있다. 예를 들어, 사용자가 'MBC'라는 음성을 발화하는 경우 이를 마이크를 통해 녹음하여 녹음된 데이터를 전자 장치(200)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니며 프로세서(140)는 사용자가 발화한 'MBC'라는 음성을 분석하여 이에 대응되는 신호를 전자 장치(200)로 전송할 수도 있다.
프로세서(140)는 음성 신호를 전자 장치(200)로 전송 후 마이크(120)를 비활성화할 수 있다. 또는 프로세서(140)는 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 경우 마이크(120)를 비활성화할 수 있다. 여기서, 비활성화란 프로세서(140)가 마이크(120)만을 종료하거나, 마이크(120)를 종료하고 액티브 모드에서 저전력인 슬립 모드로 모드 전환을 할 수도 있다.
일 실시 예에 따르면, 프로세서(140)는 사용자가 발화한 음성을 분석하여 전자 장치(200)를 제어할 수 있는 음성 신호로 판단되면 전자 장치(200)로 해당 음성에 대응되는 신호를 전송 후 마이크(120)를 비활성화할 수 있다. 예를 들어, 사용자가 'MBC'라는 음성을 발화하는 경우 프로세서(140)는 'MBC'를 분석하여 전자 장치(200)의 방송 채널을 제어할 수 있는 음성 신호로 판단되면 전자 장치(200)로 'MBC'채널에 해당하는 채널 변경 신호를 전송하고 마이크(120)를 비활성화할 수 있다. 또는, 사용자가 'M'이라는 음성만을 발화하는 경우 프로세서(140)는 'M'을 분석하여 전자 장치(200)를 제어할 수 없는 음성 신호로 판단되면 기설정된 시간 동안 마이크(120)의 활성화 상태를 유지하고 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 경우 마이크(120)를 비활성화할 수 있다.
다른 실시 예에 따르면, 프로세서(140)는 음성 녹음을 개시하여 사용자가 발화한 음성을 녹음하고 마이크(120)로 수신되는 음성이 기설정된 데시벨 미만이 되는 시점부터 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 즉, 기설정된 데시벨 이상의 사운드가 감지되지 않으면 사용자의 발화가 종료된 것으로 판단할 수 있다. 사용자의 발화가 종료된 것으로 판단되면 프로세서(140)는 녹음 데이터를 전자 장치(200)로 전송 후 마이크(120)를 비활성화할 수 있다.
프로세서(140)는 마이크(120)가 비활성화된 후, 전자 장치(200)로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보가 수신되면 마이크(120)를 활성화할 수 있다. 예를 들어, 사용자가 '뉴스 채널'이라는 음성만을 발화하는 경우 프로세서(140)는 '뉴스 채널'에 대응되는 음성 신호를 전자 장치(200)로 전송할 수 있다. 전자 장치(200)에서 '뉴스 채널'에 대응되는 채널이 복수 개이므로 하나의 채널을 디스플레이하기 위한 추가적인 정보가 필요한 경우, 프로세서(140)는 전자 장치(200)로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보를 수신할 수 있다. 프로세서(140)는 해당 정보가 수신되면 마이크(120)를 활성화할 수 있다.
프로세서(140)는 전자 장치(200)로부터 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보 및 대응되는 피드백 정보가 수신되면, 수신된 피드백 정보에 기초하여 추가 발화를 요청하는 피드백을 제공할 수 있다. 여기서, 피드백 정보는 호버링 동작, 스와이핑 동작 또는 터치 동작에 따라 음성 인식이 가능한 상태를 알리는 정보와 동일할 수도 있으나, 추가적인 음성 인식이 필요한 상황임을 알리기 위해 상술한 사용자 동작에 따른 음성 인식이 가능한 상태를 알리는 정보와 상이한 정보일 수 있다.
예를 들어, 프로세서(140)는 음성 인식이 가능한 상태를 나타내는 피드백과 추가적인 음성 인식이 필요한 상황을 나타내는 피드백을 구분하기 위해 진동의 강도, 음향의 볼륨, 음성의 내용 또는 LED 광원이 발광하는 패턴을 다르게 설정하여 각 상태에 대응되는 상이한 피드백을 제공할 수 있다.
프로세서(140)는 광을 출력하도록 광 출력부(112)를 제어하고, 광량 측정부(114)를 통해 측정된 출력된 광의 반사량에 기초하여 호버링 동작을 식별할 수 있다.
예를 들어, 광 출력부(112)에 복수의 광원이 포함되고, 광량 측정부(114)가 복수의 광원 각각에 대응되는 복수의 광량 측정 센서를 포함하는 경우를 상정하도록 한다. 이 경우, 프로세서(140)는 입력 디바이스(100)에 사용자의 손이 근접하여 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고, 이후 손이 입력 디바이스(100)에서 근접한 상태를 유지하여 복수의 광량 측정 센서 중 적어도 하나에서 측정된 광량 값이 기설정된 값 이상을 유지하고 있는 경우, 해당 동작을 호버링 동작으로 식별할 수 있다.
또한, 광 출력부(112)에 복수의 광원이 포함되고, 광량 측정부(114)가 복수의 광원 각각에 대응되는 복수의 광량 측정 센서를 포함하는 경우, 프로세서(140)는 입력 디바이스(100)에 사용자의 손이 근접하여 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 이상이고, 이후 기설정된 시간 내에 손이 입력 디바이스(100)로부터 멀어져 복수의 광량 측정 센서 각각에서 측정된 광량 값이 기설정된 값 미만이 되면 해당 동작을 스와이핑 동작으로 식별할 수 있다.
프로세서(140)는 전자 장치(200)로부터 수신된 피드백 정보에 기초하여, 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 음성 인식이 불가능한 상태 중 적어도 하나를 나타내는 피드백을 제공할 수 있다. 여기서 피드백 정보는, 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 음성 인식이 불가능한 상태 각각에 대응되는 상이한 정보를 포함할 수 있다.
음성 인식이 가능한 상태란 사용자의 호버링 동작, 스와이핑 동작 또는 터치 동작에 따라 음성 인식이 가능한 상태가 있을 수 있고, 전자 장치(200)로부터 수신된 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보에 따라 음성 인식이 가능한 상태를 의미할 수도 있다. 프로세서(140)는 음성 인식이 가능한 상태이면 호버링 동작, 스와이핑 동작 또는 터치 동작에 따라 음성 인식이 가능한 상태 및 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보에 따라 음성 인식이 가능한 상태를 구분하여 서로 상이한 피드백을 제공할 수 있다. 다만, 이에 한정되는 것은 아니며 음성 인식이 가능한 상태이면 동일한 피드백을 제공할 수도 있다.
프로세서(140)는 피드백 정보에 기초하여, 각 상태에 대응되는 상이한 피드백을 제공할 수 있다. 피드백 정보는, 피드백의 타입, 피드백 타입에 따른 패턴, 피드백 타입에 따른 강도 중 적어도 하나를 포함할 수 있다. 여기서, 피드백의 타입은 입력 디바이스(100)의 진동, 음성 또는 음향을 출력 또는 피드백 제공부(190)에서 LED 광원의 발광을 의미한다. 피드백 타입에 따른 패턴은 피드백 제공부(190)에서 LED 광원의 발광 패턴일 수 있고, 피드백 타입의 강도는 출력되는 음향의 세기 또는 출력되는 LED 신호의 세기를 의미할 수 있다. 여기서, 프로세서(140)는 피드백의 타입, 피드백 타입에 따른 패턴, 피드백 타입에 따른 강도를 포함하는 피드백 정보 자체를 전자 장치(200)로부터 수신할 수 있다. 다만, 이에 한정되는 것은 아니며, 저장부(170)에서 피드백 정보를 저장하고 프로세서(140)는 전자 장치(200)로부터 특정 피드백의 제공을 명령하는 신호를 수신할 수도 있다.
예를 들어, 입력 디바이스(100)에 피드백 제공부(190)가 구비되는 경우, 프로세서(140)는 호버링 동작, 스와이핑 동작 또는 터치 동작에 따라 음성 인식이 가능한 상태를 나타내기 위해 특정 패턴에 따라 피드백 제공부(190)의 LED 광원을 발광시킬 수 있고, 수신된 추가 음성 신호의 수신이 필요한 상황임을 나타내는 정보에 따라 음성 인식이 가능한 상태를 나타내기 위해 피드백 제공부(190)의 특정 LED 광원을 발광시킬 수 있다.
또한, 프로세서(140)는 사용자 발화가 유지되는 상태를 나타내기 위해 사용자발화가 유지되는 동안 복수의 LED 광원을 순차적으로 발광시킨 후 발광을 종료하고 다시 발광시키는 패턴을 반복할 수 있다. 여기서, 프로세서(140)는 마이크(120)를 통해 수신되는 음성이 기설정된 데시벨 이상인 경우 사용자가 발화하는 것으로 판단하고 기설정된 시간 동안 기설정된 데시벨 미만이 유지되기 전까지 사용자 발화가 유지되는 것으로 판단할 수 있다.
또한, 프로세서(140)는 음성 인식이 불가능한 상태를 나타내기 위해 복수의 LED 광원 각각을 발광시키지 않을 수 있다. 여기서, 음성 인식이 불가능한 상태란 입력 디바이스(100)에서 음성 인식을 개시하기 위한 사용자 동작이 감지되지 않으며, 추가 음성 신호의 수신이 필요한 상황이 아닌 경우일 수 있다. 따라서, 마이크(120)가 비활성화된 상태일 수 있다.
이상에서는 피드백 제공부(190)에서 발광하는 LED 광원을 피드백의 일 예로 설명하였으나, 입력 디바이스(100)의 진동, 음성 또는 음향 출력에 따른 형태로 피드백을 제공할 수 있음은 물론이다.
도 3a 내지 도 3c는 도 2의 입력 디바이스의 세부 구성의 일 예를 나타내는 블럭도 및 입력 디바이스의 일 예를 나타내는 도면이다.
도 3a는 입력 디바이스(100)의 세부 구성을 나타내는 도면이다.
도 3a에 따르면, 입력 디바이스(100)는 센서(110), 마이크(120), 통신부(130), 프로세서(140), 모션 센서(150), 터치 센서(160) 및 저장부(170)를 포함한다. 도 3a에 도시된 구성 중, 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(140)는 CPU(141), 입력 디바이스(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 입력 디바이스(100)의 외부에서부터 입력되는 데이터를 저장하거나 입력 디바이스(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
CPU(141)는 저장부(170)에 액세스하여, 저장부(170)에 저장된 각종 프로그램, 데이터 등을 이용하여 다양한 동작을 수행한다.
모션 센서(150)는 사용자가 입력 디바이스(100) 파지 여부를 감지하기 위한 데이터를 측정할 수 있다. 모션 센서(150)는 입력 디바이스(100)의 파지 여부를 감지하기 위해 가속도 및 각속도를 측정할 수 있다. 모션 센서(150)는 가속도 센서 및 자이로 센서를 포함할 수 있다. 가속도 센서 및 자이로 센서의 6축을 이용하여, 모션 센서(150)는 입력 디바이스(100)의 움직임의 시작 위치와 현재 위치를 감지할 수 있고, 속도 변화 및 위치 변화량을 측정할 수 있다.
가속도 센서는 중력 방향을 감지할 수 있다. 그리고, 가속도 센서는 움직이지 않는 상태에서의 기울기를 감지할 수 있다. 가속도 센서는 단위 시간에 대한 속도의 변화량을 감지한다. 가속도 센서는 3축으로 구현될 수 있다. 3축 가속도 센서로 구현된 경우에는 가속도 센서는 서로 다른 방향으로 배치되어 서로 직교하는 X, Y, Z축 가속도 센서를 구비한다.
가속도센서는 X, Y, Z축 가속도 센서 각각의 출력값을 디지털 값으로 변환하여 전처리부로 제공한다. 이때 전처리부는 쵸핑회로, 증폭회로, 필터, 및 A/D 컨버터(A/D converter) 등을 포함할 수 있다. 이에 따라, 3축 가속도 센서로부터 출력된 전기적 신호를 쵸핑, 증폭, 필터링한 후, 디지털 전압값으로 변환한다.
자이로 센서는 단위 시간 동안 입력 디바이스(100)의 기설정된 방향의 변화량을 감지하여 각속도를 감지하는 구성이다. 자이로 센서는 3축을 갖는 자이로스코프가 사용될 수 있다. 자이로 센서는 감지된 각속도의 정적분 값을 통해 각도를 유추할 수 있다.
터치 센서(160)는 정전식 또는 감압식으로 구현될 수 있다. 특히, 정전식 터치 센서는 디스플레이 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 입력 디바이스(100) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식의 센서를 의미한다.
저장부(170)는 입력 디바이스(100)를 구동/제어하기 위한 다양한 데이터, 프로그램을 저장할 수 있다. 또한, 저장부(170)는 마이크(120)를 통해 수신된 음성 데이터를 저장할 수 있다.
스피커(180)는 오디오 신호를 출력하는 기능을 한다. 예를 들어, 스피커(180)는 오디오 신호를 출력할 수 있는, 적어도 하나의 스피커 유닛(또는 오디오 앰프(audio amplifier))을 포함할 수 있다. 특히, 스피커(180)는 음성 또는 음향 피드백을 제공할 수 있다. 예를 들어, 스피커(180)는 음성 인식이 가능한 상태, 사용자 발화가 유지되는 상태 및 음성 인식이 불가능한 상태를 나타내는 음성 또는 음향을 제공할 수 있다.
도 3b는 센서(110)의 세부 구성을 나타내는 도면이다.
도 3b에 따르면, 센서(110)는 광 출력부(112) 및 광량 측정부(114)를 포함할 수 있다.
광 출력부(112)는 광을 출력할 수 있다. 광 출력부(112)는 적어도 하나의 광원을 포함할 수 있다. 예를 들어, IR을 출력하는 적어도 하나의 IR 광원을 포함할 수 있으나 이에 한정되는 것은 아니다. 광 출력부(112)는 주기적으로 광을 출력할 수 있다.
광량 측정부(114)는 광 출력부(112)에서 출력된 광이 반사되어 돌아오는 광량을 측정할 수 있다. 예를 들어, 광 출력부(112)에서 광이 출력되고 있는 상태에서 사용자의 손이 입력 디바이스(100)에 근접하는 경우 출력된 광이 사용자 손에 의해 반사될 수 있다. 광량 측정부(114)는 적어도 하나의 광량 측정 센서를 포함할 수 있다. 광 출력부(112) 및 광량 측정부(114)는 하나의 IC 칩으로 구현될 수 있다.
도 3c는 입력 디바이스(100)의 일 예를 나타내는 도면이다.
입력 디바이스(100)는 광 출력부(112), 마이크(120), 피드백 제공부(190) 및 버튼부(195)를 구비할 수 있다. 도 3c에 도시된 구성 중, 도 2 및 도 3a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
피드백 제공부(190)는 복수의 LED 광원을 포함할 수 있다.
이 경우, 프로세서(140)는 전자 장치(200)로부터 수신된 피드백 정보에 기초하여 복수의 LED 광원을 다양한 패턴으로 발광시킬 수 있다.
예를 들어, 프로세서(140)는 음성 인식이 가능한 상태의 경우, 마이크(120)에 인접한 LED 광원부터 순차적으로 복수의 LED 광원을 발광시키고, 이후, 특정 LED 광원 만이 발광되도록 제어할 수 있다.
버튼부(195)는 채널 변경, 음량, 홈 버튼, 메뉴, 재생/일시정지 및 복귀 버튼을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
도 4는 본 발명의 일 실시 예에 따른 입력 디바이스 및 전자 장치의 상호 간 동작을 설명하기 위한 시퀀스도이다.
입력 디바이스(100)에 대한 사용자 접근이 감지되면 (S401), 입력 디바이스(100)는 사용자 발화 의도 여부를 판단할 수 있다. 입력 디바이스(100)는 사용자의 동작이 파지 동작이면 사용자 발화 의도가 없는 것으로 판단할 수 있다(S402-N). 입력 디바이스(100)는 사용자의 동작이 호버링 동작, 스와이핑 동작 또는 터치 동작 중 하나이면 사용자 발화 의도가 있는 것으로 판단하여(S402-Y), 발화 의도 감지 정보를 전자 장치(200)로 전송할 수 있다(S403).
전자 장치(200)는 음성 인식 개시 명령와 피드백 정보를 입력 디바이스(100)로 전송할 수 있다(S404). 여기서, 음성 인식 개시 명령은 음성 인식이 가능하도록 마이크(120)를 활성화하도록 하는 명령일 수 있고, 피드백 정보는 음성 인식이 가능한 상태를 나타내는 정보에 대응되는 피드백의 타입, 피드백 타입에 따른 패턴, 피드백 타입에 따른 강도 중 적어도 하나를 포함할 수 있다. 예를 들어, 음성 인식이 가능한 상태를 나타내는 피드백 타입은 LED 광원을 발광하는 타입이고, 음성 인식이 가능한 상태를 나타내는 피드백 타입에 따른 패턴은 복수의 LED 광원 중 특정 LED 광원만이 발광될 수 있고, 음성 인식이 가능한 상태를 나타내는 피드백 타입에 따른 강도는 발광되는 LED 광원 세기의 단계를 구분하여 구분된 단계 중 하나의 세기로 LED 광원이 발광될 수 있다.
입력 디바이스(100)는 전자 장치(200)로부터 음성 인식 개시 명령 및 피드백 종류 정보가 수신되면 마이크(102)를 활성화하고(S405), 음성 인식이 가능한 상태를 나타내는 피드백을 제공할 수 있다(S406). 사용자가 입력 디바이스(100)를 향해 발화를 수행하면(S407), 사용자 발화가 유지되는 동안 입력 디바이스(100)는 사용자 발화가 유지되는 상태를 나타내는 피드백을 제공할 수 있다. 예를 들어, 입력 디바이스(100)는 사용자 발화가 유지되는 상태를 나타내기 위해 복수의 LED 광원을 순차적으로 발광시킨 후 순차적으로 발광을 종료 할 수 있다.
입력 디바이스(100)는 마이크(120)를 통해 수신된 음성 신호를 전자 장치(200)로 전송할 수 있다(S408). 여기서, 음성 신호는 마이크(120)를 통해 녹음된 녹음 데이터일 수 있다. 예를 들어, 사용자가 'MBC'라는 음성을 발화하는 경우 이를 마이크(120)를 통해 녹음하여 녹음된 데이터를 전자 장치(200)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니며 입력 디바이스(100)는 사용자가 발화한 'MBC'라는 음성을 분석하여 이에 대응되는 신호를 전자 장치(200)로 전송할 수도 있다.
전자 장치(200)는 입력 디바이스(100)로부터 수신된 음성 신호를 분석하고 음성 신호에 대응되는 기능을 실행할 수 있다. 다만, 입력 디바이스(100)에서 사용자가 발화한 음성을 분석하여 이에 대응되는 신호를 수신하는 경우 전자 장치(200)는 대응되는 기능을 실행할 수도 있다. 전자 장치(200)의 UI는 음성 인식 결과에 따른 UI를 디스플레이 할 수 있다(S410). 예를 들어, 사용자가 'MBC'라는 음성을 발화하면 전자 장치(200)의 UI에서 'MBC 채널'을 디스플레이 할 수 있다.
입력 디바이스(100)는 음성 신호를 전자 장치(200)로 전송 후 마이크(120)를 비활성화할 수 있다(S411). 또한, 입력 디바이스(100)는 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 경우 마이크(120)를 비활성화할 수 있다. 구체적으로, 입력 디바이스(100)는 음성 녹음을 개시하여 사용자가 발화한 음성을 녹음하고 마이크(120)로 수신되는 음성이 기설정된 데시벨 미만이 되는 시점부터 기설정된 시간 동안 추가 음성 신호가 수신되지 않는 즉, 기설정된 데시벨 이상의 음성이 감지되지 않으면 사용자의 발화가 종료된 것으로 판단하여 마이크(120)를 비활성화할 수 있다. 또는 입력 디바이스(100)는 사용자가 발화한 음성을 분석하여 전자 장치(200)를 제어할 수 있는 음성 신호로 판단되면 전자 장치(200)로 해당 음성에 대응되는 신호를 전송 후 마이크(120)를 비활성화할 수도 있다.
전자 장치(200)는 수신된 음성 신호에 따라 연속 발화가 필요한 상황인지 판단할 수 있다(S412). 전자 장치(200)는 연속 발화가 필요한 상황으로 판단되면, 연속 발화 필요 정보 및 피드백 종류 정보를 전송할 수 있다(S412-Y). 입력 디바이스(100)는 연속 발화 필요 정보에 따라 마이크(120)를 활성화하고(S413), 피드백 종류 정보에 따라 피드백을 제공할 수 있다(S414). 추가적인 음성 인식이 필요한 상황에 따른 피드백은 음성 인식 개시 명령에 따른 피드백과 상이한 피드백일 수 있다. 예를 들어, 추가적인 음성 인식이 필요한 상황에 따른 피드백은 특정 LED 광원을 발광시키는 패턴일 수 있다.
또한, 연속 발화가 필요한 상황으로 판단되면 전자 장치(200)의 UI에 연속 발화가 가능하다는 점을 알리는 정보를 제공할 수 있다(S415). 예를 들어, 사용자가 '뉴스 채널'이라는 음성만을 발화하는 경우 전자 장치(200)의 UI에 '뉴스 채널'에 해당되는 복수의 채널 리스트가 제공될 수 있고, 추가 발화가 필요한 상황임을 알리는 텍스트가 제공할 수도 있다.
전자 장치(200)는 연속 발화가 필요한 상황이 아닌 것으로 판단되면, 발화 종료 정보 및 피드백 종류 정보를 입력 디바이스(100)로 전송할 수 있다(S412-N). 입력 디바이스(100)는 음성 인식이 불가능한 상태를 나타내는 피드백을 제공할 수 있다(S416). 예를 들어, 입력 디바이스(100)는 음성 인식이 불가능한 상태를 나타내기 위해 복수의 LED 광원 각각을 출력하지 않을 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 호버링 동작을 설명하기 위한 시퀀스도이다.
도 5a는 도 4의 접근 동작(S401)에 따른 사용자 발화 의도 여부를 판단하는 단계(S402)를 세부적으로 나타내는 도면이다.
도 5a에 따르면, 입력 디바이스(100)에 대한 사용자 접근이 감지되면(S501), 센서(110)는 광 출력부(112)에서 출력되어 오브젝트(예를 들어, 사용자의 손)에 의해 반사되어 들어오는 광량을 측정할 수 있다(S502). 구체적으로, 광량 측정부(114)가 광량을 측정할 수 있다. 센서(110)는 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 보다 작은 경우 재차 오브젝트에 의해 반사되어 들어오는 광량을 측정할 수 있다(S503-N). 센서(110)는 측정된 광량 값이 기설정된 값 보다 큰 경우 프로세서(140)로 웨이크업(Wake up) 신호를 전송할 수 있다(S503-Y). 프로세서(140)는 센서(110)로부터 웨이크업 신호를 수신하면 저전력 모드인 슬립 모드에서 액티브 모드로 전환하고(S504), 센서(110)로부터 센싱 데이터를 수집할 수 있다(S505). 또한, 프로세서(140)는 모션 센서(150)로 입력 디바이스(100)의 움직임 발생 여부를 감지하도록 하는 명령을 전송할 수 있다(S506).
프로세서(140)는 센서(110)로부터 수집한 센싱 데이터를 통해 호버링 분석 알고리즘을 수행할 수 있다(S507). 여기서, 호버링 분석 알고리즘이란 사용자의 입력 디바이스(100)에 대한 동작이 호버링 동작에 해당되는지 판단하는 알고리즘으로, 도 5b에서 좀더 자세히 설명하도록 한다. 모션 센서(150)는 입력 디바이스(100)의 움직임 발생 여부를 판단하여 움직임이 감지된 경우 프로세서(140)로 움직임 발생 정보를 전송할 수 있다(S508-Y).
프로세서(140)는 움직임 발생 정보를 수신한 경우 모션 센서(150)로부터 센싱 데이터를 수집하고(S509), 수집한 센싱 데이터에 기초하여 파지 분석 알고리즘을 수행할 수 있다(S510). 여기서, 모션 센서(150)로부터 수집한 센싱 데이터는 가속도 센서, 자이로 센서 중 적어도 하나의 값을 포함할 수 있다. 파지 분석 알고리즘이란 사용자가 입력 디바이스(100)를 파지 하였는지 여부를 판단하는 알고리즘으로, 도 8에서 좀더 자세히 설명하도록 한다.
액티브 모드로 전환 후 기설정된 시간(예를 들어, 1초)이 경과하고 사용자가 입력 디바이스(100)를 파지하지 않은 것으로 판단되는 경우, 프로세서(140)는 모션 센서(150)로 움직임 발생 감지 중지 명령을 전송하고(S511), 사용자 발화 의도 여부를 판단할 수 있다(S512, S402). 호버링 동작을 1초이상 유지하고 입력 디바이스(100)를 파지하지 않은 것으로 판단되는 경우 사용자의 발화 의도가 있는 것으로 판단하고 전자 장치(200)로 발화 의도 감지 정보를 전송할 수 있다(S512-Y, S403). 프로세서(140)는 사용자 발화 의도가 없는 것으로 판단되면 다시 센싱 데이터를 수집할 수 있다(S512-N, S402-N). 다만, 1초는 예를 든 것이며 이에 한정되지 않음은 물론이다.
도 5b는 도 5a의 호버링 분석 알고리즘을 수행하는 단계(S507)를 세부적으로 나타내는 도면이다.
도 5b에 따르면, 프로세서(140)는 광량 측정부(114)를 통해 측정된 광량 데이터를 수집할 수 있다(S520). 광량 측정부(114)에 포함된 광량 측정 센서는 적어도 하나 이상일 수 있다. 도 5b는 광량 측정 센서가 2개인 경우를 상정하여 설명하도록 한다. 제1 광량 측정 센서에서 측정된 광량 값이 기설정된 값 이상이면(S521-Y), 프로세서(140)는 'Entry Time'을 저장할 수 있다(S522). 여기서, 'Entry Time'이란 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 이상에 도달한 시점을 의미한다.
이후, 제1 광량 측정 센서에서 측정된 광량 값이 기설정된 값 미만이면(S523-Y), 프로세서(140)는 'Exit Time'을 저장할 수 있다(S524). 여기서, 'Exit Time'이란 광량 측정부(114)에서 측정된 광량이 기설정된 값 미만이 된 시점을 의미한다. 제2 광량 측정 센서에서도 제1 광량 측정 센서와 같은 단계(S521 내지 S524)를 수행할 수 있다.
프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 모두 'Entry Time'이 저장되었는지 판단할 수 있다(S525). 즉, 프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 측정된 광량 값이 기설정된 값 이상인지 판단할 수 있다. 프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 'Entry Time'이 저장되었으면 적어도 하나의 광량 측정부에서의 'Exit Time'이 해당 광량 측정부에서의 'Entry Time'과 1초 이상의 시간 차이가 있는지 여부를 판단할 수 있다(S525-Y, S526). 적어도 하나의 광량 측정부에서의 'Exit Time'이 해당 광량 측정부에서의 'Entry Time'과 1초 이상의 시간 차이가 있는 것으로 판단되면, 프로세서(140)는 사용자의 동작을 호버링 동작으로 판단할 수 있다(S527).
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 스와이핑 동작을 설명하기 위한 시퀀스도이다.
도 6a는 도 4의 접근 동작 수행(S401)에 따른 사용자 발화 의도 여부를 판단하는 단계(S402)를 세부적으로 나타내는 도면이다.
도 6a에 따르면, 사용자가 입력 디바이스(100)를 향해 접근 동작을 수행하면(S601), 센서(110)는 광 출력부(112)에서 출력되어 오브젝트(예를 들어, 사용자의 손)에 의해 반사되어 들어오는 광량을 측정할 수 있다(S602). 구체적으로, 광량 측정부(114)가 광량을 측정할 수 있다. 센서(110)는 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 보다 작은 경우 재차 오브젝트에 의해 센서로 반사되어 들어오는 광량을 측정할 수 있다(S603-N). 센서(110)는 측정된 광량 값이 기설정된 값 보다 큰 경우 프로세서(140)로 웨이크업(Wake up) 신호를 전송할 수 있다(S603-Y). 프로세서(140)는 센서(110)로부터 웨이크업 신호를 수신하면 저전력 모드인 슬립 모드에서 액티브 모드로 전환하고(S604), 센서(110)로부터 센싱 데이터를 수집할 수 있다(S605).
프로세서(140)는 센서(110)로부터 수집한 센싱 데이터를 통해 스와이핑 분석 알고리즘을 수행할 수 있다(S606). 여기서, 스와이핑 분석 알고리즘이란 사용자의 입력 디바이스(100)에 대한 동작이 스와이핑 동작에 해당되는지 판단하는 알고리즘일 수 있다. 스와이핑 분석 알고리즘에 따라 사용자의 동작이 스와이핑 동작으로 판단되는 경우, 프로세서(140)는 사용자 발화 의도가 있는 것으로 판단하고 전자 장치(200)로 발화 의도 감지 정보를 전송할 수 있다(S607-Y, S403). 프로세서(140)는 사용자 발화 의도가 없는 것으로 판단되면 다시 센싱 데이터를 수집할 수 있다(S607-N, S402-N).
도 6b는 도 6a의 스와이핑 분석 알고리즘을 수행하는 단계(S606)를 세부적으로 나타내는 도면이다.
도 6b에 따르면, 프로세서(140)는 광량 측정부(114)를 통해 측정된 광량 데이터를 수집할 수 있다(S610). 광량 측정부(114)에 포함된 광량 측정 센서는 적어도 하나 이상일 수 있다. 도 6b는 광량 측정 센서가 2개인 경우를 상정하여 설명하도록 한다. 제1 광량 측정 센서에서 측정된 광량 값이 기설정된 값 이상이면(S611-Y), 프로세서(140)는 'Entry Time'을 저장할 수 있다(S612). 여기서, 'Entry Time'이란 광량 측정부(114)에서 측정된 광량 값이 기설정된 값 이상에 도달한 시점을 의미한다.
이후, 제1 광량 측정 센서에서 측정된 광량 값이 기설정된 값 미만이면(S613-Y), 프로세서(140)는 'Exit Time'을 저장할 수 있다(S614). 여기서, 'Exit Time'이란 광량 측정부(114)에서 측정된 광량이 기설정된 값 미만이 된 시점을 의미한다. 제2 광량 측정 센서에서도 제1 광량 측정 센서와 같은 단계(S611 내지 S614)를 수행할 수 있다.
프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 'Exit Time'이 저장되었는지 판단할 수 있다(S615). 즉, 프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 측정된 광량 값이 기설정된 값 미만인지 판단할 수 있다. 프로세서(140)는 제1 광량 측정 센서 및 제2 광량 측정 센서에서 'Exit Time'이 저장되었으면 각 광량 측정부에서의 'Exit Time'이 해당 광량 측정부에서의 'Entry Time'과 1초 미만의 시간 차이가 있는지 여부를 판단할 수 있다(S615-Y, S616). 모든 광량 측정부에서의 'Exit Time'이 해당 광량 측정부에서의 'Entry Time'과 1초 미만의 시간 차이가 있는 것으로 판단되면, 프로세서(140)는 사용자의 동작을 스와이핑 동작으로 판단할 수 있다(S617).
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 터치 동작을 설명하기 위한 시퀀스도이다.
도 7a는 도 4의 접근 동작 수행(S401)에 따른 사용자 발화 의도 여부를 판단하는 단계(S402)를 세부적으로 나타내는 도면이다.
도 7a에 따르면, 사용자가 입력 디바이스(100)에 대한 터치 동작을 수행하면(S701), 터치 센서(160)는 오브젝트(예를 들어, 사용자의 손)와 터치 센서(160)의 접촉 여부를 판단할 수 있다(S702). 터치 센서(160)는 오브젝트와 터치 센서(160)가 접촉된 것으로 판단되면 프로세서(140)로 접촉 감지 신호를 전송할 수 있다(S702-Y). 프로세서(140)는 터치 센서(160)로부터 접촉 감지 신호를 수신하면 저전력 모드인 슬립 모드에서 액티브 모드로 전환하고(S703), 터치 센서(160)로부터 센싱 데이터를 수집할 수 있다(S704).
모션 센서(150)는 입력 디바이스(100)의 움직임 발생 여부를 판단하여 움직임이 감지된 경우 프로세서(140)로 움직임 감지 신호를 전송할 수 있다(S705-Y).
프로세서(140)는 수집한 센싱 데이터에 기초하여 터치 분석 알고리즘을 수행할 수 있다(S706). 여기서, 터치 분석 알고리즘이란 사용자의 입력 디바이스(100)에 대한 동작이 터치 동작에 해당되는지 판단하는 알고리즘일 수 있다. 터치 분석 알고리즘에 따라 사용자의 동작이 터치 동작으로 판단되는 경우, 프로세서(140)는 사용자 발화 의도가 있는 것으로 판단하고 전자 장치(200)로 발화 의도 감지 정보를 전송할 수 있다(S707-Y, S403). 프로세서(140)는 사용자 발화 의도가 없는 것으로 판단되면 다시 센싱 데이터를 수집할 수 있다(S707-N, S402-N).
도 7b는 도 7a의 터치 분석 알고리즘을 수행하는 단계(S706)를 세부적으로 나타내는 도면이다.
도 7b에 따르면, 프로세서(140)는 터치 센서(160)로부터 오브젝트와 터치 센서(160) 간의 접촉 상태 데이터를 수집할 수 있다(S711). 프로세서(140)는 수집된 데이터에 기초하여 오브젝트와 터치 센서(160)가 접촉 된 것으로 판단되면 모션 센서(150)로부터 움직임 감지 신호 수신 여부를 판단할 수 있다(S712-Y, S713). 프로세서(140)는 움직임 감지 신호가 수신되는 경우 사용자가 입력 디바이스(100)에 대한 동작이 터치 동작이 아닌 파지 동작으로 판단할 수 있다(S713-Y, S714). 프로세서(140)는 움직임 감지 신호가 수신되지 않는 경우 입력 디바이스(100)에 대한 사용자 동작을 터치 동작으로 판단할 수 있다(S713-N, S715).
도 8은 본 발명의 일 실시 예에 따른 파지 동작을 설명하기 위한 시퀀스도이다.
도 8은 도 5a의 파지 분석 알고리즘을 수행하는 단계(S510)를 세부적으로 나타내는 도면이다.
도 8에 따르면, 프로세서(140)는 모션 센서(150)로부터 자이로 센서 값을 수집할 수 있다(S801). 프로세서(140)는 X, Y, Z축 자이로 센서 값이 기설정된 값보다 큰 경우(S802-Y), 입력 디바이스(100)에 대한 사용자 동작을 파지 동작으로 판단할 수 있다(S804). 프로세서(140)는 X, Y, Z축 자이로 센서 값이 기설정된 값보다 크지 않은 경우(S802-N), 입력 디바이스(100)의 움직임 발생 횟수가 기설정된 횟수 이상인지 판단할 수 있다. 프로세서(140)는 움직임 발생 횟수가 기설정된 횟수 이상이면 입력 디바이스(100)에 대한 사용자 동작을 파지 동작으로 판단할 수 있다(S803-Y, S804). 프로세서(140)는 액티브 모드로 전환된 시점부터 1초가 경과되기 전까지 S801 내지 S803 단계를 반복할 수 있다(805-N).
도 9a 내지 도9c는 본 발명의 일 실시 예에 따른 피드백 제공부에서 제공하는 피드백을 설명하기 위한 도면이다.
일 실시 예에 따르면, 복수의 LED 광원(920 내지 940)은 마이크(910)를 기준으로 대칭 형태이며, 대칭되는 위치에 있는 각 LED 광원(920, 930 또는 940)은 동시에 발광되거나 동시에 발광이 종료될 수 있다.
도 9a는 음성 인식이 가능한 상태를 나타내는 피드백을 설명하기 위한 도면이다.
음성 인식이 가능한 상태란 사용자의 호버링 동작, 스와이핑 동작 또는 터치 동작에 따라 음성 인식이 개시되어 음성 인식이 가능한 상태 또는 추가 음성 신호의 수신이 필요한 상황임을 나타내기 위해 음성 인식이 가능한 상태일 수 있다.
음성 인식이 개시되어 음성 인식이 가능한 상태를 나타내기 위해, 입력 디바이스(100)는 마이크(910)에 인접한 LED 광원(920)을 발광하고, 다음 LED 광원(930)을 발광하고, 마이크(910)에서 가장 먼 LED 광원(940)을 발광할 수 있다. 이후, 입력 디바이스(100)는 마이크(910)에 인접한 방향으로 순차적으로 발광된 LED 광원을 종료하고, 마이크(910)에 가장 인접한 LED 광원(920)만을 발광된 상태로 유지할 수 있다.
추가 음성 신호의 수신이 필요한 상황임을 나타내기 위해, 음성 인식이 개시되었음을 알리는 LED 발광 패턴과 동일한 패턴을 제공하되 마이크(910)에 가장 인접한 LED 광원(920)이 발광된 상태로 유지되는 것과 달리 연속적으로 LED 광원이 발광되고 종료되는 패턴을 반복하여 깜빡이는 패턴을 제공할 수 있다.
다만, 음성 인식이 가능한 상태를 알리는 피드백이 이에 한정되는 것은 아니다. 예를 들어, 다른 패턴으로 LED 광원이 발광되거나, 스피커(180)에서 음성 또는 음향이 출력될 수 있으며, 입력 디바이스(100)가 진동할 수도 있다.
도 9b는 사용자 발화가 유지되는 상태를 나타내는 도면이다.
사용자 발화가 유지되는 상태란 마이크(910)를 통해 수신되는 음성이 기설정된 데시벨 이상이고, 기설정된 데시벨 이상의 음성이 기설정된 시간 동안 유지되는 상태일 수 있다.
사용자 발화가 유지되는 상태를 나타내기 위해, 입력 디바이스(100)는 마이크(910)에 인접한 LED 광원(920)을 발광하고, 다음 LED 광원(930)을 발광하고, 마이크(910)에서 가장 먼 LED 광원(940)을 발광할 수 있다. 이후, 입력 디바이스(100)는 마이크(910)에 인접한 방향(점선 방향)으로 순차적으로 LED 광원의 발광을 종료하며 다시 마이크(910)에 먼 방향(실선 방향)으로 순차적으로 LED 광원의 발광을 반복할 수 있다. 사용자 발화가 종료될 때까지 이러한 LED 발광 패턴을 제공할 수 있다.
다만, 사용자 발화가 유지되는 상태를 나타내는 피드백이 이에 한정되는 것은 아니다. 예를 들어, 다른 패턴으로 LED 광원이 발광되거나, 스피커(180)에서 음성 또는 음향이 출력될 수 있으며, 입력 디바이스(100)가 진동할 수도 있다.
도 9c는 음성 인식이 불가능한 상태를 나타내는 도면이다.
음성 인식이 불가능한 상태란 입력 디바이스(100)에서 음성 인식을 개시하기 위한 사용자 동작이 감지되지 않으며, 추가 음성 신호의 수신이 필요한 상황이 아닌 경우일 수 있다.
음성 인식이 불가능한 상태를 나타내기 위해, 입력 디바이스(100)는 LED 광원(920 내지 940)에서 LED 광원을 발광시키지 않을 수 있다.
다만, 음성 인식이 불가능한 상태를 나타내는 피드백이 이에 한정되는 것은 아니다. 예를 들어, 다른 패턴으로 LED 광원이 발광되거나, 스피커(180)에서 음성 또는 음향이 출력될 수 있으며, 입력 디바이스(100)가 진동할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 입력 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 10에 따르면, 입력 디바이스(100)는 센서를 통해 센싱된 센싱 값에 기초하여 호버링 동작이 식별되면, 전자 장치(200)로 발화 의도 감지 정보를 전송할 수 있다(S1010). 다만, 호버링 동작에 한정되는 것은 아니며 스와이핑(Swiping) 또는 터치 동작이 식별되면, 전자 장치(200)로 발화 의도 감지 정보를 전송할 수도 있다. 여기서, 발화 의도 감지 정보란 사용자의 발화가 시작될 수 있음을 알리는 정보일 수 있다.
입력 디바이스(100)는 전자 장치(200)로부터 음성 인식 개시 명령 및 피드백 정보가 수신되면, 마이크(120)를 활성화하고 피드백 정보에 따른 피드백을 제공할 수 있다(S1020).
이후, 입력 디바이스(100)는 마이크(120)를 통해 수신된 음성 신호를 전자 장치(200)로 전송할 수 있다.
각 단계의 상세 동작에 대해서는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 예를 들어, 광 출력부(112)에 복수의 광원이 포함되고, 광량 측정부(114)가 복수의 광원 각각에 대응되는 복수의 광량 측정 센서를 포함하는 경우를 상정하도록 한다. 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 입력 디바이스 110: 센서
120: 마이크 130: 통신부
140: 프로세서 200: 전자 장치

Claims (17)

  1. 입력 디바이스에 있어서,
    센서;
    마이크;
    통신부; 및
    상기 센서를 통해 획득된 신호에 기초하여 사용자의 동작이 식별되면, 전자 장치로 음성 입력 의도에 대응하는 정보를 전송하고,
    상기 음성 입력 의도에 대응하는 정보에 기초하여 마이크 활성화 의도를 식별한 상기 전자 장치로부터 상태 정보 및 음성 인식에 대응되는 기능 개시 명령을 수신하고,
    상기 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되는 정보이면, 상기 상태 정보 및 음성 인식에 대응되는 기능 개시 명령에 기초하여 상기 마이크를 활성화하고 상기 음성 인식에 대응되는 기능의 수행 가능한 상태에 대응되는 정보를 제공하도록 제어하고, 상기 활성화된 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송하고,
    상기 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되지 않는 정보이면, 사용자 음성 입력이 유지되는 상태 및 상기 음성 인식에 대응되는 기능의 수행이 불가능한 상태 중 적어도 하나에 대응되는 정보를 제공하도록 제어하는 프로세서;를 포함하는 입력 디바이스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 신호를 상기 전자 장치로 전송 후 상기 마이크를 비활성화하거나, 상기 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않으면 상기 마이크를 비활성화하는, 입력 디바이스.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 마이크가 비활성화된 후, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상태임을 나타내는 정보가 수신되면 상기 마이크를 활성화하는, 입력 디바이스.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상태임을 나타내는 정보가 수신되면, 상기 수신된 정보에 기초하여 추가 발화 요청에 대응되는 정보를 제공하도록 제어하는, 입력 디바이스.
  5. 제1항에 있어서,
    상기 센서는,
    적어도 하나의 광 출력부 및 광량 측정부를 포함하고,
    상기 프로세서는,
    광을 출력하도록 상기 광 출력부를 제어하고, 상기 광량 측정부를 통해 측정된 상기 출력된 광의 반사량에 기초하여 상기 사용자의 동작을 식별하는, 입력 디바이스.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 프로세서가 제공하는 정보는,
    상기 사용자의 동작에 대응되는 피드백 정보이며,
    상기 피드백 정보는,
    피드백의 타입, 상기 피드백의 타입에 따른 패턴, 상기 피드백의 타입에 따른 강도 중 적어도 하나를 포함하는, 입력 디바이스.
  9. 입력 디바이스 제어 방법에 있어서,
    센서를 통해 획득된 신호에 기초하여 사용자의 동작이 식별되면, 전자 장치로 음성 입력 의도에 대응하는 정보를 전송하는 단계;
    상기 음성 입력 의도에 대응하는 정보에 기초하여 마이크 활성화 의도를 식별한 상기 전자 장치로부터 상태 정보 및 음성 인식에 대응되는 기능 개시 명령을 수신하는 단계;
    상기 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되는 정보이면, 상기 상태 정보 및 음성 인식에 대응되는 기능 개시 명령에 기초하여 상기 마이크를 활성화하고 상기 음성 인식에 대응되는 기능의 수행 가능한 상태에 대응되는 정보를 제공하고, 상기 활성화된 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송하는 단계; 및
    상기 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되지 않는 정보이면, 사용자 음성 입력이 유지되는 상태 및 상기 음성 인식에 대응되는 기능의 수행이 불가능한 상태 중 적어도 하나에 대응되는 정보를 제공하는 단계; 를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 음성 신호를 상기 전자 장치로 전송 후 상기 마이크를 비활성화하거나, 상기 음성 신호 수신 후 기설정된 시간 동안 추가 음성 신호가 수신되지 않으면 상기 마이크를 비활성화하는 단계;를 더 포함하는, 제어 방법.
  11. 제10항에 있어서,
    상기 마이크가 비활성화된 후, 상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상태임을 나타내는 정보가 수신되면 상기 마이크를 활성화하는 단계;를 더 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 전자 장치로부터 추가 음성 신호의 수신이 필요한 상태임을 나타내는 정보가 수신되면, 상기 수신된 정보에 기초하여 추가 발화 요청에 대응되는 정보를 제공하는 단계;를 더 포함하는, 제어 방법.
  13. 제9항에 있어서,
    상기 음성 입력 의도에 대응하는 정보를 전송하는 단계는,
    광을 출력하고, 상기 출력된 광의 반사량에 기초하여 상기 사용자의 동작을 식별하는, 제어 방법.
  14. 삭제
  15. 삭제
  16. 제9항에 있어서,
    상기 제공되는 정보는,
    상기 사용자의 동작에 대응되는 피드백 정보이며,
    상기 피드백 정보는,
    상기 피드백의 타입, 상기 피드백의 타입에 따른 패턴, 상기 피드백의 타입에 따른 강도 중 적어도 하나를 포함하는, 제어 방법.
  17. 입력 디바이스 및 전자 장치를 포함하는 시스템에 있어서,
    센서를 통해 획득된 신호에 기초하여 사용자의 동작이 식별되면, 상기 전자 장치로 음성 입력 의도에 대응하는 정보를 전송하는 입력 디바이스; 및
    상기 입력 디바이스로부터 상기 음성 입력 의도에 대응하는 정보가 수신되면, 상태 정보 및 음성 인식에 대응되는 기능 개시 명령을 상기 입력 디바이스로 전송하는 전자 장치;를 포함하며,
    상기 입력 디바이스는,
    상기 전자 장치로부터 수신된 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되는 정보이면, 상기 상태 정보 및 음성 인식에 대응되는 기능 개시 명령에 기초하여 마이크를 활성화하고 상기 음성 인식에 대응되는 기능의 수행 가능한 상태에 대응되는 정보를 제공하고, 상기 활성화된 마이크를 통해 수신된 음성 신호를 상기 전자 장치로 전송하고,
    상기 상태 정보가 상기 전자 장치의 음성 인식에 대응되는 기능 수행 가능 상태에 대응되지 않는 정보이면, 사용자 음성 입력이 유지되는 상태 및 상기 음성 인식에 대응되는 기능의 수행이 불가능한 상태 중 적어도 하나에 대응되는 정보를 제공하는, 시스템.
KR1020170128076A 2017-09-29 2017-09-29 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법 KR102419597B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170128076A KR102419597B1 (ko) 2017-09-29 2017-09-29 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
US16/046,345 US10971143B2 (en) 2017-09-29 2018-07-26 Input device, electronic device, system comprising the same and control method thereof
PCT/KR2018/011513 WO2019066541A1 (en) 2017-09-29 2018-09-28 INPUT DEVICE, ELECTRONIC DEVICE, SYSTEM COMPRISING THE SAME, AND CORRESPONDING CONTROL METHOD
CN201880056599.7A CN111095192B (zh) 2017-09-29 2018-09-28 输入设备、电子设备、包括输入设备和电子设备的***及其控制方法
EP18861444.0A EP3631615A4 (en) 2017-09-29 2018-09-28 INPUT DEVICE, ELECTRONIC DEVICE, SYSTEM THEREFOR, AND CONTROL METHOD THEREFOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170128076A KR102419597B1 (ko) 2017-09-29 2017-09-29 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190038069A KR20190038069A (ko) 2019-04-08
KR102419597B1 true KR102419597B1 (ko) 2022-07-11

Family

ID=65897366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170128076A KR102419597B1 (ko) 2017-09-29 2017-09-29 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10971143B2 (ko)
EP (1) EP3631615A4 (ko)
KR (1) KR102419597B1 (ko)
CN (1) CN111095192B (ko)
WO (1) WO2019066541A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US20220366904A1 (en) * 2021-04-21 2022-11-17 Meta Platforms, Inc. Active Listening for Assistant Systems
WO2024071946A1 (ko) * 2022-09-26 2024-04-04 삼성전자 주식회사 음성 특성 기반 번역 방법 및 이를 위한 전자 장치

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
JP3950825B2 (ja) 2003-07-24 2007-08-01 埼玉日本電気株式会社 携帯電話装置並びにそのユーザインタフェース
US20070299670A1 (en) * 2006-06-27 2007-12-27 Sbc Knowledge Ventures, Lp Biometric and speech recognition system and method
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US20110099596A1 (en) * 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
JP2013003911A (ja) 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム
JP5790238B2 (ja) * 2011-07-22 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
HK1186912A2 (en) 2013-01-25 2014-03-21 Zhipei Wang Remote control system and device
CN103970260B (zh) 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
CN104969289B (zh) * 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
KR20140112910A (ko) 2013-03-14 2014-09-24 삼성전자주식회사 입력 제어 방법 및 이를 지원하는 전자 장치
JP2015012301A (ja) 2013-06-26 2015-01-19 京セラ株式会社 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法
KR20150010494A (ko) 2013-07-19 2015-01-28 현대자동차주식회사 전자제어장치의 프로그램 업데이트 방법
KR102203349B1 (ko) 2013-08-14 2021-01-18 삼성전자주식회사 대기상태 모드에서 사용자 인터페이스를 제공하는 휴대 단말 및 그 방법
KR20150040445A (ko) * 2013-10-07 2015-04-15 삼성전자주식회사 사용자 음성을 입력받는 원격 제어 장치 및 그 방법
KR20150086926A (ko) 2014-01-21 2015-07-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
KR102188268B1 (ko) 2014-10-08 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170010494A (ko) 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102423367B1 (ko) * 2015-09-17 2022-07-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
EP3157266B1 (en) * 2015-10-16 2019-02-27 Nxp B.V. Controller for a haptic feedback element
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20190130898A1 (en) * 2017-11-02 2019-05-02 GM Global Technology Operations LLC Wake-up-word detection
US10529356B2 (en) * 2018-05-15 2020-01-07 Cirrus Logic, Inc. Detecting unwanted audio signal components by comparing signals processed with differing linearity
US10957341B2 (en) * 2018-12-28 2021-03-23 Intel Corporation Ultrasonic attack detection employing deep learning
KR20190089128A (ko) * 2019-07-10 2019-07-30 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2015-0040445호(2015.04.15.) 1부*
공개특허공보 제10-2017-0033755호(2017.03.27.) 1부*

Also Published As

Publication number Publication date
US10971143B2 (en) 2021-04-06
US20190103108A1 (en) 2019-04-04
WO2019066541A1 (en) 2019-04-04
EP3631615A4 (en) 2020-04-29
CN111095192A (zh) 2020-05-01
KR20190038069A (ko) 2019-04-08
EP3631615A1 (en) 2020-04-08
CN111095192B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
KR102419597B1 (ko) 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
US10198239B2 (en) Gesture-controlled tabletop speaker system
EP3387628B1 (en) Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US9955248B2 (en) Wearable electronic device
US9891719B2 (en) Impact and contactless gesture inputs for electronic devices
US20200252715A1 (en) Wireless Earpiece and Control Method Therefor
KR101690118B1 (ko) 전자 기기의 알람 시계를 제어하는 방법 및 전자 기기
EP3458872B1 (en) Gesture-enabled audio device with visible feedback
KR20150112337A (ko) 디스플레이 장치 및 그 사용자 인터랙션 방법
US20170076581A1 (en) Touchless compliance system
US20200265651A1 (en) Display device, user terminal device, display system including the same and control method thereof
WO2017044915A1 (en) Touchless compliance system
KR20190065821A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US20180267618A1 (en) Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
KR20190085433A (ko) 무선 헤드셋
CN112865826A (zh) 一种触摸操作的识别方法及穿戴设备
JP2017083216A (ja) 音響操作システム、操作方法およびコンピュータ・プログラム
KR20090001274A (ko) 오디오 재생 기능을 가지는 단말기의 오디오 재생 동작을제어하기 위한 헤드셋 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant