KR20210122568A - 전자 장치 및 그의 오디오 출력을 제어하는 방법 - Google Patents

전자 장치 및 그의 오디오 출력을 제어하는 방법 Download PDF

Info

Publication number
KR20210122568A
KR20210122568A KR1020200039880A KR20200039880A KR20210122568A KR 20210122568 A KR20210122568 A KR 20210122568A KR 1020200039880 A KR1020200039880 A KR 1020200039880A KR 20200039880 A KR20200039880 A KR 20200039880A KR 20210122568 A KR20210122568 A KR 20210122568A
Authority
KR
South Korea
Prior art keywords
electronic device
speaker
call word
microphone
processor
Prior art date
Application number
KR1020200039880A
Other languages
English (en)
Inventor
김용호
김현진
이다영
이재영
이정근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200039880A priority Critical patent/KR20210122568A/ko
Priority to PCT/KR2021/002038 priority patent/WO2021201429A1/ko
Publication of KR20210122568A publication Critical patent/KR20210122568A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H04B5/0006—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3872—Transceivers carried on the body, e.g. in helmets with extendable microphones or earphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치 및 그의 오디오 출력을 제어하는 방법에 관한 것으로, 상기 전자 장치는 음향 신호를 출력하는 제1 스피커; 제1 마이크; 적어도 하나의 호출어를 저장하는 메모리; 및 상기 스피커, 상기 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 감지에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다. 그 밖의 다양한 실시 예들이 가능하다.

Description

전자 장치 및 그의 오디오 출력을 제어하는 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING AUDIO OUTPUT THEREOF}
본 발명의 다양한 실시 예들은 전자 장치 및 그의 오디오 출력을 제어하는 방법에 관한 것이다.
사용자의 신체(예: 귀)에 착용되어 오디오 신호를 출력할 수 있는 휴대용 전자 장치들(예: 헤드 셋, 이어폰, 스마트 글래스(smart glasses), 머리 착용형 장치(head mounted device: HMD))이 보급화되고 있다. 휴대용 전자 장치를 이용하여 다양한 서비스(예: 음악 감상, 동영상 시청, 음성 통화)를 이용하는 사용자들이 증가하고 있다. 예를 들어, 사용자는 휴대용 전자 장치를 외부 전자 장치(예: 스마트 폰, 태블릿 PC, 노트북, 데스크 탑, 또는 착용형(wearable) 단말))와 유선 또는 무선으로 연결하여 일상 생활 중 언제라도 다양한 서비스(예: 음악 감상, 동영상 시청, 음성 통화)를 편리하게 이용할 수 있다.
사용자가 휴대용 전자 장치를 착용하는 경우 전자 장치의 출력부(예: 스피커)가 사용자의 귀 내부(예: 인-이어(in-ear) 타입) 또는 귀 주변에 위치하거나, 귀를 덮을(예: 오버-이어(over-ear) 또는 밀폐 타입) 수 있다. 이로 인하여 휴대용 전자 장치를 이용하여 음악 감상 시 사용자는 외부 소리를 듣지 못할 수 있다.
또한, 최근에는 하드웨어 또는 소프트웨어 적으로 외부 소리를 차단하기 위한 차음(예: 노이즈 캔슬링) 및/또는 차폐 기능을 가지는 휴대용 전자 장치가 제공되고 있다. 이에, 휴대용 전자 장치를 착용한 사용자는 외부 소리를 전혀 또는 거의 듣지 못할 수 있다.
또한, 휴대용 전자 장치가 소형화됨에 따라, 사용자가 착용한 휴대용 전자 장치가 타인에게 노출되지 않을 수 있다. 이에, 사용자는 휴대용 전자 장치의 착용으로 인해 타인의 호출을 듣지 못했음에도 불구하고, 타인에게 자신의 호출을 무시하는 것으로 오해 받을 수 있다.
본 발명의 다양한 실시 예들은 전자 장치를 이용(예: 음악 감상, 동영상 시청)하는 도중 입력 장치(예: 마이크)를 통해 외부 소리를 획득하고, 외부 소리로부터 지정된 호출어의 감지 시 사용자가 외부 소리를 들을 수 있도록 오디오 출력을 제어(또는 제한)할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은 화자 별로 호출어를 설정하여 사용자가 아닌 다른 사용자(타인)를 호출하는 외부 소리에 불필요하게 오디오 출력이 제어되는 것을 감소시킬 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은 전자 장치를 이용하는 도중 외부 소리로부터 지정된 호출어가 감지되었을 때, 외부 소리가 발생한 방향 정보를 사용자에게 제공할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은 외부 소리로부터 지정된 호출어가 감지되었음을 사용자에게 피드백(통지) 및/또는 사용자가 외부 소리를 들을 수 있는 상태임을 사용자를 호출한 호출자(화자)에게 피드백(통지)할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은 볼륨이 지정된 레벨 이상 및/또는 전자 장치의 착용이 감지되었을 때, 외부 소리로부터 지정된 호출어가 검출되는지 여부에 따라 오디오 출력을 제어할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은 전자 장치의 상황 정보(예: 위치, 시간, 이동 여부)에 기초하여 지정된 호출어를 적응적으로 변경할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 음향 신호를 출력하는 제1 스피커; 제1 마이크; 적어도 하나의 호출어를 저장하는 메모리; 및 상기 스피커, 상기 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 감지에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는 제1 서브 장치와 제2 서브 장치를 포함할 수 있다. 상기 제1 서브 장치는 제1 음향 신호를 출력하는 제1 스피커; 제1 마이크; 상기 제2 서브 장치와 무선 통신을 연결하는 제1 무선 통신 회로; 적어도 하나의 호출어를 저장하는 메모리; 및 상기 제1 스피커, 상기 제1 마이크, 상기 제1 무선 통신 회로, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 제2 서브 장치는 제2 음향 신호를 출력하는 제2 스피커; 제2 마이크; 및 상기 제1 무선 통신 회로와 무선 통신을 연결하는 제2 무선 통신 회로를 포함하고, 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 호출어의 감지에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법은, 예를 들면, 다수의 스피커를 통해 오디오 신호를 출력하는 동작; 상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크를 통해 외부 소리를 획득하는 동작; 상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작; 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작; 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 하우징; 상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커; 상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커; 상기 하우징에 포함되는 적어도 하나의 마이크; 화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리; 및 상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고, 상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.
본 발명의 다양한 실시 예들은 오디오 신호를 출력할 수 있는 전자 장치(예: 헤드 셋, 이어폰, 스마트 글래스, 머리 착용형 장치)를 착용한 상태에서, 사용자가 타인의 호출을 용이하게 인지할 수 있고, 외부 소리를 들을 수 있도록 전자 장치가 자동으로 오디오 출력을 제어할 수 있어, 사용자는 전자 장치의 착용을 해제하거나, 볼륨을 조절(예: 뮤트 또는 감소)하는 등의 행위를 수행할 필요없이 호출자와 대화를 수행할 수 있다.
또한, 본 발명의 다양한 실시 예들은 화자별로 호출어를 다르게 설정하여 타인의 호출을 사용자의 호출로 오인식하여 오디오 출력이 불필요하게 제어(제한)되는 불편함을 개선할 수 있다.
또한, 본 발명의 다양한 실시 예들은 사용자를 호출하는 외부 소리가 발생한 방향 정보를 제공하여 사용자가 호출자의 위치(방향)를 용이하게 인지할 수 있다.
또한, 본 발명의 다양한 실시 예들은 사용자를 호출하는 호출어가 감지되었음을 사용자에게 다양한 방식(시각, 청각, 촉각)으로 피드백하여 사용자가 타인에 의해 호출되었음을 용이하게 인지할 수 있다.
또한, 본 발명의 다양한 실시 예들은 사용자가 외부 소리를 들을 수 있는 상태임을 호출자에게 피드백하여 호출자가 사용자를 불필요하게 반복 호출하는 불편함을 해소할 수 있다.
또한, 본 발명의 다양한 실시 예들은 볼륨이 지정된 레벨 이상 및/또는 전자 장치의 착용 시 외부 소리를 획득하고, 호출어를 감지하는 기능을 활성화하도록 하여 전자 장치의 전류 소모를 감소시킬 수 있다.
또한, 본 발명의 다양한 실시 예들은 상황 별로 호출어를 가변하고, 가변된 호출어를 감지 또는 우선적으로 감지하도록 하여 호출어 인식의 효율성(예: 속도 및/또는 정확도)을 향상시킬 수 있다.
도 1은 본 발명의 한 실시 예에 따른 전자 장치가 외부 전자 장치와 무선 통신 연결된 예를 도시한 도면이다.
도 2a 및 도 2b는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이다.
도 3은 본 발명의 한 실시 예에 따른 전자 장치 및 외부 전자 장치 사이의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 4a는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 4b는 본 발명의 다른 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 5는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 동작을 상세히 설명하는 흐름도이다.
도 6a는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 출력을 일시 중지하는 예를 도시한 도면이다.
도 6b는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량 및 외부 소리의 음량을 제어하는 예를 도시한 도면이다.
도 6c는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량을 제어하는 예를 도시한 도면이다.
도 7a는 본 발명의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 방법을 설명하는 흐름도이다.
도 7b는 본 발명의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 예를 도시한 도면이다.
도 8a는 본 발명의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 방법을 설명하는 흐름도이다.
도 8b는 본 발명의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 일 예를 도시한 도면이다.
도 9a는 본 발명의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하여 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 9b는 본 발명의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하는 예를 도시한 도면이다.
도 10은 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 11은 본 발명의 한 실시 예에 따른 전자 장치 및 외부 전자 장치의 블록도이다.
도 12는 본 발명의 다른 실시 예에 따른 전자 장치의 블록도이다.
도 13a는 본 발명의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.
도 13b는 본 발명의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.
도 13c는 본 발명의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.
도 13d는 본 발명의 한 실시 예에 따른 화자별 호출어가 설정된 예를 도시한 도면이다.
도 14는 본 발명의 한 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예들을 설명한다. 본 문서는 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시 예들을 특정한 형태로 한정하려는 것이 아니다. 예를 들어, 본 발명의 실시 예들은 다양하게 변경될 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 한 실시 예에 따른 전자 장치가 외부 전자 장치와 무선 통신 연결된 예를 도시한 도면이고, 도 2a는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이고, 도 2b는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이다.
도 1 내지 도 2b를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(100)는 오디오 신호를 출력할 수 있는 오디오 출력 장치일 수 있다. 예를 들어, 전자 장치(100)는 사용자의 신체에 착용될 수 있고, 오디오 신호를 출력할 수 있는 히어러블(hearable) 장치일 수 있다. 상기 전자 장치(100)는 제1 타입의 무선 이어폰(101), 제2 타입의 무선 이어폰(102), 헤드 셋(103), 머리 착용형 장치(head mounted device: HMD)(104), 또는 스마트 글래스(smart glasses)(105)를 포함할 수 있다. 상기 제1 타입의 무선 이어폰(101)은 한 쌍의 서브 장치(예: 출력 장치)들이 무선(예: bluetooth low energy: BLE)으로 연결될 수 있다. 제2 타입의 무선 이어폰(102)은 한 쌍의 출력 장치들이 유선으로 연결될 수 있다. 이는 일 예일 뿐, 본 발명의 한 실시 예에 따른 전자 장치(100)를 한정하지는 않는다.
다양한 실시 예에 따르면, 전자 장치(100)는 외부 전자 장치(200)와 근거리 무선 통신(예: 블루투스) 채널을 연결(establish)할 수 있다. 상기 전자 장치(100)는 외부 전자 장치(200)로부터 오디오 데이터(예: 음악 데이터, 동영상에 포함된 오디오 데이터, 통화 수신 데이터)를 수신하여 출력할 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는 내부 메모리에 저장된 오디오 데이터를 출력할 수 있다.
다양한 실시 예에 따르면, 전자 장치(100)는 수신된 오디오 데이터에 대응하는 오디오 신호를 출력하는 도중 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득하고, 획득된 외부 소리로부터 적어도 하나의 지정된 호출어가 감지되는지 확인할 수 있다. 상기 외부 소리로부터 적어도 하나의 지정된 호출어가 감지되는 경우 전자 장치(100)는 오디오 출력을 제어(또는 제한)할 수 있다. 예를 들어, 사용자(210)가, 도 2a에 도시된 바와 같이, 전자 장치(100)를 귀에 착용하고 음악을 감상하고 있는 도중 타인(이하, 호출자)(220)이 사용자(210)를 호출하는 상황을 가정하면, 상기 전자 장치(100)는 오디오 신호의 출력에 대응하여, 도 2b에 도시된 바와 같이, 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리들(230a, 230b, 230c, 230d, 240)을 획득하고, 상기 획득된 외부 소리들(230a, 230b, 230c, 230d, 240)에 사용자(210)를 지칭하는 호출어(240)(예: "용호야")가 포함되어 있는지 확인할 수 있다. 상기 호출어(240)가 포함된 것으로 확인되면(또는, 호출어(240)가 감지되면), 전자 장치(100)는 음악의 재생을 일시 중지하고, 마이크를 통해 획득되는 호출자의 음성(250)을 출력 장치(예: 스피커)를 통해 출력할 수 있다.
어떤 실시 예에 따르면, 전자 장치(100)는 호출어의 감지 시 오디오 신호의 재생을 일시 중지, 볼륨을 뮤트 또는 감소, 또는 노이즈 캔슬링 기능을 오프(OFF)하는 동작(기능)들 중 적어도 하나를 수행하여 오디오 출력을 제어할 수 있다. 이에 대한 상세한 설명은 도 5 내지 도 6c를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 전자 장치(100)는 호출어의 감지 시 해당 호출어를 포함하는(또는 호출어에 대응하는) 외부 소리에 기초하여 화자 인식을 수행하고, 상기 감지된 호출어와 상기 인식된 화자가 매칭되는지 확인할 수 있다. 이를 위하여, 전자 장치(100)는 화자 인식을 위한 화자 인식 데이터 베이스(database: DB) 및 화자와 호출어를 매칭한 호출어 DB를 포함(저장)할 수 있다. 어떤 실시 예에 따르면, 화자 인식은 외부 전자 장치(200)에서 수행될 수 있다. 예를 들어, 전자 장치(100)는 획득된 외부 소리의 적어도 일부를 외부 전자 장치(200)로 전송하고, 화자 인식 결과를 수신할 수 있다. 다른 예로, 전자 장치(100)는 획득된 외부 소리의 적어도 일부 및 호출어를 외부 전자 장치(200)로 전송하고, 호출어와 화자의 매칭 여부에 대한 결과를 수신할 수 있다. 상기 감지된 호출어와 상기 인식된 화자가 매칭되는 경우 전자 장치(100)는 오디오 출력을 제어(또는 제한)할 수 있다.
다양한 실시 예에 따르면, 전자 장치(100)는 호출어 감지 시 호출어를 포함하는 외부 소리가 발생한 방향 정보를 인식하고, 인식된 방향 정보를 제공할 수 있다. 예를 들어, 전자 장치(100)는 알려진 다양한 기술(예: 두 귀에 들리는 소리의 시간 차를 이용한 ITD(inter-aural time difference) 기술, 또는 두 귀에 들리는 소리 크기 차를 이용한 ILD(inter-aural level difference) 기술)을 통해 상기 인식된 방향에 대응하는 공간감을 제공하도록 외부 소리를 출력 장치를 통해 출력할 수 있다. 이에 대한 상세한 설명은 도 7a 및 도 7b를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 전자 장치(100)는 호출어 감지 시 사용자 및/또는 사용자를 호출한 화자에게 피드백(또는 통지)을 제공할 수 있다. 예를 들어, 전자 장치(100)는 외부 소리로부터 지정된 호출어가 감지되었음을 사용자에게 다양한 방식으로 피드백할 수 있다. 예를 들어, 전자 장치(100)는 시각(예: 스마트 글래스의 디스플레이에 지정된 메시지 및/또는 아이콘을 표시, 지정된 이펙트(예: 깜박임)를 제공), 청각(예: 지정된 효과음을 스피커를 통해 출력), 및/또는 촉각(예: 지정된 패턴의 진동 발생)적으로 피드백을 제공할 수 있다. 또한, 상기 전자 장치(100)는 외부 소리로부터 지정된 호출어가 감지되었을 때, 사용자가 외부 소리를 들을 수 있는 상태임을 사용자를 호출한 화자에게 다양한 방식으로 피드백(통지)할 수 있다. 예를 들어, 전자 장치(100)는 시각(예: 전자 장치(100)에 포함된 LED를 발광, 전자 장치(100)의 디스플레이에 아이콘을 표시) 또는 청각(예: 전자 장치(100)의 스피커를 통해 지정된 효과음을 사용자의 귀 내부 방향이 아닌 외부 방향으로 출력)적으로 피드백을 제공할 수 있다. 이에 대한 상세한 설명은 도 8a 및 도 8b를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 전자 장치(100)는, 배터리의 소모를 감소시키기 위해, 오디오 신호를 출력하는 동안 적어도 하나의 입력 장치(예: 마이크)를 지속적으로 활성화하지 않고, 볼륨이 지정된 값 이상인 경우 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득할 수 있다. 상기 지정된 값은 사용자가 전자 장치(100)를 착용한 상태에서 외부 소리를 인지할 수 있는 값으로 제조사 또는 사용자에 의해 설정될 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는, 배터리의 소모를 감소시키기 위해, 오디오 신호를 출력하는 도중 사용자의 신체에 착용이 감지되거나, 사용자의 신체에 착용된 상태에서 오디오 신호의 출력이 요청되는 경우 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득할 수 있다. 상기 전자 장치(100)는 착용 여부를 감지하기 위한 적어도 하나의 센서(예: 체온 감지를 위한 온도 센서, 접촉 센서)를 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(100)는 상황 정보에 기초하여 호출어를 적응적으로(adaptively) 변경할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 센서를 통해 획득되는 정보(예: 위치 정보, 시간 및/또는 움직임 정보)에 기초하여 호출어를 적응적으로 변경할 수 있다. 어떤 실시 예에 따르면, 상기 상황 정보는 외부 전자 장치(200)에 의해 획득되고, 상기 전자 장치(100)는 외부 전자 장치(200)로부터 상황 정보를 수신할 수 있다. 이에 대한 상세한 설명은 도 9a 및 도 9b를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 전자 장치(100)는 획득된 외부 소리로부터 호출어가 아닌 특정 기능을 실행하기 위한 키워드가 감지되는지 확인할 수 있다. 예를 들어, 전자 장치(100)는 오디오 신호의 출력도중 "빅스비TM"와 같이 음성 인식 기능을 실행하기 위한 키워드가 감지되는지 확인할 수 있다. 이에 대한 상세한 설명은 도 10을 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 외부 전자 장치(200)는 전자 장치(100)와 근거리 무선 통신(예: 블루투스) 채널을 연결(establish)할 수 있다. 예를 들어, 외부 전자 장치(200)는 스마트 폰, 태블릿 PC, 노트북, 데스트 탑, 착용형 전자 장치(예: 스마트 워치)를 포함할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치(200)는 메모리(미도시)에 저장된 또는 외부 서버로부터 수신되는 멀티미디어 데이터(예: 오디오(예: 음악) 파일, 동영상 파일)를 재생할 수 있다. 외부 전자 장치(200)는 전자 장치(100)와 연결된 경우 재생 중인 멀티미디어 데이터에 포함된 오디오 데이터를 전자 장치(100)로 송신할 수 있다. 또는, 외부 전자 장치(200)는 전자 장치(100)와 무선 통신이 연결된 상태에서 다른 외부 장치와 통화를 수행하는 경우 수화음에 대응하는 오디오 데이터를 전자 장치(100)로 송신할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치(200)는 전자 장치(100)로 오디오 데이터를 송신하는 도중 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리를 획득하고, 획득된 외부 소리를 분석하여 상기 획득된 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다. 상기 호출어가 포함된 경우 외부 전자 장치(200)는 호출어를 전자 장치(100)로 전송할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치(200)는 호출어의 감지 시 오디오 출력을 제어(예: 일시 중지)하고, 호출어 감지를 전자 장치(100)로 통지할 수 있다.
어떤 실시 예에 따르면, 외부 전자 장치(200)는 적어도 하나의 센서(예: 조도 센서, 이미지 센서, 마이크)를 이용하여 외부 상황을 인지하고, 외부 소리를 인식할 수 있는 상황으로 판단되는 경우 외부 소리를 획득할 수 있다. 예를 들어, 외부 전자 장치(200)는 적어도 하나의 센서를 통해 가방 또는 주머니와 같이 밀폐된 공간에 위치하는 것으로 판단되는 경우 외부 소리를 획득하기 위한 적어도 하나의 입력 장치(예: 마이크)를 비활성화할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치(200)는 주기적으로 마이크를 활성화하여 외부 소리가 감지되는지 확인하여 외부 소리를 감지할 수 있는 상황(상태)인지 판단할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치(200)는 호출어 등록을 위한 유저 인터페이스(user interface: UI)를 제공할 수 있다. 이에 대한 상세한 설명은 도 13a 내지 도 13d를 참조하여 후술하기로 한다.
한편, 도 1 내지 도 2b에서는, 전자 장치(100)가 무선 통신 모듈을 통해 외부 전자 장치(200)로부터 오디오 데이터를 수신하여 재생하는 도중 외부 소리를 획득하여 지정된 호출어가 검출되는지 확인하는 것으로 설명하였지만, 전자 장치(100)는 내부 메모리(미도시)에 저장된 오디오 데이터(예: 음악 파일)를 재생하는 도중 외부 소리를 획득하여 지정된 호출어가 검출되는지 확인할 수도 있다.
어떤 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 지정된 호출어가 지정된 횟수(예: 3회) 이상 감지되는 경우 오디오 신호의 출력을 제어할 수 있다.
도 3은 본 발명의 한 실시 예에 따른 전자 장치 및 외부 전자 장치 사이의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 3을 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100)) 및 외부 전자 장치(예: 외부 전자 장치(200))는, 301 동작에서, 근거리 무선 통신(예: 블루투스 통신) 채널이 연결될 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는, 303 동작에서, 멀티미디어 파일을 재생할 수 있다. 상기 멀티 미디어 파일은 오디오 데이터를 포함하는 오디오 파일(예: 음악 파일) 및 동영상 파일을 포함할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 다른 외부 장치와 통화를 수행할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는, 305 동작에서, 멀티미디어 파일에 포함된 오디오 데이터를 전자 장치로 전송할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 상기 다른 외부 장치로부터 수신되는 수화음에 대응하는 오디오 데이터를 전자 장치로 전송할 수 있다.
다양한 실시 예에 따르면, 전자 장치는, 307 동작에서, 오디오 데이터에 대응하는 오디오 신호를 출력할 수 있다. 예를 들어, 전자 장치는 출력 모듈(예: 다수의 스피커)을 통해 오디오 신호를 출력할 수 있다. 상기 출력 모듈은 제1 음향 신호(예: 좌 음향 신호)를 출력하는 제1 스피커 및 제2 음향 신호(예: 우 음향 신호)를 출력하는 제2 스피커를 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치는, 309 동작에서, 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리를 획득할 수 있다. 예를 들어, 전자 장치는 적어도 하나의 마이크를 활성화하고, 적어도 하나의 마이크를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 호출어 감지를 통한 오디오 출력을 제한하는 기능(이하, 호출어 감지 기능)이 활성화된 경우 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치가 외부 소리를 감지하기 위한 마이크(이하, 외부 마이크)와 통화를 위한 마이크(이하, 통화 마이크)를 별도로 포함하는 경우 전자 장치는 외부 마이크를 활성화하고, 외부 마이크를 통해 외부 소리를 획득할 수 있다.
다양한 실시 예에 따르면, 전자 장치는, 311 동작에서, 외부 소리로부터 적어도 하나의 지정된 호출어를 감지할 수 있다. 예를 들어, 전자 장치는 외부 소리를 분석하여 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다.
다양한 실시 예에 따르면, 전자 장치는, 313 동작에서, 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 전자 장치는 오디오 신호의 재생을 일시 중지, 볼륨을 뮤트 또는 감소, 노이즈 캔슬링 기능을 오프(OFF) 또는 마이크를 통해 획득되는 호출자의 음성을 출력 장치(예: 스피커)로 출력하는 동작(기능)들 중 적어도 하나를 수행할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는, 315 동작 및 317동작에서, 상술한 309 동작 및 311 동작과 유사하게 외부 전자 장치에 포함된 입력 장치(마이크)를 통해 외부 소리를 획득하고, 외부 소리로부터 적어도 하나의 지정된 호출어를 감지할 수 있다. 외부 전자 장치는, 319 동작에서, 호출어의 감지를 전자 장치로 통지할 수 있다. 상기 315 내지 319 동작은 생략될 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 적어도 하나의 센서를 통해 외부 상황을 인지하고, 마이크를 통해 외부 소리를 감지할 수 있는 것으로 판단되는 경우 315 내지 319 동작을 수행할 수 있다.
도 4a는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 4a를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 401 동작에서, 오디오 신호를 출력할 수 있다. 예를 들어, 프로세서는 무선 통신 모듈을 통해 연결된 외부 전자 장치(예: 외부 전자 장치(200))로부터 수신되는 오디오 데이터에 대응하는 오디오 신호를 다수의 출력 장치(예: 스테레오 스피커)를 통해 출력할 수 있다. 어떤 실시 예에 따르면, 프로세서는 내부 메모리에 저장된 멀티미디어 파일(예: 오디오 파일(예: 음악 파일), 동영상 파일)에 포함된 오디오 데이터에 대응하는 오디오 신호를 다수의 출력 장치를 통해 출력할 수 있다. 어떤 실시 예에 따르면, 프로세서는 오디오 신호의 출력 시 외부 소리를 감소 또는 차단할 수 있는 기능(예: 노이즈 캔슬링(noise cancelling) 기능)을 자동 또는 사용자 요청에 따라 온할 수 있다.
다양한 실시 예에 따른 프로세서는, 403 동작에서, 외부 소리를 획득할 수 있다. 예를 들어, 프로세서는 오디오 신호의 출력에 대응하여 적어도 하나의 입력 장치(예: 마이크)를 활성화하고, 활성화된 적어도 하나의 입력 장치를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 호출어 감지 기능의 활성화 여부를 확인하고, 활성화된 경우 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치가 음성 통화를 위한 마이크(통화 마이크) 및 외부 소리를 획득하기 위한 마이크(외부 마이크)를 별도로 포함하는 경우 상기 프로세서는 외부 마이크를 활성화할 수 있다. 어떤 실시 예에 따르면, 프로세서는 볼륨이 지정된 값 이상 및/또는 전자 장치가 사용자의 신체(예: 귀)에 착용된 것으로 확인된 경우 외부 소리를 획득할 수 있다.
다양한 실시 예에 따른 프로세서는, 405 동작에서, 외부 소리로부터 지정된 호출어가 검출되는지 확인할 수 있다. 예를 들어, 프로세서는 입력 장치를 통해 획득된 외부 소리를 분석하여 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다.
상기 405 동작의 확인 결과, 외부 소리로부터 지정된 호출어가 감지되지 않는 경우 프로세서는 후술하는 411 동작으로 진행할 수 있다. 반면에, 상기 405 동작의 확인 결과, 외부 소리로부터 지정된 호출어가 감지되는 경우 프로세서는, 407 동작에서, 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 프로세서는 사용자가 외부 소리를 인지할 수 있도록 외부 전자 장치에 오디오 신호의 출력을 일시 중지하도록 요청하거나, 오디오 신호의 볼륨을 뮤트 또는 감소시키거나, 노이즈 캔슬링 기능을 오프시키거나, 입력 장치를 통해 입력된 외부 소리를 출력 장치를 통해 출력할 수 있다. 오디오 신호의 출력을 제어하는 예들에 대한 상세한 설명은 도 5 내지 6c를 참조하여 후술하기로 한다.
다양한 실시 예에 따른 프로세서는, 409 동작에서, 프로세서는 오디오 신호의 출력의 재개(resume)가 요청되는지 확인할 수 있다. 예를 들어, 프로세서는 사용자에 의해 오디오 신호의 출력이 재개(resume)되는지 확인할 수 있다. 어떤 실시 예에 따르면, 프로세서는 호출어에 대응하는 화자의 발화가 종료되는지 여부를 감지하고, 발화가 종료되는 경우 오디오 신호의 출력의 재개가 요청된 것으로 인식할 수 있다. 전자 장치는 발화의 종료 여부를 판단하기 위한 장치(또는 소프트웨어 모듈)(예: end point detection: EPD)을 포함할 수 있다.
상기 411 동작의 확인 결과 상기 오디오 신호의 출력의 재개가 요청되지 않는 경우 프로세서는 409 동작을 유지할 수 있다. 반면에, 상기 409 동작의 확인 결과, 상기 출력의 재개가 요청되는 경우 프로세서는, 411 동작에서, 오디오 신호의 출력이 종료되는지 확인할 수 있다. 예를 들어, 프로세서는 외부 전자 장치로부터 오디오 데이터가 지정된 시간(예: 0.5 초)이상 미수신되는지 확인할 수 있다. 또는, 프로세서는 멀티미디어의 재생이 일시 중지, 중지 또는 종료되는지 확인할 수 있다.
상기 411 동작의 확인 결과 오디오 신호의 출력이 종료되지 않는 경우 프로세서는 오디오 신호의 출력을 재개하고, 403 동작으로 복귀할 수 있다. 반면에, 상기 411 동작의 확인 결과 오디오 신호의 출력이 종료되는 경우 프로세서는 403 동작에서 활성화된 마이크를 비활성화하고, 본 발명의 한 실시 예에 따른 오디오 신호의 출력 제어를 종료할 수 있다.
도 4b는 본 발명의 다른 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 4b를 참조하면, 본 발명의 다른 실시 예에 따른 전자 장치(예: 전자 장치(100))는 화자 별 호출어 인식을 지원할 수 있다. 상기 도 4b의 431 동작, 433 동작 및 435 동작은 도 4a의 401 동작, 403 동작, 및 405 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
다양한 실시 예에 따른 프로세서는, 437 동작에서, 호출어에 대응하는 외부 소리(이하, 발화)에 대한 화자 인식을 수행할 수 있다. 전자 장치는 화자 인식 DB를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 상기 발화의 적어도 일부를 외부 전자 장치로 전송하고, 외부 전자 장치로부터 화자 정보를 수신할 수 있다.
다양한 실시 예에 따른 프로세서는, 439 동작에서, 감지된 호출어와 인식된 화자가 매칭되는지 확인할 수 있다. 예를 들어, 프로세서는, 호출어 DB를 참조하여, 호출어 "여보(honey)"가 감지된 경우 인식된 화자가 "배우자(wife)"인지 확인할 수 있다. 호출어 DB에 대한 상세한 설명은 도 11을 참조하여 후술하기로 한다.
상기 439 동작의 확인 결과, 감지된 호출어와 인식된 화자가 매칭되지 않는 경우 프로세서는 후술하는 445 동작으로 진행할 수 있다. 반면에, 상기 439 동작의 확인 결과, 감지된 호출어와 인식된 화자가 매칭되는 경우 프로세서는 441 동작을 수행할 수 있다. 상기 도 4b의 441 동작, 443 동작 및 445 동작은 도 4a의 407 동작, 409 동작, 및 411 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
상술한 본 발명의 다른 실시 예는 화자 별로 호출어를 설정하여 오디오 출력의 제어에 대한 효율성을 향상시킬 수 있다. 예들 들어, 본 발명의 다른 실시 예는 사용자가 아닌 다른 사용자를 호출하는 외부 소리에 불필요하게 오디오 출력이 제어되는 불편함을 감소시킬 수 있다.
도 5는 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 동작을 상세히 설명하는 흐름도이고, 도 6a는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 출력을 일시 중지하는 예를 도시한 도면이고, 도 6b는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량 및 외부 소리의 음량을 제어하는 예를 도시한 도면이고, 도 6c는 본 발명의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량을 제어하는 예를 도시한 도면이다.
도 5 내지 도 6c를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 501동작에서, 음악이 재생 중인지 확인할 수 있다. 상기 501 동작의 확인 결과, 음악이 재생 중인 경우 프로세서는, 503 동작에서, 음악 재생을 일시 중지 또는 볼륨을 제어할 수 있다. 예를 들어, 전자 장치에 저장된 음악을 재생 중인 경우 프로세서는 음악 재생 어플리케이션에 일시 중지를 명령하거나, 볼륨을 제어(예: 뮤트 또는 감소)할 수 있다. 다른 예로, 외부 전자 장치로부터 음악을 수신하여 재생 중인 경우 프로세서는, 도 6a에 도시된 바와 같이, 호출어(601)의 감지 시 음악의 일시 중지를 요청하는 메시지를 외부 전자 장치로 전송(602)할 수 있다. 상기 메시지를 수신한 외부 전자 장치는 음악의 재생을 일시 중지(603)할 수 있다.
어떤 실시 예에 따르면, 프로세서는 오디오 신호 및 외부 신호를 동시에 출력할 수 있다. 예를 들어, 프로세서는, 도 6b의 식별 부호 607의 구간에 도시된 바와 같이, 호출어(601)의 감지 시 오디오 신호에 대한 음량을 지정된 제1 값(V1)까지 서서히 감소시키고, 외부 신호에 대한 음량을 지정된 제2 값(V2)까지 서서히 증가시킬 수 있다. 이와 같이, 외부 신호에 대한 음량을 상대적으로 크게 출력함에 따라 사용자는 외부 소리를 용이하게 인지할 수 있다. 한편, 프로세서는, 도 6b의 식별 부호 609 구간에 도시된 바와 같이, 호출어(601)에 대응하는 발화(605)의 종료가 감지되면, 오디오 신호의 음량을 원 상태로 서서히 증가시키고, 외부 소리의 출력을 서서히 차단할 수 있다.
어떤 실시 예에 따르면, 프로세서는 다수의 출력 장치들 중 일부의 오디오 출력을 제어할 수 있다. 예를 들어, 도 6c에 도시된 바와 같이, 전자 장치가 제1 서브 장치(예: 좌 음향 장치)(611) 및 제2 서브 장치(예: 우 음향 장치)(612)를 포함하는 경우 프로세서는 제1 서브 장치(611)에 포함된 입력 장치(마이크) 및 제2 서브 장치(612)에 포함된 입력 장치(마이크)를 통해 외부 신호를 각각 획득하고, 획득된 외부 신호들의 세기를 비교하고, 세기가 큰 외부 신호가 획득된 서브 장치(예: 도 6b의 경우 제1 서브 장치(611))에 대한 오디오 출력을 제어(예: 뮤트 또는 볼륨을 감소)할 수 있다. 이는 화자가 위치한 방향의 입력 장치(마이크)에 의해 획득되는 외부 소리가 상대적으로 큰 세기를 가지는 특성 때문이다. 어떤 실시 예에 따르면, 프로세서는 화자가 위치한 방향의 서브 장치에 대한 오디오 출력만을 제어하여 사용자가 외부 소리를 인지하도록 할 수 있다.
상기 501 동작의 확인 결과, 음악 재생 중이 아닌 경우 프로세서는, 505 동작에서, 현재 미디어 음량(볼륨)이 지정된 임계치 이상인지 확인할 수 있다. 상기 505 동작의 확인 결과, 미디어 음량이 임계치 이상인 경우 프로세서는, 507 동작에서, 미디어 음량을 지정된 음량으로 감소 또는 뮤트시킬 수 있다.
상기 505 동작의 확인 결과, 미디어 음량이 임계치 이상이 아닌 경우 프로세서는, 509 동작에서, 노이즈 캔슬링 기능이 활성화되어 있는지 확인할 수 있다. 상기 509 동작의 확인 결과, 노이즈 캔슬링 기능이 활성화된 경우 프로세서는, 511 동작에서, 노이즈 캔슬링 기능을 비활성화할 수 있다.
상기 511 동작의 확인 결과, 노이즈 캔슬링 기능이 비활성화된 경우 프로세서는, 513 동작에서, 통화 중인지 확인할 수 있다. 상기 513 동작의 확인 결과 통화 중인 경우 프로세서는, 515 동작에서, 피드백을 제공할 수 있다. 예를 들어, 프로세서는 외부에서 호출이 감지되었음을 다양한 방식으로 사용자에게 피드백할 수 있다. 예를 들어, 프로세서는 지정된 효과음을 스피커를 통해 출력할 수 있다. 다른 예로, 전자 장치가 스마트 글래스 또는 HMD 장치인 경우 프로세서는 호출어의 감지를 알리는 문구, 아이콘을 디스플레이 상에 표시할 수 있다.
상기 513 동작의 확인 결과 통화 중이 아닌 경우 프로세서는 411 동작(또는 445 동작)으로 복귀할 수 있다.
상기 도 5는 일 예일 뿐, 본 발명의 한 실시 예는 상기 도 5와 같이 501 동작, 505 동작, 509 동작 및 513 동작의 순서로 오디오 출력을 제어하는 것으로 한정되지 않으며, 동작 순서는 변경될 수 있다.
도 7a는 본 발명의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 방법을 설명하는 흐름도이고, 도 7b는 본 발명의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 예를 도시한 도면이다.
도 7a 및 도 7b를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는 화자가 위치한 방향 정보를 제공할 수 있다. 상기 도 7a의 701 동작, 703 동작, 705 동작, 707 동작 및 709 동작은 도 4b의 431 동작, 433 동작, 435 동작, 437 동작 및 439 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
다양한 실시 예에 따른 프로세서는, 711 동작에서, 화자가 위치한 방향을 인식할 수 있다. 상기 프로세서는 다수의 입력 장치를 통해 획득되는 외부 소리를 분석하여 화자가 위치한 방향을 인식할 수 있다. 예를 들어, 사용자의 우측에 위치하는 입력 모듈을 통해 외부 소리가 감지되고, 사용자의 좌측에 위치하는 입력 모듈을 통해 외부 소리가 거의 감지되지 않는 경우 프로세서는 화자가 우측에 위치한 것으로 판단할 수 있다. 상기 다수의 마이크를 통해 획득되는 외부 소리를 분석(예: 시간 차를 이용)하여 화자의 위치(방향)을 인식하는 기술은 널리 알려진 기술로 통상의 기술자에게 자명한 바, 상세한 설명을 생략하기로 한다.
다양한 실시 예에 따른 프로세서는, 713 동작에서, 호출 발생 및/또는 호출 방향을 사용자에게 피드백할 수 있다. 예를 들어, 프로세서는 지정된 효과음을 출력 모듈을 통해 출력할 수 있다. 다른 예로, 프로세서는, 도 7b의 식별 부호 720의 도면에 도시된 바와 같이, 스마트 글래스(700)의 디스플레이에 호출어(721)의 감지를 알리는 문구(722)를 표시할 수 있다. 또 다른 예로, 프로세서는, 도 7b의 식별 부호 730의 도면에 도시된 바와 같이, 사용자(731)를 기준으로 우측 상단의 대각선 방향(약 45도 방향)(733)에서 화자(732)가 발화하고 있음을 사용자가 인지할 수 있도록 공간감을 제공할 수 있다. 프로세서는 알려진 다양한 기술(예: ITD 기술, 또는 ILD 기술)을 통해 상기 인식된 방향에 대응하는 공간감을 제공할 수 있다.
상기 도 7a의 715 동작, 717 동작 및 719 동작은 도 4b의 441 동작, 443 동작 및 435 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
상술한 본 발명의 한 실시 예는 호출어의 감지 및/또는 화자가 위치한 방향 정보를 제공함에 따라, 사용자가 화자의 위치를 용이하게 인지할 수 있다.
도 8a는 본 발명의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 방법을 설명하는 흐름도이고, 도 8b는 본 발명의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 일 예를 도시한 도면이다.
도 8a 및 도 8b를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는 사용자가 대화 가능한 상태임을 호출자에게 피드백할 수 있다. 상기 도 8a의 801 동작, 803 동작, 805 동작, 807 동작, 809 동작 및 811 동작은 도 4b의 431 동작, 433 동작, 435 동작, 437 동작, 439 동작 및 441 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
다양한 실시 예에 따른 프로세서는, 813 동작에서, 사용자가 대화 가능한 상태임을 다양한 방식으로 호출자에게 피드백할 수 있다. 예를 들어, 프로세서는, 도 8b에 도시된 바와 같이, 전자 장치의 외부에 배치된 발광다이오드(light emitted diode: LED)를 지정된 패턴으로 발광(821), 디스플레이 상에 대화 아이콘을 표시(823), 지정된 효과음을 출력(825) 중 적어도 하나를 통해 사용자가 외부 소리를 들을 수 있는 상태임을 호출자에게 피드백할 수 있다.
상기 도 8a의 815 동작 및 817 동작은 도 4b의 443 동작 및 435 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.
상술한 본 발명의 한 실시 예는 사용자가 대화 가능한 상태인지 여부를 호출자에게 피드백하여, 사용자가 외부 소리를 듣기 어려운 상태에서 호출자가 사용자를 반복 호출하는 불편함을 해소할 수 있다.
도 9a는 본 발명의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하여 오디오 출력을 제어하는 방법을 설명하는 흐름도이고, 도 9b는 본 발명의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하는 예를 도시한 도면이다.
도 9a 및 도 9b를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 901 동작에서, 호출어 감지 기능의 활성화를 감지할 수 있다. 상기 호출어 감지 기능은 사용자에 의해 입력 장치(예: 지정된 터치 입력, 지정된 키 입력)를 통해 활성화되거나, 오디오 신호의 출력 시 프로세서에 의해 자동으로 활성화될 수 있다.
다양한 실시 예에 따른 프로세서는, 903 동작에서, 상황 정보를 수집할 수 있다. 예를 들어, 프로세서는 호출어 감지 기능이 활성화되어 있는 동안(또는 오디오 신호가 출력되는 동안) 위치(장소), 시간, 및/또는 움직임(이동) 여부에 대한 상황 정보를 지속적으로 또는 주기적으로 수집할 수 있다. 예를 들어, 프로세서는 위치 정보 수신 모듈(예: GPS, GNNS)을 통한 위치 정보, 특정 장소(예: 집, 회사, 백화점)에 설치된 무선 라우터(예: access point: AP)와 연결 여부를 통한 장소 정보 및/또는 센서(예: 자이로 센서)를 통한 전자 장치의 움직임(이동) 여부에 대한 정보를 수집할 수 있다. 어떤 실시 예에 따르면, 프로세서는 근거리 무선 통신 연결된 외부 전자 장치로부터 상황 정보를 수신할 수 있다.
다양한 실시 예에 따른 프로세서는, 905 동작에서, 현재 상황 정보에 매칭된 호출어가 존재하는지 확인할 수 있다. 상기 905 동작의 확인 결과, 현재 상황 정보에 매칭된 호출어가 존재하지 않는 경우 프로세서는 909 동작으로 진행할 수 있다. 반면에, 상기 905 동작의 확인 결과, 현재 상황 정보에 매칭된 호출어가 존재하는 경우 프로세서는, 907 동작에서, 호출어를 변경할 수 있다. 예를 들어, 프로세서는, 도 9b의 식별 부호 931의 도면에 도시된 바와 같이, 전자 장치와 집에 설치된 무선 라우터의 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치(장소)가 집으로 확인된 경우 호출어를 "여보(honey)"로 변경할 수 있다. 다른 예로, 프로세서는, 도 9b의 식별 부호 933의 도면에 도시된 바와 같이, 자이로 센서를 통해 전자 장치가 현재 이동 중인 것으로 확인된 경우 호출어를 "저기요(excuse me)"로 변경할 수 있다. 또 다른 예로, 프로세서는, 도 9b의 식별 부호 935의 도면에 도시된 바와 같이, 전자 장치와 회사에 설치된 무선 라우터의 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치가 회사인 것으로 확인된 경우 호출어를 "김부장(Mr. kim)"으로 변경할 수 있다. 또 다른 예로, 프로세서는, 도 9b의 식별 부호 937의 도면에 도시된 바와 같이, 전자 장치가 백화점에 설치된 무선 라우터와의 연결 여부, 백화점에 설치된 장치와 BLE 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치가 백화점인 것으로 확인된 경우 호출어를 "고객님(hello, excuse me, may I help you)"으로 변경할 수 있다.
어떤 실시 예에 따르면, 프로세서는 상황별 호출어에 가중치를 주어 현재 상황에 맞는 호출어가 외부 소리에 포함되어 있는지 우선적으로 확인하도록 할 수도 있다.
다양한 실시 예에 따른 프로세서는, 909 동작에서, 호출어 감지 기능이 비활성화되는지 확인할 수 있다. 상기 909 동작의 확인 결과 호출어 감지 기능이 비활성화되지 않는 경우 프로세서는 903 동작으로 복귀할 수 있다. 반면에, 상기 909 동작의 확인 결과 호출어 감지 기능이 비활성화되는 경우 프로세서는 본 발명의 한 실시 예에 따른 상황 정보에 기초하여 호출어의 적응적으로 변경하는 절차를 종료할 수 있다.
상기 도 9a에 도시하지는 않았지만, 상기 호출어를 변경한 후 프로세서는, 도 4a 내지 도 8b에서 설명한 것과 유사하게, 오디오 신호의 출력 시 외부 소리를 획득하고, 외부 소리로부터 변경된 호출어가 감지되는지 여부에 기초하여 오디오 신호의 출력을 제어하는 동작들을 수행할 수 있다.
상술한 본 발명의 한 실시 예는 상황 별로 호출어를 가변하고, 상황에 매칭된(적합한) 호출어를 감지 또는 우선적으로 감지하도록 하여 호출어 인식의 효율성(예: 속도 및/또는 정확도)을 향상시킬 수 있다.
도 10은 본 발명의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.
도 10을 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 1001 동작에서, 오디오 신호를 출력하고, 1003 동작에서 외부 소리를 획득할 수 있다. 상기 1001 동작 및 1003 동작은 도 4a의 401 동작 및 403 동작과 유사한 바 상세한 설명을 생략하기로 한다.
다양한 실시 예에 따르면, 프로세서는, 1005 동작에서, 외부 소리로부터 지정된 키워드가 검출되는지 확인할 수 있다. 상기 1005 동작의 확인 결과 외부 소리로부터 키워드가 검출되지 않는 경우 프로세서는 1015 동작으로 진행할 수 있다. 반면에, 상기 1005 동작의 확인 결과 외부 소리로부터 키워드가 검출되는 경우 프로세서는, 1007 동작에서, 검출된 키워드가 사용자를 부르는 호출어인지 확인할 수 있다.
상기 1007 동작의 확인 결과 검출된 키워드가 호출어에 대응하지 않는 경우 프로세서는, 1009 동작에서, 키워드에 대응하는 기능을 실행할 수 있다. 예를 들어, 상기 검출된 키워드가 특정 기능을 제어(예: 음악 재생의 중지)하는 음성 명령에 대응하는 경우 프로세서는 음성 명령에 대응하는 기능을 수행할 수 있다. 어떤 실시 예에 따르면, 프로세서는 검출된 키워드를 외부 전자 장치로 전송할 수 있다. 예를 들어, 검출된 키워드가 음성 인식 서비스(예: "빅스비TM")를 호출하는 키워드인 경우 키워드, 및 입력 장치를 통해 수집되는 외부 소리를 외부 전자 장치로 전송하여, 외부 전자 장치가 음성 인식 서비스를 수행하도록할 수 있다.
상기 1007 동작의 확인 결과 검출된 키워드가 호출어에 대응하는 경우 프로세서는 1011 동작, 1013 동작 및 1015 동작을 수행할 수 있다. 상기 1011 동작, 1013 동작 및 1015 동작은 407 동작, 409 동작 및 411 동작과 유사한 바, 상세한 설명을 생략하기로 한다.
도 11은 본 발명의 한 실시 예에 따른 전자 장치 및 외부 전자 장치의 구성을 도시한 블록도 이다.
도 11을 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(1101)(예: 전자 장치(100))는 프로세서(1110), 메모리(1120), 무선 통신 모듈(1130), 출력 모듈(1140), 입력 모듈(1150) 및 착용 감지 센서(1160)를 포함할 수 있다.
다양한 실시 예에 따르면, 프로세서(1110)는 전자 장치(1101)의 오디오 출력을 제어할 수 있다. 예를 들어, 프로세서(1110)는, 상기 도 4a 내지 도 10을 참조하여 설명한 바와 같이, 오디오 신호를 출력하는 도중 외부 소리로부터 지정된 호출어의 감지 시 오디오 신호의 출력을 제어할 수 있다. 상기 프로세서(1110)는 호출어 감지 모듈(1111) 및 오디오 출력 제어 모듈(1113)을 포함할 수 있다.
다양한 실시 예에 따르면, 호출어 감지 모듈(1111)은 출력 모듈(1140)을 통해 오디오 신호를 출력하는 도중 입력 모듈(1150)을 통해 획득되는 외부 소리를 분석하여, 외부 소리로부터 지정된 호출어를 감지할 수 있다. 다양한 실시 예에 따르면, 호출어 감지 모듈(1111)은 화자 인식을 수행하고, 감지된 호출어와 인식된 화자의 매칭 여부를 확인할 수 있다. 어떤 실시 예에 따르면, 프로세서(1110)는 화자 인식 모듈을 별도로 포함할 수 있다.
다양한 실시 예에 따르면, 오디오 출력 제어 모듈(1113)은 호출어 감지 모듈(1111)에 의해 호출어가 감지되는 것에 대응하여 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 오디오 출력 제어 모듈(1111)은, 도 5 내지 도 6c를 참조하여 설명한 바와 같이, 오디오 신호의 출력을 제어할 수 있다.
다양한 실시 예에 따르면, 메모리(1120)는, 실행 되었을 때, 프로세서(1110)가 오디오 신호를 출력하는 도중 지정된 호출어의 감지 시 오디오 신호의 출력을 제어하도록 하는 인스트럭션들을 저장할 수 있다. 다양한 실시 예에 따르면, 메모리(1120)는 호출어 DB(1121) 및 화자 인식 DB(1123)를 포함할 수 있다.
다양한 실시 예에 따르면, 호출어 DB(1121)는 적어도 하나의 호출어를 포함할 수 있다. 어떤 실시 예에 따르면, 호출어 DB는 아래의 <표 1>과 같이 화자와 적어도 하나의 호출어가 매칭될 수 있고, <표 2>와 같이 상황 정보와 적어도 하나의 호출어가 매칭될할 수 있다.
화자 호출어
아내(wife) 여보(honey), 자기야(darling)
아들(son) 아빠(papa), 아버지(father)
손님(guest) XXX 씨(Mr. XXX)
친구(friend) XXX 야(XXX)
상황 정보 호출어
집(home) 여보(honey), 자기야(darling), 아빠(papa), 아버지(father)
사무실(office) XXX 씨(Mr. XXX)
가게(store) 고객님("hello", "excuse me", "may I help you")
이동 중(moving) "저기요(excuse me)"
상기 <표 1> 및 <표 2>는 일 예일 뿐, 본 발명의 한 실시 예들을 한정하지는 않는다. 다양한 실시 예에 따르면, 화자 인식 DB(1123)는 감지된 호출어에 대응하는 화자를 인식하기 위한 기준 데이터를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치(1101)의 메모리(1120)는 화자 인식 DB(1123)를 포함하지 않을 수도 있다. 이때, 전자 장치(1101)는 무선 통신 모듈(1140)을 통해 외부 전자 장치(1102)(예: 외부 전자 장치(200))로 화자 인식을 요청하고, 결과를 수신할 수 있다.
다양한 실시 예에 따르면, 무선 통신 모듈(1130)은 외부 전자 장치(1102)와 무선 통신 채널(예: 블루투스)을 연결할 수 있다. 무선 통신 모듈(1130)은 외부 전자 장치(1102)로부터 오디오 데이터를 수신할 수 있다. 무선 통신 모듈(1130)은 오디오 출력의 제어(예: 오디오 재생의 일시 중지)를 요청하는 신호를 외부 전자 장치(1102)로 전송할 수 있다.
다양한 실시 예에 따르면, 출력 모듈(1140)은 오디오 신호를 출력할 수 있다. 상기 출력 모듈(1140)은 스피커일 수 있다. 상기 출력 모듈(1140)은 스테레오 출력을 지원하기 위하여, 제1 출력 모듈(1141) 및 제2 출력 모듈(1142)을 포함할 수 있다. 예를 들어, 제1 출력 모듈(1141)은 제1 음향 신호(예: 좌측 오디오 신호)를 출력하는 제1 스피커일 수 있고, 제2 출력 모듈(1142)은 제2 음향 신호(예: 우측 오디오 신호)를 출력하는 제2 스피커일 수 있다.
다양한 실시 예에 따르면, 입력 모듈(1150)은 외부 소리를 획득할 수 있다. 예를 들어, 입력 모듈(1150)은 출력 모듈(1140)을 통해 오디오 신호가 출력되는 동안 외부 소리를 획득할 수 있다. 상기 입력 모듈(1150)은 제1 입력 모듈(제1 마이크)(1151) 및 제2 입력 모듈(제2 마이크)(1152)을 포함할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1150)은 하나의 입력 모듈(예: 제1 입력 모듈(1151))만을 포함하거나, 세 개 이상의 입력 모듈을 포함할 수 있다.
다양한 실시 예에 따르면, 착용 감지 센서(1160)는 전자 장치(1101)가 사용자의 신체(예: 귀)에 착용되는지 여부를 감지할 수 있다. 착용 감지 센서(1160)는 온도를 감지하는 온도 센서 또는 접촉을 감지하는 접촉 센서를 포함할 수 있다. 예를 들어, 프로세서(1110)는 온도 센서를 통해 체온에 대응하는 온도(예: 30도 내지 45도)가 감지되는 경우 전자 장치(1101)가 신체에 착용된 것으로 인식할 수 있다. 다른 예로, 프로세서(1110)는 전자 장치(1101)의 착용 시 신체에 접촉되는 위치에 배치된 접촉 센서를 통해 접촉이 감지되는 경우 전자 장치(1101)가 신체에 착용된 것으로 인식할 수 있다. 어떤 실시 예에 따르면, 상기 전자 장치(1101)는 착용 감지 센서(1160)를 포함하지 않을 수 있다.
도시하지는 않았지만, 상기 전자 장치(1101)는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 예를 들어, 전자 장치(1101)는 위치 및 시간 정보를 수신하는 위치 정보 수신 모듈(예: GPS, GNSS), 특정 장소(예: 집, 회사, 백화점)에 설치된 무선 라우터(예: access point: AP)와 연결되는 근거리무선통신모듈(예: 와이파이, BLE), 전자 장치의 움직임(이동)을 감지하는 자이로 센서 등을 더 포함할 수 있다.
본 발명의 한 실시 예에 따른 외부 전자 장치(1102)(예: 외부 전자 장치(200))는 프로세서(1170), 메모리(1180), 무선 통신 모듈(1190), 및 입력 모듈(1195)을 포함할 수 있다.
다양한 실시 예에 따르면, 프로세서(1170)는 외부 전자 장치(1102)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1170)는 무선 통신 모듈(1190)을 통해 전자 장치(1101)와 무선 통신을 연결할 수 있다. 프로세서(1170)는 전자 장치(1101)와 무선 통신이 연결된 상태에서 오디오 데이터를 포함하는 멀티미디어 파일의 재생 시 무선 통신 모듈(1190)을 통해 상기 오디오 데이터를 전자 장치(1101)로 전송할 수 있다. 프로세서(1170)는 호출어 감지 모듈(1171), 오디오 출력 제어 모듈(1173), 호출어 등록 모듈(1175), 및 제어 옵션 설정 모듈(1177)을 포함할 수 있다.
다양한 실시 예에 따르면, 호출어 감지 모듈(1171)은 전자 장치(1101)로 오디오 데이터를 전송하는 동안 입력 모듈(1295)을 통해 획득되는 외부 소리로부터 지정된 호출어를 감지할 수 있다. 상기 호출어 감지 모듈(1171)은 전자 장치(1101)의 호출어 감지 모듈(1111)과 동일 또는 유사할 수 있다. 어떤 실시 예에 따르면, 상기 호출어 감지 모듈(1171)은 생략될 수 있다.
다양한 실시 예에 따르면, 오디오 출력 제어 모듈(1173)은 오디오 출력을 제어할 수 있다. 예를 들어, 오디오 출력 제어 모듈(1173)은 호출어 감지 시 제어 옵션 설정 모듈(1177)에 의해 설정된 방식으로 오디오 출력을 제어(예: 일시 중지)할 수 있고, 호출어의 감지를 무선 통신 모듈(1290)을 통해 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 상기 오디오 출력 제어 모듈(1173)은 외부 전자 장치(1102)에 포함되지 않을 수 있다.
다양한 실시 예에 따르면, 호출어 등록 모듈(1175)은 호출어 등록을 제어할 수 있다. 예를 들어, 호출어 등록 모듈(1175)은 화자로부터 수신되는 음성을 호출어로 등록하고, 등록된 호출어를 전자 장치(1101)로 전송할 수 있다. 상세한 설명은 도 13a 내지 도 13d를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 오디오 출력 제어 방식을 설정할 수 있다. 예를 들어, 제어 옵션 설정 모듈(1177)은 호출어 감지 시 전자 장치(1101)가 수행할 동작(예: 일시 중지, 음량을 뮤트 또는 감소, 피드백 제공 여부)을 사용자로부터 입력받고, 이를 전자 장치(1101)로 전송할 수 있다.
다양한 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 상황 정보를 획득하고, 상황 정보에 매칭된 호출어를 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 상황 정보만을 전자 장치(1101)로 전송할 수 있다.
다양한 실시 예에 따르면, 메모리(1180)는 호출어 DB(1181) 및 화자 인식 DB(1183)를 포함할 수 있다. 호출어 DB(1181) 및 화자 인식 DB(1183)는 전자 장치(1101)의 호출어 DB(1121) 및 화자 인식 DB(1123)와 유사한 바 상세한 설명을 생략하기로 한다. 어떤 실시 예에 따르면, 호출어 DB(1181) 및 화자 인식 DB(1183)는 외부 전자 장치(1102)에 포함되지 않을 수 있다.
다양한 실시 예에 따르면, 무선 통신 모듈(1190)은 전자 장치(1101)와 무선 통신 채널(예: 블루투스)을 연결할 수 있다. 무선 통신 모듈(1190)은 전자 장치(1101)로 오디오 데이터를 송신할 수 있다. 무선 통신 모듈(1190)은 오디오 출력의 제어(예: 오디오 재생의 일시 중지)를 요청하는 신호를 전자 장치(1101)로부터 수신할 수 있다. 어떤 실시 예에 따르면, 무선 통신 모듈(1190)은 호출어 감지를 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 무선 통신 모듈(1190)은 상황 정보를 전자 장치(1101)로 전송할 수 있다.
다양한 실시 예에 따르면, 입력 모듈(1195)은 외부 소리를 획득할 수 있다. 예를 들어, 입력 모듈(1195)은 오디오 데이터를 전자 장치(1101)로 전송하는 동안 외부 소리를 획득할 수 있다. 상기 입력 모듈(1195)은 적어도 하나의 마이크를 포함할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1195)은 오디오 데이터를 전자 장치(1101)로 전송 중이며, 외부 소리를 획득할 수 있는 상황인 경우 활성화되어 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1195)는 외부 전자 장치(1102)에 포함되지 않을 수 있다.
도 12는 본 발명의 다른 실시 예에 따른 전자 장치의 구성을 도시한 블록도 이다.
도 12를 참조하면, 본 발명의 다른 실시 예에 따른 전자 장치(1201)(예: 전자 장치(100))는 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 무선으로 연결되어 스테레오 출력을 지원할 수 있다. 상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 각각 독립적인 장치로 동작할 수 있다.
상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 도 11의 전자 장치(1101)와 동일 또는 유사한 구성을 포함할 수 있다. 어떤 실시 예에 따르면, 제2 서브 장치(1201b)는 제1 서브 장치(1201a)와 중복되는 일부 구성들(예: 제2 프로세서(1210b), 제2 메모리(1220b), 제2 입력 모듈(1250b), 착용 감지 센서(1260b)) 중 적어도 하나를 포함하지 않을 수 있다.
상술한 전자 장치(1201)의 서브 장치들(1201a, 1201b)은 무선 통신 모듈들(1230a, 1230b)을 통해 무선으로 연결될 수 있다. 다양한 실시 예에 따르면, 상기 제1 서브 장치(1201a)의 무선 통신 모듈(1230a)(제1 무선 통신 회로)은 외부 전자 장치와 무선 통신 채널을 연결하고, 상기 연결된 무선 통신 채널을 통해 오디오 신호를 수신할 수 있다. 상기 제2 서브 장치(1201b)의 무선 통신 모듈(1230b)(제2 무선 통신 회로)은 상기 외부 전자 장치로부터 상기 제1 무선 통신 회로로 전송되는 오디오 신호를 획득(예: 스니핑(sniffing))할 수 있다. 상기 제1 서브 장치(1201a)는 제2 서브 장치(1201b)와 연결 시 상기 오디오 신호의 획득(스니핑)에 필요한 정보를 제2 서브 장치(1201b)로 전송할 수 있다.
상기 전자 장치(1201)는 두 개의 서브 장치들이 (1201a, 1201b)이 무선으로 연결된다는 점을 제외하고는 전자 장치(1101)와 유사하다. 이에 상세한 설명을 생략하기로 한다.
도 13a 내지 도 13d는 본 발명의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.
도 13a 내지 도 13d를 참조하면, 본 발명의 한 실시 예에 따른 외부 전자 장치(예: 외부 전자 장치(200, 1102))는 호출어 등록을 위한 유저 인터페이스를 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는 호출어를 등록하기 메뉴의 실행 시, 도 13a의 식별 부호 1310의 도면과 같이, 호출어 등록 UI를 디스플레이 상에 표시할 수 있다. 상기 호출어 등록 UI는 디폴트로 제공되는 화자들 중 하나를 선택할 수 있는 화자 선택 메뉴(1301) 및 화자 추가 메뉴(1302)를 포함할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는 호출어를 등록할 화자가 선택되면, 호출어 입력을 요구하는 화면을 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1310 및 1315의 도면과 같이, 배우자가 선택되면, 배우자에게 호출어를 음성으로 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 다른 예로, 외부 전자 장치는, 도 13b의 식별 부호 1335 및 1340의 도면과 같이, 게스트가 선택되면 남자 목소리로 호출어를 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 또 다른 예로, 외부 전자 장치는, 도 13c의 식별 부호 1355 및 1360의 도면과 같이, 본인이 선택되면 사용자에게 호출어를 음성으로 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는 호출어가 입력되면, 다시 한번 호출어를 입력하도록 요구하는 화면을 표시할 수 있다. 이때, 외부 전자 장치는 이전에 음성 입력된 호출어를 화면의 일 영역에 표시하여 화자가 이전과 동일한 호출어를 음성 입력하도록 유도할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1320의 도면과 같이, 배우자에게 음성으로 호출어 "여보"(1303)를 재 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 다른 예로, 외부 전자 장치는, 도 13b의 식별 부호 1345의 도면과 같이, 여자 목소리로 호출어 "용호야"(1304)를 재입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 또 다른 예로, 외부 전자 장치는, 도 13c의 식별 부호 1365의 도면과 같이, 사용자에게 음성으로 호출어 "잠깐"(1305)을 재입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치는 호출어의 등록이 완료되면, 호출어 등록 완료 화면을 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1325의 도면, 도 13b의 식별 부호 1350의 도면 및 도 13c의 식별 부호 1370의 도면에 도시된 바와 같이, 호출어 등록 완료 화면을 표시할 수 있다. 호출어 등록 완료 화면은 동일한 화자에 대한 다른 키워드를 등록할 수 있는 다른 키워드 등록 메뉴(1306) 및 다른 화자에 대한 호출어 등록을 위한 다른 사용자 등록 메뉴(1307)을 포함할 수 있다.
본 발명의 다양한 실시 예는 상술한 호출어 등록 방법을 통해 화자별로 적어도 하나의 호출어를 등록할 수 있다. 예를 들어, 도 13d에 도시된 바와 같이, 배우자에게 두 개의 호출어("여보", "자기야")가 설정되고, 첫째 아들에게 하나의 호출어("아빠")가 설정되고, 둘째 아들에게 두 개의 호출어("아부지", "아빠")가 설정되고, 직장 동료에게 세 개의 호출어("용프로님", "용호님", "용호 프로님")가 설정될 수 있다.
이상에서는 외부 전자 장치를 통해 호출어를 등록(설정)하고, 전자 장치로 전송하는 것으로 설명하였지만, 스마트 글래스, HMD와 같이 디스플레이를 포함하는 전자 장치의 경우 전자 장치를 통해 호출어를 등록할 수도 있다.
도 14은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다. 도 14을 참조하면, 네트워크 환경(1400)에서 전자 장치(1401)(예: 외부 전자 장치(200, 1102))는 제 1 네트워크(1498)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1402)와 통신하거나, 또는 제 2 네트워크(1499)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1404) 또는 서버(1408)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1401)는 서버(1408)를 통하여 전자 장치(1404)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1401)는 프로세서(1420)(예: 프로세서(1270)), 메모리(1430)(예: 메모리(1280)), 입력 장치(1450)(예: 입력 모듈(1295)), 음향 출력 장치(1455), 표시 장치(1460), 오디오 모듈(1470), 센서 모듈(1476), 인터페이스(1477), 햅틱 모듈(1479), 카메라 모듈(1480), 전력 관리 모듈(1488), 배터리(1489), 통신 모듈(1490)(예: 무선 통신 모듈(1290)), 가입자 식별 모듈(1496), 또는 안테나 모듈(1497)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1401)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1460) 또는 카메라 모듈(1480))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1476)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1460)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1420)는, 예를 들면, 소프트웨어(예: 프로그램(1440))를 실행하여 프로세서(1420)에 연결된 전자 장치(1401)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1420)는 다른 구성요소(예: 센서 모듈(1476) 또는 통신 모듈(1490))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1432)에 로드하고, 휘발성 메모리(1432)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1434)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1420)는 메인 프로세서(1421)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1423)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1423)은 메인 프로세서(1421)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1423)는 메인 프로세서(1421)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1423)는, 예를 들면, 메인 프로세서(1421)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1421)를 대신하여, 또는 메인 프로세서(1421)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1421)와 함께, 전자 장치(1401)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1460), 센서 모듈(1476), 또는 통신 모듈(1490))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1423)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1480) 또는 통신 모듈(1490))의 일부로서 구현될 수 있다.
메모리(1430)는, 전자 장치(1401)의 적어도 하나의 구성요소(예: 프로세서(1420) 또는 센서모듈(1476))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1440)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1430)는, 휘발성 메모리(1432) 또는 비휘발성 메모리(1434)를 포함할 수 있다.
프로그램(1440)은 메모리(1430)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1442), 미들 웨어(1444) 또는 어플리케이션(1446)을 포함할 수 있다.
입력 장치(1450)는, 전자 장치(1401)의 구성요소(예: 프로세서(1420))에 사용될 명령 또는 데이터를 전자 장치(1401)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1450)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1455)는 음향 신호를 전자 장치(1401)의 외부로 출력할 수 있다. 음향 출력 장치(1455)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1460)는 전자 장치(1401)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1460)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1460)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1470)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1470)은, 입력 장치(1450)를 통해 소리를 획득하거나, 음향 출력 장치(1455), 또는 전자 장치(1401)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1402)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1476)은 전자 장치(1401)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1476)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1477)는 전자 장치(1401)이 외부 전자 장치(예: 전자 장치(1402))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1477)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1478)는, 그를 통해서 전자 장치(1401)가 외부 전자 장치(예: 전자 장치(1402))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1478)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1479)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1479)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1480)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1480)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1488)은 전자 장치(1401)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1489)는 전자 장치(1401)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1489)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1490)은 전자 장치(1401)와 외부 전자 장치(예: 전자 장치(1402), 전자 장치(1404), 또는 서버(1408))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1490)은 프로세서(1420)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1490)은 무선 통신 모듈(1492)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1494)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1498)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1499)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1492)은 가입자 식별 모듈(1496)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1498) 또는 제 2 네트워크(1499)와 같은 통신 네트워크 내에서 전자 장치(1401)를 확인 및 인증할 수 있다.
안테나 모듈(1497)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1497)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1498) 또는 제 2 네트워크(1499)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1490)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1490)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1497)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1499)에 연결된 서버(1408)를 통해서 전자 장치(1401)와 외부의 전자 장치(1404)간에 송신 또는 수신될 수 있다. 전자 장치(1402, 1404) 각각은 전자 장치(1401)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1401)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1402, 1404, or 1408) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1401)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1401)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1401)로 전달할 수 있다. 전자 장치(1401)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(예: 서브 장치(1201a)), 음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1240a)); 제1 마이크(예: 제1 입력 모듈(1250a)); 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1220a)); 및 상기 제1 스피커, 상기 제1 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1210a))를 포함하고, 상기 프로세서는 상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 감지에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 외부 전자 장치(예: 제2 서브 장치(1201b))와 근거리 무선 통신 연결하는 무선 통신 회로(예: 무선 통신 모듈(1230a))를 더 포함하고, 상기 프로세서는 상기 외부 전자 장치와 근거리 무선 통신의 연결 시 상기 오디오 신호 중 제1 음향 신호를 상기 제1 스피커를 통해 출력하고, 상기 오디오 신호를 획득하고, 상기 오디오 신호 중 제2 음향 신호를 외부 전자 장치에 포함된 제2 스피커(예: 제2 출력 모듈(1240b))를 통해 출력하도록 상기 외부 전자 장치를 제어하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 호출어의 감지 시 상기 호출어가 발생한 방향을 인식하고, 인식된 화자의 방향에 대응하는 공간감을 가지도록 상기 제1 스피커 및 상기 제2 스피커를 통해 상기 외부 소리를 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 외부 전자 장치에 포함된 제2 마이크(예: 제2 입력 모듈(1250b))를 통해 획득된 외부 소리를 상기 무선 통신 회로를 통해 수신하고, 수신된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 상기 적어도 하나의 호출어가 검출되는 것에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 및 상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 상기 프로세서는 상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 사용자가 상기 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하거나, 상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 상기 전자 장치의 착용 여부를 검출하는 적어도 하나의 센서(예: 착용 감지 센서(1260a))를 더 포함할 수 있다. 상기 프로세서는 상기 오디오 신호의 출력에 대응하여, 상기 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 제1 마이크를 활성화하여 상기 외부 소리를 획득하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(1201))는 제1 서브 장치(예: 제1 서브 장치(1201a))와 제2 서브 장치(예: 제2 서브 장치(1201b))를 포함할 수 있다. 상기 제1 서브 장치는 제1 음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1240a)); 제1 마이크(예: 제1 입력 모듈(1250a)); 상기 제2 서브 장치와 무선 통신을 연결하는 제1 무선 통신 회로(예: 무선 통신 모듈(1230a)); 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1220a)); 및 상기 제1 스피커, 상기 제1 마이크, 상기 제1 무선 통신 회로, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1210a))를 포함할 수 있다. 상기 제2 서브 장치는 제2 음향 신호를 출력하는 제2 스피커(예: 제2 출력 모듈(1240b)); 제2 마이크(예: 제2 입력 모듈(1250b)); 및 상기 제1 무선 통신 회로와 무선 통신을 연결하는 제2 무선 통신 회로(예: 무선 통신 모듈(1230b))를 포함할 수 있다. 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 호출어의 감지에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 인식된 화자의 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 화자의 방향을 인식하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 상기 프로세서는 상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(100, 1101, 1201))의 오디오 출력을 제어하는 방법은, 다수의 스피커(예: 제1 출력 모듈(1141, 1240a), 제2 출력 모듈(1142, 1240b), 음향 출력 장치(1455))를 통해 오디오 신호를 출력하는 동작; 상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크(예: 제1 입력 모듈(1151, 1250a), 제2 입력 모듈(1152, 1250b), 입력 장치(1450))를 통해 외부 소리를 획득하는 동작; 상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작; 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작; 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 호출어의 감지 시 상기 호출어가 발생한 방향을 인식하는 동작; 및 상기 방향에 대응하는 공간감을 가지도록 상기 다수의 스피커를 통해 상기 외부 소리를 출력하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 사용자가 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하는 동작; 또는 상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하는 동작 중 적어도 하나를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 오디오 신호의 출력을 제어하는 동작은 상기 오디오 신호의 재생을 일시 중지하는 동작; 상기 오디오 신호의 볼륨을 뮤트 또는 지정된 크기로 감소하는 동작; 노이즈 캔슬링 기능을 오프(OFF)하는 동작; 상기 적어도 하나의 마이크를 통해 획득되는 상기 화자의 음성을 상기 다수의 스피커를 통해 출력하는 동작; 다수의 마이크를 통해 획득된 외부 소리들의 크기를 비교하고, 상기 다수의 스피커 중 상대적으로 큰 크기를 가지는 외부 소리를 획득한 마이크의 주변에 배치된 스피커에 대한 오디오 출력을 감소 또는 뮤트하는 동작; 또는 상기 오디오 신호에 대한 볼륨을 지정된 제1 크기로 감소시키고, 상기 화자의 음성에 대한 볼륨을 상기 제1 크기보다 큰 지정된 제2 크기로 증가시키고, 상기 화자의 음성이 지정된 시간 이상 감지되지 않는 경우 상기 오디오 신호에 대한 볼륨을 원래 크기로 복구하고, 상기 외부 소리의 출력을 차단하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 외부 소리를 획득하는 동작은 상기 오디오 신호의 출력에 대응하여, 적어도 하나의 센서(예: 착용 감지 센서(1160, 1260a, 1260b))를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 적어도 하나의 마이크를 활성화하여 상기 외부 소리를 획득하는 동작을 포함할 수 있다. 상기 화자 인식을 수행하는 동작은 상기 적어도 하나의 호출어가 지정된 횟수 이상 감지되는 경우 상기 화자 인식을 수행하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 적어도 하나의 센서(예: 센서모듈(1476))를 통해 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집 및/또는 무선 통신 연결된 외부 전자 장치(예: 외부 전자 장치(200, 1102))로부터 상황 정보를 수신하는 동작; 및 상기 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(100, 1101, 1201))는, 하우징; 상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1141, 1240a)); 상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커(예: 제2 출력 모듈(1142, 1240b)); 상기 하우징에 포함되는 적어도 하나의 마이크(예: 제1 입력 모듈(1151, 1250a), 제2 입력 모듈(1152, 1250b), 입력 장치(1450)); 화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1120, 1220a, 1220b, 1430)); 및 상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1110, 1210a, 1210b))를 포함할 수 있다. 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고, 상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 호출어의 감출 시 상기 호출어가 발생한 방향을 인식하고, 상기 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(100, 1101, 1201, 1401), 외부 전자 장치(200, 1102)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(1120, 1180, 1220b), 내장 메모리(1436) 또는 외장 메모리(1438))에 저장된 하나 이상의 명령어들(예: 인스트럭션들)을 포함하는 소프트웨어(예: 프로그램(1440))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(100, 1101, 1201, 1401), 외부 전자 장치(200, 1102))의 프로세서(예: 프로세서(1110, 1170, 1210b, 1420))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    음향 신호를 출력하는 제1 스피커;
    제1 마이크;
    적어도 하나의 호출어를 저장하는 메모리; 및
    상기 제1 스피커, 상기 제1 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,
    상기 프로세서는
    상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고,
    상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고,
    상기 적어도 하나의 호출어의 감지에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고,
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    외부 전자 장치와 근거리 무선 통신 연결하는 무선 통신 회로를 더 포함하고,
    상기 프로세서는
    상기 외부 전자 장치와 근거리 무선 통신의 연결 시 상기 오디오 신호 중 제1 음향 신호를 상기 제1 스피커를 통해 출력하고,
    상기 오디오 신호를 획득하고, 상기 오디오 신호 중 제2 음향 신호를 외부 전자 장치에 포함된 제2 스피커를 통해 출력하도록 상기 외부 전자 장치를 제어하도록 설정된 전자 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는
    상기 호출어의 감지 시 상기 호출어가 발생한 방향을 인식하고, 인식된 화자의 방향에 대응하는 공간감을 가지도록 상기 제1 스피커 및 상기 제2 스피커를 통해 상기 외부 소리를 출력하도록 설정된 전자 장치.
  4. 제 2 항에 있어서,
    상기 프로세서는
    상기 외부 전자 장치에 포함된 제2 마이크를 통해 획득된 외부 소리를 상기 무선 통신 회로를 통해 수신하고, 수신된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하도록 설정된 전자 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는
    상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 상기 적어도 하나의 호출어가 검출되는 것에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 및
    상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정된 전자 장치.
  6. 제 1 항에 있어서,
    현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함하고,
    상기 프로세서는
    상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정된 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는
    상기 사용자가 상기 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하거나,
    상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    상기 전자 장치의 착용 여부를 검출하는 적어도 하나의 센서를 더 포함하고,
    상기 프로세서는
    상기 오디오 신호의 출력에 대응하여, 상기 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고,
    상기 착용이 감지되는 경우 상기 제1 마이크를 활성화하여 상기 외부 소리를 획득하도록 설정된 전자 장치.
  9. 제1 서브 장치와 제2 서브 장치를 포함하는 전자 장치에 있어서,
    상기 제1 서브 장치는
    제1 음향 신호를 출력하는 제1 스피커;
    제1 마이크;
    상기 제2 서브 장치와 무선 통신을 연결하는 제1 무선 통신 회로;
    적어도 하나의 호출어를 저장하는 메모리; 및
    상기 제1 스피커, 상기 제1 마이크, 상기 제1 무선 통신 회로, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,
    상기 제2 서브 장치는
    제2 음향 신호를 출력하는 제2 스피커;
    제2 마이크; 및
    상기 제1 무선 통신 회로와 무선 통신을 연결하는 제2 무선 통신 회로를 포함하고,
    상기 프로세서는
    상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 외부 소리를 획득하고,
    상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고,
    상기 호출어의 감지에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고,
    상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정된 전자 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는
    상기 인식된 화자의 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정된 전자 장치.
  11. 제 9 항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고,
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 화자의 방향을 인식하도록 설정된 전자 장치.
  12. 제 9 항에 있어서,
    현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함하고,
    상기 프로세서는
    상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정된 전자 장치.
  13. 전자 장치의 오디오 출력을 제어하는 방법에 있어서,
    다수의 스피커를 통해 오디오 신호를 출력하는 동작;
    상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크를 통해 외부 소리를 획득하는 동작;
    상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작;
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작;
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 호출어의 감지 시 상기 호출어가 발생한 방향을 인식하는 동작; 및
    상기 방향에 대응하는 공간감을 가지도록 상기 다수의 스피커를 통해 상기 외부 소리를 출력하는 동작을 더 포함하는 방법.
  15. 제 13 항에 있어서,
    상기 사용자가 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하는 동작; 또는
    상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하는 동작 중 적어도 하나를 더 포함하는 방법.
  16. 제 13 항에 있어서,
    상기 오디오 신호의 출력을 제어하는 동작은
    상기 오디오 신호의 재생을 일시 중지하는 동작;
    상기 오디오 신호의 볼륨을 뮤트 또는 지정된 크기로 감소하는 동작;
    노이즈 캔슬링 기능을 오프(OFF)하는 동작;
    상기 적어도 하나의 마이크를 통해 획득되는 상기 화자의 음성을 상기 다수의 스피커를 통해 출력하는 동작;
    다수의 마이크를 통해 획득된 외부 소리들의 크기를 비교하고, 상기 다수의 스피커 중 상대적으로 큰 크기를 가지는 외부 소리를 획득한 마이크의 주변에 배치된 스피커에 대한 오디오 출력을 감소 또는 뮤트하는 동작; 또는
    상기 오디오 신호에 대한 볼륨을 지정된 제1 크기로 감소시키고, 상기 화자의 음성에 대한 볼륨을 상기 제1 크기보다 큰 지정된 제2 크기로 증가시키고, 상기 화자의 음성이 지정된 시간 이상 감지되지 않는 경우 상기 오디오 신호에 대한 볼륨을 원래 크기로 복구하고, 상기 외부 소리의 출력을 차단하는 동작 중 적어도 하나를 포함하는 방법.
  17. 제 13 항에 있어서,
    상기 외부 소리를 획득하는 동작은
    상기 오디오 신호의 출력에 대응하여, 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 적어도 하나의 마이크를 활성화하여 상기 외부 소리를 획득하는 동작을 포함하고,
    상기 화자 인식을 수행하는 동작은
    상기 적어도 하나의 호출어가 지정된 횟수 이상 감지되는 경우 상기 화자 인식을 수행하는 동작을 포함하는 방법.
  18. 제 13 항에 있어서,
    적어도 하나의 센서를 통해 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집 및/또는 무선 통신 연결된 외부 전자 장치로부터 상황 정보를 수신하는 동작; 및
    상기 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하는 동작을 더 포함하는 방법.
  19. 전자 장치에 있어서,
    하우징;
    상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커;
    상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커;
    상기 하우징에 포함되는 적어도 하나의 마이크;
    화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리; 및
    상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,
    상기 프로세서는
    상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고,
    상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고,
    상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고,
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고,
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정된 전자 장치.
  20. 제 19 항에 있어서,
    상기 프로세서는
    상기 호출어의 감출 시 상기 호출어가 발생한 방향을 인식하고,
    상기 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정된 전자 장치.
KR1020200039880A 2020-04-01 2020-04-01 전자 장치 및 그의 오디오 출력을 제어하는 방법 KR20210122568A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200039880A KR20210122568A (ko) 2020-04-01 2020-04-01 전자 장치 및 그의 오디오 출력을 제어하는 방법
PCT/KR2021/002038 WO2021201429A1 (ko) 2020-04-01 2021-02-17 전자 장치 및 그의 오디오 출력을 제어하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039880A KR20210122568A (ko) 2020-04-01 2020-04-01 전자 장치 및 그의 오디오 출력을 제어하는 방법

Publications (1)

Publication Number Publication Date
KR20210122568A true KR20210122568A (ko) 2021-10-12

Family

ID=77929122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039880A KR20210122568A (ko) 2020-04-01 2020-04-01 전자 장치 및 그의 오디오 출력을 제어하는 방법

Country Status (2)

Country Link
KR (1) KR20210122568A (ko)
WO (1) WO2021201429A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085642A1 (ko) * 2021-11-12 2023-05-19 삼성전자 주식회사 동작 제어 방법 및 그 전자 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949731B1 (ko) * 2011-10-20 2019-02-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기를 이용한 음성 번역 방법
KR102223278B1 (ko) * 2014-05-22 2021-03-05 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR102549689B1 (ko) * 2015-12-24 2023-06-30 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
US10564925B2 (en) * 2017-02-07 2020-02-18 Avnera Corporation User voice activity detection methods, devices, assemblies, and components
KR102592769B1 (ko) * 2018-07-20 2023-10-24 삼성전자주식회사 전자 장치 및 그의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085642A1 (ko) * 2021-11-12 2023-05-19 삼성전자 주식회사 동작 제어 방법 및 그 전자 장치

Also Published As

Publication number Publication date
WO2021201429A1 (ko) 2021-10-07

Similar Documents

Publication Publication Date Title
KR102607566B1 (ko) 음향 장치의 착용 감지 방법 및 이를 지원하는 음향 장치
KR20190111624A (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
US20130279724A1 (en) Auto detection of headphone orientation
CN108540900B (zh) 音量调节方法及相关产品
KR102447381B1 (ko) 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
CN109360549B (zh) 一种数据处理方法、穿戴设备和用于数据处理的装置
KR102419512B1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 방법 및 전자 장치
US11290800B2 (en) Wearable electronic device with water repellent structure using speaker module and method for sensing moisture penetration thereof
EP4206900A1 (en) Electronic device controlled on basis of sound data, and method for controlling electronic device on basis of sound data
US20230379615A1 (en) Portable audio device
US20210383806A1 (en) User input processing method and electronic device supporting same
KR20200085546A (ko) 그립 센서를 이용하여 파워 백 오프를 제어하기 위한 방법 및 이를 지원하는 전자 장치
KR20220106643A (ko) 소리 데이터에 기초하여 제어되는 전자 장치 및 소리 데이터에 기초하여 전자 장치를 제어하는 방법
KR20210053094A (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
KR102643055B1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
KR20200091684A (ko) 인이어 마이크를 포함하는 헤드셋
KR20210116118A (ko) 오디오용 전자 장치 및 오디오용 전자 장치에서 전원 관리 방법
KR20210044509A (ko) 음성 인식의 향상을 지원하는 전자 장치
KR20210122568A (ko) 전자 장치 및 그의 오디오 출력을 제어하는 방법
KR20210001646A (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
US20230137857A1 (en) Method and electronic device for detecting ambient audio signal
KR102473337B1 (ko) 전자 장치 및 이의 스테레오 오디오 신호 처리 방법
EP4258084A1 (en) Electronic device for reducing internal noise, and operation method thereof
KR20220103548A (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
KR20220020185A (ko) 전자 장치 및 이를 이용한 오디오 공유 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal