WO2021201429A1 - Electronic device and method for controlling audio output of same - Google Patents

Electronic device and method for controlling audio output of same Download PDF

Info

Publication number
WO2021201429A1
WO2021201429A1 PCT/KR2021/002038 KR2021002038W WO2021201429A1 WO 2021201429 A1 WO2021201429 A1 WO 2021201429A1 KR 2021002038 W KR2021002038 W KR 2021002038W WO 2021201429 A1 WO2021201429 A1 WO 2021201429A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
speaker
call word
external sound
output
Prior art date
Application number
PCT/KR2021/002038
Other languages
French (fr)
Korean (ko)
Inventor
김용호
김현진
이다영
이재영
이정근
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021201429A1 publication Critical patent/WO2021201429A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3872—Transceivers carried on the body, e.g. in helmets with extendable microphones or earphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a method for controlling an audio output thereof.
  • Portable electronic devices eg, headsets, earphones, smart glasses, head mounted devices: HMDs
  • HMDs head mounted devices
  • users who use various services eg, music listening, video viewing, and voice calls
  • an external electronic device eg, a smart phone, tablet PC, notebook, desktop, or wearable terminal
  • the output of the electronic device eg, a speaker
  • the output of the electronic device is located inside or around the user's ear (eg, in-ear type), or covers the ear (eg, in-ear type). over-ear or closed type). Accordingly, when listening to music using the portable electronic device, the user may not be able to hear an external sound.
  • portable electronic devices having a sound insulation (eg, noise canceling) and/or shielding function for blocking external sounds by hardware or software have been provided. Accordingly, a user wearing the portable electronic device may hear little or no external sound.
  • a sound insulation eg, noise canceling
  • shielding function for blocking external sounds by hardware or software
  • the portable electronic device worn by the user may not be exposed to others. Accordingly, the user may be misunderstood as ignoring his/her call by another person even though he/she does not hear the call of another person due to wearing the portable electronic device.
  • an external sound is acquired through an input device (eg, a microphone) while using an electronic device (eg, listening to music, watching a video), and when a designated call word is detected from the external sound, the user can use the external sound
  • an electronic device capable of controlling (or limiting) an audio output so that users can hear a sound, and a method of controlling the audio output thereof.
  • various embodiments of the present disclosure control an electronic device capable of reducing unnecessary audio output control in response to an external sound calling a user (other) other than the user by setting a call word for each speaker and controlling the audio output thereof can provide a way to
  • various embodiments of the present disclosure provide an electronic device capable of providing information about a direction in which an external sound is generated to a user when a designated call word is detected from an external sound while using the electronic device, and a method of controlling an audio output thereof.
  • various embodiments of the present disclosure provide feedback (notification) to the user that a designated call word has been detected from an external sound and/or feedback (notifying) to the caller (speaker) who called the user that the user can hear the external sound. It is possible to provide an electronic device capable of controlling an audio output thereof and a method for controlling an audio output thereof.
  • various embodiments of the present disclosure provide an electronic device capable of controlling an audio output according to whether a specified call word is detected from an external sound when the volume is above a specified level and/or when wearing of the electronic device is detected, and an audio output thereof can provide a way to control
  • various embodiments of the present disclosure provide an electronic device capable of adaptively changing a designated call word based on context information (eg, location, time, movement status) of the electronic device, and a method of controlling an audio output thereof.
  • context information eg, location, time, movement status
  • An electronic device may include, for example, a first speaker outputting a sound signal; a first microphone; a memory for storing at least one call word; and a processor operatively connected to the first speaker, the first microphone, and the memory, wherein the processor acquires an external sound through the first microphone while outputting an audio signal through the first speaker and check whether the at least one call word is detected from the acquired external sound, and perform speaker recognition on the external sound acquired through the first microphone in response to the detection of the at least one call word, and Check whether the recognized speaker and the detected call word match, and when the detected call word and the recognized speaker match, control the output of the audio signal so that the user of the electronic device can recognize an external sound can be
  • a method of controlling an audio output of an electronic device may include, for example, outputting an audio signal through a plurality of speakers; acquiring an external sound through at least one microphone while outputting the audio signal; checking whether at least one designated call word is detected from the acquired external sound; performing speaker recognition on an external sound corresponding to the at least one call word in response to the detection of the at least one call word; checking whether the recognized speaker and the detected call word match; and controlling the output of the audio signal so that the user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
  • An electronic device may include, for example, a housing; a first speaker disposed in a first area of the housing and configured to output a left sound signal; a second speaker disposed in the second area of the housing and configured to output a right sound signal; at least one microphone included in the housing; a memory for storing at least one call word set for each speaker; and a processor operatively connected to the first speaker, the second speaker, the at least one microphone, and the memory, wherein the processor outputs an audio signal through the first speaker and the second speaker; , acquiring an external sound through the at least one microphone while outputting the audio signal, confirming whether the at least one call word is detected from the acquired external sound, and corresponding to the detection of the at least one call word, The user of the electronic device performs speaker recognition on an external sound corresponding to the call word, checks whether the recognized speaker and the detected call word match, and when the detected call word and the recognized speaker match may be set to control the output of the audio signal to recognize an external sound.
  • an electronic device capable of outputting an audio signal eg, a headset, earphone, smart glasses, or head-wearable device
  • the electronic device can automatically control the audio output so that external sounds can be heard, so that the caller can can have a conversation with
  • various embodiments of the present disclosure may improve the inconvenience of unnecessarily controlling (limiting) audio output by misrecognizing another's call as a user's call by setting a different call word for each speaker.
  • various embodiments of the present disclosure provide direction information in which an external sound calling a user is generated so that the user can easily recognize the location (direction) of the caller.
  • various embodiments of the present disclosure may feed back to the user that a call word calling the user is sensed in various ways (visual, auditory, tactile) to easily recognize that the user has been called by another person.
  • various embodiments of the present disclosure may reduce current consumption of the electronic device by activating a function of acquiring an external sound when the volume is above a specified level and/or when the electronic device is worn, and detecting a call word.
  • various embodiments of the present disclosure may improve the efficiency (eg, speed and/or accuracy) of recognizing a call word by changing the call word for each situation and detecting or preferentially detecting the changed call word.
  • FIG. 1 is a diagram illustrating an example in which an electronic device is connected to an external electronic device by wireless communication according to an embodiment of the present disclosure.
  • FIGS. 2A and 2B are diagrams illustrating an example of controlling an audio output of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a flowchart illustrating a method of controlling an audio output between an electronic device and an external electronic device according to an embodiment of the present disclosure.
  • 4A is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • 4B is a flowchart illustrating a method of controlling an audio output of an electronic device according to another embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating in detail an operation of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • 6A is a diagram illustrating an example in which an electronic device pauses audio output according to an embodiment of the present disclosure
  • 6B is a diagram illustrating an example in which an electronic device controls a volume of an audio signal and a volume of an external sound according to an embodiment of the present disclosure
  • 6C is a diagram illustrating an example in which an electronic device controls a volume of an audio signal according to an embodiment of the present disclosure
  • FIG. 7A is a flowchart illustrating a method in which an electronic device feeds back call origination and speaker direction information to a user according to an embodiment of the present disclosure
  • FIG. 7B is a diagram illustrating an example in which an electronic device feeds back call generation and speaker direction information to a user according to an embodiment of the present disclosure
  • 8A is a flowchart illustrating a method of feeding back, by an electronic device, that a conversation with a user is possible to a speaker, according to an embodiment of the present disclosure
  • 8B is a diagram illustrating an example in which the electronic device feeds back to the speaker that a conversation with the user is possible, according to an embodiment of the present disclosure.
  • 9A is a flowchart illustrating a method of controlling audio output by changing a call word based on context information of an electronic device according to an embodiment of the present disclosure.
  • 9B is a diagram illustrating an example of changing a call word based on context information of an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram of an electronic device and an external electronic device according to an embodiment of the present disclosure.
  • FIG. 12 is a block diagram of an electronic device according to another embodiment of the present disclosure.
  • 13A is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
  • 13B is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
  • 13C is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
  • 13D is a diagram illustrating an example in which a call word is set for each speaker according to an embodiment of the present disclosure.
  • FIG. 14 is a block diagram of an electronic device in a network environment, according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example in which an electronic device is connected to an external electronic device by wireless communication according to an embodiment of the present disclosure
  • FIG. 2A is an example of controlling an audio output of the electronic device according to an embodiment of the present disclosure
  • FIG. 2B is a diagram illustrating an example of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 100 may be an audio output device capable of outputting an audio signal.
  • the electronic device 100 may be a hearable device that may be worn on a user's body and may output an audio signal.
  • the electronic device 100 may include a first type of wireless earphone 101 , a second type of wireless earphone 102 , a headset 103 , a head mounted device (HMD) 104 , or a smart device. It may include smart glasses 105 .
  • the first type of wireless earphone 101 may be connected to a pair of sub-devices (eg, output devices) wirelessly (eg, bluetooth low energy: BLE).
  • the second type of wireless earphone 102 may be connected to a pair of output devices by wire. This is only an example and does not limit the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may establish a short-range wireless communication (eg, Bluetooth) channel with the external electronic device 200 .
  • the electronic device 100 may receive and output audio data (eg, music data, audio data included in a video, and call reception data) from the external electronic device 200 .
  • the electronic device 100 may output audio data stored in an internal memory.
  • the electronic device 100 acquires an external sound by activating at least one input device (eg, a microphone) while outputting an audio signal corresponding to the received audio data, and obtains an external sound from at least the acquired external sound. You can check if a single specified call word is detected. When at least one designated call word is detected from the external sound, the electronic device 100 may control (or limit) the audio output. For example, as shown in FIG. 2A , when the user 210 calls the user 210 while the user 210 is listening to music while wearing the electronic device 100 on his/her ear, the user 210 is called.
  • at least one input device eg, a microphone
  • the electronic device 100 receives external sounds 230a, 230b, 230c, and 230d, 240), and whether the acquired external sounds 230a, 230b, 230c, 230d, 240 contain a call word 240 (eg, "Yonghoya") referring to the user 210 can be checked
  • a call word 240 eg, "Yonghoya"
  • the electronic device 100 pauses ( 202), and the caller's voice 250 obtained through an input device (eg, a microphone) may be output through an output device (eg, a speaker).
  • the electronic device 100 may stop ( 212 ) playing music and open ( 213 ) the microphone.
  • the opening 213 of the microphone may mean outputting an external sound collected through the microphone through a speaker.
  • the electronic device 100 performs at least one of operations (functions) of pausing playback of an audio signal, muting or decreasing a volume, or turning off a noise canceling function when a call word is detected. You can control the audio output by doing this. A detailed description thereof will be described later with reference to FIGS. 5 to 6C .
  • the electronic device 100 when detecting a call word, performs speaker recognition based on an external sound including the call word (or corresponding to the call word), and the detected call word and the recognized call word. You can check if the speaker matches.
  • the electronic device 100 may include (store) a speaker recognition database (DB) for speaker recognition and a call word DB in which the speaker and the calling word are matched.
  • speaker recognition may be performed by the external electronic device 200 .
  • the electronic device 100 may transmit at least a part of the acquired external sound to the external electronic device 200 and receive a speaker recognition result.
  • the electronic device 100 may transmit at least a part of the acquired external sound and the call word to the external electronic device 200 , and receive a result of whether the call word and the speaker match.
  • the electronic device 100 may control (or limit) an audio output.
  • the electronic device 100 eg, the HMD 104 or the smart glasses 105) including the display may display information (eg, name) about the recognized speaker on the display.
  • information eg, name
  • the electronic device 100 may recognize direction information in which an external sound including the call word is generated and provide the recognized direction information.
  • the electronic device 100 may use various known techniques (eg, an inter-aural time difference (ITD) technique using a time difference between sounds heard in two ears or an inter-aural level (ILD) technique using a difference in sound levels heard in both ears. difference) technology) to output an external sound through an output device to provide a sense of space corresponding to the recognized direction.
  • ITD inter-aural time difference
  • ILD inter-aural level
  • the electronic device 100 may provide feedback (or notification) to the user and/or the speaker who called the user upon detecting the call word.
  • the electronic device 100 may provide feedback to the user that a designated call word is detected from an external sound in various ways.
  • the electronic device 100 outputs a visual (eg, displaying a specified message and/or icon on the display of the smart glasses, providing a specified effect (eg, blinking)), and auditory (eg, a specified sound effect through a speaker). ), and/or tactilely (eg, generating vibrations in a specified pattern).
  • the electronic device 100 may give feedback (notify) to the speaker who called the user that the user can hear the external sound in various ways.
  • the electronic device 100 may be visually (eg, light an LED included in the electronic device 100 , display an icon on the display of the electronic device 100 ) or auditory (eg, a speaker of the electronic device 100 ). It is possible to provide feedback by outputting the specified sound effect to the outside rather than the inside of the user's ear). A detailed description thereof will be described later with reference to FIGS. 8A and 8B .
  • the electronic device 100 in order to reduce battery consumption, does not continuously activate at least one input device (eg, a microphone) while outputting an audio signal, and when the volume is greater than or equal to a specified value
  • An external sound may be acquired by activating at least one input device (eg, a microphone).
  • the specified value may be set by a manufacturer or a user as a value capable of recognizing an external sound while the user wears the electronic device 100 .
  • the electronic device 100 detects wearing on the user's body while outputting the audio signal, or requests output of the audio signal while being worn on the user's body.
  • the external sound may be acquired by activating at least one input device (eg, a microphone).
  • the electronic device 100 may include at least one sensor (eg, a temperature sensor for detecting body temperature, a contact sensor) for detecting whether the device is worn or not.
  • the electronic device 100 may adaptively change the call word based on context information.
  • the electronic device 100 may adaptively change the call word based on information (eg, location information, time and/or motion information) acquired through at least one sensor.
  • the context information is obtained by the external electronic device 200 , and the electronic device 100 may receive the context information from the external electronic device 200 . A detailed description thereof will be described later with reference to FIGS. 9A and 9B .
  • the electronic device 100 may determine whether a keyword for executing a specific function other than a call word is detected from the acquired external sound. For example, the electronic device 100 may check whether a keyword for executing a voice recognition function such as “Bixby TM” is detected while an audio signal is being output. A detailed description thereof will be described later with reference to FIG. 10 .
  • the external electronic device 200 may establish a short-range wireless communication (eg, Bluetooth) channel with the electronic device 100 .
  • the external electronic device 200 may include a smart phone, a tablet PC, a notebook computer, a desktop computer, and a wearable electronic device (eg, a smart watch).
  • the external electronic device 200 may reproduce multimedia data (eg, an audio (eg, music) file or a moving picture file) stored in a memory (not shown) or received from an external server.
  • multimedia data eg, an audio (eg, music) file or a moving picture file
  • the external electronic device 200 may transmit audio data included in multimedia data being played back to the electronic device 100 .
  • the external electronic device 200 may transmit audio data corresponding to a handset sound to the electronic device 100 .
  • the external electronic device 200 acquires an external sound through at least one input device (eg, a microphone) while transmitting audio data to the electronic device 100 , and analyzes the acquired external sound. It can be checked whether the specified call word is included in the acquired external sound. When the call word is included, the external electronic device 200 may transmit the call word to the electronic device 100 . According to an embodiment, the external electronic device 200 may control (eg, pause) an audio output upon detecting the call word and notify the electronic device 100 of the call word detection.
  • at least one input device eg, a microphone
  • the external electronic device 200 recognizes an external situation using at least one sensor (eg, an illuminance sensor, an image sensor, a microphone), and when it is determined that the external sound can be recognized sound can be obtained. For example, when it is determined that the external electronic device 200 is located in an enclosed space such as a bag or pocket through at least one sensor, at least one input device (eg, a microphone) for acquiring an external sound is deactivated. can do.
  • the external electronic device 200 may periodically activate a microphone to determine whether an external sound is detected, and determine whether the external sound is sensed (state).
  • the external electronic device 200 may provide a user interface (UI) for registering a call word.
  • UI user interface
  • the electronic device 100 receives audio data from the external electronic device 200 through the wireless communication module and acquires an external sound while playing it and confirms whether a designated call word is detected.
  • the electronic device 100 may obtain an external sound while playing audio data (eg, a music file) stored in an internal memory (not shown) and check whether a designated call word is detected.
  • the electronic device 100 may control the output of the audio signal when at least one specified call word is detected a specified number of times (eg, three times) or more.
  • FIG. 3 is a flowchart illustrating a method of controlling an audio output between an electronic device and an external electronic device according to an embodiment of the present disclosure.
  • an electronic device eg, the electronic device 100
  • an external electronic device eg, the external electronic device 200
  • short-range wireless communication eg, in operation 301
  • Bluetooth communication short-range wireless communication
  • the external electronic device may play a multimedia file.
  • the multimedia file may include an audio file (eg, a music file) including audio data and a video file.
  • the external electronic device may make a call with another external device.
  • the external electronic device may transmit audio data included in the multimedia file to the electronic device.
  • the external electronic device may transmit audio data corresponding to a sign language received from the other external device to the electronic device.
  • the electronic device may output an audio signal corresponding to audio data.
  • the electronic device may output an audio signal through an output module (eg, a plurality of speakers).
  • the output module may include a first speaker outputting a first acoustic signal (eg, a left acoustic signal) and a second speaker outputting a second acoustic signal (eg, a right acoustic signal).
  • the electronic device may acquire an external sound through at least one input device (eg, a microphone).
  • the electronic device may activate at least one microphone and acquire an external sound through the at least one microphone.
  • the electronic device may acquire an external sound through at least one input device (eg, a microphone) when a function for limiting audio output through call word detection (hereinafter, call word detection function) is activated.
  • call word detection function a function for limiting audio output through call word detection
  • the electronic device when the electronic device separately includes a microphone for detecting an external sound (hereinafter, referred to as an external microphone) and a microphone for making a call (hereinafter referred to as a call microphone), the electronic device activates the external microphone and uses the external microphone. External sound can be obtained through a microphone for detecting an external sound (hereinafter, referred to as an external microphone) and a microphone for making a call (hereinafter referred to as a call microphone).
  • the electronic device activates the external microphone and uses the external microphone. External sound can be obtained
  • the electronic device may detect at least one designated call word from an external sound. For example, the electronic device may analyze the external sound to determine whether a designated call word is included in the external sound.
  • the electronic device may control the output of the audio signal. For example, the electronic device pauses playback of an audio signal, mutes or decreases the volume, turns off a noise canceling function, or outputs a caller's voice obtained through a microphone to an output device (eg, a speaker) At least one of the (functions) may be performed.
  • the external electronic device acquires an external sound through an input device (microphone) included in the external electronic device, and receives the external sound from the external sound. At least one designated call word may be detected.
  • the external electronic device may notify the electronic device of detection of a call word. Operations 315 to 319 may be omitted.
  • the external electronic device may recognize an external situation through at least one sensor, and perform operations 315 to 319 when it is determined that an external sound can be detected through a microphone.
  • 4A is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • the processor of the electronic device may output an audio signal in operation 401 .
  • the processor may output an audio signal corresponding to audio data received from an external electronic device (eg, the external electronic device 200) connected through the wireless communication module through a plurality of output devices (eg, a stereo speaker).
  • the processor may output an audio signal corresponding to audio data included in a multimedia file (eg, an audio file (eg, a music file) or a video file) stored in the internal memory through a plurality of output devices.
  • the processor may automatically or according to a user's request turn on (activate) a function (eg, a noise canceling function) capable of reducing or blocking an external sound when an audio signal is output.
  • a function eg, a noise canceling function
  • the processor may acquire an external sound in operation 403 .
  • the processor may activate at least one input device (eg, a microphone) in response to the output of the audio signal, and acquire an external sound through the activated at least one input device.
  • the electronic device may determine whether the call word detection function is activated, and when the call word detection function is activated, the electronic device may acquire an external sound through at least one input device.
  • the processor may activate the external microphone when the electronic device separately includes a microphone (call microphone) for voice call and a microphone (external microphone) for acquiring an external sound.
  • the processor activates an external microphone to acquire an external sound when the volume is greater than or equal to a specified value and/or when it is confirmed that the electronic device is worn on the user's body (eg, ear) through at least one sensor can do.
  • the processor may determine whether a designated call word is detected from an external sound. For example, the processor may analyze an external sound acquired through the input device to determine whether the external sound includes a designated call word.
  • the processor may proceed to operation 411, which will be described later.
  • the processor may control the output of the audio signal.
  • the processor may request the external electronic device to pause output of the audio signal, mute or decrease the volume of the audio signal, turn off the noise canceling function, or input An external sound input through the device may be output through an output device. A detailed description of various examples of controlling the output of an audio signal will be described later with reference to FIGS. 5 to 6C .
  • the processor may determine whether resume output of the audio signal is requested. For example, the processor may check whether the output of the audio signal is resumed by the user. According to an embodiment, the processor may detect whether the speaker's utterance corresponding to the call word has ended, and, if the utterance is terminated, may recognize that resumption of the output of the audio signal is requested.
  • the electronic device may include a device (or software module) (eg, end point detection: EPD) for determining whether the utterance has ended.
  • the processor may maintain operation 409 .
  • the processor may determine whether the output of the audio signal is terminated. For example, the processor may determine whether audio data is not received from the external electronic device for a specified period of time (eg, 0.5 seconds) or longer. Alternatively, the processor may check whether multimedia playback is paused, stopped, or ended.
  • the processor may return to operation 403 .
  • the processor may deactivate the activated microphone in operation 403 and end the audio signal output control according to an embodiment of the present disclosure.
  • 4B is a flowchart illustrating a method of controlling an audio output of an electronic device according to another embodiment of the present disclosure.
  • an electronic device (eg, the electronic device 100 ) according to another embodiment of the present disclosure may support call word recognition for each speaker.
  • Operations 431 , 433 , and 435 of FIG. 4B are similar to operations 401 , 403 , and 405 of FIG. 4A , respectively, and thus a detailed description thereof will be omitted.
  • the processor may perform speaker recognition for an external sound (hereinafter, referred to as an utterance) corresponding to the calling word.
  • the electronic device may include a speaker recognition DB.
  • the electronic device may transmit at least a portion of the utterance to the external electronic device and receive speaker information from the external electronic device.
  • the processor may determine whether the detected call word and the recognized speaker match. For example, the processor may refer to the call word DB and check whether the recognized speaker is "wife" when the call word "honey” is detected. A detailed description of the call word DB will be described later with reference to FIG. 11 .
  • another embodiment of the present disclosure described above it is possible to improve the efficiency of audio output control by setting a call word for each speaker.
  • another embodiment of the present disclosure may reduce the inconvenience of unnecessarily controlling audio output to an external sound calling a user other than the user.
  • FIG. 5 is a flowchart illustrating in detail an operation of controlling an audio output of an electronic device according to an embodiment of the present disclosure
  • FIG. 6A illustrates an example in which the electronic device pauses an audio output according to an embodiment of the present disclosure
  • 6B is a diagram illustrating an example in which an electronic device controls a volume of an audio signal and a volume of an external sound according to an embodiment of the present disclosure
  • FIG. 6C is an electronic device according to an embodiment of the present disclosure is a diagram illustrating an example of controlling the volume of an audio signal.
  • the processor of the electronic device may determine whether music is being played in operation 501 . As a result of checking in operation 501, if music is being played, in operation 503, the processor may pause music playback or control the volume. For example, when music stored in the electronic device is being played, the processor may instruct the music playback application to pause or control the volume (eg, mute or decrease). As another example, when receiving music from the external electronic device and playing the music, the processor transmits a message requesting to pause the music when a call word 601 is detected to the external electronic device as shown in FIG. 6A ( 602 ) can do. Upon receiving the message, the external electronic device may pause (603) playing the music.
  • the processor may pause music playback or control the volume. For example, when music stored in the electronic device is being played, the processor may instruct the music playback application to pause or control the volume (eg, mute or decrease).
  • the processor transmits a message requesting to pause the music when a call word 601 is detected
  • the processor may simultaneously output an audio signal and an external signal.
  • the processor increases the volume (eg, music volume) of the audio signal when the call word 601 is detected to a specified first value (V 1 ). It may gradually decrease and gradually increase the volume of the external signal (eg, the utterance 605 ) up to the specified second value V 2 .
  • V 1 a specified first value
  • V 2 the volume of the external signal
  • the processor adjusts the volume of the audio signal. It is possible to gradually increase to the original state, and to gradually cut off the output of external sound.
  • the processor may control audio output of some of the plurality of output devices.
  • the electronic device includes a first sub device (eg, a left acoustic device) 611 and a second sub device (eg, a right acoustic device) 612
  • the processor External signals 611a and 612a are respectively obtained through the input device (microphone) included in the first sub device 611 and the input device (microphone) included in the second sub device 612 , and It is possible to compare the intensity and control (eg, mute or decrease the volume) the audio output to the sub-device (eg, the first sub-device 611 in FIG.
  • the processor may control only the audio output to the sub-device in the direction in which the speaker is located so that the user may recognize an external sound.
  • the processor may determine whether a current media volume (volume) is equal to or greater than a specified threshold. As a result of checking in operation 505, if the media volume is equal to or greater than the threshold, in step 507, the processor may decrease or mute the media volume to a specified volume.
  • the processor may determine whether the noise canceling function is activated. As a result of checking the operation 509 , when the noise canceling function is activated, the processor may deactivate the noise canceling function in operation 511 .
  • the processor may determine whether a call is in progress in operation 513 . As a result of checking in operation 513 , if a call is in progress, the processor may provide feedback in operation 515 . For example, the processor may feedback to the user that an external call has been detected in various ways. For example, the processor may output a specified sound effect through a speaker. As another example, when the electronic device is a smart glasses or an HMD device, the processor may display a phrase and/or an icon informing the detection of a call word on the display.
  • the processor may return to operation 411 (or operation 445 ).
  • the electronic device may provide a combination of at least one of stopping or controlling the volume of an audio signal, reducing or muting the volume of a media signal, turning off a noise canceling function, or providing feedback.
  • FIG. 7A is a flowchart illustrating a method in which an electronic device feeds back call origination and speaker direction information to a user according to an embodiment of the present disclosure
  • FIG. 7B is a flowchart illustrating an electronic device to the user according to an embodiment of the present disclosure. It is a diagram illustrating an example of feeding back information about the origin of a call and the direction of the speaker.
  • the processor of the electronic device may provide direction information in which the speaker is located.
  • Operations 701, 703, 705, 707, and 709 of FIG. 7A are similar to operations 431, 433, 435, 437, and 439 of FIG. 4B, respectively, and detailed descriptions thereof will be omitted.
  • the processor may recognize a direction in which the speaker is located in operation 711 .
  • the processor may recognize the direction in which the speaker is located by analyzing external sounds acquired through a plurality of input devices (eg, using a magnitude comparison or a reception time difference). For example, when an external sound is detected through the input module located on the right side of the user and little external sound is detected through the input module located on the left side of the user, the processor may determine that the speaker is located on the right side .
  • a technique for recognizing a speaker's position (direction) by analyzing an external sound acquired through the plurality of microphones is a well-known technique and is obvious to those skilled in the art, and thus a detailed description thereof will be omitted.
  • the processor may feed back a call generation and/or a call direction to the user.
  • the processor may output a designated sound effect through the output module.
  • the processor may display a phrase 722 notifying the detection of the call word 721 on the display of the smart glasses 700 as shown in the diagram of the identification code 720 of FIG. 7B .
  • the speaker 732 utters in the diagonal direction (about 45 degree direction) 733 at the upper right side with respect to the user 731 and A sense of space may be provided so that the user can recognize that there is.
  • the processor may provide a sense of space corresponding to the recognized direction through various known techniques (eg, an ITD technique or an ILD technique).
  • Operations 715, 717, and 719 of FIG. 7A are similar to operations 441, 443, and 435 of FIG. 4B, respectively, and thus a detailed description thereof will be omitted.
  • the user can easily recognize the location of the speaker by detecting the call word and/or providing direction information where the speaker is located.
  • FIG. 8A is a flowchart illustrating a method for an electronic device to provide feedback to a speaker that a conversation with a user is possible according to an embodiment of the present disclosure
  • FIG. 8B is a flowchart illustrating an electronic device capable of communicating with a user It is a diagram illustrating an example of feeding back to the speaker.
  • the processor of the electronic device may feed back to the caller that the user is in a conversationable state.
  • Operations 801, 803, 805, 807, 809, and 811 of FIG. 8A are similar to operations 431, 433, 435, 437, 439 and 441 of FIG. 4B, respectively. to be omitted.
  • the processor may feed back to the caller that the user is in a conversationable state in various ways.
  • the processor emits a light emitted diode (LED) disposed on the outside of the electronic device in a specified pattern ( 821 ), and displays a dialog icon on the display ( 823 ). , it is possible to feed back to the caller that the user can hear the external sound through at least one of the output 825 of the specified sound effect.
  • LED light emitted diode
  • Operations 815 and 817 of FIG. 8A are similar to operations 443 and 435 of FIG. 4B , respectively, and thus detailed descriptions thereof will be omitted.
  • the caller repeatedly calls the user because it is misunderstood as a state in which it is difficult to hear the external sound even though the user can hear the external sound by feeding back to the caller whether the user is in a conversational state. Or, you can relieve the discomfort of raising your voice.
  • FIG. 9A is a flowchart illustrating a method of controlling audio output by changing a call word based on context information of an electronic device according to an embodiment of the present disclosure
  • FIG. 9B is a flowchart illustrating an electronic device according to an embodiment of the present disclosure
  • It is a diagram illustrating an example of changing a call word based on context information.
  • the processor of the electronic device may detect activation of a call word detection function in operation 901 .
  • the call word detection function may be activated by a user through an input device (eg, a specified touch input or a specified key input), or may be automatically activated by a processor when an audio signal is output.
  • the processor may collect context information in operation 903 .
  • the processor continuously or periodically collects contextual information about location (place), time, and/or movement (movement) while the call word detection function is active (or while an audio signal is output) can do.
  • the processor receives location information through a location information receiving module (eg, GPS, GNNS), through whether it is connected to a wireless router (eg, access point: AP) installed in a specific place (eg, home, company, department store). Information on whether the electronic device moves (moves) through place information and/or a sensor (eg, a gyro sensor) may be collected.
  • the processor may receive context information from an external electronic device connected through short-range wireless communication.
  • the processor may determine whether a call word matched with the current context information exists. As a result of checking operation 905, if there is no call word matching the current context information, the processor may proceed to operation 909 . On the other hand, if it is determined in operation 905 that there is a call word matching the current context information, the processor may change the call word in operation 907 . For example, as shown in the diagram of identification code 931 of FIG. 9B , the processor may determine whether the current location (place) is identified as the home based on whether the electronic device is connected to the wireless router installed in the home or received location information. In this case, you can change the call word to "honey".
  • the processor may change the call word to “excuse me” when it is confirmed that the electronic device is currently moving through the gyro sensor, as shown in the drawing of reference numeral 933 of FIG. 9B .
  • the processor calls when it is confirmed that the current location is the company based on whether the electronic device and the wireless router installed in the company are connected or the received location information, as shown in the drawing of the identification code 935 of FIG. 9B , You can change the language to "Mr. Kim".
  • the processor as shown in the diagram of identification code 937 of FIG.
  • the processor may give weight to the call word for each situation so as to preferentially check whether the call word corresponding to the current situation is included in the external sound.
  • the processor may determine whether the call word detection function is deactivated. If the call word detection function is not deactivated as a result of checking operation 909 , the processor may return to operation 903 . On the other hand, when the call word detection function is deactivated as a result of checking operation 909, the processor may end the procedure for adaptively changing the call word based on the context information according to an embodiment of the present disclosure.
  • the processor acquires an external sound when outputting an audio signal, similar to that described in FIGS. 4A to 8B, and determines whether the changed call word is detected from the external sound. Based on the above, operations for controlling the output of the audio signal may be performed.
  • One embodiment of the present disclosure described above improves the efficiency (eg, speed and/or accuracy) of call word recognition by changing the call word for each context and detecting or preferentially detecting the call word matched (suitable) to the context. can do it
  • FIG. 10 is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
  • the processor of the electronic device may output an audio signal in operation 1001 and acquire an external sound in operation 1003 . Since operations 1001 and 1003 are similar to operations 401 and 403 of FIG. 4A , detailed descriptions thereof will be omitted.
  • the processor may determine whether a specified keyword is detected from an external sound. If the keyword is not detected from the external sound as a result of checking operation 1005 , the processor may proceed to operation 1015 . On the other hand, when a keyword is detected from an external sound as a result of checking in operation 1005 , in operation 1007 , the processor may determine whether the detected keyword is a calling word calling the user.
  • the processor may execute a function corresponding to the keyword. For example, when the detected keyword corresponds to a voice command for controlling a specific function (eg, stopping music reproduction), the processor may perform a function corresponding to the voice command.
  • the processor may transmit the detected keyword to the external electronic device. For example, when the detected keyword is a keyword that calls a voice recognition service (eg, "Bixby TM "), the external electronic device transmits the keyword and the external sound collected through the input device to the external electronic device, A recognition service can be performed.
  • a voice recognition service eg, "Bixby TM "
  • the processor may perform operations 1011, 1013, and 1015.
  • Operations 1011, 1013, and 1015 are similar to operations 407, 409, and 411, and detailed descriptions thereof will be omitted.
  • FIG. 11 is a block diagram illustrating the configuration of an electronic device and an external electronic device according to an embodiment of the present disclosure.
  • an electronic device 1101 (eg, the electronic device 100 ) according to an embodiment of the present disclosure includes a processor 1110 , a memory 1120 , a wireless communication module 1130 , and an output module 1140 . ), an input module 1150 , and a wear detection sensor 1160 .
  • the processor 1110 may control the audio output of the electronic device 1101 .
  • the processor 1110 may control output of an audio signal when a designated call word is detected from an external sound while outputting the audio signal.
  • the processor 1110 may include a call word detection module 1111 and an audio output control module 1113 .
  • the call word detection module 1111 detects a designated call word from the external sound by analyzing an external sound acquired through the input module 1150 while outputting an audio signal through the output module 1140 . can do. According to various embodiments, the call word detection module 1111 may perform speaker recognition and check whether the detected call word and the recognized speaker match. According to some embodiments, the processor 1110 may separately include a speaker recognition module.
  • the audio output control module 1113 may control the output of the audio signal in response to the call word detection module 1111 detecting the call word.
  • the audio output control module 1113 may control the output of the audio signal as described with reference to FIGS. 5 to 6C .
  • the memory 1120 when executed, may store instructions for controlling the output of the audio signal when the processor 1110 detects a designated call word while outputting the audio signal.
  • the memory 1120 may include a calling word DB 1121 and a speaker recognition DB 1123 .
  • the call word DB 1121 may include at least one call word.
  • a speaker and at least one call word may be matched as shown in ⁇ Table 1> below, and situation information and at least one call word may be matched as shown in ⁇ Table 2>.
  • ⁇ Table 1> and ⁇ Table 2> are only examples, and do not limit one embodiment of the present disclosure.
  • the speaker recognition DB 1123 may include reference data for recognizing a speaker corresponding to the detected call word.
  • the memory 1120 of the electronic device 1101 may not include the speaker recognition DB 1123 .
  • the electronic device 1101 may request speaker recognition to the external electronic device 1102 (eg, the external electronic device 200) through the wireless communication module 1130 and receive a result.
  • the wireless communication module 1130 may connect the external electronic device 1102 and a wireless communication channel (eg, Bluetooth).
  • the wireless communication module 1130 may receive audio data from the external electronic device 1102 .
  • the wireless communication module 1130 may transmit a signal requesting control of audio output (eg, pause of audio reproduction) to the external electronic device 1102 .
  • the output module 1140 may output an audio signal.
  • the output module 1140 may be a speaker.
  • the output module 1140 may include a first output module 1141 and a second output module 1142 to support stereo output.
  • the first output module 1141 may be a first speaker that outputs a first sound signal (eg, a left audio signal)
  • the second output module 1142 may output a second sound signal (eg, a right audio signal) signal) may be output from the second speaker.
  • the input module 1150 may acquire an external sound.
  • the input module 1150 may acquire an external sound while an audio signal is output through the output module 1140 .
  • the input module 1150 may include a first input module (first microphone) 1151 and a second input module (second microphone) 1152 .
  • the input module 1150 may include only one input module (eg, the first input module 1151 ) or may include three or more input modules.
  • the wear detection sensor 1160 may detect whether the electronic device 1101 is worn on the user's body (eg, ears).
  • the wear detection sensor 1160 may include a temperature sensor that detects temperature or a touch sensor that detects contact.
  • the processor 1110 may recognize that the electronic device 1101 is worn on the body when a temperature (eg, 30 to 45 degrees) corresponding to the body temperature is sensed through the temperature sensor.
  • the processor 1110 may recognize that the electronic device 1101 is worn on the body when a contact is detected through a contact sensor disposed at a position in contact with the body when the electronic device 1101 is worn.
  • the electronic device 1101 may not include a wear detection sensor 1160 .
  • the electronic device 1101 may further include at least one module for collecting context information.
  • the electronic device 1101 may include a location information receiving module (eg, GPS, GNSS) for receiving location and time information, and a wireless router (eg, access point: It may further include a short-range wireless communication module (eg, Wi-Fi, BLE) connected to the AP), a gyro sensor for detecting movement (movement) of the electronic device, and the like.
  • a location information receiving module eg, GPS, GNSS
  • a wireless router eg, access point: It may further include a short-range wireless communication module (eg, Wi-Fi, BLE) connected to the AP), a gyro sensor for detecting movement (movement) of the electronic device, and the like.
  • the external electronic device 1102 (eg, the external electronic device 200 ) according to an embodiment of the present disclosure includes a processor 1170 , a memory 1180 , a wireless communication module 1190 , and an input module 1195 . can do.
  • the processor 1170 may control the overall operation of the external electronic device 1102 .
  • the processor 1170 may wirelessly communicate with the electronic device 1101 through the wireless communication module 1190 .
  • the processor 1170 may transmit the audio data to the electronic device 1101 through the wireless communication module 1190 when playing a multimedia file including audio data in a state in which wireless communication is connected with the electronic device 1101 .
  • the processor 1170 may include a call word detection module 1171 , an audio output control module 1173 , a call word registration module 1175 , and a control option setting module 1177 .
  • the call word detection module 1171 may detect a designated call word from an external sound acquired through the input module 1195 while transmitting audio data to the electronic device 1101 .
  • the call word detection module 1171 may be the same as or similar to the call word detection module 1111 of the electronic device 1101 . According to some embodiments, the call word detection module 1171 may be omitted.
  • the audio output control module 1173 may control audio output.
  • the audio output control module 1173 may control (eg, pause) the audio output in a manner set by the control option setting module 1177 when the call word is detected, and detect the call word by the wireless communication module It can be transmitted to the electronic device 1101 through 1190 .
  • the audio output control module 1173 may not be included in the external electronic device 1102 .
  • the call word registration module 1175 may control call word registration.
  • the call word registration module 1175 may register a voice received from the speaker as a call word and transmit the registered call word to the electronic device 1101 . A detailed description will be given later with reference to FIGS. 13A to 13D.
  • control option setting module 1177 may set an audio output control method. For example, the control option setting module 1177 receives an operation (eg, pause, mute or decrease volume, or whether to provide feedback) to be performed by the electronic device 1101 when a call word is detected from the user, and receives the input from the user. It can be sent to (1101).
  • an operation eg, pause, mute or decrease volume, or whether to provide feedback
  • control option setting module 1177 may obtain context information and transmit a call word matched to the context information to the electronic device 1101 . According to an embodiment, the control option setting module 1177 may transmit only context information to the electronic device 1101 .
  • the memory 1180 may include a call word DB 1181 and a speaker recognition DB 1183 . Since the call word DB 1181 and the speaker recognition DB 1183 are similar to the call word DB 1121 and the speaker recognition DB 1123 of the electronic device 1101 , a detailed description thereof will be omitted. According to some embodiments, the call word DB 1181 and the speaker recognition DB 1183 may not be included in the external electronic device 1102 .
  • the wireless communication module 1190 may connect the electronic device 1101 and a wireless communication channel (eg, Bluetooth).
  • the wireless communication module 1190 may transmit audio data to the electronic device 1101 .
  • the wireless communication module 1190 may receive a signal requesting control of audio output (eg, pause of audio reproduction) from the electronic device 1101 .
  • the wireless communication module 1190 may transmit the detection of the call word to the electronic device 1101 .
  • the wireless communication module 1190 may transmit context information to the electronic device 1101 .
  • the input module 1195 may acquire an external sound.
  • the input module 1195 may acquire an external sound while transmitting audio data to the electronic device 1101 .
  • the input module 1195 may include at least one microphone.
  • the input module 1195 is transmitting audio data to the electronic device 1101 and, in a situation in which an external sound can be acquired, may be activated to acquire an external sound.
  • the input module 1195 may not be included in the external electronic device 1102 .
  • FIG. 12 is a block diagram illustrating a configuration of an electronic device according to another embodiment of the present disclosure.
  • an electronic device 1201 (eg, the electronic device 100 ) according to another embodiment of the present disclosure may include a first sub-device 1201a and a second sub-device 1201b.
  • the first sub-device 1201a and the second sub-device 1201b may be wirelessly connected to support a stereo output.
  • Each of the first sub-device 1201a and the second sub-device 1201b may operate as an independent device.
  • the first sub-device 1201a and the second sub-device 1201b may have the same or similar configuration to the electronic device 1101 of FIG. 11 .
  • the second sub-device 1201b has some components overlapping with the first sub-device 1201a (eg, the second processor 1210b, the second memory 1220b, and the second input module 1250b). ), the wear detection sensor 1260b)) may not be included.
  • the sub-devices 1201a and 1201b of the electronic device 1201 described above may be wirelessly connected through the wireless communication modules 1230a and 1230b.
  • the wireless communication module 1230a (a first wireless communication circuit) of the first sub-device 1201a connects a wireless communication channel with an external electronic device, and transmits an audio signal through the connected wireless communication channel.
  • the wireless communication module 1230b (second wireless communication circuit) of the second sub-device 1201b obtains (eg, sniffs) an audio signal transmitted from the external electronic device to the first wireless communication circuit.
  • the first sub-device 1201a may provide information necessary for acquiring (sniffing) the audio signal to the second sub-device 1201b.
  • the electronic device 1201 is similar to the electronic device 1101 except that the two sub-devices 1201a and 1201b are wirelessly connected. Accordingly, the processors 1210a and 1210b of FIG. 12, the call word detection modules 1211a and 1211b, the audio output control modules 1213a and 1213b, the memories 1220a and 1220b, the call word DBs 1221a and 1221b, and the speaker recognition DB (1223a, 1223b), wireless communication module (1230a, 1230b), first output module (1240a), second output module (1240b), first input module (1250a), second input module (1250b), wear detection sensor A detailed description of (1260a, 1260b) will be omitted.
  • FIGS. 13A to 13D are exemplary views illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
  • an external electronic device may display a user interface for registering a call word on a display.
  • the external electronic device may display a call word registration UI on the display as shown in the reference numeral 1310 of FIG. 13A .
  • the call word registration UI may include a speaker selection menu 1301 and a speaker addition menu 1302 for selecting one of speakers provided by default.
  • the external electronic device may display a screen requesting input of the call word on the display.
  • the external electronic device may display on the display a screen requesting the spouse to input a call word by voice, as illustrated in reference numerals 1310 and 1315 of FIG. 13A .
  • the external electronic device may display, on the display, a screen requesting to input a call word with a male voice when a guest is selected, as shown in reference numerals 1335 and 1340 of FIG. 13B .
  • the external electronic device may display, on the display, a screen requesting the user to input a call word by voice when the user is selected, as shown in the drawings 1355 and 1360 of FIG. 13C .
  • the external electronic device may display a screen requesting to input the call word once again.
  • the external electronic device may display the previously voiced call word on one area of the screen to induce the speaker to voice input the same call word as before.
  • the external electronic device may display, on the display, a screen requesting the spouse to re-enter the call word “honey” 1303 by voice, as shown in the diagram of identification code 1320 of FIG. 13A .
  • the external electronic device may display on the display a screen requesting to re-enter the call word “Yonghoya” 1304 with a female voice, as shown in the figure of identification code 1345 of FIG. 13B .
  • the external electronic device may display, on the display, a screen requesting the user to re-enter the call word “wait” 1305 by voice, as shown in reference numeral 1365 of FIG. 13C .
  • the external electronic device may display a call word registration completion screen on the display.
  • the external electronic device may display a call word registration completion screen as shown in the drawing of the identification code 1325 of FIG. 13A , the drawing of the identification code 1350 of FIG. 13B , and the drawing of the identification code 1370 of FIG. 13C .
  • the call word registration completion screen may include another call word registration menu 1306 for registering different keywords for the same speaker and another user registration menu 1307 for registering a call word for another speaker.
  • At least one call word may be registered for each speaker through the call word registration method described above.
  • the user registers (sets) two call words (“Honey” and “Baby”) with respect to a spouse, and one call word (“ “Dad”), register two call words ("Abuji", "Dad”) in relation to the second son, and three call words ("Yongpro-nim”, “Yongho-nim", “Professional Dragon”) can be registered.
  • the call word is registered (set) through the external electronic device and transmitted to the electronic device. .
  • FIG. 14 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure.
  • an electronic device 1401 communicates with an electronic device 1402 through a first network 1498 (eg, a short-range wireless communication network). ), or may communicate with the electronic device 1404 or the server 1408 through the second network 1499 (eg, a remote wireless communication network).
  • the electronic device 1401 may communicate with the electronic device 1404 through the server 1408 .
  • the electronic device 1401 includes a processor 1420 (eg, processor 1270 ), a memory 1430 (eg, memory 1280 ), and an input module 1450 (eg, an input module 1295 ).
  • a communication module 1490 eg, a wireless communication module 1290
  • a subscriber identification module 1496 or an antenna module 1497 .
  • at least one of these components eg, the connection terminal 1478
  • may be omitted or one or more other components may be added to the electronic device 1401 .
  • some of these components eg, sensor module 1476 , camera module 1480 , or antenna module 1497
  • are integrated into one component eg, display module 1460 ).
  • the processor 1420 for example, executes software (eg, a program 1440) to execute at least one other component (eg, hardware or software component) of the electronic device 1401 connected to the processor 1420. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 1420 converts commands or data received from other components (eg, the sensor module 1476 or the communication module 1490 ) to the volatile memory 1432 . may store the command or data stored in the volatile memory 1432 , and store the result data in the non-volatile memory 1434 .
  • software eg, a program 1440
  • the processor 1420 converts commands or data received from other components (eg, the sensor module 1476 or the communication module 1490 ) to the volatile memory 1432 .
  • the volatile memory 1432 may store the command or data stored in the volatile memory 1432 , and store the result data in the non-volatile memory 1434 .
  • the processor 1420 includes the main processor 1421 (eg, a central processing unit or an application processor) or a secondary processor 1423 (eg, a graphics processing unit, a neural network processing unit (a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 1421 e.g, a central processing unit or an application processor
  • a secondary processor 1423 e.g, a graphics processing unit, a neural network processing unit (a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the main processor 1421 e.g, a central processing unit or an application processor
  • a secondary processor 1423 eg, a graphics processing unit, a neural network processing unit (a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the sub-processor 1423 uses less power than the main processor 1421 or is set to be specialized for a specified function.
  • the coprocessor 1423 may be, for example, on behalf of the main processor 1421 while the main processor 1421 is in an inactive (eg, sleep) state, or when the main processor 1421 is active (eg, executing an application). ), together with the main processor 1421, at least one of the components of the electronic device 1401 (eg, the display module 1460, the sensor module 1476, or the communication module 1490) It is possible to control at least some of the related functions or states.
  • the coprocessor 1423 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 1480 or communication module 1490. have.
  • the auxiliary processor 1423 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1401 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1408).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the AI model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1430 may store various data used by at least one component (eg, the processor 1420 or the sensor module 1476 ) of the electronic device 1401 .
  • the data may include, for example, input data or output data for software (eg, a program 1440 ) and commands related thereto.
  • the memory 1430 may include a volatile memory 1432 or a non-volatile memory 1434 .
  • the program 1440 may be stored as software in the memory 1430 , and may include, for example, an operating system 1442 , middleware 1444 , or an application 1446 .
  • the input module 1450 may receive a command or data to be used in a component (eg, the processor 1420 ) of the electronic device 1401 from the outside (eg, a user) of the electronic device 1401 .
  • the input module 1450 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1455 may output a sound signal to the outside of the electronic device 1401 .
  • the sound output module 1455 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 1460 may visually provide information to the outside (eg, a user) of the electronic device 1401 .
  • the display module 1460 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display module 1460 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 1470 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1470 acquires a sound through the input module 1450 or an external electronic device (eg, a sound output module 1455 ) directly or wirelessly connected to the electronic device 1401 .
  • the electronic device 1402) eg, a speaker or headphones
  • the sensor module 1476 detects an operating state (eg, power or temperature) of the electronic device 1401 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1476 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1477 may support one or more specified protocols that may be used by the electronic device 1401 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1402 ).
  • the interface 1477 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • connection terminal 1478 may include a connector through which the electronic device 1401 can be physically connected to an external electronic device (eg, the electronic device 1402 ).
  • the connection terminal 1478 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1479 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1479 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1480 may capture still images and moving images. According to one embodiment, the camera module 1480 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1488 may manage power supplied to the electronic device 1401 .
  • the power management module 1488 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1489 may supply power to at least one component of the electronic device 1401 .
  • battery 1489 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1490 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1401 and an external electronic device (eg, the electronic device 1402, the electronic device 1404, or the server 1408). It can support establishment and communication through the established communication channel.
  • the communication module 1490 may include one or more communication processors that operate independently of the processor 1420 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1490 is a wireless communication module 1492 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1494 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 1498 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1499 (eg, legacy).
  • a first network 1498 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 1499 eg, legacy
  • the wireless communication module 1492 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1496 within a communication network, such as the first network 1498 or the second network 1499 .
  • the electronic device 1401 may be identified or authenticated.
  • the wireless communication module 1492 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1492 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1492 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1492 may support various requirements specified in the electronic device 1401 , an external electronic device (eg, the electronic device 1404 ), or a network system (eg, the second network 1499 ).
  • the wireless communication module 1492 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (for URLLC realization) ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for URLLC realization
  • the antenna module 1497 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1497 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1497 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1498 or the second network 1499 is connected from the plurality of antennas by, for example, the communication module 1490 . can be selected. A signal or power may be transmitted or received between the communication module 1490 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1497 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1401 and the external electronic device 1404 through the server 1408 connected to the second network 1499 .
  • Each of the external electronic devices 1402 and 1404 may be the same as or different from the electronic device 1401 .
  • all or part of the operations performed by the electronic device 1401 may be executed by one or more external electronic devices 1402 , 1404 , or 1408 .
  • the electronic device 1401 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1401 .
  • the electronic device 1401 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1401 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1404 may include an Internet of things (IoT) device.
  • the server 1408 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1404 or the server 1408 may be included in the second network 1499 .
  • the electronic device 1401 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • an electronic device eg, a sub device 1201a
  • a first speaker eg, a first output module 1240a
  • a first microphone eg, a first input module 1250a
  • a memory eg, memory 1220a
  • a processor eg, a processor 1210a
  • the electronic device further includes a wireless communication circuit (eg, a wireless communication module 1230a) that connects an external electronic device (eg, the second sub-device 1201b) and short-range wireless communication, and the processor outputs a first acoustic signal among the audio signals through the first speaker when the external electronic device and short-range wireless communication are connected, and outputs a second acoustic signal among the audio signals to a second speaker included in the external electronic device (eg : It may be set to control the external electronic device to output through the second output module 1240b).
  • a wireless communication circuit eg, a wireless communication module 1230a
  • the processor outputs a first acoustic signal among the audio signals through the first speaker when the external electronic device and short-range wireless communication are connected, and outputs a second acoustic signal among the audio signals to a second speaker included in the external electronic device (eg : It may be set to control the external electronic device to output through the second output module 1240b).
  • the processor recognizes a direction in which the call word is generated when the call word is detected, and outputs the external sound through the first speaker and the second speaker to have a sense of space corresponding to the recognized direction can be set to
  • the processor receives an external sound acquired through a second microphone (eg, the second input module 1250b) included in the external electronic device through the wireless communication circuit, and the received external sound It may be configured to check whether the at least one call word is detected from a second microphone (eg, the second input module 1250b) included in the external electronic device through the wireless communication circuit, and the received external sound It may be configured to check whether the at least one call word is detected from
  • the processor in response to the at least one call word being detected through at least one of the first microphone and the second microphone, the processor may be configured to include an external sound acquired through the first microphone and the second microphone. Recognize a speaker's direction based on at least one of a difference in the size of the speakers or a reception time, and reduce or mute an output of an audio signal to the first speaker or the second speaker based on the recognized speaker's direction can be set to
  • the electronic device may further include at least one module for collecting context information including at least one of a current location, a time, and whether to move.
  • the processor may be configured to dynamically change the at least one call word based on the collected context information.
  • the processor may be configured to feed back to the recognized speaker that the user is in a state in which the external sound can be recognized, or to feed back to the user that the at least one call word has been detected.
  • the electronic device may further include at least one sensor (eg, a wear detection sensor 1260a) for detecting whether the electronic device is worn.
  • the processor determines whether wearing of the electronic device is detected through the at least one sensor in response to the output of the audio signal, and when the wearing is detected, activates the first microphone to acquire the external sound can be
  • an electronic device includes a first sub device (eg, first sub device 1201a) and a second sub device (eg, second sub device 1201b). )) may be included.
  • the first sub device may include a first speaker (eg, a first output module 1240a) for outputting a first sound signal; a first microphone (eg, a first input module 1250a); a first wireless communication circuit (eg, a wireless communication module 1230a) for connecting the second sub-device and wireless communication; a memory (eg, memory 1220a) for storing at least one call word; and a processor (eg, a processor 1210a) operatively connected to the first speaker, the first microphone, the first wireless communication circuit, and the memory.
  • the second sub device may include a second speaker (eg, a second output module 1240b) for outputting a second sound signal; a second microphone (eg, a second input module 1250b); and a second wireless communication circuit (eg, a wireless communication module 1230b) for connecting the first wireless communication circuit and wireless communication.
  • a second speaker eg, a second output module 1240b
  • a second microphone eg, a second input module 1250b
  • a second wireless communication circuit eg, a wireless communication module 1230b
  • the processor acquires an external sound through at least one of the first microphone or the second microphone while outputting an audio signal through the first speaker and the second speaker, and from the acquired external sound, the at least one Check whether a call word is detected, and, in response to the detection of the at least one call word, the direction of the speaker based on at least one of a difference in the size or reception time of external sounds acquired through the first microphone and the second microphone may be configured to reduce or mute the output of the audio signal to the first speaker or the second speaker based on the recognized direction of the speaker.
  • the processor may be set to control the output of the external sound to have a sense of space corresponding to the recognized direction of the speaker.
  • the processor in response to the detection of the at least one call word, performs speaker recognition on an external sound corresponding to the at least one call word, and the recognized speaker and the detected call word It may be configured to check whether a match is made, and to recognize the direction of the speaker when the detected call word and the recognized speaker match.
  • the electronic device may further include at least one module for collecting context information including at least one of a current location, a time, and whether to move.
  • the processor may be configured to dynamically change the at least one call word based on the collected context information.
  • a method for controlling an audio output of an electronic device includes a plurality of speakers (eg, the first output module 1141 , 1240a ), a first 2 outputting an audio signal through the output modules 1142 and 1240b and the sound output device 1455); acquiring an external sound through at least one microphone (eg, first input modules 1151 and 1250a, second input modules 1152 and 1250b, and input device 1450) while outputting the audio signal; checking whether at least one designated call word is detected from the acquired external sound; performing speaker recognition on an external sound corresponding to the at least one call word in response to the detection of the at least one call word; checking whether the recognized speaker and the detected call word match; and controlling the output of the audio signal so that the user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
  • a plurality of speakers eg, the first output module 1141 , 1240a
  • a first 2 outputting an audio signal through the output modules 1142 and 1240b and the sound output device 1455
  • the method may include: recognizing a direction in which the at least one call word is generated when the at least one call word is detected; and outputting the external sound through the plurality of speakers to have a sense of space corresponding to the recognized direction.
  • the method may include feeding back to the recognized speaker that the user is in a state in which an external sound can be recognized; Alternatively, the method may further include at least one of feeding back to the user that the at least one call word has been detected.
  • the controlling of the output of the audio signal may include: pausing the reproduction of the audio signal; muting or reducing the volume of the audio signal to a specified level; an operation of turning off the noise canceling function; outputting the speaker's voice acquired through the at least one microphone through the plurality of speakers; comparing the levels of external sounds acquired through a plurality of microphones, and reducing or muting an audio output to a speaker disposed in the vicinity of the microphone having acquired an external sound having a relatively large size among the plurality of speakers; or decreasing the volume of the audio signal to a specified first level, increasing the volume of the external sound to a specified second level greater than the first level, and when the external sound is not detected for a specified time or longer, the audio It may include at least one of restoring the volume of the signal to the original level and blocking the output of the external sound.
  • the wearing of the electronic device is detected through at least one sensor (eg, wearing detection sensors 1160, 1260a, 1260b) in response to the output of the audio signal. and activating the at least one microphone to acquire the external sound when the wearing is sensed.
  • the performing of the speaker recognition may include performing the speaker recognition when the at least one call word is detected more than a specified number of times.
  • the method collects context information including at least one of the current location, time, or whether the user moves through at least one sensor (eg, the sensor module 1476) and/or wirelessly connected external electronic receiving context information from a device (eg, external electronic devices 200 and 1102 ); and dynamically changing the at least one call word based on the context information.
  • at least one sensor eg, the sensor module 14766
  • wirelessly connected external electronic receiving context information from a device (eg, external electronic devices 200 and 1102 ); and dynamically changing the at least one call word based on the context information.
  • an electronic device may include a housing; a first speaker (eg, first output modules 1141 and 1240a) disposed in a first area of the housing and outputting a left sound signal; a second speaker (eg, second output modules 1142 and 1240b) disposed in the second area of the housing and outputting a right sound signal; at least one microphone included in the housing (eg, first input modules 1151 and 1250a, second input modules 1152 and 1250b, and input device 1450); a memory (eg, memories 1120, 1220a, 1220b, 1430) for storing at least one call word set for each speaker; and a processor (eg, processors 1110, 1210a, 1210b) operatively connected to the first speaker, the second speaker, the at least one microphone, and the memory.
  • a first speaker eg, first output modules 1141 and 1240a
  • a second speaker eg, second output modules 1142 and 1240b
  • at least one microphone included in the housing eg, first input modules
  • the processor outputs an audio signal through the first speaker and the second speaker, acquires an external sound through the at least one microphone while outputting the audio signal, and receives the at least one check whether a call word is detected, perform speaker recognition for an external sound corresponding to the call word in response to the detection of the at least one call word, and check whether the recognized speaker and the detected call word match; and when the detected call word and the recognized speaker match, the output of the audio signal may be controlled so that the user of the electronic device can recognize an external sound.
  • the processor is configured to recognize a direction in which the at least one call word is generated when the at least one call word is detected, and to control the output of the external sound to have a sense of space corresponding to the recognized direction can be
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, for example, interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, a memory (eg, memory) readable by a machine (eg, electronic devices 100, 1101, 1201, 1401, external electronic devices 200, 1102) 1120, 1180, 1220b), the internal memory 1436 or the external memory 1438
  • the internal memory 1436 or the external memory 1438 may be implemented as software (eg, a program 1440) including one or more instructions (eg, instructions) stored in the external memory 1438).
  • the processor eg, the processor 1110 , 1170 , 1210b , 1420
  • the device eg, the electronic device 100 , 1101 , 1201 , 1401 , or the external electronic device 200 or 1102
  • the device may store the device from the storage medium.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • the method according to various embodiments of the present disclosure may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg, downloaded or uploaded) directly between smartphones (eg: smartphones) and online.
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Various embodiments of the present disclosure relate to an electronic device and a method for controlling an audio output of same. The electronic device may comprise: a first speaker for outputting a sound signal; a first microphone; a memory for storing at least one wakeup word; and a processor operatively connected to the first speaker, the first microphone, and the memory, wherein the processor is configured to: acquire an external sound through the first microphone while an audio signal is output through the first speaker; identify whether the at least one wakeup word is detected from the acquired external sound; in response to the detection of the at least one wakeup word, perform recognition of a speaking person of the external sound acquired through the first microphone; identify whether the recognized speaking person corresponds to the detected wakeup word; and when the detected wakeup word corresponds to the recognized speaking person, control an output of the audio signal so that a user of the electronic device can recognize an external sound. Various other embodiments are possible.

Description

전자 장치 및 그의 오디오 출력을 제어하는 방법How to control an electronic device and its audio output
본 개시의 다양한 실시 예들은 전자 장치 및 그의 오디오 출력을 제어하는 방법에 관한 것이다.Various embodiments of the present disclosure relate to an electronic device and a method for controlling an audio output thereof.
사용자의 신체(예: 귀)에 착용되어 오디오 신호를 출력할 수 있는 휴대용 전자 장치들(예: 헤드 셋, 이어폰, 스마트 글래스(smart glasses), 머리 착용형 장치(head mounted device: HMD))이 보급화되고 있다. 휴대용 전자 장치의 보급화와 더불어, 최근에는 휴대용 전자 장치를 이용하여 다양한 서비스(예: 음악 감상, 동영상 시청, 음성 통화)를 이용하는 사용자들이 증가하고 있다. 예를 들어, 사용자는 휴대용 전자 장치를 외부 전자 장치(예: 스마트 폰, 태블릿 PC, 노트북, 데스크 탑, 또는 착용형(wearable) 단말))와 유선 또는 무선으로 연결하여 일상 생활 중 언제라도 다양한 서비스(예: 음악 감상, 동영상 시청, 음성 통화)를 편리하게 이용할 수 있다.Portable electronic devices (eg, headsets, earphones, smart glasses, head mounted devices: HMDs) that are worn on the user's body (eg, ears) and can output audio signals is being disseminated. Along with the popularization of portable electronic devices, users who use various services (eg, music listening, video viewing, and voice calls) using portable electronic devices are increasing. For example, a user may connect a portable electronic device to an external electronic device (eg, a smart phone, tablet PC, notebook, desktop, or wearable terminal) by wire or wirelessly to provide various services at any time in daily life. (eg, listening to music, watching videos, making voice calls) can be used conveniently.
사용자가 휴대용 전자 장치를 착용하는 경우 전자 장치의 출력부(예: 스피커)가 사용자의 귀 내부(예: 인-이어(in-ear) 타입) 또는 귀 주변에 위치하거나, 귀를 덮을(예: 오버-이어(over-ear) 또는 밀폐 타입) 수 있다. 이로 인하여 휴대용 전자 장치를 이용하여 음악 감상 시 사용자는 외부 소리를 듣지 못할 수 있다. When a user wears a portable electronic device, the output of the electronic device (eg, a speaker) is located inside or around the user's ear (eg, in-ear type), or covers the ear (eg, in-ear type). over-ear or closed type). Accordingly, when listening to music using the portable electronic device, the user may not be able to hear an external sound.
또한, 최근에는 하드웨어 또는 소프트웨어 적으로 외부 소리를 차단하기 위한 차음(예: 노이즈 캔슬링) 및/또는 차폐 기능을 가지는 휴대용 전자 장치가 제공되고 있다. 이에, 휴대용 전자 장치를 착용한 사용자는 외부 소리를 전혀 또는 거의 듣지 못할 수 있다.Also, in recent years, portable electronic devices having a sound insulation (eg, noise canceling) and/or shielding function for blocking external sounds by hardware or software have been provided. Accordingly, a user wearing the portable electronic device may hear little or no external sound.
또한, 휴대용 전자 장치가 소형화됨에 따라, 사용자가 착용한 휴대용 전자 장치가 타인에게 노출되지 않을 수 있다. 이에, 사용자는 휴대용 전자 장치의 착용으로 인해 타인의 호출을 듣지 못했음에도 불구하고, 타인에게 자신의 호출을 무시하는 것으로 오해받을 수 있다.In addition, as the portable electronic device is miniaturized, the portable electronic device worn by the user may not be exposed to others. Accordingly, the user may be misunderstood as ignoring his/her call by another person even though he/she does not hear the call of another person due to wearing the portable electronic device.
본 개시의 다양한 실시 예들은 전자 장치를 이용(예: 음악 감상, 동영상 시청)하는 도중 입력 장치(예: 마이크)를 통해 외부 소리를 획득하고, 외부 소리로부터 지정된 호출어의 감지 시 사용자가 외부 소리를 들을 수 있도록 오디오 출력을 제어(또는 제한)할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.According to various embodiments of the present disclosure, an external sound is acquired through an input device (eg, a microphone) while using an electronic device (eg, listening to music, watching a video), and when a designated call word is detected from the external sound, the user can use the external sound Provided are an electronic device capable of controlling (or limiting) an audio output so that users can hear a sound, and a method of controlling the audio output thereof.
또한, 본 개시의 다양한 실시 예들은 화자 별로 호출어를 설정하여 사용자가 아닌 다른 사용자(타인)를 호출하는 외부 소리에 불필요하게 오디오 출력이 제어되는 것을 감소시킬 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.In addition, various embodiments of the present disclosure control an electronic device capable of reducing unnecessary audio output control in response to an external sound calling a user (other) other than the user by setting a call word for each speaker and controlling the audio output thereof can provide a way to
또한, 본 개시의 다양한 실시 예들은 전자 장치를 이용하는 도중 외부 소리로부터 지정된 호출어가 감지되었을 때, 외부 소리가 발생한 방향 정보를 사용자에게 제공할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.In addition, various embodiments of the present disclosure provide an electronic device capable of providing information about a direction in which an external sound is generated to a user when a designated call word is detected from an external sound while using the electronic device, and a method of controlling an audio output thereof. can
또한, 본 개시의 다양한 실시 예들은 외부 소리로부터 지정된 호출어가 감지되었음을 사용자에게 피드백(통지) 및/또는 사용자가 외부 소리를 들을 수 있는 상태임을 사용자를 호출한 호출자(화자)에게 피드백(통지)할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.In addition, various embodiments of the present disclosure provide feedback (notification) to the user that a designated call word has been detected from an external sound and/or feedback (notifying) to the caller (speaker) who called the user that the user can hear the external sound. It is possible to provide an electronic device capable of controlling an audio output thereof and a method for controlling an audio output thereof.
또한, 본 개시의 다양한 실시 예들은 볼륨이 지정된 레벨 이상 및/또는 전자 장치의 착용이 감지되었을 때, 외부 소리로부터 지정된 호출어가 검출되는지 여부에 따라 오디오 출력을 제어할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.In addition, various embodiments of the present disclosure provide an electronic device capable of controlling an audio output according to whether a specified call word is detected from an external sound when the volume is above a specified level and/or when wearing of the electronic device is detected, and an audio output thereof can provide a way to control
또한, 본 개시의 다양한 실시 예들은 전자 장치의 상황 정보(예: 위치, 시간, 이동 여부)에 기초하여 지정된 호출어를 적응적으로 변경할 수 있는 전자 장치 및 그의 오디오 출력을 제어하는 방법을 제공할 수 있다.In addition, various embodiments of the present disclosure provide an electronic device capable of adaptively changing a designated call word based on context information (eg, location, time, movement status) of the electronic device, and a method of controlling an audio output thereof. can
본 개시의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 음향 신호를 출력하는 제1 스피커; 제1 마이크; 적어도 하나의 호출어를 저장하는 메모리; 및 상기 제1 스피커, 상기 제1 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.An electronic device according to various embodiments of the present disclosure may include, for example, a first speaker outputting a sound signal; a first microphone; a memory for storing at least one call word; and a processor operatively connected to the first speaker, the first microphone, and the memory, wherein the processor acquires an external sound through the first microphone while outputting an audio signal through the first speaker and check whether the at least one call word is detected from the acquired external sound, and perform speaker recognition on the external sound acquired through the first microphone in response to the detection of the at least one call word, and Check whether the recognized speaker and the detected call word match, and when the detected call word and the recognized speaker match, control the output of the audio signal so that the user of the electronic device can recognize an external sound can be
본 개시의 다양한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법은, 예를 들면, 다수의 스피커를 통해 오디오 신호를 출력하는 동작; 상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크를 통해 외부 소리를 획득하는 동작; 상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작; 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 적어도 하나의 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작; 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함할 수 있다.A method of controlling an audio output of an electronic device according to various embodiments of the present disclosure may include, for example, outputting an audio signal through a plurality of speakers; acquiring an external sound through at least one microphone while outputting the audio signal; checking whether at least one designated call word is detected from the acquired external sound; performing speaker recognition on an external sound corresponding to the at least one call word in response to the detection of the at least one call word; checking whether the recognized speaker and the detected call word match; and controlling the output of the audio signal so that the user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
본 개시의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 하우징; 상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커; 상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커; 상기 하우징에 포함되는 적어도 하나의 마이크; 화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리; 및 상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고, 상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.An electronic device according to various embodiments of the present disclosure may include, for example, a housing; a first speaker disposed in a first area of the housing and configured to output a left sound signal; a second speaker disposed in the second area of the housing and configured to output a right sound signal; at least one microphone included in the housing; a memory for storing at least one call word set for each speaker; and a processor operatively connected to the first speaker, the second speaker, the at least one microphone, and the memory, wherein the processor outputs an audio signal through the first speaker and the second speaker; , acquiring an external sound through the at least one microphone while outputting the audio signal, confirming whether the at least one call word is detected from the acquired external sound, and corresponding to the detection of the at least one call word, The user of the electronic device performs speaker recognition on an external sound corresponding to the call word, checks whether the recognized speaker and the detected call word match, and when the detected call word and the recognized speaker match may be set to control the output of the audio signal to recognize an external sound.
본 개시의 다양한 실시 예들은 오디오 신호를 출력할 수 있는 전자 장치(예: 헤드 셋, 이어폰, 스마트 글래스, 머리 착용형 장치)를 착용한 상태에서, 사용자가 타인의 호출을 용이하게 인지할 수 있고, 외부 소리를 들을 수 있도록 전자 장치가 자동으로 오디오 출력을 제어할 수 있어, 사용자는 전자 장치의 착용을 해제하거나, 볼륨을 조절(예: 뮤트 또는 감소)하는 등의 행위를 수행할 필요없이 호출자와 대화를 수행할 수 있다. According to various embodiments of the present disclosure, while wearing an electronic device capable of outputting an audio signal (eg, a headset, earphone, smart glasses, or head-wearable device), a user can easily recognize a call from another person, , the electronic device can automatically control the audio output so that external sounds can be heard, so that the caller can can have a conversation with
또한, 본 개시의 다양한 실시 예들은 화자별로 호출어를 다르게 설정하여 타인의 호출을 사용자의 호출로 오인식하여 오디오 출력이 불필요하게 제어(제한)되는 불편함을 개선할 수 있다. In addition, various embodiments of the present disclosure may improve the inconvenience of unnecessarily controlling (limiting) audio output by misrecognizing another's call as a user's call by setting a different call word for each speaker.
또한, 본 개시의 다양한 실시 예들은 사용자를 호출하는 외부 소리가 발생한 방향 정보를 제공하여 사용자가 호출자의 위치(방향)를 용이하게 인지할 수 있다. In addition, various embodiments of the present disclosure provide direction information in which an external sound calling a user is generated so that the user can easily recognize the location (direction) of the caller.
또한, 본 개시의 다양한 실시 예들은 사용자를 호출하는 호출어가 감지되었음을 사용자에게 다양한 방식(시각, 청각, 촉각)으로 피드백하여 사용자가 타인에 의해 호출되었음을 용이하게 인지할 수 있다.In addition, various embodiments of the present disclosure may feed back to the user that a call word calling the user is sensed in various ways (visual, auditory, tactile) to easily recognize that the user has been called by another person.
또한, 본 개시의 다양한 실시 예들은 사용자가 외부 소리를 들을 수 있는 상태임을 호출자에게 피드백하여 호출자가 사용자를 불필요하게 반복 호출하는 불편함을 해소할 수 있다. In addition, various embodiments of the present disclosure provide feedback to the caller that the user can hear an external sound, thereby resolving the inconvenience of the caller unnecessarily repeatedly calling the user.
또한, 본 개시의 다양한 실시 예들은 볼륨이 지정된 레벨 이상 및/또는 전자 장치의 착용 시 외부 소리를 획득하고, 호출어를 감지하는 기능을 활성화하도록 하여 전자 장치의 전류 소모를 감소시킬 수 있다. In addition, various embodiments of the present disclosure may reduce current consumption of the electronic device by activating a function of acquiring an external sound when the volume is above a specified level and/or when the electronic device is worn, and detecting a call word.
또한, 본 개시의 다양한 실시 예들은 상황 별로 호출어를 가변하고, 가변된 호출어를 감지 또는 우선적으로 감지하도록 하여 호출어 인식의 효율성(예: 속도 및/또는 정확도)을 향상시킬 수 있다.In addition, various embodiments of the present disclosure may improve the efficiency (eg, speed and/or accuracy) of recognizing a call word by changing the call word for each situation and detecting or preferentially detecting the changed call word.
도 1은 본 개시의 한 실시 예에 따른 전자 장치가 외부 전자 장치와 무선 통신 연결된 예를 도시한 도면이다.1 is a diagram illustrating an example in which an electronic device is connected to an external electronic device by wireless communication according to an embodiment of the present disclosure.
도 2a 및 도 2b는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이다.2A and 2B are diagrams illustrating an example of controlling an audio output of an electronic device according to an embodiment of the present disclosure;
도 3은 본 개시의 한 실시 예에 따른 전자 장치 및 외부 전자 장치 사이의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.3 is a flowchart illustrating a method of controlling an audio output between an electronic device and an external electronic device according to an embodiment of the present disclosure.
도 4a는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.4A is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 4b는 본 개시의 다른 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.4B is a flowchart illustrating a method of controlling an audio output of an electronic device according to another embodiment of the present disclosure.
도 5는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 동작을 상세히 설명하는 흐름도이다.5 is a flowchart illustrating in detail an operation of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 6a는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 출력을 일시 중지하는 예를 도시한 도면이다.6A is a diagram illustrating an example in which an electronic device pauses audio output according to an embodiment of the present disclosure;
도 6b는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량 및 외부 소리의 음량을 제어하는 예를 도시한 도면이다.6B is a diagram illustrating an example in which an electronic device controls a volume of an audio signal and a volume of an external sound according to an embodiment of the present disclosure;
도 6c는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량을 제어하는 예를 도시한 도면이다.6C is a diagram illustrating an example in which an electronic device controls a volume of an audio signal according to an embodiment of the present disclosure;
도 7a는 본 개시의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 방법을 설명하는 흐름도이다.7A is a flowchart illustrating a method in which an electronic device feeds back call origination and speaker direction information to a user according to an embodiment of the present disclosure;
도 7b는 본 개시의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 예를 도시한 도면이다.7B is a diagram illustrating an example in which an electronic device feeds back call generation and speaker direction information to a user according to an embodiment of the present disclosure;
도 8a는 본 개시의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 방법을 설명하는 흐름도이다.8A is a flowchart illustrating a method of feeding back, by an electronic device, that a conversation with a user is possible to a speaker, according to an embodiment of the present disclosure;
도 8b는 본 개시의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 일 예를 도시한 도면이다.8B is a diagram illustrating an example in which the electronic device feeds back to the speaker that a conversation with the user is possible, according to an embodiment of the present disclosure.
도 9a는 본 개시의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하여 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.9A is a flowchart illustrating a method of controlling audio output by changing a call word based on context information of an electronic device according to an embodiment of the present disclosure.
도 9b는 본 개시의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하는 예를 도시한 도면이다.9B is a diagram illustrating an example of changing a call word based on context information of an electronic device according to an embodiment of the present disclosure.
도 10은 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.10 is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 11은 본 개시의 한 실시 예에 따른 전자 장치 및 외부 전자 장치의 블록도이다.11 is a block diagram of an electronic device and an external electronic device according to an embodiment of the present disclosure.
도 12는 본 개시의 다른 실시 예에 따른 전자 장치의 블록도이다.12 is a block diagram of an electronic device according to another embodiment of the present disclosure.
도 13a는 본 개시의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.13A is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
도 13b는 본 개시의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.13B is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
도 13c는 본 개시의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.13C is an exemplary diagram illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
도 13d는 본 개시의 한 실시 예에 따른 화자별 호출어가 설정된 예를 도시한 도면이다.13D is a diagram illustrating an example in which a call word is set for each speaker according to an embodiment of the present disclosure.
도 14는 본 개시의 한 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록이다.14 is a block diagram of an electronic device in a network environment, according to an embodiment of the present disclosure.
이하, 첨부된 도면을 참조하여 본 개시의 다양한 실시 예들을 설명한다. 본 개시는 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 개시의 다양한 실시 예들을 특정한 형태로 한정하려는 것이 아니다. 예를 들어, 본 개시의 실시 예들은 다양하게 변경될 수 있다는 것은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.Hereinafter, various embodiments of the present disclosure will be described with reference to the accompanying drawings. In the present disclosure, specific embodiments are illustrated in the drawings and the related detailed description is described, but this is not intended to limit the various embodiments of the present disclosure to a specific form. For example, it is apparent to those of ordinary skill in the art to which the present disclosure pertains that the embodiments of the present disclosure may be variously changed.
도 1은 본 개시의 한 실시 예에 따른 전자 장치가 외부 전자 장치와 무선 통신 연결된 예를 도시한 도면이고, 도 2a는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이고, 도 2b는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 일 예를 도시한 도면이다.1 is a diagram illustrating an example in which an electronic device is connected to an external electronic device by wireless communication according to an embodiment of the present disclosure, and FIG. 2A is an example of controlling an audio output of the electronic device according to an embodiment of the present disclosure. FIG. 2B is a diagram illustrating an example of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 1 내지 도 2b를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(100)는 오디오 신호를 출력할 수 있는 오디오 출력 장치일 수 있다. 예를 들어, 전자 장치(100)는 사용자의 신체에 착용될 수 있고, 오디오 신호를 출력할 수 있는 히어러블(hearable) 장치일 수 있다. 상기 전자 장치(100)는 제1 타입의 무선 이어폰(101), 제2 타입의 무선 이어폰(102), 헤드 셋(103), 머리 착용형 장치(head mounted device: HMD)(104), 또는 스마트 글래스(smart glasses)(105)를 포함할 수 있다. 상기 제1 타입의 무선 이어폰(101)은 한 쌍의 서브 장치(예: 출력 장치)들이 무선(예: bluetooth low energy: BLE)으로 연결될 수 있다. 제2 타입의 무선 이어폰(102)은 한 쌍의 출력 장치들이 유선으로 연결될 수 있다. 이는 일 예일 뿐, 본 개시의 한 실시 예에 따른 전자 장치(100)를 한정하지는 않는다.1 to 2B , an electronic device 100 according to an embodiment of the present disclosure may be an audio output device capable of outputting an audio signal. For example, the electronic device 100 may be a hearable device that may be worn on a user's body and may output an audio signal. The electronic device 100 may include a first type of wireless earphone 101 , a second type of wireless earphone 102 , a headset 103 , a head mounted device (HMD) 104 , or a smart device. It may include smart glasses 105 . The first type of wireless earphone 101 may be connected to a pair of sub-devices (eg, output devices) wirelessly (eg, bluetooth low energy: BLE). The second type of wireless earphone 102 may be connected to a pair of output devices by wire. This is only an example and does not limit the electronic device 100 according to an embodiment of the present disclosure.
다양한 실시 예에 따르면, 전자 장치(100)는 외부 전자 장치(200)와 근거리 무선 통신(예: 블루투스) 채널을 연결(establish)할 수 있다. 상기 전자 장치(100)는 외부 전자 장치(200)로부터 오디오 데이터(예: 음악 데이터, 동영상에 포함된 오디오 데이터, 통화 수신 데이터)를 수신하여 출력할 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는 내부 메모리에 저장된 오디오 데이터를 출력할 수 있다.According to various embodiments, the electronic device 100 may establish a short-range wireless communication (eg, Bluetooth) channel with the external electronic device 200 . The electronic device 100 may receive and output audio data (eg, music data, audio data included in a video, and call reception data) from the external electronic device 200 . According to some embodiments, the electronic device 100 may output audio data stored in an internal memory.
다양한 실시 예에 따르면, 전자 장치(100)는 수신된 오디오 데이터에 대응하는 오디오 신호를 출력하는 도중 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득하고, 획득된 외부 소리로부터 적어도 하나의 지정된 호출어가 감지되는지 확인할 수 있다. 상기 외부 소리로부터 적어도 하나의 지정된 호출어가 감지되는 경우 전자 장치(100)는 오디오 출력을 제어(또는 제한)할 수 있다. 예를 들어, 사용자(210)가, 도 2a에 도시된 바와 같이, 전자 장치(100)를 귀에 착용하고 음악을 감상하고 있는 도중 타인(이하, 호출자)(220)이 사용자(210)를 호출하는 상황을 가정하면, 상기 전자 장치(100)는 오디오 신호의 출력에 대응하여, 도 2b에 도시된 바와 같이, 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리들(230a, 230b, 230c, 230d, 240)을 획득하고, 상기 획득된 외부 소리들(230a, 230b, 230c, 230d, 240)에 사용자(210)를 지칭하는 호출어(240)(예: "용호야")가 포함되어 있는지 확인할 수 있다. 상기 호출어(240)가 포함된 것으로 확인되면(또는, 호출어(240)가 감지되면), 전자 장치(100)는, 도 2a에 도시된 바와 같이, 음악의 재생(201)을 일시 중지(202)하고, 입력 장치(예: 마이크)를 통해 획득되는 호출자의 음성(250)을 출력 장치(예: 스피커)를 통해 출력할 수 있다. 도 2b를 참조하여 설명하면, 전자 장치(100)는 상기 호출어(240)가 감지(211)되면, 음악 재생을 중지(212)하고, 마이크를 오픈(213)할 수있다. 상기 마이크의 오픈(213)은 마이크를 통해 수집되는 외부 소리를 스피커를 통해 출력하는 것을 의미할 수 있다.According to various embodiments, the electronic device 100 acquires an external sound by activating at least one input device (eg, a microphone) while outputting an audio signal corresponding to the received audio data, and obtains an external sound from at least the acquired external sound. You can check if a single specified call word is detected. When at least one designated call word is detected from the external sound, the electronic device 100 may control (or limit) the audio output. For example, as shown in FIG. 2A , when the user 210 calls the user 210 while the user 210 is listening to music while wearing the electronic device 100 on his/her ear, the user 210 is called. Assuming a situation, in response to the output of the audio signal, the electronic device 100 receives external sounds 230a, 230b, 230c, and 230d, 240), and whether the acquired external sounds 230a, 230b, 230c, 230d, 240 contain a call word 240 (eg, "Yonghoya") referring to the user 210 can be checked When it is confirmed that the call word 240 is included (or when the call word 240 is detected), the electronic device 100 pauses ( 202), and the caller's voice 250 obtained through an input device (eg, a microphone) may be output through an output device (eg, a speaker). Referring to FIG. 2B , when the call word 240 is detected ( 211 ), the electronic device 100 may stop ( 212 ) playing music and open ( 213 ) the microphone. The opening 213 of the microphone may mean outputting an external sound collected through the microphone through a speaker.
어떤 실시 예에 따르면, 전자 장치(100)는 호출어의 감지 시 오디오 신호의 재생을 일시 중지, 볼륨을 뮤트 또는 감소, 또는 노이즈 캔슬링 기능을 오프(OFF)하는 동작(기능)들 중 적어도 하나를 수행하여 오디오 출력을 제어할 수 있다. 이에 대한 상세한 설명은 도 5 내지 도 6c를 참조하여 후술하기로 한다.According to an embodiment, the electronic device 100 performs at least one of operations (functions) of pausing playback of an audio signal, muting or decreasing a volume, or turning off a noise canceling function when a call word is detected. You can control the audio output by doing this. A detailed description thereof will be described later with reference to FIGS. 5 to 6C .
다양한 실시 예에 따르면, 전자 장치(100)는 호출어의 감지 시 해당 호출어를 포함하는(또는 호출어에 대응하는) 외부 소리에 기초하여 화자 인식을 수행하고, 상기 감지된 호출어와 상기 인식된 화자가 매칭되는지 확인할 수 있다. 이를 위하여, 전자 장치(100)는 화자 인식을 위한 화자 인식 데이터 베이스(database: DB) 및 화자와 호출어를 매칭한 호출어 DB를 포함(저장)할 수 있다. 어떤 실시 예에 따르면, 화자 인식은 외부 전자 장치(200)에서 수행될 수 있다. 예를 들어, 전자 장치(100)는 획득된 외부 소리의 적어도 일부를 외부 전자 장치(200)로 전송하고, 화자 인식 결과를 수신할 수 있다. 다른 예로, 전자 장치(100)는 획득된 외부 소리의 적어도 일부 및 호출어를 외부 전자 장치(200)로 전송하고, 호출어와 화자의 매칭 여부에 대한 결과를 수신할 수 있다. 상기 감지된 호출어와 상기 인식된 화자가 매칭되는 경우 전자 장치(100)는 오디오 출력을 제어(또는 제한)할 수 있다.According to various embodiments of the present disclosure, when detecting a call word, the electronic device 100 performs speaker recognition based on an external sound including the call word (or corresponding to the call word), and the detected call word and the recognized call word. You can check if the speaker matches. To this end, the electronic device 100 may include (store) a speaker recognition database (DB) for speaker recognition and a call word DB in which the speaker and the calling word are matched. According to some embodiments, speaker recognition may be performed by the external electronic device 200 . For example, the electronic device 100 may transmit at least a part of the acquired external sound to the external electronic device 200 and receive a speaker recognition result. As another example, the electronic device 100 may transmit at least a part of the acquired external sound and the call word to the external electronic device 200 , and receive a result of whether the call word and the speaker match. When the detected call word and the recognized speaker match, the electronic device 100 may control (or limit) an audio output.
다양한 실시 예에 따르면, 디스플레이를 포함하는 전자 장치(100)(예: HMD(104), 스마트 글래스(105))는 인식된 화자에 대한 정보(예: 이름)를 디스플레이 상에 표시할 수 있다.According to various embodiments, the electronic device 100 (eg, the HMD 104 or the smart glasses 105) including the display may display information (eg, name) about the recognized speaker on the display.
다양한 실시 예에 따르면, 전자 장치(100)는 호출어 감지 시 호출어를 포함하는 외부 소리가 발생한 방향 정보를 인식하고, 인식된 방향 정보를 제공할 수 있다. 예를 들어, 전자 장치(100)는 알려진 다양한 기술(예: 두 귀에 들리는 소리의 시간 차를 이용한 ITD(inter-aural time difference) 기술, 또는 두 귀에 들리는 소리 크기 차를 이용한 ILD(inter-aural level difference) 기술)을 통해 상기 인식된 방향에 대응하는 공간감을 제공하도록 외부 소리를 출력 장치를 통해 출력할 수 있다. 이에 대한 상세한 설명은 도 7a 및 도 7b를 참조하여 후술하기로 한다.According to various embodiments of the present disclosure, upon detecting the call word, the electronic device 100 may recognize direction information in which an external sound including the call word is generated and provide the recognized direction information. For example, the electronic device 100 may use various known techniques (eg, an inter-aural time difference (ITD) technique using a time difference between sounds heard in two ears or an inter-aural level (ILD) technique using a difference in sound levels heard in both ears. difference) technology) to output an external sound through an output device to provide a sense of space corresponding to the recognized direction. A detailed description thereof will be described later with reference to FIGS. 7A and 7B .
다양한 실시 예에 따르면, 전자 장치(100)는 호출어 감지 시 사용자 및/또는 사용자를 호출한 화자에게 피드백(또는 통지)을 제공할 수 있다. 예를 들어, 전자 장치(100)는 외부 소리로부터 지정된 호출어가 감지되었음을 사용자에게 다양한 방식으로 피드백할 수 있다. 예를 들어, 전자 장치(100)는 시각(예: 스마트 글래스의 디스플레이에 지정된 메시지 및/또는 아이콘을 표시, 지정된 이펙트(예: 깜박임)를 제공), 청각(예: 지정된 효과음을 스피커를 통해 출력), 및/또는 촉각(예: 지정된 패턴의 진동 발생)적으로 피드백을 제공할 수 있다. 또한, 상기 전자 장치(100)는 외부 소리로부터 지정된 호출어가 감지되었을 때, 사용자가 외부 소리를 들을 수 있는 상태임을 사용자를 호출한 화자에게 다양한 방식으로 피드백(통지)할 수 있다. 예를 들어, 전자 장치(100)는 시각(예: 전자 장치(100)에 포함된 LED를 발광, 전자 장치(100)의 디스플레이에 아이콘을 표시) 또는 청각(예: 전자 장치(100)의 스피커를 통해 지정된 효과음을 사용자의 귀 내부 방향이 아닌 외부 방향으로 출력)적으로 피드백을 제공할 수 있다. 이에 대한 상세한 설명은 도 8a 및 도 8b를 참조하여 후술하기로 한다.According to various embodiments, the electronic device 100 may provide feedback (or notification) to the user and/or the speaker who called the user upon detecting the call word. For example, the electronic device 100 may provide feedback to the user that a designated call word is detected from an external sound in various ways. For example, the electronic device 100 outputs a visual (eg, displaying a specified message and/or icon on the display of the smart glasses, providing a specified effect (eg, blinking)), and auditory (eg, a specified sound effect through a speaker). ), and/or tactilely (eg, generating vibrations in a specified pattern). Also, when a designated call word is sensed from an external sound, the electronic device 100 may give feedback (notify) to the speaker who called the user that the user can hear the external sound in various ways. For example, the electronic device 100 may be visually (eg, light an LED included in the electronic device 100 , display an icon on the display of the electronic device 100 ) or auditory (eg, a speaker of the electronic device 100 ). It is possible to provide feedback by outputting the specified sound effect to the outside rather than the inside of the user's ear). A detailed description thereof will be described later with reference to FIGS. 8A and 8B .
다양한 실시 예에 따르면, 전자 장치(100)는, 배터리의 소모를 감소시키기 위해, 오디오 신호를 출력하는 동안 적어도 하나의 입력 장치(예: 마이크)를 지속적으로 활성화하지 않고, 볼륨이 지정된 값 이상인 경우 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득할 수 있다. 상기 지정된 값은 사용자가 전자 장치(100)를 착용한 상태에서 외부 소리를 인지할 수 있는 값으로 제조사 또는 사용자에 의해 설정될 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는, 배터리의 소모를 감소시키기 위해, 오디오 신호를 출력하는 도중 사용자의 신체에 착용이 감지되거나, 사용자의 신체에 착용된 상태에서 오디오 신호의 출력이 요청되는 경우 적어도 하나의 입력 장치(예: 마이크)를 활성화하여 외부 소리를 획득할 수 있다. 상기 전자 장치(100)는 착용 여부를 감지하기 위한 적어도 하나의 센서(예: 체온 감지를 위한 온도 센서, 접촉 센서)를 포함할 수 있다.According to various embodiments of the present disclosure, in order to reduce battery consumption, the electronic device 100 does not continuously activate at least one input device (eg, a microphone) while outputting an audio signal, and when the volume is greater than or equal to a specified value An external sound may be acquired by activating at least one input device (eg, a microphone). The specified value may be set by a manufacturer or a user as a value capable of recognizing an external sound while the user wears the electronic device 100 . According to an embodiment, in order to reduce battery consumption, the electronic device 100 detects wearing on the user's body while outputting the audio signal, or requests output of the audio signal while being worn on the user's body. In this case, the external sound may be acquired by activating at least one input device (eg, a microphone). The electronic device 100 may include at least one sensor (eg, a temperature sensor for detecting body temperature, a contact sensor) for detecting whether the device is worn or not.
다양한 실시 예에 따르면, 전자 장치(100)는 상황 정보에 기초하여 호출어를 적응적으로(adaptively) 변경할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 센서를 통해 획득되는 정보(예: 위치 정보, 시간 및/또는 움직임 정보)에 기초하여 호출어를 적응적으로 변경할 수 있다. 어떤 실시 예에 따르면, 상기 상황 정보는 외부 전자 장치(200)에 의해 획득되고, 상기 전자 장치(100)는 외부 전자 장치(200)로부터 상황 정보를 수신할 수 있다. 이에 대한 상세한 설명은 도 9a 및 도 9b를 참조하여 후술하기로 한다.According to various embodiments, the electronic device 100 may adaptively change the call word based on context information. For example, the electronic device 100 may adaptively change the call word based on information (eg, location information, time and/or motion information) acquired through at least one sensor. According to an embodiment, the context information is obtained by the external electronic device 200 , and the electronic device 100 may receive the context information from the external electronic device 200 . A detailed description thereof will be described later with reference to FIGS. 9A and 9B .
다양한 실시 예에 따르면, 전자 장치(100)는 획득된 외부 소리로부터 호출어가 아닌 특정 기능을 실행하기 위한 키워드가 감지되는지 확인할 수 있다. 예를 들어, 전자 장치(100)는 오디오 신호의 출력도중 "빅스비TM"와 같이 음성 인식 기능을 실행하기 위한 키워드가 감지되는지 확인할 수 있다. 이에 대한 상세한 설명은 도 10을 참조하여 후술하기로 한다.According to various embodiments of the present disclosure, the electronic device 100 may determine whether a keyword for executing a specific function other than a call word is detected from the acquired external sound. For example, the electronic device 100 may check whether a keyword for executing a voice recognition function such as “Bixby TM” is detected while an audio signal is being output. A detailed description thereof will be described later with reference to FIG. 10 .
다양한 실시 예에 따르면, 외부 전자 장치(200)는 전자 장치(100)와 근거리 무선 통신(예: 블루투스) 채널을 연결(establish)할 수 있다. 예를 들어, 외부 전자 장치(200)는 스마트 폰, 태블릿 PC, 노트북, 데스트 탑, 착용형 전자 장치(예: 스마트 워치)를 포함할 수 있다.According to various embodiments, the external electronic device 200 may establish a short-range wireless communication (eg, Bluetooth) channel with the electronic device 100 . For example, the external electronic device 200 may include a smart phone, a tablet PC, a notebook computer, a desktop computer, and a wearable electronic device (eg, a smart watch).
다양한 실시 예에 따르면, 외부 전자 장치(200)는 메모리(미도시)에 저장된 또는 외부 서버로부터 수신되는 멀티미디어 데이터(예: 오디오(예: 음악) 파일, 동영상 파일)를 재생할 수 있다. 외부 전자 장치(200)는 전자 장치(100)와 연결된 경우 재생 중인 멀티미디어 데이터에 포함된 오디오 데이터를 전자 장치(100)로 송신할 수 있다. 또는, 외부 전자 장치(200)는 전자 장치(100)와 무선 통신이 연결된 상태에서 다른 외부 장치와 통화를 수행하는 경우 수화음에 대응하는 오디오 데이터를 전자 장치(100)로 송신할 수 있다.According to various embodiments, the external electronic device 200 may reproduce multimedia data (eg, an audio (eg, music) file or a moving picture file) stored in a memory (not shown) or received from an external server. When connected to the electronic device 100 , the external electronic device 200 may transmit audio data included in multimedia data being played back to the electronic device 100 . Alternatively, when the external electronic device 200 performs a call with another external device while wireless communication is connected to the electronic device 100 , the external electronic device 200 may transmit audio data corresponding to a handset sound to the electronic device 100 .
다양한 실시 예에 따르면, 외부 전자 장치(200)는 전자 장치(100)로 오디오 데이터를 송신하는 도중 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리를 획득하고, 획득된 외부 소리를 분석하여 상기 획득된 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다. 상기 호출어가 포함된 경우 외부 전자 장치(200)는 호출어를 전자 장치(100)로 전송할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치(200)는 호출어의 감지 시 오디오 출력을 제어(예: 일시 중지)하고, 호출어 감지를 전자 장치(100)로 통지할 수 있다.According to various embodiments, the external electronic device 200 acquires an external sound through at least one input device (eg, a microphone) while transmitting audio data to the electronic device 100 , and analyzes the acquired external sound. It can be checked whether the specified call word is included in the acquired external sound. When the call word is included, the external electronic device 200 may transmit the call word to the electronic device 100 . According to an embodiment, the external electronic device 200 may control (eg, pause) an audio output upon detecting the call word and notify the electronic device 100 of the call word detection.
어떤 실시 예에 따르면, 외부 전자 장치(200)는 적어도 하나의 센서(예: 조도 센서, 이미지 센서, 마이크)를 이용하여 외부 상황을 인지하고, 외부 소리를 인식할 수 있는 상황으로 판단되는 경우 외부 소리를 획득할 수 있다. 예를 들어, 외부 전자 장치(200)는 적어도 하나의 센서를 통해 가방 또는 주머니와 같이 밀폐된 공간에 위치하는 것으로 판단되는 경우 외부 소리를 획득하기 위한 적어도 하나의 입력 장치(예: 마이크)를 비활성화할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치(200)는 주기적으로 마이크를 활성화하여 외부 소리가 감지되는지 확인하여 외부 소리를 감지할 수 있는 상황(상태)인지 판단할 수 있다.According to an embodiment, the external electronic device 200 recognizes an external situation using at least one sensor (eg, an illuminance sensor, an image sensor, a microphone), and when it is determined that the external sound can be recognized sound can be obtained. For example, when it is determined that the external electronic device 200 is located in an enclosed space such as a bag or pocket through at least one sensor, at least one input device (eg, a microphone) for acquiring an external sound is deactivated. can do. According to an embodiment, the external electronic device 200 may periodically activate a microphone to determine whether an external sound is detected, and determine whether the external sound is sensed (state).
다양한 실시 예에 따르면, 외부 전자 장치(200)는 호출어 등록을 위한 유저 인터페이스(user interface: UI)를 제공할 수 있다. 이에 대한 상세한 설명은 도 13a 내지 도 13d를 참조하여 후술하기로 한다.According to various embodiments, the external electronic device 200 may provide a user interface (UI) for registering a call word. A detailed description thereof will be described later with reference to FIGS. 13A to 13D .
한편, 도 1 내지 도 2b에서는, 전자 장치(100)가 무선 통신 모듈을 통해 외부 전자 장치(200)로부터 오디오 데이터를 수신하여 재생하는 도중 외부 소리를 획득하여 지정된 호출어가 검출되는지 확인하는 것으로 설명하였지만, 전자 장치(100)는 내부 메모리(미도시)에 저장된 오디오 데이터(예: 음악 파일)를 재생하는 도중 외부 소리를 획득하여 지정된 호출어가 검출되는지 확인할 수도 있다.Meanwhile, in FIGS. 1 and 2B , the electronic device 100 receives audio data from the external electronic device 200 through the wireless communication module and acquires an external sound while playing it and confirms whether a designated call word is detected. , the electronic device 100 may obtain an external sound while playing audio data (eg, a music file) stored in an internal memory (not shown) and check whether a designated call word is detected.
어떤 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 지정된 호출어가 지정된 횟수(예: 3회) 이상 감지되는 경우 오디오 신호의 출력을 제어할 수 있다.According to an embodiment, the electronic device 100 may control the output of the audio signal when at least one specified call word is detected a specified number of times (eg, three times) or more.
도 3은 본 개시의 한 실시 예에 따른 전자 장치 및 외부 전자 장치 사이의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.3 is a flowchart illustrating a method of controlling an audio output between an electronic device and an external electronic device according to an embodiment of the present disclosure.
도 3을 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100)) 및 외부 전자 장치(예: 외부 전자 장치(200))는, 301 동작에서, 근거리 무선 통신(예: 블루투스 통신) 채널이 연결될 수 있다.Referring to FIG. 3 , an electronic device (eg, the electronic device 100 ) and an external electronic device (eg, the external electronic device 200 ) according to an embodiment of the present disclosure perform short-range wireless communication (eg, in operation 301 ). : Bluetooth communication) channel can be connected.
다양한 실시 예에 따르면, 외부 전자 장치는, 303 동작에서, 멀티미디어 파일을 재생할 수 있다. 상기 멀티 미디어 파일은 오디오 데이터를 포함하는 오디오 파일(예: 음악 파일) 및 동영상 파일을 포함할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 다른 외부 장치와 통화를 수행할 수 있다.According to various embodiments of the present disclosure, in operation 303 , the external electronic device may play a multimedia file. The multimedia file may include an audio file (eg, a music file) including audio data and a video file. According to some embodiments, the external electronic device may make a call with another external device.
다양한 실시 예에 따르면, 외부 전자 장치는, 305 동작에서, 멀티미디어 파일에 포함된 오디오 데이터를 전자 장치로 전송할 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 상기 다른 외부 장치로부터 수신되는 수화음에 대응하는 오디오 데이터를 전자 장치로 전송할 수 있다.According to various embodiments of the present disclosure, in operation 305 , the external electronic device may transmit audio data included in the multimedia file to the electronic device. According to an embodiment, the external electronic device may transmit audio data corresponding to a sign language received from the other external device to the electronic device.
다양한 실시 예에 따르면, 전자 장치는, 307 동작에서, 오디오 데이터에 대응하는 오디오 신호를 출력할 수 있다. 예를 들어, 전자 장치는 출력 모듈(예: 다수의 스피커)을 통해 오디오 신호를 출력할 수 있다. 상기 출력 모듈은 제1 음향 신호(예: 좌 음향 신호)를 출력하는 제1 스피커 및 제2 음향 신호(예: 우 음향 신호)를 출력하는 제2 스피커를 포함할 수 있다.According to various embodiments of the present disclosure, in operation 307 , the electronic device may output an audio signal corresponding to audio data. For example, the electronic device may output an audio signal through an output module (eg, a plurality of speakers). The output module may include a first speaker outputting a first acoustic signal (eg, a left acoustic signal) and a second speaker outputting a second acoustic signal (eg, a right acoustic signal).
다양한 실시 예에 따르면, 전자 장치는, 309 동작에서, 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리를 획득할 수 있다. 예를 들어, 전자 장치는 적어도 하나의 마이크를 활성화하고, 적어도 하나의 마이크를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 호출어 감지를 통한 오디오 출력을 제한하는 기능(이하, 호출어 감지 기능)이 활성화된 경우 적어도 하나의 입력 장치(예: 마이크)를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치가 외부 소리를 감지하기 위한 마이크(이하, 외부 마이크)와 통화를 위한 마이크(이하, 통화 마이크)를 별도로 포함하는 경우 전자 장치는 외부 마이크를 활성화하고, 외부 마이크를 통해 외부 소리를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 309 , the electronic device may acquire an external sound through at least one input device (eg, a microphone). For example, the electronic device may activate at least one microphone and acquire an external sound through the at least one microphone. According to an embodiment, the electronic device may acquire an external sound through at least one input device (eg, a microphone) when a function for limiting audio output through call word detection (hereinafter, call word detection function) is activated. have. According to an embodiment, when the electronic device separately includes a microphone for detecting an external sound (hereinafter, referred to as an external microphone) and a microphone for making a call (hereinafter referred to as a call microphone), the electronic device activates the external microphone and uses the external microphone. External sound can be obtained through
다양한 실시 예에 따르면, 전자 장치는, 311 동작에서, 외부 소리로부터 적어도 하나의 지정된 호출어를 감지할 수 있다. 예를 들어, 전자 장치는 외부 소리를 분석하여 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다.According to various embodiments of the present disclosure, in operation 311 , the electronic device may detect at least one designated call word from an external sound. For example, the electronic device may analyze the external sound to determine whether a designated call word is included in the external sound.
다양한 실시 예에 따르면, 전자 장치는, 313 동작에서, 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 전자 장치는 오디오 신호의 재생을 일시 중지, 볼륨을 뮤트 또는 감소, 노이즈 캔슬링 기능을 오프(OFF) 또는 마이크를 통해 획득되는 호출자의 음성을 출력 장치(예: 스피커)로 출력하는 동작(기능)들 중 적어도 하나를 수행할 수 있다.According to various embodiments of the present disclosure, in operation 313 , the electronic device may control the output of the audio signal. For example, the electronic device pauses playback of an audio signal, mutes or decreases the volume, turns off a noise canceling function, or outputs a caller's voice obtained through a microphone to an output device (eg, a speaker) At least one of the (functions) may be performed.
다양한 실시 예에 따르면, 외부 전자 장치는, 315 동작 및 317동작에서, 상술한 309 동작 및 311 동작과 유사하게 외부 전자 장치에 포함된 입력 장치(마이크)를 통해 외부 소리를 획득하고, 외부 소리로부터 적어도 하나의 지정된 호출어를 감지할 수 있다. 외부 전자 장치는, 319 동작에서, 호출어의 감지를 전자 장치로 통지할 수 있다. 상기 315 내지 319 동작은 생략될 수 있다. 어떤 실시 예에 따르면, 외부 전자 장치는 적어도 하나의 센서를 통해 외부 상황을 인지하고, 마이크를 통해 외부 소리를 감지할 수 있는 상황으로 판단되는 경우 315 내지 319 동작을 수행할 수 있다.According to various embodiments of the present disclosure, in operations 315 and 317 , similarly to operations 309 and 311 described above, the external electronic device acquires an external sound through an input device (microphone) included in the external electronic device, and receives the external sound from the external sound. At least one designated call word may be detected. In operation 319 , the external electronic device may notify the electronic device of detection of a call word. Operations 315 to 319 may be omitted. According to an embodiment, the external electronic device may recognize an external situation through at least one sensor, and perform operations 315 to 319 when it is determined that an external sound can be detected through a microphone.
도 4a는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.4A is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 4a를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 401 동작에서, 오디오 신호를 출력할 수 있다. 예를 들어, 프로세서는 무선 통신 모듈을 통해 연결된 외부 전자 장치(예: 외부 전자 장치(200))로부터 수신되는 오디오 데이터에 대응하는 오디오 신호를 다수의 출력 장치(예: 스테레오 스피커)를 통해 출력할 수 있다. 어떤 실시 예에 따르면, 프로세서는 내부 메모리에 저장된 멀티미디어 파일(예: 오디오 파일(예: 음악 파일), 동영상 파일)에 포함된 오디오 데이터에 대응하는 오디오 신호를 다수의 출력 장치를 통해 출력할 수 있다. 어떤 실시 예에 따르면, 프로세서는 오디오 신호의 출력 시 외부 소리를 감소 또는 차단할 수 있는 기능(예: 노이즈 캔슬링(noise cancelling) 기능)을 자동 또는 사용자 요청에 따라 온(활성화)할 수 있다.Referring to FIG. 4A , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may output an audio signal in operation 401 . For example, the processor may output an audio signal corresponding to audio data received from an external electronic device (eg, the external electronic device 200) connected through the wireless communication module through a plurality of output devices (eg, a stereo speaker). can According to an embodiment, the processor may output an audio signal corresponding to audio data included in a multimedia file (eg, an audio file (eg, a music file) or a video file) stored in the internal memory through a plurality of output devices. . According to an embodiment, the processor may automatically or according to a user's request turn on (activate) a function (eg, a noise canceling function) capable of reducing or blocking an external sound when an audio signal is output.
다양한 실시 예에 따른 프로세서는, 403 동작에서, 외부 소리를 획득할 수 있다. 예를 들어, 프로세서는 오디오 신호의 출력에 대응하여 적어도 하나의 입력 장치(예: 마이크)를 활성화하고, 활성화된 적어도 하나의 입력 장치를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 호출어 감지 기능의 활성화 여부를 확인하고, 호출어 감지 기능이 활성화된 경우 적어도 하나의 입력 장치를 통해 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 전자 장치가 음성 통화를 위한 마이크(통화 마이크) 및 외부 소리를 획득하기 위한 마이크(외부 마이크)를 별도로 포함하는 경우 상기 프로세서는 외부 마이크를 활성화할 수 있다. 어떤 실시 예에 따르면, 프로세서는 볼륨이 지정된 값 이상인 경우 및/또는 적어도 하나의 센서를 통해 전자 장치가 사용자의 신체(예: 귀)에 착용된 것으로 확인된 경우 외부 마이크를 활성화하여 외부 소리를 획득할 수 있다.The processor according to various embodiments may acquire an external sound in operation 403 . For example, the processor may activate at least one input device (eg, a microphone) in response to the output of the audio signal, and acquire an external sound through the activated at least one input device. According to an embodiment, the electronic device may determine whether the call word detection function is activated, and when the call word detection function is activated, the electronic device may acquire an external sound through at least one input device. According to an embodiment, when the electronic device separately includes a microphone (call microphone) for voice call and a microphone (external microphone) for acquiring an external sound, the processor may activate the external microphone. According to an embodiment, the processor activates an external microphone to acquire an external sound when the volume is greater than or equal to a specified value and/or when it is confirmed that the electronic device is worn on the user's body (eg, ear) through at least one sensor can do.
다양한 실시 예에 따른 프로세서는, 405 동작에서, 외부 소리로부터 지정된 호출어가 검출되는지 확인할 수 있다. 예를 들어, 프로세서는 입력 장치를 통해 획득된 외부 소리를 분석하여 외부 소리에 지정된 호출어가 포함되어 있는지 확인할 수 있다.In operation 405 , the processor according to various embodiments may determine whether a designated call word is detected from an external sound. For example, the processor may analyze an external sound acquired through the input device to determine whether the external sound includes a designated call word.
상기 405 동작의 확인 결과, 외부 소리로부터 지정된 호출어가 감지되지 않는 경우 프로세서는 후술하는 411 동작으로 진행할 수 있다. 반면에, 상기 405 동작의 확인 결과, 외부 소리로부터 지정된 호출어가 감지되는 경우 프로세서는, 407 동작에서, 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 프로세서는 사용자가 외부 소리를 인지할 수 있도록 외부 전자 장치에 오디오 신호의 출력을 일시 중지하도록 요청하거나, 오디오 신호의 볼륨을 뮤트 또는 감소시키거나, 노이즈 캔슬링 기능을 오프시키거나, 입력 장치를 통해 입력된 외부 소리를 출력 장치를 통해 출력할 수 있다. 오디오 신호의 출력을 제어하는 다양한 예들에 대한 상세한 설명은 도 5 내지 6c를 참조하여 후술하기로 한다.As a result of checking operation 405, when a designated call word is not detected from an external sound, the processor may proceed to operation 411, which will be described later. On the other hand, when a designated call word is detected from an external sound as a result of checking in operation 405 , in operation 407 , the processor may control the output of the audio signal. For example, the processor may request the external electronic device to pause output of the audio signal, mute or decrease the volume of the audio signal, turn off the noise canceling function, or input An external sound input through the device may be output through an output device. A detailed description of various examples of controlling the output of an audio signal will be described later with reference to FIGS. 5 to 6C .
다양한 실시 예에 따른 프로세서는, 409 동작에서, 오디오 신호의 출력의 재개(resume)가 요청되는지 확인할 수 있다. 예를 들어, 프로세서는 사용자에 의해 오디오 신호의 출력이 재개(resume)되는지 확인할 수 있다. 어떤 실시 예에 따르면, 프로세서는 호출어에 대응하는 화자의 발화가 종료되는지 여부를 감지하고, 발화가 종료되는 경우 오디오 신호의 출력의 재개가 요청된 것으로 인식할 수 있다. 전자 장치는 발화의 종료 여부를 판단하기 위한 장치(또는 소프트웨어 모듈)(예: end point detection: EPD)을 포함할 수 있다.In operation 409 , the processor according to various embodiments may determine whether resume output of the audio signal is requested. For example, the processor may check whether the output of the audio signal is resumed by the user. According to an embodiment, the processor may detect whether the speaker's utterance corresponding to the call word has ended, and, if the utterance is terminated, may recognize that resumption of the output of the audio signal is requested. The electronic device may include a device (or software module) (eg, end point detection: EPD) for determining whether the utterance has ended.
상기 409 동작의 확인 결과 상기 오디오 신호의 출력의 재개가 요청되지 않는 경우 프로세서는 409 동작을 유지할 수 있다. 반면에, 상기 409 동작의 확인 결과, 상기 출력의 재개가 요청되는 경우 프로세서는, 411 동작에서, 오디오 신호의 출력이 종료되는지 확인할 수 있다. 예를 들어, 프로세서는 외부 전자 장치로부터 오디오 데이터가 지정된 시간(예: 0.5 초)이상 미수신되는지 확인할 수 있다. 또는, 프로세서는 멀티미디어의 재생이 일시 중지, 중지 또는 종료되는지 확인할 수 있다.As a result of checking the operation 409, when the resumption of the output of the audio signal is not requested, the processor may maintain operation 409 . On the other hand, when the resumption of the output is requested as a result of checking in operation 409 , in operation 411 , the processor may determine whether the output of the audio signal is terminated. For example, the processor may determine whether audio data is not received from the external electronic device for a specified period of time (eg, 0.5 seconds) or longer. Alternatively, the processor may check whether multimedia playback is paused, stopped, or ended.
상기 411 동작의 확인 결과 오디오 신호의 출력이 종료되지 않는 경우 프로세서는 403 동작으로 복귀할 수 있다. 반면에, 상기 411 동작의 확인 결과 오디오 신호의 출력이 종료되는 경우 프로세서는 403 동작에서 활성화된 마이크를 비활성화하고, 본 개시의 한 실시 예에 따른 오디오 신호의 출력 제어를 종료할 수 있다.As a result of checking operation 411, if output of the audio signal is not terminated, the processor may return to operation 403 . On the other hand, when the output of the audio signal is terminated as a result of checking in operation 411, the processor may deactivate the activated microphone in operation 403 and end the audio signal output control according to an embodiment of the present disclosure.
도 4b는 본 개시의 다른 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.4B is a flowchart illustrating a method of controlling an audio output of an electronic device according to another embodiment of the present disclosure.
도 4b를 참조하면, 본 개시의 다른 실시 예에 따른 전자 장치(예: 전자 장치(100))는 화자 별 호출어 인식을 지원할 수 있다. 상기 도 4b의 431 동작, 433 동작 및 435 동작은 도 4a의 401 동작, 403 동작, 및 405 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.Referring to FIG. 4B , an electronic device (eg, the electronic device 100 ) according to another embodiment of the present disclosure may support call word recognition for each speaker. Operations 431 , 433 , and 435 of FIG. 4B are similar to operations 401 , 403 , and 405 of FIG. 4A , respectively, and thus a detailed description thereof will be omitted.
다양한 실시 예에 따른 프로세서는, 437 동작에서, 호출어에 대응하는 외부 소리(이하, 발화)에 대한 화자 인식을 수행할 수 있다. 전자 장치는 화자 인식 DB를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 상기 발화의 적어도 일부를 외부 전자 장치로 전송하고, 외부 전자 장치로부터 화자 정보를 수신할 수 있다.In operation 437 , the processor according to various embodiments of the present disclosure may perform speaker recognition for an external sound (hereinafter, referred to as an utterance) corresponding to the calling word. The electronic device may include a speaker recognition DB. According to an embodiment, the electronic device may transmit at least a portion of the utterance to the external electronic device and receive speaker information from the external electronic device.
다양한 실시 예에 따른 프로세서는, 439 동작에서, 감지된 호출어와 인식된 화자가 매칭되는지 확인할 수 있다. 예를 들어, 프로세서는, 호출어 DB를 참조하여, 호출어 "여보(honey)"가 감지된 경우 인식된 화자가 "배우자(wife)"인지 확인할 수 있다. 호출어 DB에 대한 상세한 설명은 도 11을 참조하여 후술하기로 한다.In operation 439 , the processor according to various embodiments may determine whether the detected call word and the recognized speaker match. For example, the processor may refer to the call word DB and check whether the recognized speaker is "wife" when the call word "honey" is detected. A detailed description of the call word DB will be described later with reference to FIG. 11 .
상기 439 동작의 확인 결과, 감지된 호출어와 인식된 화자가 매칭되지 않는 경우 프로세서는 후술하는 445 동작으로 진행할 수 있다. 반면에, 상기 439 동작의 확인 결과, 감지된 호출어와 인식된 화자가 매칭되는 경우 프로세서는 441 동작을 수행할 수 있다. 상기 도 4b의 441 동작, 443 동작 및 445 동작은 도 4a의 407 동작, 409 동작, 및 411 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.As a result of checking operation 439, if the detected call word and the recognized speaker do not match, the processor may proceed to operation 445 to be described later. On the other hand, if the detected call word and the recognized speaker match as a result of checking the operation 439, the processor may perform operation 441 . Operations 441, 443, and 445 of FIG. 4B are similar to operations 407, 409, and 411 of FIG. 4A, respectively, and thus a detailed description thereof will be omitted.
상술한 본 개시의 다른 실시 예는 화자 별로 호출어를 설정하여 오디오 출력의 제어에 대한 효율성을 향상시킬 수 있다. 예들 들어, 본 개시의 다른 실시 예는 사용자가 아닌 다른 사용자를 호출하는 외부 소리에 불필요하게 오디오 출력이 제어되는 불편함을 감소시킬 수 있다.According to another embodiment of the present disclosure described above, it is possible to improve the efficiency of audio output control by setting a call word for each speaker. For example, another embodiment of the present disclosure may reduce the inconvenience of unnecessarily controlling audio output to an external sound calling a user other than the user.
도 5는 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 동작을 상세히 설명하는 흐름도이고, 도 6a는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 출력을 일시 중지하는 예를 도시한 도면이고, 도 6b는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량 및 외부 소리의 음량을 제어하는 예를 도시한 도면이고, 도 6c는 본 개시의 한 실시 예에 따른 전자 장치가 오디오 신호의 음량을 제어하는 예를 도시한 도면이다.5 is a flowchart illustrating in detail an operation of controlling an audio output of an electronic device according to an embodiment of the present disclosure, and FIG. 6A illustrates an example in which the electronic device pauses an audio output according to an embodiment of the present disclosure 6B is a diagram illustrating an example in which an electronic device controls a volume of an audio signal and a volume of an external sound according to an embodiment of the present disclosure, and FIG. 6C is an electronic device according to an embodiment of the present disclosure is a diagram illustrating an example of controlling the volume of an audio signal.
도 5 내지 도 6c를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 501동작에서, 음악이 재생 중인지 확인할 수 있다. 상기 501 동작의 확인 결과, 음악이 재생 중인 경우 프로세서는, 503 동작에서, 음악 재생을 일시 중지 또는 볼륨을 제어할 수 있다. 예를 들어, 전자 장치에 저장된 음악을 재생 중인 경우 프로세서는 음악 재생 어플리케이션에 일시 중지를 명령하거나, 볼륨을 제어(예: 뮤트 또는 감소)할 수 있다. 다른 예로, 외부 전자 장치로부터 음악을 수신하여 재생 중인 경우 프로세서는, 도 6a에 도시된 바와 같이, 호출어(601)의 감지 시 음악의 일시 중지를 요청하는 메시지를 외부 전자 장치로 전송(602)할 수 있다. 상기 메시지를 수신한 외부 전자 장치는 음악의 재생을 일시 중지(603)할 수 있다.5 to 6C , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may determine whether music is being played in operation 501 . As a result of checking in operation 501, if music is being played, in operation 503, the processor may pause music playback or control the volume. For example, when music stored in the electronic device is being played, the processor may instruct the music playback application to pause or control the volume (eg, mute or decrease). As another example, when receiving music from the external electronic device and playing the music, the processor transmits a message requesting to pause the music when a call word 601 is detected to the external electronic device as shown in FIG. 6A ( 602 ) can do. Upon receiving the message, the external electronic device may pause (603) playing the music.
어떤 실시 예에 따르면, 프로세서는 오디오 신호 및 외부 신호를 동시에 출력할 수 있다. 예를 들어, 프로세서는, 도 6b의 식별 부호 607의 구간에 도시된 바와 같이, 호출어(601)의 감지 시 오디오 신호에 대한 음량(예: 음악 볼륨)을 지정된 제1 값(V1)까지 서서히 감소시키고, 외부 신호(예: 발화(605)에 대한 음량을 지정된 제2 값(V2)까지 서서히 증가시킬 수 있다. 이와 같이, 외부 신호에 대한 음량을 상대적으로 크게 출력함에 따라 사용자는 외부 소리를 용이하게 인지할 수 있다. 한편, 프로세서는, 도 6b의 식별 부호 609 구간에 도시된 바와 같이, 호출어(601)에 대응하는 발화(605)의 종료가 감지되면, 오디오 신호의 음량을 원 상태로 서서히 증가시키고, 외부 소리의 출력을 서서히 차단할 수 있다.According to some embodiments, the processor may simultaneously output an audio signal and an external signal. For example, as shown in the section of the identification code 607 of FIG. 6B , the processor increases the volume (eg, music volume) of the audio signal when the call word 601 is detected to a specified first value (V 1 ). It may gradually decrease and gradually increase the volume of the external signal (eg, the utterance 605 ) up to the specified second value V 2 . As such, as the volume of the external signal is output relatively high, the user On the other hand, when the end of the utterance 605 corresponding to the call word 601 is detected, as shown in section 609 of the identification code of Fig. 6B, the processor adjusts the volume of the audio signal. It is possible to gradually increase to the original state, and to gradually cut off the output of external sound.
어떤 실시 예에 따르면, 프로세서는 다수의 출력 장치들 중 일부의 오디오 출력을 제어할 수 있다. 예를 들어, 도 6c에 도시된 바와 같이, 전자 장치가 제1 서브 장치(예: 좌 음향 장치)(611) 및 제2 서브 장치(예: 우 음향 장치)(612)를 포함하는 경우 프로세서는 제1 서브 장치(611)에 포함된 입력 장치(마이크) 및 제2 서브 장치(612)에 포함된 입력 장치(마이크)를 통해 외부 신호(611a, 612a)를 각각 획득하고, 획득된 외부 신호들의 세기를 비교하고, 세기가 큰 외부 신호(611a)가 획득된 서브 장치(예: 도 6b의 경우 제1 서브 장치(611))에 대한 오디오 출력을 제어(예: 뮤트 또는 볼륨을 감소)할 수 있다. 이는 화자가 위치한 방향의 입력 장치(마이크)에 의해 획득되는 외부 소리가 상대적으로 큰 세기를 가지는 특성 때문이다. 어떤 실시 예에 따르면, 프로세서는 화자가 위치한 방향의 서브 장치에 대한 오디오 출력만을 제어하여 사용자가 외부 소리를 인지하도록 할 수 있다.According to some embodiments, the processor may control audio output of some of the plurality of output devices. For example, as shown in FIG. 6C , when the electronic device includes a first sub device (eg, a left acoustic device) 611 and a second sub device (eg, a right acoustic device) 612 , the processor External signals 611a and 612a are respectively obtained through the input device (microphone) included in the first sub device 611 and the input device (microphone) included in the second sub device 612 , and It is possible to compare the intensity and control (eg, mute or decrease the volume) the audio output to the sub-device (eg, the first sub-device 611 in FIG. 6B ) from which the external signal 611a having a large strength is obtained. have. This is because the external sound acquired by the input device (microphone) in the direction in which the speaker is located has a relatively large intensity. According to an embodiment, the processor may control only the audio output to the sub-device in the direction in which the speaker is located so that the user may recognize an external sound.
상기 501 동작의 확인 결과, 음악 재생 중이 아닌 경우 프로세서는, 505 동작에서, 현재 미디어 음량(볼륨)이 지정된 임계치 이상인지 확인할 수 있다. 상기 505 동작의 확인 결과, 미디어 음량이 임계치 이상인 경우 프로세서는, 507 동작에서, 미디어 음량을 지정된 음량으로 감소 또는 뮤트시킬 수 있다. As a result of checking in operation 501, if music is not being played, in operation 505, the processor may determine whether a current media volume (volume) is equal to or greater than a specified threshold. As a result of checking in operation 505, if the media volume is equal to or greater than the threshold, in step 507, the processor may decrease or mute the media volume to a specified volume.
상기 505 동작의 확인 결과, 미디어 음량이 임계치 이상이 아닌 경우 프로세서는, 509 동작에서, 노이즈 캔슬링 기능이 활성화되어 있는지 확인할 수 있다. 상기 509 동작의 확인 결과, 노이즈 캔슬링 기능이 활성화된 경우 프로세서는, 511 동작에서, 노이즈 캔슬링 기능을 비활성화할 수 있다.As a result of checking in operation 505, if the media volume is not equal to or greater than the threshold, in operation 509, the processor may determine whether the noise canceling function is activated. As a result of checking the operation 509 , when the noise canceling function is activated, the processor may deactivate the noise canceling function in operation 511 .
상기 511 동작의 확인 결과, 노이즈 캔슬링 기능이 비활성화된 경우 프로세서는, 513 동작에서, 통화 중인지 확인할 수 있다. 상기 513 동작의 확인 결과 통화 중인 경우 프로세서는, 515 동작에서, 피드백을 제공할 수 있다. 예를 들어, 프로세서는 외부에서 호출이 감지되었음을 다양한 방식으로 사용자에게 피드백할 수 있다. 예를 들어, 프로세서는 지정된 효과음을 스피커를 통해 출력할 수 있다. 다른 예로, 전자 장치가 스마트 글래스 또는 HMD 장치인 경우 프로세서는 호출어의 감지를 알리는 문구, 및/또는 아이콘을 디스플레이 상에 표시할 수 있다.As a result of checking the operation 511 , when the noise canceling function is deactivated, the processor may determine whether a call is in progress in operation 513 . As a result of checking in operation 513 , if a call is in progress, the processor may provide feedback in operation 515 . For example, the processor may feedback to the user that an external call has been detected in various ways. For example, the processor may output a specified sound effect through a speaker. As another example, when the electronic device is a smart glasses or an HMD device, the processor may display a phrase and/or an icon informing the detection of a call word on the display.
상기 513 동작의 확인 결과 통화 중이 아닌 경우 프로세서는 411 동작(또는 445 동작)으로 복귀할 수 있다.As a result of checking operation 513 , if the processor is not in a call, the processor may return to operation 411 (or operation 445 ).
상기 도 5는 일 예일 뿐, 본 개시의 한 실시 예는 상기 도 5와 같이 501 동작, 505 동작, 509 동작 및 513 동작의 순서로 오디오 출력을 제어하는 것으로 한정되지 않으며, 동작 순서는 변경될 수 있다. 한 실시 예에 따르면, 전자 장치는 오디오 신호의 재생 중지 또는 볼륨 제어, 미디어 신호의 볼륨을 감소 또는 뮤트, 노이즈 켄슬링 기능 오프, 또는 피드백 제공 중 적어도 하나를 조합하여 제공할 수 있다. 예를 들어, 5 is only an example, and an embodiment of the present disclosure is not limited to controlling the audio output in the order of operation 501, operation 505, operation 509, and operation 513 as shown in FIG. 5, and the operation order may be changed have. According to an embodiment, the electronic device may provide a combination of at least one of stopping or controlling the volume of an audio signal, reducing or muting the volume of a media signal, turning off a noise canceling function, or providing feedback. E.g,
도 7a는 본 개시의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 방법을 설명하는 흐름도이고, 도 7b는 본 개시의 한 실시 예에 따른 전자 장치가 사용자에게 호출의 발생 및 화자의 방향 정보를 피드백하는 예를 도시한 도면이다.7A is a flowchart illustrating a method in which an electronic device feeds back call origination and speaker direction information to a user according to an embodiment of the present disclosure, and FIG. 7B is a flowchart illustrating an electronic device to the user according to an embodiment of the present disclosure. It is a diagram illustrating an example of feeding back information about the origin of a call and the direction of the speaker.
도 7a 및 도 7b를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는 화자가 위치한 방향 정보를 제공할 수 있다. 상기 도 7a의 701 동작, 703 동작, 705 동작, 707 동작 및 709 동작은 도 4b의 431 동작, 433 동작, 435 동작, 437 동작 및 439 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.7A and 7B , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may provide direction information in which the speaker is located. Operations 701, 703, 705, 707, and 709 of FIG. 7A are similar to operations 431, 433, 435, 437, and 439 of FIG. 4B, respectively, and detailed descriptions thereof will be omitted.
다양한 실시 예에 따른 프로세서는, 711 동작에서, 화자가 위치한 방향을 인식할 수 있다. 상기 프로세서는 다수의 입력 장치를 통해 획득되는 외부 소리를 분석(예: 크기 비교 또는 수신 시간 차를 이용)하여 화자가 위치한 방향을 인식할 수 있다. 예를 들어, 사용자의 우측에 위치하는 입력 모듈을 통해 외부 소리가 감지되고, 사용자의 좌측에 위치하는 입력 모듈을 통해 외부 소리가 거의 감지되지 않는 경우 프로세서는 화자가 우측에 위치한 것으로 판단할 수 있다. 상기 다수의 마이크를 통해 획득되는 외부 소리를 분석하여 화자의 위치(방향)을 인식하는 기술은 널리 알려진 기술로 통상의 기술자에게 자명한 바, 상세한 설명을 생략하기로 한다. The processor according to various embodiments may recognize a direction in which the speaker is located in operation 711 . The processor may recognize the direction in which the speaker is located by analyzing external sounds acquired through a plurality of input devices (eg, using a magnitude comparison or a reception time difference). For example, when an external sound is detected through the input module located on the right side of the user and little external sound is detected through the input module located on the left side of the user, the processor may determine that the speaker is located on the right side . A technique for recognizing a speaker's position (direction) by analyzing an external sound acquired through the plurality of microphones is a well-known technique and is obvious to those skilled in the art, and thus a detailed description thereof will be omitted.
다양한 실시 예에 따른 프로세서는, 713 동작에서, 호출 발생 및/또는 호출 방향을 사용자에게 피드백할 수 있다. 예를 들어, 프로세서는 지정된 효과음을 출력 모듈을 통해 출력할 수 있다. 다른 예로, 프로세서는, 도 7b의 식별 부호 720의 도면에 도시된 바와 같이, 스마트 글래스(700)의 디스플레이에 호출어(721)의 감지를 알리는 문구(722)를 표시할 수 있다. 또 다른 예로, 프로세서는, 도 7b의 식별 부호 730의 도면에 도시된 바와 같이, 사용자(731)를 기준으로 우측 상단의 대각선 방향(약 45도 방향)(733)에서 화자(732)가 발화하고 있음을 사용자가 인지할 수 있도록 공간감을 제공할 수 있다. 프로세서는 알려진 다양한 기술(예: ITD 기술, 또는 ILD 기술)을 통해 상기 인식된 방향에 대응하는 공간감을 제공할 수 있다.In operation 713 , the processor according to various embodiments may feed back a call generation and/or a call direction to the user. For example, the processor may output a designated sound effect through the output module. As another example, the processor may display a phrase 722 notifying the detection of the call word 721 on the display of the smart glasses 700 as shown in the diagram of the identification code 720 of FIG. 7B . As another example, in the processor, as shown in the diagram of the identification code 730 of FIG. 7B , the speaker 732 utters in the diagonal direction (about 45 degree direction) 733 at the upper right side with respect to the user 731 and A sense of space may be provided so that the user can recognize that there is. The processor may provide a sense of space corresponding to the recognized direction through various known techniques (eg, an ITD technique or an ILD technique).
상기 도 7a의 715 동작, 717 동작 및 719 동작은 도 4b의 441 동작, 443 동작 및 435 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다. Operations 715, 717, and 719 of FIG. 7A are similar to operations 441, 443, and 435 of FIG. 4B, respectively, and thus a detailed description thereof will be omitted.
상술한 본 개시의 한 실시 예는 호출어의 감지 및/또는 화자가 위치한 방향 정보를 제공함에 따라, 사용자가 화자의 위치를 용이하게 인지할 수 있다.According to an embodiment of the present disclosure described above, the user can easily recognize the location of the speaker by detecting the call word and/or providing direction information where the speaker is located.
도 8a는 본 개시의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 방법을 설명하는 흐름도이고, 도 8b는 본 개시의 한 실시 예에 따른 전자 장치가 사용자와 대화가 가능함을 화자에게 피드백하는 일 예를 도시한 도면이다.8A is a flowchart illustrating a method for an electronic device to provide feedback to a speaker that a conversation with a user is possible according to an embodiment of the present disclosure, and FIG. 8B is a flowchart illustrating an electronic device capable of communicating with a user It is a diagram illustrating an example of feeding back to the speaker.
도 8a 및 도 8b를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는 사용자가 대화 가능한 상태임을 호출자에게 피드백할 수 있다. 상기 도 8a의 801 동작, 803 동작, 805 동작, 807 동작, 809 동작 및 811 동작은 도 4b의 431 동작, 433 동작, 435 동작, 437 동작, 439 동작 및 441 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다.8A and 8B , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may feed back to the caller that the user is in a conversationable state. Operations 801, 803, 805, 807, 809, and 811 of FIG. 8A are similar to operations 431, 433, 435, 437, 439 and 441 of FIG. 4B, respectively. to be omitted.
다양한 실시 예에 따른 프로세서는, 813 동작에서, 사용자가 대화 가능한 상태임을 다양한 방식으로 호출자에게 피드백할 수 있다. 예를 들어, 프로세서는, 도 8b에 도시된 바와 같이, 전자 장치의 외부에 배치된 발광다이오드(light emitted diode: LED)를 지정된 패턴으로 발광(821), 디스플레이 상에 대화 아이콘을 표시(823), 지정된 효과음을 출력(825) 중 적어도 하나를 통해 사용자가 외부 소리를 들을 수 있는 상태임을 호출자에게 피드백할 수 있다.In operation 813 , the processor according to various embodiments may feed back to the caller that the user is in a conversationable state in various ways. For example, as shown in FIG. 8B , the processor emits a light emitted diode (LED) disposed on the outside of the electronic device in a specified pattern ( 821 ), and displays a dialog icon on the display ( 823 ). , it is possible to feed back to the caller that the user can hear the external sound through at least one of the output 825 of the specified sound effect.
상기 도 8a의 815 동작 및 817 동작은 도 4b의 443 동작 및 435 동작과 각각 유사한 바, 상세한 설명을 생략하기로 한다. Operations 815 and 817 of FIG. 8A are similar to operations 443 and 435 of FIG. 4B , respectively, and thus detailed descriptions thereof will be omitted.
상술한 본 개시의 한 실시 예는 사용자가 대화 가능한 상태인지 여부를 호출자에게 피드백하여, 사용자가 외부 소리를 들을 수 있는 상태임에도 불구하고, 외부 소리를 듣기 어려운 상태로 오해하여 호출자가 사용자를 반복 호출하거나, 목소리를 높이는 불편함을 해소할 수 있다.According to one embodiment of the present disclosure described above, the caller repeatedly calls the user because it is misunderstood as a state in which it is difficult to hear the external sound even though the user can hear the external sound by feeding back to the caller whether the user is in a conversational state. Or, you can relieve the discomfort of raising your voice.
도 9a는 본 개시의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하여 오디오 출력을 제어하는 방법을 설명하는 흐름도이고, 도 9b는 본 개시의 한 실시 예에 따른 전자 장치의 상황 정보에 기초하여 호출어를 변경하는 예를 도시한 도면이다.9A is a flowchart illustrating a method of controlling audio output by changing a call word based on context information of an electronic device according to an embodiment of the present disclosure, and FIG. 9B is a flowchart illustrating an electronic device according to an embodiment of the present disclosure; It is a diagram illustrating an example of changing a call word based on context information.
도 9a 및 도 9b를 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 901 동작에서, 호출어 감지 기능의 활성화를 감지할 수 있다. 상기 호출어 감지 기능은 사용자에 의해 입력 장치(예: 지정된 터치 입력, 지정된 키 입력)를 통해 활성화되거나, 오디오 신호의 출력 시 프로세서에 의해 자동으로 활성화될 수 있다.Referring to FIGS. 9A and 9B , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may detect activation of a call word detection function in operation 901 . The call word detection function may be activated by a user through an input device (eg, a specified touch input or a specified key input), or may be automatically activated by a processor when an audio signal is output.
다양한 실시 예에 따른 프로세서는, 903 동작에서, 상황 정보를 수집할 수 있다. 예를 들어, 프로세서는 호출어 감지 기능이 활성화되어 있는 동안(또는 오디오 신호가 출력되는 동안) 위치(장소), 시간, 및/또는 움직임(이동) 여부에 대한 상황 정보를 지속적으로 또는 주기적으로 수집할 수 있다. 예를 들어, 프로세서는 위치 정보 수신 모듈(예: GPS, GNNS)을 통한 위치 정보, 특정 장소(예: 집, 회사, 백화점)에 설치된 무선 라우터(예: access point: AP)와 연결 여부를 통한 장소 정보 및/또는 센서(예: 자이로 센서)를 통한 전자 장치의 움직임(이동) 여부에 대한 정보를 수집할 수 있다. 어떤 실시 예에 따르면, 프로세서는 근거리 무선 통신 연결된 외부 전자 장치로부터 상황 정보를 수신할 수 있다.The processor according to various embodiments may collect context information in operation 903 . For example, the processor continuously or periodically collects contextual information about location (place), time, and/or movement (movement) while the call word detection function is active (or while an audio signal is output) can do. For example, the processor receives location information through a location information receiving module (eg, GPS, GNNS), through whether it is connected to a wireless router (eg, access point: AP) installed in a specific place (eg, home, company, department store). Information on whether the electronic device moves (moves) through place information and/or a sensor (eg, a gyro sensor) may be collected. According to an exemplary embodiment, the processor may receive context information from an external electronic device connected through short-range wireless communication.
다양한 실시 예에 따른 프로세서는, 905 동작에서, 현재 상황 정보에 매칭된 호출어가 존재하는지 확인할 수 있다. 상기 905 동작의 확인 결과, 현재 상황 정보에 매칭된 호출어가 존재하지 않는 경우 프로세서는 909 동작으로 진행할 수 있다. 반면에, 상기 905 동작의 확인 결과, 현재 상황 정보에 매칭된 호출어가 존재하는 경우 프로세서는, 907 동작에서, 호출어를 변경할 수 있다. 예를 들어, 프로세서는, 도 9b의 식별 부호 931의 도면에 도시된 바와 같이, 전자 장치와 집에 설치된 무선 라우터의 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치(장소)가 집으로 확인된 경우 호출어를 "여보(honey)"로 변경할 수 있다. 다른 예로, 프로세서는, 도 9b의 식별 부호 933의 도면에 도시된 바와 같이, 자이로 센서를 통해 전자 장치가 현재 이동 중인 것으로 확인된 경우 호출어를 "저기요(excuse me)"로 변경할 수 있다. 또 다른 예로, 프로세서는, 도 9b의 식별 부호 935의 도면에 도시된 바와 같이, 전자 장치와 회사에 설치된 무선 라우터의 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치가 회사인 것으로 확인된 경우 호출어를 "김부장(Mr. kim)"으로 변경할 수 있다. 또 다른 예로, 프로세서는, 도 9b의 식별 부호 937의 도면에 도시된 바와 같이, 전자 장치가 백화점에 설치된 무선 라우터와의 연결 여부, 백화점에 설치된 장치와 BLE 연결 여부 또는 수신된 위치 정보에 기초하여 현재 위치가 백화점인 것으로 확인된 경우 호출어를 "고객님(hello, excuse me, 또는 may I help you)"으로 변경할 수 있다.In operation 905 , the processor according to various embodiments may determine whether a call word matched with the current context information exists. As a result of checking operation 905, if there is no call word matching the current context information, the processor may proceed to operation 909 . On the other hand, if it is determined in operation 905 that there is a call word matching the current context information, the processor may change the call word in operation 907 . For example, as shown in the diagram of identification code 931 of FIG. 9B , the processor may determine whether the current location (place) is identified as the home based on whether the electronic device is connected to the wireless router installed in the home or received location information. In this case, you can change the call word to "honey". As another example, the processor may change the call word to “excuse me” when it is confirmed that the electronic device is currently moving through the gyro sensor, as shown in the drawing of reference numeral 933 of FIG. 9B . As another example, the processor calls when it is confirmed that the current location is the company based on whether the electronic device and the wireless router installed in the company are connected or the received location information, as shown in the drawing of the identification code 935 of FIG. 9B , You can change the language to "Mr. Kim". As another example, the processor, as shown in the diagram of identification code 937 of FIG. 9B, based on whether the electronic device is connected to a wireless router installed in a department store, whether a BLE connection is made with a device installed in the department store, or received location information If it turns out that your current location is a department store, you can change the caller to "hello, excuse me, or may I help you."
어떤 실시 예에 따르면, 프로세서는 상황별 호출어에 가중치를 주어 현재 상황에 대응하는 호출어가 외부 소리에 포함되어 있는지 우선적으로 확인하도록 할 수도 있다.According to an embodiment, the processor may give weight to the call word for each situation so as to preferentially check whether the call word corresponding to the current situation is included in the external sound.
다양한 실시 예에 따른 프로세서는, 909 동작에서, 호출어 감지 기능이 비활성화되는지 확인할 수 있다. 상기 909 동작의 확인 결과 호출어 감지 기능이 비활성화되지 않는 경우 프로세서는 903 동작으로 복귀할 수 있다. 반면에, 상기 909 동작의 확인 결과 호출어 감지 기능이 비활성화되는 경우 프로세서는 본 개시의 한 실시 예에 따른 상황 정보에 기초하여 호출어의 적응적으로 변경하는 절차를 종료할 수 있다.In operation 909 , the processor according to various embodiments may determine whether the call word detection function is deactivated. If the call word detection function is not deactivated as a result of checking operation 909 , the processor may return to operation 903 . On the other hand, when the call word detection function is deactivated as a result of checking operation 909, the processor may end the procedure for adaptively changing the call word based on the context information according to an embodiment of the present disclosure.
상기 도 9a에 도시하지는 않았지만, 상기 호출어를 변경한 후 프로세서는, 도 4a 내지 도 8b에서 설명한 것과 유사하게, 오디오 신호의 출력 시 외부 소리를 획득하고, 외부 소리로부터 변경된 호출어가 감지되는지 여부에 기초하여 오디오 신호의 출력을 제어하는 동작들을 수행할 수 있다.Although not shown in FIG. 9A, after changing the call word, the processor acquires an external sound when outputting an audio signal, similar to that described in FIGS. 4A to 8B, and determines whether the changed call word is detected from the external sound. Based on the above, operations for controlling the output of the audio signal may be performed.
상술한 본 개시의 한 실시 예는 상황 별로 호출어를 가변하고, 상황에 매칭된(적합한) 호출어를 감지 또는 우선적으로 감지하도록 하여 호출어 인식의 효율성(예: 속도 및/또는 정확도)을 향상시킬 수 있다.One embodiment of the present disclosure described above improves the efficiency (eg, speed and/or accuracy) of call word recognition by changing the call word for each context and detecting or preferentially detecting the call word matched (suitable) to the context. can do it
도 10은 본 개시의 한 실시 예에 따른 전자 장치의 오디오 출력을 제어하는 방법을 설명하는 흐름도이다.10 is a flowchart illustrating a method of controlling an audio output of an electronic device according to an embodiment of the present disclosure.
도 10을 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(예: 전자 장치(100))의 프로세서는, 1001 동작에서, 오디오 신호를 출력하고, 1003 동작에서 외부 소리를 획득할 수 있다. 상기 1001 동작 및 1003 동작은 도 4a의 401 동작 및 403 동작과 유사한 바 상세한 설명을 생략하기로 한다.Referring to FIG. 10 , the processor of the electronic device (eg, the electronic device 100 ) according to an embodiment of the present disclosure may output an audio signal in operation 1001 and acquire an external sound in operation 1003 . Since operations 1001 and 1003 are similar to operations 401 and 403 of FIG. 4A , detailed descriptions thereof will be omitted.
다양한 실시 예에 따르면, 프로세서는, 1005 동작에서, 외부 소리로부터 지정된 키워드가 검출되는지 확인할 수 있다. 상기 1005 동작의 확인 결과 외부 소리로부터 키워드가 검출되지 않는 경우 프로세서는 1015 동작으로 진행할 수 있다. 반면에, 상기 1005 동작의 확인 결과 외부 소리로부터 키워드가 검출되는 경우 프로세서는, 1007 동작에서, 검출된 키워드가 사용자를 부르는 호출어인지 확인할 수 있다.According to various embodiments of the present disclosure, in operation 1005 , the processor may determine whether a specified keyword is detected from an external sound. If the keyword is not detected from the external sound as a result of checking operation 1005 , the processor may proceed to operation 1015 . On the other hand, when a keyword is detected from an external sound as a result of checking in operation 1005 , in operation 1007 , the processor may determine whether the detected keyword is a calling word calling the user.
상기 1007 동작의 확인 결과 검출된 키워드가 호출어에 대응하지 않는 경우 프로세서는, 1009 동작에서, 키워드에 대응하는 기능을 실행할 수 있다. 예를 들어, 상기 검출된 키워드가 특정 기능을 제어(예: 음악 재생의 중지)하는 음성 명령에 대응하는 경우 프로세서는 음성 명령에 대응하는 기능을 수행할 수 있다. 어떤 실시 예에 따르면, 프로세서는 검출된 키워드를 외부 전자 장치로 전송할 수 있다. 예를 들어, 검출된 키워드가 음성 인식 서비스(예: "빅스비TM")를 호출하는 키워드인 경우 키워드, 및 입력 장치를 통해 수집되는 외부 소리를 외부 전자 장치로 전송하여, 외부 전자 장치가 음성 인식 서비스를 수행하도록 할 수 있다.When the detected keyword does not correspond to the call word as a result of checking in operation 1007 , in operation 1009 , the processor may execute a function corresponding to the keyword. For example, when the detected keyword corresponds to a voice command for controlling a specific function (eg, stopping music reproduction), the processor may perform a function corresponding to the voice command. According to an embodiment, the processor may transmit the detected keyword to the external electronic device. For example, when the detected keyword is a keyword that calls a voice recognition service (eg, "Bixby TM "), the external electronic device transmits the keyword and the external sound collected through the input device to the external electronic device, A recognition service can be performed.
상기 1007 동작의 확인 결과 검출된 키워드가 호출어에 대응하는 경우 프로세서는 1011 동작, 1013 동작 및 1015 동작을 수행할 수 있다. 상기 1011 동작, 1013 동작 및 1015 동작은 407 동작, 409 동작 및 411 동작과 유사한 바, 상세한 설명을 생략하기로 한다.As a result of checking operation 1007, if the detected keyword corresponds to the call word, the processor may perform operations 1011, 1013, and 1015. Operations 1011, 1013, and 1015 are similar to operations 407, 409, and 411, and detailed descriptions thereof will be omitted.
도 11은 본 개시의 한 실시 예에 따른 전자 장치 및 외부 전자 장치의 구성을 도시한 블록도 이다.11 is a block diagram illustrating the configuration of an electronic device and an external electronic device according to an embodiment of the present disclosure.
도 11을 참조하면, 본 개시의 한 실시 예에 따른 전자 장치(1101)(예: 전자 장치(100))는 프로세서(1110), 메모리(1120), 무선 통신 모듈(1130), 출력 모듈(1140), 입력 모듈(1150) 및 착용 감지 센서(1160)를 포함할 수 있다.Referring to FIG. 11 , an electronic device 1101 (eg, the electronic device 100 ) according to an embodiment of the present disclosure includes a processor 1110 , a memory 1120 , a wireless communication module 1130 , and an output module 1140 . ), an input module 1150 , and a wear detection sensor 1160 .
다양한 실시 예에 따르면, 프로세서(1110)는 전자 장치(1101)의 오디오 출력을 제어할 수 있다. 예를 들어, 프로세서(1110)는, 상기 도 4a 내지 도 10을 참조하여 설명한 바와 같이, 오디오 신호를 출력하는 도중 외부 소리로부터 지정된 호출어의 감지 시 오디오 신호의 출력을 제어할 수 있다. 상기 프로세서(1110)는 호출어 감지 모듈(1111) 및 오디오 출력 제어 모듈(1113)을 포함할 수 있다.According to various embodiments, the processor 1110 may control the audio output of the electronic device 1101 . For example, as described with reference to FIGS. 4A to 10 , the processor 1110 may control output of an audio signal when a designated call word is detected from an external sound while outputting the audio signal. The processor 1110 may include a call word detection module 1111 and an audio output control module 1113 .
다양한 실시 예에 따르면, 호출어 감지 모듈(1111)은 출력 모듈(1140)을 통해 오디오 신호를 출력하는 도중 입력 모듈(1150)을 통해 획득되는 외부 소리를 분석하여, 외부 소리로부터 지정된 호출어를 감지할 수 있다. 다양한 실시 예에 따르면, 호출어 감지 모듈(1111)은 화자 인식을 수행하고, 감지된 호출어와 인식된 화자의 매칭 여부를 확인할 수 있다. 어떤 실시 예에 따르면, 프로세서(1110)는 화자 인식 모듈을 별도로 포함할 수 있다.According to various embodiments, the call word detection module 1111 detects a designated call word from the external sound by analyzing an external sound acquired through the input module 1150 while outputting an audio signal through the output module 1140 . can do. According to various embodiments, the call word detection module 1111 may perform speaker recognition and check whether the detected call word and the recognized speaker match. According to some embodiments, the processor 1110 may separately include a speaker recognition module.
다양한 실시 예에 따르면, 오디오 출력 제어 모듈(1113)은 호출어 감지 모듈(1111)에 의해 호출어가 감지되는 것에 대응하여 오디오 신호의 출력을 제어할 수 있다. 예를 들어, 오디오 출력 제어 모듈(1113)은, 도 5 내지 도 6c를 참조하여 설명한 바와 같이, 오디오 신호의 출력을 제어할 수 있다.According to various embodiments, the audio output control module 1113 may control the output of the audio signal in response to the call word detection module 1111 detecting the call word. For example, the audio output control module 1113 may control the output of the audio signal as described with reference to FIGS. 5 to 6C .
다양한 실시 예에 따르면, 메모리(1120)는, 실행 되었을 때, 프로세서(1110)가 오디오 신호를 출력하는 도중 지정된 호출어의 감지 시 오디오 신호의 출력을 제어하도록 하는 인스트럭션들을 저장할 수 있다. 다양한 실시 예에 따르면, 메모리(1120)는 호출어 DB(1121) 및 화자 인식 DB(1123)를 포함할 수 있다.According to various embodiments, the memory 1120, when executed, may store instructions for controlling the output of the audio signal when the processor 1110 detects a designated call word while outputting the audio signal. According to various embodiments, the memory 1120 may include a calling word DB 1121 and a speaker recognition DB 1123 .
다양한 실시 예에 따르면, 호출어 DB(1121)는 적어도 하나의 호출어를 포함할 수 있다. 어떤 실시 예에 따르면, 호출어 DB는 아래의 <표 1>과 같이 화자와 적어도 하나의 호출어가 매칭될 수 있고, <표 2>와 같이 상황 정보와 적어도 하나의 호출어가 매칭될할 수 있다.According to various embodiments, the call word DB 1121 may include at least one call word. According to an embodiment, in the call word DB, a speaker and at least one call word may be matched as shown in <Table 1> below, and situation information and at least one call word may be matched as shown in <Table 2>.
화자speaker 호출어call word
아내(wife)wife 여보(honey), 자기야(darling)Honey, darling
아들(son)son 아빠(papa), 아버지(father)papa, father
손님(guest)guest XXX 씨(Mr. XXX)XXX (Mr. XXX)
친구(friend)friend XXX 야(XXX)XXX hey (XXX)
상황 정보situation information 호출어call word
집(home)home 여보(honey), 자기야(darling), 아빠(papa), 아버지(father)Honey, darling, papa, father
사무실(office)office XXX 씨(Mr. XXX)XXX (Mr. XXX)
가게(store)store 고객님("hello", "excuse me", "may I help you")Customer ("hello", "excuse me", "may I help you")
이동 중(moving)moving "저기요(excuse me)""Excuse me"
상기 <표 1> 및 <표 2>는 일 예일 뿐, 본 개시의 한 실시 예들을 한정하지는 않는다. <Table 1> and <Table 2> are only examples, and do not limit one embodiment of the present disclosure.
다양한 실시 예에 따르면, 화자 인식 DB(1123)는 감지된 호출어에 대응하는 화자를 인식하기 위한 기준 데이터를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치(1101)의 메모리(1120)는 화자 인식 DB(1123)를 포함하지 않을 수도 있다. 이때, 전자 장치(1101)는 무선 통신 모듈(1130)을 통해 외부 전자 장치(1102)(예: 외부 전자 장치(200))로 화자 인식을 요청하고, 결과를 수신할 수 있다.According to various embodiments, the speaker recognition DB 1123 may include reference data for recognizing a speaker corresponding to the detected call word. According to some embodiments, the memory 1120 of the electronic device 1101 may not include the speaker recognition DB 1123 . In this case, the electronic device 1101 may request speaker recognition to the external electronic device 1102 (eg, the external electronic device 200) through the wireless communication module 1130 and receive a result.
다양한 실시 예에 따르면, 무선 통신 모듈(1130)은 외부 전자 장치(1102)와 무선 통신 채널(예: 블루투스)을 연결할 수 있다. 무선 통신 모듈(1130)은 외부 전자 장치(1102)로부터 오디오 데이터를 수신할 수 있다. 무선 통신 모듈(1130)은 오디오 출력의 제어(예: 오디오 재생의 일시 중지)를 요청하는 신호를 외부 전자 장치(1102)로 전송할 수 있다.According to various embodiments, the wireless communication module 1130 may connect the external electronic device 1102 and a wireless communication channel (eg, Bluetooth). The wireless communication module 1130 may receive audio data from the external electronic device 1102 . The wireless communication module 1130 may transmit a signal requesting control of audio output (eg, pause of audio reproduction) to the external electronic device 1102 .
다양한 실시 예에 따르면, 출력 모듈(1140)은 오디오 신호를 출력할 수 있다. 상기 출력 모듈(1140)은 스피커일 수 있다. 상기 출력 모듈(1140)은 스테레오 출력을 지원하기 위하여, 제1 출력 모듈(1141) 및 제2 출력 모듈(1142)을 포함할 수 있다. 예를 들어, 제1 출력 모듈(1141)은 제1 음향 신호(예: 좌측 오디오 신호)를 출력하는 제1 스피커일 수 있고, 제2 출력 모듈(1142)은 제2 음향 신호(예: 우측 오디오 신호)를 출력하는 제2 스피커일 수 있다.According to various embodiments, the output module 1140 may output an audio signal. The output module 1140 may be a speaker. The output module 1140 may include a first output module 1141 and a second output module 1142 to support stereo output. For example, the first output module 1141 may be a first speaker that outputs a first sound signal (eg, a left audio signal), and the second output module 1142 may output a second sound signal (eg, a right audio signal) signal) may be output from the second speaker.
다양한 실시 예에 따르면, 입력 모듈(1150)은 외부 소리를 획득할 수 있다. 예를 들어, 입력 모듈(1150)은 출력 모듈(1140)을 통해 오디오 신호가 출력되는 동안 외부 소리를 획득할 수 있다. 상기 입력 모듈(1150)은 제1 입력 모듈(제1 마이크)(1151) 및 제2 입력 모듈(제2 마이크)(1152)을 포함할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1150)은 하나의 입력 모듈(예: 제1 입력 모듈(1151))만을 포함하거나, 세 개 이상의 입력 모듈을 포함할 수 있다.According to various embodiments, the input module 1150 may acquire an external sound. For example, the input module 1150 may acquire an external sound while an audio signal is output through the output module 1140 . The input module 1150 may include a first input module (first microphone) 1151 and a second input module (second microphone) 1152 . According to some embodiments, the input module 1150 may include only one input module (eg, the first input module 1151 ) or may include three or more input modules.
다양한 실시 예에 따르면, 착용 감지 센서(1160)는 전자 장치(1101)가 사용자의 신체(예: 귀)에 착용되는지 여부를 감지할 수 있다. 착용 감지 센서(1160)는 온도를 감지하는 온도 센서 또는 접촉을 감지하는 접촉 센서를 포함할 수 있다. 예를 들어, 프로세서(1110)는 온도 센서를 통해 체온에 대응하는 온도(예: 30도 내지 45도)가 감지되는 경우 전자 장치(1101)가 신체에 착용된 것으로 인식할 수 있다. 다른 예로, 프로세서(1110)는 전자 장치(1101)의 착용 시 신체에 접촉되는 위치에 배치된 접촉 센서를 통해 접촉이 감지되는 경우 전자 장치(1101)가 신체에 착용된 것으로 인식할 수 있다. 어떤 실시 예에 따르면, 상기 전자 장치(1101)는 착용 감지 센서(1160)를 포함하지 않을 수 있다.According to various embodiments, the wear detection sensor 1160 may detect whether the electronic device 1101 is worn on the user's body (eg, ears). The wear detection sensor 1160 may include a temperature sensor that detects temperature or a touch sensor that detects contact. For example, the processor 1110 may recognize that the electronic device 1101 is worn on the body when a temperature (eg, 30 to 45 degrees) corresponding to the body temperature is sensed through the temperature sensor. As another example, the processor 1110 may recognize that the electronic device 1101 is worn on the body when a contact is detected through a contact sensor disposed at a position in contact with the body when the electronic device 1101 is worn. According to some embodiments, the electronic device 1101 may not include a wear detection sensor 1160 .
도시하지는 않았지만, 상기 전자 장치(1101)는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 예를 들어, 전자 장치(1101)는 위치 및 시간 정보를 수신하는 위치 정보 수신 모듈(예: GPS, GNSS), 특정 장소(예: 집, 회사, 백화점)에 설치된 무선 라우터(예: access point: AP)와 연결되는 근거리무선통신모듈(예: 와이파이, BLE), 전자 장치의 움직임(이동)을 감지하는 자이로 센서 등을 더 포함할 수 있다.Although not shown, the electronic device 1101 may further include at least one module for collecting context information. For example, the electronic device 1101 may include a location information receiving module (eg, GPS, GNSS) for receiving location and time information, and a wireless router (eg, access point: It may further include a short-range wireless communication module (eg, Wi-Fi, BLE) connected to the AP), a gyro sensor for detecting movement (movement) of the electronic device, and the like.
본 개시의 한 실시 예에 따른 외부 전자 장치(1102)(예: 외부 전자 장치(200))는 프로세서(1170), 메모리(1180), 무선 통신 모듈(1190), 및 입력 모듈(1195)을 포함할 수 있다.The external electronic device 1102 (eg, the external electronic device 200 ) according to an embodiment of the present disclosure includes a processor 1170 , a memory 1180 , a wireless communication module 1190 , and an input module 1195 . can do.
다양한 실시 예에 따르면, 프로세서(1170)는 외부 전자 장치(1102)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1170)는 무선 통신 모듈(1190)을 통해 전자 장치(1101)와 무선 통신을 연결할 수 있다. 프로세서(1170)는 전자 장치(1101)와 무선 통신이 연결된 상태에서 오디오 데이터를 포함하는 멀티미디어 파일의 재생 시 무선 통신 모듈(1190)을 통해 상기 오디오 데이터를 전자 장치(1101)로 전송할 수 있다. 프로세서(1170)는 호출어 감지 모듈(1171), 오디오 출력 제어 모듈(1173), 호출어 등록 모듈(1175), 및 제어 옵션 설정 모듈(1177)을 포함할 수 있다. According to various embodiments, the processor 1170 may control the overall operation of the external electronic device 1102 . For example, the processor 1170 may wirelessly communicate with the electronic device 1101 through the wireless communication module 1190 . The processor 1170 may transmit the audio data to the electronic device 1101 through the wireless communication module 1190 when playing a multimedia file including audio data in a state in which wireless communication is connected with the electronic device 1101 . The processor 1170 may include a call word detection module 1171 , an audio output control module 1173 , a call word registration module 1175 , and a control option setting module 1177 .
다양한 실시 예에 따르면, 호출어 감지 모듈(1171)은 전자 장치(1101)로 오디오 데이터를 전송하는 동안 입력 모듈(1195)을 통해 획득되는 외부 소리로부터 지정된 호출어를 감지할 수 있다. 상기 호출어 감지 모듈(1171)은 전자 장치(1101)의 호출어 감지 모듈(1111)과 동일 또는 유사할 수 있다. 어떤 실시 예에 따르면, 상기 호출어 감지 모듈(1171)은 생략될 수 있다.According to various embodiments, the call word detection module 1171 may detect a designated call word from an external sound acquired through the input module 1195 while transmitting audio data to the electronic device 1101 . The call word detection module 1171 may be the same as or similar to the call word detection module 1111 of the electronic device 1101 . According to some embodiments, the call word detection module 1171 may be omitted.
다양한 실시 예에 따르면, 오디오 출력 제어 모듈(1173)은 오디오 출력을 제어할 수 있다. 예를 들어, 오디오 출력 제어 모듈(1173)은 호출어 감지 시 제어 옵션 설정 모듈(1177)에 의해 설정된 방식으로 오디오 출력을 제어(예: 일시 중지)할 수 있고, 호출어의 감지를 무선 통신 모듈(1190)을 통해 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 상기 오디오 출력 제어 모듈(1173)은 외부 전자 장치(1102)에 포함되지 않을 수 있다.According to various embodiments, the audio output control module 1173 may control audio output. For example, the audio output control module 1173 may control (eg, pause) the audio output in a manner set by the control option setting module 1177 when the call word is detected, and detect the call word by the wireless communication module It can be transmitted to the electronic device 1101 through 1190 . According to some embodiments, the audio output control module 1173 may not be included in the external electronic device 1102 .
다양한 실시 예에 따르면, 호출어 등록 모듈(1175)은 호출어 등록을 제어할 수 있다. 예를 들어, 호출어 등록 모듈(1175)은 화자로부터 수신되는 음성을 호출어로 등록하고, 등록된 호출어를 전자 장치(1101)로 전송할 수 있다. 상세한 설명은 도 13a 내지 도 13d를 참조하여 후술하기로 한다.According to various embodiments, the call word registration module 1175 may control call word registration. For example, the call word registration module 1175 may register a voice received from the speaker as a call word and transmit the registered call word to the electronic device 1101 . A detailed description will be given later with reference to FIGS. 13A to 13D.
다양한 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 오디오 출력 제어 방식을 설정할 수 있다. 예를 들어, 제어 옵션 설정 모듈(1177)은 호출어 감지 시 전자 장치(1101)가 수행할 동작(예: 일시 중지, 음량을 뮤트 또는 감소, 피드백 제공 여부)을 사용자로부터 입력받고, 이를 전자 장치(1101)로 전송할 수 있다.According to various embodiments, the control option setting module 1177 may set an audio output control method. For example, the control option setting module 1177 receives an operation (eg, pause, mute or decrease volume, or whether to provide feedback) to be performed by the electronic device 1101 when a call word is detected from the user, and receives the input from the user. It can be sent to (1101).
다양한 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 상황 정보를 획득하고, 상황 정보에 매칭된 호출어를 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 제어 옵션 설정 모듈(1177)은 상황 정보만을 전자 장치(1101)로 전송할 수 있다.According to various embodiments, the control option setting module 1177 may obtain context information and transmit a call word matched to the context information to the electronic device 1101 . According to an embodiment, the control option setting module 1177 may transmit only context information to the electronic device 1101 .
다양한 실시 예에 따르면, 메모리(1180)는 호출어 DB(1181) 및 화자 인식 DB(1183)를 포함할 수 있다. 호출어 DB(1181) 및 화자 인식 DB(1183)는 전자 장치(1101)의 호출어 DB(1121) 및 화자 인식 DB(1123)와 유사한 바 상세한 설명을 생략하기로 한다. 어떤 실시 예에 따르면, 호출어 DB(1181) 및 화자 인식 DB(1183)는 외부 전자 장치(1102)에 포함되지 않을 수 있다.According to various embodiments, the memory 1180 may include a call word DB 1181 and a speaker recognition DB 1183 . Since the call word DB 1181 and the speaker recognition DB 1183 are similar to the call word DB 1121 and the speaker recognition DB 1123 of the electronic device 1101 , a detailed description thereof will be omitted. According to some embodiments, the call word DB 1181 and the speaker recognition DB 1183 may not be included in the external electronic device 1102 .
다양한 실시 예에 따르면, 무선 통신 모듈(1190)은 전자 장치(1101)와 무선 통신 채널(예: 블루투스)을 연결할 수 있다. 무선 통신 모듈(1190)은 전자 장치(1101)로 오디오 데이터를 송신할 수 있다. 무선 통신 모듈(1190)은 오디오 출력의 제어(예: 오디오 재생의 일시 중지)를 요청하는 신호를 전자 장치(1101)로부터 수신할 수 있다. 어떤 실시 예에 따르면, 무선 통신 모듈(1190)은 호출어 감지를 전자 장치(1101)로 전송할 수 있다. 어떤 실시 예에 따르면, 무선 통신 모듈(1190)은 상황 정보를 전자 장치(1101)로 전송할 수 있다.According to various embodiments, the wireless communication module 1190 may connect the electronic device 1101 and a wireless communication channel (eg, Bluetooth). The wireless communication module 1190 may transmit audio data to the electronic device 1101 . The wireless communication module 1190 may receive a signal requesting control of audio output (eg, pause of audio reproduction) from the electronic device 1101 . According to some embodiments, the wireless communication module 1190 may transmit the detection of the call word to the electronic device 1101 . According to an embodiment, the wireless communication module 1190 may transmit context information to the electronic device 1101 .
다양한 실시 예에 따르면, 입력 모듈(1195)은 외부 소리를 획득할 수 있다. 예를 들어, 입력 모듈(1195)은 오디오 데이터를 전자 장치(1101)로 전송하는 동안 외부 소리를 획득할 수 있다. 상기 입력 모듈(1195)은 적어도 하나의 마이크를 포함할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1195)은 오디오 데이터를 전자 장치(1101)로 전송 중이며, 외부 소리를 획득할 수 있는 상황인 경우 활성화되어 외부 소리를 획득할 수 있다. 어떤 실시 예에 따르면, 입력 모듈(1195)은 외부 전자 장치(1102)에 포함되지 않을 수 있다.According to various embodiments, the input module 1195 may acquire an external sound. For example, the input module 1195 may acquire an external sound while transmitting audio data to the electronic device 1101 . The input module 1195 may include at least one microphone. According to an embodiment, the input module 1195 is transmitting audio data to the electronic device 1101 and, in a situation in which an external sound can be acquired, may be activated to acquire an external sound. According to some embodiments, the input module 1195 may not be included in the external electronic device 1102 .
도 12는 본 개시의 다른 실시 예에 따른 전자 장치의 구성을 도시한 블록도 이다.12 is a block diagram illustrating a configuration of an electronic device according to another embodiment of the present disclosure.
도 12를 참조하면, 본 개시의 다른 실시 예에 따른 전자 장치(1201)(예: 전자 장치(100))는 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)를 포함할 수 있다. Referring to FIG. 12 , an electronic device 1201 (eg, the electronic device 100 ) according to another embodiment of the present disclosure may include a first sub-device 1201a and a second sub-device 1201b.
다양한 실시 예에 따르면, 상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 무선으로 연결되어 스테레오 출력을 지원할 수 있다. 상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 각각 독립적인 장치로 동작할 수 있다.According to various embodiments, the first sub-device 1201a and the second sub-device 1201b may be wirelessly connected to support a stereo output. Each of the first sub-device 1201a and the second sub-device 1201b may operate as an independent device.
상기 제1 서브 장치(1201a) 및 제2 서브 장치(1201b)는 도 11의 전자 장치(1101)와 동일 또는 유사한 구성을 포함할 수 있다. 어떤 실시 예에 따르면, 제2 서브 장치(1201b)는 제1 서브 장치(1201a)와 중복되는 일부 구성들(예: 제2 프로세서(1210b), 제2 메모리(1220b), 제2 입력 모듈(1250b), 착용 감지 센서(1260b)) 중 적어도 하나를 포함하지 않을 수 있다.The first sub-device 1201a and the second sub-device 1201b may have the same or similar configuration to the electronic device 1101 of FIG. 11 . According to some embodiments, the second sub-device 1201b has some components overlapping with the first sub-device 1201a (eg, the second processor 1210b, the second memory 1220b, and the second input module 1250b). ), the wear detection sensor 1260b)) may not be included.
상술한 전자 장치(1201)의 서브 장치들(1201a, 1201b)은 무선 통신 모듈들(1230a, 1230b)을 통해 무선으로 연결될 수 있다. 다양한 실시 예에 따르면, 상기 제1 서브 장치(1201a)의 무선 통신 모듈(1230a)(제1 무선 통신 회로)은 외부 전자 장치와 무선 통신 채널을 연결하고, 상기 연결된 무선 통신 채널을 통해 오디오 신호를 수신할 수 있다. 상기 제2 서브 장치(1201b)의 무선 통신 모듈(1230b)(제2 무선 통신 회로)은 상기 외부 전자 장치로부터 상기 제1 무선 통신 회로로 전송되는 오디오 신호를 획득(예: 스니핑(sniffing))할 수 있다. 상기 제1 서브 장치(1201a)는 제2 서브 장치(1201b)와 연결 시 상기 오디오 신호의 획득(스니핑)에 필요한 정보를 제2 서브 장치(1201b)로 제공할 수 있다. The sub-devices 1201a and 1201b of the electronic device 1201 described above may be wirelessly connected through the wireless communication modules 1230a and 1230b. According to various embodiments, the wireless communication module 1230a (a first wireless communication circuit) of the first sub-device 1201a connects a wireless communication channel with an external electronic device, and transmits an audio signal through the connected wireless communication channel. can receive The wireless communication module 1230b (second wireless communication circuit) of the second sub-device 1201b obtains (eg, sniffs) an audio signal transmitted from the external electronic device to the first wireless communication circuit. can When connected to the second sub-device 1201b, the first sub-device 1201a may provide information necessary for acquiring (sniffing) the audio signal to the second sub-device 1201b.
상기 전자 장치(1201)는 두 개의 서브 장치들이 (1201a, 1201b)이 무선으로 연결된다는 점을 제외하고는 전자 장치(1101)와 유사하다. 이에 도 12의 프로세서(1210a, 1210b), 호출어 감지 모듈(1211a, 1211b), 오디오 출력 제어 모듈(1213a, 1213b), 메모리(1220a, 1220b), 호출어 DB(1221a, 1221b), 화자 인식 DB(1223a, 1223b), 무선 통신 모듈(1230a, 1230b), 제1 출력 모듈(1240a), 제2 출력 모듈(1240b), 제1 입력 모듈(1250a), 제2 입력 모듈(1250b), 착용 감지 센서(1260a, 1260b)에 대한 상세한 설명을 생략하기로 한다.The electronic device 1201 is similar to the electronic device 1101 except that the two sub-devices 1201a and 1201b are wirelessly connected. Accordingly, the processors 1210a and 1210b of FIG. 12, the call word detection modules 1211a and 1211b, the audio output control modules 1213a and 1213b, the memories 1220a and 1220b, the call word DBs 1221a and 1221b, and the speaker recognition DB (1223a, 1223b), wireless communication module (1230a, 1230b), first output module (1240a), second output module (1240b), first input module (1250a), second input module (1250b), wear detection sensor A detailed description of (1260a, 1260b) will be omitted.
도 13a 내지 도 13d는 본 개시의 한 실시 예에 따른 화자별 호출어를 등록하는 방법을 설명하는 예시도이다.13A to 13D are exemplary views illustrating a method of registering a call word for each speaker according to an embodiment of the present disclosure.
도 13a 내지 도 13d를 참조하면, 본 개시의 한 실시 예에 따른 외부 전자 장치(예: 외부 전자 장치(200, 1102))는 호출어 등록을 위한 유저 인터페이스를 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는 호출어를 등록하기 메뉴의 실행 시, 도 13a의 식별 부호 1310의 도면과 같이, 호출어 등록 UI를 디스플레이 상에 표시할 수 있다. 상기 호출어 등록 UI는 디폴트로 제공되는 화자들 중 하나를 선택할 수 있는 화자 선택 메뉴(1301) 및 화자 추가 메뉴(1302)를 포함할 수 있다.13A to 13D , an external electronic device (eg, the external electronic devices 200 and 1102 ) according to an embodiment of the present disclosure may display a user interface for registering a call word on a display. For example, when executing a menu to register a call word, the external electronic device may display a call word registration UI on the display as shown in the reference numeral 1310 of FIG. 13A . The call word registration UI may include a speaker selection menu 1301 and a speaker addition menu 1302 for selecting one of speakers provided by default.
다양한 실시 예에 따르면, 외부 전자 장치는 호출어를 등록할 화자가 선택되면, 호출어 입력을 요구하는 화면을 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1310 및 1315의 도면과 같이, 배우자가 선택되면, 배우자에게 호출어를 음성으로 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 다른 예로, 외부 전자 장치는, 도 13b의 식별 부호 1335 및 1340의 도면과 같이, 게스트가 선택되면 남자 목소리로 호출어를 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 또 다른 예로, 외부 전자 장치는, 도 13c의 식별 부호 1355 및 1360의 도면과 같이, 본인이 선택되면 사용자에게 호출어를 음성으로 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다.According to various embodiments of the present disclosure, when a speaker for registering a call word is selected, the external electronic device may display a screen requesting input of the call word on the display. For example, when a spouse is selected, the external electronic device may display on the display a screen requesting the spouse to input a call word by voice, as illustrated in reference numerals 1310 and 1315 of FIG. 13A . As another example, the external electronic device may display, on the display, a screen requesting to input a call word with a male voice when a guest is selected, as shown in reference numerals 1335 and 1340 of FIG. 13B . As another example, the external electronic device may display, on the display, a screen requesting the user to input a call word by voice when the user is selected, as shown in the drawings 1355 and 1360 of FIG. 13C .
다양한 실시 예에 따르면, 외부 전자 장치는 호출어가 입력되면, 다시 한번 호출어를 입력하도록 요구하는 화면을 표시할 수 있다. 이때, 외부 전자 장치는 이전에 음성 입력된 호출어를 화면의 일 영역에 표시하여 화자가 이전과 동일한 호출어를 음성 입력하도록 유도할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1320의 도면과 같이, 배우자에게 음성으로 호출어 "여보"(1303)를 재 입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 다른 예로, 외부 전자 장치는, 도 13b의 식별 부호 1345의 도면과 같이, 여자 목소리로 호출어 "용호야"(1304)를 재입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다. 또 다른 예로, 외부 전자 장치는, 도 13c의 식별 부호 1365의 도면과 같이, 사용자에게 음성으로 호출어 "잠깐"(1305)을 재입력하도록 요구하는 화면을 디스플레이 상에 표시할 수 있다.According to various embodiments, when a call word is input, the external electronic device may display a screen requesting to input the call word once again. In this case, the external electronic device may display the previously voiced call word on one area of the screen to induce the speaker to voice input the same call word as before. For example, the external electronic device may display, on the display, a screen requesting the spouse to re-enter the call word “honey” 1303 by voice, as shown in the diagram of identification code 1320 of FIG. 13A . As another example, the external electronic device may display on the display a screen requesting to re-enter the call word “Yonghoya” 1304 with a female voice, as shown in the figure of identification code 1345 of FIG. 13B . As another example, the external electronic device may display, on the display, a screen requesting the user to re-enter the call word “wait” 1305 by voice, as shown in reference numeral 1365 of FIG. 13C .
다양한 실시 예에 따르면, 외부 전자 장치는 호출어의 등록이 완료되면, 호출어 등록 완료 화면을 디스플레이 상에 표시할 수 있다. 예를 들어, 외부 전자 장치는, 도 13a의 식별 부호 1325의 도면, 도 13b의 식별 부호 1350의 도면 및 도 13c의 식별 부호 1370의 도면에 도시된 바와 같이, 호출어 등록 완료 화면을 표시할 수 있다. 호출어 등록 완료 화면은 동일한 화자에 대한 다른 키워드를 등록할 수 있는 다른 호출어 등록 메뉴(1306) 및 다른 화자에 대한 호출어 등록을 위한 다른 사용자 등록 메뉴(1307)을 포함할 수 있다.According to various embodiments, when registration of the call word is completed, the external electronic device may display a call word registration completion screen on the display. For example, the external electronic device may display a call word registration completion screen as shown in the drawing of the identification code 1325 of FIG. 13A , the drawing of the identification code 1350 of FIG. 13B , and the drawing of the identification code 1370 of FIG. 13C . have. The call word registration completion screen may include another call word registration menu 1306 for registering different keywords for the same speaker and another user registration menu 1307 for registering a call word for another speaker.
본 개시의 다양한 실시 예는 상술한 호출어 등록 방법을 통해 화자별로 적어도 하나의 호출어를 등록할 수 있다. 예를 들어, 사용자는, 도 13d에 도시된 바와 같이, 배우자와 관련하여 두 개의 호출어("여보", "자기야")를 등록(설정)하고, 첫째 아들과 관련하여 하나의 호출어("아빠")를 등록하고, 둘째 아들과 관련하여 두 개의 호출어("아부지", "아빠")를 등록하고, 직장 동료와 관련하여 세 개의 호출어("용프로님", "용호님", "용호 프로님")를 등록할 수 있다.According to various embodiments of the present disclosure, at least one call word may be registered for each speaker through the call word registration method described above. For example, as shown in FIG. 13D , the user registers (sets) two call words (“Honey” and “Baby”) with respect to a spouse, and one call word (“ "Dad"), register two call words ("Abuji", "Dad") in relation to the second son, and three call words ("Yongpro-nim", "Yongho-nim", "Professional Dragon") can be registered.
이상에서는 외부 전자 장치를 통해 호출어를 등록(설정)하고, 전자 장치로 전송하는 것으로 설명하였지만, 스마트 글래스, HMD와 같이 디스플레이를 포함하는 전자 장치의 경우 전자 장치를 통해 호출어를 등록할 수도 있다.In the above description, the call word is registered (set) through the external electronic device and transmitted to the electronic device. .
도 14은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다. 14 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure;
도 14을 참조하면, 네트워크 환경(1400)에서 전자 장치(1401)(예: 외부 전자 장치(200, 1102))는 제 1 네트워크(1498)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1402)와 통신하거나, 또는 제 2 네트워크(1499)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1404) 또는 서버(1408)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1401)는 서버(1408)를 통하여 전자 장치(1404)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1401)는 프로세서(1420)(예: 프로세서(1270)), 메모리(1430)(예: 메모리(1280)), 입력 모듈(1450)(예: 입력 모듈(1295)), 음향 출력 모듈(1455), 디스플레이 모듈(1460), 오디오 모듈(1470), 센서 모듈(1476), 인터페이스(1477), 연결 단자(1478), 햅틱 모듈(1479), 카메라 모듈(1480), 전력 관리 모듈(1488), 배터리(1489), 통신 모듈(1490)(예: 무선 통신 모듈(1290)), 가입자 식별 모듈(1496), 또는 안테나 모듈(1497)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1401)에는, 이 구성 요소들 중 적어도 하나(예: 연결 단자(1478))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성 요소들 중 일부들(예: 센서 모듈(1476), 카메라 모듈(1480), 또는 안테나 모듈(1497))은 하나의 구성 요소(예: 디스플레이 모듈(1460))로 통합될 수 있다.Referring to FIG. 14 , in a network environment 1400 , an electronic device 1401 (eg, external electronic devices 200 and 1102 ) communicates with an electronic device 1402 through a first network 1498 (eg, a short-range wireless communication network). ), or may communicate with the electronic device 1404 or the server 1408 through the second network 1499 (eg, a remote wireless communication network). According to an embodiment, the electronic device 1401 may communicate with the electronic device 1404 through the server 1408 . According to an embodiment, the electronic device 1401 includes a processor 1420 (eg, processor 1270 ), a memory 1430 (eg, memory 1280 ), and an input module 1450 (eg, an input module 1295 ). )), sound output module 1455, display module 1460, audio module 1470, sensor module 1476, interface 1477, connection terminal 1478, haptic module 1479, camera module 1480 , a power management module 1488 , a battery 1489 , a communication module 1490 (eg, a wireless communication module 1290 ), a subscriber identification module 1496 , or an antenna module 1497 . In some embodiments, at least one of these components (eg, the connection terminal 1478 ) may be omitted or one or more other components may be added to the electronic device 1401 . In some embodiments, some of these components (eg, sensor module 1476 , camera module 1480 , or antenna module 1497 ) are integrated into one component (eg, display module 1460 ). can be
프로세서(1420)는, 예를 들면, 소프트웨어(예: 프로그램(1440))를 실행하여 프로세서(1420)에 연결된 전자 장치(1401)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1420)는 다른 구성 요소(예: 센서 모듈(1476) 또는 통신 모듈(1490))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1432)에 저장하고, 휘발성 메모리(1432)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1434)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1420)는 메인 프로세서(1421)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1423)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1401)가 메인 프로세서(1421) 및 보조 프로세서(1423)를 포함하는 경우, 보조 프로세서(1423)는 메인 프로세서(1421)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1423)는 메인 프로세서(1421)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 1420, for example, executes software (eg, a program 1440) to execute at least one other component (eg, hardware or software component) of the electronic device 1401 connected to the processor 1420. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 1420 converts commands or data received from other components (eg, the sensor module 1476 or the communication module 1490 ) to the volatile memory 1432 . may store the command or data stored in the volatile memory 1432 , and store the result data in the non-volatile memory 1434 . According to an embodiment, the processor 1420 includes the main processor 1421 (eg, a central processing unit or an application processor) or a secondary processor 1423 (eg, a graphics processing unit, a neural network processing unit ( a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor). For example, when the electronic device 1401 includes the main processor 1421 and the sub-processor 1423 , the sub-processor 1423 uses less power than the main processor 1421 or is set to be specialized for a specified function. can The coprocessor 1423 may be implemented separately from or as part of the main processor 1421 .
보조 프로세서(1423)는, 예를 들면, 메인 프로세서(1421)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1421)를 대신하여, 또는 메인 프로세서(1421)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1421)와 함께, 전자 장치(1401)의 구성 요소들 중 적어도 하나의 구성 요소(예: 디스플레이 모듈(1460), 센서 모듈(1476), 또는 통신 모듈(1490))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1423)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1480) 또는 통신 모듈(1490))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(1423)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(1401) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1408))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. The coprocessor 1423 may be, for example, on behalf of the main processor 1421 while the main processor 1421 is in an inactive (eg, sleep) state, or when the main processor 1421 is active (eg, executing an application). ), together with the main processor 1421, at least one of the components of the electronic device 1401 (eg, the display module 1460, the sensor module 1476, or the communication module 1490) It is possible to control at least some of the related functions or states. According to one embodiment, the coprocessor 1423 (eg, image signal processor or communication processor) may be implemented as part of another functionally related component (eg, camera module 1480 or communication module 1490). have. According to an embodiment, the auxiliary processor 1423 (eg, a neural network processing unit) may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1401 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1408). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example. The AI model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
메모리(1430)는, 전자 장치(1401)의 적어도 하나의 구성 요소(예: 프로세서(1420) 또는 센서 모듈(1476))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1440)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1430)는, 휘발성 메모리(1432) 또는 비휘발성 메모리(1434)를 포함할 수 있다. The memory 1430 may store various data used by at least one component (eg, the processor 1420 or the sensor module 1476 ) of the electronic device 1401 . The data may include, for example, input data or output data for software (eg, a program 1440 ) and commands related thereto. The memory 1430 may include a volatile memory 1432 or a non-volatile memory 1434 .
프로그램(1440)은 메모리(1430)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1442), 미들 웨어(1444) 또는 어플리케이션(1446)을 포함할 수 있다. The program 1440 may be stored as software in the memory 1430 , and may include, for example, an operating system 1442 , middleware 1444 , or an application 1446 .
입력 모듈(1450)은, 전자 장치(1401)의 구성 요소(예: 프로세서(1420))에 사용될 명령 또는 데이터를 전자 장치(1401)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1450)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input module 1450 may receive a command or data to be used in a component (eg, the processor 1420 ) of the electronic device 1401 from the outside (eg, a user) of the electronic device 1401 . The input module 1450 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
음향 출력 모듈(1455)은 음향 신호를 전자 장치(1401)의 외부로 출력할 수 있다. 음향 출력 모듈(1455)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output module 1455 may output a sound signal to the outside of the electronic device 1401 . The sound output module 1455 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback. The receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
디스플레이 모듈(1460)은 전자 장치(1401)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1460)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(1460)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. The display module 1460 may visually provide information to the outside (eg, a user) of the electronic device 1401 . The display module 1460 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device. According to an embodiment, the display module 1460 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
오디오 모듈(1470)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1470)은, 입력 모듈(1450)을 통해 소리를 획득하거나, 음향 출력 모듈(1455), 또는 전자 장치(1401)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1402))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 1470 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1470 acquires a sound through the input module 1450 or an external electronic device (eg, a sound output module 1455 ) directly or wirelessly connected to the electronic device 1401 . The electronic device 1402) (eg, a speaker or headphones) may output a sound.
센서 모듈(1476)은 전자 장치(1401)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1476)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 1476 detects an operating state (eg, power or temperature) of the electronic device 1401 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do. According to one embodiment, the sensor module 1476 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(1477)는 전자 장치(1401)가 외부 전자 장치(예: 전자 장치(1402))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1477)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 1477 may support one or more specified protocols that may be used by the electronic device 1401 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1402 ). According to an embodiment, the interface 1477 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(1478)는, 그를 통해서 전자 장치(1401)가 외부 전자 장치(예: 전자 장치(1402))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1478)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 1478 may include a connector through which the electronic device 1401 can be physically connected to an external electronic device (eg, the electronic device 1402 ). According to an embodiment, the connection terminal 1478 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(1479)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1479)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 1479 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense. According to an embodiment, the haptic module 1479 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(1480)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1480)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 1480 may capture still images and moving images. According to one embodiment, the camera module 1480 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(1488)은 전자 장치(1401)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1488)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 1488 may manage power supplied to the electronic device 1401 . According to an embodiment, the power management module 1488 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
배터리(1489)는 전자 장치(1401)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1489)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 1489 may supply power to at least one component of the electronic device 1401 . According to one embodiment, battery 1489 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(1490)은 전자 장치(1401)와 외부 전자 장치(예: 전자 장치(1402), 전자 장치(1404), 또는 서버(1408)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1490)은 프로세서(1420)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1490)은 무선 통신 모듈(1492)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1494)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1498)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1499)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1404)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1492)은 가입자 식별 모듈(1496)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1498) 또는 제 2 네트워크(1499)와 같은 통신 네트워크 내에서 전자 장치(1401)를 확인 또는 인증할 수 있다. The communication module 1490 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1401 and an external electronic device (eg, the electronic device 1402, the electronic device 1404, or the server 1408). It can support establishment and communication through the established communication channel. The communication module 1490 may include one or more communication processors that operate independently of the processor 1420 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 1490 is a wireless communication module 1492 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1494 (eg, : It may include a local area network (LAN) communication module, or a power line communication module). A corresponding communication module among these communication modules is a first network 1498 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1499 (eg, legacy). It may communicate with the external electronic device 1404 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN). These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other. The wireless communication module 1492 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1496 within a communication network, such as the first network 1498 or the second network 1499 . The electronic device 1401 may be identified or authenticated.
무선 통신 모듈(1492)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1492)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1492)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1492)은 전자 장치(1401), 외부 전자 장치(예: 전자 장치(1404)) 또는 네트워크 시스템(예: 제 2 네트워크(1499))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(1492)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 1492 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR). NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)). The wireless communication module 1492 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 1492 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna. The wireless communication module 1492 may support various requirements specified in the electronic device 1401 , an external electronic device (eg, the electronic device 1404 ), or a network system (eg, the second network 1499 ). According to an embodiment, the wireless communication module 1492 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (for URLLC realization) ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) may be supported.
안테나 모듈(1497)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1497)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1497)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(1498) 또는 제 2 네트워크(1499)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1490)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1490)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1497)의 일부로 형성될 수 있다.The antenna module 1497 may transmit or receive a signal or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module 1497 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 1497 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1498 or the second network 1499 is connected from the plurality of antennas by, for example, the communication module 1490 . can be selected. A signal or power may be transmitted or received between the communication module 1490 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) other than the radiator may be additionally formed as a part of the antenna module 1497 .
다양한 실시예에 따르면, 안테나 모듈(1497)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 1497 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and a signal ( e.g. commands or data) can be exchanged with each other.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1499)에 연결된 서버(1408)를 통해서 전자 장치(1401)와 외부의 전자 장치(1404)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1402, 또는 1404) 각각은 전자 장치(1401)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1401)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1402, 1404, 또는 1408) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1401)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1401)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1401)로 전달할 수 있다. 전자 장치(1401)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1401)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(1404)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1408)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(1404) 또는 서버(1408)는 제 2 네트워크(1499) 내에 포함될 수 있다. 전자 장치(1401)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to an embodiment, the command or data may be transmitted or received between the electronic device 1401 and the external electronic device 1404 through the server 1408 connected to the second network 1499 . Each of the external electronic devices 1402 and 1404 may be the same as or different from the electronic device 1401 . According to an embodiment, all or part of the operations performed by the electronic device 1401 may be executed by one or more external electronic devices 1402 , 1404 , or 1408 . For example, when the electronic device 1401 needs to perform a function or service automatically or in response to a request from a user or other device, the electronic device 1401 may perform the function or service itself instead of executing the function or service itself. Alternatively or additionally, one or more external electronic devices may be requested to perform at least a part of the function or the service. One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1401 . The electronic device 1401 may process the result as it is or additionally and provide it as at least a part of a response to the request. For this, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used. The electronic device 1401 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device 1404 may include an Internet of things (IoT) device. The server 1408 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 1404 or the server 1408 may be included in the second network 1499 . The electronic device 1401 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
본 개시의 다양한 실시 예에 따르면, 전자 장치(예: 서브 장치(1201a)), 음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1240a)); 제1 마이크(예: 제1 입력 모듈(1250a)); 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1220a)); 및 상기 제1 스피커, 상기 제1 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1210a))를 포함하고, 상기 프로세서는 상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, a sub device 1201a), a first speaker (eg, a first output module 1240a) for outputting a sound signal; a first microphone (eg, a first input module 1250a); a memory (eg, memory 1220a) for storing at least one call word; and a processor (eg, a processor 1210a) operatively connected to the first speaker, the first microphone, and the memory, wherein the processor is configured to output the audio signal through the first speaker. 1 Acquire an external sound through a microphone, check whether the at least one call word is detected from the acquired external sound, and respond to the detection of the at least one call word to the external sound obtained through the first microphone perform speaker recognition, check whether the recognized speaker and the detected call word match, and when the detected call word and the recognized speaker match, the user of the electronic device can recognize an external sound It can be set to control the output of the audio signal.
다양한 실시 예에 따르면, 상기 전자 장치는 외부 전자 장치(예: 제2 서브 장치(1201b))와 근거리 무선 통신 연결하는 무선 통신 회로(예: 무선 통신 모듈(1230a))를 더 포함하고, 상기 프로세서는 상기 외부 전자 장치와 근거리 무선 통신의 연결 시 상기 오디오 신호 중 제1 음향 신호를 상기 제1 스피커를 통해 출력하고, 상기 오디오 신호 중 제2 음향 신호를 외부 전자 장치에 포함된 제2 스피커(예: 제2 출력 모듈(1240b))를 통해 출력하도록 상기 외부 전자 장치를 제어하도록 설정될 수 있다.According to various embodiments, the electronic device further includes a wireless communication circuit (eg, a wireless communication module 1230a) that connects an external electronic device (eg, the second sub-device 1201b) and short-range wireless communication, and the processor outputs a first acoustic signal among the audio signals through the first speaker when the external electronic device and short-range wireless communication are connected, and outputs a second acoustic signal among the audio signals to a second speaker included in the external electronic device (eg : It may be set to control the external electronic device to output through the second output module 1240b).
다양한 실시 예에 따르면, 상기 프로세서는 상기 호출어의 감지 시 상기 호출어가 발생한 방향을 인식하고, 인식된 방향에 대응하는 공간감을 가지도록 상기 제1 스피커 및 상기 제2 스피커를 통해 상기 외부 소리를 출력하도록 설정될 수 있다.According to various embodiments, the processor recognizes a direction in which the call word is generated when the call word is detected, and outputs the external sound through the first speaker and the second speaker to have a sense of space corresponding to the recognized direction can be set to
다양한 실시 예에 따르면, 상기 프로세서는 상기 외부 전자 장치에 포함된 제2 마이크(예: 제2 입력 모듈(1250b))를 통해 획득된 외부 소리를 상기 무선 통신 회로를 통해 수신하고, 수신된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하도록 설정될 수 있다.According to various embodiments, the processor receives an external sound acquired through a second microphone (eg, the second input module 1250b) included in the external electronic device through the wireless communication circuit, and the received external sound It may be configured to check whether the at least one call word is detected from
다양한 실시 예에 따르면, 상기 프로세서는 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 상기 적어도 하나의 호출어가 검출되는 것에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 및 상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정될 수 있다.According to various embodiments of the present disclosure, in response to the at least one call word being detected through at least one of the first microphone and the second microphone, the processor may be configured to include an external sound acquired through the first microphone and the second microphone. Recognize a speaker's direction based on at least one of a difference in the size of the speakers or a reception time, and reduce or mute an output of an audio signal to the first speaker or the second speaker based on the recognized speaker's direction can be set to
다양한 실시 예에 따르면, 상기 전자 장치는 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 상기 프로세서는 상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정될 수 있다.According to various embodiments of the present disclosure, the electronic device may further include at least one module for collecting context information including at least one of a current location, a time, and whether to move. The processor may be configured to dynamically change the at least one call word based on the collected context information.
다양한 실시 예에 따르면, 상기 프로세서는 상기 사용자가 상기 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하거나, 상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하도록 설정될 수 있다.According to various embodiments, the processor may be configured to feed back to the recognized speaker that the user is in a state in which the external sound can be recognized, or to feed back to the user that the at least one call word has been detected.
다양한 실시 예에 따르면, 상기 전자 장치는 상기 전자 장치의 착용 여부를 검출하는 적어도 하나의 센서(예: 착용 감지 센서(1260a))를 더 포함할 수 있다. 상기 프로세서는 상기 오디오 신호의 출력에 대응하여, 상기 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 제1 마이크를 활성화하여 상기 외부 소리를 획득하도록 설정될 수 있다.According to various embodiments, the electronic device may further include at least one sensor (eg, a wear detection sensor 1260a) for detecting whether the electronic device is worn. The processor determines whether wearing of the electronic device is detected through the at least one sensor in response to the output of the audio signal, and when the wearing is detected, activates the first microphone to acquire the external sound can be
본 개시의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(1201))는 제1 서브 장치(예: 제1 서브 장치(1201a))와 제2 서브 장치(예: 제2 서브 장치(1201b))를 포함할 수 있다. 상기 제1 서브 장치는 제1 음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1240a)); 제1 마이크(예: 제1 입력 모듈(1250a)); 상기 제2 서브 장치와 무선 통신을 연결하는 제1 무선 통신 회로(예: 무선 통신 모듈(1230a)); 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1220a)); 및 상기 제1 스피커, 상기 제1 마이크, 상기 제1 무선 통신 회로, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1210a))를 포함할 수 있다. 상기 제2 서브 장치는 제2 음향 신호를 출력하는 제2 스피커(예: 제2 출력 모듈(1240b)); 제2 마이크(예: 제2 입력 모듈(1250b)); 및 상기 제1 무선 통신 회로와 무선 통신을 연결하는 제2 무선 통신 회로(예: 무선 통신 모듈(1230b))를 포함할 수 있다. 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 감소 또는 뮤트하도록 설정될 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, electronic device 1201) includes a first sub device (eg, first sub device 1201a) and a second sub device (eg, second sub device 1201b). )) may be included. The first sub device may include a first speaker (eg, a first output module 1240a) for outputting a first sound signal; a first microphone (eg, a first input module 1250a); a first wireless communication circuit (eg, a wireless communication module 1230a) for connecting the second sub-device and wireless communication; a memory (eg, memory 1220a) for storing at least one call word; and a processor (eg, a processor 1210a) operatively connected to the first speaker, the first microphone, the first wireless communication circuit, and the memory. The second sub device may include a second speaker (eg, a second output module 1240b) for outputting a second sound signal; a second microphone (eg, a second input module 1250b); and a second wireless communication circuit (eg, a wireless communication module 1230b) for connecting the first wireless communication circuit and wireless communication. The processor acquires an external sound through at least one of the first microphone or the second microphone while outputting an audio signal through the first speaker and the second speaker, and from the acquired external sound, the at least one Check whether a call word is detected, and, in response to the detection of the at least one call word, the direction of the speaker based on at least one of a difference in the size or reception time of external sounds acquired through the first microphone and the second microphone may be configured to reduce or mute the output of the audio signal to the first speaker or the second speaker based on the recognized direction of the speaker.
다양한 실시 예에 따르면, 상기 프로세서는 상기 인식된 화자의 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정될 수 있다.According to various embodiments, the processor may be set to control the output of the external sound to have a sense of space corresponding to the recognized direction of the speaker.
다양한 실시 예에 따르면, 상기 프로세서는 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 적어도 하나의 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 화자의 방향을 인식하도록 설정될 수 있다.According to various embodiments, in response to the detection of the at least one call word, the processor performs speaker recognition on an external sound corresponding to the at least one call word, and the recognized speaker and the detected call word It may be configured to check whether a match is made, and to recognize the direction of the speaker when the detected call word and the recognized speaker match.
다양한 실시 예에 따르면, 상기 전자 장치는 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함할 수 있다. 상기 프로세서는 상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정될 수 있다.According to various embodiments of the present disclosure, the electronic device may further include at least one module for collecting context information including at least one of a current location, a time, and whether to move. The processor may be configured to dynamically change the at least one call word based on the collected context information.
본 개시의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(100, 1101, 1201))의 오디오 출력을 제어하는 방법은, 다수의 스피커(예: 제1 출력 모듈(1141, 1240a), 제2 출력 모듈(1142, 1240b), 음향 출력 장치(1455))를 통해 오디오 신호를 출력하는 동작; 상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크(예: 제1 입력 모듈(1151, 1250a), 제2 입력 모듈(1152, 1250b), 입력 장치(1450))를 통해 외부 소리를 획득하는 동작; 상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작; 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 적어도 하나의 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작; 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, a method for controlling an audio output of an electronic device (eg, the electronic device 100 , 1101 , 1201 ) includes a plurality of speakers (eg, the first output module 1141 , 1240a ), a first 2 outputting an audio signal through the output modules 1142 and 1240b and the sound output device 1455); acquiring an external sound through at least one microphone (eg, first input modules 1151 and 1250a, second input modules 1152 and 1250b, and input device 1450) while outputting the audio signal; checking whether at least one designated call word is detected from the acquired external sound; performing speaker recognition on an external sound corresponding to the at least one call word in response to the detection of the at least one call word; checking whether the recognized speaker and the detected call word match; and controlling the output of the audio signal so that the user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
다양한 실시 예에 따르면, 상기 방법은 상기 적어도 하나의 호출어의 검출 시 상기 적어도 하나의 호출어가 발생한 방향을 인식하는 동작; 및 상기 인식된 방향에 대응하는 공간감을 가지도록 상기 다수의 스피커를 통해 상기 외부 소리를 출력하는 동작을 더 포함할 수 있다.According to various embodiments, the method may include: recognizing a direction in which the at least one call word is generated when the at least one call word is detected; and outputting the external sound through the plurality of speakers to have a sense of space corresponding to the recognized direction.
다양한 실시 예에 따르면, 상기 방법은 상기 사용자가 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하는 동작; 또는 상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하는 동작 중 적어도 하나를 더 포함할 수 있다.According to various embodiments of the present disclosure, the method may include feeding back to the recognized speaker that the user is in a state in which an external sound can be recognized; Alternatively, the method may further include at least one of feeding back to the user that the at least one call word has been detected.
다양한 실시 예에 따르면, 상기 오디오 신호의 출력을 제어하는 동작은 상기 오디오 신호의 재생을 일시 중지하는 동작; 상기 오디오 신호의 볼륨을 뮤트 또는 지정된 크기로 감소하는 동작; 노이즈 캔슬링 기능을 오프(OFF)하는 동작; 상기 적어도 하나의 마이크를 통해 획득되는 상기 화자의 음성을 상기 다수의 스피커를 통해 출력하는 동작; 다수의 마이크를 통해 획득된 외부 소리들의 크기를 비교하고, 상기 다수의 스피커 중 상대적으로 큰 크기를 가지는 외부 소리를 획득한 마이크의 주변에 배치된 스피커에 대한 오디오 출력을 감소 또는 뮤트하는 동작; 또는 상기 오디오 신호에 대한 볼륨을 지정된 제1 크기로 감소시키고, 상기 외부 소리에 대한 볼륨을 상기 제1 크기보다 큰 지정된 제2 크기로 증가시키고, 상기 외부 소리가 지정된 시간 이상 감지되지 않는 경우 상기 오디오 신호에 대한 볼륨을 원래 크기로 복구하고, 상기 외부 소리의 출력을 차단하는 동작 중 적어도 하나를 포함할 수 있다.According to various embodiments, the controlling of the output of the audio signal may include: pausing the reproduction of the audio signal; muting or reducing the volume of the audio signal to a specified level; an operation of turning off the noise canceling function; outputting the speaker's voice acquired through the at least one microphone through the plurality of speakers; comparing the levels of external sounds acquired through a plurality of microphones, and reducing or muting an audio output to a speaker disposed in the vicinity of the microphone having acquired an external sound having a relatively large size among the plurality of speakers; or decreasing the volume of the audio signal to a specified first level, increasing the volume of the external sound to a specified second level greater than the first level, and when the external sound is not detected for a specified time or longer, the audio It may include at least one of restoring the volume of the signal to the original level and blocking the output of the external sound.
다양한 실시 예에 따르면, 상기 외부 소리를 획득하는 동작은 상기 오디오 신호의 출력에 대응하여, 적어도 하나의 센서(예: 착용 감지 센서(1160, 1260a, 1260b))를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 적어도 하나의 마이크를 활성화하여 상기 외부 소리를 획득하는 동작을 포함할 수 있다. 상기 화자 인식을 수행하는 동작은 상기 적어도 하나의 호출어가 지정된 횟수 이상 감지되는 경우 상기 화자 인식을 수행하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, in the operation of acquiring the external sound, the wearing of the electronic device is detected through at least one sensor (eg, wearing detection sensors 1160, 1260a, 1260b) in response to the output of the audio signal. and activating the at least one microphone to acquire the external sound when the wearing is sensed. The performing of the speaker recognition may include performing the speaker recognition when the at least one call word is detected more than a specified number of times.
다양한 실시 예에 따르면, 상기 방법은 적어도 하나의 센서(예: 센서모듈(1476))를 통해 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집 및/또는 무선 통신 연결된 외부 전자 장치(예: 외부 전자 장치(200, 1102))로부터 상황 정보를 수신하는 동작; 및 상기 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하는 동작을 더 포함할 수 있다.According to various embodiments, the method collects context information including at least one of the current location, time, or whether the user moves through at least one sensor (eg, the sensor module 1476) and/or wirelessly connected external electronic receiving context information from a device (eg, external electronic devices 200 and 1102 ); and dynamically changing the at least one call word based on the context information.
본 개시의 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(100, 1101, 1201))는, 하우징; 상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커(예: 제1 출력 모듈(1141, 1240a)); 상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커(예: 제2 출력 모듈(1142, 1240b)); 상기 하우징에 포함되는 적어도 하나의 마이크(예: 제1 입력 모듈(1151, 1250a), 제2 입력 모듈(1152, 1250b), 입력 장치(1450)); 화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리(예: 메모리(1120, 1220a, 1220b, 1430)); 및 상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서(예: 프로세서(1110, 1210a, 1210b))를 포함할 수 있다. 상기 프로세서는 상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고, 상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고, 상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고, 상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고, 상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및 상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정될 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, the electronic devices 100 , 1101 , and 1201 ) may include a housing; a first speaker (eg, first output modules 1141 and 1240a) disposed in a first area of the housing and outputting a left sound signal; a second speaker (eg, second output modules 1142 and 1240b) disposed in the second area of the housing and outputting a right sound signal; at least one microphone included in the housing (eg, first input modules 1151 and 1250a, second input modules 1152 and 1250b, and input device 1450); a memory (eg, memories 1120, 1220a, 1220b, 1430) for storing at least one call word set for each speaker; and a processor (eg, processors 1110, 1210a, 1210b) operatively connected to the first speaker, the second speaker, the at least one microphone, and the memory. The processor outputs an audio signal through the first speaker and the second speaker, acquires an external sound through the at least one microphone while outputting the audio signal, and receives the at least one check whether a call word is detected, perform speaker recognition for an external sound corresponding to the call word in response to the detection of the at least one call word, and check whether the recognized speaker and the detected call word match; and when the detected call word and the recognized speaker match, the output of the audio signal may be controlled so that the user of the electronic device can recognize an external sound.
다양한 실시 예에 따르면, 상기 프로세서는 상기 적어도 하나의 호출어의 검출 시 상기 적어도 하나의 호출어가 발생한 방향을 인식하고, 상기 인식된 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정될 수 있다.According to various embodiments, the processor is configured to recognize a direction in which the at least one call word is generated when the at least one call word is detected, and to control the output of the external sound to have a sense of space corresponding to the recognized direction can be
본 개시에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 개시의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in the present disclosure may have various types of devices. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device. The electronic device according to an embodiment of the present disclosure is not limited to the above-described devices.
본 개시의 다양한 실시 예들 및 이에 사용된 용어들은 본 개시에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of the present disclosure and terms used therein are not intended to limit the technical features described in the present disclosure to specific embodiments, and should be understood to include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. In the present disclosure, "A or B", "at least one of A and B", "at least one of A or B," "A, B or C," "at least one of A, B and C," and "A , B, or C" each may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases. Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is "coupled" or "connected" to another (eg, second) component, with or without the terms "functionally" or "communicatively". When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 개시의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.The term “module” used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, for example, interchangeably with terms such as logic, logic block, component, or circuit. can be used A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 개시의 다양한 실시 예들은 기기(machine)(예: 전자 장치(100, 1101, 1201, 1401), 외부 전자 장치(200, 1102)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(1120, 1180, 1220b), 내장 메모리(1436) 또는 외장 메모리(1438))에 저장된 하나 이상의 명령어들(예: 인스트럭션들)을 포함하는 소프트웨어(예: 프로그램(1440))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(100, 1101, 1201, 1401), 외부 전자 장치(200, 1102))의 프로세서(예: 프로세서(1110, 1170, 1210b, 1420))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present disclosure provide a storage medium (eg, a memory (eg, memory) readable by a machine (eg, electronic devices 100, 1101, 1201, 1401, external electronic devices 200, 1102) 1120, 1180, 1220b), the internal memory 1436 or the external memory 1438) may be implemented as software (eg, a program 1440) including one or more instructions (eg, instructions) stored in the external memory 1438). For example, the processor (eg, the processor 1110 , 1170 , 1210b , 1420 ) of the device (eg, the electronic device 100 , 1101 , 1201 , 1401 , or the external electronic device 200 or 1102 ) may store the device from the storage medium. Calling at least one of the stored one or more instructions, and executing it. This makes it possible for the device to be operated to perform at least one function according to the at least one command called. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
일 실시 예에 따르면, 본 개시의 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments of the present disclosure may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg, downloaded or uploaded) directly between smartphones (eg: smartphones) and online. In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성 요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. . According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Claims (15)

  1. 전자 장치에 있어서,In an electronic device,
    음향 신호를 출력하는 제1 스피커;a first speaker for outputting a sound signal;
    제1 마이크;a first microphone;
    적어도 하나의 호출어를 저장하는 메모리; 및a memory for storing at least one call word; and
    상기 제1 스피커, 상기 제1 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,a processor operatively coupled to the first speaker, the first microphone, and the memory;
    상기 프로세서는the processor
    상기 제1 스피커를 통해 오디오 신호를 출력하는 동안 상기 제1 마이크를 통해 외부 소리를 획득하고,Acquire an external sound through the first microphone while outputting an audio signal through the first speaker,
    상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고,Checking whether the at least one call word is detected from the acquired external sound,
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 제1 마이크를 통해 획득된 외부 소리에 대한 화자 인식을 수행하고,In response to the detection of the at least one call word, performing speaker recognition for an external sound acquired through the first microphone,
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및Checking whether the recognized speaker and the detected call word match, and
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정된 전자 장치.an electronic device configured to control an output of the audio signal so that a user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
  2. 제 1 항에 있어서,The method of claim 1,
    외부 전자 장치와 근거리 무선 통신 연결하는 무선 통신 회로를 더 포함하고,Further comprising a wireless communication circuit for connecting an external electronic device and short-range wireless communication,
    상기 프로세서는the processor
    상기 외부 전자 장치와 근거리 무선 통신의 연결 시 상기 오디오 신호 중 제1 음향 신호를 상기 제1 스피커를 통해 출력하고,outputting a first sound signal among the audio signals through the first speaker when the external electronic device and short-range wireless communication are connected,
    상기 오디오 신호 중 제2 음향 신호를 외부 전자 장치에 포함된 제2 스피커를 통해 출력하도록 상기 외부 전자 장치를 제어하도록 설정된 전자 장치.An electronic device configured to control the external electronic device to output a second acoustic signal among the audio signals through a second speaker included in the external electronic device.
  3. 제 2 항에 있어서,3. The method of claim 2,
    상기 프로세서는the processor
    상기 외부 전자 장치에 포함된 제2 마이크를 통해 획득된 외부 소리를 상기 무선 통신 회로를 통해 수신하고, 수신된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하도록 설정된 전자 장치.The electronic device is configured to receive an external sound acquired through the second microphone included in the external electronic device through the wireless communication circuit, and to determine whether the at least one call word is detected from the received external sound.
  4. 제 3 항에 있어서,4. The method of claim 3,
    상기 프로세서는the processor
    상기 제1 마이크 또는 상기 제2 마이크 중 적어도 하나를 통해 상기 적어도 하나의 호출어가 검출되는 것에 대응하여, 상기 제1 마이크 및 상기 제2 마이크를 통해 획득된 외부 소리들의 크기 또는 수신 시간의 차 중 적어도 하나에 기초하여 화자의 방향을 인식하고, 및In response to the detection of the at least one call word through at least one of the first microphone and the second microphone, at least a difference in the amplitude or reception time of external sounds acquired through the first microphone and the second microphone recognizing the direction of the speaker based on one, and
    상기 인식된 화자의 방향에 기초하여, 상기 제1 스피커 또는 상기 제2 스피커에 대한 오디오 신호의 출력을 제어하여 상기 인식된 화자의 방향에 대응하는 공간감을 제공하도록 설정된 전자 장치.An electronic device configured to provide a sense of space corresponding to the recognized direction of the speaker by controlling an output of an audio signal to the first speaker or the second speaker based on the recognized direction of the speaker.
  5. 제 1 항에 있어서,The method of claim 1,
    현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집하는 적어도 하나의 모듈을 더 포함하고,At least one module for collecting context information including at least one of a current location, time, or movement status,
    상기 프로세서는the processor
    상기 수집된 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하도록 설정된 전자 장치.an electronic device configured to dynamically change the at least one call word based on the collected context information.
  6. 제 1 항에 있어서,The method of claim 1,
    상기 프로세서는the processor
    상기 사용자가 상기 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하거나,Feedback to the recognized speaker that the user is in a state in which the external sound can be recognized, or
    상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하도록 설정된 전자 장치.an electronic device configured to feed back to the user that the at least one call word has been detected.
  7. 제 1 항에 있어서,The method of claim 1,
    상기 전자 장치의 착용 여부를 검출하는 적어도 하나의 센서를 더 포함하고,At least one sensor for detecting whether the electronic device is worn,
    상기 프로세서는the processor
    상기 오디오 신호의 출력에 대응하여, 상기 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고,In response to the output of the audio signal, it is confirmed whether wearing of the electronic device is detected through the at least one sensor,
    상기 착용이 감지되는 경우 상기 제1 마이크를 활성화하여 상기 외부 소리를 획득하도록 설정된 전자 장치.an electronic device configured to activate the first microphone to acquire the external sound when the wearing is detected.
  8. 전자 장치의 오디오 출력을 제어하는 방법에 있어서,A method of controlling an audio output of an electronic device, the method comprising:
    다수의 스피커를 통해 오디오 신호를 출력하는 동작;outputting an audio signal through a plurality of speakers;
    상기 오디오 신호를 출력하는 동안 적어도 하나의 마이크를 통해 외부 소리를 획득하는 동작;acquiring an external sound through at least one microphone while outputting the audio signal;
    상기 획득된 외부 소리로부터 지정된 적어도 하나의 호출어가 검출되는지 확인하는 동작;checking whether at least one designated call word is detected from the acquired external sound;
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 적어도 하나의 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하는 동작;performing speaker recognition on an external sound corresponding to the at least one call word in response to the detection of the at least one call word;
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하는 동작; 및checking whether the recognized speaker and the detected call word match; and
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하는 동작을 포함하는 방법.and controlling an output of the audio signal so that a user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
  9. 제 8 항에 있어서,9. The method of claim 8,
    상기 적어도 하나의 호출어의 검출 시 상기 적어도 호출어가 발생한 방향을 인식하는 동작; 및recognizing a direction in which the at least one call word is generated when the at least one call word is detected; and
    상기 인식된 방향에 대응하는 공간감을 가지도록 상기 다수의 스피커를 통해 상기 외부 소리를 출력하는 동작을 더 포함하는 방법.and outputting the external sound through the plurality of speakers to have a sense of space corresponding to the recognized direction.
  10. 제 8 항에 있어서,9. The method of claim 8,
    상기 사용자가 외부 소리를 인지할 수 있는 상태임을 상기 인식된 화자에게 피드백하는 동작; 또는feedback to the recognized speaker that the user is in a state in which an external sound can be recognized; or
    상기 적어도 하나의 호출어가 감지되었음을 상기 사용자에게 피드백하는 동작 중 적어도 하나를 더 포함하는 방법.and at least one of feeding back to the user that the at least one call word has been detected.
  11. 제 8 항에 있어서,9. The method of claim 8,
    상기 오디오 신호의 출력을 제어하는 동작은The operation of controlling the output of the audio signal is
    상기 오디오 신호의 재생을 일시 중지하는 동작;pausing the reproduction of the audio signal;
    상기 오디오 신호의 볼륨을 뮤트 또는 지정된 크기로 감소하는 동작;muting or reducing the volume of the audio signal to a specified level;
    노이즈 캔슬링 기능을 오프(OFF)하는 동작; an operation of turning off the noise canceling function;
    상기 적어도 하나의 마이크를 통해 획득되는 상기 화자의 음성을 상기 다수의 스피커를 통해 출력하는 동작;outputting the speaker's voice acquired through the at least one microphone through the plurality of speakers;
    다수의 마이크를 통해 획득된 외부 소리들의 크기를 비교하고, 상기 다수의 스피커 중 상대적으로 큰 크기를 가지는 외부 소리를 획득한 마이크의 주변에 배치된 스피커에 대한 오디오 출력을 감소 또는 뮤트하는 동작; 또는comparing the levels of external sounds acquired through a plurality of microphones, and reducing or muting an audio output to a speaker disposed in the vicinity of the microphone having acquired an external sound having a relatively large size among the plurality of speakers; or
    상기 오디오 신호에 대한 볼륨을 지정된 제1 크기로 감소시키고, 상기 외부 소리에 대한 볼륨을 상기 제1 크기보다 큰 지정된 제2 크기로 증가시키고, 상기 외부 소리가 지정된 시간 이상 감지되지 않는 경우 상기 오디오 신호에 대한 볼륨을 원래 크기로 복구하고, 상기 외부 소리의 출력을 차단하는 동작 중 적어도 하나를 포함하는 방법.Decrease the volume of the audio signal to a specified first level, increase the volume of the external sound to a specified second level greater than the first level, and when the external sound is not detected for a specified time or longer, the audio signal A method comprising at least one of restoring the volume to the original level and blocking the output of the external sound.
  12. 제 8 항에 있어서,9. The method of claim 8,
    상기 외부 소리를 획득하는 동작은The operation of acquiring the external sound is
    상기 오디오 신호의 출력에 대응하여, 적어도 하나의 센서를 통해 상기 전자 장치의 착용이 감지되는지 확인하고, 상기 착용이 감지되는 경우 상기 적어도 하나의 마이크를 활성화하여 상기 외부 소리를 획득하는 동작을 포함하고,In response to the output of the audio signal, checking whether wearing of the electronic device is detected through at least one sensor, and when the wearing is detected, activating the at least one microphone to acquire the external sound, ,
    상기 화자 인식을 수행하는 동작은The operation of performing the speaker recognition is
    상기 적어도 하나의 호출어가 지정된 횟수 이상 감지되는 경우 상기 화자 인식을 수행하는 동작을 포함하는 방법.and performing the speaker recognition when the at least one call word is detected more than a specified number of times.
  13. 제 8 항에 있어서,9. The method of claim 8,
    적어도 하나의 센서를 통해 현재 위치, 시간, 또는 이동 여부 중 적어도 하나를 포함하는 상황 정보를 수집 및/또는 무선 통신 연결된 외부 전자 장치로부터 상황 정보를 수신하는 동작; 및collecting context information including at least one of a current location, time, and movement status through at least one sensor and/or receiving context information from an external electronic device connected via wireless communication; and
    상기 상황 정보에 기초하여 상기 적어도 하나의 호출어를 동적으로 변경하는 동작을 더 포함하는 방법.and dynamically changing the at least one call word based on the context information.
  14. 전자 장치에 있어서,In an electronic device,
    하우징;housing;
    상기 하우징의 제1 영역에 배치되고, 좌음향 신호를 출력하는 제1 스피커;a first speaker disposed in a first area of the housing and configured to output a left sound signal;
    상기 하우징의 제2 영역에 배치되고, 우음향 신호를 출력하는 제2 스피커;a second speaker disposed in the second area of the housing and configured to output a right sound signal;
    상기 하우징에 포함되는 적어도 하나의 마이크;at least one microphone included in the housing;
    화자 별로 설정된 적어도 하나의 호출어를 저장하는 메모리; 및a memory for storing at least one call word set for each speaker; and
    상기 제1 스피커, 상기 제2 스피커, 상기 적어도 하나의 마이크, 및 상기 메모리와 작동적으로 연결되는 프로세서를 포함하고,a processor operatively coupled to the first speaker, the second speaker, the at least one microphone, and the memory;
    상기 프로세서는the processor
    상기 제1 스피커 및 상기 제2 스피커를 통해 오디오 신호를 출력하고,output an audio signal through the first speaker and the second speaker;
    상기 오디오 신호를 출력하는 동안 상기 적어도 하나의 마이크를 통해 외부 소리를 획득하고,acquiring an external sound through the at least one microphone while outputting the audio signal;
    상기 획득된 외부 소리로부터 상기 적어도 하나의 호출어가 검출되는지 확인하고,Checking whether the at least one call word is detected from the acquired external sound,
    상기 적어도 하나의 호출어의 검출에 대응하여, 상기 호출어에 대응하는 외부 소리에 대한 화자 인식을 수행하고,In response to the detection of the at least one call word, speaker recognition of an external sound corresponding to the call word is performed;
    상기 인식된 화자와 상기 검출된 호출어가 매칭되는지 확인하고, 및Checking whether the recognized speaker and the detected call word match, and
    상기 검출된 호출어와 상기 인식된 화자가 매칭되는 경우 상기 전자 장치의 사용자가 외부 소리를 인지할 수 있도록 상기 오디오 신호의 출력을 제어하도록 설정된 전자 장치.an electronic device configured to control an output of the audio signal so that a user of the electronic device can recognize an external sound when the detected call word and the recognized speaker match.
  15. 제 14 항에 있어서,15. The method of claim 14,
    상기 프로세서는the processor
    상기 적어도 하나의 호출어의 검출 시 상기 적어도 하나의 호출어가 발생한 방향을 인식하고,Recognizing a direction in which the at least one call word is generated when the at least one call word is detected,
    상기 인식된 방향에 대응하는 공간감을 가지도록 상기 외부 소리의 출력을 제어하도록 설정된 전자 장치.An electronic device configured to control the output of the external sound to have a sense of space corresponding to the recognized direction.
PCT/KR2021/002038 2020-04-01 2021-02-17 Electronic device and method for controlling audio output of same WO2021201429A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0039880 2020-04-01
KR1020200039880A KR20210122568A (en) 2020-04-01 2020-04-01 Electronic device and method for controlling audio output thereof

Publications (1)

Publication Number Publication Date
WO2021201429A1 true WO2021201429A1 (en) 2021-10-07

Family

ID=77929122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002038 WO2021201429A1 (en) 2020-04-01 2021-02-17 Electronic device and method for controlling audio output of same

Country Status (2)

Country Link
KR (1) KR20210122568A (en)
WO (1) WO2021201429A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230069707A (en) * 2021-11-12 2023-05-19 삼성전자주식회사 Method and electronic device for controlling operation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150134666A (en) * 2014-05-22 2015-12-02 엘지전자 주식회사 Glass type terminal and control method thereof
KR20170076181A (en) * 2015-12-24 2017-07-04 삼성전자주식회사 Electronic device and method for controlling an operation thereof
US20180225082A1 (en) * 2017-02-07 2018-08-09 Avnera Corporation User Voice Activity Detection Methods, Devices, Assemblies, and Components
KR101949731B1 (en) * 2011-10-20 2019-02-19 엘지전자 주식회사 Mobile terminal and method for translating voice using thereof
KR20200013173A (en) * 2018-07-20 2020-02-06 삼성전자주식회사 Electronic device and operating method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949731B1 (en) * 2011-10-20 2019-02-19 엘지전자 주식회사 Mobile terminal and method for translating voice using thereof
KR20150134666A (en) * 2014-05-22 2015-12-02 엘지전자 주식회사 Glass type terminal and control method thereof
KR20170076181A (en) * 2015-12-24 2017-07-04 삼성전자주식회사 Electronic device and method for controlling an operation thereof
US20180225082A1 (en) * 2017-02-07 2018-08-09 Avnera Corporation User Voice Activity Detection Methods, Devices, Assemblies, and Components
KR20200013173A (en) * 2018-07-20 2020-02-06 삼성전자주식회사 Electronic device and operating method thereof

Also Published As

Publication number Publication date
KR20210122568A (en) 2021-10-12

Similar Documents

Publication Publication Date Title
WO2020204611A1 (en) Method for detecting wearing of acoustic device and acoustic device supporting the same
WO2022055068A1 (en) Electronic device for identifying command included in voice and operation method therefor
WO2022019577A1 (en) Audio output device including microphone
WO2022010157A1 (en) Method for providing screen in artificial intelligence virtual secretary service, and user terminal device and server for supporting same
WO2022154363A1 (en) Audio device for processing audio data and operating method thereof
WO2021201429A1 (en) Electronic device and method for controlling audio output of same
WO2021034127A1 (en) Electronic device including multi-channel speaker system
WO2022154546A1 (en) Wearable device for performing automatic volume control
WO2022154440A1 (en) Electronic device for processing audio data and method for operating same
WO2022025452A1 (en) Electronic device and method for operating electronic device
WO2022145914A1 (en) Method for finding audio output device by using power supply device and power supply device thereof
WO2021221440A1 (en) Method for enhancing sound quality, and device therefor
WO2022158852A1 (en) Electronic device controlled on basis of sound data, and method for controlling electronic device on basis of sound data
WO2024106730A1 (en) Electronic device, and method for controlling sound signal by using same
WO2022154321A1 (en) Electronic device switching communication connection in accordance with noise environment, and method for controlling same
WO2024053931A1 (en) Method for switching microphone, and electronic device
WO2023163427A1 (en) Method and device for adjusting volume of electronic device
WO2024080633A1 (en) Electronic device and operation method thereof
WO2022146033A1 (en) Electronic device and voice input/output control method of electronic device
WO2022154370A1 (en) Communication method between multiple devices, and electronic device therefor
WO2022025376A1 (en) Method and device for providing ar audio data
WO2023090786A1 (en) Method for detecting wearing of electronic device and electronic device employing same
WO2023136503A1 (en) Electronic device for tinnitus management, and operating method therefor
WO2024014869A1 (en) Translation processing method and electronic device
WO2024106796A1 (en) Method for controlling audio setting and wearable electronic device supporting same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21780972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21780972

Country of ref document: EP

Kind code of ref document: A1