WO2019088802A1 - 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법 - Google Patents

전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법 Download PDF

Info

Publication number
WO2019088802A1
WO2019088802A1 PCT/KR2018/013389 KR2018013389W WO2019088802A1 WO 2019088802 A1 WO2019088802 A1 WO 2019088802A1 KR 2018013389 W KR2018013389 W KR 2018013389W WO 2019088802 A1 WO2019088802 A1 WO 2019088802A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
voice
external electronic
function
voice recognition
Prior art date
Application number
PCT/KR2018/013389
Other languages
English (en)
French (fr)
Inventor
김경태
이창호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/761,443 priority Critical patent/US11355110B2/en
Publication of WO2019088802A1 publication Critical patent/WO2019088802A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/006—Call diverting means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present invention relates to a method for performing a function with a voice between an electronic device and a busy electronic device.
  • Speech recognition techniques may be implemented in various electronic devices having a voice input device (e.g., microphone). Such speech recognition technology has recently become increasingly popular for replacing physical inputs in electronic devices and for controlling electronic devices by voice.
  • voice input device e.g., microphone
  • Speech recognition techniques implemented in electronic devices may have difficulty in utilizing speech recognition techniques implemented in external electronic devices.
  • the electronic device can activate the voice recognition function during the call to operate the voice recognition function with the voice received from the external electronic device.
  • the electronic device may operate a voice recognition function installed on the external electronic device in a call.
  • An electronic device includes a communication module, a display, a memory, and a processor electrically coupled to the communication module, the display and the memory, wherein the processor, when executed, Receiving a voice recognition trigger command in a state in which a call connection is maintained with the external electronic device, performing a voice recognition function based on the voice received from the external electronic device, determining a function execution command corresponding to the recognized voice, And may store instructions to cause the electronic device to perform the function in accordance with the determined function execution command.
  • An electronic device receives a voice call recognition trigger command in a state that a call connection with an external electronic device is maintained, and after receiving the trigger command, Determine a function execution command corresponding to the recognized voice, and execute a function of the electronic device in a communication according to the determined function execution command.
  • the electronic device can activate the voice recognition function of the external electronic device based on the user authentication in a call connection state with the external electronic device, thereby controlling the external electronic device through voice.
  • the electronic device can perform speech recognition with speech data received from an external electronic device in a call connection state with an external electronic device, and execute a function corresponding to the recognized speech command.
  • FIG. 1 illustrates an electronic device in a network environment in accordance with various embodiments.
  • FIG. 2 is a block diagram showing an electronic device of a speech recognition system according to an embodiment of the present invention.
  • FIG. 3 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • FIG. 4 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • FIG. 5 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • FIG. 6 illustrates an example of performing a function with voice in a call between an electronic device according to an embodiment of the present invention.
  • FIG. 7 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • Figure 8 illustrates an example of performing a function with voice in a call between an electronic device according to an embodiment of the present invention.
  • FIG 9 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • 10A and 10B illustrate examples of communication channels during communication between electronic devices according to an embodiment of the present invention.
  • FIG. 11 illustrates a method for performing a function with voice between electronic devices according to an embodiment of the present invention.
  • FIG. 12 illustrates an example of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • FIG. 13 illustrates an example of performing a function with voice during a call between an electronic device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, in accordance with various embodiments.
  • an electronic device 101 in a network environment 100 communicates with an electronic device 102 via a first network 198 (e.g., near-field wireless communication) or a second network 199 (E. G., Remote wireless communication).
  • a first network 198 e.g., near-field wireless communication
  • a second network 199 E. G., Remote wireless communication
  • the electronic device 101 is capable of communicating with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module 176, an interface 177, a haptic module 179, a camera module 180, a power management module 188, a battery 189, a communication module 190, a subscriber identity module 196, and an antenna module 197 ).
  • at least one (e.g., display 160 or camera module 180) of these components may be omitted from the electronic device 101, or other components may be added.
  • some components such as, for example, a sensor module 176 (e.g., a fingerprint sensor, an iris sensor, or an illuminance sensor) embedded in a display device 160 Can be integrated.
  • Processor 120 may be configured to operate at least one other component (e.g., hardware or software component) of electronic device 101 connected to processor 120 by driving software, e.g., And can perform various data processing and arithmetic operations.
  • Processor 120 loads and processes commands or data received from other components (e.g., sensor module 176 or communication module 190) into volatile memory 132 and processes the resulting data into nonvolatile memory 134.
  • the processor 120 may operate in conjunction with a main processor 121 (e.g., a central processing unit or an application processor) and, independently, or additionally or alternatively, Or a co-processor 123 (e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor) specific to the designated function.
  • a main processor 121 e.g., a central processing unit or an application processor
  • a co-processor 123 e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor
  • the coprocessor 123 may be operated separately from or embedded in the main processor 121.
  • the coprocessor 123 may be used in place of the main processor 121, for example, while the main processor 121 is in an inactive (e.g., sleep) state, At least one component (e.g., display 160, sensor module 176, or communications module 176) of the components of electronic device 101 (e.g., 190) associated with the function or states.
  • the coprocessor 123 e.g., an image signal processor or communications processor
  • the coprocessor 123 is implemented as a component of some other functionally related component (e.g., camera module 180 or communication module 190) .
  • Memory 130 may store various data used by at least one component (e.g., processor 120 or sensor module 176) of electronic device 101, e.g., software (e.g., program 140) ), And input data or output data for the associated command.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134.
  • the program 140 may be software stored in the memory 130 and may include, for example, an operating system 142, a middleware 144,
  • the input device 150 is an apparatus for receiving a command or data to be used for a component (e.g., processor 120) of the electronic device 101 from the outside (e.g., a user) of the electronic device 101,
  • a component e.g., processor 120
  • a microphone, a mouse, or a keyboard may be included.
  • the sound output device 155 is a device for outputting a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may be a speaker for general use such as a multimedia reproduction or a sound reproduction, .
  • the receiver may be formed integrally or separately with the speaker.
  • Display device 160 may be an apparatus for visually providing information to a user of electronic device 101 and may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the projector. According to one embodiment, the display device 160 may include a touch sensor or a pressure sensor capable of measuring the intensity of the pressure on the touch.
  • the audio module 170 is capable of bi-directionally converting sound and electrical signals. According to one embodiment, the audio module 170 may acquire sound through the input device 150, or may be connected to the audio output device 155, or to an external electronic device (e.g., Electronic device 102 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 102 (e.g., a speaker or headphone)
  • the sensor module 176 may generate an electrical signal or data value corresponding to an internal operating state (e.g., power or temperature) of the electronic device 101, or an external environmental condition.
  • the sensor module 176 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, Or an illuminance sensor.
  • the interface 177 may support a designated protocol that may be wired or wirelessly connected to an external electronic device (e.g., the electronic device 102).
  • the interface 177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface an audio interface
  • the connection terminal 178 may be a connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • an HDMI connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (e.g., vibrations or movements) or electrical stimuli that the user may perceive through tactile or kinesthetic sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture a still image and a moving image.
  • the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 188 is a module for managing the power supplied to the electronic device 101, and may be configured as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 is an apparatus for supplying power to at least one component of the electronic device 101 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is responsible for establishing a wired or wireless communication channel between the electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108) Lt; / RTI > Communication module 190 may include one or more communication processors that support wired communication or wireless communication, operating independently of processor 120 (e.g., an application processor).
  • the communication module 190 may include a wireless communication module 192 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (E.g., a local area network (LAN) communication module, or a power line communication module), and the corresponding communication module may be used to communicate with a first network 198 (e.g., Bluetooth, WiFi direct, Communication network) or a second network 199 (e.g., a telecommunications network such as a cellular network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a wireless communication module 192 e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 E.g., a local area network (LAN) communication module, or a power line communication module
  • the wireless communication module 192 may use the user information stored in the subscriber identification module 196 to identify and authenticate the electronic device 101 within the communication network.
  • the antenna module 197 may include one or more antennas for externally transmitting or receiving signals or power.
  • the communication module 190 e.g., the wireless communication module 192 may transmit signals to or receive signals from an external electronic device via an antenna suitable for the communication method.
  • Some of the components are connected to each other via a communication method (e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • a communication method e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 via the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different kind of device as the electronic device 101.
  • all or a portion of the operations performed in the electronic device 101 may be performed in another or a plurality of external electronic devices.
  • the electronic device 101 in the event that the electronic device 101 has to perform some function or service automatically or upon request, the electronic device 101 may be capable of executing the function or service itself, And may request the external electronic device to perform at least some functions associated therewith.
  • the external electronic device receiving the request can execute the requested function or additional function and transmit the result to the electronic device 101.
  • the electronic device 101 can directly or additionally process the received result to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 2 is a block diagram showing an electronic device of a speech recognition system according to an embodiment of the present invention.
  • electronic device 200 (eg, electronic device 101 of FIG. 1) includes an input module 210 (eg, input device 150 of FIG. 1), a display 220 1), a communication module 260 (e.g., communication module 190 of FIG. 1), a speaker (e.g., a sound output device 155 of FIG. Or a processor (e.g., processor 120 of FIG. 1).
  • the electronic device 200 may further include a housing and the configurations of the electronic device 200 may be seated within the housing or located on the housing.
  • input module 210 may receive user input from a user.
  • the input module 210 may receive user input from a connected external device (e.g., keyboard, headset).
  • input module 210 may include a touch screen (e.g., a touch screen display) coupled with display 220.
  • the input module 210 may include a hardware key (e.g., 212 in FIG. 3) (or a physical key) located in the electronic device 200 (or the housing of the electronic device 200) have.
  • the input module 210 may include a microphone (e.g., 211 of FIG. 2) capable of receiving a user's utterance as a speech signal.
  • the input module 210 may include a speech input system, and may receive a speech of a user via the speech input system.
  • the display 220 may display an image of an image, a video, and / or an execution screen of an application.
  • the display 220 may display a graphical user interface (GUI) of an application.
  • GUI graphical user interface
  • the speaker 230 may output a voice signal.
  • the speaker 230 may output a voice signal generated inside the electronic device 200 to the outside.
  • the memory 240 may store data associated with a plurality of applications 241, 243 configured with a speech recognition application and a second application. For example, a plurality of applications 241, 243 stored in the memory 240 may be selected and executed and operated according to user input.
  • the memory 240 may include a database capable of storing information necessary to recognize user input.
  • the memory 240 may include a log database capable of storing log information.
  • the memory 240 may include a persona database capable of storing user information.
  • memory 240 stores at least one application (e.g., speech recognition application 241), and at least one application 241, 243 may be loaded into volatile memory and operate.
  • at least one application (241, 243) stored in the memory 240 may be loaded into the volatile memory and operated by the execution manager module 253 of the processor 250.
  • the at least one application 241, 243 may include, for example, an execution service 243a or a plurality of operations (or unit operations) 243b that perform a function.
  • execution service 243a may be generated by execution manager module 253 of processor 250 and may execute a plurality of operations 243b.
  • the execution status screen when the operation 243b of the application 241, 243 is executed, the execution status screen according to the execution of the operation 243b may be displayed on the display 220.
  • the execution status screen may be, for example, a screen in which the operation 243b is completed.
  • the execution status screen may be, for example, a partial landing (for example, when a parameter necessary for the operation 243b is not inputted) in which execution of the operation 243b is stopped.
  • execution service 243a may execute operation 243b in accordance with a path rule.
  • the execution service 243a is activated by the execution manager module 253, receives an execution request according to the path rule from the execution manager module 253, and sends an operation 243b to the application (241, 243).
  • the execution service 243a may transmit the completion information to the execution manager module 253 when the operation 243b is completed.
  • the plurality of operations 243b when a plurality of operations 243b are executed in the applications 241 and 243, the plurality of operations 243b can be executed sequentially.
  • the execution service 243a can open the next operation (operation 2) and transmit the completion information of the operation 1 to the execution manager module 253 when the execution of one operation (operation 1) is completed.
  • Opening an arbitrary operation can be understood as, for example, transiting an arbitrary operation to an executable state or preparing for execution of an arbitrary operation. For example, if an operation is not opened, the operation can not be executed.
  • the execution manager module 253 may send an execution request for the next operation (e.g., operation 2) to the execution service 243a when the completion information is received.
  • the plurality of applications 241 and 243 can be sequentially executed. For example, when the execution of the last operation of the first application or the speech recognition application 241 is completed and the completion information is received from the execution service, the execution manager module 253 requests execution of the first operation of the other application 243 To the execution service 243a.
  • a result screen resulting from execution of the plurality of executed operations 243b may be displayed on the display 220.
  • only a part of a plurality of result screens according to the execution of the plurality of executed operations 243b may be displayed on the display 220.
  • memory 240 may store an intelligent application (e.g., speech recognition application 241) associated with intelligent agent 251.
  • the speech recognition application 241 linked with the intelligent agent 251 can receive and process the speech of the user as a speech signal, for example.
  • the voice recognition application associated with the intelligent agent 251 may be controlled by a particular input (e.g., input via a hardware key, input via a touch screen, or specific voice input) Can be operated.
  • the processor 250 may control the overall operation of the electronic device 200.
  • the processor 250 may control the input module 210 to receive user input.
  • the processor 250 may control the display 220 to display an image.
  • the processor 250 may control the speaker 230 to output a voice signal.
  • the processor 250 may control the memory 240 to retrieve or store the necessary information.
  • the processor 250 may include an intelligent agent 251, a performance manager module 253, or an intelligent service module 255.
  • processor 250 may execute instructions stored in memory 240 to activate intelligent agent 251, execution manager module 253, or intelligent service module 255.
  • the various modules referred to in various embodiments of the present invention may be implemented in hardware or in software.
  • the operations performed by the intelligent agent 251, the execution manager module 253, or the intelligent service module 255 in various embodiments of the present invention may be understood as operations performed by the processor 250.
  • the intelligent agent 251 may generate an instruction to operate the application based on the received voice signal.
  • the execution manager module 253 may receive the generated command from the intelligent agent 251 and select and execute and operate the applications 241 and 243 stored in the memory 240.
  • the intelligent service module 255 can be used to manage user information and process user input.
  • the intelligent agent 251 may send the user input received through the input module 210 to the intelligent server 200 for processing.
  • the intelligent agent 251 may pre-process the user input before transmitting the user input to the intelligent server 200.
  • the intelligent agent 251 may include an adaptive echo canceller (AEC) module, a noise suppression (NS) module, an end-point detection (EPD) module or an automatic gain control (AGC) module.
  • the adaptive echo cancellation module may remove an echo included in the user input.
  • the noise suppression module may suppress background noise included in the user input.
  • the end point detection module detects an end point of the user voice included in the user input to find a portion where the user's voice exists.
  • the automatic gain control module may adjust the volume of the user input to be suitable for recognizing and processing the user input.
  • the intelligent agent 251 may include all of the preprocessing configurations for performance, while in other embodiments, the intelligent agent 251 may include some of the preprocessing configurations to operate at low power .
  • the intelligent agent 251 may include a wake up recognition module that recognizes the user's call.
  • the wakeup recognition module may perform a function of recognizing a user's wakeup command through, for example, a voice recognition module (or a voice recognition application).
  • the intelligent agent 251 may be activated to receive user input.
  • the wake up recognition module of the intelligent agent 251 may be implemented in a low power processor (e.g., a processor included in an audio codec).
  • the intelligent agent 251 may be activated upon input via a hardware key.
  • the voice recognition application 241 associated with the intelligent agent 251 may be executed.
  • the intelligent agent 251 may include a speech recognition module for recognizing the input.
  • the voice recognition module can recognize an input for performing a voice recognition function and performing an operation using, for example, the voice recognition application 241.
  • the voice recognition module may be configured to receive a wake-up command from the voice recognition application 241 or a limited user voice input to perform an action (e.g., a " snapshot " Etc.) can be recognized.
  • the voice recognition module which assists the intelligent server 300 and recognizes user input, can recognize and process a user command that can be processed in the electronic device 200, for example.
  • a speech recognition module for recognizing user input of the intelligent agent 251 may be implemented in an application processor.
  • the voice recognition module of the intelligent agent 251 may recognize the user input using an algorithm for voice recognition.
  • the algorithm used to recognize the speech may be at least one of, for example, a hidden markov model (HMM) algorithm, an artificial neural network (ANN) algorithm, or a dynamic time warping (DTW) algorithm.
  • HMM hidden markov model
  • ANN artificial neural network
  • DTW dynamic time warping
  • the intelligent agent 251 may convert the user's speech input into text data. According to one embodiment, the intelligent agent 251 may forward the user's voice to the intelligent server 300 to receive the converted textual data. The intelligent agent 251 may display the text data on the display 220, for example.
  • the intelligent agent 251 may receive path rules from the intelligent server 300. [ According to one embodiment, the intelligent agent 251 may send a pass rule to the execution manager module 253.
  • the intelligent agent 251 sends an execution result log according to the path rule received from the intelligent server 300 to the intelligence service module 255, May be accumulated and managed in the preference information of the user of the persona manager 255b.
  • the execution manager module 253 receives the path rule from the intelligent agent 251 and executes the applications 241 and 243.
  • the application 241 and 243 execute the operation 243b included in the path rule, Can be executed.
  • the execution manager module 253 may send command information for executing operations 243b to the applications 241 and 243 and receive completion information for the operations 243b from the applications 241 and 243 can do.
  • the execution manager module 253 can send and receive command information for executing the operations 243b of the applications 241 and 243 between the intelligent agent 251 and the applications 241 and 243 .
  • the execution manager module 253 can bind the applications 241 and 243 to be executed according to the path rule and transmit the command information of the operation 243b included in the path rule to the applications 241 and 243.
  • the execution manager module 253 sequentially transmits the operation 243b included in the path rule to the applications 241 and 243, and sends the operation 243b of the applications 241 and 243 to the path rule And can be executed sequentially.
  • the execution manager module 253 can manage the execution state of the operations 243b of the applications 241, 243.
  • the execution manager module 253 may receive information on the execution status of the operation 243b from the applications 241 and 243. [ If the execution state of the operation 243b is, for example, a partial landing (for example, a parameter necessary for the operation 243b is not inputted), the execution manager module 253 determines Information about the state can be transmitted to the intelligent agent 251. The intelligent agent 251 may use the received information to request the user to input necessary information (e.g., parameter information).
  • necessary information e.g., parameter information
  • the intelligent agent 251 may receive an utterance from the user and the execution manager module 253 may receive the application 241, 243 and the execution status of the applications 241, 243 to the intelligent agent 251.
  • the intelligent agent 251 may receive the parameter information of the user's utterance through the intelligent server 200 and may transmit the received parameter information to the execution manager module 253.
  • the execution manager module 253 can change the parameters of the operation 243b to new parameters using the received parameter information.
  • the execution manager module 253 may pass the parameter information contained in the path rule to the applications 241 and 243.
  • the execution manager module 253 can transmit parameter information included in the path rule from one application to another application.
  • the execution manager module 253 may receive a plurality of path rules selected based on a user utterance. For example, if the user's utterance specified some application (e.g., speech recognition application 241) that would perform some action but did not specify another application 243 to execute the remaining action, It is possible to receive a plurality of different path rules in which different applications 243 (e.g., message applications, telegram applications) that execute the same application (e.g., a gallery application) . The execution manager module 253 may perform the same operation (e.g., the same continuous operation 243b) of the plurality of pass rules, for example. The execution manager module 253 may display a status screen on the display 220 in which the different applications 241 and 243 included in the plurality of path rules can be selected.
  • some application e.g., speech recognition application 241
  • telegram applications e.g., message applications, telegram applications
  • the execution manager module 253 may perform the same operation (e.g., the same continuous operation
  • the intelligent service module 255 may include a context module 255a, a persona module 255b, or a suggestion module 255c.
  • the context module 255a may collect the current state of the applications 241, 243 from the applications 241, 243.
  • the context module 255a may receive the context information indicating the current status of the applications 241 and 243, and collect the current status of the applications 241 and 243.
  • the persona module 255b may manage the personal information of the user using the electronic device 200.
  • the persona module 255b may collect usage information and execution results of the electronic device 200 to manage the user's personal information.
  • the proposal module 255c can predict a user's intention and recommend commands to the user. For example, the proposal module 255c may recommend commands to the user in consideration of the user's current state (e.g., time, place, situation, application).
  • the proposal module 255c may recommend commands to the user in consideration of the user's current state (e.g., time, place, situation, application).
  • the electronic device (e.g., electronic device 101 of FIG. 1, electronic device 200 of FIG. 2) according to various embodiments of the present invention includes a communication module (e.g., communication module 190 of FIG. 1, (E.g., the communication module 260), a display (e.g., the display 160 of FIG. 1, the display 220 of FIG. 2), a memory (e.g., memory 130 of FIG. 1, memory 240 of FIG. (E.g., processor 120 of FIG. 1, processor 250 of FIG.
  • a communication module e.g., communication module 190 of FIG. 1, (E.g., the communication module 260)
  • a display e.g., the display 160 of FIG. 1, the display 220 of FIG. 2
  • a memory e.g., memory 130 of FIG. 1, memory 240 of FIG.
  • the processor (120, 250) activates a voice recognition function during the call, and the voice recognition unit performs a voice recognition function with voice data received from the external electronic device via the call connection channel It is possible to switch to the voice recognition mode.
  • the processor recognizes (120, 250) as a trigger command when receiving a key input signal set for activating a voice recognition function from the external electronic device, activates a voice recognition function, and receives the key input signal from the external electronic device
  • the voice recognition function can be performed with the received voice.
  • the processor (120, 250) recognizes the key input signal as a trigger command upon receipt of a key input signal set for activating a voice recognition function from the external electronic device to activate a voice recognition function, and after receiving the key input signal, The voice recognition function is performed based on the voice, and when the key input signal is received again, the voice recognition mode during the call can be terminated.
  • the processor (120, 250) determines whether the external electronic device is a device having a voice control right, activates the voice recognition function when the voice control right is available, It can be controlled not to be activated.
  • a call screen including an authorization icon for remotely giving a voice control right to the external electronic device to the display (160, 220)
  • voice control authority is given to the external electronic device to activate the voice recognition function and to switch to the voice recognition mode during the call.
  • the processors (120, 250) are connected to each other in a state in which the speech recognition function is activated, monitors the speech received from the external electronic device to recognize a speech timing of a voice corresponding to the trigger command, It is possible to determine whether the external electronic device is a device having voice control authority and to perform a voice recognition function with the voice received from the external electronic device after the firing point if the device has the voice control right.
  • the processor (120, 250) determines whether the external electronic device is a device having the voice control right at the time of the call connection, activates a voice recognition function when the voice control right is available, Can be switched.
  • the external electronic device for which the voice control right is set may be a device included in a family group of the contact list stored in the electronic device or a device registered in a device capable of voice control during a call.
  • the processor 120 or 250 may cause the display 160 or 220 to display an operation screen corresponding to the determined at least one function execution operation.
  • the processor 120 and 250 may output a user interface for a user input required when the at least one function is executed to the displays 160 and 220 and may execute a function based on a user's input.
  • the processor 120 and 250 may transmit operation screen information output to the display 160 and 220 to the external electronic device.
  • the processor (120, 250) controls the communication module (190, 260) to transmit and receive voice data of the external electronic device to and from the first communication channel, and at least one of the trigger key input signal Channel can be transmitted and received.
  • the processor 120, 250
  • the processor 120, 250
  • the electronic device and the external electronic device may be a mobile phone, a smart phone, a personal digital assistant (PDA) And various terminal devices (or electronic devices) capable of being connected to the Internet, such as a computer.
  • PDA personal digital assistant
  • an electronic device is understood as a remote device controlled remotely by an external electronic device, and an external electronic device can be understood as a remote device controlling the electronic device remotely .
  • the electronic device is described as being the subject of operation, but the operation of the electronic device can be performed under the control of the processor of the electronic device. It is also obvious that the external electronic device can also perform all the operations performed in the electronic device.
  • FIG. 3 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • an electronic device 200 in accordance with various embodiments may be coupled to an external electronic device 200 via communication module (e.g., communication module 260 of FIG. 2) And may be connected to a call connection.
  • an electronic device can establish a communication channel with an external electronic device by accepting a response signal according to a call request of the electronic device or a call connection request of the external electronic device through at least one base station.
  • the electronic device may receive an authenticated (or set) triggering command for speech-in-call speech recognition, in a call connection state with an external electronic device.
  • the authenticated trigger command may be triggered from among voice data received from an external electronic device having voice control authority, such as a trigger voice (e.g., " Big Biss, " " Or an input signal of a trick key (e.g., hard key or soft key) for activating the recognition function.
  • an electronic device receives a trigger key input signal for activating a voice recognition function from an external electronic device during a call, or receives an input signal of a trigger key
  • the voice recognition mode can be switched to the " voice recognition mode ".
  • the in-call voice recognition mode may be a mode of ignoring voice data received from a microphone of an electronic device and performing a voice recognition function based on voice data received from an external electronic device.
  • the electronic device when switching to a voice recognition mode in a call by reception of an input signal of a trigger key, the electronic device generates a voice command based on the voice received from the external electronic device after the input signal of the trigger key is received, Can be recognized.
  • the electronic device when switching to the speech recognition mode by the reception of the input signal of the trigger key, the electronic device recognizes the voice command by restricting to the voice received by the external electronic device while the reception of the input signal of the trigger key is maintained You may.
  • the electronic device can perform the speech recognition function by limiting the input data of the trigger key to the voice data received from the external electronic device while the input signal of the trigger key is received again.
  • the electronic device may terminate the voice recognition mode during a call if the input signal of the trigger key is received again after receiving the input signal of the trigger key.
  • the input signal of the trigger key received from the external electronic device may be a communication channel (e.g., a circuit switching network communication) that provides a voice communication service with an external electronic device, or a communication channel (E. G., Packet switching network communication). ≪ / RTI >
  • the electronic device can determine whether the external electronic device has voice control right when making a call connection, and switch to the voice recognition mode when it is determined that the device has voice control right.
  • the external electronic device to which the voice control authority is set may be at least one of devices included in a family group, for example, a contact list stored in the electronic device, or a device registered in a device capable of voice command in a call.
  • the electronic device can monitor whether the external electronic device is capable of voice control, or not, in response to the determination result, whether the triggered voice for voice control is generated from the external electronic device.
  • the electronic device may monitor the triggered voice and collect the voice received from the external electronic device after the triggered voice for speech recognition.
  • the electronic device may activate the speech recognition function based on receipt of the trigger command and, after the trigger command, perform speech recognition based on the speech data received from the external electronic device.
  • the electronic device may determine a function execution command corresponding to the voice received from the external electronic device.
  • the electronic device may perform the function of the electronic device in accordance with a function execution command corresponding to the voice received from the external electronic device.
  • the electronic device in the speech recognition mode, can ignore the voice data received via the microphone and change the voice data received from the external electronic device via the communication network into text data.
  • the electronic device may generate a function execution command (or path rule) for performing a function based on, for example, changed test data.
  • the function execution command may include information about an action (or an operation) for performing the function of the application or information about a parameter necessary for executing the operation.
  • the function execution command may include an operation of an application (hereinafter referred to as an application) or an application program for executing a specific function.
  • the electronic device can select an application (or an application program) corresponding to the generated function execution command and execute the operation included in the function execution command in the selected application.
  • the electronic device can display an operation screen on the display in response to the function execution operation according to the function execution command.
  • the electronic device may execute at least one operation in accordance with the execution of the function, and may display only the result of executing the operation of the full or last sequence of at least one operation on the display.
  • the electronic device can transmit an operation screen corresponding to the function execution operation to the external electronic device.
  • the external electronic device can confirm the function execution operation performed in the electronic device.
  • the electronic device may not display an operation screen on the display in response to the function execution operation.
  • the electronic device may provide information to the display or output it as a sound when the function execution according to the function execution command or the path rule is completed, indicating that the function execution is completed.
  • FIG. 4 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • an external electronic device 410 e.g., electronic device 200 of Figure 2 and an electronic device 420 (e.g., electronic device 200 of Figure 2)
  • the external electronic device 410 and the electronic device 420 can be operated in an operating state capable of recognizing the trigger voice.
  • the external electronic device 410 sends a triggering voice to the electronic device 420 to switch to a " talking voice recognition mode " or to transmit an input (e.g., a press, etc.) ).
  • the electronic device 420 determines whether a trigger sound is emitted from the voice received from the external electronic device 410 while the call connection is maintained, or when the input signal of the trigger key is received, Quot; voice recognition mode " for example) in which the voice recognition function is controlled by the voice of the user (e.g., voice 410).
  • the electronic device 420 determines whether the external electronic device 410 has a voice control right at the time the triggered voice is uttered, and if there is a voice control right, Quot; voice recognition mode " when the user does not have voice control authority. For example, in a call state, when the electronic device 420 determines that a trigger command is received from the external electronic device 410, the voice received from the external electronic device 420 can be ignored.
  • both the electronic device 420 and the external electronic device 410 are switched to the voice recognition mode during conversation to ignore the voice data received from the microphones and restrict the voice data received through the communication channel to voice It can be switched to a mode for performing a recognition function. For example, even if the external electronic device 410 detects a voice sound of a trigger voice called " Bigs ratio " during a call, since the call is connected and the voice recognition mode is being switched during the call, Can be limited.
  • the external electronic device 410 may be used to transmit voice data received via the microphone to the electronic device 420, even if the trigger voice is generated during the call with the electronic device 420. [ As a result, the voice recognition function of the external electronic device 410 itself can be limited.
  • the external electronic device 410 may communicate voice commands to the electronic device 420 to request functions to be performed in the electronic device 420 via the microphone.
  • the electronic device 420 may determine a voice command based on the voice received from the external device 410 and may perform the function of the electronic device 420 corresponding to the voice command.
  • the external electronic device 410 and the electronic device 420 may terminate the call.
  • FIG. 5 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • Figure 6 illustrates an example of performing a function with voice in a call between an electronic device according to an embodiment of the present invention
  • an electronic device e.g., electronic device 200 of FIG. 2, electronic device 620 of FIG. 6 in accordance with various embodiments, (E.g., communication module 260 of Fig. 2), external electronic device 610 of Fig.
  • the electronic device 620 may determine whether an input signal of a trigger key (e.g., a hardware key) for activation of a voice control or voice recognition function has been received from an external electronic device while the call connection is maintained.
  • a trigger key e.g., a hardware key
  • external electronic device 610 may include hardware keys 612, 622 for activation of a speech recognition function.
  • the external electronic device 610, or the electronic device 620 may include a microphone capable of receiving a user's utterance as a speech signal.
  • the external electronic device 610, or electronic device 620 may execute a speech recognition function (or application) via, for example, hardware keys 612, 622.
  • the hardware keys 612 and 622 may be used as a trigger key for remote voice control of an external electronic device when in a call state.
  • the electronic device 620 maintains a call connection and, upon receiving an input signal of a trigger key (e.g., the hardware key 612 of FIG. 6) set from the external electronic device 610, Mode '.
  • a trigger key e.g., the hardware key 612 of FIG. 6
  • the voice recognition mode can be understood as a mode in which voice received from a microphone is ignored and a voice recognition function is performed with voice received from an external electronic device through a communication network.
  • the electronic device 620 performs speech recognition by restricting the speech received from the external electronic device 610 while the call connection is maintained and an input signal of the trigger key is received from the external electronic device 610 .
  • the electronic device 620 confirms the voice data received from the external electronic device 610 between the time when the input signal of the trigger key is received and the time when the input signal of the trigger key is not received, The voice recognition function can be performed.
  • the son device and the father device may be in a call connected state,
  • the screens 611 and 621 can be output. If the father fails to perform the function of the father device (e. G., Electronic device 620) during the conversation between the son and the father, the son remains in a call state and the son device (e.g., external electronic device 610) The user can utter a voice for controlling the function of the father device while continuously holding the hardware key 612 set as the trigger key.
  • the father device e. G., Electronic device 620
  • the son device e.g., external electronic device 610
  • the user can utter a voice for controlling the function of the father device while continuously holding the hardware key 612 set as the trigger key.
  • the son when talking to his father, the son said, "Bixbee, open your browser and connect to the KORAIL.com website and book a departure point for Seoul, destination Pusan, (E.g., electronic device 610) in a state where the hardware key 612 is continuously pressed.
  • the son device can provide the father device with the voice data that the son uttered simultaneously with the input signal of the hardware key 622.
  • the electronic device 620 may perform speech recognition based on speech data received from the external electronic device 610 while key input signal reception is maintained.
  • the electronic device 620 may perform the function of the determined electronic device in response to a voice command received from the external electronic device 610.
  • the electronic device 620 determines if the call is terminated, terminates the process if the call is terminated, and returns to step 520 if the call is not terminated.
  • the external electronic device 610 may also be switched to a voice recognition mode during a call,
  • the execution of the voice recognition function can be restricted.
  • the external electronic device 610 may detect the voice recognition function of the external electronic device 610 when a press input of the hardware key 612 is detected And performs voice recognition based on the voice received through the microphone of the external electronic device 610 to perform the function.
  • the external electronic device 610 in the voice recognition mode during a call may request the voice recognition function of the electronic device 620 to operate when a press input of the hardware key 612 is received.
  • the external electronic device 610 in the voice recognition mode during the call can transmit the voice received via the microphone to the electronic device 620 simultaneously with the hardware key input signal.
  • the external electronic device 610 in a state of being in communication with the electronic device 620 can be controlled so that the voice recognition function based on the voice input through the microphone is blocked, recognizing that the communication state is established even if a hardware key is input.
  • the in-call voice recognition mode can be used to remotely access the input of a hardware key 612 of a device (e.g., external electronic device 620) that wishes to control another electronic device (e.g., electronic device 610)
  • a hardware key 612 of a device e.g., external electronic device 620
  • another electronic device e.g., electronic device 610
  • the present invention is not limited thereto and may be applied to a case where an input signal is simultaneously detected by the hardware key 622 of the electronic device 610 and the hardware key 612 of the external electronic device 620, May be switched to the voice recognition mode.
  • FIG. 7 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • Figure 8 illustrates an example of performing a function with voice in a call between an electronic device according to an embodiment of the present invention.
  • an electronic device 720 e.g., electronic device 200 of FIG. 2
  • an external electronic device 710 e.g., Device 200
  • the electronic device 720 and the external electronic device 710 may output a call graphical user interface (GUI) screen to the display in response to the call connection, for example,
  • GUI graphical user interface
  • the external electronic device 710 outputs the call GUI screen 811 connected to the electronic device 720 to the display and the electronic device 720 outputs the call GUI screen 821 connected to the external electronic device 710 Can be output to the display.
  • the call GUI screen 811, 821 may further include an authorization icon 813, 823 for granting voice control rights remotely to the external electronic device 710 in the call state.
  • the currency GUI screen 811, 821 may include various icons (e.g., a recording icon, a hang icon, a dial pad icon, a speaker mode switching icon, a mute mode icon, or a Bluetooth icon) And may include grant icons 813, 823.
  • the user can select an authorization icon from the GUI screen 811, 821.
  • the electronic device 720 may receive the selection input signal of the authorization icon 823 on the call GUI screen 821 and forward it to the external electronic device 710.
  • the electronic device 720 enters a voice recognition mode in the call in response to the selection input signal of its authorization icon 823, and the external electronic device 710 receives the authorization It is possible to switch to the voice recognition mode in response to the reception of the input signal of the icon.
  • the external electronic device 710 may communicate voice for controlling the electronic device 720 to the electronic device 720 via a call connection network.
  • the electronic device 720 may determine a voice command based on the voice received from the external electronic device 710 and may perform the function of the electronic device 720 corresponding to the voice command.
  • the external electronic device 710 and the electronic device 720 may terminate the call.
  • FIG 9 illustrates a method of performing a function with voice between electronic devices according to an embodiment of the present invention.
  • an electronic device e.g., electronic device 200 of FIG. 2 is coupled to an external electronic device (E.g., mobile terminal 200).
  • an external electronic device E.g., mobile terminal 200.
  • the electronic device may recognize the utterance of the triggered speech among the voice data received from the external electronic device.
  • the electronic device may determine whether the external electronic device to which the call is connected has voice control authority.
  • the electronic device may authorize the external electronic device to perform the voice recognition function under the control of the external electronic device and switch to the voice recognition mode during the call if the external electronic device is a voice control authority device.
  • the voice recognition mode in a call can be understood as a mode in which speech recognition based on voice data received from a microphone is blocked, and voice recognition is performed by limiting voice data received via call communication.
  • the external electronic device to which the voice control authority is set may be, for example, a device included in a family group among contact lists stored in the electronic device, or a device registered in a device capable of a voice command during a call.
  • the electronic device may proceed to step 980 if the external electronic device is not authorized to control the voice.
  • the electronic device recognizes the triggered speech and then recognizes it as a voice command based on the speech received from the external electronic device.
  • the electronic device may determine a function execution command in response to the recognized voice command and execute the function of the electronic device in accordance with the function execution command.
  • the electronic device determines whether the voice recognition function has ended in the call, and can return to operation 950 if the voice recognition function in the call is not terminated.
  • the electronic device can confirm that the speech recognition function is ended when a preset time has elapsed since the end of the speech utterance of the voice received after the trigger voice was uttered. According to one embodiment, the electronic device can confirm that the speech recognition function has been terminated upon completion of the functioning of the electronic device based on the voice received from the external electronic device.
  • the electronic device proceeds to operation 980 to determine whether the call is terminated. If the call is terminated, the electronic device can terminate the process. If the call is not terminated in operation 980, the electronic apparatus returns to operation 920 and waits for the trigger voice to be recognized again in a state where the call state is maintained, and repeats steps 920 to 980.
  • 10A and 10B illustrate examples of communication channels during communication between electronic devices according to an embodiment of the present invention.
  • an electronic device 1020 e.g., electronic device 200 of FIG. 2
  • an external electronic device 1010 e.g., electronic device 200 of FIG. 2
  • voice data can be transmitted or received by using a communication channel for transmitting / receiving voice data in a call state, or voice data can be transmitted / Data for recognition can be transmitted and received.
  • the electronic device 1020 and the external electronic device 1010 send and receive voice or video data using a first communication channel connected through at least one base station,
  • the trigger key signal for control and the shared screen data according to the function execution can be transmitted and received.
  • the electronic device 1020 and the external electronic device 1010 transmit and receive voice and video data using a first communication channel connected through at least one base station
  • the trigger key signal for control and the shared screen data according to the function execution can be transmitted and received through the second communication channel.
  • the first communication channel may be a communication channel (e.g., a circuit switching network communication) that provides a voice communication service
  • the second communication channel may be a channel providing data transmission / (Packet switching network) communication).
  • FIG. 11 illustrates a method for performing a function with voice between electronic devices according to an embodiment of the present invention.
  • an electronic device e.g., electronic device 200 of Figure 2
  • an external electronic device e.g., electronic device 200 of Figure 2
  • a call connection e.g., a call connection
  • the electronic device may switch to a voice recognition mode during a call.
  • the electronic device may be aware that the triggered speech has been fired if the external electronic device has the voice control authority, or may switch to the in-call speech recognition mode if the triggered key input signal is received.
  • the electronic device may perform voice recognition based on the voice received from the external electronic device, and may determine a function execution command corresponding to the recognized external electronic voice.
  • the electronic device may be configured to execute a function in accordance with the determined function execution command.
  • the electronic device may determine whether a user input is required during execution of the function in accordance with the function execution command. For example, the electronic device may determine that a user input is necessary when an error occurs in processing a function execution sequentially according to a function execution command, or when a situation in which a specific input of a specific condition occurs is generated.
  • the electronic device may output a UI requesting user input during functional processing.
  • the electronic device may receive user input necessary to perform a function.
  • the electronic device may process the function execution command using the received user input and proceed to operation 1170.
  • the electronic device may perform the function in response to the determined function execution command and proceed to 1170 operation.
  • the electronic device can output to the display an operation screen corresponding to the function execution operation performed based on the voice of the external electron.
  • the electronic device may share an operation screen corresponding to the function execution operation by providing it to the external electronic device.
  • the electronic device may determine whether the function execution has been completed, and if the function execution is completed, provide feedback to the user about completion of the function execution. For example, the electronic device can provide information to the display or output sound to the effect that the function execution is completed when the function controlled by the external electronic voice is completed. As another example, the electronic device may communicate information to the external electronic device that the function execution is complete.
  • the electronic device may determine whether the call is terminated, terminate the process if the call is terminated, and return to operation 1130 if the call is not terminated.
  • FIG. 12 illustrates an example of performing a function with voice during a call between an electronic device according to an embodiment of the present invention.
  • an electronic device 1210 (e.g., electronic device 200 of Figure 2) is coupled to an external electronic device (e.g., electronic device 200 of Figure 2) Under the control of the external electronic device during the call, the voice recognition service function can be executed.
  • the electronic device 1210 may display a currency GUI screen 1220 on a display (e.g., display 220 of FIG. 2) when in call connection with an external electronic device.
  • the electronic device 1210 transitions to a voice recognition mode during a call to execute voice commands determined based on voice received from an external electronic device and to sequentially perform operations in the order of voice command execution And output it to the display.
  • the electronic device 1210 may output the first operation screen 1221 according to the execution of the function to the display and output the second operation screen 1222 of the next order to the display.
  • the operation screen according to the execution of the function may sequentially output a plurality of screens according to the operation order, but is not limited thereto.
  • the electronic device 1210 may display on the display only the results of performing the last sequence of operations while performing a plurality of operations.
  • the electronic device 1210 may notify the user that the function has been executed while the function is being executed, for example, and may return to the display of the communication application screen 1220 when the function execution is completed.
  • the electronic device 1210 when a plurality of operations are performed according to the execution of the function, the electronic device 1210 outputs a screen requesting the input of the user to the display, An input can be induced. For example, if an external electronic voice command is a command to pre-order performance tables on a particular website, login information for a particular website may be needed. For example, the electronic device 1210 may switch to a login screen of a particular web site on the call screen to direct the user's input. The user can directly enter the parameters required in a plurality of operations through the login screen of the specific web site to complete the execution of the login operation of the specific web site. The electronic device 1210 can complete the function execution based on the user's input and notify the user or the external electronic device that the function execution is completed.
  • FIG. 13 illustrates an example of performing a function with voice during a call between an electronic device according to an embodiment of the present invention.
  • the electronic device 1320 may send a function execution screen based on the voice received from the external electronic device 1310 to an external electronic device 1310 to inform the user of the external electronic device that the function is being performed in the electronic device 1320.
  • the external electronic device 1310 and the electronic device 1320 can output the call GUI screens 1311 and 1321 to the display (e.g., the display 220 in FIG. 2) in a call connection state.
  • the electronic device 1320 when the external electronic device 1310 has voice control authority in a state where the telephone is connected, the electronic device 1320 recognizes that the trigger voice is ignited, or when the trigger key input signal is received, It can be switched to the recognition mode. As another example, the external electronic device 1310 may be switched to a voice recognition mode during a call.
  • the external electronic device 1310 may communicate voice commands for controlling the electronic device 1320 over a communication channel using a communication network.
  • the electronic device 1320 can perform speech recognition based on the speech received from the external electronic device 1312 and perform the functions of the electronic device corresponding to the recognized speech command.
  • the electronic device 1320 may output an operation screen 1322, which is performed in accordance with the function execution command, to the display.
  • the electronic device 1320 may send operation screen information to an external electronic device to share an operation screen 1322 output from the electronic device with the external electronic device 1310, for example.
  • the external electronic device 1310 may output an operation screen 1323 received from the electronic device 1320, for example, in a call state, to at least some areas of the display.
  • the electronic device 1320 when a plurality of operations are performed according to the execution of the function, the electronic device 1320 outputs a screen requesting the input of the user to the display, An input can be induced.
  • the electronic device 1320 may share a screen requesting a user input with the external electronic device 1310, and may receive parameter information input from the external electronic device to complete the function execution .
  • the electronic device and the external electronic device output notification information such as " function execution completed " in addition to returning to the call GUI screen in a pop-up form upon completion of function execution
  • a notification sound may be output through a speaker.
  • the electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a laptop, a desktop, a smart phone
  • portable multimedia device e.g., a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include instructions stored on a machine-readable storage medium (e.g., internal memory 136 or external memory 138) readable by a machine (e.g., a computer) Software (e.g., program 140).
  • the device may include an electronic device (e.g., electronic device 101) in accordance with the disclosed embodiments as an apparatus capable of calling stored instructions from the storage medium and operating according to the called instructions.
  • a processor e.g., processor 120
  • the processor may perform the function corresponding to the instruction, either directly or using other components under the control of the processor.
  • the instructions may include code generated or executed by the compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM ).
  • an application store eg PlayStore TM
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예에 따르면, 전자 장치는 통신 모듈과, 디스플레이와, 메모리 그리고, 상기 통신 모듈, 디스플레이 및 메모리와 전기적으로 연결된 프로세서를 포함하며, 상기 메모리는 실행 시에 상기 프로세서가, 외부 전자 장치와 통화 연결이 유지된 상태에서, 통화 중 음성 인식 트리거 명령을 수신하는 경우, 상기 트리거 명령 이후에 상기 외부 전자 장치로부터 수신된 음성을 기반으로 음성 인식 기능을 수행하고, 인식된 음성에 대응하는 기능 실행 명령을 결정하고, 상기 결정된 기능 실행 명령에 따라 상기 전자 장치의 기능을 실행하는 인스트럭션들을 저장할 수 있다. 다른 실시예도 가능할 수 있다.

Description

전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
본 발명은 전자 장치 및 통화 중 전자 장치 간 음성으로 기능을 실행하는 방법에 관한 것이다.
음성 인식 기술은 음성 입력 장치(예, 마이크)를 구비하는 다양한 전자 장치에서 구현될 수 있다. 이러한 음성 인식 기술은 최근 전자 장치에서 물리적 입력을 대체하고, 음성으로 전자 장치를 제어하기 위해 점점 보편화되는 추세이다.
전자 장치에 구현된 음성 인식 기술은 외부 전자 장치에 구현된 음성 인식 기술의 활용에 어려움이 있을 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 통화 중 음성 인식 기능을 활성화하여 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 동작할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치는 통화 중인 외부 전자 장치에 설치된 음성 인식 기능을 동작할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는 통신 모듈과, 디스플레이와, 메모리 및 상기 통신 모듈, 디스플레이 및 메모리와 전기적으로 연결된 프로세서를 포함하며, 상기 메모리는 실행 시에 상기 프로세서가, 외부 전자 장치와 통화 연결이 유지된 상태에서, 통화 중 음성 인식 트리거 명령을 수신하고, 상기 외부 전자 장치로부터 수신된 음성을 기반으로 음성 인식 기능을 수행하고, 인식된 음성에 대응하는 기능 실행 명령을 결정하고, 상기 결정된 기능 실행 명령에 따라 상기 전자 장치의 기능을 실행하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는 외부 전자 장치와 통화 연결이 유지된 상태에서 통화 중 음성 인식 트리거 명령을 수신하고, 상기 트리거 명령 이후에 상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하고, 상기 인식된 음성에 대응하는 기능 실행 명령을 결정하고, 그리고 상기 결정된 기능 실행 명령에 따라 통화 중 전자 장치의 기능을 실행할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 외부 전자 장치와 통화 연결 상태에서 사용자 인증에 기반하여 외부 전자 장치의 음성 인식 기능을 활성화하여, 외부 전자 장치를 음성을 통해 제어할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 외부 전자 장치와 통화 연결 상태에서 외부 전자 장치로부터 수신된 음성 데이터로 음성 인식을 수행하고, 인식된 음성 명령에 대응하는 기능을 실행시킬 수 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내의 전자 장치를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 음성 인식 시스템의 전자 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 4는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 5는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 7은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 8은 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 9는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 10a 및 도 10 b는 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 통신 채널의 예시를 도시한다.
도 11은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 12는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 예시를 도시한다.
도 13은 본 발명의 일 실시예에 따른 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 음성 인식 시스템의 전자 장치를 나타낸 블록도이다.
도 2를 참조하면, 전자 장치(200 예; 도 1의 전자 장치(101))는 입력 모듈(210, 예; 도 1의 입력 장치(150)), 디스플레이(220 예; 도 1의 표시 장치(160)), 스피커(230 예; 도 1의 음향 출력 장치(155)), 메모리(240 예; 도 1의 메모리(130)), 통신 모듈(260: 예, 도 1의 통신모듈(190))또는 프로세서(250 예; 도 1의 프로세서(120))을 포함할 수 있다. 전자 장치 (200)는 하우징을 더 포함할 수 있고, 상기 전자 장치 (200)의 구성들은 상기 하우징의 내부에 안착되거나 하우징 상에(on the housing) 위치할 수 있다.
일 실시 예에 따른, 입력 모듈(210)은 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력 모듈(210)은 연결된 외부 장치(예: 키보드, 헤드셋)로부터 사용자 입력을 수신할 수 있다. 다른 예를 들어, 입력 모듈(210)은 디스플레이(220)와 결합된 터치 스크린(예: 터치 스크린 디스플레이)을 포함할 수 있다. 또 다른 예를 들어, 입력 모듈(210)은 전자 장치(200)(또는, 전자 장치(200)의 하우징)에 위치한 하드웨어 키(예: 도 3의 212)(또는, 물리적 키)를 포함할 수 있다.
일 실시 예에 따르면, 입력 모듈(210)은 사용자의 발화를 음성 신호로 수신할 수 있는 마이크(예: 도 2의 211)를 포함할 수 있다. 예를 들어, 입력 모듈(210)은 발화 입력 시스템(speech input system)을 포함하고, 상기 발화 입력 시스템을 통해 사용자의 발화를 음성 신호로 수신할 수 있다.
일 실시 예에 따른, 디스플레이(220)는 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 디스플레이(220)는 어플리케이션의 그래픽 사용자 인터페이스(graphic user interface)(GUI)를 표시할 수 있다.
일 실시 예에 따르면, 스피커(230)는 음성 신호를 출력할 수 있다. 예를 들어, 스피커(230)는 전자 장치(200) 내부에서 생성된 음성 신호를 외부로 출력할 수 있다.
일 실시 예에 따르면, 메모리(240)는 음성 인식 어플리케이션 및 제2 어플리케이션으로 구성된 복수의 어플리케이션(241, 243)과 관련된 데이터를 저장할 수 있다. 예를 들어, 메모리(240)에 저장된 복수의 어플리케이션(241, 243)은 사용자 입력에 따라 선택되어 실행되고 동작할 수 있다.
일 실시 예에 따르면, 메모리(240)는 사용자 입력을 인식하는데 필요한 정보를 저장할 수 있는 데이터베이스를 포함할 수 있다. 예를 들어, 메모리(240)는 로그(log) 정보를 저장할 수 있는 로그 데이터베이스를 포함할 수 있다. 다른 예를 들어, 메모리(240)는 사용자 정보를 저장할 수 있는 페르소나 데이터베이스를 포함할 수 있다.
일 실시 예에 따르면, 메모리(240)는 적어도 하나의 어플리케이션(예: 음성 인식 어플리케이션(241))을 저장하고, 적어도 하나의 어플리케이션(241, 243)은 휘발성 메모리로 로드되어 동작할 수 있다. 예를 들어, 메모리(240)에 저장된 적어도 하나의 어플리케이션(241,243)은 프로세서(250)의 실행 매니저 모듈(253)에 의해 휘발성 메모리로 로드되어 동작할 수 있다. 적어도 하나의 어플리케이션(241, 243)은, 예를 들어, 기능을 수행하는 실행 서비스(243a) 또는 복수의 동작(또는, 단위 동작)(243b)을 포함할 수 있다. 예를 들어, 실행 서비스(243a)는 프로세서(250)의 실행 매니저 모듈(253)에 의해 생성되고, 복수의 동작 (243b)을 실행할 수 있다.
일 실시 예에 따르면, 어플리케이션(241, 243)의 동작(243b)이 실행되었을 때, 동작(243b)의 실행에 따른 실행 상태 화면은 디스플레이(220)에 표시될 수 있다. 상기 실행 상태 화면은, 예를 들어, 동작(243b)이 완료된 상태의 화면일 수 있다. 상기 실행 상태 화면은, 다른 예를 들어, 동작(243b)의 실행이 정지된 상태(partial landing)(예: 동작(243b)에 필요한 파라미터가 입력되지 않은 경우)의 화면일 수 있다.
일 실시 예에 따른, 실행 서비스(243a)는 패스 룰(path rule)에 따라 동작(243b)을 실행할 수 있다. 예를 들어, 실행 서비스(243a)는 실행 매니저 모듈(253)에 의해 활성화되고, 실행 매니저 모듈(253)로부터 상기 패스 룰에 따라 실행 요청을 수신하고, 상기 실행 요청에 따라 동작(243b)을 어플리케이션(241, 243)의 동작을 실행할 수 있다. 실행 서비스(243a)는 상기 동작(243b)의 수행이 완료되면 완료 정보를 실행 매니저 모듈(253)로 송신할 수 있다.
일 실시 예에 따르면, 어플리케이션(241, 243)에서 복수의 동작(243b)이 실행되는 경우, 복수의 동작(243b)은 순차적으로 실행될 수 있다. 실행 서비스(243a)는 하나의 동작(동작 1)의 실행이 완료되면 다음 동작(동작 2)을 오픈하고 동작 1의 완료 정보를 실행 매니저 모듈(253)로 송신할 수 있다. 임의의 동작을 오픈한다는 것은, 예를 들어, 임의의 동작을 실행 가능한 상태로 천이시키거나, 임의의 동작의 실행을 준비하는 것으로 이해될 수 있다. 예컨대, 임의의 동작이 오픈되지 않으면, 해당 동작은 실행될 수 없다.
일 실시 예에 따르면, 실행 매니저 모듈(253)은 상기 완료 정보가 수신되면 다음 동작(예: 동작 2)에 대한 실행 요청을 실행 서비스(243a)로 송신할 수 있다. 일 실시 예에 따르면, 복수의 어플리케이션(141, 243)이 실행되는 경우, 복수의 어플리케이션(241, 243)은 순차적으로 실행될 수 있다. 예를 들어, 실행 매니저 모듈(253)은, 제1 어플리케이션 또는 음성 인식 어플리케이션(241)의 마지막 동작의 실행이 완료되어 실행 서비스로부터 완료 정보를 수신하면, 다른 어플리케이션(243)의 첫번째 동작의 실행 요청을 실행 서비스(243a)로 송신할 수 있다.
일 실시 예에 따르면, 어플리케이션(241, 243)에서 복수의 동작(243b)이 실행된 경우, 상기 실행된 복수의 동작(243b)의 실행에 따른 결과 화면은 디스플레이(220)에 표시될 수 있다. 일 실시 예에 따르면, 상기 실행된 복수의 동작(243b)의 실행에 따른 복수의 결과 화면 중 일부만 디스플레이(220)에 표시될 수 있다.
일 실시 예에 따르면, 메모리(240)는 지능형 에이전트(251)와 연동된 지능형 어플리케이션(예: 음성 인식 어플리케이션(241))을 저장할 수 있다. 지능형 에이전트(251)와 연동된 음성 인식 어플리케이션(241)은, 예를 들어, 사용자의 발화를 음성 신호로 수신하여 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)와 연동된 음성 인식 어플리케이션은 입력 모듈(210)을 통해 입력되는 특정 입력(예: 하드웨어 키를 통한 입력, 터치 스크린을 통한 입력, 특정 음성 입력)에 의해 동작될 수 있다.
일 실시 예에 따르면, 프로세서(250)는 전자 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(250)는 입력 모듈(210)을 제어하여 사용자 입력을 수신할 수 있다. 프로세서(250)는 디스플레이(220)를 제어하여 이미지를 표시할 수 있다. 프로세서(250)는 스피커(230)를 제어하여 음성 신호를 출력할 수 있다. 프로세서(250)는 메모리(240)를 제어하여 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 지능형 에이전트(251), 실행 매니저 모듈(253) 또는 지능형 서비스 모듈(255)를 포함할 수 있다. 일 실시 예에서, 프로세서(250)는 메모리(240)에 저장된 명령어들을 실행하여 지능형 에이전트(251), 실행 매니저 모듈(253) 또는 지능형 서비스 모듈(255)을 활성화시킬 수 있다. 본 발명의 다양한 실시 예에서 언급되는 여러 모듈들은 하드웨어로 구현될 수도 있고, 소프트웨어로 구현될 수도 있다. 본 발명의 다양한 실시 예에서 지능형 에이전트(251), 실행 매니저 모듈(253) 또는 지능형 서비스 모듈(255)에 의해 수행되는 동작은 프로세서(250)에 의해 수행되는 동작으로 이해될 수 있다.
일 실시 예에 따른, 지능형 에이전트(251)는 수신된 음성 신호에 기초하여 어플리케이션을 동작시키는 명령을 생성할 수 있다. 일 실시 예에 따른, 실행 매니저 모듈(253)은 지능형 에이전트(251)로부터 상기 생성된 명령을 수신하여 메모리(240)에 저장된 어플리케이션(241, 243)을 선택하여 실행시키고 동작시킬 수 있다. 일 실시 예에 따르면, 지능형 서비스 모듈(255)은 사용자의 정보를 관리하여 사용자 입력을 처리하는데 이용할 수 있다. 지능형 에이전트(251)는 입력 모듈(210)을 통해 수신된 사용자 입력을 지능형 서버(200)로 송신하여 처리할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 상기 사용자 입력을 지능형 서버(200)로 송신하기 전에, 상기 사용자 입력을 전처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)는 상기 사용자 입력을 전처리하기 위하여, 적응 반향 제거(adaptive echo canceller)(AEC) 모듈, 노이즈 억제(noise suppression)(NS) 모듈, 종점 검출(end-point detection)(EPD) 모듈 또는 자동 이득 제어(automatic gain control)(AGC) 모듈을 포함할 수 있다. 상기 적응 반향 제거 모듈은 상기 사용자 입력에 포함된 에코(echo)를 제거할 수 있다. 상기 노이즈 억제 모듈은 상기 사용자 입력에 포함된 배경 잡음을 억제할 수 있다. 상기 종점 검출 모듈은 상기 사용자 입력에 포함된 사용자 음성의 종점을 검출하여 사용자의 음성이 존재하는 부분을 찾을 수 있다. 상기 자동 이득 제어 모듈은 상기 사용자 입력을 인식하여 처리하기 적합하도록 상기 사용자 입력의 음량을 조절할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)는 성능을 위하여 상기 전처리 구성을 전부 포함할 수 있지만, 다른 실시 예에서 지능형 에이전트(251)는 저전력으로 동작하기 위해 상기 전처리 구성 중 일부를 포함할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 사용자의 호출을 인식하는 웨이크 업(wake up) 인식 모듈을 포함할 수 있다. 상기 웨이크 업 인식 모듈은, 예를 들어, 음성 인식 모듈(또는 음성 인식 어플리케이션)을 통해 사용자의 웨이크 업 명령을 인식 기능을 수행할 수 있다. 상기 웨이크 업 명령을 인식한 경우 사용자 입력을 수신하기 위해 지능형 에이전트(251)을 활성화시킬 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)의 웨이크 업 인식 모듈은 저전력 프로세서(예: 오디오 코덱에 포함된 프로세서)에 구현될 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)는 하드웨어 키를 통한 입력에 따라 활성화될 수 있다. 지능형 에이전트(251)가 활성화 되는 경우, 지능형 에이전트(251)와 연동된 음성 인식 어플리케이션(241)이 실행될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 입력을 인식하기 위한 음성 인식 모듈을 포함할 수 있다. 상기 음성 인식 모듈은, 예를 들어, 음성 인식 어플리케이션(241)을 이용하여 음성 인식 기능을 수행하여 동작을 실행하도록 하기 위한 입력을 인식할 수 있다. 예를 들어, 상기 음성 인식 모듈은 음성 인식 어플리케이션(241)에서 상기 웨이크 업 명령 또는, 동작을 실행하는 제한된 사용자 음성 입력(예: 카메라 어플리케이션이 실행 중일 때 촬영 동작을 실행시키는 “찰칵”과 같은 발화 등)을 인식할 수 있다. 상기 지능형 서버(300)를 보조하여 사용자 입력을 인식하는 음성 인식 모듈은, 예를 들어, 전자 장치(200)내에서 처리할 수 있는 사용자 명령을 인식하여 빠르게 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)의 사용자 입력을 인식하기 위한 음성 인식 모듈은 어플리케이션 프로세서에서 구현될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)의 음성 인식 모듈(웨이크 업 인식 모듈의 음성 인식 모듈을 포함)은 음성을 인식하기 위한 알고리즘을 이용하여 사용자 입력을 인식할 수 있다. 상기 음성을 인식하기 위해 사용되는 알고리즘은, 예를 들어, HMM(hidden markov model) 알고리즘, ANN(artificial neural network) 알고리즘 또는 DTW(dynamic time warping) 알고리즘 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 사용자의 음성 입력을 텍스트 데이터로 변환할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)는 사용자의 음성을 지능형 서버로(300)로 전달하여, 변환된 텍스트 데이터를 수신할 수 있다. 지능형 에이전트(251)는, 예를 들어, 상기 텍스트 데이터를 디스플레이(220)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 지능형 서버(300)로부터 패스 룰을 수신할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(251)는 패스 룰을 실행 매니저 모듈(253)로 송신할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(251)는 지능형 서버(300)로부터 수신된 패스 룰에 따른 실행 결과 로그(log)를 지능형 서비스(intelligence service) 모듈(255)로 송신하고, 송신된 실행 결과 로그는 페르소나 모듈(persona manager)(255b)의 사용자의 선호(preference) 정보에 누적되어 관리될 수 있다.
일 실시 예에 따른, 실행 매니저 모듈(253)은 지능형 에이전트(251)로부터 패스 룰을 수신하여 어플리케이션(241, 243)을 실행시키고, 어플리케이션(241, 243)이 패스 룰에 포함된 동작(243b)을 실행하도록 할 수 있다. 예를 들어, 실행 매니저 모듈(253)은 어플리케이션(241, 243)으로 동작(243b)을 실행하기 위한 명령 정보를 송신할 수 있고, 어플리케이션(241, 243)로부터 동작(243b)의 완료 정보를 수신할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(253)은 지능형 에이전트(251)와 어플리케이션(241, 243)의 사이에서 어플리케이션(241, 243)의 동작(243b)을 실행하기 위한 명령 정보를 송수신할 수 있다. 실행 매니저 모듈(253)은 패스 룰에 따라 실행할 어플리케이션(241, 243)을 바인딩(binding)하고, 패스 룰에 포함된 동작(243b)의 명령 정보를 어플리케이션(241, 243)으로 송신할 수 있다. 예를 들어, 실행 매니저 모듈(253)은 상기 패스 룰에 포함된 동작(243b)을 순차적으로 어플리케이션(241, 243)으로 송신하여, 어플리케이션(241, 243)의 동작(243b)을 상기 패스 룰에 따라 순차적으로 실행시킬 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(253)은 어플리케이션(241, 243)의 동작(243b)의 실행 상태를 관리할 수 있다. 예를 들어, 실행 매니저 모듈(253)은 어플리케이션(241, 243)으로부터 상기 동작(243b)의 실행 상태에 대한 정보를 수신할 수 있다. 상기 동작(243b)의 실행 상태가, 예를 들어, 정지된 상태(partial landing)인 경우(예: 동작(243b)에 필요한 파라미터가 입력되지 않은 경우), 실행 매니저 모듈(253)은 상기 정지된 상태에 대한 정보를 지능형 에이전트(251)로 송신할 수 있다. 지능형 에이전트(251)는 상기 수신된 정보를 이용하여, 사용자에게 필요한 정보(예: 파라미터 정보)의 입력을 요청할 수 있다. 상기 동작(243b)의 실행 상태가, 다른 예를 들어, 동작 상태인 경우에 지능형 에이전트(251)는 사용자로부터 발화를 수신할 수 있고, 실행 매니저 모듈(253)은 상기 실행되고 있는 어플리케이션(241, 243) 및 어플리케이션(241, 243)의 실행 상태에 대한 정보를 지능형 에이전트(251)로 송신할 수 있다. 지능형 에이전트(251)는 지능형 서버(200)를 통해 상기 사용자의 발화의 파라미터 정보를 수신할 수 있고, 상기 수신된 파라미터 정보를 실행 매니저 모듈(253)로 송신할 수 있다. 실행 매니저 모듈(253)은 상기 수신한 파라미터 정보를 이용하여 동작(243b)의 파라미터를 새로운 파라미터로 변경할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(253)은 패스 룰에 포함된 파라미터 정보를 어플리케이션(241, 243)으로 전달할 수 있다. 패스 룰(에 따라 복수의 어플리케이션(241, 243)이 순차적으로 실행되는 경우, 실행 매니저 모듈(253)은 하나의 어플리케이션에서 다른 어플리케이션으로 패스 룰에 포함된 파라미터 정보를 전달할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(253)은 사용자의 발화에 기초하여 선택된 복수의 패스 룰을 수신할 수 있다. 예를 들어, 실행 매니저 모듈(253)은 사용자의 발화가 일부 동작을 실행할 일부 어플리케이션(예: 음성 인식 어플리케이션(241))을 특정하였지만, 나머지 동작을 실행할 다른 어플리케이션(243)을 특정하지 않은 경우, 일부 동작을 실행할 동일한 어플리케이션(예: 갤러리 어플리케이션)이 실행되고 나머지 동작를 실행할 수 있는 서로 다른 어플리케이션(243)(예: 메시지 어플리케이션, 텔레그램 어플리케이션)이 실행되는 서로 다른 복수의 패스 룰을 수신할 수 있다. 실행 매니저 모듈(253)은, 예를 들어, 상기 복수의 패스 룰의 동일한 동작(예: 연속된 동일한 동작(243b))을 실행할 수 있다. 실행 매니저 모듈(253)은 상기 동일한 동작까지 실행한 경우, 상기 복수의 패스 룰에 포함된 서로 다른 어플리케이션(241, 243)을 선택할 수 있는 상태 화면을 디스플레이(220)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 서비스 모듈(255)는 컨텍스트 모듈(255a), 페르소나 모듈(255b) 또는 제안 모듈(255c)을 포함할 수 있다.
일 실시 예에 따르면, 컨텍스트 모듈(255a)는 어플리케이션(241, 243)으로부터 어플리케이션(241, 243)의 현재 상태를 수집할 수 있다. 예를 들어, 컨텍스트 모듈(255a)은 어플리케이션(241, 243)의 현재 상태를 나타내는 컨텍스트 정보를 수신하여 어플리케이션(241, 243)의 현재 상태를 수집할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(255b)은 전자 장치(200)을 사용하는 사용자의 개인 정보를 관리할 수 있다. 예를 들어, 페르소나 모듈(255b)은 전자 장치(200)의 사용 정보 및 수행 결과를 수집하여 사용자의 개인 정보를 관리할 수 있다.
일 실시 예에 따르면, 제안 모듈(255c)는 사용자의 의도를 예측하여 사용자에게 명령을 추천해줄 수 있다. 예를 들어, 제안 모듈(255c)은 사용자의 현재 상태(예: 시간, 장소, 상황, 어플리케이션)을 고려하여 사용자에게 명령을 추천해줄 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 통신 모듈(예: 도 1의 통신모듈(190), 도 2의 통신 모듈(260))과, 디스플레이(예: 도 1의 표시장치(160), 도 2의 디스플레이(220))와, 메모리(예: 도 1의 메모리(130), 도 2의 메모리(240)) 및 통신 모듈(190,260) 디스플레이(160,220) 및 메모리(130,240)와 전기적으로 연결된 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(250))를 포함하며, 상기 프로세서(120,250)는 외부 전자 장치와 통화 연결이 유지된 상태에서, 통화 중 음성 인식 트리거 명령을 수신하고, 상기 트리거 명령 이후에 기반하여 음성 인식 기능을 활성화하고, 수신된 음성을 기반으로 음성 인식 기능을 수행하고, 인식된 음성에 대응하는 기능 실행 명령을 결정하고, 상기 결정된 기능 실행 명령에 따라 상기 전자 장치의 기능을 실행하는 인스트럭션들을 저장할 수 있다.
상기 프로세서(120,250)가, 상기 통화 중 음성 인식 기능을 활성화한 경우, 마이크로부터 수신된 음성 데이터를 무시하고, 통화 연결 채널을 통해 상기 외부 전자 장치로부터 수신된 음성 데이터로 음성 인식 기능을 수행하는 통화 중 음성 인식 모드로 전환하도록 할 수 있다.
상기 프로세서가(120,250), 상기 외부 전자 장치로부터 음성 인식 기능 활성화를 위해 설정된 키 입력 신호 수신 시 상기 트리거 명령으로 인식하여 음성 인식 기능을 을 활성화하고 상기 외부 전자 장치로부터 상기 키 입력 신호의 수신이 유지되는 동안 수신된 음성으로 상기 음성 인식 기능을 수행하도록 할 수 있다.
상기 프로세서(120,250)가 상기 외부 전자 장치로부터 음성 인식 기능 활성화를 위해 설정된 키 입력 신호 수신 시 상기 트리거 명령으로 인식하여 음성 인식 기능 을 활성화하고, 키 입력 신호 수신 이후에, 상기 외부 전자 장치로부터 수신된 음성에 기반하여 상기 음성 인식 기능을 수행하고, 상기 키 입력 신호를 재 수신하는 경우, 상기 통화 중 음성 인식 모드를 종료하도록 할 수 있다.
상기 프로세서(120,250)가, 상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 상기 음성 인식 기능을 활성화하고, 음성 제어 권한이 없는 경우, 상기 음성 인식 기능을 활성화하지 않도록 제어할 수 있다.
상기 프로세서(120,250)가 통화 연결 시, 상기 외부 전자 장치 에게 원격으로 음성 제어 권한을 부여하기 위한 권한 부여 아이콘을 포함하는 통화 화면을 상기 디스플레이(160,220)에 출력하고, 상기 통화 화면을 통해 상기 권한 부여 아이콘의 선택 입력이 수신되는 경우, 상기 외부 전자 장치에 음성 제어 권한을 부여하여 음성 인식 기능을 활성화하고, 상기 통화 중 음성 인식 모드로 전환하도록 할 수 있다.
상기 프로세서(120,250)가 음성 인식 기능이 활성화된 상태에서 통화 연결되고, 상기 외부 전자 장치로부터 수신된 음성을 모니터링하여 트리거 명령에 해당되는 음성의 발화 시점을 인식하고, 상기 발화 시점이 인식된 경우, 상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 상기 발화 시점 이후에 상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하도록 할 수 있다.
상기 프로세서(120,250)가, 상기 통화 연결 시, 상기 외부 전자 장치가 상기 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 음성 인식 기능을 활성화하고, 상기 통화 중 음성 인식 모드로 전환하도록 할 수 있다.
상기 음성 제어 권한이 설정된 상기 외부 전자 장치는, 상기 전자 장치에 저장된 연락처 목록 중 가족 그룹에 포함된 장치 또는, 통화 중 음성 제어가 가능한 장치에 등록된 장치일 수 있다.
상기 프로세서(120,250)가, 결정된 적어도 하나의 기능 실행 동작에 대응하는 동작 화면을 디스플레이(160,220)에 출력하도록 할 수 있다.
상기 프로세서(120,250)가 상기 적어도 하나의 기능이 실행될 시 필요한 사용자 입력을 위한 사용자 인터페이스를 디스플레이(160,220)에 출력하고, 사용자의 입력에 기초하여 기능을 실행하도록 할 수 있다.
상기 프로세서(120,250)가 상기 디스플레이(160,220)에 출력되는 동작 화면 정보를 상기 외부 전자 장치로 전송하여 하도록 할 수 있다.
상기 프로세서(120,250)가 상기 통신 모듈(190,260))을 제어하여, 상기 외부 전자와 장치와의 음성 데이터는 제1 통신 채널로 송수신하고, 트리거 키 입력 신호 또는 동작 화면 정보 중 적어도 하나는 제2 통신 채널로 송수신하도록 할 수 있다.
상기 프로세서(120,250)가 상기 외부 전자 장치로부터 수신된 음성에 대응하여 상기 전자 장치의 기능의 실행이 완료된 경우, 전자 장치의 기능 실행이 완료됐음을 알림하는 피드백 정보를 상기 외부 전자 장치로 제공하도록 할 수 있다.
이하, 본 발명의 실시예에서 설명의 편의를 위하여, 전자 장치와, 외부 전자 장치로 구분하여 설명하기로 하나, 전자 장치 및 외부 전자 장치는, 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)를 포함할 수 있다. 본 발명의 실시예에서 전자 장치는 외부 전자 장치에 의해 원격으로 제어되는 피 원격(controlee) 장치로 이해되며, 외부 전자 장치는 전자 장치를 원격으로 제어하는 원격제어(controller)장치로 이해될 수 있다. 이하, 설명의 편의를 위하여 전자 장치가 동작의 주체인 것으로 설명하기로 하나, 전자 장치의 동작은 전자 장치의 프로세서의 제어 하에 수행될 수 있다. 또한, 외부 전자 장치 역시, 전자 장치에서 수행되는 모든 동작을 수행할 수 있음은 당연하다.
도 3은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 3을 참조하면, 다양한 실시예에 따른 전자 장치(예: 도 2의 전자 장치(200))는, 310 동작 에서, 통신 모듈(예; 도 2의 통신 모율(260))을 통해 외부 전자 장치와 통화(call) 연결될 수 있다. 예컨대, 전자 장치는, 적어도 하나의 기지국을 통해 전자 장치의 호 요청에 따른 응답 신호 또는 외부 전자 장치의 호 연결 요청에 수락하여 외부 전자 장치와 통신 채널을 설정할 수 있다.
320 동작 에서, 전자 장치는, 외부 전자 장치와 통화 연결 상태에서, 통화 중 음성 인식 기능을 위해 인증된(또는 설정된) 트리거 명령을 수신할 수 있다. 예를 들어, 인증된 트리거 명령은 음성 제어 권한을 갖는 외부 전자 장치로부터 수신된 음성 데이터 중, 음성 인식 기능을 트리거링하기 위한 트리거 음성 (예, "빅스비" "음성 인식 일어나" 등), 또는 음성 인식 기능을 활성화하기 위한 트리커 키(예, 하드 키 또는 소프트 키)의 입력 신호 중 적어도 하나일 수 있다.
일 실시예에 따르면, 전자 장치는 통화 중 외부 전자 장치로부터 음성 인식 기능을 활성화하기 위한 트리거 키의 입력 신호가 수신되거나, 전자 장치에서 통화 중 외부 전자 장치로 음성 제어 권한을 부여하기 위해 설정된 트리거 키의 선택 신호가 수신되는 경우, 트리거 명령으로 인지하여"통화 중 음성 인식 모드"로 전환할 수 있다.
일 실시 예에 따르면, 통화 중 음성 인식 모드는, 전자 장치의 마이크로부터 수신된 음성 데이터는 무시하고, 외부 전자 장치로부터 수신된 음성 데이터를 기반으로 음성 인식 기능을 수행하는 모드일 수 있다.
일 실시 예에 따르면, 트리거 키의 입력 신호 수신에 의해 통화 중 음성 인식 모드로 전환하는 경우, 전자 장치는 트리거 키의 입력 신호가 수신되는 시점 이후에 외부 전자 장치로부터 수신되는 음성에 기초하여 음성 명령을 인식할 수 있다. 또 다른 예로, 트리거 키의 입력 신호 수신에 의해 통화 중 음성 인식 모드로 전환하는 경우, 전자 장치는 트리거 키의 입력 신호의 수신이 유지되는 동안 외부 전자 장치로 수신된 음성으로 제한하여 음성 명령을 인식할 수도 있다. 또 다른 예로, 전자 장치는 트리거 키의 입력 신호가 수신되고, 트리거 키의 입력 신호가 재 수신되는 동안, 외부 전자 장치로부터 수신된 음성 데이터로 제한하여 음성 인식 기능을 수행할 수 있다. 또 다른 예로, 전자 장치는 트리거 키의 입력 신호 수신 후, 트리거 키의 입력 신호가 재 수신되는 경우, 통화 중 음성 인식 모드를 종료할 수 있다.
일 예에서, 외부 전자 장치로부터 수신된 트리거 키의 입력 신호는, 외부 전자 장치와 음성 통화 서비스를 제공하는 통신 채널(예, CS망(circuit switching network)통신) 또는 데이터 송수신 서비스를 제공하는 통신 채널(예, PS망(packet switching network) 통신) 중 적어도 하나를 이용하여 수신될 수 있다.
다른 실시예에 따르면, 전자 장치는, 통화 연결 시 외부 전자 장치가 음성 제어 권한이 있는 지를 판단하고 음성 제어 권한이 있는 장치로 판단된 경우, 통화 중 음성 인식 모드로 전환할 수 있다. 음성 제어 권한이 설정된 외부 전자 장치는, 예를 들어, 전자 장치에 저장된 연락처 목록 중 가족 그룹에 포함된 장치 또는, 통화 중 음성 명령이 가능한 장치에 등록된 장치 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 전자 장치는 외부 전자 장치가 음성 제어 권한이 있는 장치인지의 판단 결과에 응답하여 외부 전자 장치로부터 음성 제어를 위한 트리거 음성이 발화되는지를 모니터링할 수 있다. 예를 들어, 전자 장치는 트리거 음성을 모니터링하고, 트리거 음성 이후에 외부 전자 장치로부터 수신된 음성을 음성 인식을 위해 수집할 수 있다.
330 동작에서, 전자 장치는 트리거 명령 수신에 기반하여 음성 인식 기능을 활성화하고, 트리거 명령 이후에, 외부 전자 장치로부터 수신된 음성 데이터를 기반으로 음성 인식을 수행할 수 있다.
340 동작에서, 전자 장치는 외부 전자 장치로부터 수신된 음성에 대응하는 기능 실행 명령을 결정할 수 있다.
350 동작에서, 전자 장치는 외부 전자 장치로부터 수신된 음성에 대응하는 기능 실행 명령에 따라 전자 장치의 기능을 실행할 수 있다.
일 실시예에 따르면, 전자 장치는, 통화 중 음성 인식 모드에서, 마이크를 통해 수신된 음성 데이터는 무시하고, 통신망을 통해 외부 전자 장치로부터 수신된 음성 데이터를 텍스트 데이터로 변경할 수 있다. 전자 장치는, 예를 들어, 변경된 테스트 데이터에 기반하여 기능을 수행하기 위한 기능 실행 명령(또는 패스 룰(path rule))을 생성할 수 있다. 예를 들어, 기능 실행 명령은 어플리케이션의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또 다른 예로, 상기 기능 실행 명령은 특정 기능을 실행하기 위한 어플리케이션(이하, 어플리케이션) 또는 응용 프로그램의 동작을 포함할 수 있다. 전자 장치는, 생성된 기능 실행 명령에 따른 어플리케이션(또는 응용 프로그램)을 선택하고, 선택된 어플리케이션에서 기능 실행 명령에 포함된 동작을 실행시킬 수 있다.
다양한 실시예에 따르면, 전자 장치는, 기능 실행 명령에 따른 기능 실행 동작에 대응하여 동작 화면을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 기능 실행에 따른 적어도 하나의 동작을 실행하고, 적어도 하나의 동작의 전체 또는 마지막 순서의 동작을 실행한 결과 만을 디스플레이에 표시할 수도 있다.
다양한 실시예에 따르면, 전자 장치는 기능 실행 동작에 대응하는 동작 화면을 외부 전자 장치로 전송할 수 있다. 예를 들어, 외부 전자 장치는 전자 장치에서 수행되는 기능 실행 동작을 확인할 수 있다.
다른 실시예에 따르면, 전자 장치는 기능 실행 동작에 대응하여 동작 화면을 디스플레이에 표시하지 않을 수 있다. 예를 들어, 전자 장치는, 기능 실행 명령 또는 패스 룰에 따른 기능 실행 완료 시, 기능 실행이 완료 됐음을 알림하는 정보를 디스플레이에 제공하거나 사운드로 출력할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 4를 참조하면, 다양한 실시예에 따르면, 431 동작에서, 외부 전자 장치(410)(예: 도 2의 전자 장치(200))와 전자 장치(420)(예: 도 2의 전자 장치(200))는 통화 연결될 수 있다. 일 실시예에 따르면, 외부 전자 장치(410)와 전자 장치(420)는 트리거 음성을 인식할 수 있는 동작 상태로 운용될 수 있다.
432 동작에서, 외부 전자 장치(410)는 "통화 중 음성 인식 모드"로 전환하기 위해 트리거 음성을 전자 장치(420)로 전송하거나, 트리거 키의 입력(예, 프레스 등) 신호를 전자 장치(420)로 전송할 수 있다.
433 동작에서, 전자 장치(420)는 통화 연결이 유지된 상태에서 외부 전자 장치(410)로부터 수신된 음성 중 트리거 음성이 발화된 시점, 또는 트리거 키의 입력 신호가 수신된 시점에 외부 전자 장치(410)의 음성에 의해 음성 인식 기능이 제어되는 상태 예컨대, "통화 중 음성 인식 모드"로 전환할 수 있다.
일 실시 예에서, 전자 장치(420)는, 트리거 음성이 발화된 시점에 외부 전자 장치(410)가 음성 제어 권한이 있는지 여부를 판단하고, 음성 제어 권한이 있는 경우, "통화 중 음성 인식 모드"로 전환하고, 음성 제어 권한이 없는 경우, "통화 중 음성 인식 모드"로 전환하지 않는 동작을 더 포함할 수 있다. 예를 들어, 통화 상태에서 전자 장치(420)는 외부 전자 장치(410)로부터 트리거 명령이 수신되더라도 음성 제어 권한이 없다고 판단한 경우, 외부 전자 장치(420)로부터 수신된 음성은 무시할 수 있다.
일 실시예에 따르면, 전자 장치(420) 및 외부 전자 장치(410) 둘 다 통화 중 음성 인식 모드로 전환하여 마이크로부터 수신되는 음성 데이터는 무시하고, 통신 채널을 통해 수신된 음성 데이터로 제한하여 음성 인식 기능을 수행하는 모드로 전환될 수 있다. 예를 들어, 외부 전자 장치(410)는 통화 중 마이크로 수신된'빅스비'라는 트리거 음성의 발화가 검출되더라도, 통화가 연결된 상태이고, 통화 중 음성 인식 모드로 전환되어 있으므로 마이크를 통해 수신된 음성에 대한 음성 인식 기능을 제한할 수 있다. 예컨대, 외부 전자 장치(410)는 전자 장치(420)와 통화 도중에 트리거 음성이 발화되더라도 마이크를 통해 수신된 음성 데이터를 단지 전자 장치(420)로 전달되는데 이용될 수 있다. 이로 인해, 외부 전자 장치(410) 자신의 음성 인식 기능은 제한될 수 있다.
434 동작에서, 외부 전자 장치(410)는 마이크를 통해 전자 장치(420)에서 수행될 기능을 요청하기 위해 입력되는 음성명령을 전자 장치(420)로 전달할 수 있다.
435 동작에서, 전자 장치(420)는 외부 전자 장치(410)로부터 수신된 음성에 기반하여 음성 명령을 결정하고, 음성명령에 대응하는 전자 장치(420)의 기능을 실행할 수 있다.
436 동작에서, 외부 전자 장치(410)와 전자 장치(420)는 통화를 종료할 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다. 도 6은 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다
도 5 및 도 6을 참조하면, 다양한 실시예에 따른 전자 장치(예: 도 2의 전자 장치(200), 도 6의 전자 장치(620))는, 510 동작에서, 통신모듈(예: 도 2의 통신 모듈(260))을 통해 외부 전자 장치(예: 도 2의 전자 장치(200), 도 6의 외부 전자 장치(610)와 통화 연결될 수 있다.
520 동작에서, 전자 장치(620)는 통화 연결이 유지된 상태에서 음성 제어 또는 음성 인식 기능의 활성화를 위한 트리거 키(예, 하드웨어 키)의 입력 신호가 외부 전자 장치로부터 수신됐는지를 결정할 수 있다.
다양한 실시예에 따르면, 도 6에 도시된 바와 같이, 외부 전자 장치(610), 또는 전자 장치(620)는 음성 인식 기능의 활성화를 위한 하드웨어 키(612,622)를 포함할 수 있다. 또 다른 예로, 도면에 도시되지 않았으나, 외부 전자 장치(610), 또는 전자 장치(620)는 사용자의 발화를 음성 신호로 수신할 수 있는 마이크를 포함할 수 있다. 외부 전자 장치(610), 또는 전자 장치(620)는, 예를 들어, 하드웨어 키(612,622)를 통해 음성 인식 기능(또는 어플리케이션)을 실행시킬 수 있다.
일 실시예에 따르면, 상기 하드웨어 키(612,622)는 통화 상태일 경우, 외부 전자 장치를 원격으로 음성 제어하기 위한 트리거 키로 이용될 수 있다.
530 동작에서, 전자 장치(620)는 통화 연결이 유지되고, 외부 전자 장치(610)로부터 설정된 트리거 키(예: 도 6 의 하드웨어 키(612))의 입력 신호가 수신되면, '통화 중 음성 인식 모드'로 전환할 수 있다. 통화 중 음성 인식 모드는 마이크로부터 수신된 음성은 무시하고, 통신망을 통해 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하는 모드로 이해될 수 있다.
540 동작에서, 전자 장치(620)는, 통화 연결이 유지되고 외부 전자 장치(610)로부터 트리거 키의 입력 신호가 수신되는 동안 외부 전자 장치(610)로부터 수신된 음성으로 제한하여 음성 인식을 수행할 수 있다. 예컨대, 전자 장치(620)는, 트리거 키의 입력 신호가 수신된 시점부터 트리거 키의 입력 신호가 수신되지 않은 시점 사이에 외부 전자 장치(610)로부터 수신된 음성 데이터를 확인하고, 확인된 음성 데이터에 기반하여 음성 인식 기능을 수행할 수 있다.
일 실시 예에서, 도 6에 도시된 바와 같이, 전자 장치(620)가 아버지 장치이고, 외부 전자 장치(610)가 아들 장치일 경우, 아들 장치와 아버지 장치는 통화 연결된 상태일 수 있으며, 각각 통화 화면(611, 621)을 출력할 수 있다. 아들과 아버지가 통화 하는 도중에 아버지가 아버지 장치(예, 전자 장치(620))의 기능 실행을 어려워할 경우, 아들은, 통화 상태를 유지하고, 아들 장치(예, 외부 전자 장치(610))의 트리거 키로 설정된 하드웨어 키(612)를 지속적으로 누른 상태에서 아버지 장치의 기능 제어를 위한 음성을 발화할 수 있다. 예를 들어, 아들은 아버지와 통화 상태에서 "빅스비, 브라우저를 열어 코레일 닷컴 사이트에 접속하고 출발지 서울, 목적지 부산, 저녁 7시 무궁화호 한 장 예매해줘"라는 음성을 아들 장치(예: 외부 전자 장치(610))의 하드웨어 키(612)를 지속적으로 누른 상태에서 음성을 발화할 수 있다. 아들 장치는, 하드웨어 키(622)의 입력 신호와 동시에 아들이 발화한 음성 데이터를 아버지 장치로 제공할 수 있다.
540 동작에서, 전자 장치(620)는 키 입력 신호 수신이 유지되는 동안 외부 전자 장치(610)로부터 수신된 음성 데이터에 기반하여 음성 인식을 수행할 수 있다.
550 동작에서, 전자 장치(620)는 외부 전자 장치(610)로부터 수신된 음성 명령에 대응하여 결정된 전자 장치의 기능을 실행할 수 있다.
560 동작에서, 전자 장치(620)는 통화가 종료됐는지를 결정하고, 통화가 종료된 경우, 프로세스를 종료하고, 통화가 종료되지 않는 경우, 520 단계로 복귀할 수 있다.
일 실시 예에 따르면, 전자 장치(620)가 통화 중 음성 인식 모드로 전환된 경우, 외부 전자 장치(610) 역시 통화 중 음성 인식 모드로 전환될 수 있으며, 외부 전자 장치(610)에서 수행될 수 있는 음성 인식 기능의 실행을 제한할 수 있다. 일 예를 들어, 대기 모드(예컨대, 통화 상태를 제외한 모드)에서 외부 전자 장치(610)는 하드웨어 키(612)의 프레스(press) 입력이 검출되면, 외부 전자 장치(610)의 음성 인식 기능을 활성화시키고, 외부 전자 장치(610)의 마이크를 통해 수신된 음성을 기반으로 음성 인식을 수행하여 기능을 실행할 수 있다.
일 실시 예에 따르면, 통화 중 음성 인식 모드에서의 외부 전자 장치(610)는 하드웨어 키(612)의 프레스 입력이 수신되면, 전자 장치(620)의 음성 인식 기능이 동작하도록 요청할 수 있다. 통화 중 음성 인식 모드에서의 외부 전자 장치(610)는 하드웨어 키 입력 신호와 동시에 마이크를 통해 수신된 음성을 전자 장치(620)로 전달할 수 있다. 이때, 전자 장치(620)와 통화 상태인 외부 전자 장치(610)는, 하드웨어 키가 입력되었더라도 통화 상태임을 인지하고, 마이크를 통해 입력된 음성에 기반한 음성 인식 기능이 차단되도록 제어될 수 있다.
다양한 실시예에 따르면, 통화 중 음성 인식 모드는 원격으로 다른 전자 장치(예: 전자 장치(610))를 제어하고자 하는 장치(예: 외부 전자 장치(620))의 하드웨어 키(612)의 입력에 의해 전환될 수 있으나, 이에 한정하지 않고, 통화 상태에서 전자 장치(610)의 하드웨어 키(622)와 외부 전자 장치(620)의 하드웨어 키(612)가 동시에 입력 신호가 검출되는 경우로 제한하여 통화 중 음성 인식 모드로 전환될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다. 도 8은 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 7 및 도 8을 참조하면, 다양한 실시예에 따르면, 730 동작에서, 전자 장치(720)(예: 도 2의 전자 장치(200))와 외부 전자 장치(710)(예: 도 2의 전자 장치(200)))는 통화 연결될 수 있다.
731 동작에서, 전자 장치(720)와 외부 전자 장치(710)는 통화 연결에 대응하여 통화 그래픽 사용자 인터페이스(graphic user interface)(GUI)화면을 디스플레이에 출력할 수 있다, 예컨대, 도 8에 도시된 바와 같이, 외부 전자 장치(710)는 전자 장치(720)와 연결된 통화 GUI 화면(811)을 디스플레이에 출력하고, 전자 장치(720)는 외부 전자 장치(710)와 연결된 통화 GUI 화면(821)을 디스플레이에 출력할 수 있다.
다양한 실시예에 따르면, 통화 GUI 화면(811,821)은 통화 상태에서 외부 전자 장치(710)에게 원격으로 음성 제어 권한을 부여하기 위한 권한 부여 아이콘(813,823)을 더 포함할 수 있다. 예를 들어, 통화 GUI 화면(811,821)은 통화 어플리케이션 기능을 지원하는 다양한 아이콘들(예: 녹음 아이콘, 끊기 아이콘, 다이얼 패드 아이콘, 스피커 모드 전환 아이콘, 음소거 모드 아이콘, 또는 블루투스 아이콘 등), 또는 권한 부여 아이콘(813,823)을 포함할 수 있다. 통화 연결 상태에서 외부 전자에게 원격으로 음성 제어 권한을 부여하길 원할 경우, 사용자는 GUI 화면(811,821)에서 권한 부여 아이콘을 선택할 수 있다.
732 동작에서, 전자 장치(720)는, 통화 GUI 화면(821)에서 권한 부여 아이콘(823)의 선택 입력 신호를 수신하고, 이를 외부 전자 장치(710)로 전달할 수 있다.
*733 동작에서, 전자 장치(720)는 자신의 권한 부여 아이콘(823)의 선택 입력 신호에 응답하여 통화 중 음성 인식 모드로 전환하고, 외부 전자 장치(710)는 전자 장치(720)의 권한 부여 아이콘의 입력 신호의 수신에 응답하여 통화 중 음성 인식 모드로 전환할 수 있다.
734 동작에서, 외부 전자 장치(710)는 전자 장치(720)를 제어하기 위한 음성을 통화 연결된 통신망을 통해 전자 장치(720)로 전달할 수 있다. 735 동작에서, 전자 장치(720)는 외부 전자 장치(710)로부터 수신된 음성에 기반하여 음성 명령을 결정하고, 음성 명령에 대응하는 전자 장치(720)의 기능을 실행할 수 있다. 736 동작에서, 외부 전자 장치(710)와 전자 장치(720)는 통화를 종료할 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 9를 참조하면, 본 발령의 다양한 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200))는, 910 동작 에서, 통신 모듈을 통해 외부 전자 장치(예: 도 2의 전자 장치(200))와 통화(call) 연결될 수 있다.
920 동작에서, 전자 장치는, 외부 전자 장치로부터 수신된 음성 데이터 중 트리거 음성의 발화를 인식할 수 있다. 930 동작에서, 전자 장치는, 통화 연결된 외부 전자 장치가 음성 제어 권한이 있는 지를 판단할 수 있다.
940 동작에서, 전자 장치는 외부 전자 장치가 음성 제어 권한이 있는 장치인 경우, 외부 전자 장치의 제어 하에 음성 인식 기능을 실행할 수 있는 권한을 부여하고 통화 중 음성 인식 모드로 전환할 수 있다. 예를 들어, 통화 중 음성 인식 모드는 마이크로부터 수신된 음성 데이터에 의한 음성 인식은 차단하고, 호 통신을 통해 수신된 음성 데이터로 제한하여 음성 인식 기능을 수행하는 모드로 이해될 수 있다. 음성 제어 권한이 설정된 외부 전자 장치는, 예를 들어, 전자 장치에 저장된 연락처 목록 중 가족 그룹에 포함된 장치 또는, 통화 중 음성 명령이 가능한 장치에 등록된 장치일 수 있다.
전자 장치는 외부 전자 장치가 음성 제어 권한이 없는 경우, 980 단계로 진행할 수 있다.
950 동작에서, 전자 장치는 트리거 음성을 인식한 이후에 외부 전자 장치로부터 수신된 음성을 기반으로 음성 인식하여 음성 명령어로 인식할 수 있다.
960 동작에서, 전자 장치는 인식된 음성 명령에 대응하여 기능 실행 명령을 결정하고, 기능 실행 명령에 따라 전자 장치의 기능을 실행할 수 있다.
970 동작에서, 전자 장치는 통화 중 음성 인식 기능이 종료됐는지를 결정하고, 통화 중 음성 인식 기능이 종료되지 않는 경우, 950 동작으로 복귀할 수 있다.
일 실시예에 따르면, 전자 장치는 트리거 음성이 발화된 시점 이후에 수신된 음성의 발화 종료 시점부터 설정된 시간이 경과된 경우, 통화 중 음성 인식 기능이 종료됐음을 확인할 수 있다. 일 실시예에 따르면, 전자 장치는 외부 전자 장치로부터 수신된 음성에 기반한 전자 장치의 기능 실행 완료에 따라 음성 인식 기능이 종료 됐음을 확인할 수 있다.
전자 장치는 970 동작에서 통화 중 음성 인식 기능이 종료된 경우, 980 동작으로 진행하여 통화가 종료됐는지를 결정하고, 통화가 종료된 경우, 프로세스를 종료할 수 있다. 전자 장치는 980 동작에서 통화가 종료되지 않는 경우, 920 단계로 복귀하여 통화 상태가 유지된 상태에서 트리거 음성이 다시 인식되는지를 대기하고, 920 내지 980 단계를 반복할 수 있다.
도 10a 및 도 10 b는 본 발명의 일 실시예에 따른 전자 장치 간 통화 중 통신 채널의 예시를 도시한다.
도 10a 및 도 10 b를 참조하면, 다양한 실시예에 따르면, 전자 장치(1020 예: 도 2의 전자 장치(200))와 외부 전자 장치(1010 예: 도 2의 전자 장치(200))는 통화 중 음성 인식 모드를 지원하기 위해, 통화 상태에서 음성 데이터를 송수신하는 통신 채널을 이용하여 통화 중 음성 인식을 위한 데이터를 송수신하거나, 음성 데이터를 송수신하는 통신 채널 이외에 다른 통신 채널을 이용하여 통화 중 음성 인식을 위한 데이터를 송수신할 수 있다.
일 실시예에 따르면, 10a에 도시된 바와 같이, 전자 장치(1020)와 외부 전자 장치(1010)는 적어도 하나의 기지국을 통해 연결된 제1 통신 채널을 이용하여 음성 또는 영상 데이터를 송수신하고, 원격 음성 제어를 위한 트리거 키 신호 및 기능 실행에 따른 공유 화면 데이터를 송수신할 수도 있다.
다른 실시 예에 따르면, 10b에 도시된 바와 같이, 전자 장치(1020)와 외부 전자 장치(1010)는 적어도 하나의 기지국을 통해 연결된 제1 통신 채널을 이용하여 음성 및 영상 데이터를 송수신하고, 원격 음성 제어를 위한 트리거 키 신호 및 기능 실행에 따른 공유 화면 데이터는 제2 통신 채널을 통해 송수신 할 수 있다. 예를 들어, 제1 통신 채널은, 음성 통화 서비스를 제공하는 통신 채널(예, CS망(circuit switching network)통신)일 수 있으며, 제2 통신 채널은 데이터 송수신 서비스를 제공하는 채널(예, PS망(packet switching network) 통신) 일 수 있으나, 이에 한정하는 것은 아니다.
도 11은 본 발명의 일 실시예에 따른 전자 장치 간 음성으로 기능을 실행하는 방법을 도시한다.
도 11을 참조하면, 다양한 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200))는 1110 동작 에서, 통신 모듈을 통해 외부 전자 장치(예: 도 2의 전자 장치(200))와 통화(call) 연결될 수 있다.
1120 동작에서, 전자 장치는 통화 중 음성 인식 모드로 전환할 수 있다. 예를 들어, 전자 장치는 외부 전자 장치가 음성 제어 권한이 있는 경우, 트리거 음성이 발화됐음을 인지하거나, 트리거 키 입력 신호가 수신된 경우, 통화 중 음성 인식 모드로 전환될 수 있다.
1130 동작에서, 전자 장치는 외부 전자 장치로부터 수신된 음성 기반으로 음성 인식을 수행하고, 인식된 외부 전자 음성에 대응하여 기능 실행 명령을 결정할 수 있다.
1140 동작에서, 전자 장치는, 결정된 기능 실행 명령에 따라 기능을 실행하도록 처리할 수 있다.
1150 동작에서, 전자 장치는 기능 실행 명령에 따라 기능을 실행하는 도중 사용자 입력이 필요한지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 기능 실행 명령에 따라 순차적으로 기능 실행을 처리하는 도중 에러가 발생되거나, 특정 조건의 택일 입력이 요구되는 상황이 발생되는 경우, 사용자 입력이 필요하다고 판단할 수 있다.
1160 동작에서, 전자 장치는 기능 처리 도중 사용자 입력을 요청하는 UI를 출력할 수 있다.
1165 동작에서, 전자 장치는 기능 실행에 필요한 사용자 입력을 수신할 수 있다. 전자 장치는 수신된 사용자 입력을 이용하여 기능 실행 명령을 처리하고 1170 동작으로 진행할 수 있다. 또 다른 예로, 전자 장치는 사용자 입력이 필요 없는 경우, 결정된 기능 실행 명령에 대응하여 기능을 실행하고, 1170 동작으로 진행할 수 있다. 일 실시예에 따르면, 전자 장치는 외부 전자의 음성에 기반하여 수행되는 기능 실행 동작에 대응하는 동작 화면을 디스플레이에 출력할 수 있다. 또 다른 예로, 전자 장치는 기능 실행 동작에 대응하는 동작 화면을 외부 전자 장치로 제공하여 공유할 수도 있다.
1170 동작에서, 전자 장치는 기능 실행이 완료됐는지 결정하고, 기능 실행이 완료된 경우, 기능 실행 완료에 대한 피드백을 사용자에게 제공할 수 있다. 예를 들어 전자 장치는 외부 전자 음성에 의해 제어된 기능 실행 완료 시, 기능 실행이 완료 됐음을 알림하는 정보를 디스플레이에 제공하거나 사운드로 출력할 수 있다. 또 다른 예로, 전자 장치는 외부 전자 장치로 기능 실행이 완료 됐음을 알림하는 정보를 전달 할 수 있다.
1180 동작에서, 전자 장치는 통화가 종료됐는지를 판단하고, 통화 종료 된 경우 프로세스를 종료하고 통화가 종료되지 않는 경우, 1130 동작으로 복귀할 수 있다.
도 12는 본 발명의 일 실시예에 따른 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 12을 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(1210)(예: 도 2의 전자 장치(200))는, 외부 전자 장치(예: 도 2의 전자 장치(200))와 통화 중에 외부 전자 장치의 제어 하에, 음성 인식 서비스 기능이 실행될 수 있다. 전자 장치(1210)는 외부 전자 장치와 통화 연결되면, 디스플레이(예: 도 2의 디스플레이(220))에 통화 GUI 화면(1220)을 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(1210)는 통화 중 음성 인식 모드로 전환되어, 외부 전자 장치로부터 수신된 음성에 기반하여 결정된 음성 명령을 실행하고 음성 명령 실행의 순서에 따라 순차적으로 동작을 실행하고 이를 디스플레이에 출력할 수 있다. 전자 장치(1210)는 기능 실행에 따른 제1 동작 화면(1221)을 디스플레이에 출력하고 그 다음 순서의 제2 동작 화면(1222)을 디스플레이에 출력할 수 있다. 기능 실행에 따른 동작 화면은 동작 순서에 따라 복수개의 화면이 순차적으로 출력될 수 있으며, 이에 한정하는 것은 아니다. 또 다른 예로, 전자 장치(1210)는, 복수의 동작의 수행 중 마지막 순서의 동작을 실행한 결과 만을 디스플레이에 표시할 수도 있다. 전자 장치(1210)는, 예를 들어, 기능이 실행되는 동안 기능이 실행됐음을 사용자에게 알림하고, 기능 실행이 완료된 경우, 디스플레이에 통화 어플리케이션 화면(1220)으로 복귀할 수 있다.
다양한 실시예에 따르면, 전자 장치(1210)는 기능 실행에 따라 복수의 동작이 수행되는 과정에서, 사용자의 입력이 필요한 동작이 존재하는 경우, 사용자의 입력을 요구하는 화면을 디스플레이에 출력하여 사용자의 입력을 유도할 수 있다. 예를 들어, 외부 전자 음성 명령이 특정 웹사이트에서 공연표를 예매하라는 명령일 경우, 특정 웹사이트의 로그인 정보가 필요할 수 있다. 예를 들어, 전자 장치(1210)는 통화 화면에서 특정 웹사이트의 로그인 화면으로 전환하여 사용자의 입력을 유도할 수 있다. 사용자는 특정 웹사이트의 로그인 화면을 통해 복수의 동작에서 요구되는 파라미터를 직접 입력하여 특정 웹사이트의 로그인 동작의 실행이 완료되도록 할 수 있다. 전자 장치(1210)는 사용자의 입력에 기초하여 기능 실행을 완료하고 기능 실행이 완료됐음을 사용자, 또는 외부 전자 장치에게 알림할 수 있다.
도 13은 본 발명의 일 실시예에 따른 일 실시예에 따른 전자 장치 간 통화 중 음성으로 기능을 실행하는 예시를 도시한다.
도 13을 참조하면, 다양한 실시예에 따르면, 전자 장치(1320)(예: 도 2의 전자 장치(200))는 외부 전자 장치(1310)로부터 수신된 음성에 기반한 기능 실행 화면을 외부 전자 장치(1310)로 전송하여 공유함으로써, 외부 전자장치의 사용자에게 전자 장치(1320)에서 기능이 실행되고 있음을 피드백해줄 수 있다. 1330 동작에서, 외부 전자 장치(1310)와 전자 장치(1320)는 통화 연결된 상태에서 각각 통화 GUI 화면(1311,1321)을 디스플레이(예: 도 2의 디스플레이(220))에 출력할 수 있다.
일 예를 들어, 전자 장치(1320)는 통화 연결된 상태에서 외부 전자 장치(1310)가 음성 제어 권한이 있는 경우, 트리거 음성이 발화됐음을 인지하거나, 트리거 키 입력 신호가 수신된 경우, 통화 중 음성 인식 모드로 전환될 수 있다. 다른 예를 들어, 외부 전자 장치(1310)는 통화 중 음성 인식 모드로 전환될 수도 있다.
1331 동작에서, 외부 전자 장치(1310)는 전자 장치(1320)를 제어하기 위한 음성 명령을 통신망을 이용한 통신 채널을 통해 전달할 수 있다. 전자 장치(1320)는, 외부 전자 장치(1312)로부터 수신된 음성에 기반하여 음성 인식을 수행하고 인식된 음성 명령에 대응하는 전자 장치의 기능을 실행할 수 있다.
1332 동작에서, 전자 장치(1320)는 기능 실행 명령에 따라 수행되는 동작 화면(1322)을 디스플레이에 출력할 수 있다. 전자 장치(1320)는, 예를 들어, 전자 장치에서 출력되는 동작 화면(1322)을 외부 전자 장치(1310)와 공유하기 위해 외부 전자 장치로 동작 화면 정보를 전송할 수 있다. 외부 전자 장치(1310)는, 예를 들어, 통화 상태에서 전자 장치(1320)로부터 수신된 동작 화면(1323)을 디스플레이의 적어도 일부 영역에 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치(1320)는 기능 실행에 따라 복수의 동작이 수행되는 과정에서, 사용자의 입력이 필요한 동작이 존재하는 경우, 사용자의 입력을 요구하는 화면을 디스플레이에 출력하여 사용자의 입력을 유도할 수 있다. 또 다른 예를 들어, 전자 장치(1320)는 사용자의 입력을 요구하는 화면을 외부 전자 장치(1310)와 공유할 수 있으며, 외부 전자 장치로부터 입력되는 파라미터 정보를 수신받아 기능 실행을 완료할 수 있다.
1333 동작에서, 전자 장치(1320)에서 기능 실행이 완료된 경우, 기능 실행의 완료를 외부 전자 장치(1310)로 전달하고, 디스플레이는 통화 GUI 화면(1321)을 출력하여 기능 실행이 완료됐음을 사용자에게 알림할 수 있다. 외부 전자 장치(1310)는 전자 장치의 기능 실행의 완료에 따라 통화 GUI 화면(1311)을 디스플레이에 출력할 수 있다.
도면에 도시되지는 안았으나, 다양한 실시예에 따르면, 전자 장치 및 외부 전자 장치는 기능 실행의 완료 시, 통화 GUI 화면으로의 복귀 이외에 "기능 실행이 완료되었습니다"와 같은 알림 정보를 팝업 형태로 출력하거나, 스피커를 통해 알림음을 출력할 수 도 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    통신 모듈;
    디스플레이;
    메모리; 및
    상기 통신 모듈, 디스플레이 및 메모리와 전기적으로 연결된 프로세서를 포함하며,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    외부 전자 장치와 통화 연결이 유지된 상태에서, 통화 중 음성 인식 트리거 명령을 수신하고, 상기 트리거 명령에 기반하여 음성 인식 기능을 활성화 하고, 상기 외부 전자 장치로부터 수신된 음성을 기반으로 음성 인식 기능을 수행하고, 인식된 음성에 대응하는 기능 실행 명령을 결정하고, 상기 결정된 기능 실행 명령에 따라 상기 전자 장치의 기능을 실행하도록 하는 인스트럭션들을 저장하는 것을 특징으로 하는 전자 장치.
  2. 제 1항에 있어서,
    상기 인스트럭션들은, 프로세서가,
    상기 통화 중 음성 인식 기능을 활성화한 경우, 마이크로부터 수신된 음성 데이터를 무시하고, 통화 연결 채널을 통해 상기 외부 전자 장치로부터 수신된 음성 데이터로 음성 인식 기능을 수행하는 통화 중 음성 인식 모드로 전환하도록 하는 전자 장치.
  3. 제 2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 외부 전자 장치로부터 음성 인식 기능 활성화를 위해 설정된 키 입력 신호 수신 시 상기 트리거 명령으로 인식하여 음성 인식 기능을 활성화하고, 상기 외부 전자 장치로부터 상기 키 입력 신호의 수신이 유지되는 동안 상기 외부 전자 장치로부터 수신된 음성으로 상기 음성 인식 기능을 수행하도록 하는 전자 장치.
  4. 제 2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 외부 전자 장치로부터 음성 인식 기능 활성화를 위해 설정된 키 입력 신호 수신 시 상기 트리거 명령으로 인식하여 음성 인식 기능을 활성화하고, 상기 키 입력 신호 수신 이후에, 상기 외부 전자 장치로부터 수신된 음성에 기반하여 상기 음성 인식 기능을 수행하고, 상기 키 입력 신호를 재 수신하는 경우, 상기 통화 중 음성 인식 모드를 종료하도록 하는 전자 장치.
  5. 제 3항 또는 4항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 상기 음성 인식 기능을 활성화하고, 음성 제어 권한이 없는 경우, 상기 음성 인식 기능을 활성화하지 않도록 제어하는 전자 장치.
  6. 제 2항에 있어서,
    상기 인스트럭션들은, 프로세서가,
    통화 연결 시, 상기 외부 전자 장치 에게 원격으로 음성 제어 권한을 부여하기 위한 권한 부여 아이콘을 포함하는 통화 화면을 상기 디스플레이에 출력하고,
    상기 통화 화면을 통해 상기 권한 부여 아이콘의 선택 입력이 수신되는 경우, 상기 외부 전자 장치에 음성 제어 권한을 부여하여 음성 인식 기능을 활성화하고, 상기 통화 중 음성 인식 모드로 전환하도록 하는 전자 장치.
  7. 제2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    음성 인식 기능이 활성화된 상태에서 통화 연결되고, 상기 외부 전자 장치로부터 수신된 음성을 모니터링하여 트리거 명령에 해당되는 음성의 발화 시점을 인식하고, 상기 발화 시점이 인식된 경우, 상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 상기 발화 시점 이후에 상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하도록 하는 전자 장치.
  8. 제2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 통화 연결 시, 상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 음성 인식 기능을 활성화하고, 상기 통화 중 음성 인식 모드로 전환하도록 하는 전자 장치.
  9. 제7항 또는 제 8항에 있어서,
    음성 제어 권한이 설정된 상기 외부 전자 장치는, 상기 전자 장치에 저장된 연락처 목록 중 가족 그룹에 포함된 장치 또는, 통화 중 음성 제어가 가능한 장치에 등록된 장치인 것을 특징으로 하는 전자 장치.
  10. 제 2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 결정된 적어도 하나의 기능 실행 동작에 대응하는 동작 화면을 상기 디스플레이에 출력하도록 하는 전자 장치.
  11. 제 2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 적어도 하나의 기능이 실행될 시 필요한 사용자 입력을 위한 사용자 인터페이스를 디스플레이에 출력하고, 사용자의 입력에 기초하여 기능을 실행하도록 하는 전자 장치.
  12. 제 10항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이에 출력되는 동작 화면 정보를 상기 외부 전자 장치로 전송하도록 하는 전자 장치.
  13. 제 10항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 통신 모듈을 제어하여, 상기 외부 전자 장치와의 음성 데이터는 제1 통신 채널로 송수신하고, 트리거 키 입력 신호 또는 동작 화면 정보 중 적어도 하나는 제2 통신 채널로 송수신하도록 하는 전자 장치.
  14. 제 10항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 외부 전자 장치로부터 수신된 음성에 대응하여 상기 전자 장치의 기능의 실행이 완료된 경우, 전자 장치의 기능 실행이 완료됐음을 알림하는 피드백 정보를 상기 외부 전자 장치로 제공하도록 하는 전자 장치.
  15. 전자 장치에서 외부 전자 장치로부터 수신된 음성으로 기능을 제어하는 방법에 있어서,
    외부 전자 장치와 통화 연결이 유지된 상태에서 통화 중 음성 인식 트리거 명령을 수신하는 동작;
    상기 트리거 명령 이후에 상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하는 동작;
    상기 인식된 음성에 대응하는 기능 실행 명령을 결정하는 동작; 및
    상기 결정된 기능 실행 명령에 따라 통화 중 전자 장치의 기능을 실행하는 동작을 포함하는 방법.
  16. 제 15항에 있어서,
    상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하는 동작은,
    상기 통화 중 음성 인식 트리거 명령을 수신에 응답하여, 마이크로부터 수신된 음성 데이터를 무시하고, 통화 연결 채널을 통해 수신된 음성 데이터로 음성 인식 기능을 수행하는 방법.
  17. 제 15항에 있어서,
    상기 통화 중 음성 인식 트리거 명령을 수신하는 동작은,
    음성 제어 권한이 있는 외부 전자 장치로부터 수신된 트리거 발화 음성, 외부 전자 장치로부터 수신된 음성 인식 기능의 트리거링을 위해 설정된 키의 입력 신호 및 전자 장치에서 통화 중 음성 제어 권한을 부여하기 위한 권한 부여 아이콘의 선택 입력 신호 중 적어도 하나를 포함하는 방법.
  18. 제 15항에 있어서,
    상기 외부 전자 장치로부터 수신된 음성으로 음성 인식 기능을 수행하는 동작은,
    상기 외부 전자 장치부터 음성 인식 기능을 트리거링하기 하기 위해 설정된 트리거 키의 입력 신호가 유지되는 동안 수신된 외부 전자 음성에 기반하여 음성 인식을 수행하는 방법.
  19. 제 15항에 있어서,
    상기 외부 전자 음성으로 제한하여 음성 인식 기능을 수행하는 동작은,
    상기 외부 전자 장치로부터 음성 인식 기능의 트리거링을 위해 설정된 키 입력 신호 수신 시 상기 트리거 명령으로 인식하여 음성 인식 기능을 활성화하는 동작; 및
    상기 설정된 키 입력 신호의 수신 이후에, 수신된 외부 전자 음성에 기반하여 상기 음성 인식 기능을 수행하고, 상기 키 입력 신호를 재 수신하는 경우, 상기 통화 중 음성 인식 모드를 종료하는 동작을 더 포함하는 방법.
  20. 제 15항에 있어서,
    상기 통화 중 음성 인식 트리거 명령을 수신하는 동작은,
    상기 외부 전자 장치가 음성 제어 권한이 있는 장치인지를 판단하고, 음성 제어 권한이 있는 경우, 상기 외부 전자 장치로부터 수신된 음성에 기반하여 음성 인식을 수행하고, 음성 제어 권한이 없는 경우, 전자 장치의 마이크를 통해 수집된 음성에 기반하여 음성 인식을 수행하는 방법.
PCT/KR2018/013389 2017-11-06 2018-11-06 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법 WO2019088802A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/761,443 US11355110B2 (en) 2017-11-06 2018-11-06 Electronic device and method of performing functions of electronic devices by voice therebetween

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0146913 2017-11-06
KR1020170146913A KR102490376B1 (ko) 2017-11-06 2017-11-06 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법

Publications (1)

Publication Number Publication Date
WO2019088802A1 true WO2019088802A1 (ko) 2019-05-09

Family

ID=66333652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013389 WO2019088802A1 (ko) 2017-11-06 2018-11-06 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법

Country Status (3)

Country Link
US (1) US11355110B2 (ko)
KR (1) KR102490376B1 (ko)
WO (1) WO2019088802A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
KR102490376B1 (ko) * 2017-11-06 2023-01-25 삼성전자 주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP7075547B2 (ja) 2019-05-31 2022-05-25 アップル インコーポレイテッド オーディオメディア制御のためのユーザインタフェース
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11079913B1 (en) * 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
KR20220128882A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
WO2024096364A1 (ko) * 2022-11-04 2024-05-10 삼성전자주식회사 외부 전자 장치와 호 연결을 수립하기 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020048189A (ko) * 2000-12-16 2002-06-22 박찬준 음성 인식에 기초한 이동전화 단말기를 이용한 원격 감시시스템 및 이를 이용한 원격 감시 방법
KR100657059B1 (ko) * 2004-07-19 2006-12-13 삼성전자주식회사 음성인식구동방법
KR20080036697A (ko) * 2006-10-24 2008-04-29 삼성전자주식회사 휴대용 단말기에서 원격 제어 방법 및 장치
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR20100041501A (ko) * 2008-10-14 2010-04-22 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 어플리케이션 제어방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002905B1 (ko) * 2004-05-18 2010-12-21 삼성전자주식회사 음성 인식을 이용한 유·무선 단말기 제어 방법 및 그유·무선 단말기
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
KR20120031781A (ko) 2010-09-27 2012-04-04 엘지이노텍 주식회사 이동통신 단말기를 이용한 원격 카메라 제어 시스템
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US9274673B2 (en) * 2013-12-31 2016-03-01 Google Inc. Methods, systems, and media for rewinding media content based on detected audio events
KR102405793B1 (ko) * 2015-10-15 2022-06-08 삼성전자 주식회사 음성 신호 인식 방법 및 이를 제공하는 전자 장치
KR20170086814A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
KR102490376B1 (ko) * 2017-11-06 2023-01-25 삼성전자 주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020048189A (ko) * 2000-12-16 2002-06-22 박찬준 음성 인식에 기초한 이동전화 단말기를 이용한 원격 감시시스템 및 이를 이용한 원격 감시 방법
KR100657059B1 (ko) * 2004-07-19 2006-12-13 삼성전자주식회사 음성인식구동방법
KR20080036697A (ko) * 2006-10-24 2008-04-29 삼성전자주식회사 휴대용 단말기에서 원격 제어 방법 및 장치
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR20100041501A (ko) * 2008-10-14 2010-04-22 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 어플리케이션 제어방법

Also Published As

Publication number Publication date
US20200395012A1 (en) 2020-12-17
KR102490376B1 (ko) 2023-01-25
KR20190051368A (ko) 2019-05-15
US11355110B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2019088802A1 (ko) 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2019190097A1 (ko) 챗봇을 이용한 서비스 제공 방법 및 그 장치
WO2021025350A1 (en) Electronic device managing plurality of intelligent agents and operation method thereof
WO2019050317A1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
WO2020032443A1 (en) Electronic device supporting personalized device connection and method thereof
WO2020017754A1 (ko) 전자 장치 및 그의 동작 방법
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
WO2019050242A1 (en) ELECTRONIC DEVICE, SERVER, AND RECORDING MEDIUM SUPPORTING THE EXECUTION OF A TASK USING AN EXTERNAL DEVICE
WO2021085902A1 (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
WO2018190637A1 (ko) 디바이스의 통신 연결 방법 및 그 장치
WO2020080635A1 (ko) 동작 상태에 기반하여 선택한 마이크를 이용하여 음성 인식을 수행하는 전자 장치 및 그의 동작 방법
WO2020256497A1 (ko) 블루투스 통신 연결 방법 및 그 전자 장치
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2017071326A1 (zh) 一种终端的控制方法、装置和***
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2021187901A1 (en) Method for controlling external device based on voice and electronic device thereof
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2021075716A1 (en) Electronic device supporting improved speech recognition
WO2020251311A1 (en) Electronic device and method for providing notification information thereby
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2019039707A1 (en) METHOD FOR CONFIGURING ACTION OF AN EXTERNAL DEVICE AND ELECTRONIC DEVICE SUPPORTING THE SAME
WO2019190062A1 (en) Electronic device for processing user voice input
WO2021101276A1 (en) Electronic device for providing intelligent assistance service and operating method thereof
WO2020222523A1 (en) Electronic device including actuator configured to output sound and method for operating same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18874354

Country of ref document: EP

Kind code of ref document: A1