WO2023068480A1 - Electronic device, terminal device, and method for controlling same - Google Patents

Electronic device, terminal device, and method for controlling same Download PDF

Info

Publication number
WO2023068480A1
WO2023068480A1 PCT/KR2022/009125 KR2022009125W WO2023068480A1 WO 2023068480 A1 WO2023068480 A1 WO 2023068480A1 KR 2022009125 W KR2022009125 W KR 2022009125W WO 2023068480 A1 WO2023068480 A1 WO 2023068480A1
Authority
WO
WIPO (PCT)
Prior art keywords
vocoder
terminal device
processor
learning
module
Prior art date
Application number
PCT/KR2022/009125
Other languages
French (fr)
Korean (ko)
Inventor
박상준
주기현
박형민
성준식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22883711.8A priority Critical patent/EP4325480A1/en
Priority to CN202280069984.1A priority patent/CN118120010A/en
Publication of WO2023068480A1 publication Critical patent/WO2023068480A1/en
Priority to US18/235,124 priority patent/US20230395060A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Definitions

  • the present disclosure relates to an electronic device, a terminal device, and a control method thereof, and more particularly, to an electronic device generating and outputting a voice waveform from text, a terminal device, and a control method thereof.
  • the TTS function means a function of converting text into voice and outputting it as a voice signal.
  • the TTS function performs a voice conversion function using a prosody unit and a vocoder unit.
  • the prosody unit estimates acoustic features based on the text. That is, the prosody unit may estimate the pronunciation and prosody of the synthesized sound.
  • the estimated sound characteristics are input to the vocoder unit.
  • the vocoder unit estimates a voice waveform from input acoustic characteristics.
  • the TTS function may be performed by outputting the voice waveform estimated by the vocoder unit through the speaker.
  • the prosodi unit and the vocoder unit can be trained to estimate voice waveforms from acoustic characteristics. Since the vocoder unit supports only the acoustic characteristics used for training, it is possible to output voice waveforms only at a fixed sampling rate. Therefore, separate prosody units and vocoder units are required to output audio waveforms of various sampling rates.
  • One electronic device may output audio signals of various sampling rates, and some electronic devices may output audio signals of different sampling rates.
  • specifications of an external speaker connected to one electronic device may also vary.
  • Existing methods have disadvantages in that separate prosody units and vocoder units are trained in order to universally use the trained prosody unit and vocoder unit, and a plurality of prosody units and vocoder units are included in one electronic device.
  • An object of the present disclosure is to provide an electronic device including a vocoder unit for outputting voice waveforms of various sampling rates using the same acoustic characteristics estimated by one prosodic unit, and a control method thereof.
  • the present disclosure is to provide an electronic device that identifies specifications of the electronic device and outputs a voice signal including audio characteristics corresponding to the identified specifications, and a method for controlling the same.
  • An electronic device includes a processor including an input interface, a prosody module for extracting sound characteristics, and a vocoder module for generating a voice waveform, and the processor transmits text through the input interface. is input, and a first acoustic characteristic is identified from the input text using the prosody module, the first acoustic characteristic corresponds to a first sampling rate, and based on the identified first acoustic characteristic, the first acoustic characteristic is identified. Modified acoustic characteristics corresponding to a modified sampling rate different from 1 sampling rate are generated, and a plurality of vocoder learning models are generated by learning the vocoder module based on the first acoustic characteristic and the modified acoustic characteristic.
  • the processor may generate the modified acoustic characteristics by downsampling the first acoustic characteristics.
  • the processor may generate the modified acoustic characteristic by approximating the first acoustic characteristic based on the preset acoustic characteristic.
  • the modified acoustic characteristic includes a first modified acoustic characteristic
  • the processor determines a first modified acoustic characteristic approximated based on the preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic. Based on this, the vocoder module can be learned.
  • a terminal device includes a prosody module and a processor including a vocoder module including a plurality of vocoder learning models learned at different sampling rates, and a speaker, wherein the processor controls the terminal
  • a specification of a component related to a device is identified, a vocoder learning model is selected from among the plurality of vocoder learning models based on the specification of the identified component, and a vocoder learning model is selected from text using the prosodic module.
  • Acoustic characteristics are identified, a voice waveform corresponding to the identified acoustic characteristics is generated using the selected vocoder learning model, and the generated voice waveform is output through the speaker.
  • the processor may identify a candidate vocoder learning model based on a specification of an internal element of the terminal device and a result of determining whether streaming output of the voice waveform is possible.
  • the processor may select the vocoder learning model based on a highest sampling rate among sampling rates corresponding to the candidate vocoder learning model and a highest sound quality among sound quality corresponding to the candidate vocoder learning model.
  • the processor may select the vocoder learning model based on resources of the processor.
  • the speaker may include at least one of an internal speaker included in the terminal device and an external speaker connected to the terminal device.
  • the processor may identify specifications of the external speaker and select the vocoder learning model based on the identified specifications of the external speaker.
  • a control method of an electronic device includes the steps of receiving text, identifying first acoustic characteristics from the input text using a prosody module extracting acoustic characteristics, and the first acoustic characteristics. generates a modified acoustic characteristic corresponding to a first sampling rate and corresponding to a modified sampling rate different from the first sampling rate based on the identified first acoustic characteristic, and the first acoustic characteristic and the modified sound and generating a plurality of vocoder learning models by training a vocoder module that generates voice waveforms based on characteristics.
  • the modified acoustic characteristics may be generated by downsampling the first acoustic characteristics.
  • the modified acoustic characteristics may be generated by approximating the first acoustic characteristics based on preset acoustic characteristics.
  • the modified acoustic characteristics include first modified acoustic characteristics
  • the generating of the plurality of vocoder learning models comprises downsampling the first modified acoustic characteristics and the first acoustic characteristics approximated based on the preset acoustic characteristics.
  • the vocoder module may be trained based on the generated second modified sound characteristics.
  • a control method of a terminal device includes identifying specifications of components related to the terminal device, among a plurality of vocoder learning models based on the specifications of the identified components. Selecting a vocoder learning model, identifying acoustic characteristics from text using a prosody module, generating a voice waveform corresponding to the identified acoustic characteristics using the selected vocoder learning model, and generating the generated voice Outputting a waveform through a speaker; includes.
  • FIG. 1 is a diagram illustrating a system including an electronic device and a terminal device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating the configuration of a terminal device according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram illustrating a specific configuration of a terminal device according to an embodiment of the present disclosure.
  • FIG. 5 is a block diagram illustrating a configuration of a processor according to an exemplary embodiment of the present disclosure.
  • 6A and 6B are diagrams illustrating a process of learning a vocoder model according to an embodiment of the present disclosure.
  • FIGS. 7A and 7B are diagrams illustrating a process of selecting a vocoder learning model corresponding to a terminal device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a control method of a terminal device according to an embodiment of the present disclosure.
  • a “module” or “unit” for a component used in this specification performs at least one function or operation.
  • a “module” or “unit” may perform a function or operation by hardware, software, or a combination of hardware and software.
  • a plurality of “modules” or “units” other than “modules” or “units” to be executed in specific hardware or to be executed in at least one processor may be integrated into at least one module. Singular expressions include plural expressions unless the context clearly dictates otherwise.
  • FIG. 1 is a diagram illustrating a system including an electronic device and a terminal device according to an embodiment of the present disclosure.
  • the system may include an electronic device 100 and a terminal device 200 .
  • the electronic device 100 may include a server, a cloud, and the like, and the server may include a management server and a training server.
  • the terminal device 200 may include a smart phone, a tablet PC, a navigation device, a slate PC, a wearable device, a digital TV, a desktop computer, a laptop computer, a home appliance, an IoT device, a kiosk, and the like.
  • the electronic device 100 includes a prosody module and a vocoder module.
  • a prosody module may include one prosody model, and a vocoder module may include a plurality of vocoder models.
  • Each prosody model and vocoder model may be an artificial neural network model or include an artificial neural network model.
  • the electronic device 100 may extract sound characteristics from text using a prosody model. Since errors such as pronunciation errors may occur in the prosody model, the electronic device 100 may correct errors in the prosody model through an artificial intelligence learning process.
  • One prosody model can extract acoustic characteristics corresponding to one type of sampling rate.
  • the prosody model may extract acoustic characteristics corresponding to a sampling rate of 24 kHz.
  • the electronic device 100 may generate modified acoustic characteristics based on the acoustic characteristics extracted from the prosody model.
  • the electronic device 100 may generate acoustic characteristics corresponding to sampling rates of 16 kHz and 8 kHz by using acoustic characteristics corresponding to a sampling rate of 24 kHz.
  • the electronic device 100 may learn the vocoder model of the vocoder module using the acoustic characteristics and modified acoustic characteristics extracted from the prosody model.
  • the vocoder module may be one, but may include a plurality of learning models each learned with different acoustic characteristics. For example, the electronic device learns a first vocoder model based on acoustic characteristics corresponding to a sampling rate of 24 kHz, learns a second vocoder model based on acoustic characteristics corresponding to a sampling rate of 16 kHz, and A third vocoder model may be learned based on the acoustic characteristics corresponding to the rate.
  • a processor may consist of one or a plurality of processors.
  • one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), a graphics-only processor such as a GPU, a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU vision processing unit
  • One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • a predefined action rule or an artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • a plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the prosody model and the vocoder model learned in the electronic device 100 may be included in the terminal device 200 .
  • the terminal device 200 also includes a prosody module and a vocoder module.
  • the electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 using a wired/wireless communication method.
  • the terminal device 200 may include a prosody model and a vocoder learning model during manufacture. That is, the vocoder module of the terminal device 200 may include a plurality of vocoder learning models learned at various sampling rates.
  • the terminal device 200 may select an optimal vocoder learning model from among a plurality of vocoder learning models based on specifications of the terminal device 200, availability of streaming output, sampling rate, sound quality, and the like. And, the terminal device 200 may output the text as a voice waveform using the selected vocoder learning model.
  • the electronic device 100 learns the prosody model and the vocoder model.
  • the initial learning process may be performed in the electronic device 100
  • a continuous learning process of correcting and updating errors thereafter may be performed in the terminal device 200 .
  • the electronic device 100 may include a learned prosodic model and a vocoder learning model, and generate text transmitted from the terminal device 200 as a voice waveform. Then, the generated voice waveform may be transmitted to the terminal device 200 .
  • the terminal device 200 may output the voice waveform received from the electronic device 100 through a speaker.
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes an input/output interface 110 and a processor 120 .
  • the input/output interface 110 receives text.
  • the input/output interface 110 may receive a command from a user.
  • the input/output interface 110 may include a communication interface, an input/output port, and the like.
  • the input/output interface 110 performs a function of receiving text or a user's command, and may be called an input unit, an input device, or an input module.
  • the input/output interface 110 can communicate with an external device.
  • the input/output interface 110 may receive text data from an external device using a wired/wireless communication method.
  • the communication interface is 3G, LTE (Long Term Evolution), 5G, Wi-Fi, Bluetooth, DMB (Digital Multimedia Broadcasting), ATSC (Advanced Television Systems Committee), DVB (Digital Video Broadcasting), LAN (Local Area Network)
  • a module capable of performing communication in such a manner may be included.
  • a communication interface that communicates with an external device may be referred to as a communication unit, a communication device, a communication module, a transceiver, or the like.
  • the input/output interface 110 may receive text data from an external device (including an external memory).
  • the input/output port may include ports such as High-Definition Multimedia Interface (HDMI), Universal Serial Bus (USB), Thunderbolt, and LAN. .
  • HDMI High-Definition Multimedia Interface
  • USB Universal Serial Bus
  • Thunderbolt Thunderbolt
  • LAN Local Area Network
  • the input/output interface 110 may receive a control command from a user.
  • the input/output interface 110 may include a key pad, a touch pad, and a touch screen.
  • the processor 120 may control each component of the electronic device 100 .
  • the processor 120 may control the input/output interface 110 to receive text.
  • the processor 120 may include a prosody module for extracting sound characteristics and a vocoder module for generating voice waveforms, or may perform the functions described above.
  • the processor 120 may identify or extract sound characteristics from input text using a prosody module.
  • the processor 120 may generate modified acoustic characteristics having a different sampling rate from the identified acoustic characteristics based on the identified acoustic characteristics.
  • the processor 120 may generate acoustic characteristics of a 16 kHz sampling rate and acoustic characteristics of 8 kHz based on the acoustic characteristics of a 24 kHz sampling rate. .
  • the processor 120 may generate modified acoustic characteristics by downsampling the identified acoustic characteristics or by approximating the acoustic characteristics to preset acoustic characteristics.
  • the processor 120 may use each of the identified acoustic characteristics and modified acoustic characteristics to learn a vocoder model corresponding to each acoustic characteristic and generate a vocoder learning model. For example, the processor 120 may generate a vocoder learning model learned with the identified acoustic characteristics. Alternatively, the processor 120 may generate a vocoder learning model learned with downsampled modified acoustic characteristics or learned with modified acoustic characteristics approximated to preset acoustic characteristics. Alternatively, the processor 120 may generate a learned vocoder learning model using both the first modified acoustic characteristic approximated to the preset acoustic characteristic and the second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
  • the electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 .
  • the electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 through an input/output port or a communication interface.
  • FIG. 3 is a block diagram illustrating the configuration of a terminal device according to an embodiment of the present disclosure.
  • a terminal device 200 includes a processor 210 and a speaker 220 .
  • the processor 210 may control each component of the terminal device 200 .
  • the processor 210 includes a prosody module for extracting sound characteristics and a vocoder module for generating voice waveforms.
  • the prosody module of the processor 210 may include a learned prosody model, and the vocoder module may include a plurality of vocoder learning models.
  • the plurality of vocoder learning models may be models learned at different sampling rates.
  • the processor 210 may identify specifications of components related to the terminal device 200 .
  • the specifications of components may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, and the like. Specifications of components related to the aforementioned terminal device 200 may be referred to as internal specifications.
  • the terminal device 200 may be connected to an external speaker.
  • the specifications of components related to the terminal device 200 may include various types of information about external speakers.
  • the processor 210 may select one vocoder learning model from among a plurality of vocoder learning models based on the specifications of the identified component. For example, the processor 210 may identify a candidate vocoder learning model based on specifications of internal elements of the terminal device among components and whether streaming output of a voice waveform is possible. Also, the processor 210 may select one vocoder learning model based on the highest sampling rate and sound quality among the candidate vocoder learning models. Alternatively, the processor 210 may select one vocoder learning model based on the processor's resources. Meanwhile, as described above, the terminal device 200 may be connected to an external speaker. In this case, the processor 210 may identify specifications of the external speaker and select one vocoder learning model based on the identified specifications of the external speaker.
  • the processor 210 may identify sound characteristics from text using a prosody module.
  • the terminal device 200 may further include a memory, and the processor 210 may identify sound characteristics from text data stored in the memory.
  • the terminal device 200 may further include a communication interface, and the processor 210 may identify sound characteristics from text data received through the communication interface.
  • the terminal device 200 may further include an input interface, and the processor 210 may identify sound characteristics from text data input through the input interface.
  • at least one of the communication interface and the input interface may be similar to the above-described input/output interface 110 .
  • the processor 210 may generate a voice waveform corresponding to the identified acoustic characteristics using the identified vocoder learning model.
  • the speaker 220 may output the generated voice waveform. Alternatively, the speaker 220 may output a user's input command, state-related information or operation-related information of the terminal device 200 as voice or notification sound.
  • FIG. 4 is a block diagram illustrating a specific configuration of a terminal device according to an embodiment of the present disclosure.
  • the terminal device 200 includes a processor 210, a speaker 220, an input interface 230, a communication interface 240, a camera 250, a microphone 260, a display 270, and a memory. 280 and sensor 290. Since the speaker 220 is similar to the speaker described in FIG. 3, a detailed description thereof will be omitted.
  • the input interface 230 may receive a user's command. Alternatively, the input interface 230 may receive text data from the user. The input interface 230 performs a function of receiving a user's command or text data from the outside, and may be called an input unit, an input device, or an input module. For example, the input interface 230 may include a key pad, a touch pad, or a touch screen.
  • the communication interface 240 may perform communication with an external device.
  • the communication interface 240 may receive text data from an external device using a wired/wireless communication method.
  • text may be provided to the terminal device 200 through a web server, a cloud, or the like.
  • the communication interface 240 is 3G, Long Term Evolution (LTE), 5G, Wi-Fi, Bluetooth, Digital Multimedia Broadcasting (DMB), Advanced Television Systems Committee (ATSC), Digital Video Broadcasting (DVB), Local LAN (LAN) area network), etc. may include a module capable of performing communication.
  • the communication interface 240 that communicates with an external device may also be called a communication unit, a communication device, a communication module, a transceiver, and the like.
  • the camera 250 may capture an external environment and receive a captured image.
  • the camera 250 may capture an image including text, and the processor 210 may recognize text included in the image through an Optical Character Recognition (OCR) function.
  • OCR Optical Character Recognition
  • the camera 250 may include a CCD sensor or a CMOS sensor.
  • the microphone 260 may receive an external sound signal.
  • the processor 210 may process the input sound signal and perform a corresponding operation. For example, when the external sound signal is the user's voice, the processor 210 may recognize a control command based on the input voice and perform a control operation corresponding to the recognized control command.
  • the display 270 may output an image signal on which image processing has been performed.
  • the display 270 may be implemented as a liquid crystal display (LCD), organic light emitting diode (OLED), a flexible display, or a touch screen.
  • the terminal device 200 may receive a control command through the touch screen.
  • the memory 280 may store data for performing functions of the terminal device 200 and may store programs, commands, and the like that are driven by the terminal device 200 .
  • memory 280 may store text data, a prosody model, and a plurality of vocoder learning models.
  • the prosodic model and the selected vocoder learning model stored in the memory 280 may be loaded into the processor 210 under the control of the processor 210 to perform an operation.
  • Programs, AI models, data, etc. stored in the memory 280 may be loaded into the processor 210 to perform operations.
  • the memory 280 may be implemented as a type of ROM, RAM, HDD, SSD, memory card, or the like.
  • the sensor 290 may detect a user's motion, distance, location, and the like.
  • the processor 210 may recognize a control command based on the user's motion, distance, location, etc. detected by the sensor 290 and may perform a control operation corresponding to the recognized control command.
  • the sensor 290 may detect surrounding environment information of the terminal device 200 .
  • the processor 210 may perform a corresponding control operation based on the surrounding environment information sensed by the sensor 290 .
  • the sensor 290 may include an acceleration sensor, a gravity sensor, a gyro sensor, a geomagnetic sensor, an orientation sensor, a motion recognition sensor, a proximity sensor, a voltmeter, an ammeter, a barometer, a hygrometer, a thermometer, an illuminance sensor, a heat sensor, and a touch sensor. , an infrared sensor, an ultrasonic sensor, and the like.
  • FIG. 5 is a block diagram illustrating a configuration of a processor according to an exemplary embodiment of the present disclosure.
  • the processor 210 may include a prosody module 211 and a vocoder module 212 .
  • the prosody module 211 may include a prosody model for extracting acoustic characteristics
  • the vocoder module 212 may include a vocoder learning model for generating a voice waveform from the extracted acoustic characteristics.
  • the prosody module 211 and the vocoder module 212 may be implemented in hardware or software.
  • the prosody module 211 and the vocoder module 212 may be implemented as one or a plurality of components of the processor 210 .
  • the prosody module 211 and the vocoder module 212 are implemented in software, the prosody module 211 and the vocoder module 212 are stored in memory, and from the memory when the terminal device 200 executes the TTS function. can be loaded into the processor.
  • the prosodic model and the vocoder learning model may be implemented in software and loaded from memory to the processor when the terminal device 200 executes the TTS function.
  • the prosody module 211 may include a prosody model for extracting sound characteristics from text.
  • the vocoder module 212 may include one vocoder learning model based on specifications of components related to the terminal device 200 .
  • the sound characteristics extracted from the prosody module 211 are input to the vocoder learning module 212, and the vocoder learning module 212 may generate a voice waveform corresponding to the sound characteristics using the selected vocoder learning model.
  • the generated voice waveform may be output through a speaker.
  • each configuration of the terminal device 200 has been described. Below, a process of training a vocoder model and selecting an optimal vocoder learning model from among a plurality of vocoder learning models will be described.
  • 6A and 6B are diagrams illustrating a process of learning a vocoder model according to an embodiment of the present disclosure.
  • a process of learning various vocoder models using the same prosodic model is shown.
  • a vocoder model may be learned based on a 24 kHz voice waveform (waveform_24).
  • the prosody model can extract 24 kHz sound characteristics (feat_24) from the 24 kHz voice waveform (S110).
  • the extracted 24 kHz sound characteristics are a vocoder model corresponding to a 24 kHz sampling rate (eg, 24 kHz neural vocoder) (11) and a vocoder model corresponding to a 16 kHz sampling rate (eg, 16 kHz neural vocoder) (12) It can be used in the process of learning.
  • the electronic device may downsample the 24 kHz audio waveform to a 16 kHz audio waveform (waveform_16) for learning of the vocoder model 12 of the 16 kHz sampling rate (S120).
  • the extracted 24 kHz sound characteristics may be input to the vocoder model 11 with a 24 kHz sampling rate.
  • the vocoder model 11 of the 24 kHz sampling rate may generate a voice waveform of the 24 kHz sampling rate based on the input 24 kHz sound characteristics.
  • the electronic device may identify the loss of the voice waveform based on the generated voice waveform and the 24 kHz voice waveform used for learning (S130).
  • the electronic device may generate a vocoder learning model of 24 kHz sampling rate by learning the vocoder model 11 of 24 kHz sampling rate based on the loss of the identified voice waveform.
  • the extracted 24 kHz sound characteristics can be input to the vocoder model 12 at a 16 kHz sampling rate.
  • the vocoder model 12 of the 16 kHz sampling rate may generate a voice waveform of the 16 kHz sampling rate based on the input 24 kHz sound characteristics.
  • the electronic device may identify the loss of the voice waveform based on the generated voice waveform and the downsampled 16 kHz voice waveform (S140).
  • the electronic device may generate the vocoder learning model of the 16 kHz sampling rate by learning the vocoder model 12 of the 16 kHz sampling rate based on the loss of the identified voice waveform.
  • the prosody model may extract a 24 kHz sound characteristic (feat_24) from a 24 kHz voice waveform (S210).
  • the extracted 24 kHz sound characteristics can be used in the process of learning the vocoder model 11 of 24 kHz sampling rate and the vocoder model 12 of 16 kHz sampling rate.
  • the electronic device may downsample the 24 kHz audio waveform to a 16 kHz audio waveform (Waveform_16) for learning of the vocoder model 12 of the 16 kHz sampling rate (S220).
  • the extracted 24 kHz sound characteristics may be input to the vocoder model 11 with a 24 kHz sampling rate.
  • the vocoder model 11 of the 24 kHz sampling rate may generate a voice waveform of the 24 kHz sampling rate based on the input 24 kHz sound characteristics.
  • the electronic device may identify the loss of the voice waveform based on the generated voice waveform and the 24 kHz voice waveform used for learning (S240).
  • the electronic device may generate a vocoder learning model of 24 kHz sampling rate by learning the vocoder model 11 of 24 kHz sampling rate based on the loss of the identified voice waveform.
  • the electronic device may approximate the 24 kHz acoustic characteristics extracted from the prosody module to the acoustic characteristics corresponding to the preset sampling rate (S230). For example, the electronic device may approximate 24 kHz acoustic characteristics to 16 kHz acoustic characteristics (feat_16). The approximated 16 kHz acoustic characteristics can be used for training of the vocoder model 12 with a 16 kHz sampling rate. The approximated 16 kHz acoustic characteristics may be input to the vocoder model 12 at a 16 kHz sampling rate. Also, the vocoder model 12 of the 16 kHz sampling rate may generate a voice waveform of the 16 kHz sampling rate based on the input 16 kHz sound characteristics.
  • the electronic device may identify the loss of the voice waveform based on the generated voice waveform and the downsampled 16 kHz voice waveform (S250).
  • the electronic device may generate the vocoder learning model of the 16 kHz sampling rate by learning the vocoder model 12 of the 16 kHz sampling rate based on the loss of the identified voice waveform.
  • FIGS. 7A and 7B are diagrams illustrating a process of selecting a vocoder learning model corresponding to a terminal device according to an embodiment of the present disclosure.
  • Various vocoder learning models can be created through the process described in FIGS. 6A and 6B.
  • the generated vocoder learning model may be included in the terminal device 200 .
  • a terminal device 200 may include a plurality of vocoder learning models 1 .
  • a first vocoder learning model eg, neural vocoder 1 includes features of (c1, q1, s1)
  • a second vocoder learning model eg, neural vocoder 2
  • the third vocoder learning model eg, neural vocoder 3
  • the nth vocoder learning model may include the characteristics of (cn, qn, sn).
  • c means the complexity of the vocoder model, and as the complexity increases, the amount of computation may increase.
  • q denotes sound quality, and as q is larger, a signal-to-noise ratio (SNR) may be higher.
  • SNR signal-to-noise ratio
  • the terminal device 200 may identify an optimal vocoder learning model based on specifications related to the terminal device (S310).
  • the specifications related to the terminal device may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, external speaker specifications when an external speaker is connected, and the like.
  • specifications related to the terminal device may include fixed internal specifications (eg, processor, memory, etc.) of the terminal device and variable external specifications (speaker, etc.) of the terminal device.
  • the terminal device 200 may identify a candidate group 702 of a vocoder learning model capable of streaming based on internal specifications. Also, the terminal device 200 may select an optimal vocoder learning model 703 based on other internal or external specifications.
  • the candidate group 702 of the vocoder learning model is (c1, low quality, 16 kHz), (c2, medium quality, 16 kHz), (c3, high quality, 16 kHz), (c4, low quality, 24 kHz) may be
  • the terminal device 200 may select a model of good sound quality (c3, high sound quality, 16 kHz) even if the sampling rate is low when outputting through a smartphone speaker having low high-frequency expression.
  • a model of (c4, low sound quality, 24 kHz) may be selected.
  • the terminal device 200 may select a model of (c2, medium sound quality, 16 kHz).
  • the terminal device 200 extracts acoustic characteristics from text using the prosodic model 31, and converts the extracted acoustic characteristics into a selected vocoder learning model (eg, neural vocoder 3) included in the vocoder module 32 (703).
  • a voice waveform can be generated using .
  • the terminal device 200 may include the same prosodic model and various vocoder learning models. If the sampling rate of the acoustic characteristics extracted from the prosody model and the sampling rate of the selected vocoder learning model 703 are different, the terminal device 200 sets the sampling rate of the extracted acoustic characteristics to the sampling rate of the selected vocoder learning model. , can be approximated (703), for example, using feature approximation (33).
  • the feature approximation 33 may not be included in the terminal device 200 and the feature approximation may not be performed.
  • the terminal device 200 may approximate the sampling rate of the extracted acoustic feature to 16 kHz. .
  • a terminal device 200 may include a plurality of vocoder learning models (eg, neural vocoder models) 701 .
  • the terminal device 200 may identify the candidate group 702 of the vocoder learning model based on the specifications of the terminal device (S410).
  • the terminal device 200 may identify a candidate group 702 of usable vocoder learning models from all vocoder learning models 701 included in the terminal device.
  • the terminal device 200 may monitor the resources of the terminal device (S420).
  • the terminal device 200 may select an optimal vocoder learning model (eg, neural vocoder 2) 704 from the identified candidate group based on resources of the terminal device (S430).
  • an optimal vocoder learning model eg, neural vocoder 2
  • a vocoder learning model with a high sampling rate may be selected when no other app or process is running in the terminal device 200 .
  • resources are low due to other apps or processes running, a vocoder learning model with a low sampling rate may be selected.
  • the terminal device 200 may select a vocoder learning model having a low complexity and a low sampling rate.
  • the terminal device 200 extracts sound characteristics from text using the prosody model 41, and generates a voice waveform using the extracted sound characteristics using the selected vocoder learning model 3 included in the vocoder module 42. can do.
  • the terminal device 200 may include the same prosodic model and various vocoder learning models. If the sampling rate of the acoustic characteristics extracted from the prosody model and the sampling rate of the selected vocoder learning model are different, the terminal device 200 sets the sampling rate of the extracted acoustic characteristics to the sampling rate of the selected vocoder learning model, for example For example, it can be approximated using feature approximation (43). As an embodiment, the feature approximation 43 may not be included in the terminal device 200 and the feature approximation may not be performed.
  • FIG. 8 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device receives text (S810) and identifies first sound characteristics from the input text using a prosody module that extracts sound characteristics (S820).
  • the electronic device generates modified acoustic characteristics corresponding to a different sampling rate from the first acoustic characteristics based on the first acoustic characteristics (S830). For example, the electronic device may create modified acoustic characteristics by downsampling the first acoustic characteristics. Alternatively, the electronic device may generate modified acoustic characteristics by approximating the first acoustic characteristics to preset acoustic characteristics.
  • the electronic device generates a plurality of vocoder learning models by learning a vocoder module that generates a voice waveform based on each of the first acoustic characteristics and the modified acoustic characteristics (S840). For example, the electronic device may train the vocoder module based on a first modified acoustic characteristic approximated to a preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
  • FIG. 9 is a flowchart illustrating a control method of a terminal device according to an embodiment of the present disclosure.
  • the terminal device identifies specifications of components related to the terminal device (S910).
  • the specifications of components may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, and the like.
  • Specifications of components related to the aforementioned terminal device 200 may be internal specifications.
  • the terminal device 200 may be connected to an external speaker.
  • the specifications of components related to the terminal device 200 may include various types of information about external speakers.
  • the terminal device selects one vocoder learning model from among a plurality of vocoder learning models based on the specifications of the identified components (S920). For example, the terminal device may identify a candidate vocoder learning model based on specifications of internal elements of the terminal device and whether streaming output of a voice waveform is possible. The terminal device may select one vocoder learning model based on the highest sampling rate and sound quality among candidate vocoder learning models. Alternatively, the terminal device may select one vocoder learning model based on the resource of the processor. When an external speaker is connected to the terminal device, the terminal device may identify specifications of the external speaker and select one vocoder learning model based on the identified specifications of the external speaker.
  • the terminal device identifies sound characteristics from text using the prosody module (S930), generates a voice waveform corresponding to the identified sound characteristic using the identified vocoder learning model, and outputs it to a speaker (S940).
  • the electronic device control method and the terminal device control method according to various embodiments described above may be provided as a computer program product.
  • the computer program product may include a S/W program itself or a non-transitory computer readable medium in which the S/W program is stored.
  • a non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device.
  • the various applications or programs described above may be stored and provided in non-transitory readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

An electronic device, a terminal device, and a method for controlling same are disclosed. The electronic device comprises: an input interface; and a processor comprising a prosody module, for extracting audio properties, and a vocoder module for generating a voice waveform. The processor: receives an input of text by means of the input interface; identifies a first audio property from the input text by means of the prosody module, wherein the first audio property corresponds to a first sampling rate; generates a changed audio property corresponding to a changed sampling rate different from the first sampling rate, on the basis of the identified first audio property; and generates a plurality of vocoder learning models by training the vocoder module on the basis of the first audio property and the changed audio property.

Description

전자 장치, 단말 장치 및 그 제어 방법Electronic device, terminal device and control method thereof
본 개시는 전자 장치, 단말 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 텍스트로부터 음성 파형을 생성하여 출력하는 전자 장치, 단말 장치 및 그 제어 방법에 관한 것이다.The present disclosure relates to an electronic device, a terminal device, and a control method thereof, and more particularly, to an electronic device generating and outputting a voice waveform from text, a terminal device, and a control method thereof.
음성 처리 기술의 발전에 따라 음성 처리 기능을 수행하는 전자 장치가 활용되고 있다. 다양한 음성 처리 기능 중 하나는 TTS(Text to Speech) 기능이다. TTS 기능은 텍스트를 음성으로 변환하여 음성 신호로 출력하는 기능을 의미한다. 일 예로, TTS 기능은 프로소디(prosody)부와 보코더(vocoder)부를 이용하여 음성 변환 기능을 수행한다. 프로소디부는 텍스트에 기초하여 음향 특성(acoustic feature)을 추정한다. 즉, 프로소디부는 합성음의 발음, 운율 등을 추정할 수 있다. 추정된 음향 특성은 보코더부로 입력된다. 보코더부는 입력된 음향 특성으로부터 음성 파형을 추정한다. 보코더부에서 추정된 음성 파형이 스피커를 통해 출력됨으로써 TTS 기능이 수행될 수 있다.With the development of voice processing technology, electronic devices that perform voice processing functions are being utilized. One of the various voice processing functions is a Text to Speech (TTS) function. The TTS function means a function of converting text into voice and outputting it as a voice signal. For example, the TTS function performs a voice conversion function using a prosody unit and a vocoder unit. The prosody unit estimates acoustic features based on the text. That is, the prosody unit may estimate the pronunciation and prosody of the synthesized sound. The estimated sound characteristics are input to the vocoder unit. The vocoder unit estimates a voice waveform from input acoustic characteristics. The TTS function may be performed by outputting the voice waveform estimated by the vocoder unit through the speaker.
일반적으로 프로소디부와 보코더부는 음향 특성으로부터 음성 파형을 추정하기 위해 훈련될 수 있는데 보코더부는 훈련에 사용된 음향 특성만 지원하기 때문에 고정된 샘플링 레이트(sampling rate)만의 음성 파형을 출력할 수 있다. 따라서, 다양한 샘플링 레이트의 음성 파형을 출력하기 위해서는 별개의 프로소디부와 보코더부가 필요하다.In general, the prosodi unit and the vocoder unit can be trained to estimate voice waveforms from acoustic characteristics. Since the vocoder unit supports only the acoustic characteristics used for training, it is possible to output voice waveforms only at a fixed sampling rate. Therefore, separate prosody units and vocoder units are required to output audio waveforms of various sampling rates.
하나의 전자 장치는 다양한 샘플링 레이트의 음성 신호를 출력할 수 있는 경우가 있고, 전자 장치에 따라 서로 다른 샘플링 레이트의 음성 신호를 출력하는 경우도 있다. 또한, 하나의 전자 장치에 연결되는 외부 스피커의 사양도 다양할 수 있다. 기존 방식은 훈련된 프로소디부와 보코더부를 범용적으로 사용하기 위해 별개의 프로소디부와 보코더부를 훈련시키고, 하나의 전자 장치에 복수의 프로소디부와 보코더부를 포함시키는 단점이 존재한다.One electronic device may output audio signals of various sampling rates, and some electronic devices may output audio signals of different sampling rates. In addition, specifications of an external speaker connected to one electronic device may also vary. Existing methods have disadvantages in that separate prosody units and vocoder units are trained in order to universally use the trained prosody unit and vocoder unit, and a plurality of prosody units and vocoder units are included in one electronic device.
따라서, 하나의 프로소디부와 보코더부로 다양한 샘플링 레이트의 음성 신호를 출력할 수 있는 기술에 대한 필요성이 존재한다.Therefore, there is a need for a technique capable of outputting voice signals of various sampling rates with one prosodi unit and one vocoder unit.
본 개시는 하나의 프로소디부에서 추정된 동일한 음향 특성을 이용하여 다양한 샘플링 레이트의 음성 파형을 출력하는 보코더부를 포함하는 전자 장치 및 그 제어 방법을 제공하는 것이다. 또한, 본 개시는 전자 장치의 사양을 식별하고, 식별된 사양에 대응되는 오디오 특성을 포함하는 음성 신호를 출력하는 전자 장치 및 그 제어 방법을 제공하는 것이다.An object of the present disclosure is to provide an electronic device including a vocoder unit for outputting voice waveforms of various sampling rates using the same acoustic characteristics estimated by one prosodic unit, and a control method thereof. In addition, the present disclosure is to provide an electronic device that identifies specifications of the electronic device and outputs a voice signal including audio characteristics corresponding to the identified specifications, and a method for controlling the same.
본 개시의 일 실시 예에 따른 전자 장치는 입력 인터페이스 및 음향 특성을 추출하는 프로소디(prosody) 모듈 및 음성 파형을 생성하는 보코더 모듈을 포함하는 프로세서를 포함하고, 상기 프로세서는 상기 입력 인터페이스를 통해 텍스트를 입력받고, 상기 프로소디 모듈을 이용하여 상기 입력된 텍스트로부터 제1 음향 특성을 식별하며, 상기 제1 음향 특성은 제1 샘플링 레이트에 대응되고, 상기 식별된 제1 음향 특성에 기초하여 상기 제1 샘플링 레이트와 다른 변형된 샘플링 레이트에 대응되는 변형 음향 특성을 생성하고, 상기 제1 음향 특성 및 상기 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시켜 복수의 보코더 학습 모델을 생성한다.An electronic device according to an embodiment of the present disclosure includes a processor including an input interface, a prosody module for extracting sound characteristics, and a vocoder module for generating a voice waveform, and the processor transmits text through the input interface. is input, and a first acoustic characteristic is identified from the input text using the prosody module, the first acoustic characteristic corresponds to a first sampling rate, and based on the identified first acoustic characteristic, the first acoustic characteristic is identified. Modified acoustic characteristics corresponding to a modified sampling rate different from 1 sampling rate are generated, and a plurality of vocoder learning models are generated by learning the vocoder module based on the first acoustic characteristic and the modified acoustic characteristic.
상기 프로세서는 상기 제1 음향 특성을 다운샘플링하여 상기 변형 음향 특성을 생성할 수 있다.The processor may generate the modified acoustic characteristics by downsampling the first acoustic characteristics.
상기 프로세서는 기 설정된 음향 특성에 기초하여 상기 제1 음향 특성을 근사화시켜 상기 변형 음향 특성을 생성할 수 있다.The processor may generate the modified acoustic characteristic by approximating the first acoustic characteristic based on the preset acoustic characteristic.
상기 변형 음향 특성은 제1 변형 음향 특성을 포함하고, 상기 프로세서는 상기 기 설정된 음향 특성을 기초로 근사화된 제1 변형 음향 특성 및 상기 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시킬 수 있다.The modified acoustic characteristic includes a first modified acoustic characteristic, and the processor determines a first modified acoustic characteristic approximated based on the preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic. Based on this, the vocoder module can be learned.
본 개시의 일 실시 예에 따른 단말 장치는 프로소디(prosody) 모듈 및 서로 다른 샘플링 레이트로 학습된 복수의 보코더 학습 모델을 포함하는 보코더 모듈을 포함하는 프로세서 및 스피커를 포함하고, 상기 프로세서는 상기 단말 장치와 관련된 구성 요소(component)의 사양(specification)을 식별하고, 상기 식별된 구성 요소의 사양에 기초하여 상기 복수의 보코더 학습 모델 중 보코더 학습 모델을 선택하며, 상기 프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별하고, 상기 선택된 보코더 학습 모델을 이용하여 상기 식별된 음향 특성에 대응되는 음성 파형을 생성하며, 상기 생성된 음성 파형을 상기 스피커를 통해 출력한다.A terminal device according to an embodiment of the present disclosure includes a prosody module and a processor including a vocoder module including a plurality of vocoder learning models learned at different sampling rates, and a speaker, wherein the processor controls the terminal A specification of a component related to a device is identified, a vocoder learning model is selected from among the plurality of vocoder learning models based on the specification of the identified component, and a vocoder learning model is selected from text using the prosodic module. Acoustic characteristics are identified, a voice waveform corresponding to the identified acoustic characteristics is generated using the selected vocoder learning model, and the generated voice waveform is output through the speaker.
상기 프로세서는 상기 단말 장치의 내부 요소의 사양 및 상기 음성 파형의 스트리밍 출력의 가능 여부의 판단 결과에 기초하여 후보 보코더 학습 모델을 식별할 수 있다.The processor may identify a candidate vocoder learning model based on a specification of an internal element of the terminal device and a result of determining whether streaming output of the voice waveform is possible.
상기 프로세서는 상기 후보 보코더 학습 모델에 대응하는 샘플링 레이트 중 가장 높은 샘플링 레이트 및 상기 후보 보코더 학습 모델에 대응하는 음질 중 가장 고음질에 기초하여 상기 보코더 학습 모델을 선택할 수 있다.The processor may select the vocoder learning model based on a highest sampling rate among sampling rates corresponding to the candidate vocoder learning model and a highest sound quality among sound quality corresponding to the candidate vocoder learning model.
상기 프로세서는 상기 프로세서의 리소스에 기초하여 상기 보코더 학습 모델을 선택할 수 있다.The processor may select the vocoder learning model based on resources of the processor.
상기 스피커는 상기 단말 장치 내부에 포함된 내부 스피커 및 상기 단말 장치와 연결된 외부 스피커 중 적어도 하나를 포함할 수 있다.The speaker may include at least one of an internal speaker included in the terminal device and an external speaker connected to the terminal device.
상기 프로세서는 상기 외부 스피커의 사양을 식별하고, 상기 식별된 외부 스피커의 사양에 기초하여 상기 보코더 학습 모델을 선택할 수 있다.The processor may identify specifications of the external speaker and select the vocoder learning model based on the identified specifications of the external speaker.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 텍스트를 입력받는 단계, 음향 특성을 추출하는 프로소디 모듈을 이용하여 상기 입력된 텍스트로부터 제1 음향 특성을 식별하는 단계, 상기 제1 음향 특성은 제1 샘플링 레이트에 대응되고, 상기 식별된 제1 음향 특성에 기초하여 상기 제1 샘플링 레이트와 다른 변형된 샘플링 레이트에 대응되는 변형 음향 특성을 생성하는 단계 및 상기 제1 음향 특성 및 상기 변형 음향 특성에 기초하여 음성 파형을 생성하는 보코더 모듈을 학습시켜 복수의 보코더 학습 모델을 생성하는 단계를 포함한다.A control method of an electronic device according to an embodiment of the present disclosure includes the steps of receiving text, identifying first acoustic characteristics from the input text using a prosody module extracting acoustic characteristics, and the first acoustic characteristics. generates a modified acoustic characteristic corresponding to a first sampling rate and corresponding to a modified sampling rate different from the first sampling rate based on the identified first acoustic characteristic, and the first acoustic characteristic and the modified sound and generating a plurality of vocoder learning models by training a vocoder module that generates voice waveforms based on characteristics.
상기 변형 음향 특성을 생성하는 단계는 상기 제1 음향 특성을 다운샘플링하여 상기 변형 음향 특성을 생성할 수 있다.In the generating of the modified acoustic characteristics, the modified acoustic characteristics may be generated by downsampling the first acoustic characteristics.
상기 변형 음향 특성을 생성하는 단계는 기 설정된 음향 특성에 기초하여 상기 제1 음향 특성을 근사화시켜 상기 변형 음향 특성을 생성할 수 있다.In the generating of the modified acoustic characteristics, the modified acoustic characteristics may be generated by approximating the first acoustic characteristics based on preset acoustic characteristics.
상기 변형 음향 특성은 제1 변형 음향 특성을 포함하고, 상기 복수의 보코더 학습 모델을 생성하는 단계는 상기 기 설정된 음향 특성을 기초로 근사화된 제1 변형 음향 특성 및 상기 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시킬 수 있다.The modified acoustic characteristics include first modified acoustic characteristics, and the generating of the plurality of vocoder learning models comprises downsampling the first modified acoustic characteristics and the first acoustic characteristics approximated based on the preset acoustic characteristics. The vocoder module may be trained based on the generated second modified sound characteristics.
본 개시의 일 실시 예에 따른 단말 장치의 제어 방법은 상기 단말 장치와 관련된 구성 요소(component)의 사양(specification)을 식별하는 단계, 상기 식별된 구성 요소의 사양에 기초하여 복수의 보코더 학습 모델 중 보코더 학습 모델을 선택하는 단계, 프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별하는 단계, 상기 선택된 보코더 학습 모델을 이용하여 상기 식별된 음향 특성에 대응되는 음성 파형을 생성하는 단계 및 상기 생성된 음성 파형을 스피커를 통해 출력하는 단계;를 포함한다.A control method of a terminal device according to an embodiment of the present disclosure includes identifying specifications of components related to the terminal device, among a plurality of vocoder learning models based on the specifications of the identified components. Selecting a vocoder learning model, identifying acoustic characteristics from text using a prosody module, generating a voice waveform corresponding to the identified acoustic characteristics using the selected vocoder learning model, and generating the generated voice Outputting a waveform through a speaker; includes.
본 개시의 실시예, 특징 및 효과는 첨부 도면과 함께 아래의 설명으로부터 더 명확해질 것이다.Embodiments, features, and effects of the present disclosure will become more apparent from the following description in conjunction with the accompanying drawings.
도 1은 본 개시의 일 실시 예에 따른 전자 장치와 단말 장치를 포함하는 시스템을 설명하는 도면이다.1 is a diagram illustrating a system including an electronic device and a terminal device according to an embodiment of the present disclosure.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
도 3은 본 개시의 일 실시 예에 따른 단말 장치의 구성을 설명하는 블록도이다.3 is a block diagram illustrating the configuration of a terminal device according to an embodiment of the present disclosure.
도 4는 본 개시의 일 실시 예에 따른 단말 장치의 구체적인 구성을 설명하는 블록도이다.4 is a block diagram illustrating a specific configuration of a terminal device according to an embodiment of the present disclosure.
도 5는 본 개시의 일 실시 예에 따른 프로세서의 구성을 설명하는 블록도이다.5 is a block diagram illustrating a configuration of a processor according to an exemplary embodiment of the present disclosure.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 보코더 모델을 학습시키는 과정을 설명하는 도면이다.6A and 6B are diagrams illustrating a process of learning a vocoder model according to an embodiment of the present disclosure.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 단말 장치에 대응되는 보코더 학습 모델을 선택하는 과정을 설명하는 도면이다.7A and 7B are diagrams illustrating a process of selecting a vocoder learning model corresponding to a terminal device according to an embodiment of the present disclosure.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.8 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
도 9는 본 개시의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하는 흐름도이다.9 is a flowchart illustrating a control method of a terminal device according to an embodiment of the present disclosure.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, various embodiments will be described in more detail with reference to the accompanying drawings. The embodiments described in this specification may be modified in various ways. Particular embodiments may be depicted in the drawings and described in detail in the detailed description. However, specific embodiments disclosed in the accompanying drawings are only intended to facilitate understanding of various embodiments. Therefore, the technical idea is not limited by the specific embodiments disclosed in the accompanying drawings, and it should be understood to include all equivalents or substitutes included in the spirit and technical scope of the disclosure.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinal numbers, such as first and second, may be used to describe various components, but these components are not limited by the above terms. The terminology described above is only used for the purpose of distinguishing one component from another.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In this specification, terms such as "comprise" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded. It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Meanwhile, a “module” or “unit” for a component used in this specification performs at least one function or operation. Also, a “module” or “unit” may perform a function or operation by hardware, software, or a combination of hardware and software. In addition, a plurality of “modules” or “units” other than “modules” or “units” to be executed in specific hardware or to be executed in at least one processor may be integrated into at least one module. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.In the description of the present disclosure, the order of each step should be understood as non-limiting, unless the preceding step must logically and temporally necessarily precede the succeeding step. In other words, except for the above exceptional cases, even if the process described as the later step is performed before the process described as the preceding step, the nature of the disclosure is not affected, and the scope of rights must also be defined regardless of the order of the steps. And, in this specification, "A or B" is defined to mean not only selectively indicating either one of A and B, but also including both A and B. In addition, in this specification, the term “including” has a meaning encompassing further including other components in addition to the elements listed as included.
본 명세서에서는 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.In this specification, components that are not related to the essence of the present disclosure are not mentioned. And it should not be interpreted as an exclusive meaning that includes only the mentioned components, but should be interpreted as a non-exclusive meaning that may include other components.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.In addition, in describing the present disclosure, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be abbreviated or omitted. Meanwhile, each embodiment may be implemented or operated independently, but each embodiment may be implemented or operated in combination.
도 1은 본 개시의 일 실시 예에 따른 전자 장치와 단말 장치를 포함하는 시스템을 설명하는 도면이다.1 is a diagram illustrating a system including an electronic device and a terminal device according to an embodiment of the present disclosure.
도 1을 참조하면, 시스템은 전자 장치(100)와 단말 장치(200)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 서버, 클라우드 등을 포함할 수 있고, 서버 등은 관리 서버, 훈련 서버 등을 포함할 수 있다. 그리고, 단말 장치(200)는 스마트폰, 태블릿 PC, 네비게이션, 슬레이트 PC, 웨어러블 디바이스, 디지털 TV, 데스크탑 컴퓨터, 랩탑 컴퓨터, 가전기기, IoT 장치, 키오스크 등을 포함할 수 있다.Referring to FIG. 1 , the system may include an electronic device 100 and a terminal device 200 . For example, the electronic device 100 may include a server, a cloud, and the like, and the server may include a management server and a training server. And, the terminal device 200 may include a smart phone, a tablet PC, a navigation device, a slate PC, a wearable device, a digital TV, a desktop computer, a laptop computer, a home appliance, an IoT device, a kiosk, and the like.
전자 장치(100)는 프로소디(prosody) 모듈 및 보코더(vocoder) 모듈을 포함한다. 프로소디 모듈은 하나의 프로소디 모델을 포함할 수 있고, 보코더 모듈은 복수의 보코더 모델을 포함할 수 있다. 각각의 프로소디 모델 및 보코더 모델은 인공지능 신경망 모델이거나 인공지능 신경망 모델을 포함할 수 있다. 전자 장치(100)는 프로소디 모델을 이용하여 텍스트로부터 음향 특성을 추출할 수 있다. 프로소디 모델은 발음 오류 등의 오류가 발생할 수 있으므로 전자 장치(100)는 인공지능 학습 과정을 통해 프로소디 모델의 오류를 수정할 수 있다. The electronic device 100 includes a prosody module and a vocoder module. A prosody module may include one prosody model, and a vocoder module may include a plurality of vocoder models. Each prosody model and vocoder model may be an artificial neural network model or include an artificial neural network model. The electronic device 100 may extract sound characteristics from text using a prosody model. Since errors such as pronunciation errors may occur in the prosody model, the electronic device 100 may correct errors in the prosody model through an artificial intelligence learning process.
하나의 프로소디 모델은 한 종류의 샘플링 레이트에 대응하는 음향 특성을 추출할 수 있다. 예를 들어, 프로소디 모델은 24kHz의 샘플링 레이트에 대응하는 음향 특성을 추출할 수 있다. 전자 장치(100)는 프로소디 모델로부터 추출된 음향 특성에 기초하여 변형 음향 특성을 생성할 수 있다. 예를 들어, 전자 장치(100)는 24kHz의 샘플링 레이트에 대응하는 음향 특성을 이용하여 16kHz, 8kHz의 샘플링 레이트에 대응하는 음향 특성을 생성할 수 있다.One prosody model can extract acoustic characteristics corresponding to one type of sampling rate. For example, the prosody model may extract acoustic characteristics corresponding to a sampling rate of 24 kHz. The electronic device 100 may generate modified acoustic characteristics based on the acoustic characteristics extracted from the prosody model. For example, the electronic device 100 may generate acoustic characteristics corresponding to sampling rates of 16 kHz and 8 kHz by using acoustic characteristics corresponding to a sampling rate of 24 kHz.
전자 장치(100)는 프로소디 모델로부터 추출된 음향 특성 및 변형 음향 특성을 이용하여 보코더 모듈의 보코더 모델을 학습시킬 수 있다. 보코더 모듈은 하나일 수 있지만, 각각 서로 다른 음향 특성으로 학습된 복수의 학습 모델을 포함할 수 있다. 예를 들어, 전자 장치는 24kHz의 샘플링 레이트에 대응하는 음향 특성에 기초하여 제1 보코더 모델을 학습시키고, 16kHz의 샘플링 레이트에 대응하는 음향 특성에 기초하여 제2 보코더 모델을 학습시키며, 8kHz의 샘플링 레이트에 대응하는 음향 특성에 기초하여 제3 보코더 모델을 학습시킬 수 있다.The electronic device 100 may learn the vocoder model of the vocoder module using the acoustic characteristics and modified acoustic characteristics extracted from the prosody model. The vocoder module may be one, but may include a plurality of learning models each learned with different acoustic characteristics. For example, the electronic device learns a first vocoder model based on acoustic characteristics corresponding to a sampling rate of 24 kHz, learns a second vocoder model based on acoustic characteristics corresponding to a sampling rate of 16 kHz, and A third vocoder model may be learned based on the acoustic characteristics corresponding to the rate.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 일 실시 예로서, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. Functions related to artificial intelligence according to the present disclosure are operated through a processor and a memory. A processor may consist of one or a plurality of processors. As an embodiment, one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), a graphics-only processor such as a GPU, a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU. . One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory. Alternatively, when one or more processors are processors dedicated to artificial intelligence, the processors dedicated to artificial intelligence may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined action rule or an artificial intelligence model is characterized in that it is created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden. Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values. A plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process. The artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
전자 장치(100)에서 학습된 프로소디 모델 및 보코더 모델은 단말 장치(200)에 포함될 수 있다. 단말 장치(200)도 프로소디 모듈 및 보코더 모듈을 포함한다. 전자 장치(100)는 유무선 통신 방식을 이용하여 프로소디 모델 및 보코더 학습 모델을 단말 장치(200)로 전송할 수 있다. 또는, 단말 장치(200)는 제조시 프로소디 모델 및 보코더 학습 모델이 포함될 수 있다. 즉, 단말 장치(200)의 보코더 모듈은 다양한 샘플링 레이트에 의해 학습된 복수의 보코더 학습 모델을 포함할 수 있다. 단말 장치(200)는 단말 장치(200)의 사양, 스트리밍 출력 가부, 샘플링 레이트, 음질 등에 기초하여 복수의 보코더 학습 모델 중 최적의 보코더 학습 모델을 선택할 수 있다. 그리고, 단말 장치(200)는 선택된 보코더 학습 모델을 이용하여 텍스트를 음성 파형으로 출력할 수 있다.The prosody model and the vocoder model learned in the electronic device 100 may be included in the terminal device 200 . The terminal device 200 also includes a prosody module and a vocoder module. The electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 using a wired/wireless communication method. Alternatively, the terminal device 200 may include a prosody model and a vocoder learning model during manufacture. That is, the vocoder module of the terminal device 200 may include a plurality of vocoder learning models learned at various sampling rates. The terminal device 200 may select an optimal vocoder learning model from among a plurality of vocoder learning models based on specifications of the terminal device 200, availability of streaming output, sampling rate, sound quality, and the like. And, the terminal device 200 may output the text as a voice waveform using the selected vocoder learning model.
지금까지, 전자 장치(100)에서 프로소디 모델 및 보코더 모델을 학습시키는 실시 예를 설명하였다. 그러나, 최초 학습 과정은 전자 장치(100)에서 수행될 수 있지만, 이후 오류를 수정하고 업데이트하는 계속적인 학습 과정은 단말 장치(200)에서 수행될 수 있다. 다른 실시 예로서, 전자 장치(100)는 학습된 프로소디 모델 및 보코더 학습 모델을 포함하고, 단말 장치(200)로부터 전송된 텍스트를 음성 파형으로 생성할 수 있다. 그리고, 생성된 음성 파형을 단말 장치(200)로 전송할 수 있다. 단말 장치(200)는 전자 장치(100)로부터 수신된 음성 파형을 스피커를 통해 출력할 수 있다.So far, an embodiment in which the electronic device 100 learns the prosody model and the vocoder model has been described. However, although the initial learning process may be performed in the electronic device 100 , a continuous learning process of correcting and updating errors thereafter may be performed in the terminal device 200 . As another embodiment, the electronic device 100 may include a learned prosodic model and a vocoder learning model, and generate text transmitted from the terminal device 200 as a voice waveform. Then, the generated voice waveform may be transmitted to the terminal device 200 . The terminal device 200 may output the voice waveform received from the electronic device 100 through a speaker.
아래에서는 전자 장치(100) 및 단말 장치(200)의 구성을 설명한다.Below, configurations of the electronic device 100 and the terminal device 200 will be described.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
도 2를 참조하면, 전자 장치(100)는 입/출력 인터페이스(110) 및 프로세서(120)를 포함한다.Referring to FIG. 2 , the electronic device 100 includes an input/output interface 110 and a processor 120 .
입/출력 인터페이스(110)는 텍스트를 입력받는다. 또는, 입/출력 인터페이스(110)는 사용자로부터 명령을 입력받을 수 있다. 예를 들어, 입/출력 인터페이스(110)는 통신 인터페이스, 입출력 포트 등을 포함할 수 있다. 입/출력 인터페이스(110)는 텍스트를 입력받거나 사용자의 명령을 입력받는 기능을 수행하고, 입력부, 입력 장치, 입력 모듈 등으로 불릴 수 있다.The input/output interface 110 receives text. Alternatively, the input/output interface 110 may receive a command from a user. For example, the input/output interface 110 may include a communication interface, an input/output port, and the like. The input/output interface 110 performs a function of receiving text or a user's command, and may be called an input unit, an input device, or an input module.
입/출력 인터페이스(110)가 통신 인터페이스로 구현되는 경우, 입/출력 인터페이스(110)는 외부 장치와 통신을 수행할 수 있다. 입/출력 인터페이스(110)는 외부 장치로부터 유무선 통신 방식을 이용하여 텍스트 데이터를 제공받을 수 있다. 예를 들어, 통신 인터페이스는 3G, LTE(Long Term Evolution), 5G, 와이파이, 블루투스, DMB(Digital Multimedia Broadcasting), ATSC(Advanced Television Systems Committee), DVB(Digital Video Broadcasting), LAN(Local Area Network) 등의 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 외부 장치와 통신을 수행하는 통신 인터페이스는 통신부, 통신 장치, 통신 모듈, 송수신부 등으로 불릴 수도 있다.When the input/output interface 110 is implemented as a communication interface, the input/output interface 110 can communicate with an external device. The input/output interface 110 may receive text data from an external device using a wired/wireless communication method. For example, the communication interface is 3G, LTE (Long Term Evolution), 5G, Wi-Fi, Bluetooth, DMB (Digital Multimedia Broadcasting), ATSC (Advanced Television Systems Committee), DVB (Digital Video Broadcasting), LAN (Local Area Network) A module capable of performing communication in such a manner may be included. A communication interface that communicates with an external device may be referred to as a communication unit, a communication device, a communication module, a transceiver, or the like.
입/출력 인터페이스(110)가 입출력 포트로 구현되는 경우, 입/출력 인터페이스(110)는 외부 장치(외장형 메모리 포함)로부터 텍스트 데이터를 제공받을 수 있다. 예를 들어, 입/출력 인터페이스(110)가 입출력 포트로 구현되는 경우, 입출력 포트는 HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), 썬더볼트, LAN 등의 포트를 포함할 수 있다.When the input/output interface 110 is implemented as an input/output port, the input/output interface 110 may receive text data from an external device (including an external memory). For example, when the input/output interface 110 is implemented as an input/output port, the input/output port may include ports such as High-Definition Multimedia Interface (HDMI), Universal Serial Bus (USB), Thunderbolt, and LAN. .
한편, 입/출력 인터페이스(110)는 사용자로부터 제어 명령을 입력받을 수 있다. 예를 들어, 입/출력 인터페이스(110)는 키 패드, 터치 패드, 터치 스크린 등을 포함할 수 있다.Meanwhile, the input/output interface 110 may receive a control command from a user. For example, the input/output interface 110 may include a key pad, a touch pad, and a touch screen.
프로세서(120)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(120)는 텍스트를 입력받도록 입/출력 인터페이스(110)를 제어할 수 있다. 프로세서(120)는 음향 특성을 추출하는 프로소디 모듈 및 음성 파형을 생성하는 보코더 모듈을 포함하거나 상술한 기능을 수행할 수 있다. 프로세서(120)는 프로소디 모듈을 이용하여 입력된 텍스트로부터 음향 특성을 식별 또는 추출할 수 있다. 프로세서(120)는 식별된 음향 특성에 기초하여 식별된 음향 특성과 샘플링 레이트가 다른 변형 음향 특성을 생성할 수 있다. 예를 들어, 식별된 음향 특성이 24 kHz의 샘플링 레이트인 경우, 프로세서(120)는 24 kHz 샘플링 레이트의 음향 특성에 기초하여 16 kHz 샘플링 레이트의 음향 특성, 8 kHz의 음향 특성을 생성할 수 있다. 프로세서(120)는 식별된 음향 특성을 다운샘플링하거나 기 설정된 음향 특성에 근사화시키는 방식으로 변형 음향 특성을 생성할 수 있다.The processor 120 may control each component of the electronic device 100 . For example, the processor 120 may control the input/output interface 110 to receive text. The processor 120 may include a prosody module for extracting sound characteristics and a vocoder module for generating voice waveforms, or may perform the functions described above. The processor 120 may identify or extract sound characteristics from input text using a prosody module. The processor 120 may generate modified acoustic characteristics having a different sampling rate from the identified acoustic characteristics based on the identified acoustic characteristics. For example, when the identified acoustic characteristic is a sampling rate of 24 kHz, the processor 120 may generate acoustic characteristics of a 16 kHz sampling rate and acoustic characteristics of 8 kHz based on the acoustic characteristics of a 24 kHz sampling rate. . The processor 120 may generate modified acoustic characteristics by downsampling the identified acoustic characteristics or by approximating the acoustic characteristics to preset acoustic characteristics.
프로세서(120)는 식별된 음향 특성 및 변형 음향 특성 각각을 이용하여 각 음향 특성에 대응되는 보코더 모델을 학습시키고 보코더 학습 모델을 생성할 수 있다. 예를 들어, 프로세서(120)는 식별된 음향 특성으로 학습된 보코더 학습 모델을 생성할 수 있다. 또는, 프로세서(120)는 다운샘플링된 변형 음향 특성으로 학습되거나 기 설정된 음향 특성에 근사화된 변형 음향 특성으로 학습된 보코더 학습 모델을 생성할 수 있다. 또는, 프로세서(120)는 기 설정된 음향 특성에 근사화된 제1 변형 음향 특성 및 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성을 모두 이용하여 학습된 보코더 학습 모델을 생성할 수 있다.The processor 120 may use each of the identified acoustic characteristics and modified acoustic characteristics to learn a vocoder model corresponding to each acoustic characteristic and generate a vocoder learning model. For example, the processor 120 may generate a vocoder learning model learned with the identified acoustic characteristics. Alternatively, the processor 120 may generate a vocoder learning model learned with downsampled modified acoustic characteristics or learned with modified acoustic characteristics approximated to preset acoustic characteristics. Alternatively, the processor 120 may generate a learned vocoder learning model using both the first modified acoustic characteristic approximated to the preset acoustic characteristic and the second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
전자 장치(100)는 프로소디 모델 및 보코더 학습 모델을 단말 장치(200)로 전송할 수 있다. 예를 들어, 전자 장치(100)는 입출력 포트 또는 통신 인터페이스를 통해 단말 장치로 프로소디 모델 및 보코더 학습 모델을 단말 장치(200)로 전송할 수 있다.The electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 . For example, the electronic device 100 may transmit the prosody model and the vocoder learning model to the terminal device 200 through an input/output port or a communication interface.
도 3은 본 개시의 일 실시 예에 따른 단말 장치의 구성을 설명하는 블록도이다.3 is a block diagram illustrating the configuration of a terminal device according to an embodiment of the present disclosure.
도 3을 참조하면, 단말 장치(200)는 프로세서(210) 및 스피커(220)를 포함한다.Referring to FIG. 3 , a terminal device 200 includes a processor 210 and a speaker 220 .
프로세서(210)는 단말 장치(200)의 각 구성을 제어할 수 있다. 그리고, 프로세서(210)는 음향 특성을 추출하는 프로소디 모듈 및 음성 파형을 생성하는 보코더 모듈을 포함한다. 프로세서(210)의 프로소디 모듈은 학습된 프로소디 모델을 포함하고, 보코더 모듈은 복수의 보코더 학습 모델을 포함할 수 있다. 복수의 보코더 학습 모델은 서로 다른 샘플링 레이트로 학습된 모델일 수 있다. 프로세서(210)는 단말 장치(200)와 관련된 구성 요소(component)의 사양(specification)을 식별할 수 있다. 예를 들어, 구성 요소의 사양은 프로세서의 리소스, 프로세서의 동작 유무, 메모리 용량, 메모리 대역폭, 스피커의 성능 등을 포함할 수 있다. 상술한 단말 장치(200)와 관련된 구성 요소의 사양은 내부 사양이라고 칭할 수 있다. 한편, 단말 장치(200)는 외부 스피커와 연결될 수 있다. 이 경우, 단말 장치(200)와 관련된 구성 요소의 사양은 외부 스피커의 다양한 정보를 포함할 수 있다.The processor 210 may control each component of the terminal device 200 . And, the processor 210 includes a prosody module for extracting sound characteristics and a vocoder module for generating voice waveforms. The prosody module of the processor 210 may include a learned prosody model, and the vocoder module may include a plurality of vocoder learning models. The plurality of vocoder learning models may be models learned at different sampling rates. The processor 210 may identify specifications of components related to the terminal device 200 . For example, the specifications of components may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, and the like. Specifications of components related to the aforementioned terminal device 200 may be referred to as internal specifications. Meanwhile, the terminal device 200 may be connected to an external speaker. In this case, the specifications of components related to the terminal device 200 may include various types of information about external speakers.
프로세서(210)는 식별된 구성 요소의 사양에 기초하여 복수의 보코더 학습 모델 중 하나의 보코더 학습 모델을 선택할 수 있다. 예를 들어, 프로세서(210)는 구성 요소 중 단말 장치의 내부 요소의 사양 및 음성 파형의 스트리밍 출력의 가능 여부에 기초하여 후보 보코더 학습 모델을 식별할 수 있다. 그리고, 프로세서(210)는 후보 보코더 학습 모델 중 최고 샘플링 레이트 및 음질에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다. 또는, 프로세서(210)는 프로세서의 리소스에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다. 한편, 상술한 바와 같이, 단말 장치(200)는 외부 스피커와 연결될 수 있다. 이 경우, 프로세서(210)는 외부 스피커의 사양을 식별하고, 식별된 외부 스피커의 사양에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다.The processor 210 may select one vocoder learning model from among a plurality of vocoder learning models based on the specifications of the identified component. For example, the processor 210 may identify a candidate vocoder learning model based on specifications of internal elements of the terminal device among components and whether streaming output of a voice waveform is possible. Also, the processor 210 may select one vocoder learning model based on the highest sampling rate and sound quality among the candidate vocoder learning models. Alternatively, the processor 210 may select one vocoder learning model based on the processor's resources. Meanwhile, as described above, the terminal device 200 may be connected to an external speaker. In this case, the processor 210 may identify specifications of the external speaker and select one vocoder learning model based on the identified specifications of the external speaker.
프로세서(210)는 프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별할 수 있다. 예를 들어, 단말 장치(200)는 메모리를 더 포함하고, 프로세서(210)는 메모리에 내장된 텍스트 데이터로부터 음향 특성을 식별할 수 있다. 또는, 단말 장치(200)는 통신 인터페이스를 더 포함하고, 프로세서(210)는 통신 인터페이스를 통해 수신된 텍스트 데이터로부터 음향 특성을 식별할 수 있다. 또는, 단말 장치(200)는 입력 인터페이스를 더 포함하고, 프로세서(210)는 입력 인터페이스를 통해 입력된 텍스트 데이터로부터 음향 특성을 식별할 수 있다. 일 실시 예로서, 통신 인터페이스 및 입력 인터페이스 중 적어도 하나는 상술한 입/출력 인터페이스(110)와 유사할 수 있다. 프로세서(210)는 식별된 하나의 보코더 학습 모델을 이용하여 식별된 음향 특성에 대응되는 음성 파형을 생성할 수 있다.The processor 210 may identify sound characteristics from text using a prosody module. For example, the terminal device 200 may further include a memory, and the processor 210 may identify sound characteristics from text data stored in the memory. Alternatively, the terminal device 200 may further include a communication interface, and the processor 210 may identify sound characteristics from text data received through the communication interface. Alternatively, the terminal device 200 may further include an input interface, and the processor 210 may identify sound characteristics from text data input through the input interface. As an embodiment, at least one of the communication interface and the input interface may be similar to the above-described input/output interface 110 . The processor 210 may generate a voice waveform corresponding to the identified acoustic characteristics using the identified vocoder learning model.
스피커(220)는 생성된 음성 파형을 출력할 수 있다. 또는, 스피커(220)는 사용자의 입력 명령, 단말 장치(200)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.The speaker 220 may output the generated voice waveform. Alternatively, the speaker 220 may output a user's input command, state-related information or operation-related information of the terminal device 200 as voice or notification sound.
도 4는 본 개시의 일 실시 예에 따른 단말 장치의 구체적인 구성을 설명하는 블록도이다.4 is a block diagram illustrating a specific configuration of a terminal device according to an embodiment of the present disclosure.
도 4를 참조하면, 단말 장치(200)는 프로세서(210), 스피커(220), 입력 인터페이스(230), 통신 인터페이스(240), 카메라(250), 마이크(260), 디스플레이(270), 메모리(280) 및 센서(290)를 포함할 수 있다. 스피커(220)는 도 3에서 설명한 스피커와 유사하므로 구체적인 설명은 생략한다.Referring to FIG. 4 , the terminal device 200 includes a processor 210, a speaker 220, an input interface 230, a communication interface 240, a camera 250, a microphone 260, a display 270, and a memory. 280 and sensor 290. Since the speaker 220 is similar to the speaker described in FIG. 3, a detailed description thereof will be omitted.
입력 인터페이스(230)는 사용자의 명령을 입력받을 수 있다. 또는, 입력 인터페이스(230)는 사용자로부터 텍스트 데이터를 입력받을 수 있다. 입력 인터페이스(230)는 외부로부터 사용자의 명령 또는 텍스트 데이터를 입력받는 기능을 수행하고, 입력부, 입력 장치, 입력 모듈 등으로 불릴 수 있다. 예를 들어, 입력 인터페이스(230)는 키 패드, 터치 패드, 터치 스크린 등을 포함할 수 있다.The input interface 230 may receive a user's command. Alternatively, the input interface 230 may receive text data from the user. The input interface 230 performs a function of receiving a user's command or text data from the outside, and may be called an input unit, an input device, or an input module. For example, the input interface 230 may include a key pad, a touch pad, or a touch screen.
통신 인터페이스(240)는 외부 장치와 통신을 수행할 수 있다. 통신 인터페이스(240)는 외부 장치로부터 유무선 통신 방식을 이용하여 텍스트 데이터를 제공받을 수 있다. 일 실시 예로서, 텍스트는 웹 서버, 클라우드 등을 통해 단말 장치(200)로 제공될 수 있다. 예를 들어, 통신 인터페이스(240)는 3G, LTE(Long Term Evolution), 5G, 와이파이, 블루투스, DMB(Digital Multimedia Broadcasting), ATSC(Advanced Television Systems Committee), DVB(Digital Video Broadcasting), LAN(Local Area Network) 등의 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 외부 장치와 통신을 수행하는 통신 인터페이스(240)는 통신부, 통신 장치, 통신 모듈, 송수신부 등으로 불릴 수도 있다.The communication interface 240 may perform communication with an external device. The communication interface 240 may receive text data from an external device using a wired/wireless communication method. As an embodiment, text may be provided to the terminal device 200 through a web server, a cloud, or the like. For example, the communication interface 240 is 3G, Long Term Evolution (LTE), 5G, Wi-Fi, Bluetooth, Digital Multimedia Broadcasting (DMB), Advanced Television Systems Committee (ATSC), Digital Video Broadcasting (DVB), Local LAN (LAN) area network), etc. may include a module capable of performing communication. The communication interface 240 that communicates with an external device may also be called a communication unit, a communication device, a communication module, a transceiver, and the like.
카메라(250)는 외부 환경을 촬영하고 촬영된 이미지를 입력받을 수 있다. 일 실시 예로서, 카메라(250)는 텍스트를 포함하는 이미지를 촬영하고, 프로세서(210)는 OCR(Optical Character Recognition) 기능으로 이미지에 포함된 텍스트를 인식할 수 있다. 예를 들어, 카메라(250)는 CCD 센서, CMOS 센서를 포함할 수 있다. The camera 250 may capture an external environment and receive a captured image. As an embodiment, the camera 250 may capture an image including text, and the processor 210 may recognize text included in the image through an Optical Character Recognition (OCR) function. For example, the camera 250 may include a CCD sensor or a CMOS sensor.
마이크(260)는 외부의 사운드 신호를 입력받을 수 있다. 프로세서(210)는 입력된 사운드 신호를 처리하고 대응되는 동작을 수행할 수 있다. 예를 들어, 외부의 사운드 신호가 사용자의 음성인 경우, 프로세서(210)는 입력된 음성에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다.The microphone 260 may receive an external sound signal. The processor 210 may process the input sound signal and perform a corresponding operation. For example, when the external sound signal is the user's voice, the processor 210 may recognize a control command based on the input voice and perform a control operation corresponding to the recognized control command.
디스플레이(270)는 영상 처리가 수행된 영상 신호를 출력할 수 있다. 예를 들어, 디스플레이(270)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(270)가 터치 스크린으로 구현되는 경우, 단말 장치(200)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.The display 270 may output an image signal on which image processing has been performed. For example, the display 270 may be implemented as a liquid crystal display (LCD), organic light emitting diode (OLED), a flexible display, or a touch screen. When the display 270 is implemented as a touch screen, the terminal device 200 may receive a control command through the touch screen.
메모리(280)는 단말 장치(200)의 기능을 수행하는 데이터 등을 저장하고, 단말 장치(200)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 예를 들어, 메모리(280)는 텍스트 데이터, 프로소디 모델 및 복수의 보코더 학습 모델을 저장할 수 있다. 그리고, 메모리(280)에 저장된 프로소디 모델 및 선택된 보코더 학습 모델은 프로세서(210)의 제어에 의해 프로세서(210)로 로딩되어 동작을 수행할 수 있다. 메모리(280)에 저장된 프로그램, AI 모델, 데이터 등은 프로세서(210)로 로딩되어 동작을 수행할 수 있다. 예를 들어, 메모리(280)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.The memory 280 may store data for performing functions of the terminal device 200 and may store programs, commands, and the like that are driven by the terminal device 200 . For example, memory 280 may store text data, a prosody model, and a plurality of vocoder learning models. In addition, the prosodic model and the selected vocoder learning model stored in the memory 280 may be loaded into the processor 210 under the control of the processor 210 to perform an operation. Programs, AI models, data, etc. stored in the memory 280 may be loaded into the processor 210 to perform operations. For example, the memory 280 may be implemented as a type of ROM, RAM, HDD, SSD, memory card, or the like.
센서(290)는 사용자의 동작, 거리, 위치 등을 감지할 수 있다. 프로세서(210)는 센서(290)에서 감지된 사용자의 동작, 거리, 위치 등에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또는, 센서(290)는 단말 장치(200)의 주변 환경 정보를 감지할 수 있다. 프로세서(210)는 센서(290)에서 감지된 주변 환경 정보에 기초하여 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 센서(290)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서, 전압계, 전류계, 기압계, 습도계, 온도계, 조도 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다.The sensor 290 may detect a user's motion, distance, location, and the like. The processor 210 may recognize a control command based on the user's motion, distance, location, etc. detected by the sensor 290 and may perform a control operation corresponding to the recognized control command. Alternatively, the sensor 290 may detect surrounding environment information of the terminal device 200 . The processor 210 may perform a corresponding control operation based on the surrounding environment information sensed by the sensor 290 . For example, the sensor 290 may include an acceleration sensor, a gravity sensor, a gyro sensor, a geomagnetic sensor, an orientation sensor, a motion recognition sensor, a proximity sensor, a voltmeter, an ammeter, a barometer, a hygrometer, a thermometer, an illuminance sensor, a heat sensor, and a touch sensor. , an infrared sensor, an ultrasonic sensor, and the like.
도 5는 본 개시의 일 실시 예에 따른 프로세서의 구성을 설명하는 블록도이다.5 is a block diagram illustrating a configuration of a processor according to an exemplary embodiment of the present disclosure.
도 5를 참조하면, 프로세서(210)는 프로소디 모듈(211) 및 보코더 모듈(212)을 포함할 수 있다. 프로소디 모듈(211)은 음향 특성을 추출하는 프로소디 모델을 포함하고, 보코더 모듈(212)은 추출된 음향 특성으로부터 음성 파형을 생성하는 보코더 학습 모델을 포함할 수 있다. 일 실시 예로서, 프로소디 모듈(211) 및 보코더 모듈(212)은 하드웨어 또는 소프트웨어로 구현될 수 있다. 프로소디 모듈(211) 및 보코더 모듈(212)이 하드웨어로 구현된 경우, 프로소디 모듈(211) 및 보코더 모듈(212)은 프로세서(210)의 하나 또는 복수의 구성 요소로 구현될 수 있다. 프로소디 모듈(211) 및 보코더 모듈(212)이 소프트웨어로 구현된 경우, 프로소디 모듈(211) 및 보코더 모듈(212)은 메모리에 저장되고, 단말 장치(200)가 TTS 기능을 실행할 때 메모리로부터 프로세서로 로딩될 수 있다. 또는, 프로소디 모델 및 보코더 학습 모델은 소프트웨어로 구현되어, 단말 장치(200)가 TTS 기능을 실행할 때 메모리로부터 프로세서로 로딩될 수 있다.Referring to FIG. 5 , the processor 210 may include a prosody module 211 and a vocoder module 212 . The prosody module 211 may include a prosody model for extracting acoustic characteristics, and the vocoder module 212 may include a vocoder learning model for generating a voice waveform from the extracted acoustic characteristics. As an example, the prosody module 211 and the vocoder module 212 may be implemented in hardware or software. When the prosody module 211 and the vocoder module 212 are implemented as hardware, the prosody module 211 and the vocoder module 212 may be implemented as one or a plurality of components of the processor 210 . When the prosody module 211 and the vocoder module 212 are implemented in software, the prosody module 211 and the vocoder module 212 are stored in memory, and from the memory when the terminal device 200 executes the TTS function. can be loaded into the processor. Alternatively, the prosodic model and the vocoder learning model may be implemented in software and loaded from memory to the processor when the terminal device 200 executes the TTS function.
프로소디 모듈(211)은 텍스트로부터 음향 특성을 추출하는 프로소디 모델을 포함할 수 있다. 보코더 모듈(212)는 단말 장치(200)와 관련된 구성 요소의 사양 등에 기초하여 하나의 보코더 학습 모델을 포함할 수 있다. 프로소디 모듈(211)에서 추출된 음향 특성은 보코더 학습 모듈(212)로 입력되고, 보코더 학습 모듈(212)은 선택된 보코더 학습 모델을 이용하여 음향 특성에 대응되는 음성 파형을 생성할 수 있다. 생성된 음성 파형은 스피커를 통해 출력될 수 있다.The prosody module 211 may include a prosody model for extracting sound characteristics from text. The vocoder module 212 may include one vocoder learning model based on specifications of components related to the terminal device 200 . The sound characteristics extracted from the prosody module 211 are input to the vocoder learning module 212, and the vocoder learning module 212 may generate a voice waveform corresponding to the sound characteristics using the selected vocoder learning model. The generated voice waveform may be output through a speaker.
지금까지, 단말 장치(200)의 각 구성을 설명하였다. 아래에서는 보코더 모델을 훈련시키고, 복수의 보코더 학습 모델 중 최적의 보코더 학습 모델을 선택하는 과정을 설명한다.So far, each configuration of the terminal device 200 has been described. Below, a process of training a vocoder model and selecting an optimal vocoder learning model from among a plurality of vocoder learning models will be described.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 보코더 모델을 학습시키는 과정을 설명하는 도면이다.6A and 6B are diagrams illustrating a process of learning a vocoder model according to an embodiment of the present disclosure.
도 6a를 참조하면, 동일한 프로소디 모델을 이용하여 다양한 보코더 모델을 학습시키는 과정이 도시되어 있다. 예를 들어, 보코더 모델은 24 kHz 음성 파형(waveform_24)에 기초하여 학습될 수 있다. 프로소디 모델은 24 kHz 음성 파형으로부터 24 kHz 음향 특성(feat_24)을 추출할 수 있다(S110). 추출된 24 kHz 음향 특성은 24 kHz 샘플링 레이트에 대응되는 보코더 모델(예를 들어, 24kHz neural vocoder)(11) 및 16 kHz 샘플링 레이트에 대응되는 보코더 모델(예를 들어, 16kHz neural vocoder)(12)을 학습시키는 과정에 이용될 수 있다. 24 kHz 음향 특성은 16 kHz 음성 파형의 정보를 모두 포함하고 있으므로 16 kHz 샘플링 레이트의 보코더 모델(12)의 학습에도 이용될 수 있다. 전자 장치는 16 kHz 샘플링 레이트의 보코더 모델(12)의 학습을 위해 24 kHz 음성 파형을 16 kHz 음성 파형(waveform_16)으로 다운샘플링할 수 있다(S120).Referring to FIG. 6A, a process of learning various vocoder models using the same prosodic model is shown. For example, a vocoder model may be learned based on a 24 kHz voice waveform (waveform_24). The prosody model can extract 24 kHz sound characteristics (feat_24) from the 24 kHz voice waveform (S110). The extracted 24 kHz sound characteristics are a vocoder model corresponding to a 24 kHz sampling rate (eg, 24 kHz neural vocoder) (11) and a vocoder model corresponding to a 16 kHz sampling rate (eg, 16 kHz neural vocoder) (12) It can be used in the process of learning. Since the 24 kHz sound characteristics include all of the information of the 16 kHz voice waveform, it can also be used for learning the vocoder model 12 of the 16 kHz sampling rate. The electronic device may downsample the 24 kHz audio waveform to a 16 kHz audio waveform (waveform_16) for learning of the vocoder model 12 of the 16 kHz sampling rate (S120).
추출된 24 kHz 음향 특성은 24 kHz 샘플링 레이트의 보코더 모델(11)로 입력될 수 있다. 그리고, 24 kHz 샘플링 레이트의 보코더 모델(11)은 입력된 24 kHz 음향 특성에 기초하여 24 kHz 샘플링 레이트의 음성 파형을 생성할 수 있다. 전자 장치는 생성된 음성 파형과 학습에 이용된 24 kHz 음성 파형에 기초하여 음성 파형의 손실을 식별할 수 있다(S130). 전자 장치는 식별된 음성 파형의 손실에 기초하여 24 kHz 샘플링 레이트의 보코더 모델(11)을 학습시켜 24 kHz 샘플링 레이트의 보코더 학습 모델을 생성할 수 있다.The extracted 24 kHz sound characteristics may be input to the vocoder model 11 with a 24 kHz sampling rate. Also, the vocoder model 11 of the 24 kHz sampling rate may generate a voice waveform of the 24 kHz sampling rate based on the input 24 kHz sound characteristics. The electronic device may identify the loss of the voice waveform based on the generated voice waveform and the 24 kHz voice waveform used for learning (S130). The electronic device may generate a vocoder learning model of 24 kHz sampling rate by learning the vocoder model 11 of 24 kHz sampling rate based on the loss of the identified voice waveform.
유사한 방식으로, 추출된 24 kHz 음향 특성은 16 kHz 샘플링 레이트의 보코더 모델(12)로 입력될 수 있다. 그리고, 16 kHz 샘플링 레이트의 보코더 모델(12)은 입력된 24 kHz 음향 특성에 기초하여 16 kHz 샘플링 레이트의 음성 파형을 생성할 수 있다. 전자 장치는 생성된 음성 파형과 다운샘플링된 16 kHz 음성 파형에 기초하여 음성 파형의 손실을 식별할 수 있다(S140). 전자 장치는 식별된 음성 파형의 손실에 기초하여 16 kHz 샘플링 레이트의 보코더 모델(12)을 학습시켜 16 kHz 샘플링 레이트의 보코더 학습 모델을 생성할 수 있다.In a similar way, the extracted 24 kHz sound characteristics can be input to the vocoder model 12 at a 16 kHz sampling rate. Also, the vocoder model 12 of the 16 kHz sampling rate may generate a voice waveform of the 16 kHz sampling rate based on the input 24 kHz sound characteristics. The electronic device may identify the loss of the voice waveform based on the generated voice waveform and the downsampled 16 kHz voice waveform (S140). The electronic device may generate the vocoder learning model of the 16 kHz sampling rate by learning the vocoder model 12 of the 16 kHz sampling rate based on the loss of the identified voice waveform.
도 6b를 참조하면, 근사화 과정을 수행하여 다양한 보코더 모델을 학습시키는 과정이 도시되어 있다. 예를 들어, 프로소디 모델은 24 kHz 음성 파형으로부터 24 kHz 음향 특성(feat_24)을 추출할 수 있다(S210). 추출된 24 kHz 음향 특성은 24 kHz 샘플링 레이트의 보코더 모델(11) 및 16 kHz 샘플링 레이트의 보코더 모델(12)을 학습시키는 과정에 이용될 수 있다. 전자 장치는 16 kHz 샘플링 레이트의 보코더 모델(12)의 학습을 위해 24 kHz 음성 파형을 16 kHz 음성 파형(Waveform_16)으로 다운샘플링할 수 있다(S220).Referring to FIG. 6B, a process of learning various vocoder models by performing an approximation process is shown. For example, the prosody model may extract a 24 kHz sound characteristic (feat_24) from a 24 kHz voice waveform (S210). The extracted 24 kHz sound characteristics can be used in the process of learning the vocoder model 11 of 24 kHz sampling rate and the vocoder model 12 of 16 kHz sampling rate. The electronic device may downsample the 24 kHz audio waveform to a 16 kHz audio waveform (Waveform_16) for learning of the vocoder model 12 of the 16 kHz sampling rate (S220).
추출된 24 kHz 음향 특성은 24 kHz 샘플링 레이트의 보코더 모델(11)로 입력될 수 있다. 그리고, 24 kHz 샘플링 레이트의 보코더 모델(11)은 입력된 24 kHz 음향 특성에 기초하여 24 kHz 샘플링 레이트의 음성 파형을 생성할 수 있다. 전자 장치는 생성된 음성 파형과 학습에 이용된 24 kHz 음성 파형에 기초하여 음성 파형의 손실을 식별할 수 있다(S240). 전자 장치는 식별된 음성 파형의 손실에 기초하여 24 kHz 샘플링 레이트의 보코더 모델(11)을 학습시켜 24 kHz 샘플링 레이트의 보코더 학습 모델을 생성할 수 있다.The extracted 24 kHz sound characteristics may be input to the vocoder model 11 with a 24 kHz sampling rate. Also, the vocoder model 11 of the 24 kHz sampling rate may generate a voice waveform of the 24 kHz sampling rate based on the input 24 kHz sound characteristics. The electronic device may identify the loss of the voice waveform based on the generated voice waveform and the 24 kHz voice waveform used for learning (S240). The electronic device may generate a vocoder learning model of 24 kHz sampling rate by learning the vocoder model 11 of 24 kHz sampling rate based on the loss of the identified voice waveform.
전자 장치는 프로소디 모듈로부터 추출된 24 kHz 음향 특성을 기 설정된 샘플링 레이트에 대응되는 음향 특성으로 근사화시킬 수 있다(S230). 예를 들어, 전자 장치는 24 kHz 음향 특성을 16 kHz 음향 특성(feat_16)으로 근사화시킬 수 있다. 근사화된 16 kHz 음향 특성은 16 kHz 샘플링 레이트의 보코더 모델(12)의 학습에 이용될 수 있다. 근사화된 16 kHz 음향 특성은 16 kHz 샘플링 레이트의 보코더 모델(12)로 입력될 수 있다. 그리고, 16 kHz 샘플링 레이트의 보코더 모델(12)은 입력된 16 kHz 음향 특성에 기초하여 16 kHz 샘플링 레이트의 음성 파형을 생성할 수 있다. 전자 장치는 생성된 음성 파형과 다운샘플링된 16 kHz 음성 파형에 기초하여 음성 파형의 손실을 식별할 수 있다(S250). 전자 장치는 식별된 음성 파형의 손실에 기초하여 16 kHz 샘플링 레이트의 보코더 모델(12)을 학습시켜 16 kHz 샘플링 레이트의 보코더 학습 모델을 생성할 수 있다.The electronic device may approximate the 24 kHz acoustic characteristics extracted from the prosody module to the acoustic characteristics corresponding to the preset sampling rate (S230). For example, the electronic device may approximate 24 kHz acoustic characteristics to 16 kHz acoustic characteristics (feat_16). The approximated 16 kHz acoustic characteristics can be used for training of the vocoder model 12 with a 16 kHz sampling rate. The approximated 16 kHz acoustic characteristics may be input to the vocoder model 12 at a 16 kHz sampling rate. Also, the vocoder model 12 of the 16 kHz sampling rate may generate a voice waveform of the 16 kHz sampling rate based on the input 16 kHz sound characteristics. The electronic device may identify the loss of the voice waveform based on the generated voice waveform and the downsampled 16 kHz voice waveform (S250). The electronic device may generate the vocoder learning model of the 16 kHz sampling rate by learning the vocoder model 12 of the 16 kHz sampling rate based on the loss of the identified voice waveform.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 단말 장치에 대응되는 보코더 학습 모델을 선택하는 과정을 설명하는 도면이다.7A and 7B are diagrams illustrating a process of selecting a vocoder learning model corresponding to a terminal device according to an embodiment of the present disclosure.
도 6a 및 도 6b에서 설명한 과정을 통해 다양한 보코더 학습 모델이 생성될 수 있다. 생성된 보코더 학습 모델은 단말 장치(200)에 포함될 수 있다.Various vocoder learning models can be created through the process described in FIGS. 6A and 6B. The generated vocoder learning model may be included in the terminal device 200 .
도 7a를 참조하면, 단말 장치(200)는 복수의 보코더 학습 모델(1)을 포함할 수 있다. 예를 들어, 제1 보코더 학습 모델(예, neural vocoder 1)은 (c1, q1, s1)의 특성을 포함, 제2 보코더 학습 모델(예, neural vocoder 2)은 (c2, q2, s2)의 특성을 포함, 제3 보코더 학습 모델(예, neural vocoder 3)은 (c3, q3, s4)의 특성을 포함, 제n 보코더 학습 모델은 (cn, qn, sn)의 특성을 포함할 수 있다. c는 보코더 모델의 복잡도를 의미하며, 복잡도가 클수록 연산량이 커질 수 있다. q는 음질을 의미하며, q가 클수록 SNR(Signal-to-Noise Ratio)가 높을 수 있다. s는 샘플링 레이트를 의미한다.Referring to FIG. 7A , a terminal device 200 may include a plurality of vocoder learning models 1 . For example, a first vocoder learning model (eg, neural vocoder 1) includes features of (c1, q1, s1), and a second vocoder learning model (eg, neural vocoder 2) includes features of (c2, q2, s2) Including the characteristics, the third vocoder learning model (eg, neural vocoder 3) may include the characteristics of (c3, q3, s4), and the nth vocoder learning model may include the characteristics of (cn, qn, sn). c means the complexity of the vocoder model, and as the complexity increases, the amount of computation may increase. q denotes sound quality, and as q is larger, a signal-to-noise ratio (SNR) may be higher. s means the sampling rate.
단말 장치(200)는 단말 장치와 관련된 사양에 기초하여 최적의 보코더 학습 모델을 식별할 수 있다(S310). 예를 들어, 단말 장치와 관련된 사양은 프로세서의 리소스, 프로세서의 동작 유무, 메모리 용량, 메모리 대역폭, 스피커의 성능, 외부 스피커가 연결된 경우 외부 스피커의 사양 등을 포함할 수 있다. 예를 들어, 단말 장치와 관련된 사양은 고정된 단말 장치의 내부 사양(예, 프로세서, 메모리 등) 및 가변하는 단말 장치의 외부 사양(스피커 등)을 포함할 수 있다. 단말 장치(200)는 내부 사양에 기초하여 스트리밍이 가능한 보코더 학습 모델의 후보군(702)을 식별할 수 있다. 그리고, 단말 장치(200)는 다른 내부 사양 또는 외부 사양에 기초하여 최적의 보코더 학습 모델(703)을 선택할 수 있다. 일 실시 예로서, 보코더 학습 모델의 후보군(702)은 (c1, 저음질, 16 kHz), (c2, 중음질, 16 kHz), (c3, 고음질, 16 kHz), (c4, 저음질, 24 kHz)일 수 있다. 단말 장치(200)는 고주파 표현력이 낮은 스마트폰 스피커로 출력하는 경우, 샘플링 레이트가 낮더라도 음질이 좋은 (c3, 고음질, 16 kHz)의 모델을 선택할 수 있다. 또는, 단말 장치(200)는 고급 헤드폰으로 출력하는 경우, 약간의 잡음이 있더라도 높은 대역폭을 제공하는 것이 유리할 수 있으므로 (c4, 저음질, 24 kHz)의 모델을 선택할 수 있다. 또는, 저가 헤드폰, 이어폰의 경우 왜곡 및 추가 잡음이 있을 수 있으므로, 단말 장치(200)는 (c2, 중음질, 16 kHz)의 모델을 선택할 수 있다.The terminal device 200 may identify an optimal vocoder learning model based on specifications related to the terminal device (S310). For example, the specifications related to the terminal device may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, external speaker specifications when an external speaker is connected, and the like. For example, specifications related to the terminal device may include fixed internal specifications (eg, processor, memory, etc.) of the terminal device and variable external specifications (speaker, etc.) of the terminal device. The terminal device 200 may identify a candidate group 702 of a vocoder learning model capable of streaming based on internal specifications. Also, the terminal device 200 may select an optimal vocoder learning model 703 based on other internal or external specifications. As an embodiment, the candidate group 702 of the vocoder learning model is (c1, low quality, 16 kHz), (c2, medium quality, 16 kHz), (c3, high quality, 16 kHz), (c4, low quality, 24 kHz) may be The terminal device 200 may select a model of good sound quality (c3, high sound quality, 16 kHz) even if the sampling rate is low when outputting through a smartphone speaker having low high-frequency expression. Alternatively, when the terminal device 200 outputs through high-quality headphones, it may be advantageous to provide a high bandwidth even if there is some noise, so a model of (c4, low sound quality, 24 kHz) may be selected. Alternatively, since there may be distortion and additional noise in the case of low-cost headphones or earphones, the terminal device 200 may select a model of (c2, medium sound quality, 16 kHz).
단말 장치(200)는 프로소디 모델(31)을 이용하여 텍스트로부터 음향 특성을 추출하고, 추출된 음향 특성을 보코더 모듈(32)에 포함된 선택된 보코더 학습 모델(예, neural vocoder 3)(703)을 이용하여 음성 파형을 생성할 수 있다. 단말 장치(200)는 동일한 프로소디 모델 및 다양한 보코더 학습 모델을 포함할 수 있다. 만일, 프로소디 모델로부터 추출된 음향 특성의 샘플링 레이트와 선택된 보코더 학습 모델(703)의 샘플링 레이트가 다른 경우, 단말 장치(200)는 추출된 음향 특성의 샘플링 레이트를 선택된 보코더 학습 모델의 샘플링 레이트에, 예를 들어 특징 근사화(33)를 이용하여, 근사화시킬 수 있다(703). 일 실시 예로서, 특징 근사화(33)는 단말 장치(200)에 포함되지 않을 수 있고, 특징 근사화가 수행되지 않을 수 있다. 일 실시 예로서, 추출된 음향 특성의 샘플링 레이트가 24 kHz이고, 선택된 보코더 학습 모델의 샘플링 레이트가 16 kHz라면, 단말 장치(200)는 추출된 음향 특성의 샘플링 레이트를 16 kHz로 근사화시킬 수 있다.The terminal device 200 extracts acoustic characteristics from text using the prosodic model 31, and converts the extracted acoustic characteristics into a selected vocoder learning model (eg, neural vocoder 3) included in the vocoder module 32 (703). A voice waveform can be generated using . The terminal device 200 may include the same prosodic model and various vocoder learning models. If the sampling rate of the acoustic characteristics extracted from the prosody model and the sampling rate of the selected vocoder learning model 703 are different, the terminal device 200 sets the sampling rate of the extracted acoustic characteristics to the sampling rate of the selected vocoder learning model. , can be approximated (703), for example, using feature approximation (33). As an embodiment, the feature approximation 33 may not be included in the terminal device 200 and the feature approximation may not be performed. As an embodiment, if the sampling rate of the extracted acoustic feature is 24 kHz and the sampling rate of the selected vocoder learning model is 16 kHz, the terminal device 200 may approximate the sampling rate of the extracted acoustic feature to 16 kHz. .
도 7b를 참조하면, 단말 장치(200)는 복수의 보코더 학습 모델(예, neural vocoder models)(701)을 포함할 수 있다. 단말 장치(200)는 단말 장치의 사양에 기초하여 보코더 학습 모델의 후보군(702)을 식별할 수 있다(S410). 단말 장치(200)는 단말 장치에 포함된 모든 보코더 학습 모델(701)로부터 사용 가능한 보코더 학습 모델의 후보군(702)을 식별할 수 있다. 그리고, 단말 장치(200)는 단말 장치의 리소스를 모니터링할 수 있다(S420). 단말 장치(200)는 단말 장치의 리소스 등에 기초하여 식별된 후보군으로부터 최적의 보코더 학습 모델(예, neural vocoder 2)(704)을 선택할 수 있다(S430). 일 실시 예로서, 단말 장치(200)에서 다른 앱이나 프로세스가 동작하지 않을 때는 높은 샘플링 레이트의 보코더 학습 모델이 선택될 수 있다. 다른 앱이나 프로세스가 동작하여 리소스가 적은 경우, 낮은 샘플링 레이트의 보코더 학습 모델이 선택될 수 있다. 또는, 메모리 사용량이 많은 경우, 단말 장치(200)는 복잡도가 낮고 샘플링 레이트가 낮은 보코더 학습 모델을 선택할 수 있다. Referring to FIG. 7B , a terminal device 200 may include a plurality of vocoder learning models (eg, neural vocoder models) 701 . The terminal device 200 may identify the candidate group 702 of the vocoder learning model based on the specifications of the terminal device (S410). The terminal device 200 may identify a candidate group 702 of usable vocoder learning models from all vocoder learning models 701 included in the terminal device. And, the terminal device 200 may monitor the resources of the terminal device (S420). The terminal device 200 may select an optimal vocoder learning model (eg, neural vocoder 2) 704 from the identified candidate group based on resources of the terminal device (S430). As an embodiment, a vocoder learning model with a high sampling rate may be selected when no other app or process is running in the terminal device 200 . When resources are low due to other apps or processes running, a vocoder learning model with a low sampling rate may be selected. Alternatively, when the memory usage is large, the terminal device 200 may select a vocoder learning model having a low complexity and a low sampling rate.
단말 장치(200)는 프로소디 모델(41)을 이용하여 텍스트로부터 음향 특성을 추출하고, 추출된 음향 특성을 보코더 모듈(42)에 포함된 선택된 보코더 학습 모델(3)을 이용하여 음성 파형을 생성할 수 있다. 단말 장치(200)는 동일한 프로소디 모델 및 다양한 보코더 학습 모델을 포함할 수 있다. 만일, 프로소디 모델로부터 추출된 음향 특성의 샘플링 레이트와 선택된 보코더 학습 모델의 샘플링 레이트가 다른 경우, 단말 장치(200)는 추출된 음향 특성의 샘플링 레이트를 선택된 보코더 학습 모델의 샘플링 레이트에, 예를 들어 특징 근사화(43)를 이용하여, 근사화시킬 수 있다. 일 실시 예로서, 특징 근사화(43)는 단말 장치(200)에 포함되지 않을 수 있고, 특징 근사화가 수행되지 않을 수 있다.The terminal device 200 extracts sound characteristics from text using the prosody model 41, and generates a voice waveform using the extracted sound characteristics using the selected vocoder learning model 3 included in the vocoder module 42. can do. The terminal device 200 may include the same prosodic model and various vocoder learning models. If the sampling rate of the acoustic characteristics extracted from the prosody model and the sampling rate of the selected vocoder learning model are different, the terminal device 200 sets the sampling rate of the extracted acoustic characteristics to the sampling rate of the selected vocoder learning model, for example For example, it can be approximated using feature approximation (43). As an embodiment, the feature approximation 43 may not be included in the terminal device 200 and the feature approximation may not be performed.
지금까지 다양한 보코더 학습 모델을 학습시키고 최적의 보코더 학습 모델을 선택하는 과정을 설명하였다. 아래에서는 전자 장치 및 단말 장치의 흐름도를 설명한다.So far, we have explained the process of training various vocoder learning models and selecting the optimal vocoder learning model. Below, flowcharts of electronic devices and terminal devices will be described.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.8 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
도 8을 참조하면, 전자 장치는 텍스트를 입력받고(S810), 음향 특성을 추출하는 프로소디 모듈을 이용하여 입력된 텍스트로부터 제1 음향 특성을 식별한다(S820).Referring to FIG. 8 , the electronic device receives text (S810) and identifies first sound characteristics from the input text using a prosody module that extracts sound characteristics (S820).
전자 장치는 제1 음향 특성에 기초하여 제1 음향 특성과 다른 샘플링 레이트에 대응하는 변형 음향 특성을 생성한다(S830). 예를 들어, 전자 장치는 제1 음향 특성을 다운샘플링하여 변형 음향 특성을 생성할 수 있다. 또는, 전자 장치는 제1 음향 특성을 기 설정된 음향 특성에 근사화시켜 변형 음향 특성을 생성할 수 있다.The electronic device generates modified acoustic characteristics corresponding to a different sampling rate from the first acoustic characteristics based on the first acoustic characteristics (S830). For example, the electronic device may create modified acoustic characteristics by downsampling the first acoustic characteristics. Alternatively, the electronic device may generate modified acoustic characteristics by approximating the first acoustic characteristics to preset acoustic characteristics.
전자 장치는 제1 음향 특성 및 변형 음향 특성 각각에 기초하여 음성 파형을 생성하는 보코더 모듈을 학습시켜 복수의 보코더 학습 모델을 생성한다(S840). 예를 들어, 전자 장치는 기 설정된 음향 특성에 근사화된 제1 변형 음향 특성 및 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성에 기초하여 보코더 모듈을 학습시킬 수 있다.The electronic device generates a plurality of vocoder learning models by learning a vocoder module that generates a voice waveform based on each of the first acoustic characteristics and the modified acoustic characteristics (S840). For example, the electronic device may train the vocoder module based on a first modified acoustic characteristic approximated to a preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
도 9는 본 개시의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하는 흐름도이다.9 is a flowchart illustrating a control method of a terminal device according to an embodiment of the present disclosure.
도 9를 참조하면, 단말 장치는 단말 장치와 관련된 구성 요소의 사양을 식별한다(S910). 예를 들어, 구성 요소의 사양은 프로세서의 리소스, 프로세서의 동작 유무, 메모리 용량, 메모리 대역폭, 스피커의 성능 등을 포함할 수 있다. 상술한 단말 장치(200)와 관련된 구성 요소의 사양은 내부 사양일 수 있다. 한편, 단말 장치(200)는 외부 스피커와 연결될 수 있다. 이 경우, 단말 장치(200)와 관련된 구성 요소의 사양은 외부 스피커의 다양한 정보를 포함할 수 있다.Referring to FIG. 9 , the terminal device identifies specifications of components related to the terminal device (S910). For example, the specifications of components may include processor resources, processor operation, memory capacity, memory bandwidth, speaker performance, and the like. Specifications of components related to the aforementioned terminal device 200 may be internal specifications. Meanwhile, the terminal device 200 may be connected to an external speaker. In this case, the specifications of components related to the terminal device 200 may include various types of information about external speakers.
단말 장치는 식별된 구성 요소의 사양에 기초하여 복수의 보코더 학습 모델 중 하나의 보코더 학습 모델을 선택한다(S920). 예를 들어, 단말 장치는 단말 장치의 내부 요소의 사양 및 음성 파형의 스트리밍 출력의 가능 여부에 기초하여 후보 보코더 학습 모델을 식별할 수 있다. 단말 장치는 후보 보코더 학습 모델 중 최고 샘플링 레이트 및 음질에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다. 또는, 단말 장치는 프로세서의 리소스에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다. 단말 장치에 외부 스피커가 연결된 경우, 단말 장치는 외부 스피커의 사양을 식별하고, 식별된 외부 스피커의 사양에 기초하여 하나의 보코더 학습 모델을 선택할 수 있다.The terminal device selects one vocoder learning model from among a plurality of vocoder learning models based on the specifications of the identified components (S920). For example, the terminal device may identify a candidate vocoder learning model based on specifications of internal elements of the terminal device and whether streaming output of a voice waveform is possible. The terminal device may select one vocoder learning model based on the highest sampling rate and sound quality among candidate vocoder learning models. Alternatively, the terminal device may select one vocoder learning model based on the resource of the processor. When an external speaker is connected to the terminal device, the terminal device may identify specifications of the external speaker and select one vocoder learning model based on the identified specifications of the external speaker.
단말 장치는 프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별하고(S930), 식별된 보코더 학습 모델을 이용하여 식별된 음향 특성에 대응되는 음성 파형을 생성하여 스피커로 출력한다(S940).The terminal device identifies sound characteristics from text using the prosody module (S930), generates a voice waveform corresponding to the identified sound characteristic using the identified vocoder learning model, and outputs it to a speaker (S940).
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법 및 단말 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.The electronic device control method and the terminal device control method according to various embodiments described above may be provided as a computer program product. The computer program product may include a S/W program itself or a non-transitory computer readable medium in which the S/W program is stored.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. A non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device. Specifically, the various applications or programs described above may be stored and provided in non-transitory readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiments of the present disclosure have been shown and described above, the present disclosure is not limited to the specific embodiments described above, and the technical field to which the disclosure belongs without departing from the subject matter of the present disclosure claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present disclosure.

Claims (15)

  1. 입력 인터페이스; 및input interface; and
    음향 특성을 추출하는 프로소디(prosody) 모듈 및 음성 파형을 생성하는 보코더 모듈을 포함하는 프로세서;를 포함하고,A processor including a prosody module for extracting sound characteristics and a vocoder module for generating voice waveforms;
    상기 프로세서는,the processor,
    상기 입력 인터페이스를 통해 텍스트를 입력받고,Receiving text through the input interface;
    상기 프로소디 모듈을 이용하여 상기 입력된 텍스트로부터 제1 음향 특성을 식별하며,Identifying a first sound characteristic from the input text using the prosody module;
    상기 제1 음향 특성은 제1 샘플링 레이트에 대응되고,The first acoustic characteristic corresponds to a first sampling rate,
    상기 식별된 제1 음향 특성에 기초하여 상기 제1 샘플링 레이트와 다른 변형된 샘플링 레이트에 대응되는 변형 음향 특성을 생성하고,Generate a modified acoustic characteristic corresponding to a modified sampling rate different from the first sampling rate based on the identified first acoustic characteristic;
    상기 제1 음향 특성 및 상기 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시켜 복수의 보코더 학습 모델을 생성하는, 전자 장치.The electronic device of generating a plurality of vocoder learning models by learning the vocoder module based on the first acoustic characteristic and the modified acoustic characteristic.
  2. 제1항에 있어서,According to claim 1,
    상기 프로세서는,the processor,
    상기 제1 음향 특성을 다운샘플링하여 상기 변형 음향 특성을 생성하는, 전자 장치.The electronic device of generating the modified acoustic characteristics by downsampling the first acoustic characteristics.
  3. 제1항에 있어서,According to claim 1,
    상기 프로세서는,the processor,
    기 설정된 음향 특성에 기초하여 상기 제1 음향 특성을 근사화시켜 상기 변형 음향 특성을 생성하는, 전자 장치.The electronic device generates the modified acoustic characteristics by approximating the first acoustic characteristics based on preset acoustic characteristics.
  4. 제3항에 있어서,According to claim 3,
    상기 변형 음향 특성은 제1 변형 음향 특성을 포함하고,The modified acoustic characteristic includes a first modified acoustic characteristic;
    상기 프로세서는,the processor,
    상기 기 설정된 음향 특성을 기초로 근사화된 제1 변형 음향 특성 및 상기 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시키는, 전자 장치.and learning the vocoder module based on a first modified acoustic characteristic approximated based on the preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
  5. 단말 장치에 있어서,In the terminal device,
    프로소디(prosody) 모듈 및 서로 다른 샘플링 레이트로 학습된 복수의 보코더 학습 모델을 포함하는 보코더 모듈을 포함하는 프로세서; 및A processor including a prosody module and a vocoder module including a plurality of vocoder learning models learned at different sampling rates; and
    스피커;를 포함하고,including a speaker;
    상기 프로세서는,the processor,
    상기 단말 장치와 관련된 구성 요소(component)의 사양(specification)을 식별하고,identifying specifications of components related to the terminal device;
    상기 식별된 구성 요소의 사양에 기초하여 상기 복수의 보코더 학습 모델 중 보코더 학습 모델을 선택하며,Selecting a vocoder learning model from among the plurality of vocoder learning models based on the specification of the identified component;
    상기 프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별하고,Identifying sound characteristics from text using the prosody module;
    상기 선택된 보코더 학습 모델을 이용하여 상기 식별된 음향 특성에 대응되는 음성 파형을 생성하며, generating a voice waveform corresponding to the identified acoustic characteristics using the selected vocoder learning model;
    상기 생성된 음성 파형을 상기 스피커를 통해 출력하는, 단말 장치.A terminal device that outputs the generated voice waveform through the speaker.
  6. 제5항에 있어서,According to claim 5,
    상기 프로세서는,the processor,
    상기 단말 장치의 내부 요소의 사양 및 상기 음성 파형의 스트리밍 출력의 가능 여부의 판단 결과에 기초하여 후보 보코더 학습 모델을 식별하는, 단말 장치.A terminal device that identifies a candidate vocoder learning model based on a specification of an internal element of the terminal device and a result of determining whether or not streaming output of the voice waveform is possible.
  7. 제6항에 있어서,According to claim 6,
    상기 프로세서는,the processor,
    상기 후보 보코더 학습 모델에 대응하는 샘플링 레이트 중 가장 높은 샘플링 레이트 및 상기 후보 보코더 학습 모델에 대응하는 음질 중 가장 고음질에 기초하여 상기 보코더 학습 모델을 선택하는, 단말 장치.and selects the vocoder learning model based on a highest sampling rate among sampling rates corresponding to the candidate vocoder learning model and a highest sound quality among sound quality corresponding to the candidate vocoder learning model.
  8. 제6항에 있어서,According to claim 6,
    상기 프로세서는,the processor,
    상기 프로세서의 리소스에 기초하여 상기 보코더 학습 모델을 선택하는, 단말 장치.and selecting the vocoder learning model based on the resource of the processor.
  9. 제5항에 있어서,According to claim 5,
    상기 스피커는 상기 단말 장치 내부에 포함된 내부 스피커 및 상기 단말 장치와 연결된 외부 스피커 중 적어도 하나를 포함하는, 단말 장치.The terminal device, wherein the speaker includes at least one of an internal speaker included in the terminal device and an external speaker connected to the terminal device.
  10. 제9항에 있어서,According to claim 9,
    상기 프로세서는,the processor,
    상기 외부 스피커의 사양을 식별하고, 상기 식별된 외부 스피커의 사양에 기초하여 상기 보코더 학습 모델을 선택하는, 단말 장치.and identifying a specification of the external speaker, and selecting the vocoder learning model based on the identified specification of the external speaker.
  11. 텍스트를 입력받는 단계;receiving text input;
    음향 특성을 추출하는 프로소디 모듈을 이용하여 상기 입력된 텍스트로부터 제1 음향 특성을 식별하는 단계;identifying first sound characteristics from the input text using a prosody module for extracting sound characteristics;
    상기 제1 음향 특성은 제1 샘플링 레이트에 대응되고,The first acoustic characteristic corresponds to a first sampling rate,
    상기 식별된 제1 음향 특성에 기초하여 상기 제1 샘플링 레이트와 다른 변형된 샘플링 레이트에 대응되는 변형 음향 특성을 생성하는 단계; 및generating a modified acoustic characteristic corresponding to a modified sampling rate different from the first sampling rate based on the identified first acoustic characteristic; and
    상기 제1 음향 특성 및 상기 변형 음향 특성에 기초하여 음성 파형을 생성하는 보코더 모듈을 학습시켜 복수의 보코더 학습 모델을 생성하는 단계;를 포함하는 전자 장치의 제어 방법.and generating a plurality of vocoder learning models by learning a vocoder module that generates a voice waveform based on the first acoustic characteristics and the modified acoustic characteristics.
  12. 제11항에 있어서,According to claim 11,
    상기 변형 음향 특성을 생성하는 단계는,The step of generating the modified acoustic characteristics,
    상기 제1 음향 특성을 다운샘플링하여 상기 변형 음향 특성을 생성하는, 전자 장치의 제어 방법.The control method of the electronic device, wherein the modified acoustic characteristics are generated by downsampling the first acoustic characteristics.
  13. 제11항에 있어서,According to claim 11,
    상기 변형 음향 특성을 생성하는 단계는,The step of generating the modified acoustic characteristics,
    기 설정된 음향 특성에 기초하여 상기 제1 음향 특성을 근사화시켜 상기 변형 음향 특성을 생성하는, 전자 장치의 제어 방법.A control method of an electronic device, wherein the modified acoustic characteristics are generated by approximating the first acoustic characteristics based on preset acoustic characteristics.
  14. 제13항에 있어서,According to claim 13,
    상기 변형 음향 특성은 제1 변형 음향 특성을 포함하고,The modified acoustic characteristic includes a first modified acoustic characteristic;
    상기 복수의 보코더 학습 모델을 생성하는 단계는,The step of generating the plurality of vocoder learning models,
    상기 기 설정된 음향 특성을 기초로 근사화된 제1 변형 음향 특성 및 상기 제1 음향 특성을 다운샘플링하여 생성된 제2 변형 음향 특성에 기초하여 상기 보코더 모듈을 학습시키는, 전자 장치의 제어 방법.and learning the vocoder module based on a first modified acoustic characteristic approximated based on the preset acoustic characteristic and a second modified acoustic characteristic generated by downsampling the first acoustic characteristic.
  15. 단말 장치의 제어 방법에 있어서,In the control method of the terminal device,
    상기 단말 장치와 관련된 구성 요소(component)의 사양(specification)을 식별하는 단계;identifying specifications of components related to the terminal device;
    상기 식별된 구성 요소의 사양에 기초하여 복수의 보코더 학습 모델 중 보코더 학습 모델을 선택하는 단계;selecting a vocoder learning model from among a plurality of vocoder learning models based on the specifications of the identified components;
    프로소디 모듈을 이용하여 텍스트로부터 음향 특성을 식별하는 단계;identifying sound characteristics from text using a prosody module;
    상기 선택된 보코더 학습 모델을 이용하여 상기 식별된 음향 특성에 대응되는 음성 파형을 생성하는 단계; 및 generating a voice waveform corresponding to the identified acoustic characteristics using the selected vocoder learning model; and
    상기 생성된 음성 파형을 스피커를 통해 출력하는 단계;를 포함하는 단말 장치의 제어 방법.and outputting the generated voice waveform through a speaker.
PCT/KR2022/009125 2021-10-18 2022-06-27 Electronic device, terminal device, and method for controlling same WO2023068480A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22883711.8A EP4325480A1 (en) 2021-10-18 2022-06-27 Electronic device, terminal device, and method for controlling same
CN202280069984.1A CN118120010A (en) 2021-10-18 2022-06-27 Electronic device, terminal device and control method thereof
US18/235,124 US20230395060A1 (en) 2021-10-18 2023-08-17 Electronic apparatus, terminal apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210138343A KR20230055083A (en) 2021-10-18 2021-10-18 Electronic apparatus, terminal apparatus and controlling method thereof
KR10-2021-0138343 2021-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/235,124 Continuation US20230395060A1 (en) 2021-10-18 2023-08-17 Electronic apparatus, terminal apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2023068480A1 true WO2023068480A1 (en) 2023-04-27

Family

ID=86059236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009125 WO2023068480A1 (en) 2021-10-18 2022-06-27 Electronic device, terminal device, and method for controlling same

Country Status (5)

Country Link
US (1) US20230395060A1 (en)
EP (1) EP4325480A1 (en)
KR (1) KR20230055083A (en)
CN (1) CN118120010A (en)
WO (1) WO2023068480A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012354A (en) * 2019-07-03 2021-02-04 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and device for processing audio data
CN112599141A (en) * 2020-11-26 2021-04-02 北京百度网讯科技有限公司 Neural network vocoder training method and device, electronic equipment and storage medium
KR20210036883A (en) * 2020-06-15 2021-04-05 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for training model, method and apparatus for synthesizing speech, device and storage medium
US20210142782A1 (en) * 2019-11-13 2021-05-13 Facebook Technologies, Llc Generating a voice model for a user
KR20210122071A (en) * 2020-02-03 2021-10-08 (주)라이언로켓 Voice synthesis apparatus and method for 'Call me' service using acoustic feature vector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012354A (en) * 2019-07-03 2021-02-04 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and device for processing audio data
US20210142782A1 (en) * 2019-11-13 2021-05-13 Facebook Technologies, Llc Generating a voice model for a user
KR20210122071A (en) * 2020-02-03 2021-10-08 (주)라이언로켓 Voice synthesis apparatus and method for 'Call me' service using acoustic feature vector
KR20210036883A (en) * 2020-06-15 2021-04-05 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for training model, method and apparatus for synthesizing speech, device and storage medium
CN112599141A (en) * 2020-11-26 2021-04-02 北京百度网讯科技有限公司 Neural network vocoder training method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
US20230395060A1 (en) 2023-12-07
KR20230055083A (en) 2023-04-25
CN118120010A (en) 2024-05-31
EP4325480A1 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
WO2019177373A1 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
WO2021091145A1 (en) Electronic apparatus and method thereof
WO2022097944A1 (en) Electronic device and audio signal processing method thereof
EP3698259A1 (en) Method and system for classifying time-series data
WO2020054980A1 (en) Phoneme-based speaker model adaptation method and device
WO2023068480A1 (en) Electronic device, terminal device, and method for controlling same
EP3555883A1 (en) Security enhanced speech recognition method and device
WO2022139177A1 (en) Electronic device and control method thereof
WO2021091063A1 (en) Electronic device and control method thereof
WO2022191424A1 (en) Electronic device and control method therefor
WO2022139182A1 (en) Electronic device and method for controlling same
WO2021167230A1 (en) Electronic device and control method therefor
WO2021049802A1 (en) Electronic device and control method for same
WO2022191366A1 (en) Electronic device and method of controlling same
WO2018153269A1 (en) Method and system for mobile terminal-based automatic determination of dynamic focal points in photos, and mobile terminal
WO2021045434A1 (en) Electronic device and control method therefor
WO2023167399A1 (en) Electronic device and control method therefor
WO2024005383A1 (en) Online speaker diarization using local and global clustering
WO2023140462A1 (en) Electronic device and control method therefor
WO2023085699A1 (en) Electronic device and control method thereof
WO2023068495A1 (en) Electronic device and control method thereof
WO2021137429A1 (en) Electronic apparatus and control method thereof
WO2022260450A1 (en) Audio quality conversion device and control method therefor
WO2021251780A1 (en) Systems and methods for live conversation using hearing devices
WO2023096085A1 (en) Electronic apparatus and control method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883711

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022883711

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022883711

Country of ref document: EP

Effective date: 20231114

WWE Wipo information: entry into national phase

Ref document number: 202447034521

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE