WO2020095950A1 - 情報処理方法および情報処理システム - Google Patents
情報処理方法および情報処理システム Download PDFInfo
- Publication number
- WO2020095950A1 WO2020095950A1 PCT/JP2019/043510 JP2019043510W WO2020095950A1 WO 2020095950 A1 WO2020095950 A1 WO 2020095950A1 JP 2019043510 W JP2019043510 W JP 2019043510W WO 2020095950 A1 WO2020095950 A1 WO 2020095950A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- pronunciation
- style
- model
- synthetic
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 76
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 33
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 33
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 24
- 238000001228 spectrum Methods 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 239000011295 pitch Substances 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
- G10L13/0335—Pitch control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/14—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour during execution
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/621—Waveform interpolation
- G10H2250/625—Interwave interpolation, i.e. interpolating between two different waveforms, e.g. timbre or pitch or giving one waveform the shape of another while preserving its frequency or vice versa
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Definitions
- the present disclosure relates to technology for synthesizing sounds such as voice.
- Speech synthesis technology for synthesizing speech with an arbitrary phoneme has been proposed in the past.
- a segment-connecting type that generates a sound (hereinafter referred to as “target sound”) by interconnecting speech units selected according to a target phoneme among a plurality of speech units.
- target sound a sound
- Recent speech synthesis technology requires synthesis of target sounds that are produced by various vocalists in various pronunciation styles.
- speech synthesis technology of the speech segment connection type it is necessary to individually prepare a plurality of speech segment sets for each combination of a speaker and a pronunciation style. Therefore, there is a problem that an excessive amount of labor is required to prepare the speech unit.
- one aspect of the present disclosure is to generate a variety of target sounds with different combinations of a sound source (for example, a speaker) and a sounding style without the need for a speech segment. With the goal.
- an information processing method generates pronunciation source data representing a pronunciation source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition by machine learning.
- characteristic data representing the acoustic characteristic of the target sound to be generated by the sound source under the sounding style and the sounding condition is generated.
- An information processing system inputs sound source data representing a sound source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition to a synthetic model generated by machine learning. And a synthesis processing unit that generates characteristic data representing acoustic characteristics of a target sound to be generated by the sound source based on the sounding style and the sounding condition.
- An information processing system is an information processing system that includes one or more processors and one or more memories, and executes the program stored in the one or more memories, One or more processors input the pronunciation source data representing the pronunciation source, the style data representing the pronunciation style, and the synthetic data representing the pronunciation conditions into a synthetic model generated by machine learning, thereby producing the pronunciation style and the pronunciation. Characteristic data representing acoustic characteristics of the sound produced by the sound source under the condition is generated.
- FIG. 1 is a block diagram illustrating the configuration of the information processing system 100 according to the first embodiment.
- the information processing system 100 is a voice synthesizing device that generates a voice (hereinafter, referred to as a “target sound”) in which a specific singer virtually sings a song in a specific singing style.
- the singing style (an example of the pronunciation style) means, for example, a characteristic relating to the way of singing.
- a specific example of the singing style is singing suitable for songs of various music genres such as rap, R & B (rhythm and blues), and punk.
- the information processing system 100 is realized by a computer system including a control device 11, a storage device 12, an input device 13, and a sound emitting device 14.
- a control device 11 for example, an information terminal such as a mobile phone, a smartphone or a personal computer is used as the information processing system 100.
- the information processing system 100 is realized not only as a single device but also as a set of a plurality of devices that are separate from each other.
- the control device 11 is composed of a single processor or a plurality of processors that control each element of the information processing system 100.
- the control device 11 includes one or more types such as a CPU (Central Processing Unit), an SPU (Sound Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit). Composed of a processor.
- a CPU Central Processing Unit
- SPU Sound Processing Unit
- DSP Digital Signal Processor
- FPGA Field Programmable Gate Array
- ASIC Application Specific Integrated Circuit
- the input device 13 accepts operations by the user.
- an operator operated by the user or a touch panel that detects contact by the user is used as the input device 13.
- a sound collecting device capable of voice input may be used as the input device 13.
- the sound emitting device 14 reproduces sound according to an instruction from the control device 11.
- a speaker or headphones is a typical example of the sound emitting device 14.
- the storage device 12 is a single or a plurality of memories configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, and stores a program executed by the control device 11 and various data used by the control device 11.
- the storage device 12 may be configured by combining a plurality of types of recording media.
- a portable recording medium that is removable from the information processing system 100 or an external recording medium (for example, online storage) that the information processing system 100 can communicate with via a communication network may be used as the storage device 12. Good.
- the storage device 12 of the first embodiment stores a plurality (Na pieces) of singer data Xa, a plurality (Nb pieces) of style data Xb, and composite data Xc (each of Na and Nb is a natural number of 2 or more). .. The difference between the number Na of singer data Xa and the number Nb of style data Xb does not matter.
- the storage device 12 of the first embodiment stores Na pieces of singer data Xa (exemplification of sound source data) corresponding to different singers.
- the singer data Xa of each singer is data representing the acoustic characteristics (voice quality, for example) of the singing sound produced by the singer.
- the singer data Xa of the first embodiment is an embedding vector in the multidimensional first space.
- the first space is a continuous space in which the position of each singer in the space is determined according to the acoustic characteristics of the singing sound. The more similar the acoustic characteristics of the singing sound are between the singers, the smaller the vector distance between the singers in the first space is.
- the first space is expressed as a space that represents the relationship between the singers regarding the characteristics of the singing sound.
- the user appropriately operates the input device 13 to select any of the Na pieces of singer data Xa stored in the storage device 12 (that is, a desired singer). The generation of the singer data Xa will be described later.
- the storage device 12 of the first embodiment stores Nb style data Xb corresponding to different singing styles.
- the style data Xb of each singing style is data representing the acoustic characteristics of the singing sound produced in the singing style.
- the style data Xb of the first embodiment is an embedding vector in the multidimensional second space.
- the second space is a continuous space in which the position of each singing style in the space is determined according to the acoustic characteristics of the singing sound. The more similar the acoustic characteristics of the singing sound between the singing styles, the smaller the vector distance between the singing styles in the second space. That is, as understood from the above description, the second space is expressed as a space that represents the relationship between the singing styles regarding the characteristics of the singing sound.
- the user appropriately operates the input device 13 to select one of the Nb style data Xb stored in the storage device 12 (that is, a desired singing style). The generation of the style data Xb will be described later.
- the synthetic data Xc specifies the singing condition of the target sound.
- the synthetic data Xc of the first embodiment is time-series data that specifies the pitch, the phoneme (pronunciation character), and the pronouncing period for each of the plurality of notes that compose the music.
- the synthetic data Xc may specify the numerical value of the control parameter such as the volume of each note.
- a file SMF: Standard MIDI File
- MIDI Musical Instrument Digital Interface
- FIG. 2 is a block diagram illustrating a function realized by the control device 11 executing a program stored in the storage device 12.
- the control device 11 of the first embodiment implements a synthesis processing unit 21, a signal generation unit 22, and a learning processing unit 23.
- the functions of the control device 11 may be realized by a plurality of devices that are separate from each other. Part or all of the functions of the control device 11 may be realized by a dedicated electronic circuit.
- the synthesis processing unit 21 generates a time series of characteristic data Q representing the acoustic characteristics of the target sound.
- the characteristic data Q of the first embodiment includes, for example, the fundamental frequency (pitch) Qa of the target sound and the spectrum envelope Qb.
- the spectrum envelope Qb is a rough shape of the frequency spectrum of the target sound.
- the characteristic data Q is sequentially generated for each unit period of a predetermined length (for example, 5 milliseconds). That is, the synthesis processing unit 21 of the first embodiment generates a time series of the fundamental frequency Qa and a time series of the spectrum envelope Qb.
- the signal generator 22 generates the acoustic signal V from the time series of the characteristic data Q.
- a known vocoder technique for example, is used to generate the acoustic signal V using the time series of the characteristic data Q.
- the signal generation unit 22 adjusts the intensity of each frequency in the frequency spectrum corresponding to the fundamental frequency Qa according to the spectrum envelope Qb, and transforms the adjusted frequency spectrum into the time domain to generate the acoustic signal V. To generate.
- the target sound is emitted from the sound emitting device 14 as a sound wave.
- the D / A converter for converting the acoustic signal V from digital to analog is omitted for convenience.
- the synthesis model M is used to generate the characteristic data Q by the synthesis processing unit 21.
- the synthesis processing unit 21 inputs the input data Z into the synthesis model M.
- the input data Z is stored in the storage device 12 and the singer data Xa selected by the user among the Na singer data Xa, and the style data Xb selected by the user among the Nb style data Xb. It includes the synthetic data Xc.
- the synthetic model M is a statistical prediction model that learns the relationship between the input data Z and the characteristic data Q.
- the synthetic model M of the first embodiment is configured by a deep neural network (DNN: Deep Neural Network).
- DNN Deep Neural Network
- the synthetic model M includes a program that causes the control device 11 to execute an operation for generating the characteristic data Q from the input data Z (for example, a program module that constitutes artificial intelligence software), and a plurality of applications applied to the operation. It is realized in combination with the coefficient.
- a plurality of coefficients that define the composite model M are set by machine learning (especially deep learning) using a plurality of learning data and stored in the storage device 12. Machine learning of the synthetic model M will be described later.
- FIG. 3 is a flowchart exemplifying a specific procedure of a process (hereinafter, referred to as “compositing process”) in which the control device 11 of the first embodiment generates the acoustic signal V.
- the combining process is started in response to an instruction from the user to the input device 13.
- the synthesizing unit 21 accepts the selection of the singer data Xa and the style data Xb from the user (Sa1).
- the combining processor 21 may accept selection of the combined data Xc from the user.
- the synthesizing unit 21 inputs the input data Z including the singer data Xa and the style data Xb selected by the user and the synthetic data Xc stored in the storage device 12 to the synthetic model M, the characteristic data Q is obtained.
- a series is generated (Sa2).
- the signal generator 22 generates the acoustic signal V from the time series of the characteristic data Q generated by the synthesis processor 21 (Sa3).
- the characteristic data Q is generated by inputting the singer data Xa, the style data Xb, and the combined data Xc to the combined model M. Therefore, the target sound can be generated without the need for the voice unit.
- the style data Xb is input to the synthetic model M. Therefore, as compared with the configuration in which the characteristic data Q is generated in accordance with the singer data Xa and the combined data Xc, the singer data Xa is not prepared for each singing style, but corresponds to the combination of the singing person and the singing style. There is an advantage that the feature data Q of various voices can be generated.
- the style data Xb For example, by changing the style data Xb to be selected together with the singer data Xa, it is possible to generate the characteristic data Q of the target sound produced by the particular singer in a plurality of different singing styles. Further, by changing the singer data Xa selected together with the style data Xb, it is possible to generate the characteristic data Q of the target sound produced by each of the plurality of singers in a common singing style.
- FIG. 2 The learning processing unit 23 in FIG. 2 generates a synthetic model M by machine learning.
- the synthetic model M after machine learning by the learning processing unit 23 is used for generating the characteristic data Q in FIG. 3 (hereinafter referred to as “estimation processing”) Sa2.
- FIG. 4 is a block diagram for explaining machine learning by the learning processing unit 23.
- a plurality of learning data L is used for machine learning of the synthetic model M.
- the plurality of learning data L are stored in the storage device 12.
- the learning data for evaluation (hereinafter referred to as “evaluation data”) L used for determining the end of machine learning is also stored in the storage device 12.
- Each of the plurality of learning data L includes identification information Fa, identification information Fb, synthetic data Xc, and acoustic signal V.
- the identification information Fa is a numerical value sequence for identifying a specific singer. For example, a numerical sequence of one-hot expressions in which an element corresponding to a specific singer is set to a numerical value 1 and a remaining element is set to a numerical value 0 among a plurality of elements corresponding to different singers is Is used as the identification information Fa of the singer.
- the identification information Fb is a numerical string for identifying a particular singing style.
- the numerical sequence of one-hot expression in which the element corresponding to a specific singing style among a plurality of elements corresponding to different singing styles is set to the numerical value 1 and the remaining elements are set to the numerical value 0 is Is used as the identification information Fb of the song style.
- the identification information Fa or the identification information Fb one-cold expression in which the numerical value 1 and the numerical value 0 in the one-hot expression are replaced may be adopted.
- the combination of the identification information Fa, the identification information Fb, and the synthetic data Xc differs for each learning data L. However, some of the identification information Fa, the identification information Fb, and the combined data Xc may be common to two or more learning data L.
- the acoustic signal V included in any one piece of the learning data L is the waveform of the singing sound when the singer represented by the identification information Fa sings the song represented by the synthetic data Xc in the singing style represented by the identification information fb. It is a signal that represents.
- the acoustic signal V is prepared in advance by recording the singing sound actually pronounced by the singer.
- the learning processing unit 23 of the first embodiment collectively trains the coding model Ea and the coding model Eb together with the synthetic model M, which is the original purpose of machine learning.
- the coding model Ea is an encoder that converts the identification information Fa of the singer to the singer data Xa of the singer.
- the coding model Eb is an encoder that converts the singing style identification information Fb into style data Xb of the singing style.
- the coding model Ea and the coding model Eb are composed of, for example, a deep neural network.
- the singer data Xa generated by the coding model Ea, the style data Xb generated by the coding model Eb, and the synthetic data Xc of the learning data L are supplied to the synthetic model M.
- the synthetic model M outputs the time series of the characteristic data Q according to the singer data Xa, the style data Xb, and the synthetic data Xc.
- the characteristic analysis unit 24 generates characteristic data Q from the acoustic signal V of each learning data L.
- the characteristic data Q includes, for example, the fundamental frequency Qa and the spectrum envelope Qb.
- the generation of the characteristic data Q is repeated every unit period of a predetermined length (for example, 5 milliseconds). That is, the feature analysis unit 24 generates the time series of the fundamental frequency Qa and the time series of the spectrum envelope Qb from the acoustic signal V.
- the characteristic data Q corresponds to a known correct answer value regarding the output of the synthetic model M.
- FIG. 5 is a flowchart exemplifying a specific procedure of a process executed by the learning processing unit 23 (hereinafter referred to as “learning process”). For example, the learning process is started in response to an instruction from the user to the input device 13.
- the learning processing unit 23 selects any of the plurality of learning data L stored in the storage device 12 (Sb1).
- the learning processing unit 23 inputs the identification information Fa of the learning data L selected from the storage device 12 into the provisional coding model Ea and inputs the identification information Fb of the learning data L into the provisional coding model Eb.
- the coding model Ea generates singer data Xa corresponding to the identification information Fa.
- the coding model Eb generates style data Xb corresponding to the identification information Fb.
- the learning processing unit 23 converts the input data Z including the singer data Xa generated by the coding model Ea and the style data Xb generated by the coding model Eb, and the synthetic data Xc of the learning data L into the provisional synthetic model. Input to M (Sb3).
- the synthetic model M generates characteristic data Q according to the input data Z.
- the learning processing unit 23 calculates an evaluation function that represents an error between the characteristic data Q generated by the synthetic model M and the characteristic data Q (that is, the correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the learning data L. (Sb4). For example, an index such as vector distance or cross entropy is used as an evaluation function.
- the learning processing unit 23 updates a plurality of coefficients of each of the synthetic model M, the coding model Ea, and the coding model Eb so that the evaluation function approaches a predetermined value (typically zero) (Sb5).
- the error backpropagation method for example, is used to update the plurality of coefficients according to the evaluation function.
- the learning processing unit 23 determines whether or not the update processing (Sb2 to Sb5) described above has been repeated a predetermined number of times (Sb61). When the number of repetitions of the update process is less than the predetermined value (Sb61: NO), the learning processing unit 23 selects the next learning data L from the storage device 12 (Sb1), and then updates the learning data L (Sb61: NO). Execute Sb2 to Sb5). That is, the update process is repeated for each of the plurality of learning data L.
- the learning processing unit 23 determines whether the feature data Q generated by the combined model M after the update process has reached a predetermined quality. It is determined whether or not (Sb62).
- the above-described evaluation data L stored in the storage device 12 is used. Specifically, the learning processing unit 23 recognizes the characteristic data Q generated by the synthetic model M from the evaluation data L and the characteristic data Q (correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the evaluation data L. Calculate the error of. The learning processing unit 23 determines whether or not the characteristic data Q has reached a predetermined quality, depending on whether or not the error between the characteristic data Q is below a predetermined threshold value.
- the learning processing unit 23 starts repeating the update processing (Sb2 to Sb5) a predetermined number of times.
- the quality of the feature data Q is evaluated every time the update process is repeated a predetermined number of times.
- the learning processing unit 23 determines the synthetic model M at that time as the final synthetic model M (Sb7). That is, the plurality of coefficients after the latest update are stored in the storage device 12.
- the learned synthetic model M determined by the above procedure is used for the above-described estimation process Sa2.
- the learned composite model M has a latent tendency between the input data Z corresponding to each learning data L and the feature data Q corresponding to the acoustic signal V of the learning data L. Under the circumstances, it is possible to generate the statistically valid characteristic data Q for the unknown input data Z. That is, the synthetic model M learns the relationship between the input data Z and the characteristic data Q.
- the coding model Ea learns the relationship between the identification information Fa and the singer data Xa so that the synthetic model M can generate the statistically valid characteristic data Q from the input data Z.
- the learning processing unit 23 sequentially inputs each of the Na pieces of identification information Fa into the learned coding model Ea to generate Na pieces of singer data Xa (Sb8).
- the Na song data Xa generated by the coding model Ea in the above procedure is stored in the storage device 12 for the estimation process Sa2.
- the learned coding model Ea is unnecessary at the stage where the Na pieces of singer data Xa are stored.
- the coding model Eb learns the relationship between the identification information Fb and the style data Xb so that the synthetic model M can generate the statistically valid characteristic data Q from the input data Z.
- the learning processing unit 23 sequentially inputs each of the Nb pieces of identification information Fb to the learned coding model Eb to generate Nb pieces of style data Xb (Sb9).
- the Nb style data Xb generated by the coding model Eb in the above procedure are stored in the storage device 12 for the estimation process Sa2. At the stage where Nb style data Xb are stored, the learned coding model Eb is unnecessary.
- the learning processing unit 23 of the first embodiment uses the plurality of learning data Lnew corresponding to the new singer and the learned synthetic model M to generate the singer data Xa of the new singer.
- FIG. 6 is an explanatory diagram of a process in which the learning processing unit 23 generates singer data Xa of a new singer (hereinafter referred to as “replenishment process”).
- Each of the plurality of learning data Lnew includes an acoustic signal V representing a singing sound when a new singer sings a song in a specific singing style, and synthetic data Xc of the song (an example of new synthetic data).
- the acoustic signal V of the learning data Lnew is prepared in advance by recording the singing sound actually pronounced by the new singer.
- the feature analysis unit 24 generates a time series of feature data Q from the acoustic signal V of each learning data Lnew.
- singer data Xa is supplied to the synthetic model M as a learning target variable.
- FIG. 7 is a flowchart illustrating a specific procedure of replenishment processing.
- the learning processing unit 23 selects any of the plurality of learning data Lnew stored in the storage device 12 (Sc1).
- the learning processing unit 23 sets the singer data Xa set to the initial value (an example of new pronunciation source data), the existing style data Xb corresponding to the singing style of the new singer, and the learning data selected from the storage device 12.
- the synthetic data Xc of Lnew is input to the learned synthetic model M (Sc2).
- the initial value of the singer data Xa is set to a random number, for example.
- the synthetic model M generates characteristic data Q (an example of new characteristic data) according to the style data Xb and the synthetic data Xc.
- the learning processing unit 23 calculates an evaluation function that represents an error between the characteristic data Q generated by the synthetic model M and the characteristic data Q (that is, the correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the learning data Lnew. (Sc3).
- the characteristic data Q generated by the characteristic analysis unit 24 is an example of “known characteristic data”.
- the learning processing unit 23 updates the singer data Xa and the plurality of coefficients of the synthetic model M so that the evaluation function approaches a predetermined value (typically zero) (Sc4). Note that the singer data Xa may be updated so that the evaluation function approaches a predetermined value while fixing the plurality of coefficients of the synthetic model M.
- the learning processing unit 23 determines whether or not the additional update (Sc2 to Sc4) described above has been repeated a predetermined number of times (Sc51). When the number of additional updates is less than the predetermined value (Sc51: NO), the learning processing unit 23 selects the next learning data Lnew from the storage device 12 (Sc1), and additionally updates the learning data Lnew (Sc2 to Execute Sc4). That is, the additional update is repeated for each of the plurality of learning data Lnew.
- the learning processing unit 23 determines whether the characteristic data Q generated by the combined model M after the additional update has reached the predetermined quality. It is determined whether or not (Sc52). To evaluate the quality of the characteristic data Q, the evaluation data L is used as in the above-described example. When the characteristic data Q has not reached the predetermined quality (Sc52: NO), the learning processing unit 23 starts repeating additional updates (Sc2 to Sc4) a predetermined number of times. As can be understood from the above description, the quality of the feature data Q is evaluated after each predetermined number of additional update iterations.
- the learning processing unit 23 causes the learning processing unit 23 to store the plurality of latest updated coefficients and the singer data Xa as the finalized values. (Sc6).
- the singer data Xa of the new singer is applied to the synthesis process for synthesizing the singing sound generated by the new singer.
- the synthetic model M before the replenishment process is already learned by using the learning data L of various singers, even if the learning data Lnew of a sufficient number cannot be prepared for the new singers, It is possible to generate various target sounds. For example, even for a phoneme or a pitch for which the learning data Lnew does not exist for the new singer, it is possible to robustly generate a high-quality target sound by using the learned synthesis model M. That is, there is an advantage that the target sound of the new singer can be generated without requiring sufficient learning data Lnew (for example, learning data including pronunciations of all types of phonemes) for the new singer.
- sufficient learning data Lnew for example, learning data including pronunciations of all types of phonemes
- FIG. 8 is a block diagram illustrating the configuration of the synthetic model M in the second embodiment.
- the synthetic model M of the second embodiment includes a first learned model M1 and a second learned model M2.
- the first learned model M1 is composed of a recursive neural network (RNN: Recurrent Neural Network) such as long-term short-term memory (LSTM).
- the second learned model M2 is composed of, for example, a convolutional neural network (CNN: Convolutional Neural Network).
- CNN Convolutional Neural Network
- the first learned model M1 generates the intermediate data Y according to the input data Z including the singer data Xa, the style data Xb, and the synthetic data Xc.
- the intermediate data Y is data that represents the time series of each of the plurality of elements related to the singing of the music. Specifically, the intermediate data Y represents a time series of pitches (for example, pitch names), a time series of volume during singing, and a time series of phonemes. That is, when the singer represented by the singer data Xa sings the musical composition of the synthetic data Xc by the singing style represented by the style data Xb, temporal changes in pitch, volume, and phoneme are represented by the intermediate data Y. To be done.
- the first learned model M1 of the second embodiment comprises a first generation model G1 and a second generation model G2.
- the first generation model G1 generates facial expression data D1 from the singer data Xa and the style data Xb.
- the facial expression data D1 is data representing the characteristics of the musical facial expression of the singing sound. As understood from the above description, the facial expression data D1 is generated according to the combination of the singer data Xa and the style data Xb.
- the second generation model G2 generates intermediate data Y according to the synthetic data Xc stored in the storage device 12 and the facial expression data D1 generated by the first generation model G1.
- the second learned model M2 generates characteristic data Q (fundamental frequency Qa and spectrum envelope Qb) according to the singer data Xa stored in the storage device 12 and the intermediate data Y generated by the first learned model M1. To do. As illustrated in FIG. 8, the second learned model M2 includes a third generation model G3, a fourth generation model G4, and a fifth generation model G5.
- the third generation model G3 generates pronunciation data D2 according to the singer data Xa.
- the pronunciation data D2 is data representing characteristics of a singer's sounding mechanism (for example, vocal cord) and articulatory mechanism (for example, vocal tract). For example, the frequency characteristic given to the singing sound by the sounding mechanism and the articulatory mechanism of the singer is expressed by the sounding data D2.
- the fourth generation model G4 (an example of the first generation model) is the fundamental frequency Qa of the feature data Q according to the intermediate data Y generated by the first learned model M1 and the pronunciation data D2 generated by the third generation model G3. Generate a time series of.
- the fifth generation model G5 (an example of the second generation model) is the intermediate data Y generated by the first learned model M1, the pronunciation data D2 generated by the third generation model G3, and the fundamental frequency generated by the fourth generation model G4.
- a time series of the spectrum envelope Qb of the feature data Q is generated according to the time series of the Qa. That is, the fifth generation model G5 generates a time series of the spectral envelope Qb of the target sound according to the time series of the fundamental frequency Qa generated by the fourth generation model G4.
- the time series of the characteristic data Q including the fundamental frequency Qa generated by the fourth generation model G4 and the spectral envelope Qb generated by the fifth generation model G5 is supplied to the signal generation unit 22.
- the synthetic model M includes the fourth generation model G4 that generates the time series of the fundamental frequency Qa and the fifth generation model G5 that generates the time series of the spectrum envelope Qb. Therefore, there is an advantage that the relationship between the input data Z and the time series of the fundamental frequency Qa can be explicitly learned.
- FIG. 9 is a block diagram illustrating the configuration of the synthetic model M in the third embodiment.
- the configuration of the synthetic model M in the third embodiment is similar to that in the second embodiment. That is, the synthetic model M of the third embodiment includes a fourth generation model G4 that generates a time series of the fundamental frequency Qa and a fifth generation model G5 that generates a time series of the spectrum envelope Qb.
- the control device 11 of the third embodiment functions as the edit processing unit 26 of FIG. 9 in addition to the same elements (synthesis processing unit 21, signal generation unit 22, and learning processing unit 23) as those of the first embodiment.
- the edit processing unit 26 edits the time series of the fundamental frequency Qa generated by the fourth generation model G4 according to an instruction from the user to the input device 13.
- the fifth generation model G5 corresponds to the intermediate data Y generated by the first learned model M1, the pronunciation data D2 generated by the third generation model G3, and the time series of the fundamental frequency Qa after being edited by the editing processing unit 26.
- a time series of the spectrum envelope Qb of the characteristic data Q is generated.
- the time series of the characteristic data Q including the fundamental frequency Qa after being edited by the editing processing unit 26 and the spectral envelope Qb generated by the fifth generation model G5 is supplied to the signal generating unit 22.
- the same effect as in the first embodiment can be realized. Further, in the third embodiment, since the time series of the spectrum envelope Qb is generated according to the time series of the edited basic frequency Qa according to the instruction from the user, it is used for the temporal transition of the basic frequency Qa. It is possible to generate a target sound that reflects the person's intention.
- the coding model Ea and the coding model Eb are discarded after the learning of the synthesis model M.
- the coding model Ea and the coding model Eb are combined. It may be used together with the synthesizing process.
- the input data Z includes identification information Fa of the singer, identification information Fb of the singing style, and synthetic data Xc. Singer data Xa generated by the coding model Ea from the identification information Fa, style data Xb generated by the coding model Eb from the identification information Fb, and synthetic data Xc of the input data Z are input to the synthetic model M. ..
- the characteristic data Q includes the fundamental frequency Qa and the spectrum envelope Qb is illustrated, but the content of the characteristic data Q is not limited to the above example.
- the characteristic data Q may be used for various data representing the characteristics of the frequency spectrum (hereinafter referred to as “spectral characteristics”). Examples of spectral features that can be used as the characteristic data Q include the spectral envelope Qb described above, as well as, for example, a mel spectrum, a mel cepstrum, a mel spectrogram, or a spectrogram.
- the fundamental frequency Qa may be omitted from the feature data Q.
- the singer data Xa is generated by the supplementing process for the new singer, but the method of generating the singer data Xa is not limited to the above example.
- new singer data Xa may be generated by interpolating or extrapolating a plurality of singer data Xa.
- the singer data Xa of the virtual singer uttering with a voice quality intermediate between the singer A and the singer B is obtained. Is generated.
- the information processing system 100 including both the synthesis processing unit 21 (and the signal generation unit 22) and the learning processing unit 23 is illustrated, but the synthesis processing unit 21 and the learning processing unit 23 are illustrated. May be installed in a separate information processing system.
- the information processing system including the synthesis processing unit 21 and the signal generation unit 22 is realized as a voice synthesis device that generates the acoustic signal V from the input data Z.
- the presence or absence of the learning processing unit 23 in the speech synthesizer does not matter.
- the information processing system including the learning processing unit 23 is realized as a machine learning device that generates a synthetic model M by machine learning using a plurality of learning data L.
- the singing sound produced by the singer is synthesized, but the present disclosure is also applied to synthesis of sounds other than the singing sound.
- the present disclosure is also applied to synthesis of general speech sounds such as conversation sounds that do not require music, or synthesis of performance sounds of musical instruments.
- the singer data Xa corresponds to an example of sound source data representing a sound source including a speaker or a musical instrument in addition to the singer.
- the style data Xb is comprehensively expressed as data representing a pronunciation style (performance style) including a utterance style, a musical instrument playing style, and the like in addition to the singing style.
- the synthesized data Xc is comprehensively expressed as data representing pronunciation conditions including utterance conditions (for example, phoneme) or performance conditions (for example, pitch and volume) in addition to singing conditions.
- utterance conditions for example, phoneme
- performance conditions for example, pitch and volume
- the designation of the phoneme is omitted.
- the pronunciation style (pronunciation condition) represented by the style data Xb includes the pronunciation environment and the recording environment.
- the pronunciation environment means, for example, an environment such as an anechoic room, a reverberation room, or the outdoors
- the recording environment means an environment such as recording using digital equipment or recording using an analog tape medium.
- the coding model or the synthetic model M is trained using the learning data L including the acoustic signals V having different pronunciation environments or recording environments.
- the pronunciation style indicated by the style data Xb may indicate a pronunciation environment or a recording environment. More specifically, the pronunciation environment is, for example, "a sound played in an anechoic room", “a sound played in a reverberation room", “a sound played outdoors”, and the recording environment is, for example, “recorded on digital equipment. "Sounds made” and “Sounds recorded on analog tape media”.
- the function of the information processing system 100 according to each of the above-described modes is realized by the cooperation of the computer (for example, the control device 11) and the program.
- a program according to one aspect of the present disclosure is provided in a form stored in a computer-readable recording medium and installed in the computer.
- the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but any known recording medium such as a semiconductor recording medium or a magnetic recording medium is used. Including a recording medium of the form.
- the non-transitory recording medium includes any recording medium except a transitory propagation signal, and does not exclude a volatile recording medium.
- the program may be provided to the computer in the form of distribution via a communication network.
- the execution subject of the artificial intelligence software for realizing the synthetic model M is not limited to the CPU.
- a processing circuit dedicated to a neural network such as a Tensor Processing Unit or a Neural Engine, or a DSP (Digital Signal Processor) dedicated to artificial intelligence may execute the artificial intelligence software.
- a plurality of types of processing circuits selected from the above examples may cooperate to execute the artificial intelligence software.
- An information processing method is a synthetic model in which pronunciation source data representing a pronunciation source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition are generated by machine learning.
- the characteristic data representing the acoustic characteristic of the target sound to be generated by the sound source under the sounding style and the sounding condition is generated.
- the feature data representing the acoustic feature of the target sound is generated by inputting the sound source data, the synthetic data, and the style data into the machine-learned synthetic model. Therefore, the target sound can be generated without the need for the speech unit.
- style data is input to the synthetic model.
- the combination of the pronunciation source and the pronunciation style is provided without preparing the pronunciation source data for each pronunciation style.
- the pronunciation condition includes a pitch for each note.
- the pronunciation condition includes a phoneme for each note.
- the pronunciation source in the third aspect is a singer.
- the sound source data input to the synthetic model is selected by the user from a plurality of sound source data corresponding to different sound sources. It is the sound source data. According to the above aspect, it is possible to generate the target sound feature data for the sound source that matches the user's intention or preference, for example.
- the style data input to the synthetic model is a style selected by the user from a plurality of style data corresponding to different pronunciation styles.
- the data According to the above-described aspect, it is possible to generate the target sound feature data for the pronunciation style that matches the intention or taste of the user, for example.
- the information processing method further includes new pronunciation source data representing a new pronunciation source and style data representing a pronunciation style corresponding to the new pronunciation source.
- new synthetic data representing the pronunciation condition of the pronunciation by the new pronunciation source, are input to the synthesis model to generate the new under the pronunciation style of the new pronunciation source and the pronunciation condition of the pronunciation by the new pronunciation source.
- New feature data representing the acoustic feature of the sound produced by the sound source is generated, and known feature data regarding the sound produced by the new sound source under the pronunciation condition represented by the new synthesized data, and the new feature data.
- the new source data and the synthetic model are updated so that the difference between and is reduced. According to the above aspect, it is possible to generate a synthesis model capable of robustly generating a high-quality target sound related to a new sound source, even when new synthesis data and acoustic signals cannot be sufficiently prepared for the new sound source.
- the sound source data indicates a relationship between the plurality of sound sources regarding the characteristics of the sound produced by the plurality of different sound sources.
- the style data represents a vector in the second space, and the style data represents a vector in the second space that represents the relationship between the plurality of pronunciation styles regarding the characteristics of the sound produced by the different pronunciation styles.
- the synthetic model is generated by a first generative model that generates a time series of the fundamental frequency of the target sound, and the first generative model.
- the time series of the fundamental frequencies generated by the first generation model is edited according to an instruction from the user, and the second generation model is the edited basic frequency.
- a time series of the spectral envelope of the target sound is generated according to a time series of frequencies.
- Each aspect of the present disclosure is realized also as an information processing system that executes the information processing method of each aspect exemplified above, or as a program that causes a computer to execute the information processing method of each aspect exemplified above.
- 100 Information processing system, 11 ... Control device, 12 ... Storage device, 13 ... Input device, 14 ... Sound emitting device, 21 ... Synthesis processing unit, 22 ... Signal generation unit, 23 ... Learning processing unit, 24 ... Feature analysis unit , 26 ... Edit processing unit, M ... Synthetic model, Xa ... Singer data, Xb ... Style data, Xc ... Synthetic data, Z ... Input data, Q ... Feature data, V ... Acoustic signal, Fa, Fb ... Identification information, Ea, Eb ... Coding model, L, Lnew ... Learning data.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Machine Translation (AREA)
Abstract
情報処理システムは、歌唱者を表す歌唱者データと歌唱スタイルを表すスタイルデータと歌唱条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、当該発音スタイルおよび発音条件のもとで歌唱者が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部を具備する。
Description
本開示は、音声等の音響を合成する技術に関する。
任意の音韻の音声を合成する音声合成技術が従来から提案されている。例えば特許文献1には、複数の音声素片のうち目標の音韻に応じて選択された音声素片を相互に接続することで音(以下「目標音」という)を生成する素片接続型の音声合成技術が開示されている。
近年の音声合成技術には、多様な発声者が多様な発音スタイルで発音する目標音を合成することが要求される。しかし、素片接続型の音声合成技術で以上の要求に対応するには、発声者と発音スタイルとの組合せ毎に複数の音声素片の集合を個別に用意する必要がある。したがって、音声素片の用意に過大な労力が必要であるという問題がある。以上の事情を考慮して、本開示のひとつの態様は、音声素片を必要とすることなく発音源(例えば発声者)と発音スタイルとの組合せを相違させた多様な目標音を生成することを目的とする。
以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する。
本開示のひとつの態様に係る情報処理システムは、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部を具備する。
本開示のひとつの態様に係る情報処理システムは、1以上のプロセッサと1以上のメモリとを具備する情報処理システムであって、前記1以上のメモリに記憶されたプログラムを実行することにより、前記1以上のプロセッサが、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音する音響の音響的な特徴を表す特徴データを生成する。
<第1実施形態>
図1は、第1実施形態に係る情報処理システム100の構成を例示するブロック図である。情報処理システム100は、特定の歌唱者が特定の歌唱スタイルで楽曲を仮想的に歌唱した音声(以下「目標音」という)を生成する音声合成装置である。歌唱スタイル(発音スタイルの例示)は、例えば歌唱の仕方に関する特徴を意味する。例えばラップ,R&B(rhythm and blues)またはパンク等の各種の音楽ジャンルの楽曲に好適な歌い廻しが歌唱スタイルの具体例である。
図1は、第1実施形態に係る情報処理システム100の構成を例示するブロック図である。情報処理システム100は、特定の歌唱者が特定の歌唱スタイルで楽曲を仮想的に歌唱した音声(以下「目標音」という)を生成する音声合成装置である。歌唱スタイル(発音スタイルの例示)は、例えば歌唱の仕方に関する特徴を意味する。例えばラップ,R&B(rhythm and blues)またはパンク等の各種の音楽ジャンルの楽曲に好適な歌い廻しが歌唱スタイルの具体例である。
第1実施形態の情報処理システム100は、制御装置11と記憶装置12と入力装置13と放音装置14とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、情報処理システム100として利用される。なお、情報処理システム100は、単体の装置として実現されるほか、相互に別体で構成された複数の装置の集合でも実現される。
制御装置11は、情報処理システム100の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置11は、CPU(Central Processing Unit)、SPU(Sound Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、またはASIC(Application Specific Integrated Circuit)等の1種類以上のプロセッサで構成される。
入力装置13は、利用者による操作を受付ける。例えば利用者が操作する操作子、または利用者による接触を検知するタッチパネルが、入力装置13として利用される。また、音声入力が可能な収音装置を入力装置13として利用してもよい。放音装置14は、制御装置11からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置14の典型例である。
記憶装置12は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置11が実行するプログラムと制御装置11が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置12を構成してもよい。また、情報処理システム100に対して着脱可能な可搬型の記録媒体、または情報処理システム100が通信網を介して通信可能な外部記録媒体(例えばオンラインストレージ)を、記憶装置12として利用してもよい。第1実施形態の記憶装置12は、複数(Na個)の歌唱者データXaと複数(Nb個)のスタイルデータXbと合成データXcとを記憶する(NaおよびNbの各々は2以上の自然数)。なお、歌唱者データXaの個数NaとスタイルデータXbの個数Nbとの異同は不問である。
第1実施形態の記憶装置12は、相異なる歌唱者に対応するNa個の歌唱者データXa(発音源データの例示)を記憶する。各歌唱者の歌唱者データXaは、当該歌唱者が発音する歌唱音の音響的な特徴(例えば声質)を表すデータである。第1実施形態の歌唱者データXaは、多次元の第1空間における埋込ベクトル(embedding vector)である。第1空間は、歌唱音の音響的な特徴に応じて空間内における各歌唱者の位置が決定される連続空間である。歌唱者間で歌唱音の音響的な特徴が類似するほど、第1空間内における当該歌唱者間のベクトルの距離は小さい数値となる。以上の説明から理解される通り、第1空間は、歌唱音の特徴に関する歌唱者間の関係を表す空間と表現される。利用者は、入力装置13を適宜に操作することで、記憶装置12に記憶されたNa個の歌唱者データXaの何れか(すなわち所望の歌唱者)を選択する。なお、歌唱者データXaの生成については後述する。
第1実施形態の記憶装置12は、相異なる歌唱スタイルに対応するNb個のスタイルデータXbを記憶する。各歌唱スタイルのスタイルデータXbは、当該歌唱スタイルで発音される歌唱音の音響的な特徴を表すデータである。第1実施形態のスタイルデータXbは、多次元の第2空間における埋込ベクトルである。第2空間は、歌唱音の音響的な特徴に応じて空間内における各歌唱スタイルの位置が決定される連続空間である。歌唱スタイル間で歌唱音の音響的な特徴が類似するほど、第2空間内における当該歌唱スタイル間のベクトルの距離は小さい数値となる。すなわち、以上の説明から理解される通り、第2空間は、歌唱音の特徴に関する歌唱スタイル間の関係を表す空間と表現される。利用者は、入力装置13を適宜に操作することで、記憶装置12に記憶されたNb個のスタイルデータXbの何れか(すなわち所望の歌唱スタイル)を選択する。スタイルデータXbの生成については後述する。
合成データXcは、目標音の歌唱条件を指定する。第1実施形態の合成データXcは、楽曲を構成する複数の音符の各々について音高と音韻(発音文字)と発音期間とを指定する時系列データである。音符毎の音量等の制御パラメータの数値を合成データXcが指定してもよい。例えばMIDI(Musical Instrument Digital Interface)規格に準拠した形式のファイル(SMF:Standard MIDI File)が合成データXcとして利用される。
図2は、記憶装置12に記憶されたプログラムを制御装置11が実行することで実現される機能を例示するブロック図である。第1実施形態の制御装置11は、合成処理部21と信号生成部22と学習処理部23とを実現する。なお、相互に別体で構成された複数の装置により制御装置11の機能を実現してもよい。制御装置11の機能の一部または全部を専用の電子回路で実現してもよい。
<合成処理部21および信号生成部22>
合成処理部21は、目標音の音響的な特徴を表す特徴データQの時系列を生成する。第1実施形態の特徴データQは、例えば目標音の基本周波数(ピッチ)Qaとスペクトル包絡Qbとを含む。スペクトル包絡Qbは、目標音の周波数スペクトルの概形である。特徴データQは、所定長(例えば5ミリ秒)の単位期間毎に順次に生成される。すなわち、第1実施形態の合成処理部21は、基本周波数Qaの時系列とスペクトル包絡Qbの時系列とを生成する。
合成処理部21は、目標音の音響的な特徴を表す特徴データQの時系列を生成する。第1実施形態の特徴データQは、例えば目標音の基本周波数(ピッチ)Qaとスペクトル包絡Qbとを含む。スペクトル包絡Qbは、目標音の周波数スペクトルの概形である。特徴データQは、所定長(例えば5ミリ秒)の単位期間毎に順次に生成される。すなわち、第1実施形態の合成処理部21は、基本周波数Qaの時系列とスペクトル包絡Qbの時系列とを生成する。
信号生成部22は、特徴データQの時系列から音響信号Vを生成する。特徴データQの時系列を利用した音響信号Vの生成には、例えば公知のボコーダ技術が利用される。具体的には、信号生成部22は、基本周波数Qaに対応する周波数スペクトルにおける周波数毎の強度をスペクトル包絡Qbに応じて調整し、調整後の周波数スペクトルを時間領域に変換することで音響信号Vを生成する。信号生成部22が生成した音響信号Vが放音装置14に供給されることで、目標音が音波として放音装置14から放射される。なお、音響信号Vをデジタルからアナログに変換するD/A変換器の図示は便宜的に省略した。
第1実施形態では、合成処理部21による特徴データQの生成に合成モデルMが利用される。合成処理部21は、入力データZを合成モデルMに入力する。入力データZは、Na個の歌唱者データXaのうち利用者が選択した歌唱者データXaと、Nb個のスタイルデータXbのうち利用者が選択したスタイルデータXbと、記憶装置12に記憶された合成データXcとを含む。
合成モデルMは、入力データZと特徴データQとの関係を学習した統計的予測モデルである。第1実施形態の合成モデルMは、深層ニューラルネットワーク(DNN:Deep Neural Network)で構成される。具体的には、合成モデルMは、入力データZから特徴データQを生成する演算を制御装置11に実行させるプログラム(例えば人工知能ソフトウェアを構成するプログラムモジュール)と、当該演算に適用される複数の係数との組合せで実現される。合成モデルMを規定する複数の係数は、複数の学習データを利用した機械学習(特に深層学習)により設定されて記憶装置12に保持される。合成モデルMの機械学習については後述する。
図3は、第1実施形態の制御装置11が音響信号Vを生成する処理(以下「合成処理」という)の具体的な手順を例示するフローチャートである。例えば入力装置13に対する利用者からの指示を契機として合成処理が開始される。
合成処理を開始すると、合成処理部21は、歌唱者データXaおよびスタイルデータXbの選択を利用者から受付ける(Sa1)。相異なる楽曲に対応する複数の合成データXcが記憶装置12に記憶されている場合、合成処理部21は、合成データXcの選択を利用者から受付けてもよい。合成処理部21は、利用者が選択した歌唱者データXaおよびスタイルデータXbと記憶装置12に記憶された合成データXcとを含む入力データZを合成モデルMに入力することで特徴データQの時系列を生成する(Sa2)。信号生成部22は、合成処理部21が生成した特徴データQの時系列から音響信号Vを生成する(Sa3)。
以上に説明した通り、第1実施形態では、歌唱者データXaとスタイルデータXbと合成データXcとを合成モデルMに入力することで特徴データQが生成される。したがって、音声素片を必要とせずに目標音を生成できる。また、歌唱者データXaと合成データXcとに加えてスタイルデータXbが合成モデルMに入力される。したがって、歌唱者データXaと合成データXcとに応じた特徴データQを生成する構成と比較して、歌唱者データXaを歌唱スタイル毎に用意することなく、歌唱者と歌唱スタイルとの組合せに対応した多様な音声の特徴データQを生成できるという利点がある。例えば、歌唱者データXaとともに選択するスタイルデータXbを変更することで、特定の歌唱者が相異なる複数種の歌唱スタイルで発音した目標音の特徴データQを生成できる。また、スタイルデータXbとともに選択する歌唱者データXaを変更することで、複数の歌唱者の各々が共通の歌唱スタイルで発音した目標音の特徴データQを生成できる。
<学習処理部23>
図2の学習処理部23は、機械学習により合成モデルMを生成する。学習処理部23による機械学習後の合成モデルMが、図3における特徴データQの生成(以下「推定処理」という)Sa2に利用される。図4は、学習処理部23による機械学習を説明するためのブロック図である。合成モデルMの機械学習には複数の学習データLが利用される。複数の学習データLは記憶装置12に記憶される。また、機械学習の終了判定に利用される評価用の学習データ(以下「評価用データ」という)Lも記憶装置12に記憶される。
図2の学習処理部23は、機械学習により合成モデルMを生成する。学習処理部23による機械学習後の合成モデルMが、図3における特徴データQの生成(以下「推定処理」という)Sa2に利用される。図4は、学習処理部23による機械学習を説明するためのブロック図である。合成モデルMの機械学習には複数の学習データLが利用される。複数の学習データLは記憶装置12に記憶される。また、機械学習の終了判定に利用される評価用の学習データ(以下「評価用データ」という)Lも記憶装置12に記憶される。
複数の学習データLの各々は、識別情報Faと識別情報Fbと合成データXcと音響信号Vとを含む。識別情報Faは、特定の歌唱者を識別するための数値列である。例えば、相異なる歌唱者に対応する複数の要素のうち特定の歌唱者に対応する要素が数値1に設定され、残余の要素が数値0に設定されたone-hot表現の数値列が、当該特定の歌唱者の識別情報Faとして利用される。また、識別情報Fbは、特定の歌唱スタイルを識別するための数値列である。例えば、相異なる歌唱スタイルに対応する複数の要素のうち特定の歌唱スタイルに対応する要素が数値1に設定され、残余の要素が数値0に設定されたone-hot表現の数値列が、当該特定の歌唱スタイルの識別情報Fbとして利用される。なお、識別情報Faまたは識別情報Fbについては、one-hot表現における数値1と数値0とを置換したone-cold表現を採用してもよい。識別情報Faと識別情報Fbと合成データXcとの組合せは学習データL毎に相違する。ただし、識別情報Faと識別情報Fbと合成データXcとの一部は、2個以上の学習データLについて共通してもよい。
任意の1個の学習データLに含まれる音響信号Vは、識別情報Faが表す歌唱者が、識別情報fbが表す歌唱スタイルで、合成データXcが表す楽曲を歌唱した場合における歌唱音の波形を表す信号である。例えば歌唱者が実際に発音した歌唱音を収録することで音響信号Vが事前に用意される。
第1実施形態の学習処理部23は、機械学習の本来の目的である合成モデルMとともに符号化モデルEaおよび符号化モデルEbを一括的に訓練する。符号化モデルEaは、歌唱者の識別情報Faを当該歌唱者の歌唱者データXaに変換するエンコーダである。符号化モデルEbは、歌唱スタイルの識別情報Fbを当該歌唱スタイルのスタイルデータXbに変換するエンコーダである。符号化モデルEaおよび符号化モデルEbは、例えば深層ニューラルネットワークで構成される。符号化モデルEaが生成する歌唱者データXaと符号化モデルEbが生成するスタイルデータXbと学習データLの合成データXcとが合成モデルMに供給される。前述の通り、合成モデルMは、歌唱者データXaとスタイルデータXbと合成データXcとに応じた特徴データQの時系列を出力する。
特徴解析部24は、各学習データLの音響信号Vから特徴データQを生成する。特徴データQは、例えば基本周波数Qaとスペクトル包絡Qbとを含む。特徴データQの生成は、所定長(例えば5ミリ秒)の単位期間毎に反復される。すなわち、特徴解析部24は、基本周波数Qaの時系列とスペクトル包絡Qbの時系列とを音響信号Vから生成する。特徴データQは、合成モデルMの出力に関する既知の正解値に相当する。
学習処理部23は、合成モデルMと符号化モデルEaと符号化モデルEbとの各々について複数の係数を反復的に更新する。図5は、学習処理部23が実行する処理(以下「学習処理」という)の具体的な手順を例示するフローチャートである。例えば入力装置13に対する利用者からの指示を契機として学習処理が開始される。
学習処理を開始すると、学習処理部23は、記憶装置12に記憶された複数の学習データLの何れかを選択する(Sb1)。学習処理部23は、記憶装置12から選択した学習データLの識別情報Faを暫定的な符号化モデルEaに入力するとともに当該学習データLの識別情報Fbを暫定的な符号化モデルEbに入力する(Sb2)。符号化モデルEaは、識別情報Faに対応する歌唱者データXaを生成する。符号化モデルEbは、識別情報Fbに対応するスタイルデータXbを生成する。
学習処理部23は、符号化モデルEaが生成した歌唱者データXaおよび符号化モデルEbが生成したスタイルデータXbと、学習データLの合成データXcとを含む入力データZを、暫定的な合成モデルMに入力する(Sb3)。合成モデルMは、入力データZに応じた特徴データQを生成する。
学習処理部23は、合成モデルMが生成した特徴データQと、学習データLの音響信号Vから特徴解析部24が生成した特徴データQ(すなわち正解値)との誤差を表す評価関数を算定する(Sb4)。例えばベクトル間距離または交差エントロピー等の指標が評価関数として利用される。学習処理部23は、評価関数が所定値(典型的にはゼロ)に近付くように、合成モデルMと符号化モデルEaと符号化モデルEbとの各々の複数の係数を更新する(Sb5)。評価関数に応じた複数の係数の更新には、例えば誤差逆伝播法が利用される。
学習処理部23は、以上に説明した更新処理(Sb2~Sb5)を所定の回数にわたり反復したか否かを判定する(Sb61)。更新処理の反復の回数が所定値を下回る場合(Sb61:NO)、学習処理部23は、記憶装置12から次の学習データLを選択(Sb1)したうえで、当該学習データLについて更新処理(Sb2~Sb5)を実行する。すなわち、複数の学習データLの各々について更新処理が反復される。
更新処理(Sb2~Sb5)の回数が所定値に到達した場合(Sb61:YES)、学習処理部23は、更新処理後の合成モデルMにより生成される特徴データQが所定の品質に到達したか否かを判定する(Sb62)。特徴データQの品質の評価には、記憶装置12に記憶された前述の評価用データLが利用される。具体的には、学習処理部23は、合成モデルMが評価用データLから生成した特徴データQと評価用データLの音響信号Vから特徴解析部24が生成した特徴データQ(正解値)との誤差を算定する。学習処理部23は、特徴データQ間の誤差が所定の閾値を下回るか否かに応じて、特徴データQが所定の品質に到達したか否かを判定する。
特徴データQが所定の品質に到達していない場合(Sb62:NO)、学習処理部23は、所定の回数にわたる更新処理(Sb2~Sb5)の反復を開始する。以上の説明から理解される通り、所定の回数にわたる更新処理の反復毎に特徴データQの品質が評価される。特徴データQが所定の品質に到達した場合(Sb62:YES)、学習処理部23は、当該時点における合成モデルMを最終的な合成モデルMとして確定する(Sb7)。すなわち、最新の更新後の複数の係数が記憶装置12に記憶される。以上の手順で確定された学習済の合成モデルMが、前述の推定処理Sa2に利用される。
以上の説明から理解される通り、学習済の合成モデルMは、各学習データLに対応する入力データZと当該学習データLの音響信号Vに対応する特徴データQとの間に潜在する傾向のもとで、未知の入力データZに対して統計的に妥当な特徴データQを生成することが可能である。すなわち、合成モデルMは、入力データZと特徴データQとの関係を学習する。
また、符号化モデルEaは、合成モデルMが統計的に妥当な特徴データQを入力データZから生成できるように識別情報Faと歌唱者データXaとの関係を学習する。学習処理部23は、学習済の符号化モデルEaにNa個の識別情報Faの各々を順次に入力することでNa個の歌唱者データXaを生成する(Sb8)。以上の手順で符号化モデルEaが生成したNa個の歌唱者データXaが、推定処理Sa2のために記憶装置12に記憶される。Na個の歌唱者データXaが記憶された段階では、学習済の符号化モデルEaは不要である。
同様に、符号化モデルEbは、合成モデルMが統計的に妥当な特徴データQを入力データZから生成できるように識別情報FbとスタイルデータXbとの関係を学習する。学習処理部23は、学習済の符号化モデルEbにNb個の識別情報Fbの各々を順次に入力することでNb個のスタイルデータXbを生成する(Sb9)。以上の手順で符号化モデルEbが生成したNb個のスタイルデータXbが、推定処理Sa2のために記憶装置12に記憶される。Nb個のスタイルデータXbが記憶された段階では、学習済の符号化モデルEbは不要である。
<新規な歌唱者の歌唱者データXaの生成>
学習済の符号化モデルEaを利用してNa個の歌唱者データXaが生成されると、当該符号化モデルEaは不要である。したがって、符号化モデルEaはNa個の歌唱者データXaの生成後に破棄される。しかし、歌唱者データXaが生成されていない新規な歌唱者(以下「新規歌唱者」という)について歌唱者データXaを生成する必要が事後的に発生し得る。第1実施形態の学習処理部23は、新規歌唱者に対応する複数の学習データLnewと学習済の合成モデルMとを利用して、新規歌唱者の歌唱者データXaを生成する。
学習済の符号化モデルEaを利用してNa個の歌唱者データXaが生成されると、当該符号化モデルEaは不要である。したがって、符号化モデルEaはNa個の歌唱者データXaの生成後に破棄される。しかし、歌唱者データXaが生成されていない新規な歌唱者(以下「新規歌唱者」という)について歌唱者データXaを生成する必要が事後的に発生し得る。第1実施形態の学習処理部23は、新規歌唱者に対応する複数の学習データLnewと学習済の合成モデルMとを利用して、新規歌唱者の歌唱者データXaを生成する。
図6は、学習処理部23が新規歌唱者の歌唱者データXaを生成する処理(以下「補充処理」という)の説明図である。複数の学習データLnewの各々は、新規歌唱者が特定の歌唱スタイルで楽曲を歌唱したときの歌唱音を表す音響信号Vと、当該楽曲の合成データXc(新規合成データの一例)とを含む。学習データLnewの音響信号Vは、新規歌唱者が実際に発音した歌唱音を収録することで事前に用意される。特徴解析部24は、各学習データLnewの音響信号Vから特徴データQの時系列を生成する。また、学習対象の変数として歌唱者データXaが合成モデルMに供給される。
図7は、補充処理の具体的な手順を例示するフローチャートである。補充処理を開始すると、学習処理部23は、記憶装置12に記憶された複数の学習データLnewの何れかを選択する(Sc1)。学習処理部23は、初期値に設定された歌唱者データXa(新規発音源データの一例)と、新規歌唱者の歌唱スタイルに対応する既存のスタイルデータXbと、記憶装置12から選択した学習データLnewの合成データXcとを学習済の合成モデルMに入力する(Sc2)。歌唱者データXaの初期値は、例えば乱数に設定される。合成モデルMは、スタイルデータXbと合成データXcとに応じた特徴データQ(新規特徴データの一例)を生成する。
学習処理部23は、合成モデルMが生成した特徴データQと、学習データLnewの音響信号Vから特徴解析部24が生成した特徴データQ(すなわち正解値)との誤差を表す評価関数を算定する(Sc3)。特徴解析部24が生成する特徴データQは「既知特徴データ」の一例である。学習処理部23は、評価関数が所定値(典型的にはゼロ)に近付くように、歌唱者データXaと合成モデルMの複数の係数とを更新する(Sc4)。なお、合成モデルMの複数の係数を固定したまま、評価関数が所定値に近付くように歌唱者データXaを更新してもよい。
学習処理部23は、以上に説明した追加更新(Sc2~Sc4)を所定の回数にわたり反復したか否かを判定する(Sc51)。追加更新の回数が所定値を下回る場合(Sc51:NO)、学習処理部23は、記憶装置12から次の学習データLnewを選択したうえで(Sc1)、当該学習データLnewについて追加更新(Sc2~Sc4)を実行する。すなわち、複数の学習データLnewの各々について追加更新が反復される。
追加更新(Sc2~Sc4)の回数が所定値に到達した場合(Sc51:YES)、学習処理部23は、追加更新後の合成モデルMにより生成される特徴データQが所定の品質に到達したか否かを判定する(Sc52)。特徴データQの品質の評価には、前述の例示と同様に評価用データLが利用される。特徴データQが所定の品質に到達していない場合(Sc52:NO)、学習処理部23は、所定の回数にわたる追加更新(Sc2~Sc4)の反復を開始する。以上の説明から理解される通り、所定の回数にわたる追加更新の反復毎に特徴データQの品質が評価される。特徴データQが所定の品質に到達した場合(Sc52:YES)、学習処理部23は、学習処理部23は、最新の更新後の複数の係数と歌唱者データXaとを確定値として記憶装置12に格納する(Sc6)。新規歌唱者の歌唱者データXaは、新規歌唱者が発生した歌唱音を合成するための合成処理に適用される。
なお、補充処理前の合成モデルMは、多様な歌唱者の学習データLを利用して学習済であるから、新規歌唱者について充分な個数の学習データLnewを用意できない場合でも、新規歌唱者の多様な目標音を生成することが可能である。例えば、新規歌唱者について学習データLnewが存在しない音韻または音高についても、学習済の合成モデルMを利用することで、高品質な目標音を頑健に生成することが可能である。すなわち、新規歌唱者について充分な学習データLnew(例えば全種類の音素の発音を含む学習データ)を必要とせずに当該新規歌唱者の目標音を生成できるという利点がある。
また、1人の歌唱者の学習データLのみを利用して訓練された合成モデルMについて、他の新規歌唱者の学習データLnewを利用して再学習を実行すると、合成モデルMの複数の係数が大幅に変化する場合がある。第1実施形態の合成モデルMは、多数の歌唱者の学習データLを利用して学習済である。したがって、新規歌唱者の学習データLnewを利用した再学習を実行しても、合成モデルMの複数の係数は大幅には変化しない。
<第2実施形態>
第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図8は、第2実施形態における合成モデルMの構成を例示するブロック図である。第2実施形態の合成モデルMは、第1学習済モデルM1と第2学習済モデルM2とを含む。第1学習済モデルM1は、例えば長短期記憶(LSTM:Long Short Term Memory)等の再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)で構成される。第2学習済モデルM2は、例えば畳込ニューラルネットワーク(CNN:Convolutional Neural Network)で構成される。第1学習済モデルM1および第2学習済モデルM2は、複数の学習データLを利用した機械学習により複数の係数が更新された学習済モデルである。
第1学習済モデルM1は、歌唱者データXaとスタイルデータXbと合成データXcとを含む入力データZに応じて中間データYを生成する。中間データYは、楽曲の歌唱に関する複数の要素の各々の時系列を表すデータである。具体的には、中間データYは、音高(例えば音名)の時系列と歌唱中の音量の時系列と音素の時系列とを表す。すなわち、歌唱者データXaが表す歌唱者が、スタイルデータXbが表す歌唱スタイルにより合成データXcの楽曲を歌唱したときの、音高と音量と音素との時間的な変化が、中間データYにより表現される。
第2実施形態の第1学習済モデルM1は、第1生成モデルG1と第2生成モデルG2とを具備する。第1生成モデルG1は、歌唱者データXaとスタイルデータXbとから表情データD1を生成する。表情データD1は、歌唱音の音楽的な表情の特徴を表すデータである。以上の説明から理解される通り、表情データD1は、歌唱者データXaとスタイルデータXbとの組合せに応じて生成される。第2生成モデルG2は、記憶装置12に記憶された合成データXcと第1生成モデルG1が生成した表情データD1とに応じて中間データYを生成する。
第2学習済モデルM2は、記憶装置12に記憶された歌唱者データXaと第1学習済モデルM1が生成した中間データYとに応じて特徴データQ(基本周波数Qaおよびスペクトル包絡Qb)を生成する。図8に例示される通り、第2学習済モデルM2は、第3生成モデルG3と第4生成モデルG4と第5生成モデルG5とを具備する。
第3生成モデルG3は、歌唱者データXaに応じた発音データD2を生成する。発音データD2は、歌唱者の発音機構(例えば声帯)および調音機構(例えば声道)の特徴を表すデータである。例えば、歌唱者の発音機構および調音機構により歌唱音に付与される周波数特性が発音データD2により表現される。
第4生成モデルG4(第1生成モデルの例示)は、第1学習済モデルM1が生成した中間データYと第3生成モデルG3が生成した発音データD2とに応じて特徴データQの基本周波数Qaの時系列を生成する。
第5生成モデルG5(第2生成モデルの例示)は、第1学習済モデルM1が生成した中間データYと第3生成モデルG3が生成した発音データD2と第4生成モデルG4が生成した基本周波数Qaの時系列とに応じて特徴データQのスペクトル包絡Qbの時系列を生成する。すなわち、第5生成モデルG5は、第4生成モデルG4が生成した基本周波数Qaの時系列に応じて目標音のスペクトル包絡Qbの時系列を生成する。第4生成モデルG4が生成した基本周波数Qaと第5生成モデルG5が生成したスペクトル包絡Qbとを含む特徴データQの時系列が信号生成部22に供給される。
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態では、基本周波数Qaの時系列を生成する第4生成モデルG4とスペクトル包絡Qbの時系列を生成する第5生成モデルG5とを合成モデルMが含む。したがって、入力データZと基本周波数Qaの時系列との関係を明示的に学習できるという利点がある。
<第3実施形態>
図9は、第3実施形態における合成モデルMの構成を例示するブロック図である。第3実施形態における合成モデルMの構成は第2実施形態と同様である。すなわち、第3実施形態の合成モデルMは、基本周波数Qaの時系列を生成する第4生成モデルG4と、スペクトル包絡Qbの時系列を生成する第5生成モデルG5とを含む。
図9は、第3実施形態における合成モデルMの構成を例示するブロック図である。第3実施形態における合成モデルMの構成は第2実施形態と同様である。すなわち、第3実施形態の合成モデルMは、基本周波数Qaの時系列を生成する第4生成モデルG4と、スペクトル包絡Qbの時系列を生成する第5生成モデルG5とを含む。
第3実施形態の制御装置11は、第1実施形態と同様の要素(合成処理部21,信号生成部22および学習処理部23)に加えて、図9の編集処理部26としても機能する。編集処理部26は、第4生成モデルG4が生成した基本周波数Qaの時系列を、入力装置13に対する利用者からの指示に応じて編集する。
第5生成モデルG5は、第1学習済モデルM1が生成した中間データYと第3生成モデルG3が生成した発音データD2と編集処理部26による編集後の基本周波数Qaの時系列とに応じて特徴データQのスペクトル包絡Qbの時系列を生成する。編集処理部26による編集後の基本周波数Qaと第5生成モデルG5が生成したスペクトル包絡Qbとを含む特徴データQの時系列が信号生成部22に供給される。
第3実施形態においても第1実施形態と同様の効果が実現される。また、第3実施形態では、利用者からの指示に応じた編集後の基本周波数Qaの時系列に応じてスペクトル包絡Qbの時系列が生成されるから、基本周波数Qaの時間的な遷移に利用者の意図が反映された目標音を生成することが可能である。
<変形例>
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
(1)前述の各形態では、合成モデルMの学習後に符号化モデルEaおよび符号化モデルEbを破棄したが、図10に例示される通り、符号化モデルEaおよび符号化モデルEbを合成モデルMとともに合成処理に利用してもよい。図10の構成では、入力データZが、歌唱者の識別情報Faと歌唱スタイルの識別情報Fbと合成データXcとを含む。符号化モデルEaが識別情報Faから生成した歌唱者データXaと、符号化モデルEbが識別情報Fbから生成したスタイルデータXbと、入力データZの合成データXcとが、合成モデルMに入力される。
(2)前述の各形態では、特徴データQが基本周波数Qaとスペクトル包絡Qbとを含む構成を例示したが、特徴データQの内容は以上の例示に限定されない。例えば、周波数スペクトルの特徴(以下「スペクトル特徴」という)を表す各種のデータが特徴データQを利用してもよい。特徴データQとして利用可能なスペクトル特徴としては、前述のスペクトル包絡Qbのほか、例えばメルスペクトル、メルケプストラム、メルスペクトログラムまたはスペクトログラムが例示される。なお、基本周波数Qaを特定可能なスペクトル特徴を特徴データQとして利用する構成では、特徴データQから基本周波数Qaを省略してもよい。
(2)前述の各形態では、特徴データQが基本周波数Qaとスペクトル包絡Qbとを含む構成を例示したが、特徴データQの内容は以上の例示に限定されない。例えば、周波数スペクトルの特徴(以下「スペクトル特徴」という)を表す各種のデータが特徴データQを利用してもよい。特徴データQとして利用可能なスペクトル特徴としては、前述のスペクトル包絡Qbのほか、例えばメルスペクトル、メルケプストラム、メルスペクトログラムまたはスペクトログラムが例示される。なお、基本周波数Qaを特定可能なスペクトル特徴を特徴データQとして利用する構成では、特徴データQから基本周波数Qaを省略してもよい。
(3)前述の各形態では、新規歌唱者について補充処理により歌唱者データXaを生成したが、歌唱者データXaを生成する方法は以上の例示に限定されない。例えば、複数の歌唱者データXaを補間または補外することで、新規な歌唱者データXaを生成してもよい。歌唱者Aの歌唱者データXaと歌唱者Bの歌唱者データXaとを補間することで、歌唱者Aと歌唱者Bとの中間の声質で発声する仮想的な歌唱者の歌唱者データXaが生成される。
(4)前述の各形態では、合成処理部21(および信号生成部22)と学習処理部23との双方を具備する情報処理システム100を例示したが、合成処理部21と学習処理部23とを別個の情報処理システムに搭載してもよい。合成処理部21および信号生成部22を具備する情報処理システムは、入力データZから音響信号Vを生成する音声合成装置として実現される。音声合成装置において学習処理部23の有無は不問である。また、学習処理部23を具備する情報処理システムは、複数の学習データLを利用した機械学習で合成モデルMを生成する機械学習装置として実現される。機械学習装置において合成処理部21の有無は不問である。端末装置と通信可能なサーバ装置により機械学習装置を実現し、機械学習装置が生成した合成モデルMを端末装置に配信してもよい。端末装置は、機械学習装置から配信された合成モデルMを利用して合成処理を実行する合成処理部21を具備する。
(5)前述の各形態では、歌唱者が発音した歌唱音を合成したが、歌唱音以外の音響の合成にも本開示は適用される。例えば、音楽を要件としない会話音等の一般的な発話音の合成、または楽器の演奏音の合成にも、本開示は適用される。歌唱者データXaは、歌唱者のほかに発話者または楽器等を含む発音源を表す発音源データの一例に相当する。また、スタイルデータXbは、歌唱スタイルのほかに発話スタイルまたは楽器演奏のスタイル等を含む発音スタイル(performance style)を表すデータとして包括的に表現される。合成データXcは、歌唱条件のほかに発話条件(例えば音韻)または演奏条件(例えば音高および音量)を含む発音条件を表すデータとして包括的に表現される。楽器の演奏に関する合成データXcにおいては、音韻の指定が省略される。
なお、スタイルデータXbが表す発音スタイル(発音条件)は、発音環境および収録環境を含む。発音環境は、例えば、無響室、残響室、または屋外等の環境を意味し、収録環境は、例えばデジタル機材を利用した収録またはアナログテープ媒体を利用した収録等の環境を意味する。発音環境または収録環境が異なる音響信号Vを含む学習データLを利用して、符号化モデルまたは合成モデルMが訓練される。
なお、時代時代の音楽ジャンルに応じた演奏場所や録音機材がある。その点を鑑みると、スタイルデータXbの示す発音スタイルは、発音環境や収録環境を示すものであってもよい。より具体的に、発音環境は、例えば「無響室内で演奏した音」,「残響室内で演奏した音」,「屋外で演奏した音」などであり、収録環境は、例えば「ディジタル機材に記録した音」,「アナログテープ媒体に記録した音」の別などである。
(6)前述の各形態に係る情報処理システム100の機能は、コンピュータ(例えば制御装置11)とプログラムとの協働により実現される。本開示のひとつの態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
(7)合成モデルMを実現するための人工知能ソフトウェアの実行主体はCPUに限定されない。例えば、Tensor Processing UnitもしくはNeural Engine等のニューラルネットワーク専用の処理回路、または、人工知能に専用されるDSP(Digital Signal Processor)が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
<付記>
以上に例示した形態から、例えば以下の構成が把握される。
以上に例示した形態から、例えば以下の構成が把握される。
本開示のひとつの態様(第1態様)に係る情報処理方法は、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する。以上の態様では、発音源データと合成データとスタイルデータとを機械学習済の合成モデルに入力することで目標音の音響的な特徴を表す特徴データが生成される。したがって、音声素片を必要とすることなく目標音を生成できる。また、発音源データと合成データとに加えてスタイルデータが合成モデルに入力される。したがって、発音源データと合成データとを学習済モデルに入力することで特徴データを生成する構成と比較して、発音源データを発音スタイル毎に用意することなく、発音源と発音スタイルとの組合せに対応した多様な音声の特徴データを生成できるという利点がある。
第1態様の具体例(第2態様)において、前記発音条件は、音符毎の音高を含む。また、第1態様または第2態様の具体例(第3態様)において、前記発音条件は、音符毎の音韻を含む。第3態様における発音源は歌唱者である。
第1態様から第3態様の何れかの具体例(第4態様)において、前記合成モデルに入力される発音源データは、相異なる発音源に対応する複数の発音源データのうち利用者が選択した発音源データである。以上の態様によれば、例えば利用者の意図または嗜好に合致した発音源について目標音の特徴データを生成できる。
第1態様から第4態様の何れかの具体例(第5態様)において、前記合成モデルに入力されるスタイルデータは、相異なる発音スタイルに対応する複数のスタイルデータのうち利用者が選択したスタイルデータである。以上の態様によれば、例えば利用者の意図または嗜好に適合した発音スタイルについて目標音の特徴データを生成できる。
第1態様から第5態様の何れかの具体例(第6態様)に係る情報処理方法は、さらに、新規発音源を表す新規発音源データと前記新規発音源に対応する発音スタイルを表すスタイルデータと前記新規発音源による発音の発音条件を表す新規合成データと、を前記合成モデルに入力することで、前記新規発音源の発音スタイルおよび前記新規発音源による発音の発音条件のもとで前記新規発音源が発音する音響の音響的な特徴を表す新規特徴データを生成し、前記新規合成データが表す発音条件のもとで前記新規発音源が発音した音響に関する既知特徴データと、前記新規特徴データとの差異が減少するように、前記新規発音源データおよび前記合成モデルを更新する。以上の態様によれば、新規発音源について新規合成データと音響信号とが充分に用意できない場合でも、新規発音源に関する高品質な目標音を頑健に生成可能な合成モデルを生成できる。
第1態様から第6態様の何れかの具体例(第7態様)において、前記発音源データは、相異なる複数の発音源により発音される音響の特徴に関する前記複数の発音源の間の関係を表す第1空間におけるベクトルを表し、前記スタイルデータは、相異なる複数の発音スタイルにより発音される音響の特徴に関する前記複数の発音スタイルの間の関係を表す第2空間におけるベクトルを表す。以上の態様によれば、音響の特徴に関する発音源間の関係という観点で表現された発音源データと、音響の特徴に関する発音スタイル間の関係という観点で表現されたスタイルデータとを利用して、発音源と発音スタイルとの組合せに対応した適切な合成音の特徴データを生成できる。
第1態様から第7態様の何れかの具体例(第8態様)において、前記合成モデルは、前記目標音の基本周波数の時系列を生成する第1生成モデルと、前記第1生成モデルが生成した基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する第2生成モデルとを含む。以上の態様によれば、目標音の基本周波数の時系列を生成する第1生成モデルと目標音のスペクトル包絡の時系列を生成する第2生成モデルとを合成モデルが含むから、発音源データとスタイルデータと合成データとを含む入力と、基本周波数の時系列との関係を明示的に学習できるという利点がある。
第8態様の具体例(第9態様)において、前記第1生成モデルが生成した基本周波数の時系列を利用者からの指示に応じて編集し、前記第2生成モデルは、前記編集後の基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する。以上の態様によれば、利用者からの指示に応じた編集後の基本周波数の時系列に応じてスペクトル包絡の時系列が生成されるから、基本周波数の時間的な遷移に利用者の意図が反映された目標音を生成することが可能である。
以上に例示した各態様の情報処理方法を実行する情報処理システム、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本開示の各態様は実現される。
100…情報処理システム、11…制御装置、12…記憶装置、13…入力装置、14…放音装置、21…合成処理部、22…信号生成部、23…学習処理部、24…特徴解析部、26…編集処理部、M…合成モデル、Xa…歌唱者データ、Xb…スタイルデータ、Xc…合成データ、Z…入力データ、Q…特徴データ、V…音響信号、Fa,Fb…識別情報、Ea,Eb…符号化モデル、L,Lnew…学習データ。
Claims (11)
- 発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する、
コンピュータにより実現される情報処理方法。 - 前記発音条件は、音符毎の音高を含む
請求項1の情報処理方法。 - 前記発音条件は、前記目標音の音韻を含む
請求項1または請求項2の情報処理方法。 - 前記合成モデルに入力される前記発音源データは、相異なる発音源に対応する複数の発音源データのうち利用者が選択した発音源データである
請求項1から請求項3の何れかの情報処理方法。 - 前記合成モデルに入力されるスタイルデータは、相異なる発音スタイルに対応する複数のスタイルデータのうち利用者が選択したスタイルデータである
請求項1から請求項4の何れかの情報処理方法。 - 前記情報処理方法は、さらに、
新規発音源を表す新規発音源データと前記新規発音源に対応する発音スタイルを表すスタイルデータと前記新規発音源による発音の発音条件を表す新規合成データと、を前記合成モデルに入力することで、前記新規発音源の発音スタイルおよび前記新規発音源による発音の発音条件のもとで前記新規発音源が発音する音響の音響的な特徴を表す新規特徴データを生成し、
前記新規合成データが表す発音条件のもとで前記新規発音源が発音した音響に関する既知特徴データと、前記新規特徴データとの差異が減少するように、前記新規発音源データおよび前記合成モデルを更新する
請求項1から請求項5の何れかの情報処理方法。 - 前記発音源データは、相異なる複数の発音源により発音される音響の特徴に関する前記複数の発音源の間の関係を表す第1空間におけるベクトルを表し、
前記スタイルデータは、相異なる複数の発音スタイルにより発音される音響の特徴に関する前記複数の発音スタイルの間の関係を表す第2空間におけるベクトルを表す
請求項1から請求項6の何れかの情報処理方法。 - 前記合成モデルは、
前記目標音の基本周波数の時系列を生成する第1生成モデルと、
前記第1生成モデルが生成した基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する第2生成モデルとを含む
請求項1から請求項7の何れかの情報処理方法。 - 前記情報処理方法は、さらに、
前記第1生成モデルが生成した基本周波数の時系列を利用者からの指示に応じて編集し、前記第2生成モデルは、前記編集後の基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する
請求項8の情報処理方法。 - 発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部
を具備する情報処理システム。 - 1以上のプロセッサと1以上のメモリとを具備する情報処理システムであって、
前記1以上のメモリに記憶されたプログラムを実行することにより、
前記1以上のプロセッサが、
発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音する音響の音響的な特徴を表す特徴データを生成する
情報処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19882179.5A EP3879524A4 (en) | 2018-11-06 | 2019-11-06 | INFORMATION PROCESSING METHOD AND SYSTEM |
CN201980072848.6A CN112970058A (zh) | 2018-11-06 | 2019-11-06 | 信息处理方法及信息处理*** |
US17/307,322 US11942071B2 (en) | 2018-11-06 | 2021-05-04 | Information processing method and information processing system for sound synthesis utilizing identification data associated with sound source and performance styles |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209288A JP6747489B2 (ja) | 2018-11-06 | 2018-11-06 | 情報処理方法、情報処理システムおよびプログラム |
JP2018-209288 | 2018-11-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/307,322 Continuation US11942071B2 (en) | 2018-11-06 | 2021-05-04 | Information processing method and information processing system for sound synthesis utilizing identification data associated with sound source and performance styles |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020095950A1 true WO2020095950A1 (ja) | 2020-05-14 |
Family
ID=70611512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/043510 WO2020095950A1 (ja) | 2018-11-06 | 2019-11-06 | 情報処理方法および情報処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11942071B2 (ja) |
EP (1) | EP3879524A4 (ja) |
JP (1) | JP6747489B2 (ja) |
CN (1) | CN112970058A (ja) |
WO (1) | WO2020095950A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4270267A4 (en) * | 2020-12-28 | 2024-06-19 | Sony Group Corporation | DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
CN112365874B (zh) * | 2020-11-17 | 2021-10-26 | 北京百度网讯科技有限公司 | 语音合成模型的属性注册、装置、电子设备与介质 |
JP7468495B2 (ja) * | 2021-03-18 | 2024-04-16 | カシオ計算機株式会社 | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム |
JPWO2022244818A1 (ja) * | 2021-05-18 | 2022-11-24 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007240564A (ja) | 2006-03-04 | 2007-09-20 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
JP2017045073A (ja) * | 2016-12-05 | 2017-03-02 | ヤマハ株式会社 | 音声合成方法および音声合成装置 |
JP2017107228A (ja) * | 2017-02-20 | 2017-06-15 | 株式会社テクノスピーチ | 歌声合成装置および歌声合成方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304846B1 (en) * | 1997-10-22 | 2001-10-16 | Texas Instruments Incorporated | Singing voice synthesis |
WO2006040908A1 (ja) * | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置及び音声合成方法 |
JP5293460B2 (ja) * | 2009-07-02 | 2013-09-18 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
JP5471858B2 (ja) * | 2009-07-02 | 2014-04-16 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
JP5510852B2 (ja) * | 2010-07-20 | 2014-06-04 | 独立行政法人産業技術総合研究所 | 声色変化反映歌声合成システム及び声色変化反映歌声合成方法 |
WO2013133768A1 (en) * | 2012-03-06 | 2013-09-12 | Agency For Science, Technology And Research | Method and system for template-based personalized singing synthesis |
GB2501067B (en) | 2012-03-30 | 2014-12-03 | Toshiba Kk | A text to speech system |
JP5949607B2 (ja) * | 2013-03-15 | 2016-07-13 | ヤマハ株式会社 | 音声合成装置 |
JP6261924B2 (ja) | 2013-09-17 | 2018-01-17 | 株式会社東芝 | 韻律編集装置、方法およびプログラム |
US8751236B1 (en) * | 2013-10-23 | 2014-06-10 | Google Inc. | Devices and methods for speech unit reduction in text-to-speech synthesis systems |
CN104766603B (zh) * | 2014-01-06 | 2019-03-19 | 科大讯飞股份有限公司 | 构建个性化歌唱风格频谱合成模型的方法及装置 |
JP6392012B2 (ja) | 2014-07-14 | 2018-09-19 | 株式会社東芝 | 音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラム |
US9542927B2 (en) * | 2014-11-13 | 2017-01-10 | Google Inc. | Method and system for building text-to-speech voice from diverse recordings |
JP6000326B2 (ja) | 2014-12-15 | 2016-09-28 | 日本電信電話株式会社 | 音声合成モデル学習装置、音声合成装置、音声合成モデル学習方法、音声合成方法、およびプログラム |
JP6622505B2 (ja) | 2015-08-04 | 2019-12-18 | 日本電信電話株式会社 | 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム |
JP6846237B2 (ja) | 2017-03-06 | 2021-03-24 | 日本放送協会 | 音声合成装置及びプログラム |
WO2019139431A1 (ko) | 2018-01-11 | 2019-07-18 | 네오사피엔스 주식회사 | 다중 언어 텍스트-음성 합성 모델을 이용한 음성 번역 방법 및 시스템 |
KR102199067B1 (ko) | 2018-01-11 | 2021-01-06 | 네오사피엔스 주식회사 | 다중 언어 텍스트-음성 합성 방법 |
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
US11302329B1 (en) | 2020-06-29 | 2022-04-12 | Amazon Technologies, Inc. | Acoustic event detection |
US11551663B1 (en) | 2020-12-10 | 2023-01-10 | Amazon Technologies, Inc. | Dynamic system response configuration |
-
2018
- 2018-11-06 JP JP2018209288A patent/JP6747489B2/ja active Active
-
2019
- 2019-11-06 CN CN201980072848.6A patent/CN112970058A/zh active Pending
- 2019-11-06 EP EP19882179.5A patent/EP3879524A4/en not_active Withdrawn
- 2019-11-06 WO PCT/JP2019/043510 patent/WO2020095950A1/ja unknown
-
2021
- 2021-05-04 US US17/307,322 patent/US11942071B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007240564A (ja) | 2006-03-04 | 2007-09-20 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
JP2017045073A (ja) * | 2016-12-05 | 2017-03-02 | ヤマハ株式会社 | 音声合成方法および音声合成装置 |
JP2017107228A (ja) * | 2017-02-20 | 2017-06-15 | 株式会社テクノスピーチ | 歌声合成装置および歌声合成方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4270267A4 (en) * | 2020-12-28 | 2024-06-19 | Sony Group Corporation | DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING |
Also Published As
Publication number | Publication date |
---|---|
US20210256960A1 (en) | 2021-08-19 |
US11942071B2 (en) | 2024-03-26 |
JP2020076843A (ja) | 2020-05-21 |
EP3879524A4 (en) | 2022-09-28 |
CN112970058A (zh) | 2021-06-15 |
JP6747489B2 (ja) | 2020-08-26 |
EP3879524A1 (en) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110634460B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
WO2020095950A1 (ja) | 情報処理方法および情報処理システム | |
CN109559718B (zh) | 电子乐器、电子乐器的乐音产生方法以及存储介质 | |
CN111418005B (zh) | 声音合成方法、声音合成装置及存储介质 | |
CN111418006B (zh) | 声音合成方法、声音合成装置及记录介质 | |
Smith | Virtual acoustic musical instruments: Review and update | |
CN111696498B (zh) | 键盘乐器以及键盘乐器的计算机执行的方法 | |
Lindemann | Music synthesis with reconstructive phrase modeling | |
US11842720B2 (en) | Audio processing method and audio processing system | |
CN101111884A (zh) | 用于声学特征的同步修改的方法和装置 | |
WO2020158891A1 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
WO2021060493A1 (ja) | 情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置 | |
JP6835182B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
WO2014142200A1 (ja) | 音声処理装置 | |
JP7192834B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6801766B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2023013684A (ja) | 歌唱声質変換プログラム及び歌唱声質変換装置 | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
CN113016028B (zh) | 音响处理方法及音响处理*** | |
WO2023171522A1 (ja) | 音響生成方法、音響生成システムおよびプログラム | |
WO2022080395A1 (ja) | 音声合成方法およびプログラム | |
JP7107427B2 (ja) | 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム | |
WO2023171497A1 (ja) | 音響生成方法、音響生成システムおよびプログラム | |
Jayasinghe | Machine Singing Generation Through Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19882179 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019882179 Country of ref document: EP Effective date: 20210607 |