WO2020095950A1 - 情報処理方法および情報処理システム - Google Patents

情報処理方法および情報処理システム Download PDF

Info

Publication number
WO2020095950A1
WO2020095950A1 PCT/JP2019/043510 JP2019043510W WO2020095950A1 WO 2020095950 A1 WO2020095950 A1 WO 2020095950A1 JP 2019043510 W JP2019043510 W JP 2019043510W WO 2020095950 A1 WO2020095950 A1 WO 2020095950A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
pronunciation
style
model
synthetic
Prior art date
Application number
PCT/JP2019/043510
Other languages
English (en)
French (fr)
Inventor
竜之介 大道
メルレイン ブラアウ
ジョルディ ボナダ
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=70611512&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2020095950(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to EP19882179.5A priority Critical patent/EP3879524A4/en
Priority to CN201980072848.6A priority patent/CN112970058A/zh
Publication of WO2020095950A1 publication Critical patent/WO2020095950A1/ja
Priority to US17/307,322 priority patent/US11942071B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/14—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour during execution
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/621—Waveform interpolation
    • G10H2250/625—Interwave interpolation, i.e. interpolating between two different waveforms, e.g. timbre or pitch or giving one waveform the shape of another while preserving its frequency or vice versa
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation

Definitions

  • the present disclosure relates to technology for synthesizing sounds such as voice.
  • Speech synthesis technology for synthesizing speech with an arbitrary phoneme has been proposed in the past.
  • a segment-connecting type that generates a sound (hereinafter referred to as “target sound”) by interconnecting speech units selected according to a target phoneme among a plurality of speech units.
  • target sound a sound
  • Recent speech synthesis technology requires synthesis of target sounds that are produced by various vocalists in various pronunciation styles.
  • speech synthesis technology of the speech segment connection type it is necessary to individually prepare a plurality of speech segment sets for each combination of a speaker and a pronunciation style. Therefore, there is a problem that an excessive amount of labor is required to prepare the speech unit.
  • one aspect of the present disclosure is to generate a variety of target sounds with different combinations of a sound source (for example, a speaker) and a sounding style without the need for a speech segment. With the goal.
  • an information processing method generates pronunciation source data representing a pronunciation source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition by machine learning.
  • characteristic data representing the acoustic characteristic of the target sound to be generated by the sound source under the sounding style and the sounding condition is generated.
  • An information processing system inputs sound source data representing a sound source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition to a synthetic model generated by machine learning. And a synthesis processing unit that generates characteristic data representing acoustic characteristics of a target sound to be generated by the sound source based on the sounding style and the sounding condition.
  • An information processing system is an information processing system that includes one or more processors and one or more memories, and executes the program stored in the one or more memories, One or more processors input the pronunciation source data representing the pronunciation source, the style data representing the pronunciation style, and the synthetic data representing the pronunciation conditions into a synthetic model generated by machine learning, thereby producing the pronunciation style and the pronunciation. Characteristic data representing acoustic characteristics of the sound produced by the sound source under the condition is generated.
  • FIG. 1 is a block diagram illustrating the configuration of the information processing system 100 according to the first embodiment.
  • the information processing system 100 is a voice synthesizing device that generates a voice (hereinafter, referred to as a “target sound”) in which a specific singer virtually sings a song in a specific singing style.
  • the singing style (an example of the pronunciation style) means, for example, a characteristic relating to the way of singing.
  • a specific example of the singing style is singing suitable for songs of various music genres such as rap, R & B (rhythm and blues), and punk.
  • the information processing system 100 is realized by a computer system including a control device 11, a storage device 12, an input device 13, and a sound emitting device 14.
  • a control device 11 for example, an information terminal such as a mobile phone, a smartphone or a personal computer is used as the information processing system 100.
  • the information processing system 100 is realized not only as a single device but also as a set of a plurality of devices that are separate from each other.
  • the control device 11 is composed of a single processor or a plurality of processors that control each element of the information processing system 100.
  • the control device 11 includes one or more types such as a CPU (Central Processing Unit), an SPU (Sound Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit). Composed of a processor.
  • a CPU Central Processing Unit
  • SPU Sound Processing Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the input device 13 accepts operations by the user.
  • an operator operated by the user or a touch panel that detects contact by the user is used as the input device 13.
  • a sound collecting device capable of voice input may be used as the input device 13.
  • the sound emitting device 14 reproduces sound according to an instruction from the control device 11.
  • a speaker or headphones is a typical example of the sound emitting device 14.
  • the storage device 12 is a single or a plurality of memories configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, and stores a program executed by the control device 11 and various data used by the control device 11.
  • the storage device 12 may be configured by combining a plurality of types of recording media.
  • a portable recording medium that is removable from the information processing system 100 or an external recording medium (for example, online storage) that the information processing system 100 can communicate with via a communication network may be used as the storage device 12. Good.
  • the storage device 12 of the first embodiment stores a plurality (Na pieces) of singer data Xa, a plurality (Nb pieces) of style data Xb, and composite data Xc (each of Na and Nb is a natural number of 2 or more). .. The difference between the number Na of singer data Xa and the number Nb of style data Xb does not matter.
  • the storage device 12 of the first embodiment stores Na pieces of singer data Xa (exemplification of sound source data) corresponding to different singers.
  • the singer data Xa of each singer is data representing the acoustic characteristics (voice quality, for example) of the singing sound produced by the singer.
  • the singer data Xa of the first embodiment is an embedding vector in the multidimensional first space.
  • the first space is a continuous space in which the position of each singer in the space is determined according to the acoustic characteristics of the singing sound. The more similar the acoustic characteristics of the singing sound are between the singers, the smaller the vector distance between the singers in the first space is.
  • the first space is expressed as a space that represents the relationship between the singers regarding the characteristics of the singing sound.
  • the user appropriately operates the input device 13 to select any of the Na pieces of singer data Xa stored in the storage device 12 (that is, a desired singer). The generation of the singer data Xa will be described later.
  • the storage device 12 of the first embodiment stores Nb style data Xb corresponding to different singing styles.
  • the style data Xb of each singing style is data representing the acoustic characteristics of the singing sound produced in the singing style.
  • the style data Xb of the first embodiment is an embedding vector in the multidimensional second space.
  • the second space is a continuous space in which the position of each singing style in the space is determined according to the acoustic characteristics of the singing sound. The more similar the acoustic characteristics of the singing sound between the singing styles, the smaller the vector distance between the singing styles in the second space. That is, as understood from the above description, the second space is expressed as a space that represents the relationship between the singing styles regarding the characteristics of the singing sound.
  • the user appropriately operates the input device 13 to select one of the Nb style data Xb stored in the storage device 12 (that is, a desired singing style). The generation of the style data Xb will be described later.
  • the synthetic data Xc specifies the singing condition of the target sound.
  • the synthetic data Xc of the first embodiment is time-series data that specifies the pitch, the phoneme (pronunciation character), and the pronouncing period for each of the plurality of notes that compose the music.
  • the synthetic data Xc may specify the numerical value of the control parameter such as the volume of each note.
  • a file SMF: Standard MIDI File
  • MIDI Musical Instrument Digital Interface
  • FIG. 2 is a block diagram illustrating a function realized by the control device 11 executing a program stored in the storage device 12.
  • the control device 11 of the first embodiment implements a synthesis processing unit 21, a signal generation unit 22, and a learning processing unit 23.
  • the functions of the control device 11 may be realized by a plurality of devices that are separate from each other. Part or all of the functions of the control device 11 may be realized by a dedicated electronic circuit.
  • the synthesis processing unit 21 generates a time series of characteristic data Q representing the acoustic characteristics of the target sound.
  • the characteristic data Q of the first embodiment includes, for example, the fundamental frequency (pitch) Qa of the target sound and the spectrum envelope Qb.
  • the spectrum envelope Qb is a rough shape of the frequency spectrum of the target sound.
  • the characteristic data Q is sequentially generated for each unit period of a predetermined length (for example, 5 milliseconds). That is, the synthesis processing unit 21 of the first embodiment generates a time series of the fundamental frequency Qa and a time series of the spectrum envelope Qb.
  • the signal generator 22 generates the acoustic signal V from the time series of the characteristic data Q.
  • a known vocoder technique for example, is used to generate the acoustic signal V using the time series of the characteristic data Q.
  • the signal generation unit 22 adjusts the intensity of each frequency in the frequency spectrum corresponding to the fundamental frequency Qa according to the spectrum envelope Qb, and transforms the adjusted frequency spectrum into the time domain to generate the acoustic signal V. To generate.
  • the target sound is emitted from the sound emitting device 14 as a sound wave.
  • the D / A converter for converting the acoustic signal V from digital to analog is omitted for convenience.
  • the synthesis model M is used to generate the characteristic data Q by the synthesis processing unit 21.
  • the synthesis processing unit 21 inputs the input data Z into the synthesis model M.
  • the input data Z is stored in the storage device 12 and the singer data Xa selected by the user among the Na singer data Xa, and the style data Xb selected by the user among the Nb style data Xb. It includes the synthetic data Xc.
  • the synthetic model M is a statistical prediction model that learns the relationship between the input data Z and the characteristic data Q.
  • the synthetic model M of the first embodiment is configured by a deep neural network (DNN: Deep Neural Network).
  • DNN Deep Neural Network
  • the synthetic model M includes a program that causes the control device 11 to execute an operation for generating the characteristic data Q from the input data Z (for example, a program module that constitutes artificial intelligence software), and a plurality of applications applied to the operation. It is realized in combination with the coefficient.
  • a plurality of coefficients that define the composite model M are set by machine learning (especially deep learning) using a plurality of learning data and stored in the storage device 12. Machine learning of the synthetic model M will be described later.
  • FIG. 3 is a flowchart exemplifying a specific procedure of a process (hereinafter, referred to as “compositing process”) in which the control device 11 of the first embodiment generates the acoustic signal V.
  • the combining process is started in response to an instruction from the user to the input device 13.
  • the synthesizing unit 21 accepts the selection of the singer data Xa and the style data Xb from the user (Sa1).
  • the combining processor 21 may accept selection of the combined data Xc from the user.
  • the synthesizing unit 21 inputs the input data Z including the singer data Xa and the style data Xb selected by the user and the synthetic data Xc stored in the storage device 12 to the synthetic model M, the characteristic data Q is obtained.
  • a series is generated (Sa2).
  • the signal generator 22 generates the acoustic signal V from the time series of the characteristic data Q generated by the synthesis processor 21 (Sa3).
  • the characteristic data Q is generated by inputting the singer data Xa, the style data Xb, and the combined data Xc to the combined model M. Therefore, the target sound can be generated without the need for the voice unit.
  • the style data Xb is input to the synthetic model M. Therefore, as compared with the configuration in which the characteristic data Q is generated in accordance with the singer data Xa and the combined data Xc, the singer data Xa is not prepared for each singing style, but corresponds to the combination of the singing person and the singing style. There is an advantage that the feature data Q of various voices can be generated.
  • the style data Xb For example, by changing the style data Xb to be selected together with the singer data Xa, it is possible to generate the characteristic data Q of the target sound produced by the particular singer in a plurality of different singing styles. Further, by changing the singer data Xa selected together with the style data Xb, it is possible to generate the characteristic data Q of the target sound produced by each of the plurality of singers in a common singing style.
  • FIG. 2 The learning processing unit 23 in FIG. 2 generates a synthetic model M by machine learning.
  • the synthetic model M after machine learning by the learning processing unit 23 is used for generating the characteristic data Q in FIG. 3 (hereinafter referred to as “estimation processing”) Sa2.
  • FIG. 4 is a block diagram for explaining machine learning by the learning processing unit 23.
  • a plurality of learning data L is used for machine learning of the synthetic model M.
  • the plurality of learning data L are stored in the storage device 12.
  • the learning data for evaluation (hereinafter referred to as “evaluation data”) L used for determining the end of machine learning is also stored in the storage device 12.
  • Each of the plurality of learning data L includes identification information Fa, identification information Fb, synthetic data Xc, and acoustic signal V.
  • the identification information Fa is a numerical value sequence for identifying a specific singer. For example, a numerical sequence of one-hot expressions in which an element corresponding to a specific singer is set to a numerical value 1 and a remaining element is set to a numerical value 0 among a plurality of elements corresponding to different singers is Is used as the identification information Fa of the singer.
  • the identification information Fb is a numerical string for identifying a particular singing style.
  • the numerical sequence of one-hot expression in which the element corresponding to a specific singing style among a plurality of elements corresponding to different singing styles is set to the numerical value 1 and the remaining elements are set to the numerical value 0 is Is used as the identification information Fb of the song style.
  • the identification information Fa or the identification information Fb one-cold expression in which the numerical value 1 and the numerical value 0 in the one-hot expression are replaced may be adopted.
  • the combination of the identification information Fa, the identification information Fb, and the synthetic data Xc differs for each learning data L. However, some of the identification information Fa, the identification information Fb, and the combined data Xc may be common to two or more learning data L.
  • the acoustic signal V included in any one piece of the learning data L is the waveform of the singing sound when the singer represented by the identification information Fa sings the song represented by the synthetic data Xc in the singing style represented by the identification information fb. It is a signal that represents.
  • the acoustic signal V is prepared in advance by recording the singing sound actually pronounced by the singer.
  • the learning processing unit 23 of the first embodiment collectively trains the coding model Ea and the coding model Eb together with the synthetic model M, which is the original purpose of machine learning.
  • the coding model Ea is an encoder that converts the identification information Fa of the singer to the singer data Xa of the singer.
  • the coding model Eb is an encoder that converts the singing style identification information Fb into style data Xb of the singing style.
  • the coding model Ea and the coding model Eb are composed of, for example, a deep neural network.
  • the singer data Xa generated by the coding model Ea, the style data Xb generated by the coding model Eb, and the synthetic data Xc of the learning data L are supplied to the synthetic model M.
  • the synthetic model M outputs the time series of the characteristic data Q according to the singer data Xa, the style data Xb, and the synthetic data Xc.
  • the characteristic analysis unit 24 generates characteristic data Q from the acoustic signal V of each learning data L.
  • the characteristic data Q includes, for example, the fundamental frequency Qa and the spectrum envelope Qb.
  • the generation of the characteristic data Q is repeated every unit period of a predetermined length (for example, 5 milliseconds). That is, the feature analysis unit 24 generates the time series of the fundamental frequency Qa and the time series of the spectrum envelope Qb from the acoustic signal V.
  • the characteristic data Q corresponds to a known correct answer value regarding the output of the synthetic model M.
  • FIG. 5 is a flowchart exemplifying a specific procedure of a process executed by the learning processing unit 23 (hereinafter referred to as “learning process”). For example, the learning process is started in response to an instruction from the user to the input device 13.
  • the learning processing unit 23 selects any of the plurality of learning data L stored in the storage device 12 (Sb1).
  • the learning processing unit 23 inputs the identification information Fa of the learning data L selected from the storage device 12 into the provisional coding model Ea and inputs the identification information Fb of the learning data L into the provisional coding model Eb.
  • the coding model Ea generates singer data Xa corresponding to the identification information Fa.
  • the coding model Eb generates style data Xb corresponding to the identification information Fb.
  • the learning processing unit 23 converts the input data Z including the singer data Xa generated by the coding model Ea and the style data Xb generated by the coding model Eb, and the synthetic data Xc of the learning data L into the provisional synthetic model. Input to M (Sb3).
  • the synthetic model M generates characteristic data Q according to the input data Z.
  • the learning processing unit 23 calculates an evaluation function that represents an error between the characteristic data Q generated by the synthetic model M and the characteristic data Q (that is, the correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the learning data L. (Sb4). For example, an index such as vector distance or cross entropy is used as an evaluation function.
  • the learning processing unit 23 updates a plurality of coefficients of each of the synthetic model M, the coding model Ea, and the coding model Eb so that the evaluation function approaches a predetermined value (typically zero) (Sb5).
  • the error backpropagation method for example, is used to update the plurality of coefficients according to the evaluation function.
  • the learning processing unit 23 determines whether or not the update processing (Sb2 to Sb5) described above has been repeated a predetermined number of times (Sb61). When the number of repetitions of the update process is less than the predetermined value (Sb61: NO), the learning processing unit 23 selects the next learning data L from the storage device 12 (Sb1), and then updates the learning data L (Sb61: NO). Execute Sb2 to Sb5). That is, the update process is repeated for each of the plurality of learning data L.
  • the learning processing unit 23 determines whether the feature data Q generated by the combined model M after the update process has reached a predetermined quality. It is determined whether or not (Sb62).
  • the above-described evaluation data L stored in the storage device 12 is used. Specifically, the learning processing unit 23 recognizes the characteristic data Q generated by the synthetic model M from the evaluation data L and the characteristic data Q (correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the evaluation data L. Calculate the error of. The learning processing unit 23 determines whether or not the characteristic data Q has reached a predetermined quality, depending on whether or not the error between the characteristic data Q is below a predetermined threshold value.
  • the learning processing unit 23 starts repeating the update processing (Sb2 to Sb5) a predetermined number of times.
  • the quality of the feature data Q is evaluated every time the update process is repeated a predetermined number of times.
  • the learning processing unit 23 determines the synthetic model M at that time as the final synthetic model M (Sb7). That is, the plurality of coefficients after the latest update are stored in the storage device 12.
  • the learned synthetic model M determined by the above procedure is used for the above-described estimation process Sa2.
  • the learned composite model M has a latent tendency between the input data Z corresponding to each learning data L and the feature data Q corresponding to the acoustic signal V of the learning data L. Under the circumstances, it is possible to generate the statistically valid characteristic data Q for the unknown input data Z. That is, the synthetic model M learns the relationship between the input data Z and the characteristic data Q.
  • the coding model Ea learns the relationship between the identification information Fa and the singer data Xa so that the synthetic model M can generate the statistically valid characteristic data Q from the input data Z.
  • the learning processing unit 23 sequentially inputs each of the Na pieces of identification information Fa into the learned coding model Ea to generate Na pieces of singer data Xa (Sb8).
  • the Na song data Xa generated by the coding model Ea in the above procedure is stored in the storage device 12 for the estimation process Sa2.
  • the learned coding model Ea is unnecessary at the stage where the Na pieces of singer data Xa are stored.
  • the coding model Eb learns the relationship between the identification information Fb and the style data Xb so that the synthetic model M can generate the statistically valid characteristic data Q from the input data Z.
  • the learning processing unit 23 sequentially inputs each of the Nb pieces of identification information Fb to the learned coding model Eb to generate Nb pieces of style data Xb (Sb9).
  • the Nb style data Xb generated by the coding model Eb in the above procedure are stored in the storage device 12 for the estimation process Sa2. At the stage where Nb style data Xb are stored, the learned coding model Eb is unnecessary.
  • the learning processing unit 23 of the first embodiment uses the plurality of learning data Lnew corresponding to the new singer and the learned synthetic model M to generate the singer data Xa of the new singer.
  • FIG. 6 is an explanatory diagram of a process in which the learning processing unit 23 generates singer data Xa of a new singer (hereinafter referred to as “replenishment process”).
  • Each of the plurality of learning data Lnew includes an acoustic signal V representing a singing sound when a new singer sings a song in a specific singing style, and synthetic data Xc of the song (an example of new synthetic data).
  • the acoustic signal V of the learning data Lnew is prepared in advance by recording the singing sound actually pronounced by the new singer.
  • the feature analysis unit 24 generates a time series of feature data Q from the acoustic signal V of each learning data Lnew.
  • singer data Xa is supplied to the synthetic model M as a learning target variable.
  • FIG. 7 is a flowchart illustrating a specific procedure of replenishment processing.
  • the learning processing unit 23 selects any of the plurality of learning data Lnew stored in the storage device 12 (Sc1).
  • the learning processing unit 23 sets the singer data Xa set to the initial value (an example of new pronunciation source data), the existing style data Xb corresponding to the singing style of the new singer, and the learning data selected from the storage device 12.
  • the synthetic data Xc of Lnew is input to the learned synthetic model M (Sc2).
  • the initial value of the singer data Xa is set to a random number, for example.
  • the synthetic model M generates characteristic data Q (an example of new characteristic data) according to the style data Xb and the synthetic data Xc.
  • the learning processing unit 23 calculates an evaluation function that represents an error between the characteristic data Q generated by the synthetic model M and the characteristic data Q (that is, the correct value) generated by the characteristic analysis unit 24 from the acoustic signal V of the learning data Lnew. (Sc3).
  • the characteristic data Q generated by the characteristic analysis unit 24 is an example of “known characteristic data”.
  • the learning processing unit 23 updates the singer data Xa and the plurality of coefficients of the synthetic model M so that the evaluation function approaches a predetermined value (typically zero) (Sc4). Note that the singer data Xa may be updated so that the evaluation function approaches a predetermined value while fixing the plurality of coefficients of the synthetic model M.
  • the learning processing unit 23 determines whether or not the additional update (Sc2 to Sc4) described above has been repeated a predetermined number of times (Sc51). When the number of additional updates is less than the predetermined value (Sc51: NO), the learning processing unit 23 selects the next learning data Lnew from the storage device 12 (Sc1), and additionally updates the learning data Lnew (Sc2 to Execute Sc4). That is, the additional update is repeated for each of the plurality of learning data Lnew.
  • the learning processing unit 23 determines whether the characteristic data Q generated by the combined model M after the additional update has reached the predetermined quality. It is determined whether or not (Sc52). To evaluate the quality of the characteristic data Q, the evaluation data L is used as in the above-described example. When the characteristic data Q has not reached the predetermined quality (Sc52: NO), the learning processing unit 23 starts repeating additional updates (Sc2 to Sc4) a predetermined number of times. As can be understood from the above description, the quality of the feature data Q is evaluated after each predetermined number of additional update iterations.
  • the learning processing unit 23 causes the learning processing unit 23 to store the plurality of latest updated coefficients and the singer data Xa as the finalized values. (Sc6).
  • the singer data Xa of the new singer is applied to the synthesis process for synthesizing the singing sound generated by the new singer.
  • the synthetic model M before the replenishment process is already learned by using the learning data L of various singers, even if the learning data Lnew of a sufficient number cannot be prepared for the new singers, It is possible to generate various target sounds. For example, even for a phoneme or a pitch for which the learning data Lnew does not exist for the new singer, it is possible to robustly generate a high-quality target sound by using the learned synthesis model M. That is, there is an advantage that the target sound of the new singer can be generated without requiring sufficient learning data Lnew (for example, learning data including pronunciations of all types of phonemes) for the new singer.
  • sufficient learning data Lnew for example, learning data including pronunciations of all types of phonemes
  • FIG. 8 is a block diagram illustrating the configuration of the synthetic model M in the second embodiment.
  • the synthetic model M of the second embodiment includes a first learned model M1 and a second learned model M2.
  • the first learned model M1 is composed of a recursive neural network (RNN: Recurrent Neural Network) such as long-term short-term memory (LSTM).
  • the second learned model M2 is composed of, for example, a convolutional neural network (CNN: Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the first learned model M1 generates the intermediate data Y according to the input data Z including the singer data Xa, the style data Xb, and the synthetic data Xc.
  • the intermediate data Y is data that represents the time series of each of the plurality of elements related to the singing of the music. Specifically, the intermediate data Y represents a time series of pitches (for example, pitch names), a time series of volume during singing, and a time series of phonemes. That is, when the singer represented by the singer data Xa sings the musical composition of the synthetic data Xc by the singing style represented by the style data Xb, temporal changes in pitch, volume, and phoneme are represented by the intermediate data Y. To be done.
  • the first learned model M1 of the second embodiment comprises a first generation model G1 and a second generation model G2.
  • the first generation model G1 generates facial expression data D1 from the singer data Xa and the style data Xb.
  • the facial expression data D1 is data representing the characteristics of the musical facial expression of the singing sound. As understood from the above description, the facial expression data D1 is generated according to the combination of the singer data Xa and the style data Xb.
  • the second generation model G2 generates intermediate data Y according to the synthetic data Xc stored in the storage device 12 and the facial expression data D1 generated by the first generation model G1.
  • the second learned model M2 generates characteristic data Q (fundamental frequency Qa and spectrum envelope Qb) according to the singer data Xa stored in the storage device 12 and the intermediate data Y generated by the first learned model M1. To do. As illustrated in FIG. 8, the second learned model M2 includes a third generation model G3, a fourth generation model G4, and a fifth generation model G5.
  • the third generation model G3 generates pronunciation data D2 according to the singer data Xa.
  • the pronunciation data D2 is data representing characteristics of a singer's sounding mechanism (for example, vocal cord) and articulatory mechanism (for example, vocal tract). For example, the frequency characteristic given to the singing sound by the sounding mechanism and the articulatory mechanism of the singer is expressed by the sounding data D2.
  • the fourth generation model G4 (an example of the first generation model) is the fundamental frequency Qa of the feature data Q according to the intermediate data Y generated by the first learned model M1 and the pronunciation data D2 generated by the third generation model G3. Generate a time series of.
  • the fifth generation model G5 (an example of the second generation model) is the intermediate data Y generated by the first learned model M1, the pronunciation data D2 generated by the third generation model G3, and the fundamental frequency generated by the fourth generation model G4.
  • a time series of the spectrum envelope Qb of the feature data Q is generated according to the time series of the Qa. That is, the fifth generation model G5 generates a time series of the spectral envelope Qb of the target sound according to the time series of the fundamental frequency Qa generated by the fourth generation model G4.
  • the time series of the characteristic data Q including the fundamental frequency Qa generated by the fourth generation model G4 and the spectral envelope Qb generated by the fifth generation model G5 is supplied to the signal generation unit 22.
  • the synthetic model M includes the fourth generation model G4 that generates the time series of the fundamental frequency Qa and the fifth generation model G5 that generates the time series of the spectrum envelope Qb. Therefore, there is an advantage that the relationship between the input data Z and the time series of the fundamental frequency Qa can be explicitly learned.
  • FIG. 9 is a block diagram illustrating the configuration of the synthetic model M in the third embodiment.
  • the configuration of the synthetic model M in the third embodiment is similar to that in the second embodiment. That is, the synthetic model M of the third embodiment includes a fourth generation model G4 that generates a time series of the fundamental frequency Qa and a fifth generation model G5 that generates a time series of the spectrum envelope Qb.
  • the control device 11 of the third embodiment functions as the edit processing unit 26 of FIG. 9 in addition to the same elements (synthesis processing unit 21, signal generation unit 22, and learning processing unit 23) as those of the first embodiment.
  • the edit processing unit 26 edits the time series of the fundamental frequency Qa generated by the fourth generation model G4 according to an instruction from the user to the input device 13.
  • the fifth generation model G5 corresponds to the intermediate data Y generated by the first learned model M1, the pronunciation data D2 generated by the third generation model G3, and the time series of the fundamental frequency Qa after being edited by the editing processing unit 26.
  • a time series of the spectrum envelope Qb of the characteristic data Q is generated.
  • the time series of the characteristic data Q including the fundamental frequency Qa after being edited by the editing processing unit 26 and the spectral envelope Qb generated by the fifth generation model G5 is supplied to the signal generating unit 22.
  • the same effect as in the first embodiment can be realized. Further, in the third embodiment, since the time series of the spectrum envelope Qb is generated according to the time series of the edited basic frequency Qa according to the instruction from the user, it is used for the temporal transition of the basic frequency Qa. It is possible to generate a target sound that reflects the person's intention.
  • the coding model Ea and the coding model Eb are discarded after the learning of the synthesis model M.
  • the coding model Ea and the coding model Eb are combined. It may be used together with the synthesizing process.
  • the input data Z includes identification information Fa of the singer, identification information Fb of the singing style, and synthetic data Xc. Singer data Xa generated by the coding model Ea from the identification information Fa, style data Xb generated by the coding model Eb from the identification information Fb, and synthetic data Xc of the input data Z are input to the synthetic model M. ..
  • the characteristic data Q includes the fundamental frequency Qa and the spectrum envelope Qb is illustrated, but the content of the characteristic data Q is not limited to the above example.
  • the characteristic data Q may be used for various data representing the characteristics of the frequency spectrum (hereinafter referred to as “spectral characteristics”). Examples of spectral features that can be used as the characteristic data Q include the spectral envelope Qb described above, as well as, for example, a mel spectrum, a mel cepstrum, a mel spectrogram, or a spectrogram.
  • the fundamental frequency Qa may be omitted from the feature data Q.
  • the singer data Xa is generated by the supplementing process for the new singer, but the method of generating the singer data Xa is not limited to the above example.
  • new singer data Xa may be generated by interpolating or extrapolating a plurality of singer data Xa.
  • the singer data Xa of the virtual singer uttering with a voice quality intermediate between the singer A and the singer B is obtained. Is generated.
  • the information processing system 100 including both the synthesis processing unit 21 (and the signal generation unit 22) and the learning processing unit 23 is illustrated, but the synthesis processing unit 21 and the learning processing unit 23 are illustrated. May be installed in a separate information processing system.
  • the information processing system including the synthesis processing unit 21 and the signal generation unit 22 is realized as a voice synthesis device that generates the acoustic signal V from the input data Z.
  • the presence or absence of the learning processing unit 23 in the speech synthesizer does not matter.
  • the information processing system including the learning processing unit 23 is realized as a machine learning device that generates a synthetic model M by machine learning using a plurality of learning data L.
  • the singing sound produced by the singer is synthesized, but the present disclosure is also applied to synthesis of sounds other than the singing sound.
  • the present disclosure is also applied to synthesis of general speech sounds such as conversation sounds that do not require music, or synthesis of performance sounds of musical instruments.
  • the singer data Xa corresponds to an example of sound source data representing a sound source including a speaker or a musical instrument in addition to the singer.
  • the style data Xb is comprehensively expressed as data representing a pronunciation style (performance style) including a utterance style, a musical instrument playing style, and the like in addition to the singing style.
  • the synthesized data Xc is comprehensively expressed as data representing pronunciation conditions including utterance conditions (for example, phoneme) or performance conditions (for example, pitch and volume) in addition to singing conditions.
  • utterance conditions for example, phoneme
  • performance conditions for example, pitch and volume
  • the designation of the phoneme is omitted.
  • the pronunciation style (pronunciation condition) represented by the style data Xb includes the pronunciation environment and the recording environment.
  • the pronunciation environment means, for example, an environment such as an anechoic room, a reverberation room, or the outdoors
  • the recording environment means an environment such as recording using digital equipment or recording using an analog tape medium.
  • the coding model or the synthetic model M is trained using the learning data L including the acoustic signals V having different pronunciation environments or recording environments.
  • the pronunciation style indicated by the style data Xb may indicate a pronunciation environment or a recording environment. More specifically, the pronunciation environment is, for example, "a sound played in an anechoic room", “a sound played in a reverberation room", “a sound played outdoors”, and the recording environment is, for example, “recorded on digital equipment. "Sounds made” and “Sounds recorded on analog tape media”.
  • the function of the information processing system 100 according to each of the above-described modes is realized by the cooperation of the computer (for example, the control device 11) and the program.
  • a program according to one aspect of the present disclosure is provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but any known recording medium such as a semiconductor recording medium or a magnetic recording medium is used. Including a recording medium of the form.
  • the non-transitory recording medium includes any recording medium except a transitory propagation signal, and does not exclude a volatile recording medium.
  • the program may be provided to the computer in the form of distribution via a communication network.
  • the execution subject of the artificial intelligence software for realizing the synthetic model M is not limited to the CPU.
  • a processing circuit dedicated to a neural network such as a Tensor Processing Unit or a Neural Engine, or a DSP (Digital Signal Processor) dedicated to artificial intelligence may execute the artificial intelligence software.
  • a plurality of types of processing circuits selected from the above examples may cooperate to execute the artificial intelligence software.
  • An information processing method is a synthetic model in which pronunciation source data representing a pronunciation source, style data representing a pronunciation style, and synthetic data representing a pronunciation condition are generated by machine learning.
  • the characteristic data representing the acoustic characteristic of the target sound to be generated by the sound source under the sounding style and the sounding condition is generated.
  • the feature data representing the acoustic feature of the target sound is generated by inputting the sound source data, the synthetic data, and the style data into the machine-learned synthetic model. Therefore, the target sound can be generated without the need for the speech unit.
  • style data is input to the synthetic model.
  • the combination of the pronunciation source and the pronunciation style is provided without preparing the pronunciation source data for each pronunciation style.
  • the pronunciation condition includes a pitch for each note.
  • the pronunciation condition includes a phoneme for each note.
  • the pronunciation source in the third aspect is a singer.
  • the sound source data input to the synthetic model is selected by the user from a plurality of sound source data corresponding to different sound sources. It is the sound source data. According to the above aspect, it is possible to generate the target sound feature data for the sound source that matches the user's intention or preference, for example.
  • the style data input to the synthetic model is a style selected by the user from a plurality of style data corresponding to different pronunciation styles.
  • the data According to the above-described aspect, it is possible to generate the target sound feature data for the pronunciation style that matches the intention or taste of the user, for example.
  • the information processing method further includes new pronunciation source data representing a new pronunciation source and style data representing a pronunciation style corresponding to the new pronunciation source.
  • new synthetic data representing the pronunciation condition of the pronunciation by the new pronunciation source, are input to the synthesis model to generate the new under the pronunciation style of the new pronunciation source and the pronunciation condition of the pronunciation by the new pronunciation source.
  • New feature data representing the acoustic feature of the sound produced by the sound source is generated, and known feature data regarding the sound produced by the new sound source under the pronunciation condition represented by the new synthesized data, and the new feature data.
  • the new source data and the synthetic model are updated so that the difference between and is reduced. According to the above aspect, it is possible to generate a synthesis model capable of robustly generating a high-quality target sound related to a new sound source, even when new synthesis data and acoustic signals cannot be sufficiently prepared for the new sound source.
  • the sound source data indicates a relationship between the plurality of sound sources regarding the characteristics of the sound produced by the plurality of different sound sources.
  • the style data represents a vector in the second space, and the style data represents a vector in the second space that represents the relationship between the plurality of pronunciation styles regarding the characteristics of the sound produced by the different pronunciation styles.
  • the synthetic model is generated by a first generative model that generates a time series of the fundamental frequency of the target sound, and the first generative model.
  • the time series of the fundamental frequencies generated by the first generation model is edited according to an instruction from the user, and the second generation model is the edited basic frequency.
  • a time series of the spectral envelope of the target sound is generated according to a time series of frequencies.
  • Each aspect of the present disclosure is realized also as an information processing system that executes the information processing method of each aspect exemplified above, or as a program that causes a computer to execute the information processing method of each aspect exemplified above.
  • 100 Information processing system, 11 ... Control device, 12 ... Storage device, 13 ... Input device, 14 ... Sound emitting device, 21 ... Synthesis processing unit, 22 ... Signal generation unit, 23 ... Learning processing unit, 24 ... Feature analysis unit , 26 ... Edit processing unit, M ... Synthetic model, Xa ... Singer data, Xb ... Style data, Xc ... Synthetic data, Z ... Input data, Q ... Feature data, V ... Acoustic signal, Fa, Fb ... Identification information, Ea, Eb ... Coding model, L, Lnew ... Learning data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Machine Translation (AREA)

Abstract

情報処理システムは、歌唱者を表す歌唱者データと歌唱スタイルを表すスタイルデータと歌唱条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、当該発音スタイルおよび発音条件のもとで歌唱者が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部を具備する。

Description

情報処理方法および情報処理システム
　本開示は、音声等の音響を合成する技術に関する。
　任意の音韻の音声を合成する音声合成技術が従来から提案されている。例えば特許文献１には、複数の音声素片のうち目標の音韻に応じて選択された音声素片を相互に接続することで音（以下「目標音」という）を生成する素片接続型の音声合成技術が開示されている。
特開２００７－２４０５６４号公報
　近年の音声合成技術には、多様な発声者が多様な発音スタイルで発音する目標音を合成することが要求される。しかし、素片接続型の音声合成技術で以上の要求に対応するには、発声者と発音スタイルとの組合せ毎に複数の音声素片の集合を個別に用意する必要がある。したがって、音声素片の用意に過大な労力が必要であるという問題がある。以上の事情を考慮して、本開示のひとつの態様は、音声素片を必要とすることなく発音源（例えば発声者）と発音スタイルとの組合せを相違させた多様な目標音を生成することを目的とする。
　以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する。
　本開示のひとつの態様に係る情報処理システムは、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部を具備する。
　本開示のひとつの態様に係る情報処理システムは、１以上のプロセッサと１以上のメモリとを具備する情報処理システムであって、前記１以上のメモリに記憶されたプログラムを実行することにより、前記１以上のプロセッサが、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音する音響の音響的な特徴を表す特徴データを生成する。
実施形態に係る情報処理システムの構成を例示するブロック図である。 情報処理システムの機能的な構成を例示するブロック図である。 合成処理の具体的な手順を例示するフローチャートである。 学習処理の説明図である。 学習処理の具体的な手順を例示するフローチャートである。 補充処理の説明図である。 補充処理の具体的な手順を例示するフローチャートである。 第２実施形態における合成モデルの構成を例示するブロック図である。 第３実施形態における合成モデルの構成を例示するブロック図である。 変形例における合成処理の説明図である。
＜第１実施形態＞
　図１は、第１実施形態に係る情報処理システム１００の構成を例示するブロック図である。情報処理システム１００は、特定の歌唱者が特定の歌唱スタイルで楽曲を仮想的に歌唱した音声（以下「目標音」という）を生成する音声合成装置である。歌唱スタイル（発音スタイルの例示）は、例えば歌唱の仕方に関する特徴を意味する。例えばラップ，Ｒ＆Ｂ（rhythm and blues）またはパンク等の各種の音楽ジャンルの楽曲に好適な歌い廻しが歌唱スタイルの具体例である。
　第１実施形態の情報処理システム１００は、制御装置１１と記憶装置１２と入力装置１３と放音装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、情報処理システム１００として利用される。なお、情報処理システム１００は、単体の装置として実現されるほか、相互に別体で構成された複数の装置の集合でも実現される。
　制御装置１１は、情報処理システム１００の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサで構成される。
　入力装置１３は、利用者による操作を受付ける。例えば利用者が操作する操作子、または利用者による接触を検知するタッチパネルが、入力装置１３として利用される。また、音声入力が可能な収音装置を入力装置１３として利用してもよい。放音装置１４は、制御装置１１からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置１４の典型例である。
　記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、情報処理システム１００に対して着脱可能な可搬型の記録媒体、または情報処理システム１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。第１実施形態の記憶装置１２は、複数（Ｎa個）の歌唱者データＸaと複数（Ｎb個）のスタイルデータＸbと合成データＸcとを記憶する（ＮaおよびＮbの各々は２以上の自然数）。なお、歌唱者データＸaの個数ＮaとスタイルデータＸbの個数Ｎbとの異同は不問である。
　第１実施形態の記憶装置１２は、相異なる歌唱者に対応するＮa個の歌唱者データＸa（発音源データの例示）を記憶する。各歌唱者の歌唱者データＸaは、当該歌唱者が発音する歌唱音の音響的な特徴（例えば声質）を表すデータである。第１実施形態の歌唱者データＸaは、多次元の第１空間における埋込ベクトル（embedding vector）である。第１空間は、歌唱音の音響的な特徴に応じて空間内における各歌唱者の位置が決定される連続空間である。歌唱者間で歌唱音の音響的な特徴が類似するほど、第１空間内における当該歌唱者間のベクトルの距離は小さい数値となる。以上の説明から理解される通り、第１空間は、歌唱音の特徴に関する歌唱者間の関係を表す空間と表現される。利用者は、入力装置１３を適宜に操作することで、記憶装置１２に記憶されたＮa個の歌唱者データＸaの何れか（すなわち所望の歌唱者）を選択する。なお、歌唱者データＸaの生成については後述する。
　第１実施形態の記憶装置１２は、相異なる歌唱スタイルに対応するＮb個のスタイルデータＸbを記憶する。各歌唱スタイルのスタイルデータＸbは、当該歌唱スタイルで発音される歌唱音の音響的な特徴を表すデータである。第１実施形態のスタイルデータＸbは、多次元の第２空間における埋込ベクトルである。第２空間は、歌唱音の音響的な特徴に応じて空間内における各歌唱スタイルの位置が決定される連続空間である。歌唱スタイル間で歌唱音の音響的な特徴が類似するほど、第２空間内における当該歌唱スタイル間のベクトルの距離は小さい数値となる。すなわち、以上の説明から理解される通り、第２空間は、歌唱音の特徴に関する歌唱スタイル間の関係を表す空間と表現される。利用者は、入力装置１３を適宜に操作することで、記憶装置１２に記憶されたＮb個のスタイルデータＸbの何れか（すなわち所望の歌唱スタイル）を選択する。スタイルデータＸbの生成については後述する。
　合成データＸcは、目標音の歌唱条件を指定する。第１実施形態の合成データＸcは、楽曲を構成する複数の音符の各々について音高と音韻（発音文字）と発音期間とを指定する時系列データである。音符毎の音量等の制御パラメータの数値を合成データＸcが指定してもよい。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が合成データＸcとして利用される。
　図２は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される機能を例示するブロック図である。第１実施形態の制御装置１１は、合成処理部２１と信号生成部２２と学習処理部２３とを実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよい。制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
＜合成処理部２１および信号生成部２２＞
　合成処理部２１は、目標音の音響的な特徴を表す特徴データＱの時系列を生成する。第１実施形態の特徴データＱは、例えば目標音の基本周波数（ピッチ）Ｑaとスペクトル包絡Ｑbとを含む。スペクトル包絡Ｑbは、目標音の周波数スペクトルの概形である。特徴データＱは、所定長（例えば５ミリ秒）の単位期間毎に順次に生成される。すなわち、第１実施形態の合成処理部２１は、基本周波数Ｑaの時系列とスペクトル包絡Ｑbの時系列とを生成する。
　信号生成部２２は、特徴データＱの時系列から音響信号Ｖを生成する。特徴データＱの時系列を利用した音響信号Ｖの生成には、例えば公知のボコーダ技術が利用される。具体的には、信号生成部２２は、基本周波数Ｑaに対応する周波数スペクトルにおける周波数毎の強度をスペクトル包絡Ｑbに応じて調整し、調整後の周波数スペクトルを時間領域に変換することで音響信号Ｖを生成する。信号生成部２２が生成した音響信号Ｖが放音装置１４に供給されることで、目標音が音波として放音装置１４から放射される。なお、音響信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
　第１実施形態では、合成処理部２１による特徴データＱの生成に合成モデルＭが利用される。合成処理部２１は、入力データＺを合成モデルＭに入力する。入力データＺは、Ｎa個の歌唱者データＸaのうち利用者が選択した歌唱者データＸaと、Ｎb個のスタイルデータＸbのうち利用者が選択したスタイルデータＸbと、記憶装置１２に記憶された合成データＸcとを含む。
　合成モデルＭは、入力データＺと特徴データＱとの関係を学習した統計的予測モデルである。第１実施形態の合成モデルＭは、深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。具体的には、合成モデルＭは、入力データＺから特徴データＱを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。合成モデルＭを規定する複数の係数は、複数の学習データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。合成モデルＭの機械学習については後述する。
　図３は、第１実施形態の制御装置１１が音響信号Ｖを生成する処理（以下「合成処理」という）の具体的な手順を例示するフローチャートである。例えば入力装置１３に対する利用者からの指示を契機として合成処理が開始される。
　合成処理を開始すると、合成処理部２１は、歌唱者データＸaおよびスタイルデータＸbの選択を利用者から受付ける（Ｓa1）。相異なる楽曲に対応する複数の合成データＸcが記憶装置１２に記憶されている場合、合成処理部２１は、合成データＸcの選択を利用者から受付けてもよい。合成処理部２１は、利用者が選択した歌唱者データＸaおよびスタイルデータＸbと記憶装置１２に記憶された合成データＸcとを含む入力データＺを合成モデルＭに入力することで特徴データＱの時系列を生成する（Ｓa2）。信号生成部２２は、合成処理部２１が生成した特徴データＱの時系列から音響信号Ｖを生成する（Ｓa3）。
　以上に説明した通り、第１実施形態では、歌唱者データＸaとスタイルデータＸbと合成データＸcとを合成モデルＭに入力することで特徴データＱが生成される。したがって、音声素片を必要とせずに目標音を生成できる。また、歌唱者データＸaと合成データＸcとに加えてスタイルデータＸbが合成モデルＭに入力される。したがって、歌唱者データＸaと合成データＸcとに応じた特徴データＱを生成する構成と比較して、歌唱者データＸaを歌唱スタイル毎に用意することなく、歌唱者と歌唱スタイルとの組合せに対応した多様な音声の特徴データＱを生成できるという利点がある。例えば、歌唱者データＸaとともに選択するスタイルデータＸbを変更することで、特定の歌唱者が相異なる複数種の歌唱スタイルで発音した目標音の特徴データＱを生成できる。また、スタイルデータＸbとともに選択する歌唱者データＸaを変更することで、複数の歌唱者の各々が共通の歌唱スタイルで発音した目標音の特徴データＱを生成できる。
＜学習処理部２３＞
　図２の学習処理部２３は、機械学習により合成モデルＭを生成する。学習処理部２３による機械学習後の合成モデルＭが、図３における特徴データＱの生成（以下「推定処理」という）Ｓa2に利用される。図４は、学習処理部２３による機械学習を説明するためのブロック図である。合成モデルＭの機械学習には複数の学習データＬが利用される。複数の学習データＬは記憶装置１２に記憶される。また、機械学習の終了判定に利用される評価用の学習データ（以下「評価用データ」という）Ｌも記憶装置１２に記憶される。
　複数の学習データＬの各々は、識別情報Ｆaと識別情報Ｆbと合成データＸcと音響信号Ｖとを含む。識別情報Ｆaは、特定の歌唱者を識別するための数値列である。例えば、相異なる歌唱者に対応する複数の要素のうち特定の歌唱者に対応する要素が数値１に設定され、残余の要素が数値０に設定されたone-hot表現の数値列が、当該特定の歌唱者の識別情報Ｆaとして利用される。また、識別情報Ｆbは、特定の歌唱スタイルを識別するための数値列である。例えば、相異なる歌唱スタイルに対応する複数の要素のうち特定の歌唱スタイルに対応する要素が数値１に設定され、残余の要素が数値０に設定されたone-hot表現の数値列が、当該特定の歌唱スタイルの識別情報Ｆbとして利用される。なお、識別情報Ｆaまたは識別情報Ｆbについては、one-hot表現における数値１と数値０とを置換したone-cold表現を採用してもよい。識別情報Ｆaと識別情報Ｆbと合成データＸcとの組合せは学習データＬ毎に相違する。ただし、識別情報Ｆaと識別情報Ｆbと合成データＸcとの一部は、２個以上の学習データＬについて共通してもよい。
　任意の１個の学習データＬに含まれる音響信号Ｖは、識別情報Ｆaが表す歌唱者が、識別情報ｆbが表す歌唱スタイルで、合成データＸcが表す楽曲を歌唱した場合における歌唱音の波形を表す信号である。例えば歌唱者が実際に発音した歌唱音を収録することで音響信号Ｖが事前に用意される。
　第１実施形態の学習処理部２３は、機械学習の本来の目的である合成モデルＭとともに符号化モデルＥaおよび符号化モデルＥbを一括的に訓練する。符号化モデルＥaは、歌唱者の識別情報Ｆaを当該歌唱者の歌唱者データＸaに変換するエンコーダである。符号化モデルＥbは、歌唱スタイルの識別情報Ｆbを当該歌唱スタイルのスタイルデータＸbに変換するエンコーダである。符号化モデルＥaおよび符号化モデルＥbは、例えば深層ニューラルネットワークで構成される。符号化モデルＥaが生成する歌唱者データＸaと符号化モデルＥbが生成するスタイルデータＸbと学習データＬの合成データＸcとが合成モデルＭに供給される。前述の通り、合成モデルＭは、歌唱者データＸaとスタイルデータＸbと合成データＸcとに応じた特徴データＱの時系列を出力する。
　特徴解析部２４は、各学習データＬの音響信号Ｖから特徴データＱを生成する。特徴データＱは、例えば基本周波数Ｑaとスペクトル包絡Ｑbとを含む。特徴データＱの生成は、所定長（例えば５ミリ秒）の単位期間毎に反復される。すなわち、特徴解析部２４は、基本周波数Ｑaの時系列とスペクトル包絡Ｑbの時系列とを音響信号Ｖから生成する。特徴データＱは、合成モデルＭの出力に関する既知の正解値に相当する。
　学習処理部２３は、合成モデルＭと符号化モデルＥaと符号化モデルＥbとの各々について複数の係数を反復的に更新する。図５は、学習処理部２３が実行する処理（以下「学習処理」という）の具体的な手順を例示するフローチャートである。例えば入力装置１３に対する利用者からの指示を契機として学習処理が開始される。
　学習処理を開始すると、学習処理部２３は、記憶装置１２に記憶された複数の学習データＬの何れかを選択する（Ｓb1）。学習処理部２３は、記憶装置１２から選択した学習データＬの識別情報Ｆaを暫定的な符号化モデルＥaに入力するとともに当該学習データＬの識別情報Ｆbを暫定的な符号化モデルＥbに入力する（Ｓb2）。符号化モデルＥaは、識別情報Ｆaに対応する歌唱者データＸaを生成する。符号化モデルＥbは、識別情報Ｆbに対応するスタイルデータＸbを生成する。
　学習処理部２３は、符号化モデルＥaが生成した歌唱者データＸaおよび符号化モデルＥbが生成したスタイルデータＸbと、学習データＬの合成データＸcとを含む入力データＺを、暫定的な合成モデルＭに入力する（Ｓb3）。合成モデルＭは、入力データＺに応じた特徴データＱを生成する。
　学習処理部２３は、合成モデルＭが生成した特徴データＱと、学習データＬの音響信号Ｖから特徴解析部２４が生成した特徴データＱ（すなわち正解値）との誤差を表す評価関数を算定する（Ｓb4）。例えばベクトル間距離または交差エントロピー等の指標が評価関数として利用される。学習処理部２３は、評価関数が所定値（典型的にはゼロ）に近付くように、合成モデルＭと符号化モデルＥaと符号化モデルＥbとの各々の複数の係数を更新する（Ｓb5）。評価関数に応じた複数の係数の更新には、例えば誤差逆伝播法が利用される。
　学習処理部２３は、以上に説明した更新処理（Ｓb2～Ｓb5）を所定の回数にわたり反復したか否かを判定する（Ｓb61）。更新処理の反復の回数が所定値を下回る場合（Ｓb61：NO）、学習処理部２３は、記憶装置１２から次の学習データＬを選択（Ｓb1）したうえで、当該学習データＬについて更新処理（Ｓb2～Ｓb5）を実行する。すなわち、複数の学習データＬの各々について更新処理が反復される。
　更新処理（Ｓb2～Ｓb5）の回数が所定値に到達した場合（Ｓb61：YES）、学習処理部２３は、更新処理後の合成モデルＭにより生成される特徴データＱが所定の品質に到達したか否かを判定する（Ｓb62）。特徴データＱの品質の評価には、記憶装置１２に記憶された前述の評価用データＬが利用される。具体的には、学習処理部２３は、合成モデルＭが評価用データＬから生成した特徴データＱと評価用データＬの音響信号Ｖから特徴解析部２４が生成した特徴データＱ（正解値）との誤差を算定する。学習処理部２３は、特徴データＱ間の誤差が所定の閾値を下回るか否かに応じて、特徴データＱが所定の品質に到達したか否かを判定する。
　特徴データＱが所定の品質に到達していない場合（Ｓb62：NO）、学習処理部２３は、所定の回数にわたる更新処理（Ｓb2～Ｓb5）の反復を開始する。以上の説明から理解される通り、所定の回数にわたる更新処理の反復毎に特徴データＱの品質が評価される。特徴データＱが所定の品質に到達した場合（Ｓb62：YES）、学習処理部２３は、当該時点における合成モデルＭを最終的な合成モデルＭとして確定する（Ｓb7）。すなわち、最新の更新後の複数の係数が記憶装置１２に記憶される。以上の手順で確定された学習済の合成モデルＭが、前述の推定処理Ｓa2に利用される。
　以上の説明から理解される通り、学習済の合成モデルＭは、各学習データＬに対応する入力データＺと当該学習データＬの音響信号Ｖに対応する特徴データＱとの間に潜在する傾向のもとで、未知の入力データＺに対して統計的に妥当な特徴データＱを生成することが可能である。すなわち、合成モデルＭは、入力データＺと特徴データＱとの関係を学習する。
　また、符号化モデルＥaは、合成モデルＭが統計的に妥当な特徴データＱを入力データＺから生成できるように識別情報Ｆaと歌唱者データＸaとの関係を学習する。学習処理部２３は、学習済の符号化モデルＥaにＮa個の識別情報Ｆaの各々を順次に入力することでＮa個の歌唱者データＸaを生成する（Ｓb8）。以上の手順で符号化モデルＥaが生成したＮa個の歌唱者データＸaが、推定処理Ｓa2のために記憶装置１２に記憶される。Ｎa個の歌唱者データＸaが記憶された段階では、学習済の符号化モデルＥaは不要である。
　同様に、符号化モデルＥbは、合成モデルＭが統計的に妥当な特徴データＱを入力データＺから生成できるように識別情報ＦbとスタイルデータＸbとの関係を学習する。学習処理部２３は、学習済の符号化モデルＥbにＮb個の識別情報Ｆbの各々を順次に入力することでＮb個のスタイルデータＸbを生成する（Ｓb9）。以上の手順で符号化モデルＥbが生成したＮb個のスタイルデータＸbが、推定処理Ｓa2のために記憶装置１２に記憶される。Ｎb個のスタイルデータＸbが記憶された段階では、学習済の符号化モデルＥbは不要である。
＜新規な歌唱者の歌唱者データＸaの生成＞
　学習済の符号化モデルＥaを利用してＮa個の歌唱者データＸaが生成されると、当該符号化モデルＥaは不要である。したがって、符号化モデルＥaはＮa個の歌唱者データＸaの生成後に破棄される。しかし、歌唱者データＸaが生成されていない新規な歌唱者（以下「新規歌唱者」という）について歌唱者データＸaを生成する必要が事後的に発生し得る。第１実施形態の学習処理部２３は、新規歌唱者に対応する複数の学習データＬnewと学習済の合成モデルＭとを利用して、新規歌唱者の歌唱者データＸaを生成する。
　図６は、学習処理部２３が新規歌唱者の歌唱者データＸaを生成する処理（以下「補充処理」という）の説明図である。複数の学習データＬnewの各々は、新規歌唱者が特定の歌唱スタイルで楽曲を歌唱したときの歌唱音を表す音響信号Ｖと、当該楽曲の合成データＸc（新規合成データの一例）とを含む。学習データＬnewの音響信号Ｖは、新規歌唱者が実際に発音した歌唱音を収録することで事前に用意される。特徴解析部２４は、各学習データＬnewの音響信号Ｖから特徴データＱの時系列を生成する。また、学習対象の変数として歌唱者データＸaが合成モデルＭに供給される。
　図７は、補充処理の具体的な手順を例示するフローチャートである。補充処理を開始すると、学習処理部２３は、記憶装置１２に記憶された複数の学習データＬnewの何れかを選択する（Ｓc1）。学習処理部２３は、初期値に設定された歌唱者データＸa（新規発音源データの一例）と、新規歌唱者の歌唱スタイルに対応する既存のスタイルデータＸbと、記憶装置１２から選択した学習データＬnewの合成データＸcとを学習済の合成モデルＭに入力する（Ｓc2）。歌唱者データＸaの初期値は、例えば乱数に設定される。合成モデルＭは、スタイルデータＸbと合成データＸcとに応じた特徴データＱ（新規特徴データの一例）を生成する。
　学習処理部２３は、合成モデルＭが生成した特徴データＱと、学習データＬnewの音響信号Ｖから特徴解析部２４が生成した特徴データＱ（すなわち正解値）との誤差を表す評価関数を算定する（Ｓc3）。特徴解析部２４が生成する特徴データＱは「既知特徴データ」の一例である。学習処理部２３は、評価関数が所定値（典型的にはゼロ）に近付くように、歌唱者データＸaと合成モデルＭの複数の係数とを更新する（Ｓc4）。なお、合成モデルＭの複数の係数を固定したまま、評価関数が所定値に近付くように歌唱者データＸaを更新してもよい。
　学習処理部２３は、以上に説明した追加更新（Ｓc2～Ｓc4）を所定の回数にわたり反復したか否かを判定する（Ｓc51）。追加更新の回数が所定値を下回る場合（Ｓc51：NO）、学習処理部２３は、記憶装置１２から次の学習データＬnewを選択したうえで（Ｓc1）、当該学習データＬnewについて追加更新（Ｓc2～Ｓc4）を実行する。すなわち、複数の学習データＬnewの各々について追加更新が反復される。
　追加更新（Ｓc2～Ｓc4）の回数が所定値に到達した場合（Ｓc51：YES）、学習処理部２３は、追加更新後の合成モデルＭにより生成される特徴データＱが所定の品質に到達したか否かを判定する（Ｓc52）。特徴データＱの品質の評価には、前述の例示と同様に評価用データＬが利用される。特徴データＱが所定の品質に到達していない場合（Ｓc52：NO）、学習処理部２３は、所定の回数にわたる追加更新（Ｓc2～Ｓc4）の反復を開始する。以上の説明から理解される通り、所定の回数にわたる追加更新の反復毎に特徴データＱの品質が評価される。特徴データＱが所定の品質に到達した場合（Ｓc52：YES）、学習処理部２３は、学習処理部２３は、最新の更新後の複数の係数と歌唱者データＸaとを確定値として記憶装置１２に格納する（Ｓc6）。新規歌唱者の歌唱者データＸaは、新規歌唱者が発生した歌唱音を合成するための合成処理に適用される。
　なお、補充処理前の合成モデルＭは、多様な歌唱者の学習データＬを利用して学習済であるから、新規歌唱者について充分な個数の学習データＬnewを用意できない場合でも、新規歌唱者の多様な目標音を生成することが可能である。例えば、新規歌唱者について学習データＬnewが存在しない音韻または音高についても、学習済の合成モデルＭを利用することで、高品質な目標音を頑健に生成することが可能である。すなわち、新規歌唱者について充分な学習データＬnew（例えば全種類の音素の発音を含む学習データ）を必要とせずに当該新規歌唱者の目標音を生成できるという利点がある。
　また、１人の歌唱者の学習データＬのみを利用して訓練された合成モデルＭについて、他の新規歌唱者の学習データＬnewを利用して再学習を実行すると、合成モデルＭの複数の係数が大幅に変化する場合がある。第１実施形態の合成モデルＭは、多数の歌唱者の学習データＬを利用して学習済である。したがって、新規歌唱者の学習データＬnewを利用した再学習を実行しても、合成モデルＭの複数の係数は大幅には変化しない。
＜第２実施形態＞
　第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　図８は、第２実施形態における合成モデルＭの構成を例示するブロック図である。第２実施形態の合成モデルＭは、第１学習済モデルＭ1と第２学習済モデルＭ2とを含む。第１学習済モデルＭ1は、例えば長短期記憶（ＬＳＴＭ：Long Short Term Memory）等の再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）で構成される。第２学習済モデルＭ2は、例えば畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成される。第１学習済モデルＭ1および第２学習済モデルＭ2は、複数の学習データＬを利用した機械学習により複数の係数が更新された学習済モデルである。
　第１学習済モデルＭ1は、歌唱者データＸaとスタイルデータＸbと合成データＸcとを含む入力データＺに応じて中間データＹを生成する。中間データＹは、楽曲の歌唱に関する複数の要素の各々の時系列を表すデータである。具体的には、中間データＹは、音高（例えば音名）の時系列と歌唱中の音量の時系列と音素の時系列とを表す。すなわち、歌唱者データＸaが表す歌唱者が、スタイルデータＸbが表す歌唱スタイルにより合成データＸcの楽曲を歌唱したときの、音高と音量と音素との時間的な変化が、中間データＹにより表現される。
　第２実施形態の第１学習済モデルＭ1は、第１生成モデルＧ1と第２生成モデルＧ2とを具備する。第１生成モデルＧ1は、歌唱者データＸaとスタイルデータＸbとから表情データＤ1を生成する。表情データＤ1は、歌唱音の音楽的な表情の特徴を表すデータである。以上の説明から理解される通り、表情データＤ1は、歌唱者データＸaとスタイルデータＸbとの組合せに応じて生成される。第２生成モデルＧ2は、記憶装置１２に記憶された合成データＸcと第１生成モデルＧ1が生成した表情データＤ1とに応じて中間データＹを生成する。
　第２学習済モデルＭ2は、記憶装置１２に記憶された歌唱者データＸaと第１学習済モデルＭ1が生成した中間データＹとに応じて特徴データＱ（基本周波数Ｑaおよびスペクトル包絡Ｑb）を生成する。図８に例示される通り、第２学習済モデルＭ2は、第３生成モデルＧ3と第４生成モデルＧ4と第５生成モデルＧ5とを具備する。
　第３生成モデルＧ3は、歌唱者データＸaに応じた発音データＤ2を生成する。発音データＤ2は、歌唱者の発音機構（例えば声帯）および調音機構（例えば声道）の特徴を表すデータである。例えば、歌唱者の発音機構および調音機構により歌唱音に付与される周波数特性が発音データＤ2により表現される。
　第４生成モデルＧ4（第１生成モデルの例示）は、第１学習済モデルＭ1が生成した中間データＹと第３生成モデルＧ3が生成した発音データＤ2とに応じて特徴データＱの基本周波数Ｑaの時系列を生成する。
　第５生成モデルＧ5（第２生成モデルの例示）は、第１学習済モデルＭ1が生成した中間データＹと第３生成モデルＧ3が生成した発音データＤ2と第４生成モデルＧ4が生成した基本周波数Ｑaの時系列とに応じて特徴データＱのスペクトル包絡Ｑbの時系列を生成する。すなわち、第５生成モデルＧ5は、第４生成モデルＧ4が生成した基本周波数Ｑaの時系列に応じて目標音のスペクトル包絡Ｑbの時系列を生成する。第４生成モデルＧ4が生成した基本周波数Ｑaと第５生成モデルＧ5が生成したスペクトル包絡Ｑbとを含む特徴データＱの時系列が信号生成部２２に供給される。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、基本周波数Ｑaの時系列を生成する第４生成モデルＧ4とスペクトル包絡Ｑbの時系列を生成する第５生成モデルＧ5とを合成モデルＭが含む。したがって、入力データＺと基本周波数Ｑaの時系列との関係を明示的に学習できるという利点がある。
＜第３実施形態＞
　図９は、第３実施形態における合成モデルＭの構成を例示するブロック図である。第３実施形態における合成モデルＭの構成は第２実施形態と同様である。すなわち、第３実施形態の合成モデルＭは、基本周波数Ｑaの時系列を生成する第４生成モデルＧ4と、スペクトル包絡Ｑbの時系列を生成する第５生成モデルＧ5とを含む。
　第３実施形態の制御装置１１は、第１実施形態と同様の要素（合成処理部２１，信号生成部２２および学習処理部２３）に加えて、図９の編集処理部２６としても機能する。編集処理部２６は、第４生成モデルＧ4が生成した基本周波数Ｑaの時系列を、入力装置１３に対する利用者からの指示に応じて編集する。
　第５生成モデルＧ5は、第１学習済モデルＭ1が生成した中間データＹと第３生成モデルＧ3が生成した発音データＤ2と編集処理部２６による編集後の基本周波数Ｑaの時系列とに応じて特徴データＱのスペクトル包絡Ｑbの時系列を生成する。編集処理部２６による編集後の基本周波数Ｑaと第５生成モデルＧ5が生成したスペクトル包絡Ｑbとを含む特徴データＱの時系列が信号生成部２２に供給される。
　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、利用者からの指示に応じた編集後の基本周波数Ｑaの時系列に応じてスペクトル包絡Ｑbの時系列が生成されるから、基本周波数Ｑaの時間的な遷移に利用者の意図が反映された目標音を生成することが可能である。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、合成モデルＭの学習後に符号化モデルＥaおよび符号化モデルＥbを破棄したが、図１０に例示される通り、符号化モデルＥaおよび符号化モデルＥbを合成モデルＭとともに合成処理に利用してもよい。図１０の構成では、入力データＺが、歌唱者の識別情報Ｆaと歌唱スタイルの識別情報Ｆbと合成データＸcとを含む。符号化モデルＥaが識別情報Ｆaから生成した歌唱者データＸaと、符号化モデルＥbが識別情報Ｆbから生成したスタイルデータＸbと、入力データＺの合成データＸcとが、合成モデルＭに入力される。
（２）前述の各形態では、特徴データＱが基本周波数Ｑaとスペクトル包絡Ｑbとを含む構成を例示したが、特徴データＱの内容は以上の例示に限定されない。例えば、周波数スペクトルの特徴（以下「スペクトル特徴」という）を表す各種のデータが特徴データＱを利用してもよい。特徴データＱとして利用可能なスペクトル特徴としては、前述のスペクトル包絡Ｑbのほか、例えばメルスペクトル、メルケプストラム、メルスペクトログラムまたはスペクトログラムが例示される。なお、基本周波数Ｑaを特定可能なスペクトル特徴を特徴データＱとして利用する構成では、特徴データＱから基本周波数Ｑaを省略してもよい。
（３）前述の各形態では、新規歌唱者について補充処理により歌唱者データＸaを生成したが、歌唱者データＸaを生成する方法は以上の例示に限定されない。例えば、複数の歌唱者データＸaを補間または補外することで、新規な歌唱者データＸaを生成してもよい。歌唱者Ａの歌唱者データＸaと歌唱者Ｂの歌唱者データＸaとを補間することで、歌唱者Ａと歌唱者Ｂとの中間の声質で発声する仮想的な歌唱者の歌唱者データＸaが生成される。
（４）前述の各形態では、合成処理部２１（および信号生成部２２）と学習処理部２３との双方を具備する情報処理システム１００を例示したが、合成処理部２１と学習処理部２３とを別個の情報処理システムに搭載してもよい。合成処理部２１および信号生成部２２を具備する情報処理システムは、入力データＺから音響信号Ｖを生成する音声合成装置として実現される。音声合成装置において学習処理部２３の有無は不問である。また、学習処理部２３を具備する情報処理システムは、複数の学習データＬを利用した機械学習で合成モデルＭを生成する機械学習装置として実現される。機械学習装置において合成処理部２１の有無は不問である。端末装置と通信可能なサーバ装置により機械学習装置を実現し、機械学習装置が生成した合成モデルＭを端末装置に配信してもよい。端末装置は、機械学習装置から配信された合成モデルＭを利用して合成処理を実行する合成処理部２１を具備する。
（５）前述の各形態では、歌唱者が発音した歌唱音を合成したが、歌唱音以外の音響の合成にも本開示は適用される。例えば、音楽を要件としない会話音等の一般的な発話音の合成、または楽器の演奏音の合成にも、本開示は適用される。歌唱者データＸaは、歌唱者のほかに発話者または楽器等を含む発音源を表す発音源データの一例に相当する。また、スタイルデータＸbは、歌唱スタイルのほかに発話スタイルまたは楽器演奏のスタイル等を含む発音スタイル（performance style）を表すデータとして包括的に表現される。合成データＸcは、歌唱条件のほかに発話条件（例えば音韻）または演奏条件（例えば音高および音量）を含む発音条件を表すデータとして包括的に表現される。楽器の演奏に関する合成データＸcにおいては、音韻の指定が省略される。
　なお、スタイルデータＸbが表す発音スタイル（発音条件）は、発音環境および収録環境を含む。発音環境は、例えば、無響室、残響室、または屋外等の環境を意味し、収録環境は、例えばデジタル機材を利用した収録またはアナログテープ媒体を利用した収録等の環境を意味する。発音環境または収録環境が異なる音響信号Ｖを含む学習データＬを利用して、符号化モデルまたは合成モデルＭが訓練される。
　なお、時代時代の音楽ジャンルに応じた演奏場所や録音機材がある。その点を鑑みると、スタイルデータXbの示す発音スタイルは、発音環境や収録環境を示すものであってもよい。より具体的に、発音環境は、例えば「無響室内で演奏した音」，「残響室内で演奏した音」，「屋外で演奏した音」などであり、収録環境は、例えば「ディジタル機材に記録した音」，「アナログテープ媒体に記録した音」の別などである。
（６）前述の各形態に係る情報処理システム１００の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。本開示のひとつの態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、CD-ROM等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
（７）合成モデルＭを実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitもしくはNeural Engine等のニューラルネットワーク専用の処理回路、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
＜付記＞
　以上に例示した形態から、例えば以下の構成が把握される。
　本開示のひとつの態様（第１態様）に係る情報処理方法は、発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する。以上の態様では、発音源データと合成データとスタイルデータとを機械学習済の合成モデルに入力することで目標音の音響的な特徴を表す特徴データが生成される。したがって、音声素片を必要とすることなく目標音を生成できる。また、発音源データと合成データとに加えてスタイルデータが合成モデルに入力される。したがって、発音源データと合成データとを学習済モデルに入力することで特徴データを生成する構成と比較して、発音源データを発音スタイル毎に用意することなく、発音源と発音スタイルとの組合せに対応した多様な音声の特徴データを生成できるという利点がある。
　第１態様の具体例（第２態様）において、前記発音条件は、音符毎の音高を含む。また、第１態様または第２態様の具体例（第３態様）において、前記発音条件は、音符毎の音韻を含む。第３態様における発音源は歌唱者である。
　第１態様から第３態様の何れかの具体例（第４態様）において、前記合成モデルに入力される発音源データは、相異なる発音源に対応する複数の発音源データのうち利用者が選択した発音源データである。以上の態様によれば、例えば利用者の意図または嗜好に合致した発音源について目標音の特徴データを生成できる。
　第１態様から第４態様の何れかの具体例（第５態様）において、前記合成モデルに入力されるスタイルデータは、相異なる発音スタイルに対応する複数のスタイルデータのうち利用者が選択したスタイルデータである。以上の態様によれば、例えば利用者の意図または嗜好に適合した発音スタイルについて目標音の特徴データを生成できる。
　第１態様から第５態様の何れかの具体例（第６態様）に係る情報処理方法は、さらに、新規発音源を表す新規発音源データと前記新規発音源に対応する発音スタイルを表すスタイルデータと前記新規発音源による発音の発音条件を表す新規合成データと、を前記合成モデルに入力することで、前記新規発音源の発音スタイルおよび前記新規発音源による発音の発音条件のもとで前記新規発音源が発音する音響の音響的な特徴を表す新規特徴データを生成し、前記新規合成データが表す発音条件のもとで前記新規発音源が発音した音響に関する既知特徴データと、前記新規特徴データとの差異が減少するように、前記新規発音源データおよび前記合成モデルを更新する。以上の態様によれば、新規発音源について新規合成データと音響信号とが充分に用意できない場合でも、新規発音源に関する高品質な目標音を頑健に生成可能な合成モデルを生成できる。
　第１態様から第６態様の何れかの具体例（第７態様）において、前記発音源データは、相異なる複数の発音源により発音される音響の特徴に関する前記複数の発音源の間の関係を表す第１空間におけるベクトルを表し、前記スタイルデータは、相異なる複数の発音スタイルにより発音される音響の特徴に関する前記複数の発音スタイルの間の関係を表す第２空間におけるベクトルを表す。以上の態様によれば、音響の特徴に関する発音源間の関係という観点で表現された発音源データと、音響の特徴に関する発音スタイル間の関係という観点で表現されたスタイルデータとを利用して、発音源と発音スタイルとの組合せに対応した適切な合成音の特徴データを生成できる。
　第１態様から第７態様の何れかの具体例（第８態様）において、前記合成モデルは、前記目標音の基本周波数の時系列を生成する第１生成モデルと、前記第１生成モデルが生成した基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する第２生成モデルとを含む。以上の態様によれば、目標音の基本周波数の時系列を生成する第１生成モデルと目標音のスペクトル包絡の時系列を生成する第２生成モデルとを合成モデルが含むから、発音源データとスタイルデータと合成データとを含む入力と、基本周波数の時系列との関係を明示的に学習できるという利点がある。
　第８態様の具体例（第９態様）において、前記第１生成モデルが生成した基本周波数の時系列を利用者からの指示に応じて編集し、前記第２生成モデルは、前記編集後の基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する。以上の態様によれば、利用者からの指示に応じた編集後の基本周波数の時系列に応じてスペクトル包絡の時系列が生成されるから、基本周波数の時間的な遷移に利用者の意図が反映された目標音を生成することが可能である。
　以上に例示した各態様の情報処理方法を実行する情報処理システム、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本開示の各態様は実現される。
１００…情報処理システム、１１…制御装置、１２…記憶装置、１３…入力装置、１４…放音装置、２１…合成処理部、２２…信号生成部、２３…学習処理部、２４…特徴解析部、２６…編集処理部、Ｍ…合成モデル、Ｘa…歌唱者データ、Ｘb…スタイルデータ、Ｘc…合成データ、Ｚ…入力データ、Ｑ…特徴データ、Ｖ…音響信号、Ｆa，Ｆb…識別情報、Ｅa，Ｅb…符号化モデル、Ｌ，Ｌnew…学習データ。

Claims (11)

  1. 　発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する、
    　コンピュータにより実現される情報処理方法。
  2. 　前記発音条件は、音符毎の音高を含む
    　請求項１の情報処理方法。
  3. 　前記発音条件は、前記目標音の音韻を含む
    　請求項１または請求項２の情報処理方法。
  4. 　前記合成モデルに入力される前記発音源データは、相異なる発音源に対応する複数の発音源データのうち利用者が選択した発音源データである
    　請求項１から請求項３の何れかの情報処理方法。
  5. 　前記合成モデルに入力されるスタイルデータは、相異なる発音スタイルに対応する複数のスタイルデータのうち利用者が選択したスタイルデータである
    　請求項１から請求項４の何れかの情報処理方法。
  6. 　前記情報処理方法は、さらに、
    　新規発音源を表す新規発音源データと前記新規発音源に対応する発音スタイルを表すスタイルデータと前記新規発音源による発音の発音条件を表す新規合成データと、を前記合成モデルに入力することで、前記新規発音源の発音スタイルおよび前記新規発音源による発音の発音条件のもとで前記新規発音源が発音する音響の音響的な特徴を表す新規特徴データを生成し、
    　前記新規合成データが表す発音条件のもとで前記新規発音源が発音した音響に関する既知特徴データと、前記新規特徴データとの差異が減少するように、前記新規発音源データおよび前記合成モデルを更新する
    　請求項１から請求項５の何れかの情報処理方法。
  7. 　前記発音源データは、相異なる複数の発音源により発音される音響の特徴に関する前記複数の発音源の間の関係を表す第１空間におけるベクトルを表し、
    　前記スタイルデータは、相異なる複数の発音スタイルにより発音される音響の特徴に関する前記複数の発音スタイルの間の関係を表す第２空間におけるベクトルを表す
    　請求項１から請求項６の何れかの情報処理方法。
  8. 　前記合成モデルは、
    　前記目標音の基本周波数の時系列を生成する第１生成モデルと、
    　前記第１生成モデルが生成した基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する第２生成モデルとを含む
    　請求項１から請求項７の何れかの情報処理方法。
  9. 　前記情報処理方法は、さらに、
    　前記第１生成モデルが生成した基本周波数の時系列を利用者からの指示に応じて編集し、前記第２生成モデルは、前記編集後の基本周波数の時系列に応じて前記目標音のスペクトル包絡の時系列を生成する
    　請求項８の情報処理方法。
  10. 　発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき目標音の音響的な特徴を表す特徴データを生成する合成処理部
    　を具備する情報処理システム。
  11. 　１以上のプロセッサと１以上のメモリとを具備する情報処理システムであって、
    　前記１以上のメモリに記憶されたプログラムを実行することにより、
    　前記１以上のプロセッサが、
    　発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音する音響の音響的な特徴を表す特徴データを生成する
    　情報処理システム。
PCT/JP2019/043510 2018-11-06 2019-11-06 情報処理方法および情報処理システム WO2020095950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19882179.5A EP3879524A4 (en) 2018-11-06 2019-11-06 INFORMATION PROCESSING METHOD AND SYSTEM
CN201980072848.6A CN112970058A (zh) 2018-11-06 2019-11-06 信息处理方法及信息处理***
US17/307,322 US11942071B2 (en) 2018-11-06 2021-05-04 Information processing method and information processing system for sound synthesis utilizing identification data associated with sound source and performance styles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018209288A JP6747489B2 (ja) 2018-11-06 2018-11-06 情報処理方法、情報処理システムおよびプログラム
JP2018-209288 2018-11-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/307,322 Continuation US11942071B2 (en) 2018-11-06 2021-05-04 Information processing method and information processing system for sound synthesis utilizing identification data associated with sound source and performance styles

Publications (1)

Publication Number Publication Date
WO2020095950A1 true WO2020095950A1 (ja) 2020-05-14

Family

ID=70611512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043510 WO2020095950A1 (ja) 2018-11-06 2019-11-06 情報処理方法および情報処理システム

Country Status (5)

Country Link
US (1) US11942071B2 (ja)
EP (1) EP3879524A4 (ja)
JP (1) JP6747489B2 (ja)
CN (1) CN112970058A (ja)
WO (1) WO2020095950A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4270267A4 (en) * 2020-12-28 2024-06-19 Sony Group Corporation DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6737320B2 (ja) 2018-11-06 2020-08-05 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム
CN112365874B (zh) * 2020-11-17 2021-10-26 北京百度网讯科技有限公司 语音合成模型的属性注册、装置、电子设备与介质
JP7468495B2 (ja) * 2021-03-18 2024-04-16 カシオ計算機株式会社 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム
JPWO2022244818A1 (ja) * 2021-05-18 2022-11-24

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240564A (ja) 2006-03-04 2007-09-20 Yamaha Corp 歌唱合成装置および歌唱合成プログラム
JP2017045073A (ja) * 2016-12-05 2017-03-02 ヤマハ株式会社 音声合成方法および音声合成装置
JP2017107228A (ja) * 2017-02-20 2017-06-15 株式会社テクノスピーチ 歌声合成装置および歌声合成方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304846B1 (en) * 1997-10-22 2001-10-16 Texas Instruments Incorporated Singing voice synthesis
WO2006040908A1 (ja) * 2004-10-13 2006-04-20 Matsushita Electric Industrial Co., Ltd. 音声合成装置及び音声合成方法
JP5293460B2 (ja) * 2009-07-02 2013-09-18 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP5471858B2 (ja) * 2009-07-02 2014-04-16 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP5510852B2 (ja) * 2010-07-20 2014-06-04 独立行政法人産業技術総合研究所 声色変化反映歌声合成システム及び声色変化反映歌声合成方法
WO2013133768A1 (en) * 2012-03-06 2013-09-12 Agency For Science, Technology And Research Method and system for template-based personalized singing synthesis
GB2501067B (en) 2012-03-30 2014-12-03 Toshiba Kk A text to speech system
JP5949607B2 (ja) * 2013-03-15 2016-07-13 ヤマハ株式会社 音声合成装置
JP6261924B2 (ja) 2013-09-17 2018-01-17 株式会社東芝 韻律編集装置、方法およびプログラム
US8751236B1 (en) * 2013-10-23 2014-06-10 Google Inc. Devices and methods for speech unit reduction in text-to-speech synthesis systems
CN104766603B (zh) * 2014-01-06 2019-03-19 科大讯飞股份有限公司 构建个性化歌唱风格频谱合成模型的方法及装置
JP6392012B2 (ja) 2014-07-14 2018-09-19 株式会社東芝 音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラム
US9542927B2 (en) * 2014-11-13 2017-01-10 Google Inc. Method and system for building text-to-speech voice from diverse recordings
JP6000326B2 (ja) 2014-12-15 2016-09-28 日本電信電話株式会社 音声合成モデル学習装置、音声合成装置、音声合成モデル学習方法、音声合成方法、およびプログラム
JP6622505B2 (ja) 2015-08-04 2019-12-18 日本電信電話株式会社 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム
JP6846237B2 (ja) 2017-03-06 2021-03-24 日本放送協会 音声合成装置及びプログラム
WO2019139431A1 (ko) 2018-01-11 2019-07-18 네오사피엔스 주식회사 다중 언어 텍스트-음성 합성 모델을 이용한 음성 번역 방법 및 시스템
KR102199067B1 (ko) 2018-01-11 2021-01-06 네오사피엔스 주식회사 다중 언어 텍스트-음성 합성 방법
JP6737320B2 (ja) 2018-11-06 2020-08-05 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム
US11302329B1 (en) 2020-06-29 2022-04-12 Amazon Technologies, Inc. Acoustic event detection
US11551663B1 (en) 2020-12-10 2023-01-10 Amazon Technologies, Inc. Dynamic system response configuration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240564A (ja) 2006-03-04 2007-09-20 Yamaha Corp 歌唱合成装置および歌唱合成プログラム
JP2017045073A (ja) * 2016-12-05 2017-03-02 ヤマハ株式会社 音声合成方法および音声合成装置
JP2017107228A (ja) * 2017-02-20 2017-06-15 株式会社テクノスピーチ 歌声合成装置および歌声合成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4270267A4 (en) * 2020-12-28 2024-06-19 Sony Group Corporation DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING

Also Published As

Publication number Publication date
US20210256960A1 (en) 2021-08-19
US11942071B2 (en) 2024-03-26
JP2020076843A (ja) 2020-05-21
EP3879524A4 (en) 2022-09-28
CN112970058A (zh) 2021-06-15
JP6747489B2 (ja) 2020-08-26
EP3879524A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN110634460B (zh) 电子乐器、电子乐器的控制方法以及存储介质
WO2020095950A1 (ja) 情報処理方法および情報処理システム
CN109559718B (zh) 电子乐器、电子乐器的乐音产生方法以及存储介质
CN111418005B (zh) 声音合成方法、声音合成装置及存储介质
CN111418006B (zh) 声音合成方法、声音合成装置及记录介质
Smith Virtual acoustic musical instruments: Review and update
CN111696498B (zh) 键盘乐器以及键盘乐器的计算机执行的方法
Lindemann Music synthesis with reconstructive phrase modeling
US11842720B2 (en) Audio processing method and audio processing system
CN101111884A (zh) 用于声学特征的同步修改的方法和装置
WO2020158891A1 (ja) 音信号合成方法およびニューラルネットワークの訓練方法
WO2021060493A1 (ja) 情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置
JP6835182B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
WO2014142200A1 (ja) 音声処理装置
JP7192834B2 (ja) 情報処理方法、情報処理システムおよびプログラム
JP6819732B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6801766B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2023013684A (ja) 歌唱声質変換プログラム及び歌唱声質変換装置
JP2022065554A (ja) 音声合成方法およびプログラム
CN113016028B (zh) 音响处理方法及音响处理***
WO2023171522A1 (ja) 音響生成方法、音響生成システムおよびプログラム
WO2022080395A1 (ja) 音声合成方法およびプログラム
JP7107427B2 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
WO2023171497A1 (ja) 音響生成方法、音響生成システムおよびプログラム
Jayasinghe Machine Singing Generation Through Deep Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19882179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019882179

Country of ref document: EP

Effective date: 20210607