WO2007010680A1 - 声質変化箇所特定装置 - Google Patents
声質変化箇所特定装置 Download PDFInfo
- Publication number
- WO2007010680A1 WO2007010680A1 PCT/JP2006/311205 JP2006311205W WO2007010680A1 WO 2007010680 A1 WO2007010680 A1 WO 2007010680A1 JP 2006311205 W JP2006311205 W JP 2006311205W WO 2007010680 A1 WO2007010680 A1 WO 2007010680A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- voice quality
- text
- quality change
- change
- voice
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 107
- 230000008859 change Effects 0.000 claims description 555
- 230000014509 gene expression Effects 0.000 claims description 216
- 238000000034 method Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 2
- 210000001584 soft palate Anatomy 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 101100274346 Drosophila melanogaster mora gene Proteins 0.000 description 51
- 238000010586 diagram Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 37
- 230000000694 effects Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 230000008451 emotion Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 108700019579 mouse Ifi16 Proteins 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052900 illite Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- VGIBGUSAECPPNB-UHFFFAOYSA-L nonaaluminum;magnesium;tripotassium;1,3-dioxido-2,4,5-trioxa-1,3-disilabicyclo[1.1.1]pentane;iron(2+);oxygen(2-);fluoride;hydroxide Chemical compound [OH-].[O-2].[O-2].[O-2].[O-2].[O-2].[F-].[Mg+2].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[K+].[K+].[K+].[Fe+2].O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2.O1[Si]2([O-])O[Si]1([O-])O2 VGIBGUSAECPPNB-UHFFFAOYSA-L 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Definitions
- the present invention relates to a voice quality change location identifying device or the like that identifies a location in a text to be read out that may cause a voice quality change.
- a text-to-speech device having a text editing function, some! /, Focuses on the combination of pronunciation sequences of the text to be read as a text-to-speech method.
- There is an expression that can be read easily by rewriting the expression part in the text to be combined into an easy-to-understand expression see, for example, Patent Document 2).
- the sound quality of the read-out voice may partially change as a result of the tension or relaxation of the vocal organs that the reader does not intend. Changes in the sound quality due to the tone and relaxation of the vocal organs are perceived by the listener as “strength” and “relaxation” of the reader's voice, respectively.
- voice quality changes such as “strength” and “relaxation” in speech are phenomena that are characteristically observed in speech with emotions and facial expressions. It is known to characterize the emotions and expressions of speech and shape the impression of speech (see Non-Patent Document 1, for example).
- Patent Document 1 Japanese Patent Laid-Open No. 2000-250907 (Page 11, Fig. 1)
- Patent Document 2 JP 2000-172289 A (Page 9, Fig. 1)
- Patent Document 3 Japanese Patent No. 3587976 (Page 10, Fig. 5)
- Non-Patent Document 1 Hideaki Sugaya, Nagamori Tsuji, "Voice quality as seen from the sound source", Journal of the Acoustical Society of Japan 51-11 (1995), pp869-875
- the present invention has been made to solve the above-described problem, and predicts the susceptibility to change in voice quality or identifies the power or inability to cause a change in voice quality.
- An object is to provide a location identification device.
- Another object of the present invention is to provide a voice quality change location identifying device that can be rewritten to other expressions.
- a voice quality change location specifying device is a device for specifying a location in the text where the voice quality may change when read out based on language analysis information corresponding to the text. And reading out the text for each predetermined unit of the input symbol string including at least one phoneme string based on the language analysis information which is a symbol string of the language analysis result including the phoneme string corresponding to the text.
- a voice quality change location that identifies a location in the text where the voice quality change is likely to occur based on the voice quality change estimation means, and the language analysis information and the estimation result by the voice quality change estimation means Specifying means.
- the voice quality change estimation means is a type of voice quality change obtained by performing analysis and statistical learning on a plurality of voices for each of a plurality of at least three types of speech modes of the same user.
- the likelihood of the voice quality change based on each utterance mode is estimated for each predetermined unit of the language analysis information according to the type of each voice quality change.
- the voice quality change estimation means uses a plurality of voice quality change estimation models obtained by analyzing and statistically learning a plurality of voices of a plurality of users, and performs estimation corresponding to the user. A model is selected, and the likelihood of a voice quality change is estimated for each predetermined unit of the language analysis information.
- the above-described voice quality change location specifying device further includes an alternative expression storage means for storing an alternative expression of a linguistic expression, and a text that is likely to change voice quality specified by the voice quality change location specification means.
- the above-described voice quality change location specifying device further includes speech synthesis means for generating speech that reads out the text replaced with the alternative expression in the voice quality change location replacement means.
- the voice quality of the voice synthesized by the voice synthesizer has a voice quality balance bias that a voice quality change such as "force” or "smear” occurs depending on the phoneme. Therefore, it is possible to generate a voice that can be read aloud while avoiding as much as possible the instability of voice quality due to the bias.
- the above-described voice quality change location specifying device further includes voice quality change location presentation means for presenting to the user a location in the text that is likely to change voice quality specified by the voice quality change location specifying means.
- the above-described voice quality change point identifying device further includes a speech speed information indicating a reading speed of the user's text based on speech speed information from a head of the text at a predetermined position of the text.
- Elapsed time calculation means for measuring the elapsed time of reading is provided, and the voice quality change estimation means further estimates the likelihood of the voice quality change for each predetermined unit by taking the elapsed time into account.
- the above-described voice quality change location specifying device further includes the location of the text that is likely to cause a voice quality change specified by the voice quality change location specifying means with respect to all or a part of the text.
- Voice quality change rate determination means for determining the rate is provided.
- the user can know how much the voice quality may change with respect to all or part of the text. For this reason, the user can predict an impression caused by a partial change in voice quality that the listener will receive for the read-out sound when reading out the text.
- the above-described voice quality change location specifying device further includes a voice recognition unit for recognizing a voice read out by the user and a voice of the user based on a voice recognition result of the voice recognition unit.
- Voice analysis means for analyzing the degree of change in voice quality for each predetermined unit including each phoneme unit, and the location in the text that is likely to change voice quality specified by the voice quality change location specifying means and the voice Based on the analysis result of the analysis means, there is provided a text evaluation means for comparing the location in the text where the voice quality change is likely to occur with the location where the voice quality change occurred in the user's voice.
- the voice quality change estimation means refers to the phoneme-specific voice quality change table in which the degree of the likelihood of the voice quality change for each phoneme is represented by a numerical value, and the predetermined unit of the language analysis information Each time, the likelihood of the voice quality change is estimated based on the numerical value assigned to each phoneme included in the predetermined unit.
- the present invention is a voice quality having the characteristic means included in the voice quality changing partial presentation device as a step which can be realized as a voice quality changing partial presentation device including such characteristic means. It can also be realized as a change part presentation method or as a program that causes a computer to function as a characteristic means included in the voice quality change part presentation device. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
- a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
- the present invention it is possible to predict and specify the location and type of partial voice quality change that can occur in text-to-speech speech, which cannot be solved in the past, and to solve the problem! It enables a reader to understand the location and type of voice quality changes that can occur in text-to-speech speech, and to predict the impression of the speech that is expected to be given to the listener during reading. It has the effect of being able to read aloud while paying attention to the points to be noted.
- the voice quality change part identifying device If the voice quality of the voice has a bias in the voice quality balance that the voice quality changes, such as “force” or “sharpness”, depending on the phoneme, the voice quality will be read out while avoiding instability in the voice quality as much as possible. It has the effect of becoming possible.
- changes in voice quality at the phonological level tend to decrease intelligibility because they impair phonological properties. Therefore, when priority is given to the intelligibility of read-out speech, it is possible to alleviate the problem of decreased intelligibility due to changes in voice quality by avoiding linguistic expressions that include phonemes that tend to change in voice quality.
- FIG. 1 is a functional block diagram of a text editing device according to Embodiment 1 of the present invention.
- FIG. 2 is a diagram showing a computer system in which the text editing device according to Embodiment 1 of the present invention is constructed.
- Fig. 3A was uttered by speaker 1 with a "strong” voice quality change in the voice accompanied by the expression of "strong anger” or a voice quality change of "harsh voice” It is the graph which showed frequency distribution according to the type of consonant of mora.
- Fig. 3B was uttered for speaker 2 with a "powerful” voice quality change in voice with emotional expression of "strong anger” or a voice quality change of "harsh voice” It is the graph which showed frequency distribution according to the type of consonant of mora.
- Fig. 3C is spoken about speaker 1 with a change in voice quality in voice, or a change in voice quality of "harsh voice” with emotional expression of "weak anger”Mora's It is the graph which showed frequency distribution according to the kind of consonant.
- Fig. 3D is uttered for speaker 2 with a change in the voice quality of "strong” voice or “harsh voice” in voice with the emotional expression of "weak anger” 5 is a graph showing the frequency distribution of each mora consonant type.
- FIG. 4 is a diagram showing a comparison between time positions of observed voice quality changes and estimated voice quality changes in actual speech.
- FIG. 5 is a flowchart showing the operation of the text editing apparatus according to Embodiment 1 of the present invention.
- FIG. 6 is a flowchart for explaining a method of creating an estimation formula and a determination threshold value.
- FIG. 7 is a graph in which the horizontal axis indicates “easy to apply force” and the vertical axis indicates “number of mora in audio data”.
- FIG. 8 is a diagram showing an example of an alternative expression database of the text editing device according to Embodiment 1 of the present invention.
- FIG. 9 is a diagram showing a screen display example of the text editing apparatus in the first embodiment of the present invention.
- Fig. 10A shows the frequency distribution of mora consonants uttered by voice quality change of "blurred" in speech with a loud expression of emotion for speaker 1. It is a graph.
- FIG. 10B is a graph showing the frequency distribution by type of the consonant of Mora uttered by voice quality change of “blurred” in the voice with “expressive” emotional expression for speaker 2. is there.
- FIG. 11 is a functional block diagram of the text editing device in the first embodiment of the present invention.
- FIG. 12 is an internal functional block diagram of an alternative expression sorting unit of the text editing device in Embodiment 1 of the present invention.
- FIG. 13 is a flowchart showing an internal operation of an alternative expression sorting unit of the text editing apparatus in the first embodiment of the present invention.
- FIG. 14 is a flowchart showing the operation of the text editing apparatus in the first embodiment of the present invention.
- FIG. 15 is a functional block diagram of a text editing device according to Embodiment 2 of the present invention.
- FIG. 16 is a flowchart showing the operation of the text editing apparatus in the second embodiment of the present invention.
- FIG. 17 is a diagram showing a screen display example of the text editing device in the second embodiment of the present invention.
- FIG. 18 is a functional block diagram of a text editing device according to Embodiment 3 of the present invention.
- FIG. 19 is a flowchart showing the operation of the text editing apparatus in the third embodiment of the present invention.
- FIG. 20 is a functional block diagram of a text editing device according to Embodiment 4 of the present invention.
- FIG. 21 is a flowchart showing the operation of the text editing apparatus in the fourth embodiment of the present invention.
- FIG. 22 is a diagram showing a screen display example of the text editing device in the fourth embodiment of the present invention.
- FIG. 23 is a functional block diagram of the text evaluation apparatus in the fifth embodiment of the present invention.
- FIG. 24 is a diagram showing a computer system in which the text evaluation apparatus in the fifth embodiment of the present invention is constructed.
- FIG. 25 is a flowchart showing the operation of the text evaluation apparatus in the fifth embodiment of the present invention.
- FIG. 26 is a diagram showing a screen display example of the text evaluation device in the fifth embodiment of the present invention.
- FIG. 27 is a functional block diagram showing only main components related to the voice quality change estimation method in the text editing apparatus according to the sixth embodiment.
- FIG. 28 is a diagram illustrating an example of a phoneme-specific voice quality change information table.
- FIG. 29 shows the processing operation of the voice quality change estimation method in Embodiment 6 of the present invention. It is a flowchart.
- FIG. 30 is a functional block diagram of the text-to-speech device according to the seventh embodiment of the present invention.
- FIG. 31 is a diagram showing a computer system in which a text-to-speech device according to Embodiment 7 of the present invention is constructed.
- FIG. 32 is a flowchart showing an operation of the text-to-speech device according to the seventh embodiment of the present invention.
- FIG. 33 is a diagram showing an example of intermediate data for explaining the operation of the text-to-speech device according to the seventh embodiment of the present invention.
- FIG. 34 is a diagram illustrating an example of the configuration of a computer.
- a text editing device that estimates a change in voice quality based on text and presents a candidate for an alternative expression of a portion where the voice quality changes will be described.
- FIG. 1 is a functional block diagram of the text editing apparatus according to Embodiment 1 of the present invention.
- the text editing device is a device that edits the text so that the reader does not give an unintended impression when the reader reads the input text.
- a voice quality change estimation unit 103 a voice quality change estimation model 104, a voice quality change part determination unit 105, an alternative expression search unit 106, an alternative expression database 107, and a display unit 108.
- the text input unit 101 is a processing unit for inputting text to be processed.
- the language analysis unit 102 performs language analysis processing on the text input from the text input unit 101, and includes phoneme strings, accent phrase delimiter information, accent position information, part of speech information, and syntax information that are reading information. It is a processing unit that outputs a language analysis result.
- the voice quality change estimation unit 103 is a processing unit that estimates the likelihood of a voice quality change for each accent phrase unit of the language analysis result using the voice quality change estimation model 104 obtained by statistical learning. is there.
- the voice quality change estimation model 104 uses a part of various information included in the language analysis results as input variables, and each target phoneme location in the language processing results! And the combinational power of the threshold value associated with the estimation formula.
- voice quality change portion determination section 105 determines whether there is a possibility of a voice quality change for each accent phrase unit. It is a processing unit that determines whether or not.
- the alternative expression search unit 106 replaces the language expression related to the part in the text that has been determined by the voice quality change part determination unit 105 as having a possibility of voice quality change from the alternative expression set stored in the alternative expression database 107. It is a processing unit that searches for expressions and outputs a set of alternative expressions that are powerful.
- the display unit 108 displays the entire input text, the highlighted display of the part in the text that the voice quality change part determination unit 105 determines that there is a possibility of voice quality change, and the alternative expression search unit 106 outputs
- the display device displays a set of alternative expressions to be displayed.
- FIG. 2 is a diagram showing an example of a computer system in which the text editing device according to Embodiment 1 of the present invention is constructed.
- This computer system is a system including a main body 201, a keyboard 202, a display 203, and an input device (mouse) 204.
- the voice quality change estimation model 104 and the alternative expression database 107 in FIG. 1 are connected in the CD-ROM 207 set in the main unit 201, the hard disk (memory) 206 built in the main unit 201, or the line 208. It is stored in the hard disk 205 of another system.
- the display unit 108 in the text editing apparatus in FIG. 1 corresponds to the display 203 in the system in FIG. 2, and the text input unit 101 in FIG. 1 includes the display 203, keyboard 202, and It corresponds to the input device 204.
- the background in which the voice quality change estimation unit 103 estimates the likelihood of a voice quality change based on the voice quality change estimation model 104 will be described.
- voice changes associated with emotions and facial expressions especially changes in voice quality, and uniform changes over the entire utterance, and technology has been developed to achieve this.
- voices with emotions and expressions are mixed with voices of various voice qualities, even in a certain utterance style, characterizing the emotions and expressions of the voices, and shaping the voice images.
- Non-Patent Document 1. the situation or intention of the speaker is communicated to the listener beyond the linguistic meaning or separately from the linguistic meaning.
- the expression of speech that can be obtained is called “utterance mode”.
- Utterances include anatomical and physiological situations such as vocal organs tension and relaxation, psychological states such as emotions and emotions, phenomena reflecting psychological states such as facial expressions, utterance styles and manners of speech! It is determined by information including concepts such as the speaker's attitude and behavior. Examples of information that determines the utterance mode include emotions such as “anger”, “joy”, and “sadness”.
- Fig. 3A shows the change in voice quality of speaker 1 with “strong, angry” emotional expression (or “rough voice ( It is a graph showing the frequency distribution of the Mora consonant uttered by “harsh voice)”.
- Figure 3B was uttered by speaker 2 due to a change in the voice quality of the voice that was “strong” or “harsh voice” with a voice expression of “strong, angry”. It is the graph which showed the frequency distribution according to the kind of consonant of mora.
- Figures 3C and 3D show the “stressed” voice quality change in the voice with the expression of “weak anger” or “harsh voice” for the same speaker as in FIGS. 3A and 3B, respectively. It is the graph which showed the frequency distribution according to the kind of the consonant of the mora uttered by the voice quality change. The frequency of occurrence of these voice quality changes is uneven depending on the type of consonant, for example, ⁇ t '', ⁇ k '', ⁇ d '', ⁇ m '', ⁇ n ', or ⁇ p '', ⁇ ch '', which occurs more frequently when there is no consonant. “Ts”, “f”, etc.
- Figure 4 is based on the estimation formula created using quantification type II, which is one of the statistical learning methods, from the same data as Figures 3A to 3D.
- Example 2 shows the result of estimating the mora uttered by the voice quality change of “harsh voice” for “Very hot” voice quality change. . Lines are drawn under the kana for each of the mora uttered with a change in voice quality in natural speech and the mora for which the utterance of the voice quality change was predicted by the estimation formula.
- Figure 4 shows the results For each mora in the training data, the information indicating the phoneme type, such as the type of consonant and vowel contained in the mora, or the category of the phoneme, and the information on the mora position in the accent phrase are used as independent variables.
- the estimation formula is created by quantification type II using the voice quality or the binary value of whether or not the voice quality of “harsh voice” is generated as a dependent variable, and it corresponds to the occurrence location of the voice quality change in the learning data. This is an estimation result when the threshold value is determined so that the accuracy rate is about 75%, and it is shown that the voiced part of the voice quality change can be estimated with high accuracy the information ability that influences the type of phoneme and the accent. Yes.
- FIG. 5 is a flowchart showing the operation of the text editing apparatus according to Embodiment 1 of the present invention.
- the language analysis unit 102 performs a series of language analysis processes, such as morphological analysis, syntax analysis, reading generation, and accent phrase processing, on the input text received from the text input unit 101.
- a linguistic analysis result including information such as phoneme string, accent phrase delimiter information, accent position information, part of speech information, and syntax information is output (S101).
- the voice quality change estimation unit 103 applies the linguistic analysis result as an explanatory variable of the estimation formula of the voice quality change for each phoneme of the voice quality change estimation model 104 in the accent phrase unit, For each phoneme, an estimated value of the voice quality change is obtained, and the estimated value having the maximum value among the estimated phonemes in the accent phrase is output as an estimated value of the likelihood of the voice quality change of the accent phrase (S 102). In the present embodiment, it is assumed that the voice quality change of “force” is determined.
- the estimation formula For each phoneme for which a change in voice quality is to be determined, the estimation formula uses the binary value of whether or not the power change of “strength” occurs as the dependent variable, and the mora position in the consonant, vowel, and accent phrase of the phoneme. Created as an independent variable by quantity.
- the threshold for judging whether or not the voice quality changes due to “force” is set with respect to the value of the above estimation formula so that the accuracy rate for the position of the special voice in the learning data is about 75%.
- FIG. 6 is a flowchart for explaining a method of creating an estimation formula and a determination threshold. Here, a case where “force” is selected as the voice quality change will be described.
- FIG. 7 is a graph in which the horizontal axis indicates “easy to apply force” and the vertical axis indicates “number of mora in audio data”. It is estimated by the numbers up to “5”, and it is estimated that the smaller the number, the easier it will be when you speak.
- the bar graph with no or tinch indicates the frequency in the mora in which the voice quality change of “strength” occurred when actually speaking, and the bar graph without the no-tinch indicates when the voice was actually spoken
- Figure 5 shows the frequency of a powerful mora that does not cause a change in voice quality.
- the voice quality change portion determination unit 105 corresponds to the estimated value of the likelihood of the voice quality change for each accent phrase output from the voice quality change estimation unit 103 and the estimation formula used by the voice quality change estimation unit 103.
- the threshold value of the attached voice quality change model estimation 104 is compared, and a flag indicating that voice quality change is likely to occur for an accent phrase exceeding the threshold value is assigned (S103).
- the voice quality change portion determination unit 105 also has the shortest range of morpheme sequence power covering the accent phrase to which the voice quality change is likely to occur in step S103.
- the character string portion in the text is identified as an expression location in the text that has a high possibility of voice quality change (S104).
- the alternative expression search unit 106 searches for an alternative expression set that can be an alternative expression from the alternative expression database 107 for the expression part specified in step 104 (S 105).
- FIG. 8 shows an example of a set of alternative expressions stored in the alternative expression database.
- the sets 301 to 303 shown in FIG. 8 are sets of language expression character strings having similar meanings as alternative expressions.
- the alternative expression search unit 106 performs character string matching with the alternative expression character string included in each alternative expression set using the alternative expression character string of the expression part specified in step 104 as a search key.
- the alternative expression set that contains the character string to be output is output.
- the display unit 108 highlights and presents to the user the portion where the voice quality change in the text identified in step S104 is likely to occur, and at the same time, the alternative expression searched in step S105. Is presented to the user (S106).
- FIG. 9 is a diagram showing an example of screen content displayed on display 203 in FIG. 2 by display unit 108 in step S106.
- the display area 401 is an area for displaying the input text and the portions 4011 and 4012 that are highlighted as the presentation of the portion where the voice quality is likely to change in step S104.
- a display area 402 is an area for displaying a set of alternative expressions in a portion of the text that is likely to change in voice quality searched by the alternative expression search unit 106 in step S105.
- the user moves the mouse pointer 403 to the highlighted area 4011 or 4012 in the area 401 and clicks the mouse 204 button, the language expression of the clicked noise light position is displayed in the display area 402 of the alternative expression set.
- a set of alternative representations of is displayed.
- the portion 4011 in the text "I will apply force” is highlighted.
- the display area 402 of the alternative expression set displays "Hang, It shows a set of alternative expressions that are displayed.
- This alternative expression set is the result of the alternative expression search unit 106 searching for the alternative expression set using the language expression character string at the location in the text “I will apply” as a key.
- the alternative expression set 302 is collated and output to the display unit 108 as an alternative expression result.
- the voice quality change estimation unit 103 uses the estimation formula of the voice quality change estimation model 104 for the accent phrase unit of the linguistic analysis result of the input text to determine the likelihood of the voice quality change.
- the voice quality change part determination unit 105 identifies a part in the text of the accent phrase unit that has an estimated value exceeding a certain threshold as a place where the voice quality is likely to change, so only from the text to be read out, It is possible to provide a text editing device that has a special effect of predicting or specifying a portion where a voice quality change may occur in a text-to-speech voice and presenting it in a form that can be confirmed by a user.
- the voice quality change portion determination unit 105 is based on the determination result of the place where the alternative expression search unit 106 having an estimated value exceeding a certain threshold may cause a voice quality change. Because it searches for alternative expressions that have the same content as the expression in the text related to the corresponding part, text that has a special effect of being able to present an alternative expression of a part where voice quality changes are likely to occur in the read-out speech of the text An editing device can be provided.
- the voice quality change estimation model 104 is configured to discriminate the voice quality change of “strength”. However, other types of voice quality changes such as “blur” and “back voice” are used. Similarly, a voice quality change estimation model 104 can be constructed.
- FIG. 10A is a graph showing the frequency distribution by type of consonant of Mora uttered by voice quality change of "Haze” in the voice accompanied by emotional expression of "Creativity” for speaker 1
- Fig. 10B is a graph showing the frequency distribution by type of consonant of Mora uttered by voice quality change of "blurred” in the voice with emotional expression of "brightness” for speaker 2 .
- the tendency of the frequency deviation of the voice quality changes is the same for the voice quality change of “blur”.
- voice quality change estimation section 103 is configured to estimate the likelihood of a voice quality change in units of accent phrases, but this is a mora unit, a morpheme unit, a phrase unit, a sentence You may make it estimate for every other unit which divides
- the estimation formula of the voice quality change estimation model 104 is based on the consonant, vowel, and accent phrase of the phoneme, with the binary value of whether or not the voice quality change occurs as a dependent variable.
- the determination threshold of the voice quality change estimation model 104 is the value of the above estimation formula so that the accuracy rate for the voice quality change occurrence position in the learning data is about 75%.
- the voice quality change estimation model 104 may be an estimation formula based on another statistical learning model and a discrimination threshold. For example, even using a binary discrimination learning model based on the Support Vector Machine, it is possible to discriminate voice quality changes having the same effect as the present embodiment.
- Support Vector Machine is a well-known technology. Therefore, detailed description thereof will not be repeated here.
- the display unit 108 uses the illite or illegitimate display of the corresponding part in the text as the presentation of the part where the voice quality is likely to change, but this can be visually distinguished. It may be by any means. For example, it may be displayed so that the color and size of the character font in the corresponding part is different from other parts.
- the set of alternative expressions searched by the alternative expression search unit 106 is in the order stored in the alternative expression database 107 in the display unit 108, or in a random order. Power to be displayed The output of the alternative expression search unit 106 may be rearranged according to a certain standard and displayed on the display unit 108.
- FIG. 11 is a functional block diagram of a text editing device configured to perform the rearrangement.
- the text editing device includes an alternative expression sorting unit 109 that sorts the output of the alternative expression searching unit 106 in the configuration of the text editing device shown in FIG. The configuration is inserted between them.
- the processing units other than the alternative representation sort unit 109 have the same functions and operations as the processing unit of the text editing apparatus described with reference to FIG. For this reason, the same reference numbers are assigned.
- FIG. 12 is a functional block diagram showing an internal configuration of the alternative expression sorting unit 109. As shown in FIG.
- the alternative expression sort unit 109 includes a language analysis unit 102, a voice quality change estimation unit 103, a voice quality change estimation model 104, and a sort unit 1091. Also in FIG. 12, the same reference numbers and names are assigned to the processing units having the same functions and operations as the processing units whose functions and operations have already been described. In FIG. 12, sorting section 1091 sorts a plurality of alternative expressions included in the alternative expression set in descending order of the estimated values by comparing the estimated values output from voice quality change estimating section 103.
- FIG. 13 is a flowchart showing the operation of the alternative expression sorting unit 109.
- the language analysis unit 102 analyzes the language of each alternative expression character string in the alternative expression set (S201).
- the voice quality change estimation unit 103 uses the estimation formula of the voice quality change estimation model 104 to calculate an estimate of the likelihood of a voice quality change for each language analysis result of each alternative expression obtained in step S201.
- the sorting unit 1091 sorts the alternative expressions by comparing the estimated values obtained for the alternative expressions in step S202 (S203).
- FIG. 14 is a flowchart showing the overall operation of the text editing apparatus shown in FIG.
- the flowchart shown in FIG. 14 is obtained by inserting a process (S107) for sorting a set of alternative expressions between step S105 and step S106 in the flowchart shown in FIG.
- the processing in step S107 has been described with reference to FIG.
- the processes other than step S107 are the same as those described with reference to FIG. 5, the same numbers are assigned.
- Sorting section 109 can present alternative expressions in order from the viewpoint of the likelihood of voice quality changes. Therefore, it is possible to provide a text editing apparatus having a further special effect that the user can easily correct the manuscript from the viewpoint of voice quality change.
- FIG. 15 is a functional block diagram of the text editing device according to the second embodiment.
- the text editing device is a device that edits the text so that the reader does not give an unintended impression when the reader reads the input text.
- voice quality change estimation unit 103A voice quality change estimation model A voice quality change estimation model B104B, a voice quality change portion determination unit 105A, an alternative expression search unit 106A, an alternative expression database 107, and a display unit 108A.
- FIG. 15 blocks having the same functions as those of the text editing apparatus in the first embodiment described with reference to FIG. 1 are assigned the same reference numerals as in FIG. Explanation of blocks with the same function is omitted.
- the voice quality change estimation model A104A and the voice quality change estimation model B104B are composed of estimation formulas and threshold values in the same procedure as the voice quality change estimation model 104, respectively. It was created by conducting statistical learning on quality changes.
- the voice quality change estimation unit 103A uses the voice quality change estimation model A104A and the voice quality change estimation model B104B to change the voice quality change for each accent phrase unit of the language analysis result output by the language analysis unit 102 for each type of voice quality change. Estimate the likelihood of occurrence.
- the voice quality change part determination unit 105A It is determined whether there is a possibility of voice quality change for each type of voice quality change. Substitution expression
- the expression search unit 106A is a powerful alternative expression that searches for alternative expressions of linguistic expressions related to locations in the text that the voice quality change part determination unit 105A has determined that there is a possibility of voice quality change for each type of voice quality change.
- Outputs a set of The display unit 108A displays the entire input text, displays the text locations that the voice quality change portion determination unit 105A has determined to have a voice quality change according to the type of voice quality change, and the alternative expression search unit 106A. Displays a set of alternative expressions output by.
- Such a text editing device is constructed on a computer system as shown in FIG.
- This computer system is a system including a main unit 201, a keyboard 202, a display 203, and an input device (mouse) 204.
- the voice quality change estimation model A104A, voice quality change estimation model B104B, and alternative expression database 107 in Fig. 1 are stored in the CD-ROM 207 set in the main body 201, in the hard disk (memory) 206 built in the main body 201, Alternatively, it is stored in the hard disk 205 of another system connected by the line 208.
- the display unit 108A in the text editing apparatus in FIG. 15 corresponds to the display 203 in the system in FIG. 2, and the text input unit 101 in FIG. This corresponds to the display 203, keyboard 202, and input device 204 in the system.
- FIG. 16 is a flowchart showing the operation of the text editing apparatus according to the second embodiment of the present invention.
- the same operation steps as those in the text editing apparatus in the first embodiment are given the same numbers as in FIG. Detailed description of the steps that have the same operation is omitted.
- the voice quality change estimation unit 103A After performing the language analysis processing (S101), the voice quality change estimation unit 103A performs the voice quality change estimation formula for each phoneme of the voice quality change estimation model A104A and the voice quality change estimation model B104B for each accent phrase.
- the linguistic analysis result is applied as an explanatory variable for the phoneme, and an estimate of the voice quality change is obtained for each phoneme in the accent phrase, and the estimated value having the maximum value among the phoneme estimates in the accent phrase is calculated as the accent phrase.
- the voice quality change estimation model A104A “force” changes the voice quality
- the voice quality change estimation model B104B determines the “blur” voice quality change.
- the estimation formula For each phoneme for which a change in voice quality is to be estimated, the estimation formula uses the binary value of whether or not the voice quality change of “strength” or “sharpness” occurs as a dependent variable, and within the consonant, vowel, and accent phrase of the phoneme. The mora position is created by quantification as an independent variable.
- the threshold for judging whether or not the voice quality change of “force” or “smear” occurs is based on the value of the above estimation formula so that the accuracy rate for the position of the special speech in the learning data is about 75%. It shall be set.
- the voice quality change portion determination unit 105A the voice quality change estimation unit 103A outputs an estimate of the likelihood of the voice quality change for each type of voice quality change for each of the phrase phrases, and the voice quality change estimation unit 103A.
- the voice quality change is likely to occur for each type of voice quality change for accent phrases that exceed the threshold a flag to give that (S103A) o
- the voice quality change portion determination unit 105A is composed of the shortest range of morpheme sequences covering the accent phrase to which the voice flag is likely to change for each type of voice quality change. Text that is likely to change voice quality It is specified as an expression part in the strike (S 104A).
- the alternative expression search unit 106A searches for an alternative expression set from the alternative expression database 107 for each expression location specified in step S104A (S105).
- display unit 108A displays a horizontally long rectangular region having the same length as one line of text for each type of voice quality change at the bottom of each line of text display, and is specified in step S104A. Change the rectangular area that is the same as the horizontal position and length occupied by the range of the character string where the voice quality is likely to change in the text to a color that can be distinguished from the rectangular area that indicates the area where the voice quality is unlikely to change. Present to the user places in the text where the voice quality is likely to change for each type. At the same time, the display unit 108A presents to the user the set of alternative expressions retrieved in step S105 (S106A).
- FIG. 17 is a diagram showing an example of screen content displayed on display 203 of FIG. 2 by display unit 108A in step S106A.
- Display area 401A shows the color of the input text and the part corresponding to the location in the text where the voice quality changes easily for each type of voice quality change, as the presentation section 108A presents the location where the voice quality changes easily in step S104A.
- This is an area for displaying rectangular areas 4011A and 4012A displayed by changing.
- the display area 402 is an area for displaying a set of alternative expressions in places in the text that are likely to change in voice quality searched by the alternative expression search unit 106A in step S105.
- the voice quality change estimation unit 103A uses the voice quality change estimation model A104A and the voice quality change estimation model B104B to determine different types of voice quality changes. At the same time, an estimated value of the likelihood of voice quality change is obtained, and the voice quality change part determination unit 105A detects the voice quality change in the text in the accent phrase unit having an estimated value exceeding the threshold set for each type of voice quality change. Identifies the location as likely to occur.
- a location where a voice quality change can occur in the read-out speech of the text is predicted from only the text to be read, or In addition to the effect that it can be identified and presented in a form that can be confirmed by the user, the user can predict or identify the location where the voice quality change can occur in the text-to-speech voice for multiple different voice quality changes. It is possible to provide a text editing device having a separate effect that can be presented in a form that can be confirmed.
- the alternative expression search unit 106 determines whether the voice quality change portion determination unit 105A has determined that the voice quality change may occur for each type of voice quality change. Search for alternative expressions that have the same content as the expression in the text associated with the location. Therefore, it is possible to provide a text editing device having a special effect that an alternative expression of a portion where a voice quality change is likely to occur in a text-to-speech voice can be presented separately for each type of voice quality change.
- two different voice qualities of “force” and “blur” are used by using two models of voice quality change estimation model A104A and voice quality change estimation model B104B. Although it is configured to be able to discriminate changes, a text editing apparatus having the same effect can be provided even if the number of voice quality change estimation models and the corresponding types of voice quality changes are two or more.
- the third embodiment of the present invention is based on the configuration of the text editing apparatus shown in the first and second embodiments, and is a text editing capable of simultaneously estimating a plurality of voice quality changes for each of a plurality of users.
- the apparatus will be described.
- FIG. 18 is a functional block diagram of the text editing device according to the third embodiment.
- the text editing device is a device that edits the text so that the reader does not give an unintended impression when the reader reads the input text.
- the text editing unit 101 and the language analysis unit 102, voice quality change estimation unit 103A, voice quality change estimation model 1 (1041), voice quality change estimation model set 2 (1042), voice quality change part determination unit 105A, alternative expression search unit 106A, alternative expression database 107, display unit 108A, and user identification information input unit 110 and switch 111 are provided.
- the blocks having the same functions as those of the text editing apparatus in the first embodiment and the text editing apparatus in the second embodiment are assigned the same numbers as those in FIG. 1 and FIG. ing. The description of blocks having the same function is omitted.
- voice quality change estimation model set 1 (1041) and voice quality change estimation model set 2 (1042) each have two types of voice quality change estimation models.
- the voice quality change estimation model set 1 (1041) is a force composed of the voice quality change estimation model 1 A (1041 A) and the voice quality change estimation model 1B (1041B).
- the voice quality change estimation model 104A and the voice quality change estimation model 104B in the text editing device of Form 2 are different from each other with respect to the voice of the same person by the same procedure. This is a model that can discriminate between different types of voice quality changes.
- voice quality change estimation model set 2 (1 042) the internal voice quality change estimation models (voice quality change estimation model 2A (1042A) and voice quality change estimation model 2B (1042B))
- voice quality change estimation model set 1 is configured for user 1
- voice quality change estimation model set 2 is configured for user 2.
- the user specifying information input unit 110 receives identification information for specifying the user by the user's input, and switches the switch 111 according to the input identification information of the user.
- the voice quality change estimation model set corresponding to the user specified from the identification information is switched so as to be used by the voice quality change estimation unit 103A and the voice quality change part determination part 105A.
- FIG. 19 is a flowchart showing the operation of the text editing apparatus according to the third embodiment.
- the steps for performing the same operation as the text editing device in the first embodiment or the text editing device in the second embodiment are the same as those in FIG. 5 and FIG. The same number is assigned. Detailed description of the step portion that performs the same operation is omitted.
- switch 111 is operated to select a voice quality change estimation model set corresponding to the user identified from the identification information ( S100).
- voice quality change estimation model set 1 1041
- the language analysis unit 102 performs language analysis processing (S101).
- Voice quality change estimation unit 103A power Voice quality change estimation model set 1 (1041) and voice quality change estimation model 1A (1041A) and voice quality change estimation model 1B (1041B) Applying the results of the linguistic analysis to obtain an estimated value of the voice quality change for each phoneme in the accent phrase, and using the estimated value having the maximum value among the estimated phonemes in the accent phrase, change the voice quality of the accent phrase Is output as an estimated value of the likelihood of occurrence (S102A).
- the voice quality change estimation model 1A (1041A) and the voice quality change estimation model 1B (1041B) are ”And“ Haze ”, an estimation formula and a judgment threshold are set so that the judgment can be made.
- step S103A, step S104A, step S105, and step S106A are the same as the operation steps of the text editing device of the first embodiment or the text editing device of the second embodiment. Is omitted.
- the powerful configuration it is possible to select the estimation model set of the voice quality change most suitable for the estimation of the user's speech by the switch 111 based on the identification information of the user.
- the text editing device of the second embodiment it is possible that a plurality of users can predict or specify the location where the voice quality of read-out speech of the input text is likely to change with the highest accuracy.
- a text editing device having an effect can be provided.
- the voice quality change estimation model set included in the voice quality change estimation model set includes two voice quality change estimation model sets. It may be configured to have a voice quality change estimation model! /.
- Embodiment 4 of the present invention when a user reads out a text, the text editing is based on the knowledge that the voice quality is likely to change due to fatigue of the throat as time passes.
- the apparatus will be described.
- a text editing device is described in which voice quality changes easily as the user reads the text.
- FIG. 20 is a functional block diagram of the text editing device according to the fourth embodiment.
- the text editing device is a device that edits the text so that the reader does not give an unintended impression when the reader reads the input text.
- the speech speed input unit 112 converts the designation regarding the speech speed input by the user into a unit value of the average mora time length (for example, the number of mora per second) and outputs it.
- the elapsed time measuring unit 113 sets the speech speed value output from the speech speed input unit 112 as a speech speed parameter when calculating the elapsed time.
- voice quality change part determination section 105B determines whether there is a possibility of voice quality change for each accent unit. Do
- the overall judgment unit 114 receives and accumulates the judgment results as to whether or not the voice quality change judged for each accent phrase unit is likely to occur, and integrates all judgment results to determine the overall text quality. Voice quality changes easily! Based on the percentage of points, Thus, an evaluation value is calculated that indicates how easily the voice quality changes when the entire text is read out.
- the display unit 108B displays the entire input text and highlights a portion in the text that the voice quality change part determination unit 105 has determined that there is a voice quality change. Further, the display unit 108B displays a set of alternative expressions output by the alternative expression search unit 106 and displays an evaluation value related to a voice quality change calculated by the comprehensive determination unit 114.
- Such a text editing apparatus is constructed on a computer system as shown in FIG. 2, for example.
- This computer system is a system including a main body 201, a keyboard 202, a display 203, and an input device (mouse) 204.
- the voice quality change estimation model 104 and the alternative expression database 107 in FIG. 1 are connected to the CD-ROM 207 set in the main unit 201, the hard disk (memory) 206 built in the main unit 201, or the line 208.
- the display unit 108 in the text editing apparatus in FIG. 1 corresponds to the display 203 in the system in FIG. 2, and the text input unit 101 and the speech speed input unit 112 in FIG. 1 are the display 203 in the system in FIG.
- FIG. 21 is a flowchart showing the operation of the text editing apparatus according to the fourth embodiment.
- the same operation steps as those in the text editing apparatus in the first embodiment are given the same numbers as in FIG. Detailed description of steps that are the same operation is omitted.
- the speech speed input unit 112 converts the speech speed input specified by the user into a unit value of the average mora time length and outputs it, and the elapsed time measurement unit 113 calculates the elapsed time.
- the output result of the speech speed input unit 112 is set as the speech speed parameter (S108).
- the elapsed time measurement unit 113 After performing the language analysis processing (S101), the elapsed time measurement unit 113 counts the number of mora of the leading force of the reading mora sequence included in the language analysis result, and divides it by the speech speed parameter. The elapsed time when reading from the head at each mora position in the text is calculated (S109).
- Voice quality change estimation section 103 obtains an estimate of the likelihood of voice quality changes in units of accent phrases. Obtain (S102). In the present embodiment, it is assumed that voice quality change estimation model 104 is configured by statistical learning so that the voice quality change of “blur” can be determined. The voice quality change portion determination unit 105B is prone to change in voice quality for each accent phrase based on the value of the elapsed time at the beginning mora position of the accent phrase calculated by the elapsed time measurement unit 113 in step 109.
- the threshold value to be compared with the estimated value of the accent phrase is corrected, and then compared with the estimated value of the likelihood of the voice quality change of the accent phrase, and the voice quality change is likely to occur in the accent phrase to which the estimated value exceeding the threshold value is given.
- a flag is assigned (S103B).
- the correction of the threshold based on the value of the elapsed time of reading is S as the original threshold value, S 'as the corrected threshold value, and T (minutes) as the elapsed time.
- the threshold value is corrected so that the threshold value becomes smaller as time passes. This is because, as described above, as the user proceeds to read the text, the voice quality is likely to change due to fatigue of the throat, etc., so the threshold is reduced as time passes, and the flag that the voice quality is likely to change is flagged. This is to make it easier to grant.
- step S104 and step S105 the overall judgment unit 114 determines the state of the voice quality change flag for each accent phrase output by the voice quality change part judgment unit 105B, and the accent of the entire text.
- the ratio of the number of accent phrases that are accumulated over phrases and given a flag that tends to change voice quality in the number of accent phrases in the text is calculated (S110).
- the display unit 108B displays the elapsed time at the time of reading measured by the elapsed time measuring unit 113 for each predetermined range of the text, and the voice quality in the text specified in step S104 is likely to change.
- the location is highlighted, the set of alternative expressions searched in step S105 is displayed, and at the same time, the ratio of the accent phrase that is likely to change the voice quality calculated by the comprehensive judgment unit 114 is displayed (S106C).
- FIG. 22 is a diagram showing an example of screen content displayed on display 203 of FIG. 2 by display unit 108B in step S106C.
- display area 401B the input text, the elapsed time 4041 to 4043 when the input text calculated in step S109 is read out at the specified speech speed, and the display unit 108 is likely to change voice quality in step S104.
- Presentation of points The display area 402 displays a set of alternative expressions for the part in the text that is likely to change the voice quality searched by the alternative expression search unit 106 in step S105. This is the area to display.
- the display area 405 is an area for displaying the ratio of accent phrases that are likely to change the voice quality of “blur” calculated by the general judgment unit 114.
- the part of the text “about 6 minutes” is highlighted, and when the corresponding part 4011 is clicked, “6 minutes, 6 minutes” is displayed in the display area 402 of the alternative expression set. It shows a set of alternative expressions “degree” being displayed.
- the reading voice of “about 6 minutes” is judged to be “smooth” due to the fact that the sound of the line “H” tends to cause a change of “smooth”.
- the estimate of the likelihood of a “smear” voice quality change related to the sound of “ho” contained in “mouth pung hod” is larger than the other mora contained in “mouth pung hod”, and is related to the sound of “ho”.
- the estimated value of the voice quality change is an estimate of the likelihood of the voice quality change representing this accent phrase.
- the read-out voice of “about 10 minutes” includes the sound of “e”, but at this point, the voice quality is likely to change.
- the corrected threshold value S 1 decreases toward SZ2.
- the corrected threshold S is used until 2 minutes have passed since the start of reading. , Is larger than S * 3Z5, so voice quality is likely to change! / Not determined to be a spot, but if it exceeds 2 minutes, threshold S 'is smaller than S * 3Z5, so voice quality changes easily It is determined as a location. Therefore, the example shown in FIG.
- the embodiment since the voice quality change portion determination unit 105B corrects the determination reference threshold based on the speech speed input by the user through the elapsed time measurement unit 113, the embodiment In addition to the effects of the text editing device in (1), predicting where voice quality changes are likely to occur, taking into account the impact on the likelihood of voice quality changes over time by reading at the speed of speech assumed by the user, Alternatively, it is possible to provide a text editing device that has a special effect that it can be specified.
- the threshold correction formula is such that the threshold decreases with the passage of time.
- the relationship between the likelihood of a voice quality change and the time course is analyzed. This is a preferable configuration for improving the accuracy of estimation using a threshold correction formula based on the result. For example, voice quality changes are likely to occur due to throat tension at the beginning of talking, but if you continue speaking until a certain time, the throat relaxes and it is difficult for voice quality changes to occur. In the case where the voice quality is likely to change again, the threshold correction formula may be determined.
- Embodiment 5 of the present invention comparison is made between a portion where it is estimated that a change in voice quality will occur in the input text and a portion where the voice quality changes when the user actually reads the same text.
- a text editing apparatus capable of performing the above will be described.
- FIG. 23 is a functional block diagram of the text evaluation apparatus in the fifth embodiment.
- the text evaluation device is a device that compares the location where the voice quality change is estimated to occur in the input text with the voice quality change utterance location when the user actually reads the same text.
- the voice input unit 115 captures the voice read out from the text input by the user into the text input unit 101 as a voice signal.
- voice The recognition unit 116 performs alignment processing between the speech signal and the phoneme sequence on the speech signal captured from the speech input unit 115 using the phoneme sequence information of the linguistic analysis result output from the language analysis unit 102. , Recognize the voice of the captured audio signal.
- the voice analysis unit 117 determines whether or not a voice quality change designated in advance occurs in the voice signal read out by the user in units of accent phrases.
- FIG. 24 is a diagram showing an example of a computer system in which the text evaluation device in the fifth embodiment is constructed.
- This computer system is a system that includes a main body 201, a keyboard 202, a display 203, and an input device (mouse) 204.
- the voice quality change estimation model 104 and the alternative expression database 107 in FIG. 23 are stored in the CD-ROM 207 set in the main unit 201, in the hard disk (memory) 206 built in the main unit 201, or connected to the line 208. Stored in the hard disk 205 of the system.
- the display unit 108C in the text editing device in FIG. 23 corresponds to the display 203 in the system in FIG. 24, and the text input unit 101 in FIG. 23 is the display 203, keyboard 202, and input device in the system in FIG. It corresponds to 204.
- 23 corresponds to the microphone 209.
- the speaker 210 is used for audio reproduction for confirming whether the audio input unit 115 has captured an audio signal at an appropriate level.
- FIG. 25 is a flowchart showing the operation of the text evaluation apparatus in the fifth embodiment.
- the same operation steps as those in the text editing apparatus in the first embodiment are given the same numbers as in FIG. Detailed description of steps that are the same operation is omitted.
- the speech analysis unit 117 determines whether or not a specific voice quality change has occurred by using a voice analysis method that specifies the type of voice quality change to be determined in advance for the speech signal read by the user.
- the flag of the portion where the voice quality change has occurred is given to the accent phrase uttered by the voice quality change (S111).
- the voice analysis unit 117 is set to a state in which voice analysis can be performed with respect to the voice quality change of “power”.
- Non-Patent Document 1 the remarkable feature of “harsh ⁇ ”, which is classified as a voice quality change of “force”, is irregularity of the fundamental frequency, specifically jitter ( It is said that the fluctuation component with a fast period) is in the sima (fluctuation component with a fast amplitude). Therefore, as a specific method that can determine the change in voice quality of “force”, the pitch extraction of the audio signal is performed, the jitter component and the simmer component of the fundamental frequency are extracted, and whether or not the strength of both components is above a certain level. Thus, it is possible to configure a method for determining whether or not the power of “force” is changing. Further, here, for the voice quality change estimation model 104, it is assumed that an estimation formula and a threshold are set so that a voice quality change of “force” can be determined.
- step S111 the voice analysis unit 117 changes the voice quality of the character string portion in the text having the shortest range of morpheme string power that covers the accent phrase flagged as having a voice quality change. It is specified as an expression part in the generated text (S112).
- step S102 after estimating the likelihood of occurrence of a voice quality change in units of accent phrases in the linguistic analysis result of the text, the voice quality change portion determination unit 105B is operated by the voice quality change estimation unit 103.
- the estimated value of the likelihood of the voice quality change in each accent phrase unit to be output is compared with the threshold value of the voice quality change model estimation 104 associated with the estimation formula used by the voice quality change estimation unit 103, and the accent phrase exceeding the threshold value is compared. That voice quality changes easily A flag is assigned (S103B).
- step S103B the voice quality change portion determination unit 105 states that a voice quality change is likely to occur, and a character string in the text consisting of the shortest range of morpheme strings covering the accent phrase to which the flag is added.
- the part is identified as an expression part in the text where the voice quality is likely to change (S104).
- the overall determination unit 114A among a plurality of expression parts in the text in which the voice quality change specified in step S112 has occurred, a plurality of expressions in the text in which the voice quality change specified in step 104 is likely to occur. Count the number of places where there is an overlap between the place and the string range. In addition, the overall determination unit 114A calculates the ratio of the number of overlapping parts to the number of expression parts in the text in which the voice quality change identified in step S112 has occurred (S113).
- the display unit 108C displays text, and provides two horizontally long rectangular areas having the same length as one line of text at the bottom of each line of the text display.
- the color specified in step S104 is the color that can be distinguished from the rectangular area that indicates the position where the voice quality is unlikely to occur.
- the area is changed to a color that can be distinguished from a rectangular area that indicates a place where no voice quality change has occurred, and the voice quality is determined by the user's speech when the voice quality change calculated in step 113 is likely to occur. Displays the rate of change (S106D).
- FIG. 26 is a diagram showing an example of screen content displayed on display 203 of FIG. 24 by display unit 108C in step S106D.
- Display area 401C is an input text, a rectangular area portion 4013 displayed by changing the color of the portion corresponding to the portion in the text as a presentation of the portion where the voice quality change is likely to occur in step S106D.
- the display unit 108C displays the rectangular area 4040 displayed by changing the color of the part corresponding to the part in the text as a presentation of the part where the voice quality change occurred in the user's speech. It is an area.
- Display area 406 is displayed in step S106D.
- the display section 108C force is an area for displaying the rate at which the voice quality change has occurred in the read-out voice of the user.
- “forced” and “warmed” are presented as places where the voice quality change of “force” is likely to occur, and the analysis ability of the user's reading speech is actually judged.
- “Take” is presented as the place where the voice quality change was uttered. Since there are two locations where the voice quality change is predicted, there is one location that overlaps the predicted location where the voice quality change actually occurred, so “1Z2” is presented as the occurrence rate of the voice quality change. Has been.
- the utterance location of the voice quality change in the user's read-out speech is determined by the series of operations of step S110, step S111, and step S112.
- the general judgment unit 114A has determined in step S104 that voice quality changes are likely to occur in the text-to-speech voice
- the voice actually read out by the user in step S112 Since the ratio of the part that overlaps with the part where the voice quality change actually occurred is calculated, the single voice quality change type possessed by the text editing apparatus according to the first embodiment of the present invention is calculated only from the text to be read out.
- the user can also use the text evaluation apparatus shown in the present embodiment as an utterance training apparatus for training an utterance that does not cause a change in voice quality. That is, in the display area 401C shown in FIG. 26, it is possible to compare the estimated location where the voice quality change is likely to occur with the actual occurrence location. For this reason, the user can perform development training so that voice quality does not change at the estimated location.
- the numerical value displayed in the display area 406 corresponds to the user's score. In other words, the smaller the numerical value, the more the voice can be uttered with no change in voice quality.
- FIG. 27 is a functional block diagram showing only main components related to the processing of the voice quality change estimation method in the text editing apparatus according to the sixth embodiment.
- the text editing device includes a text input unit 1010, a language analysis unit 1020, a voice quality change estimation unit 1030, a phoneme-specific voice quality change information table 1040, and a voice quality change part determination unit 1050.
- the text editing device further includes a processing unit (not shown) that executes processing after determining a portion where a change in voice quality has occurred.
- processing units are the same as those shown in the first to fifth embodiments.
- the text editing apparatus includes the alternative expression searching unit 106, the alternative expression database 107, and the alternative expression database 107 shown in FIG. Including the display unit 108!
- a text input unit 1010 is a processing unit that performs processing for inputting text to be processed.
- the language analysis unit 1020 performs language analysis processing on the text input by the text input unit 1010, and includes phonological strings, accent phrase delimiter information, accent position information, part of speech information, and syntax information that are reading information. It is a processing unit that outputs language analysis results.
- the voice quality change estimation unit 1030 refers to the voice quality change information table 1040 classified by phoneme that expresses the degree of occurrence of voice quality change for each phoneme as a numerical value having a finite value, and changes the voice quality change for each accent phrase unit of the language analysis result. Performs processing to obtain an estimate of likelihood.
- the voice quality change part determination unit 1050 Based on the estimated value of the voice quality change estimated by the voice quality change estimation unit 1030 and a certain threshold value, the voice quality change part determination unit 1050 performs a process for determining whether or not there is a possibility of a voice quality change for each accent unit. .
- FIG. 28 shows an example of the phoneme-specific voice quality change information table 1040.
- the voice quality change information table 1040 for each phoneme is a table showing the degree of change in voice quality for each consonant part of the mora. For example, the degree of voice quality change in consonant is “0.1”. It has been shown.
- FIG. 29 shows the voice quality change estimation in the sixth embodiment.
- 3 is a flowchart showing the operation of the method.
- the language analysis unit 1 020 performs a series of language analysis processes such as morphological analysis, syntax analysis, reading generation, and accent phrase processing to obtain reading information.
- the language analysis result including the phoneme sequence, accent phrase delimiter information, accent position information, part of speech information, and syntax information is output (S1010).
- the voice quality change estimation unit 1030 calculates the degree of voice quality change for each phoneme stored in the phoneme-specific voice quality change information table 1040 for the accent phrase unit of the language processing result output in S 1010. According to the expressed numerical value, the numerical value of the degree of voice quality change is obtained for each phoneme included in the accent phrase. Furthermore, the numerical value of the maximum voice quality change in the phoneme in the accent phrase is used as an estimate of the likelihood of the voice quality change representative of the accent phrase (1020).
- the voice quality change portion determination unit 1050 the estimated value of the likelihood of the voice quality change in units of each accent phrase output from the voice quality change estimation unit 1030 and the threshold set to a predetermined value are obtained. In comparison, a flag indicating that the voice quality is likely to change is added to the accent phrase exceeding the threshold (S1030). Subsequently, in step S1030, the voice quality change portion determination unit 1050 detects the character string portion in the text that is the shortest range of morpheme sequence power that covers the accent phrase to which the voice quality change is likely to occur. It is specified as an expression part in the text with high possibility of voice quality change (S1040).
- the voice quality change estimation unit 1030 determines the voice quality change for each accent phrase from the numerical value of the degree of likelihood of the voice quality change for each phoneme described in the phoneme-specific voice quality change information table 10 40.
- the voice quality change part determination unit 1050 identifies an accent phrase having an estimated value exceeding the threshold as a place where a voice quality change is likely to occur by comparing the estimated value with a predetermined threshold.
- Embodiment 7 of the present invention in the input text, the expression that is likely to change the voice quality is converted into an expression that is less likely to change the voice quality, or the expression that is less likely to change the voice quality is reversed.
- a text-to-speech device that generates a synthesized speech of the converted text after it has been converted to an expression that tends to cause quality changes will be described.
- FIG. 30 is a functional block diagram of the text-to-speech device according to the seventh embodiment.
- the text-to-speech device includes a text input unit 101, a language analysis unit 102, a voice quality change estimation unit 103, a voice quality change estimation model 104, a voice quality change part determination unit 105, an alternative expression search unit 106, An alternative expression database 107, an alternative expression sort unit 109, an expression conversion unit 118, a speech synthesis language analysis unit 119, a speech synthesis unit 120, and a speech output unit 121 are provided.
- blocks having the same functions as those of the text editing apparatus in the first embodiment are given the same numbers as in FIG. 1 or FIG. Explanation of blocks with the same function is omitted.
- the expression conversion unit 118 uses the sorted alternative expression set output by the alternative expression sort unit 109 for the part in the text that the voice quality change part determination unit 105 has determined that the voice quality change is likely to occur. Replace with alternative expressions that are most unlikely to change voice quality.
- the speech synthesis language analysis unit 119 performs language analysis on the replaced text output from the expression conversion unit 118.
- the speech synthesizer 120 synthesizes a speech signal based on the pronunciation information, accent phrase information, and pause information included in the language analysis result output from the speech synthesis language analysis unit 119.
- the voice output unit 121 outputs the voice signal synthesized by the voice synthesis unit 120.
- FIG. 31 is a diagram illustrating an example of a computer system in which the text-to-speech device according to the seventh embodiment is constructed.
- This computer system is a system that includes a main body 201, a keyboard 202, a display 203, and an input device (mouse) 204.
- the voice quality change estimation model 104 and the alternative expression database 107 shown in FIG. 30 are stored in the CD-ROM 207, the hard disk (memory) 206 built in the main unit 201, or the line 208. It is stored in the hard disk 205 of other systems connected by.
- FIG. 32 is a flowchart showing the operation of the text-to-speech device according to the seventh embodiment.
- the same operation steps as those in the text editing apparatus in the first embodiment are given the same numbers as those in FIG. 5 or FIG. Details of steps that are the same operation will not be described in detail.
- Steps S101 to S107 are the same operation steps as those in the text editing apparatus in the first embodiment shown in FIG. Assume that the input text is “It takes about 10 minutes” as shown in FIG.
- FIG. 33 shows an example of intermediate data related to the operation of replacing the input text in the text-to-speech device according to the seventh embodiment.
- the expression conversion unit 118 obtained the search by the alternative expression search unit 106 for the portion where the voice quality change part determination unit 105 is likely to change the voice quality specified in step S104.
- one alternative expression that is least likely to change the voice quality is selected from the sorted alternative expression set output by the alternative expression sorting unit 109 and replaced (S114).
- the sorted alternative expression set is sorted according to the degree of likelihood of voice quality change.
- “Necessary” is the alternative expression that is most unlikely to change voice quality.
- the speech analysis language analysis unit 119 performs language analysis on the text replaced in step S114, and outputs language analysis results including reading information, accent phrase breaks, accent position, pause position, and pause length. (S 115). As shown in Figure 33, “I need to apply” is replaced with “I need to apply” in the input text “It takes about 10 minutes”. Finally, the speech synthesizer 120 synthesizes a speech signal based on the language analysis result output in step S115, and outputs the speech signal from the speech output unit 121 (S116).
- the voice quality change estimation unit 103 and the voice quality change part determination unit 105 identify locations where the voice quality change is likely to occur in the input text, and the alternative expression search unit 106 and the alternative expression sort unit Through a series of operations with 109 and the expression converter 118, the text in the text can be read out by automatically replacing the part in the text where the voice quality is likely to change with an alternative expression that is less likely to change the voice quality.
- the voice quality of the voice synthesizer 120 in the device may change the voice quality, such as “strength” or “sharpness”. In other words, when there is a bias in the voice quality balance, it is possible to provide a text-to-speech device that has the effect of being able to read while avoiding as much as possible the instability of voice quality due to the bias.
- the ability to read out speech by replacing expressions that may cause a change in voice quality with expressions that are difficult to speak of the voice quality change Therefore, it is possible to read out the voice by replacing the expression with the expression.
- the estimation of the likelihood of voice quality change and the determination of the portion where the voice quality changes are performed based on the estimated value.
- the threshold value is determined based on the estimation formula. If the V and the mora are divided in advance, it may be determined that the voice quality change always occurs in that mora.
- the consonant is ZbZ (both lip and voiced burst consonant) and from the front of the accent phrase
- the consonant is ZdZ (gum sound and voiced burst consonant), and the first phrase of the accent phrase
- the estimation formula tends to exceed the threshold in the mora shown in (5) to (8) below.
- the consonant is ZhZ (a laryngeal and silent voice) and the first mora of the accent phrase or the third mora from the front of the accent phrase
- the consonant is ZtZ (gum sound and unvoiced plosive), and the fourth power of the accent phrase
- the consonant is ZkZ (soft palate and unvoiced plosive), and the fifth mora from the front of the accent phrase (8)
- the position in the text where the voice quality is likely to change due to the relationship between the consonant and the accent phrase it is possible to specify a position where a voice quality change is likely to occur using a relationship other than the relationship.
- a relationship other than the relationship For example, in the case of English, it is possible to specify a position in a text where a change in voice quality is likely to occur by using the relationship between the consonant and the number of syllables of a stress phrase or the stress position.
- the position in the text where voice quality changes are likely to occur is identified using the relationship between the consonant and the pitch rise / fall pattern of four voices or the number of syllables contained in the exhalation paragraph. Is possible.
- the text editing device in the above-described embodiment can also be realized by an LSI (integrated circuit).
- LSI integrated circuit
- the language analysis unit 102, the voice quality change estimation unit 103, the voice quality change part determination unit 105, and the alternative expression search unit 106 are all combined into one. It can be realized with LSI.
- each processing unit can be realized by one LSI.
- each processing unit can be realized with multiple LSIs.
- Voice quality change estimation model 104 and alternative expression database 107 may be realized by a storage device external to the LSI, or may be realized by a memory provided in the LSI.
- LSI Storage device
- the database data may be acquired via the Internet.
- IC integrated circuit
- LSI system LSI
- super LSI super LSI
- non-regular LSI depending on the difference in power integration as LSI.
- the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
- FPGA Field that can be programmed after LSI manufacturing
- FIG. 34 is a diagram illustrating an example of the configuration of a computer.
- the computer 1200 includes a human power 1202, a memory 1204, a CPU 1206, a memory 1208, and an output 1210.
- the input unit 1202 is a processing unit that receives input data from the outside, and includes a keyboard, a mouse, a voice input device, a communication IZF unit and the like.
- the memory 1204 is a storage device that temporarily stores programs and data.
- the CPU 1206 is a processing unit that executes a program.
- the storage unit 1208 is a device for storing programs and data, and also has a hard disk power.
- the output unit 1210 is a processing unit that outputs data to the outside, and serves as a monitor or a speaker.
- the language analysis unit 102, the voice quality change estimation unit 103, the voice quality change part determination unit 105, and the alternative expression search unit 106 Corresponding to programs executed on the CPU 1206, the voice quality change estimation model 104 and the alternative expression database 107 are stored in the storage unit 1208.
- the result calculated by the CPU 1206 is stored in the memory 1204 and the storage unit 1208.
- the memory 1204 and the storage unit 1208 may be used to exchange data with each processing unit such as the voice quality change portion determination unit 105.
- a program for causing a computer to execute the speech synthesizer according to the present embodiment may be stored in a floppy (registered trademark) disk, a CD-ROM, a DVD-ROM, a nonvolatile memory, or the like. It may be read into the CPU 1206 of the computer 1200 via the Internet.
- the text editing device of the present invention has a configuration capable of providing a function for evaluating and correcting the text quality. Therefore, the text editing device is useful for application to a word processor device and word processor software. Other text that is supposed to be read by humans It can be applied to a device having a function of editing a file or software.
- the text evaluation apparatus of the present invention enables the user to read out the text while paying attention to the place where the voice expression quality of the text is predicted, and the user can actually read the text. Since it has a configuration that allows you to check the voice quality change location of the read-out speech and evaluate how much the voice quality change has occurred, it is useful for application to speech training devices, language learning devices, etc. is there. In addition, it can be applied to devices with functions that assist reading practice.
- the text-to-speech device of the present invention can replace a linguistic expression, which is likely to change voice quality, with an alternative expression and read it as speech. Therefore, the voice quality changes with little change in voice quality while maintaining the content. Since it has a configuration that allows text to be read out, it is useful to apply it to reading devices such as two-use. In addition, it is not directly related to the content of the text, and it can be applied to a reading device, etc., where the influence received by the listener due to the change in the voice quality of the reading speech is eliminated.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
声質変化の発生しやすさの予測または声質変化が発生するか否かの特定を行なうことができるテキスト編集装置は、テキストに対応する言語解析情報に基づいて、読み上げた際に声質が変化する可能性のある前記テキスト中の箇所を提示する装置であって、テキストに対応する音韻列を含む言語解析結果の記号列である言語解析情報に基づいて、少なくとも1つの音韻列を含む入力記号列の所定の単位ごとに、ユーザが前記テキストを読み上げた際の声質変化の起こりやすさを推定する声質変化推定部(103)と、前記言語解析情報と前記声質変化推定部(103)による推定結果とに基づいて、声質変化の起こりやすいテキスト中の箇所を特定する声質変化部分判定部(105)と、前記声質変化部分判定部(105)で特定された声質変化の起こりやすいテキスト中の箇所をユーザに提示する表示部(108)とを備える。
Description
明 細 書
声質変化箇所特定装置
技術分野
[0001] 本発明は、読み上げ用のテキストのうち、声質変化を起こす可能性のある箇所を特 定する声質変化箇所特定装置等に関する。
背景技術
[0002] 従来提案されて!、るテキスト編集装置、あるいは、テキスト編集方法として、テキスト に含まれる表現(内容)に対して、読み手が受け取るであろう印象を評価し、書き手が 所望する印象に沿わない部分を、書き手の所望する印象に合致する表現に書き換 えるもの(例えば、特許文献 1参照。)が知られている。
[0003] また、テキスト編集機能を有するテキスト読み上げ装置、ある!/、は、テキスト読み上 げ方法として、読み上げ対象のテキストの読みの発音列の組み合わせに注目し、聞 き取りにく 、発音の組み合わせとなるテキスト中の表現箇所を、聞き取りやす 、表現 へ書き換えて読み上げるもの (例えば、特許文献 2参照。)がある。
[0004] 同じぐ読み上げ音声の評価を行う方法として、「紛らわしさ」という観点で、音声の 発音の組み合わせを評価する方法であって、連続して読み上げられる 2つの文字列 の仮名読み文字列としての類似度を評価し、ある条件を満たす場合に、 2つの文字 列を連続して読み上げると、発音が類似しているため紛らわしいとするもの(例えば、 特許文献 3参照。)がある。
[0005] ところで、テキストを読み上げた時の音声に対して評価した結果に基づ 、て、テキス トを編集するという観点では、「聞きやすさ」や「紛らわしさ」とは異なる次のような課題 も存在する。
[0006] 人間がテキストを読み上げる際、読み手が意図しない発声器官の緊張や弛緩の結 果、読み上げ音声の音質が部分的に変化することがある。発声器官の緊張や弛緩に よる音声の音質変化は、それぞれ、読み手の音声の「力み」や「緩み」として聞き手に 知覚される。一方、音声における「力み」や「緩み」などの声質変化は、感情や表情を 伴った音声において特徴的に観測される現象であり、それらの部分的な声質変化が
、音声の感情や表情を特徴付け、音声の印象を形作っていることが知られている (例 えば、非特許文献 1参照。 ) o従って、あるテキストを読み手が読み上げた時に、聞き 手は、読み上げているテキストの表現様式 (文体 ·言葉遣い)や内容力もとは別に、そ の読み上げ音声の中に現れる「力み」や「緩み」などの部分的な声質の変化そのもの から、音声に対する印象、感情、表情などを受け取ることがある。これら聞き手が受け 取る印象が、読み手の意図しないものである場合、あるいは、聞き手が受け取るよう 意図した印象と異なる場合には問題となる。例えば、講演用の原稿のテキストを読み 上げる場合、読み手が原稿を読み上げている途中で、読み手は冷静かつ落ち着い て読み上げているにも関わらず、読み手の意図とは関係なく声が裏返るという声質の 変化が発生すると、聞き手は読み手が心理的に緊張状態にあり落ち着きを失ってい るという印象をもつ可能性がある。
特許文献 1:特開 2000 - 250907号公報 (第 11ページ、図 1)
特許文献 2 :特開 2000— 172289号公報 (第 9ページ、図 1)
特許文献 3 :特許 3587976号公報 (第 10ページ、図 5)
非特許文献 1 :粕谷英榭,楊長盛、 "音源から見た声質"、日本音響学会誌 51卷 11号 ( 1995), pp869-875
発明の開示
発明が解決しょうとする課題
[0007] し力しながら、従来提案されて!、る装置、あるいは、方法では、テキストを読み上げ た時の音声のどの部分で前記声質変化が発生しやすいかの予測、あるいは、前記 声質変化が発生する力否かの特定ができないという課題を有している。従って、前記 聞き手が読み上げ音声に対して受け取るであろう声質の部分的な変化に起因する印 象を予測することができないという課題も有している。さらに、読み手が意図しない印 象を与えうる前記声質の部分的変化を発生させやすいテキスト中の箇所を指摘し、 かつ、同様の内容を表す他の表現を提示する、あるいは、他の表現に書き換えること ができな!/、と!/、う課題を有して 、る。
[0008] 本発明は、上述の課題を解決するためになされたものであり、声質変化の発生しや すさの予測または声質変化が発生する力否力の特定を行なうことができる声質変化
箇所特定装置等を提供することを目的とする。
[0009] また、聞き手が読み上げ音声に対して受け取るであろう声質の部分的な変化に起 因する印象を予測することができる声質変化箇所特定装置等を提供することも目的と する。
[0010] さらに、読み手が意図しない印象を与えうる前記声質の部分的変化を発生させや すいテキスト中の箇所を指摘し、かつ、同様の内容を表す他の表現を提示する、ある いは、他の表現に書き換えることができる声質変化箇所特定装置等を提供することも 目的とする。
課題を解決するための手段
[0011] 本発明のある局面に係る声質変化箇所特定装置は、テキストに対応する言語解析 情報に基づいて、読み上げた際に声質が変化する可能性のある前記テキスト中の箇 所を特定する装置であって、テキストに対応する音韻列を含む言語解析結果の記号 列である言語解析情報に基づいて、少なくとも 1つの音韻列を含む入力記号列の所 定の単位ごとに、前記テキストを読み上げた際の声質変化の起こりやすさを推定する 声質変化推定手段と、前記言語解析情報と前記声質変化推定手段による推定結果 とに基づいて、声質変化の起こりやすいテキスト中の箇所を特定する声質変化箇所 特定手段とを備える。
[0012] この構成によると、テキスト中の声質変化が起こりやすい箇所が特定される。したが つて、声質変化の発生しやすさの予測または声質変化が発生するか否かの特定が 可能な声質変化箇所特定装置を提供することができる。
[0013] 好ましくは、前記声質変化推定手段は、同一ユーザの複数の少なくとも 3種類以上 の発話様態の各々のについて複数の音声についての分析および統計的学習をする ことにより得られる、声質変化の種類ごとに設けられる複数の推定モデルを用いて、 各声質変化の種類にっ 、て、前記言語解析情報の前記所定の単位ごとに前記各発 話様態に基づく声質変化の起こりやすさを推定する。
[0014] 本構成によると、例えば、「力み」、「かすれ」、「感情なし」という 3種類の発話態様で 発話された音声の分析等を行なうことにより、「力み」および「かすれ」の推定モデル が得られ、 2つの推定モデルから、どのような種類の声質変化がどのような箇所で起
こる力を特定することができる。また、声質変化が発生した箇所での代替表現への置 換も可能となる。
[0015] さらに好ましくは、前記声質変化推定手段は、複数ユーザにおける複数の音声に ついて分析および統計的学習をすることによりそれぞれ得られる複数の声質変化の 推定モデルを用いて、ユーザに対応した推定モデルを選択し、前記言語解析情報 の前記所定の単位ごとに声質変化の起こりやすさを推定する。
[0016] このように、利用者ごとに声質変化の推定モデルを持つことにより、声質変化が起こ りやすい箇所の特定をより正確に行なうことができる。
[0017] さらに好ましくは、上述の声質変化箇所特定装置は、さらに、言語表現の代替表現 を記憶する代替表現記憶手段と、前記声質変化箇所特定手段で特定された声質変 化の起こりやすいテキスト中の箇所の代替表現を前記代替表現記憶手段より検索し 、当該箇所を検索された代替表現で置換する声質変化箇所置換手段とを備える。
[0018] この構成によると、テキスト中の声質変化が起こりやすい箇所が特定され、その箇所 が代替表現に変換される。したがって、予め声質変化が起こりにくい代替表現を用意 しておくことにより、ユーザが、代替表現に変換されたテキストを読み上げた際に声質 変化を起こしにくくなる。
[0019] さらに好ましくは、上述の声質変化箇所特定装置は、さらに、前記声質変化箇所置 換手段において代替表現に置換されたテキストを読み上げた音声を生成する音声 合成手段を備える。
[0020] この構成によると、音声合成手段が合成する音声の声質が音韻によっては「力み」 や「かすれ」などの声質変化が起こってしまうという声質バランス上の偏り(クセ)を有 する場合、その偏りによる声質の不安定さをできるだけ回避しながら読み上げること ができるような音声を生成することができる。
[0021] 好ましくは、上述の声質変化箇所特定装置は、さらに、前記声質変化箇所特定手 段で特定された声質変化の起こりやすいテキスト中の箇所をユーザに提示する声質 変化箇所提示手段を備える。
[0022] この構成によると、声質変化の起こりやす 、部分が提示されるため、ユーザは、提 示された情報に基づいて、聞き手が読み上げ音声に対して受け取るであろう声質の
部分的な変化に起因する印象を予測することができる。
[0023] さらに好ましくは、上述の声質変化箇所特定装置は、さらに、ユーザのテキストの読 み上げ速度を示す話速情報に基づ 、て、前記テキストの所定位置における前記テキ ストの先頭からの読み上げの経過時間を計測する経過時間算出手段を備え、前記 声質変化推定手段は、さらに、前記経過時間を考慮することにより、前記所定の単位 ごとに声質変化の起こりやすさを推定する。
[0024] この構成によると、テキストの読み上げにお 、て、読み手の発声器官への読み上げ の時間的経過による影響、すなわちのどの疲労等を考慮して、声質変化の起こりや すさを評価し、発生箇所の予測を行うことができる。このため、声質変化が起こりやす い箇所の特定をより正確に行なうことができる。
[0025] さらに好ましくは、上述の声質変化箇所特定装置は、さらに、前記テキストの全部ま たは一部に対する、前記声質変化箇所特定手段において特定された声質変化の起 こりやすい前記テキストの箇所の割合を判断する声質変化割合判断手段を備える。
[0026] この構成によると、ユーザは、テキストの全部または一部に対して、どの程度の割合 で声質変化が起こる可能性があるかを知ることができる。このため、ユーザは、テキス ト読み上げ時の、聞き手が読み上げ音声に対して受け取るであろう声質の部分的な 変化に起因する印象を予測することができる。
[0027] さらに好ましくは、上述の声質変化箇所特定装置は、さらに、前記テキストをユーザ が読み上げた音声を認識する音声認識手段と、前記音声認識手段の音声認識結果 に基づいて、利用者の音声の各音韻単位を含む所定の単位ごとに、声質変化の度 合 、を分析する音声分析手段と、前記声質変化箇所特定手段で特定された声質変 化の起こりやすい前記テキスト中の箇所と前記音声分析手段での分析結果とに基づ いて、声質変化の起こりやすい前記テキスト中の箇所とユーザの音声中で声質変化 が起こった箇所との比較を行うテキスト評価手段とを備える。
[0028] この構成によると、読み上げの対象のテキストから予測される声質変化の箇所と、実 際にユーザがテキストを読み上げた音声中で声質変化が発生した箇所とを比較する ことができる。このため、利用者が繰り返し読み上げの練習を重ねることで、声質変化 が予測される箇所で声質変化が起こらないようにしょうとするときの習熟の度合いを
確認することができる。あるいは、利用者が繰り返し読み上げの練習を重ねることで、 利用者が意図する印象を聞き手に与えうる声質変化の発生が予測される箇所に関し て、利用者の実際の読み上げ音声中の同じ箇所で声質変化が起こるようにしようとす るときの習熟の度合いを確認することができる。
[0029] さらに好ましくは、前記声質変化推定手段は、音韻ごとに声質変化の起こりやすさ の程度を、数値によって表した音韻別声質変化テーブルを参照して、前記言語解析 情報の前記所定の単位ごとに、当該所定の単位に含まれる音韻ごとに割り当てられ た数値に基づいて、声質変化の起こりやすさを推定する。
[0030] この構成によると、推定モデルを用いずとも、予め用意した音韻別声質変化テープ ルを使用しても、声質変化の発生しやすさの予測または声質変化が発生する力否か の特定が可能な声質変化箇所特定装置を提供することができる。
[0031] なお、本発明は、このような特徴的な手段を備える声質変化部分提示装置として実 現することができるだけでなぐ声質変化部分提示装置に含まれる特徴的な手段をス テツプとする声質変化部分提示方法として実現したり、声質変化部分提示装置に含 まれる特徴的な手段としてコンピュータを機能させるプログラムとして実現したりするこ ともできる。そして、そのようなプログラムは、 CD-ROM (Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させること ができるのは言うまでもない。
発明の効果
[0032] 本発明によると、従来解決ができな力つた、テキストの読み上げ音声に発生しうる部 分的な声質変化の箇所および種類の予測および特定と!/ヽぅ課題を解決し、ユーザで ある読み手が、テキストの読み上げ音声に発生しうる声質変化の箇所および種類を 把握し、読み上げに際して聞き手に与えると予想される読み上げ音声の印象を予測 することを可能にし、さらに、実際に読み上げる際に留意すべき箇所を意識して読み 上げることができるという効果を有する。
[0033] また、所望しない印象を与える声質変化が起こりうるテキスト中の箇所に関わる言語 表現に対しては、同様の内容を表す代替表現の提示あるいは同様の内容を表す代 替表現への自動変換が可能であるという効果も同時に有する。
[0034] さらに、ユーザである読み手が、自分の読み上げ音声中の声質変化箇所の確認、 および、当該声質変化箇所とテキストから予測される声質変化の箇所との比較を行え るので、読み手が所望しな 、声質変化が起こらな 、ように読み上げようと意図する場 合、あるいは、適切な箇所での所望の声質変化を伴うように読み上げようと意図する 場合に、読み上げの練習を重ねることで、声質変化の使い分けの習熟度をわ力りや すく把握することができると ヽぅ効果を有する。
[0035] さらにまた、入力テキストから声質変化が起こりやすい箇所を特定し、その箇所に関 わる言語表現を代替表現に置き換えて読み上げることが可能なので、特に、声質変 化箇所特定装置が生成する音声の声質が音韻によっては「力み」や「かすれ」などの 声質変化が起こってしまうという声質バランス上の偏り(クセ)を有する場合、その偏り による声質の不安定さをできるだけ回避しながら読み上げが可能になるという効果を 有する。また、音韻レベルでの声質の変化は、音韻性を損なうことから明瞭度が低下 する傾向がある。よって、読み上げ音声の明瞭度を優先させたい場合、声質変化が 起こりやすい音韻を含む言語表現をなるベく避けることで、声質変化による明瞭度低 下の問題を緩和することが可能であるという効果を有する。
図面の簡単な説明
[0036] [図 1]図 1は、本発明の実施の形態 1におけるテキスト編集装置の機能ブロック図であ る。
[図 2]図 2は、本発明の実施の形態 1におけるテキスト編集装置を構築したコンビユー タシステムを示す図である。
[図 3A]図 3Aは、話者 1について「強い怒り」の感情表現を伴った音声中の「力んだ」 声質変化、あるいは、「ざらざら声(harsh voice)」の声質変化で発声されたモーラの 子音の種類別の頻度分布を示したグラフである。
[図 3B]図 3Bは、話者 2について「強い怒り」の感情表現を伴った音声中の「力んだ」 声質変化、あるいは、「ざらざら声(harsh voice)」の声質変化で発声されたモーラの 子音の種類別の頻度分布を示したグラフである。
[図 3C]図 3Cは、話者 1について「弱の怒り」の感情表現を伴って音声中の「力んだ」 声質変化、あるいは、「ざらざら声(harsh voice)」の声質変化で発声されたモーラの
子音の種類別の頻度分布を示したグラフである。
[図 3D]図 3Dは、話者 2について「弱の怒り」の感情表現を伴って音声中の「力んだ」 声質変化、あるいは、「ざらざら声(harsh voice)」の声質変化で発声されたモーラの 子音の種類別の頻度分布を示したグラフである。
[図 4]図 4は、実際の音声において観察された声質変化の発生位置と推定された声 質変化の発生位置の時間位置の比較を示す図である。
[図 5]図 5は、本発明の実施の形態 1におけるテキスト編集装置の動作を示すフロー チャートである。
[図 6]図 6は、推定式および判定閾値を作成する方法について説明するためのフロー チャートである。
[図 7]図 7は、横軸に「力み易さ」、縦軸に「音声データ中のモーラ数」を示したグラフ である。
[図 8]図 8は、本発明の実施の形態 1におけるテキスト編集装置の代替表現データべ 一スの例を示す図である。
[図 9]図 9は、本発明の実施の形態 1におけるテキスト編集装置の画面表示例を示す 図である。
[図 10A]図 10Aは、話者 1につ 、て「朗ら力」な感情表現を伴った音声中の「かすれ」 の声質変化で発声されたモーラの子音の種類別の頻度分布を示したグラフである。
[図 10B]図 10Bは、話者 2について「朗ら力」な感情表現を伴った音声中の「かすれ」 の声質変化で発声されたモーラの子音の種類別の頻度分布を示したグラフである。
[図 11]図 11は、本発明の実施の形態 1におけるテキスト編集装置の機能ブロック図 である。
[図 12]図 12は、本発明の実施の形態 1におけるテキスト編集装置の代替表現ソート 部の内部機能ブロック図である。
[図 13]図 13は、本発明の実施の形態 1におけるテキスト編集装置の代替表現ソート 部の内部動作を示すフローチャートである。
[図 14]図 14は、本発明の実施の形態 1におけるテキスト編集装置の動作を示すフロ 一チャートである。
[図 15]図 15は、本発明の実施の形態 2におけるテキスト編集装置の機能ブロック図 である。
[図 16]図 16は、本発明の実施の形態 2におけるテキスト編集装置の動作を示すフロ 一チャートである。
[図 17]図 17は、本発明の実施の形態 2におけるテキスト編集装置の画面表示例を示 す図である。
[図 18]図 18は、本発明の実施の形態 3におけるテキスト編集装置の機能ブロック図 である。
[図 19]図 19は、本発明の実施の形態 3におけるテキスト編集装置の動作を示すフロ 一チャートである。
[図 20]図 20は、本発明の実施の形態 4におけるテキスト編集装置の機能ブロック図 である。
[図 21]図 21は、本発明の実施の形態 4におけるテキスト編集装置の動作を示すフロ 一チャートである。
[図 22]図 22は、本発明の実施の形態 4におけるテキスト編集装置の画面表示例を示 す図である。
[図 23]図 23は、本発明の実施の形態 5におけるテキスト評価装置の機能ブロック図 である。
[図 24]図 24は、本発明の実施の形態 5におけるテキスト評価装置を構築したコンビュ ータシステムを示す図である。
[図 25]図 25は、本発明の実施の形態 5におけるテキスト評価装置の動作を示すフロ 一チャートである。
[図 26]図 26は、本発明の実施の形態 5におけるテキスト評価装置の画面表示例を示 す図である。
[図 27]図 27は、本実施の形態 6におけるテキスト編集装置のうち、声質変化推定方 法の処理に関連する主要な構成部分のみを示す機能ブロック図である。
[図 28]図 28は、音韻別声質変化情報テーブルの一例を示す図である。
[図 29]図 29は、本発明の実施の形態 6における声質変化推定方法の処理動作を示
すフローチャートである。
[図 30]図 30は、本発明の実施の形態 7におけるテキスト読み上げ装置の機能ブロッ ク図である。
[図 31]図 31は、本発明の実施の形態 7におけるテキスト読み上げ装置を構築したコ ンピュータシステムを示す図である。
[図 32]図 32は、本発明の実施の形態 7におけるテキスト読み上げ装置の動作を示す フローチャートである。
[図 33]図 33は、本発明の実施の形態 7におけるテキスト読み上げ装置の動作を説明 するための中間データ例を示す図である。
[図 34]図 34は、コンピュータの構成の一例を示す図である。
符号の説明
101, 1010 テキスト入力部
102, 1020 言語解析部
103, 103A, 1030 声質変化推定部
104, 104A, 104B 声質変化推定モデル
105, 105A, 105B, 1050 声質変化部分判定部
106, 106A 代替表現検索部
107 代替表現データベース
108, 108A, 108B 表示部
109 代替表現ソート部
110 利用者特定情報入力部
111 スィッチ
112 話速入力部
113 経過時間測定部
114, 114A 総合判定部
115 音声入力部
116 音声認識部
117 音声分析部
118 表現変換部
119 音声合成用言語解析部
120 音声合成部
121 音声出力部
1040 音韻別声質変化情報テーブル
1091 ソート咅
発明を実施するための最良の形態
[0038] 以下、本発明の実施の形態について図面を参照しながら説明する。
[0039] (実施の形態 1)
本発明の実施の形態 1では、テキストに基づいて、声質の変化を推定し、声質が変 化する部分の代替表現の候補を利用者に提示するテキスト編集装置について説明 する。
[0040] 図 1は、本発明の実施の形態 1におけるテキスト編集装置の機能ブロック図である。
図 1において、テキスト編集装置は、入力されたテキストを読み手が読み上げた際 に意図しない印象を他人に与えないように、当該テキストを編集する装置であり、テキ スト入力部 101と、言語解析部 102と、声質変化推定部 103と、声質変化推定モデ ル 104と、声質変化部分判定部 105と、代替表現検索部 106と、代替表現データべ ース 107と、表示部 108とを備えている。
[0041] テキスト入力部 101は、処理対象のテキストを入力するための処理部である。言語 解析部 102は、テキスト入力部 101から入力されたテキストに対して、言語解析処理 を行い、読みの情報である音韻列、アクセント句区切り情報、アクセント位置情報、品 詞情報および構文情報を含む言語解析結果を出力する処理部である。声質変化推 定部 103は、あら力じめ統計的学習によって得た声質変化推定モデル 104を用いて 、前記言語解析結果のアクセント句単位ごとに、声質変化の起こりやすさを推定する 処理部である。声質変化推定モデル 104は、言語解析結果に含まれる各種の情報 の一部を入力変数とし、言語処理結果に現れる各音韻の箇所につ!、て声質変化の 起こりやすさの推定値を目的変数とする推定式と、その推定式に対応づけられた閾 値との組み合わせ力 なるものである。
[0042] 声質変化部分判定部 105は、声質変化推定部 103が推定した声質変化の推定値 と、対応づけられた閾値とに基づいて、アクセント句単位ごとに声質変化の可能性が ある箇所かどうかの判定を行う処理部である。代替表現検索部 106は、代替表現デ ータベース 107に格納された代替表現セットから、声質変化部分判定部 105により声 質変化の可能性があると判定されたテキスト中の箇所に関わる言語表現の代替表現 を検索し、見つ力つた代替表現のセットを出力する処理部である。表示部 108は、入 力されたテキスト全体の表示、および、声質変化部分判定部 105が声質変化の可能 性があると判定したテキスト中箇所のハイライト表示、および、代替表現検索部 106 が出力する代替表現のセットの表示を行う表示装置である。
[0043] このようなテキスト編集装置は、例えば、図 2に示すようなコンピュータシステム上に 構築されるものである。図 2は、本発明の実施の形態 1におけるテキスト編集装置を 構築したコンピュータシステムの例を示す図である。
[0044] このコンピュータシステムは、本体部 201と、キーボード 202と、ディスプレイ 203と、 入力装置 (マウス) 204とを含むシステムである。図 1の声質変化推定モデル 104、お よび、代替表現データベース 107は、本体部 201にセットされる CD— ROM207内, 本体部 201が内蔵するハードディスク (メモリ) 206内,あるいは回線 208で接続され た他のシステムのハードディスク 205内に格納される。なお、図 1のテキスト編集装置 における表示部 108は、図 2のシステムにおけるディスプレイ 203に該当し、図 1のテ キスト入力部 101は、図 2のシステムにおけるディスプレイ 203、キーボード 202、およ び、入力装置 204に該当する。
[0045] 実施の形態 1の構成によるテキスト編集装置の動作を説明する前に、声質変化推 定部 103が声質変化推定モデル 104に基づいて、声質変化の起こりやすさを推定 する背景を説明する。これまで感情や表情に伴う音声の表現、特に声質の変化につ V、ては発話全体にわたる一様な変化が注目され、これを実現する技術開発がなされ てきた。しかし一方で、感情や表情を伴った音声においては、一定の発話スタイル中 であっても、様々な声質の音声が混在し、音声の感情や表情を特徴付け、音声の印 象を形作っていることが知られている(例えば、非特許文献 1参照。 ) o本願では、話 者の状況や意図などが言語的意味以上にあるいは言語的意味とは別に聴取者に伝
えられるような音声の表現を「発話様態」と呼ぶ。発話様態は、発声器官の緊張や弛 緩といった解剖学的、生理的状況や、感情や情動といった心理状態や、表情のよう な心理状態を反映する現象や、発話スタイルや話し方と!/ヽつた話者の態度や行動様 式といった概念を含む情報によって決定される。発話様態を決定する情報として、例 えば「怒り」、「喜び」、「悲しみ」のような感情の種類などがあげられる。
[0046] 本願発明に先立って同一テキストに基づいて発話された 50文について表情を伴わ な 、音声と感情を伴う音声の調査を行った。図 3Aは話者 1につ 、て「強 、怒り」の感 情表現を伴った音声中の「力んだ」声質変化 (あるいは、「力んだ」声質変化に含まれ る「ざらざら声 (harsh voice)」の声質変化)で発声されたモーラの子音の種類別の頻 度分布を示したグラフである。図 3Bは話者 2につ 、て「強 、怒り」の感情表現を伴つ た音声中の「力んだ」声質変化、あるいは、「ざらざら声 (harsh voice)」の声質変化で 発声されたモーラの子音の種類別の頻度分布を示したグラフである。図 3Cおよび図 3Dはそれぞれ図 3Aおよび図 3Bと同じ話者について「弱の怒り」の感情表現を伴つ て音声中の「力んだ」声質変化、あるいは、「ざらざら声(harsh voice)」の声質変化で 発声されたモーラの子音の種類別の頻度分布を示したグラフである。これら声質変 化の発生頻度は子音の種類によって偏りがあり、例えば「t」「k」「d」「m」「n」あるいは 子音無しの場合には発生頻度が高ぐ「p」「ch」「ts」「f」などでは発生頻度が低い。 図 3Aおよび図 3Bに示された 2名の話者についてのグラフを比較すると、上記の子音 の種類による声質変化の発生頻度の偏りの傾向は同じであることがわかる。話者に 共通する偏りがあることは、人間が読み上げようとするテキストの読みの音韻列に対し て、声質変化が発声しうる箇所は音韻の種類等の情報力も推定できる可能性を示し ている。
[0047] 図 4は図 3A〜図 3Dと同一のデータから統計的学習手法の 1つである数量化 II類 を用いて作成した推定式により、例 1「じゅっぷんほど力かります。」と例 2「あたたまり ました」につ 、て「力んだ」声質変化、ある 、は、「ざらざら声(harsh voice)」の声質変 化で発声されるモーラを推定した結果を示したものである。自然発話音声において 声質変化を伴って発声されたモーラ、および、推定式により声質変化の発声が予測 されたモーラのそれぞれについて、かな書きの下に線分を引いて示した。図 4は結果
学習用データの各モーラについて、モーラに含まれる子音の種類および母音の種類 あるいは音韻のカテゴリといった音韻の種類を示す情報とアクセント句内のモーラ位 置の情報を独立変数とし、「力んだ」声質、あるいは、「ざらざら声 (harsh voice)」の声 質が発生した力否かの 2値を従属変数として、数量化 II類により推定式を作成し、学 習用データの声質変化の発生箇所に対する正解率が約 75%になるように閾値を決 定した場合の推定結果であり、声質変化の発声箇所は音韻の種類やアクセントにか 力わる情報力も高精度に推定可能であることを示している。
[0048] 次に先に述べたように構成されたテキスト編集装置の動作を図 5に従って説明する 。図 5は、本発明の実施の形態 1におけるテキスト編集装置の動作を示すフローチヤ ートである。
[0049] 最初に、言語解析部 102は、テキスト入力部 101から受け取った入力テキストに対 して、形態素解析、構文解析、読み生成、アクセント句処理という一連の言語解析処 理を行い、読みの情報である音韻列、アクセント句区切り情報、アクセント位置情報、 品詞情報、構文情報を含む言語解析結果を出力する (S101)。
[0050] 次に、声質変化推定部 103は、アクセント句単位で、声質変化推定モデル 104のも つ音韻ごとの声質変化の推定式の説明変数として前記言語解析結果を適用し、ァク セント句内の各音韻について声質変化の推定値を求め、アクセント句内の音韻の推 定値のうち最大の値をもつ推定値を、当該アクセント句の声質変化の起こりやすさの 推定値として出力する(S 102)。本実施の形態では、「力み」の声質変化について判 定するものとする。推定式は、声質変化を判定しょうとする音韻ごとに、「力み」の声質 変化が発生する力否かの 2値を従属変数とし、当該音韻の子音、母音、アクセント句 内のモーラ位置を独立変数として数量ィ匕 Π類により作成したものである。「力み」の声 質変化が発生する力否力の判定閾値は、学習用データの特殊音声の発生位置に対 する正解率が約 75%になるように前記推定式の値に対して設定されて!、るものとす る。
[0051] 図 6は、推定式および判定閾値を作成する方法について説明するためのフローチ ヤートである。ここでは、声質変化として「力み」を選択した場合について説明する。
[0052] まず、学習用の音声データ中の各モーラについて、推定式の独立変数として、子
音の種類と、母音の種類と、アクセント句中の正順位置とが設定される(S2)。また、 上述の各モーラについて、推定式の従属変数として、「力み」の声質変化が発生して いる力否力を 2値で表した変数が設定される(S4)。次に、各独立変数のカテゴリ重 みとして、子音の種類毎の重み、母音の種類毎の重みおよびアクセント句中の正順 位置ごとの重みが、数量化 II類に従い、算出される(S6)。また、各独立変数のカテゴ リ重みを音声データ中の各モーラの属性条件に当てはめることにより、「力み」の声質 変化の発生のし易さである「力み易さ」が算出される (S8)。
[0053] 図 7は、横軸に「力み易さ」、縦軸に「音声データ中のモーラ数」を示したグラフであ り、「力み易さ」は、「― 5」から「5」までの数値で示されており、数値が小さいほど、発 声した際に力みやすいと推定される。ノ、ツチングを施した棒グラフは、実際に発声し た際に「力み」の声質変化が生じたモーラにおける頻度を示しており、ノ、ツチングを施 していない棒グラフは、実際に発声した際に「力み」の声質変化が生じな力つたモー ラにおける頻度を示している。
[0054] このグラフにおいて、実際に「力み」の声質変化が発生したモーラ群と「力み」の声 質変化が発生しな力つたモーラ群との「力み易さ」の値が比較され、「力み」の声質変 化が発生したモーラ群と「力み」の声質変化が発生しなかったモーラ群との両群の正 解率が共に 75%を超えるように、「力み易さ」から、「力み」の声質変化が発生すると 判断するための閾値が設定される(S10)。
[0055] 以上のようにして、「怒り」に特徴的に現れる「力み」の音色に対応する推定式と判 定閾値とが求められる。
[0056] なお、「喜び」や「悲しみ」といった他の感情に対応する特殊音声についても、特殊 音声ごとに同様に推定式と閾値とが設定されているものとする。
[0057] 次に、声質変化部分判定部 105は、声質変化推定部 103が出力する各アクセント 句単位の声質変化の起こりやすさの推定値と、声質変化推定部 103が用いた推定 式に対応付けられた声質変化モデル推定 104の閾値とを比較し、閾値を越えるァク セント句に対して声質変化が起こりやす ヽと 、うフラグを付与する(S103)。
[0058] 引き続き、声質変化部分判定部 105は、ステップ S103で声質変化が起こりやすい というフラグが付与されたアクセント句をカバーする最短の範囲の形態素列力もなる
テキスト中の文字列部分を、声質変化の可能性の高いテキスト中の表現箇所として 特定する(S 104)。
[0059] 次に、代替表現検索部 106は、ステップ 104で特定された表現箇所に対して、代替 表現データベース 107から代替表現となりうる代替表現セットを検索する(S 105)。
[0060] 図 8は、代替表現データベースに格納される代替表現のセットの例を示したもので ある。図 8に示すセット 301〜303は、それぞれ互いに代替表現として同様の意味を もつ言語表現文字列のセットである。代替表現検索部 106は、ステップ 104で特定さ れた表現箇所の代替表現文字列を検索キーとして、各代替表現のセットに含まれる 代替表現の文字列との文字列照合を行!、、ヒットする文字列が含まれる代替表現セ ットを出力する。
[0061] 次に、表示部 108は、ステップ S104で特定されたテキスト中の声質変化が起こりや すい箇所をハイライト表示して利用者に提示すると同時に、ステップ S 105で検索さ れた代替表現のセットを利用者に提示する(S 106)。
[0062] 図 9は、表示部 108がステップ S106において、図 2のディスプレイ 203に表示する 画面内容の例を示す図である。表示エリア 401は、入力テキスト、および、ステップ S 104で表示部 108が声質変化の起こりやすい箇所の提示としてハイライト表示した箇 所 4011および 4012を表示するエリアである。表示エリア 402はステップ S 105で代 替表現検索部 106により検索された声質変化が起こりやすいテキスト中箇所の代替 表現のセットを表示するエリアである。利用者が、エリア 401内でハイライト表示された 箇所 4011または 4012にマウスポインタ 403をあわせ、マウス 204のボタンをクリック すると、代替表現のセットの表示エリア 402に、クリックしたノヽイライト箇所の言語表現 の代替表現のセットが表示される。図 9の例では、「掛力ります」というテキスト中の箇 所 4011がハイライト表示されており、箇所 4011をクリックしたときに、代替表現のセッ トの表示エリア 402に、「掛かります、必要です、要します」という代替表現のセットが 表示されている様子を表している。この代替表現のセットは、「掛力ります」というテキ スト中の箇所の言語表現文字列をキーにして代替表現検索部 106が、代替表現セッ トを検索した結果、図 8の代替表現データベースの代替表現のセット 302が照合し、 代替表現結果として表示部 108へ出力された結果である。
[0063] 力かる構成によれば、入力テキストの言語解析結果のアクセント句単位に対して、 声質変化推定部 103が、声質変化推定モデル 104の推定式を用いて、声質変化の 起こりやすさの推定値を求め、声質変化部分判定部 105が、一定の閾値を超える推 定値をもつアクセント句単位のテキスト中箇所を声質変化が起こりやす 、箇所として 特定するので、読み上げようとするテキストのみから、テキストの読み上げ音声中で声 質変化が発生しうる箇所を予測、あるいは、特定し、利用者が確認可能な形で提示 できるという特別の効果を有するテキスト編集装置を提供することができる。
[0064] さらに、力かる構成によれば、声質変化部分判定部 105が、一定の閾値を超える推 定値をもつ代替表現検索部 106が、声質変化が発生しうる箇所の判定結果に基づ いて、該当の箇所に関わるテキスト中の表現と同様の内容をもつ代替表現を検索す るので、テキストの読み上げ音声中で声質変化が起こりやすい箇所の代替表現を提 示できるという特別な効果を有するテキスト編集装置を提供できる。
[0065] なお、本実施の形態において、声質変化推定モデル 104は、「力み」の声質変化を 判別するものとして構成したが、「かすれ」、「裏声」など他の種類の声質変化につい ても同様に声質変化推定モデル 104が構成可能である。
[0066] 例えば、図 10Aは、話者 1について「朗ら力」な感情表現を伴った音声中の「かすれ 」の声質変化で発声されたモーラの子音の種類別の頻度分布を示したグラフであり、 図 10Bは、話者 2について「朗ら力」な感情表現を伴った音声中の「かすれ」の声質 変化で発声されたモーラの子音の種類別の頻度分布を示したグラフである。このよう な、「かすれ」の声質変化においても、 2名の話者についてのグラフを比較すると、声 質変化の発生頻度の偏りの傾向は同じであることが分かる。すなわち、例えば、「t」、 「k」、「h」などの場合に「かすれ」の声質変化の発生頻度が高ぐ「ts」、「f」、「 、「v」 、「n」、「w」などの場合に「かすれ」の声質変化の発生頻度が低い。このため、「かす れ」の声質変化についても当該声質変化を判別するための声質変化推定モデルを 構成することが可能である。
[0067] なお、本実施の形態において、声質変化推定部 103は、声質変化の起こりやすさ の推定をアクセント句単位で行うよう構成したが、これはモーラ単位、形態素単位、文 節単位、文単位など、テキストを分割する他の単位ごとに推定するようにしてもよい。
[0068] なお、本実施の形態にぉ 、て、声質変化推定モデル 104の推定式は、声質変化 が発生する力否かの 2値を従属変数として、当該音韻の子音、母音、アクセント句内 のモーラ位置を独立変数として数量化 II類により作成し、声質変化推定モデル 104 の判定閾値は、学習用データの声質変化の発生位置に対する正解率が約 75%に なるように前記推定式の値に対して設定したが、声質変化推定モデル 104は他の統 計的学習モデルに基づく推定式、および、判別閾値であってもよい。例えば、 Suppor t Vector Machineによる 2値判別学習モデルを用いても本実施の形態と同等の効果 をもつ声質変化の判別を行うことが可能である。 Support Vector Machineは周知の技 術である。このため、その詳細な説明はここでは繰り返さない。
[0069] なお、本実施の形態において、表示部 108が声質変化の起こりやすい箇所の提示 として、テキスト中の該当箇所のノ、イライト表示をもちいたが、これは他の視覚的に判 別可能な手段によってもよい。例えば、該当箇所の文字フォントの色やサイズが他の 箇所と異なるように表示するなどでもよい。
[0070] なお、本実施の形態において、代替表現検索部 106が検索した代替表現のセット は、表示部 108において、代替表現データベース 107に格納されていた順序で、あ るいは、ランダムな順序で提示される力 代替表現検索部 106の出力をある基準に 従って並べ替えて、表示部 108で表示するようにしてもょ 、。
[0071] 図 11は、前記並べ替えを行うように構成したテキスト編集装置の機能ブロック図で ある。図 11に示すように、テキスト編集装置は、図 1に示したテキスト編集装置の構成 において代替表現検索部 106の出力をソートする代替表現ソート部 109を代替表現 検索部 106と表示部 108との間に挿入した構成としている。図 11において、代替表 現ソート部 109以外の処理部については、図 1を用いて説明したテキスト編集装置の 処理部と同様の機能および動作を有するものである。このため、同一の参照番号を 付与している。図 12は、代替表現ソート部 109の内部構成を示す機能ブロック図で ある。代替表現ソート部 109は、言語解析部 102と、声質変化推定部 103と、声質変 化推定モデル 104と、ソート部 1091とから構成される。図 12においても、既に機能 および動作について説明済みの処理部と同一の機能および動作をもつ処理部には 、同一の参照番号および名称を付与している。
[0072] 図 12において、ソート部 1091は、声質変化推定部 103が出力する推定値の大小 比較によって代替表現のセットに含まれる複数の代替表現を推定値の大きい順にソ ートする。
[0073] 図 13は、代替表現ソート部 109の動作を示すフローチャートである。言語解析部 1 02は、代替表現セットの各代替表現の文字列を言語解析する(S201)。次に、声質 変化推定部 103は、声質変化推定モデル 104の推定式を用いて、ステップ S201で 求められた各代替表現の言語解析結果ごとに、声質変化の起こりやすさの推定値を 計算する(S202)。次に、ソート部 1091は、ステップ S202において代替表現ごとに 求められた推定値の大小比較により代替表現のソートを行う(S203)。
[0074] 図 14は、図 11に示したテキスト編集装置の全体の動作を表すフローチャートである 。図 14に示されるフローチャートは、図 5に示したフローチャートにおいて、ステップ S 105とステップ S106との間に、代替表現のセットをソートする処理(S 107)が挿入さ れたものである。ステップ S107の処理は、図 13を参照して説明したものである。また 、ステップ S107以外の処理については、図 5を参照して説明した処理と同一である ため、同一の番号を付与している。
[0075] 力かる構成によれば、図 1に示したテキスト編集装置の効果に加え、声質変化が起 こりやすい箇所に関わる言語表現に対して、複数の代替表現がある場合に、代替表 現ソート部 109によって、声質変化の起こりやすさという観点で代替表現を序列化し て提示できる。このため、利用者が声質変化の観点から原稿を修正することが容易に できるという、さらなる特別の効果を有するテキスト編集装置を提供できる。
[0076] (実施の形態 2)
本発明の実施の形態 2では、実施の形態 1に示したテキスト編集装置の構成を基本 とし、複数の声質の変化を同時に推定することができるテキスト編集装置について説 明する。
[0077] 図 15は、本実施の形態 2におけるテキスト編集装置の機能ブロック図である。
図 15において、テキスト編集装置は、入力されたテキストを読み手が読み上げた際 に意図しない印象を他人に与えないように、当該テキストを編集する装置であり、テキ スト入力部 101と、言語解析部 102と、声質変化推定部 103Aと、声質変化推定モデ
ル A104Aと、声質変化推定モデル B104Bと、声質変化部分判定部 105Aと、代替 表現検索部 106Aと、代替表現データベース 107と、表示部 108Aとを備えている。
[0078] 図 15において、図 1を参照して説明した実施の形態 1におけるテキスト編集装置と 同一の機能をもつブロックについては、図 1と同じ参照番号を付与している。同一の 機能をもつブロックについては、説明を省略する。図 15において、声質変化推定モ デル A104Aと声質変化推定モデル B104Bとは、それぞれ、声質変化推定モデル 1 04と同じ手順で推定式と閾値とを構成したものであるが、それぞれ、異なる種類の声 質変化について統計的学習を行って作成したものである。声質変化推定部 103Aは 、声質変化推定モデル A104A、および、声質変化推定モデル B104Bを用いて、言 語解析部 102が出力する言語解析結果のアクセント句単位ごとに、声質変化の種類 別に声質変化の起こりやすさを推定する。
[0079] 声質変化部分判定部 105Aは、声質変化推定部 103が声質変化の種類別に推定 した声質変化の推定値と、その推定に用いた推定式に対応付けられた閾値とに基づ いて、声質変化の種類別に声質変化の可能性があるかどうかの判定を行う。代替表 現検索部 106Aは、声質変化部分判定部 105Aが、声質変化の種類別に声質変化 の可能性があると判定したテキスト中箇所に関わる言語表現の代替表現を検索し見 つ力つた代替表現のセットを出力する。表示部 108Aは、入力されたテキストの全体 の表示し、また、声質変化部分判定部 105Aが声質変化があると判定したテキスト中 箇所を、声質変化の種類別に表示し、さらに代替表現検索部 106Aが出力する代替 表現のセットの表示を行う。
[0080] このようなテキスト編集装置は、図 2に示すようなコンピュータシステム上に構築され るものである。このコンピュータシステムは、本体部 201と、キーボード 202と、デイス プレイ 203と、入力装置 (マウス) 204とを含むシステムである。図 1の声質変化推定モ デル A104A、声質変化推定モデル B104B、および、代替表現データベース 107は 、本体部 201にセットされる CD— ROM207内,本体部 201が内蔵するハードデイス ク(メモリ) 206内,あるいは回線 208で接続された他のシステムのハードディスク 205 内に格納される。なお、図 15のテキスト編集装置における表示部 108Aは、図 2のシ ステムにおけるディスプレイ 203に該当し、図 15のテキスト入力部 101は、図 2のシス
テムにおけるディスプレイ 203、キーボード 202、および、入力装置 204に該当する。
[0081] 次に先に述べたように構成されたテキスト編集装置の動作を図 16に従って説明す る。図 16は、本発明の実施の形態 2におけるテキスト編集装置の動作を示すフロー チャートである。図 16において、実施の形態 1におけるテキスト編集装置と同一の動 作ステップについては、図 5と同じ番号を付与している。同一の動作であるステップに ついては、詳しい説明を省略する。
[0082] 言語解析処理 (S101)を行ったのち、声質変化推定部 103Aは、アクセント句単位 で、声質変化推定モデル A104A、および、声質変化推定モデル B104Bのもつ音 韻ごとの声質変化の推定式の説明変数として前記言語解析結果を適用し、ァクセン ト句内の各音韻について声質変化の推定値を求め、アクセント句内の音韻の推定値 のうち最大の値をもつ推定値を、当該アクセント句の声質変化の起こりやすさの推定 値として出力する(S102A)。本実施の形態では、声質変化推定モデル A104A 「 力み」の声質変化について判定し、声質変化推定モデル B104Bで「かすれ」の声質 変化について判定するものとする。推定式は、声質変化を判定しょうとする音韻ごと に、「力み」あるいは「かすれ」の声質変化が発生する力否かの 2値を従属変数とし、 当該音韻の子音、母音、アクセント句内のモーラ位置を独立変数として数量化 Π類に より作成したものである。「力み」あるいは「かすれ」の声質変化が発生するか否かの 判定閾値は、学習用データの特殊音声の発生位置に対する正解率が約 75%になる ように前記推定式の値に対して設定されて ヽるものとする。
[0083] 次に、声質変化部分判定部 105Aは、声質変化推定部 103Aが出力する各ァクセ ント句単位の声質変化の種類ごとの声質変化の起こりやすさの推定値と、声質変化 推定部 103Aが用いた推定式に対応付けられた声質変化推定モデル A104Aの閾 値あるいは声質変化推定モデル B104Bの閾値とを比較し、閾値を越えるアクセント 句に対して、声質変化の種類別に声質変化が起こりやすいというフラグを付与する( S103A) o
[0084] 引き続き、声質変化部分判定部 105Aは、ステップ S103Aで、声質変化の種類別 に声質変化が起こりやす 、と 、うフラグが付与されたアクセント句をカバーする最短 の範囲の形態素列からなるテキスト中の文字列部分を声質変化の可能性の高いテキ
スト中の表現箇所として特定する(S 104A)。
[0085] 次に、代替表現検索部 106Aは、ステップ S104Aで特定された各表現箇所に対し て、代替表現データベース 107から代替表現セットを検索する(S105)。
[0086] 次に、表示部 108Aは、テキストの表示の各行の下部に、テキストの 1行と同じ長さ をもつ横長の矩形領域を声質変化の種類ごとに表示し、ステップ S104Aで特定され たテキスト中の声質変化が起こりやすい箇所の文字列の範囲が占める水平方向の位 置および長さと同じ矩形領域を声質変化が起こりにくい箇所を示す矩形領域と区別 可能な色に変更して、声質の種類ごとに声質変化が起こりやすいテキスト中の箇所を 利用者に提示する。それと同時に、表示部 108Aは、ステップ S 105で検索された代 替表現のセットを利用者に提示する(S 106A)。
[0087] 図 17は、表示部 108Aがステップ S106Aにおいて、図 2のディスプレイ 203に表示 する画面内容の例を示す図である。表示エリア 401Aは、入力テキスト、および、ステ ップ S104Aで表示部 108Aが声質変化の起こりやすい箇所の提示として、声質変化 の種類ごとに声質変化が起こりやすいテキスト中の箇所に対応した部分の色を変化 させて表示した矩形領域 4011Aおよび 4012Aを表示するエリアである。表示エリア 402は、ステップ S 105で代替表現検索部 106Aにより検索された声質変化が起こり やすいテキスト中箇所の代替表現のセットを表示するエリアである。利用者が、表示 エリア 401A内で矩形領域 4011Aおよび 4012Aの色を変えて表示されている部分 にマウスポインタ 403をあわせ、マウス 204のボタンをクリックすると代替表現のセット の表示エリア 402に、クリックした矩形領域部分に対応するテキスト中の箇所の言語 表現の代替表現のセットが表示されるようにする。図 17の例では、「力み」の声質変 化が起こりやす ヽ箇所として「掛かります」と「温まりました」とが提示されており、「かす れ」の声質変化が起こりやすい箇所として「ほど」が提示されている。また、図 17の例 では、矩形領域 4011Aの色が変化している部分をクリックしたときに、代替表現のセ ットの表示エリア 402に、「掛かります、必要です、要します」という代替表現のセットが 表示されて!ヽる様子を表して ヽる。
[0088] 力かる構成によれば、声質変化推定部 103Aが、声質変化推定モデル A104A、 および、声質変化推定モデル B104Bを用いて、異なる声質変化の種類について、
同時に、声質変化の起こりやすさの推定値を求め、声質変化部分判定部 105Aが、 声質変化の種類ごとに設定された閾値を超える推定値をもつアクセント句単位のテ キスト中箇所を声質変化が起こりやすい箇所として特定する。このため、本発明の実 施の形態 1のテキスト編集装置が有する単一の声質変化種類について、読み上げよ うとするテキストのみから、テキストの読み上げ音声中で声質変化が発生しうる箇所を 予測、あるいは、特定し、利用者が確認可能な形で提示できるという効果に加え、複 数の異なる声質変化について、テキストの読み上げ音声中で声質変化が発生しうる 箇所を予測、あるいは、特定し、利用者が確認可能な形で提示できるという各別の効 果を有するテキスト編集装置を提供することができる。
[0089] さらに、力かる構成によれば、声質変化部分判定部 105Aが、声質変化の種類ごと に声質変化が発生しうる箇所と判定した結果に基づいて、代替表現検索部 106が、 該当の箇所に関わるテキスト中の表現と同様の内容をもつ代替表現を検索する。こ のため、テキストの読み上げ音声中で声質変化が起こりやすい箇所の代替表現を、 声質変化の種類ごとに区別して提示できるという特別な効果を有するテキスト編集装 置を提供できる。
[0090] なお、本実施の形態にぉ 、て、声質変化推定モデル A104A、および、声質変化 推定モデル B104Bの 2つのモデルを用いて、「力み」および「かすれ」の 2種類の異 なる声質変化について判別可能な構成としたが、声質変化推定モデルの数、および 、対応する声質変化の種類は 2つ以上であっても、同様の効果を有するテキスト編集 装置が提供可能である。
[0091] (実施の形態 3)
本発明の実施の形態 3では、実施の形態 1および 2に示したテキスト編集装置の構 成を基本とし、複数の利用者の各々について、複数の声質の変化を同時に推定する ことができるテキスト編集装置について説明する。
[0092] 図 18は、本実施の形態 3におけるテキスト編集装置の機能ブロック図である。
図 18において、テキスト編集装置は、入力されたテキストを読み手が読み上げた際 に意図しない印象を他人に与えないように、当該テキストを編集する装置であり、テキ スト入力部 101と、言語解析部 102と、声質変化推定部 103Aと、声質変化推定モデ
ルセット 1 (1041)と、声質変化推定モデルセット 2 (1042)と、声質変化部分判定部 105Aと、代替表現検索部 106Aと、代替表現データベース 107と、表示部 108Aと、 利用者特定情報入力部 110と、スィッチ 111とを備えている。
[0093] 図 18において、実施の形態 1におけるテキスト編集装置、および、実施の形態 2に おけるテキスト編集装置と同一の機能をもつブロックについては、図 1、および、図 15 と同じ番号を付与している。同一の機能をもつブロックについては、説明を省略する。 図 18において、声質変化推定モデルセット 1 (1041)、声質変化推定モデルセット 2 ( 1042)は、それぞれ、内部に 2種類の声質変化推定モデルをもつ。
[0094] 声質変化推定モデルセット 1 (1041)は、声質変化推定モデル 1 A (1041 A)と声質 変化推定モデル 1B (1041B)とからなる力 この 2つの声質変化推定モデルは、本 発明の実施の形態 2のテキスト編集装置における、声質変化推定モデル 104A、お よび、声質変化推定モデル 104Bを構成したのと同様の手順により、同一人物の音 声に対して、それぞれの声質変化推定モデルが異なる種類の声質変化について判 別可能なモデルとして構成したものである。同様に、声質変化推定モデルセット 2 (1 042)についても、内部の声質変化推定モデル(声質変化推定モデル 2A(1042A) および声質変化推定モデル 2B (1042B) )を、それぞれ同一人物の音声に対して、 異なる種類の声質変化にっ 、て判別可能なモデルとして構成したものとする。本実 施の形態では、声質変化推定モデルセット 1が利用者 1に、声質変化推定モデルセ ット 2が利用者 2に対応して構成されているものとする。
[0095] さらに図 18において、利用者特定情報入力部 110は、利用者を特定する識別情 報を利用者力もの入力により受け取り、入力された利用者の識別情報に応じて、スィ ツチ 111を切り替えて、識別情報から特定される利用者に対応した声質変化推定モ デルセットを、声質変化推定部 103A、および、声質変化部分判定分 105Aが使用 するよう〖こする。
[0096] このように構成されたテキスト編集装置の動作を図 19に従って説明する。図 19は、 本実施の形態 3におけるテキスト編集装置の動作を示すフローチャートである。図 19 において、実施の形態 1におけるテキスト編集装置、あるいは、実施の形態 2におけ るテキスト編集装置と同一の動作を行うステップについては、図 5、および、図 16と同
じ番号を付与している。同一の動作を行うステップ部分については、詳細な説明を省 略する。
[0097] まず、利用者特定情報入力部 110から入力された利用者の識別情報に従って、ス イッチ 111を操作し、識別情報から特定される利用者に対応した声質変化推定モデ ルセットを選択する(S100)。本実施の形態では、利用者 1の利用者識別情報が入 力され、スィッチ 111により声質変化推定モデルセット 1 (1041)が選択されたものと する。
[0098] 次に、言語解析部 102が、言語解析処理を行う(S101)。声質変化推定部 103A 力 声質変化推定モデルセット 1 (1041)にある声質変化推定モデル 1A(1041A)、 および、声質変化推定モデル 1B (1041B)の推定式の説明変数として、言語解析部 102の出力である言語解析結果を適用し、アクセント句内の各音韻について声質変 化の推定値を求め、アクセント句内の音韻の推定値のうち最大の値をもつ推定値を、 当該アクセント句の声質変化の起こりやすさの推定値として出力する(S102A)。本 実施の形態 3においても、実施の形態 2での声質変化推定モデルの設定と同様に、 声質変化推定モデル 1A(1041A)、および、声質変化推定モデル 1B (1041B)に、 それぞれ、「力み」と「かすれ」の声質変化の発生につ!、ての判定が可能なように推 定式、および、判定閾値を設定するものとする。
[0099] これ以後のステップ S103A,ステップ S104A、ステップ S 105、ステップ S106Aの 動作は、実施の形態 1のテキスト編集装置、あるいは、実施の形態 2のテキスト編集 装置の動作ステップと同じであるので説明を省略する。
[0100] 力かる構成によれば、利用者の識別情報によって、スィッチ 111により、利用者の 読み上げ音声に対する推定に関して最適な声質変化の推定モデルセットを選択で きるので、実施の形態 1、および、実施の形態 2のテキスト編集装置が有する効果に 加え、複数の利用者が、入力されたテキストの読み上げ音声の声質変化の起こりや すい箇所を、最も精度よぐ予測、あるいは、特定できるという格別の効果を有するテ キスト編集装置を提供できる。
[0101] なお、本実施の形態において、声質変化推定モデルセットは 2つで、このうち 1つを スィッチ 111で選択する構成とした力 声質変化推定モデルセットは 3つ以上であつ
ても、先に述べたのと同様の効果を有するものである。
[0102] なお、本実施の形態において、声質変化推定モデルセットに含まれる声質変化推 定モデルは 2つであるように構成した力 声質変化推定モデルセットごとに 1つ以上 の任意個の個数の声質変化推定モデルをもつように構成してもよ!/、。
[0103] (実施の形態 4)
本発明の実施の形態 4では、テキストを利用者が読み上げる際に、時間が経過する ほど、のどの疲労等により声質の変化が起こりやす 、と 、う知見に基づ 、て構成され たテキスト編集装置について説明する。すなわち、利用者がテキストを読み進めるに つれて、声質変化が生じやすくなるようなテキスト編集装置について説明する。
[0104] 図 20は、本実施の形態 4におけるテキスト編集装置の機能ブロック図である。
図 20において、テキスト編集装置は、入力されたテキストを読み手が読み上げた際 に意図しない印象を他人に与えないように、当該テキストを編集する装置であり、テキ スト入力部 101と、言語解析部 102と、声質変化推定部 103と、声質変化推定モデ ル 104と、声質変化部分判定部 105Bと、代替表現検索部 106と、代替表現データ ベース 107と、表示部 108Bと、話速入力部 112と、経過時間測定部 113と、総合判 定部 114とを備えている。
[0105] 図 20において、実施の形態 1におけるテキスト編集装置と同一の機能をもつブロッ クについては、図 1と同じ番号を付与している。同一の機能をもつブロックについては 、説明を省略する。図 20において、話速入力部 112は、利用者が入力する話速に関 する指定を平均モーラ時間長の単位の値 (例えば、 1秒間あたりのモーラ数)に変換 し出力する。経過時間測定部 113は、話速入力部 112が出力した話速の値を、経過 時間を計算する際の話速のパラメータとしてセットする。声質変化部分判定部 105B は、声質変化推定部 103が推定した声質変化の推定値と、対応づけられた閾値とに 基づいて、アクセント単位ごとに声質変化の可能性がある箇所かどうかの判定を行う
[0106] 総合判定部 114は、声質変化部分判定部 105B力 各アクセント句単位について 判定した声質変化が起こりやすいかどうかの判定結果を受け取り蓄積し、すべての 判定結果を総合し、テキスト全体での声質変化の起こりやす!、箇所の割合に基づ 、
て、テキスト全体を読み上げた際の音声の声質変化の生じやすさを示す評価値を算 出する。表示部 108Bは、入力されたテキストの全体を表示しるとともに、声質変化部 分判定部 105が声質変化があると判定したテキスト中の箇所をハイライト表示する。さ らに、表示部 108Bは、代替表現検索部 106が出力する代替表現のセットの表示を するとともに、総合判定部 114が算出した声質変化に関する評価値を表示する。
[0107] このようなテキスト編集装置は、例えば、図 2に示すようなコンピュータシステム上に 構築されるものである。このコンピュータシステムは、本体部 201と、キーボード 202と 、ディスプレイ 203と、入力装置 (マウス) 204とを含むシステムである。図 1の声質変化 推定モデル 104、および、代替表現データベース 107は、本体部 201にセットされる CD— ROM207内,本体部 201が内蔵するハードディスク(メモリ) 206内,あるいは 回線 208で接続された他のシステムのハードディスク 205内に格納される。なお、図 1 のテキスト編集装置における表示部 108は、図 2のシステムにおけるディスプレイ 203 に該当し、図 1のテキスト入力部 101、および、話速入力部 112は、図 2のシステムに おけるディスプレイ 203、および、キーボード 202、および、入力装置 204に該当する
[0108] 次に先に述べたように構成されたテキスト編集装置の動作を図 21に従って説明す る。図 21は、本実施の形態 4におけるテキスト編集装置の動作を示すフローチャート である。図 21において、実施の形態 1におけるテキスト編集装置と同一の動作ステツ プについては、図 5と同じ番号を付与している。同一の動作であるステップについて は、詳しい説明を省略する。
[0109] まず、話速入力部 112は、利用者の指定による話速の入力を平均モーラ時間長の 単位の値に変換し出力し、経過時間測定部 113は、経過時間を算出する際の話速 パラメータとして話速入力部 112の出力結果をセットする(S 108)。
[0110] 言語解析処理を行った後(S101)、経過時間測定部 113は、言語解析結果に含ま れる読みのモーラ列の先頭力ものモーラ数をカウントし、話速パラメータと除算するこ とでテキスト中の各モーラ位置における先頭からの読み上げ時の経過時間を算出す る(S109)。
[0111] 声質変化推定部 103で、アクセント句単位の声質変化の起こりやすさの推定値を
求める(S102)。本実施の形態においては、声質変化推定モデル 104を、「かすれ」 の声質変化が判定可能なものとして統計的学習により構成しているものとする。声質 変化部分判定部 105Bでは、ステップ 109で経過時間測定部 113によって算出され た当該アクセント句の先頭モーラ位置における読み上げ時の経過時間の値に基づ いて、アクセント句ごとに声質変化の起こりやすいさの推定値と比較する閾値を修正 した上で、当該アクセント句の声質変化の起こりやすさの推定値との比較を行い、閾 値を超える推定値が付与されたアクセント句を声質変化が起こりやす 、と 、うフラグを 付与する(S103B)。ここで、読み上げの経過時間の値による閾値の修正は、元の閾 値を S、修正後の閾値を S'、経過時間を T (分)として、
S' =S (1 +T) / (1 + 2T)
とあらわされる式によって行うものとする。すなわち、時間が経過するにつれ、閾値が 小さくなるように、閾値の修正が行なわれる。これは、上述したように、利用者がテキス トを読み進めるにつれ、のどの疲労等により声質の変化が起こりやすくなるため、時 間の経過につれ閾値を小さくし、声質変化が起こりやすいというフラグを付与しやすく するためである。
[0112] ステップ S 104、ステップ S 105を経て、総合判定部 114は、声質変化部分判定部 1 05Bが出力するアクセント句単位の声質変化の起こりやすさのフラグの状態を、テキ スト全体のアクセント句にわたって蓄積し、テキスト中のアクセント句数に占める声質 変化の起こりやすいフラグを付与されたアクセント句数の割合を算出する(S110)。
[0113] 最後に、表示部 108Bは、経過時間測定部 113で計測された読み上げ時の経過時 間をテキストの一定範囲ごとに表示し、ステップ S104で特定されたテキスト中の声質 変化が起こりやすい箇所をハイライト表示し、ステップ S105で検索された代替表現の セットを表示し、同時に、総合判定部 114で算出された、声質変化が起こりやすいァ クセント句の割合を表示する(S106C)。
[0114] 図 22は、表示部 108Bがステップ S106Cにおいて、図 2のディスプレイ 203に表示 する画面内容の例を示す図である。表示エリア 401Bは、入力テキスト、ステップ S 10 9で算出された入力テキストを指定された話速で読み上げたときの経過時間 4041〜 4043、および、ステップ S 104で表示部 108が声質変化の起こりやすい箇所の提示
としてノ、イライト表示した箇所 4011を表示するエリアであり、表示エリア 402は、ステ ップ S 105で代替表現検索部 106により検索された声質変化が起こりやすいテキスト 中の箇所の代替表現のセットを表示するエリアである。利用者が、表示エリア 401B 内でハイライト表示された箇所 4011にマウスポインタ 403をあわせ、マウス 204のボ タンをクリックすると代替表現のセットの表示エリア 402に、クリックしたハイライト箇所 の言語表現の代替表現のセットが表示されるようにする。表示エリア 405は、総合判 定部 114が算出した「かすれ」の声質変化が起こりやすいアクセント句の割合を表示 するエリアである。図 22の例では、「6分ほど」というテキスト中の箇所カ 、イライト表示 されており、当該箇所 4011をクリックしたときに、代替表現のセットの表示エリア 402 に、「6分ぐらい、 6分程度」という代替表現のセットが表示されている様子を表してい る。
[0115] 「6分ほど」の読み上げ音声が「かすれ」と判定されるのは、ハ行の音が「かすれ」の 変化を起こしやす ヽこと〖こ起因する。「口ップンホド」に含まれる「ホ」の音に関する「か すれ」の声質変化の起こりやすいさの推定値は、「口ップンホド」に含まれる他のモー ラよりも大きく、「ホ」の音に関する声質変化の推定値が、このアクセント句を代表する 声質変化の起こしやすさの推定値となる。しかし、「10分ほど」の読み上げ音声も「ホ 」の音を含むが、この箇所にっ 、ては声質変化が起きやす ヽと 、う判定にはなって ヽ ない。
[0116] 先に示した閾値の修正式
S' =S (1 +T) / (1 + 2T)
によれば、時間の経過にしたがって、つまり、 Tの増大にしたがって、修正後の閾値 S ,が SZ2に向力つて減少していくことになる。今、「6分ほど」と「10分ほど」との声質変 化の起こりやすさの推定値が S * 3Z5であったとすると、読み始めから 2分を経過す るまでは修正後の閾値 S,が S * 3Z5よりも大き 、ので、声質変化の起こりやす!/ヽ箇 所とは判定されないが、 2分を超えると閾値 S'が S * 3Z5よりも小さくなるので、声質 変化が起こりやすい箇所と判定される。したがって、図 22に示す例では、同じ声質変 化の起こりやすさの推定値をもつアクセント句でも経過時間がある値より大きい場合 にだけ声質変化の起こりやす 、箇所として判断されるケースを表して 、る。
[0117] 力かる構成によれば、経過時間測定部 113によって利用者が入力した話速にもと づいて、声質変化部分判定部 105Bにおいて、判定の基準の閾値を修正するので、 実施の形態 1のテキスト編集装置が有する効果に加え、利用者の想定する話速での 読み上げで、時間経過に対する声質変化の起こりやすさへの影響を考慮した上で、 声質変化が起こりやすい箇所の予測、あるいは、特定ができるという格別の効果を有 するテキスト編集装置を提供できる。
[0118] なお、本実施の形態においては、時間経過に対して閾値が減少するような閾値の 修正式としたが、声質変化の種類によって、声質変化の起こりやすさと時間経過との 関係を分析した結果にもとづいた閾値の修正式を用いてもよぐ推定の精度を高める 上で好ましい構成である。例えば、話し始めは、のどの緊張等により声質変化が生じ やすいものの、ある一定の時間まで話し進めると、のどがリラックスして声質変化が起 こりにくくなり、さらに話し進めると、のどの疲労等により、再度声質変化が生じやすく なるような場合を想定し、閾値の修正式を決定するようにしてもょ 、。
[0119] (実施の形態 5)
本発明の実施の形態 5では、入力されたテキストにおいて声質変化が発生すると推 定された箇所と、実際に利用者が同じテキストを読み上げた際の声質変化の発声箇 所との比較を行なうことができるテキスト編集装置について説明する。
[0120] 図 23は、本実施の形態 5におけるテキスト評価装置の機能ブロック図である。
図 23において、テキスト評価装置は、入力されたテキストにおいて声質変化が発生 すると推定された箇所と、実際に利用者が同じテキストを読み上げた際の声質変化 の発声箇所との比較を行なう装置であり、テキスト入力部 101と、言語解析部 102と、 声質変化推定部 103と、声質変化推定モデル 104と、声質変化部分判定部 105と、 表示部 108Cと、総合判定部 114Aと、音声入力部 115と、音声認識部 116と、音声 分析部 117とを備えている。
[0121] 図 23において、実施の形態 1におけるテキスト編集装置と同一の機能をもつブロッ クについては、図 1と同じ番号を付与している。同一の機能をもつブロックについては 、説明を省略する。図 23において、音声入力部 115は、利用者がテキスト入力部 10 1に入力したテキストを読み上げた音声を装置内部に音声信号として取り込む。音声
認識部 116は、言語解析部 102が出力する言語解析結果の読みの音韻列の情報を 用いて、音声入力部 115から取り込んだ音声信号に対して、音声信号と音韻列との ァライメント処理を行い、取り込んだ音声信号の音声を認識する。音声分析部 117は 、利用者の読み上げの音声信号に対して、あらかじめ種類を指定した声質変化が起 きて 、るかどうかをアクセント句単位で判定する。
[0122] 総合判定部 114Aは、音声分析部 117が判定した各アクセント句単位で読み上げ 音声の声質変化が起きていたかどうかの判定結果と、声質変化部分判定部 105が判 定した声質変化が起きやす!/、箇所の判定結果との比較を行 、、声質変化が起こりや すいと判定された箇所における、利用者の読み上げ音声に現れた声質変化が起き た割合を算出する。表示部 108Cは、入力されたテキストの全体を表示するとともに、 声質変化部分判定部 105が声質変化があると判定したテキスト中の箇所をハイライト 表示する。さらに、表示部 108Cは、総合判定部 114Aが算出した推定された声質変 化の起こりやす 、箇所に対する、利用者の読み上げ音声の声質変化が起こった箇 所の割合を同時に表示する。
[0123] このようなテキスト評価装置は、例えば、図 24に示すようなコンピュータシステム上 に構築されるものである。図 24は、本実施の形態 5におけるテキスト評価装置を構築 したコンピュータシステムの例を示す図である。
[0124] このコンピュータシステムは、本体部 201と、キーボード 202と、ディスプレイ 203と、 入力装置 (マウス) 204とを含むシステムである。図 23の声質変化推定モデル 104、 および、代替表現データベース 107は、本体部 201にセットされる CD— ROM207 内,本体部 201が内蔵するハードディスク (メモリ) 206内、あるいは回線 208で接続 された他のシステムのハードディスク 205内に格納される。なお、図 23のテキスト編集 装置における表示部 108Cは、図 24のシステムにおけるディスプレイ 203に該当し、 図 23のテキスト入力部 101は、図 23のシステムにおけるディスプレイ 203、キーボー ド 202、および、入力装置 204に該当する。また、図 23の音声入力部 115は、マイク 209に該当する。スピーカ 210は、音声入力部 115が適正なレベルで音声信号を取 り込めたかの確認のための音声再生用として利用される。
[0125] 次に先に述べたように構成されたテキスト評価装置の動作を図 25に従って説明す
る。図 25は、本実施の形態 5におけるテキスト評価装置の動作を示すフローチャート である。図 25において、実施の形態 1におけるテキスト編集装置と同一の動作ステツ プについては、図 5と同じ番号を付与している。同一の動作であるステップについて は、詳しい説明を省略する。
[0126] ステップ S101での言語解析処理を経て、音声入力部 115から取り込んだ利用者 の音声信号に対して、言語解析部 102が出力した言語解析結果に含まれる読みの 音韻列とのァライメント処理を音声認識部 116が行う(S 110)。
[0127] 次に音声分析部 117は、利用者の読み上げの音声信号に対して、あらかじめ判別 する声質変化の種類を特定した音声分析手法によって、特定の声質変化が起きて いるかどうかをアクセント句単位で判定し、声質変化が発声しているアクセント句に対 して声質変化が発生した箇所のフラグを付与する(S 111)。本実施の形態にお!、て は、音声分析部 117は、「力み」の声質変化について音声分析可能な状態に設定さ れているものとする。非特許文献 1の記述によれば、「力み」の声質変化として分類さ れる「ざらざら声 (harsh ^^)」が持つ著しい特徴が、基本周波数の不規則性、具体 的には、ジッタ (周期の速い変動成分)ゃシマ (振幅の速い変動成分)にあるとされて いる。したがって、「力み」の声質変化を判定可能な具体的な手法として、音声信号 のピッチ抽出を行い、基本周波数のジッタ成分とシマ成分を抽出し、両成分が一定 以上の強度であるかどうかで、「力み」の声質変化が生じている力否かを判定する手 法が構成可能である。さらに、ここで声質変化推定モデル 104についても、「力み」の 声質変化が判定可能なように推定式および閾値が設定されて 、るものとする。
[0128] 引き続き、音声分析部 117は、ステップ S 111で、声質変化が起こったというフラグ が付与されたアクセント句をカバーする最短の範囲の形態素列力 なるテキスト中の 文字列部分を声質変化が発生したテキスト中の表現箇所として特定する(S 112)。
[0129] 次に、ステップ S 102において、テキストの言語解析結果のアクセント句単位の声質 変化の起こりやすさの推定が行なわれた後、声質変化部分判定部 105Bは、声質変 化推定部 103が出力する各アクセント句単位の声質変化の起こりやすさの推定値と 、声質変化推定部 103が用いた推定式に対応付けられた声質変化モデル推定 104 の閾値とを比較し、閾値を越えるアクセント句に対して声質変化が起こりやすいという
フラグを付与する(S103B)。
[0130] 引き続き、声質変化部分判定部 105は、ステップ S103Bで、声質変化が起こりや す 、と 、うフラグが付与されたアクセント句をカバーする最短の範囲の形態素列から なるテキスト中の文字列部分を声質変化が起こりやすいテキスト中の表現箇所として 特定する(S 104)。
[0131] 次に、総合判定部 114Aは、ステップ S112において特定した声質変化が発生した テキスト中の複数の表現箇所のうち、ステップ 104で特定された声質変化が起こりや すいテキスト中の複数の表現箇所と文字列の範囲として重なりがある部分の表現箇 所の個数をカウントする。また、総合判定部 114Aは、ステップ S112において特定し た声質変化が発生したテキスト中の表現箇所の個数に対する、前記重複箇所の個 数の割合を算出する (S 113)。
[0132] 次に、表示部 108Cは、テキストを表示し、テキスト表示の各行の下部に、テキストの 1行と同じ長さをもつ横長の矩形領域を 2つ設け、一方の矩形領域に対して、ステツ プ S104で特定されたテキスト中の声質変化が起こりやすい箇所の文字列の範囲が 占める水平方向の位置および長さと同じ矩形領域を声質変化が起こりにくい箇所を 示す矩形領域と区別可能な色に変更し、同じくもう一方の矩形領域に対して、ステツ プ S112で特定された利用者の読み上げ音声中の声質変化が発生した箇所の文字 列の範囲が占める水平方向の位置および長さと同じ矩形領域を声質変化が発生し ていない箇所を示す矩形領域と区別可能な色に変更し、ステップ 113で算出された 声質変化が起こりやすいと推定された箇所のうち、利用者の読み上げ音声で声質変 化が発生した割合を表示する(S106D)。
[0133] 図 26は、表示部 108Cがステップ S106Dにおいて、図 24のディスプレイ 203に表 示する画面内容の例を示す図である。表示エリア 401Cは、入力テキスト、ステップ S 106Dで表示部 108Cが声質変化の起こりやすい箇所の提示として、テキスト中の箇 所に対応した部分の色を変化させて表示した矩形領域部分 4013、および、同じくス テツプ S106Dで表示部 108Cが利用者の読み上げ音声で声質変化が発生した箇所 の提示として、テキスト中箇所に対応した部分の色を変化させて表示した矩形領域 部分 4014の表示を行うためのエリアである。表示エリア 406は、ステップ S106Dに
おいて表示部 108C力 ステップ 113で算出された声質変化が起こりやすいと推定さ れた箇所のうち、利用者の読み上げ音声で声質変化が発生した割合を表示するた めのエリアである。図 26の例では、「力み」の声質変化が起こりやすい箇所として「掛 力ります」と「温まりました」とが提示されており、実際に利用者の読み上げ音声の分 析力 判定された声質変化が発声した箇所として「掛かります」が提示されて 、る。声 質変化が予測された箇所が 2箇所に対して、実際に声質変化が生じた箇所で予測さ れた箇所と重なるのが 1箇所であるので、声質変化の発生割合として「1Z2」が提示 されている。
[0134] 力かる構成によれば、ステップ S110、ステップ S111、ステップ S112の一連の動作 により、利用者の読み上げ音声中の声質変化の発声箇所を判定し、さらに、ステップ S 113にお!/、て総合判定部 114Aが、ステップ S 104にお!/、てテキストの読み上げ音 声中で声質変化が発生しやすいと判定された箇所のうち、ステップ S112で実際に利 用者が読み上げた音声中で実際に声質変化が発生した箇所と重なる箇所の割合を 算出するので、本発明の実施の形態 1のテキスト編集装置が有する単一の声質変化 種類について、読み上げようとするテキストのみから、テキストの読み上げ音声中で声 質変化が発生し得る箇所を予測、あるいは、特定し、利用者が確認可能な形で提示 できるという効果に加え、利用者が実際に読み上げた音声での声質変化の発生箇所 の確認ができ、なおかつ、テキストから予測される声質変化が起こりやすい箇所に留 意した上でテキストを読み上げた場合に、実際に留意した箇所で声質変化の発生が どれだけ抑えられたのかにつ 、ての評価を、予測箇所に対する発生箇所の割合とし て提示することができるという格別の効果を有するテキスト評価装置を提供できる。
[0135] また、利用者は、本実施の形態に示したテキスト評価装置を、声質変化が起こらな いような発声を訓練するための発声訓練装置として使用することもできる。すなわち、 図 26に示した表示エリア 401Cにおいて、声質変化が発生するであろう推定箇所と、 実際に発生した発生箇所とを対比して見ることができる。このため、利用者は、推定 箇所において、声質変化が起こらないように発生訓練をすることができる。また、表示 エリア 406に表示された数値は、利用者の得点に相当する。すなわち、当該数値が 小さ 、ほど、声質変化が起こらな 、ように発声できたことを示して 、る。
[0136] (実施の形態 6)
本発明の実施の形態 6では、上述した実施の形態 1〜5とは異なる声質変化の推定 方法を備えるテキスト編集装置について説明する。
[0137] 図 27は、本実施の形態 6におけるテキスト編集装置のうち、声質変化推定方法の 処理に関連する主要な構成部分のみを示す機能ブロック図である。
[0138] 図 27において、テキスト編集装置は、テキスト入力部 1010と、言語解析部 1020と 、声質変化推定部 1030と、音韻別声質変化情報テーブル 1040と、声質変化部分 判定部 1050とを含む。なお、テキスト編集装置は、さらに、声質変化が起こっている 箇所を判定した後の処理を実行する処理部(図示せず)を含む。これらの処理部に ついては、実施の形態 1〜5に示したものと同様であり、例えば、テキスト編集装置は 、実施の形態 1の図 1に示した代替表現検索部 106、代替表現データベース 107お よび表示部 108を含んで!/、てもよ!/、。
[0139] 図 27において、テキスト入力部 1010は、処理対象のテキストを入力するための処 理を行う処理部である。言語解析部 1020は、テキスト入力部 1010で入力されたテキ ストに対して、言語解析処理を行い、読みの情報である音韻列、アクセント句区切り 情報、アクセント位置情報、品詞情報、構文情報を含む言語解析結果を出力する処 理部である。声質変化推定部 1030は、音韻別に声質変化の発生の度合いを有限 の値をもつ数値として表現した音韻別声質変化情報テーブル 1040を参照し、前記 言語解析結果のアクセント句単位ごとに、声質変化の起こりやすさの推定値を求める 処理を行う。声質変化部分判定部 1050は、声質変化推定部 1030が推定した声質 変化の推定値と、一定の閾値とに基づいて、アクセント単位ごとに声質変化の可能性 がある箇所力どうかの判定処理を行う。
[0140] 図 28は、音韻別声質変化情報テーブル 1040の一例を示す図である。音韻別声質 変化情報テーブル 1040は、モーラの子音部ごとに声質変化の度合いがどの程度あ るのかを示した表であり、例えば、子音 」における声質変化の度合いは「0. 1」であ ることが示されている。
[0141] 次に先に述べたように構成されたテキスト編集装置における声質変化の推定方法 について図 29に従って説明する。図 29は、本実施の形態 6における声質変化推定
方法の動作を示すフローチャートである。
[0142] 最初に、テキスト入力部 1010から受け取った入力テキストに対して、言語解析部 1 020が、形態素解析、構文解析、読み生成、アクセント句処理という一連の言語解析 処理を行い、読みの情報である音韻列、アクセント句区切り情報、アクセント位置情 報、品詞情報、構文情報を含む言語解析結果を出力する (S1010)。
[0143] 次に、声質変化推定部 1030は、 S 1010で出力された言語処理結果のアクセント 句単位に対して、音韻別声質変化情報テーブル 1040に格納されている音韻ごとの 声質変化の度合いを表現した数値に従って、アクセント句に含まれる音韻ごとに声質 変化の度合いの数値を求める。さらに、アクセント句内の音韻で最大の声質変化の 度合いの数値を、当該アクセント句を代表する声質変化の起こりやすさの推定値とす る(1020)。
[0144] 次に、声質変化部分判定部 1050では、声質変化推定部 1030が出力する各ァク セント句単位の声質変化の起こりやすさの推定値と、所定の値に設定された閾値とを 比較し、閾値を越えるアクセント句に対して声質変化が起こりやすいというフラグを付 与する(S1030)。引き続き、声質変化部分判定部 1050は、ステップ S1030で、声 質変化が起こりやす 、と 、うフラグが付与されたアクセント句をカバーする最短の範 囲の形態素列力 なるテキスト中の文字列部分を声質変化の可能性の高いテキスト 中の表現箇所として特定する(S1040)。
[0145] 力かる構成によれば、声質変化推定部 1030が、音韻別声質変化情報テーブル 10 40に記述された音韻ごとの声質変化の起こりやすさの度合いの数値から、アクセント 句単位の声質変化の起こりやすさの推定値を求め、声質変化部分判定部 1050が、 その推定値と所定の閾値との比較により、閾値を越える推定値をもつアクセント句を 声質変化が起こりやすい箇所として特定するので、読み上げようとするテキストのみ から、そのテキストを読み上げた音声中の声質変化が起こりやすい箇所を予測、ある いは、特定することができる具体的方法を提供できる。
[0146] (実施の形態 7)
本発明の実施の形態 7では、入力されたテキストのうち、声質変化が生じやすい表 現を声質変化が生じにくい表現に変換したり、逆に声質変化が生じにくい表現を声
質変化が生じやすい表現に変換したりした後に、変換後のテキストの合成音声を生 成するテキスト読み上げ装置について説明する。
[0147] 図 30は、本実施の形態 7におけるテキスト読み上げ装置の機能ブロック図である。
図 30において、テキスト読み上げ装置は、テキスト入力部 101と、言語解析部 102 と、声質変化推定部 103と、声質変化推定モデル 104と、声質変化部分判定部 105 と、代替表現検索部 106と、代替表現データベース 107と、代替表現ソート部 109と 、表現変換部 118と、音声合成用言語解析部 119と、音声合成部 120と、音声出力 部 121とを備えている。
[0148] 図 30において、実施の形態 1におけるテキスト編集装置と同一の機能をもつブロッ クについては、図 1、あるいは、図 11と同じ番号を付与している。同一の機能をもつブ ロックについては、説明を省略する。
[0149] 図 30において、表現変換部 118は、声質変化部分判定部 105が声質変化が起こ りやすいと判定したテキスト中の箇所を、代替表現ソート部 109が出力したソート済み の代替表現セットの中で、一番声質変化の起こりにくい代替表現で置換する。音声 合成用言語解析部 119は、表現変換部 118が出力する置換済みのテキストを言語 解析する。音声合成部 120は、音声合成用言語解析部 119の出力である言語解析 結果に含まれる発音情報、アクセント句情報、ポーズ情報に基づいて、音声信号を 合成する。音声出力部 121は、音声合成部 120で合成された音声信号を出力する。
[0150] このようなテキスト読み上げ装置は、例えば、図 31に示すようなコンピュータシステ ム上に構築されるものである。図 31は、本実施の形態 7におけるテキスト読み上げ装 置を構築したコンピュータシステムの例を示す図である。このコンピュータシステムは 、本体部 201と、キーボード 202と、ディスプレイ 203と、入力装置 (マウス) 204とを含 むシステムである。図 30の声質変化推定モデル 104、および、代替表現データべ一 ス 107は、本体部 201〖こセットされる CD— ROM207内、本体部 201が内蔵するハ ードディスク (メモリ) 206内、あるいは回線 208で接続された他のシステムのハードデ イスク 205内〖こ格納される。なお、図 30のテキスト入力部 101は、図 31のシステムに おけるディスプレイ 203、キーボード 202、および、入力装置 204に該当する。スピー 力 210は、図 30の音声出力部 121に該当する。
[0151] 次に先に述べたように構成されたテキスト読み上げ装置の動作を図 32に従って説 明する。図 32は、本実施の形態 7におけるテキスト読み上げ装置の動作を示すフロ 一チャートである。図 32において、実施の形態 1におけるテキスト編集装置と同一の 動作ステップについては、図 5、あるいは、図 14と同じ番号を付与している。同一の 動作であるステップにつ 、ては、詳し 、説明を省略する。
[0152] ステップ S101〜ステップ S107までは、図 14に示されている実施の形態 1における テキスト編集装置と同一の動作ステップである。入力テキストは図 33に示すように「1 0分ほど掛かります。」であったとする。図 33は、本実施の形態 7におけるテキスト読 み上げ装置で入力テキストが置換される動作に関わる中間データの例を表したもの である。
[0153] その次のステップ S114として、表現変換部 118は、声質変化部分判定部 105がス テツプ S104で特定した声質変化が起こりやすい箇所を、代替表現検索部 106が検 索して得た、その箇所の代替表現セットのうち、代替表現ソート部 109が出力するソ ート済みの代替表現のセットから、最も声質変化が起こりにくい代替表現を 1つ選ん で置換する(S114)。図 33に示すように、ソート済み代替表現セットは、声質変化の 起こりやすさの度合いによってソートされており、ここでは「要します」がもっとも声質変 化が起こりにくい代替表現である。次に、ステップ S 114で置換されたテキストを、音 声合成用言語解析部 119が言語解析し、読みの情報、アクセント句区切り、ァクセン ト位置、ポーズ位置、ポーズ長を含む言語解析結果を出力する(S 115)。図 33に示 すように、入力テキストの「10分ほど掛カります。」の「掛力ります」が「要します」に置 換される。最後に、音声合成部 120が、ステップ S115で出力された言語解析結果に 基づいて音声信号を合成し、音声出力部 121から音声信号を出力する (S116)。
[0154] 力かる構成によれば、声質変化推定部 103と声質変化部分判定部 105とにより、入 力テキスト中の声質変化が起こりやすい箇所を特定し、代替表現検索部 106と代替 表現ソート部 109と表現変換部 118との一連の動作により、声質変化が起こりやすい テキスト中箇所を、声質変化が起こりにくい代替表現へ自動的に置換して、入力テキ ストを読み上げることができるので、テキスト読み上げ装置内の音声合成部 120が発 声する音声の声質が音韻によっては「力み」や「かすれ」などの声質変化が起こって
しまうと ヽぅ声質バランス上の偏り(クセ)を有する場合、その偏りによる声質の不安定 さをできるだけ回避しながら読み上げが可能になるという効果を有するテキスト読み 上げ装置を提供することができる。
[0155] なお、本実施の形態では、声質変化の発生する可能性のある表現を声質変化の発 声しにくい表現に置換して音声の読み上げを行なっている力 逆に、声質変化の発 生する可能性が低 、表現を声質変化の発声しやす 、表現に置換して音声の読み上 げを行うようにしてもよい。
[0156] なお、上述の実施の形態では、声質変化の起こりやすさ推定および声質が変化す る部分の判定を推定値に基づ ヽて行って ヽたが、推定式にぉ ヽて閾値を超えやす V、モーラが予め分力つて 、る場合には、そのモーラでは常に声質変化が発生すると 半 IJ定してちよい。
[0157] 例えば、声質変化が「力み」の場合には、以下の(1)〜(4)に示すモーラで、推定 式が閾値を超えやすい。
[0158] (1)子音が ZbZ (両唇音でかつ有声破裂子音)であり、かつアクセント句の前から
3番目のモーラ
(2)子音が ZmZ (両唇音でかつ鼻音)であり、かつアクセント句の前から 3番目の モーラ
(3)子音が ZnZ (歯茎音でかつ鼻音)であり、かつアクセント句の先頭モーラ
(4)子音が ZdZ (歯茎音でかつ有声破裂子音)であり、かつアクセント句の先頭モ ーラ
また、声質変化が「かすれ」の場合には、以下の(5)〜(8)に示すモーラで、推定式 が閾値を超えやすい。
(5)子音が ZhZ (喉頭音でかつ無声摩擦音)であり、かつアクセント句の先頭のモ ーラまたはアクセント句の前から 3番目のモーラ
(6)子音が ZtZ (歯茎音でかつ無声破裂音)であり、かつアクセント句の前力 4番 目のモーラ
(7)子音が ZkZ (軟口蓋音でかつ無声破裂音)であり、かつアクセント句の前から 5番目のモーラ
(8)子音が ZsZ (歯音でかつ無声摩擦音)であり、かつアクセント句の前から 6番目 のモーラ
[0159] 以上のように、子音とアクセント句との関係で声質変化が発生し易いテキスト中の位 置を特定することができるが、英語や中国語の場合には、子音とアクセント句との関 係以外の関係を用いて声質変化が発生し易い位置を特定することが可能である。例 えば、英語の場合には、子音とストレス句の音節数またはストレス位置との関係を用 いて声質変化が発生し易いテキスト中の位置を特定することが可能である。また、中 国語の場合には、子音と、四声のピッチの上昇'下降パターンまたは呼気段落に含ま れる音節数との関係を用いて声質変化が発生し易いテキスト中の位置を特定するこ とが可能である。
[0160] また、上述の実施の形態におけるテキスト編集装置を LSI (集積回路)で実現するこ ともできる。例えば、実施の形態 1におけるテキスト編集装置を LSIで実現すると、言 語解析部 102と、声質変化推定部 103と、声質変化部分判定部 105と、代替表現検 索部 106との全てを 1つの LSIで実現することができる。または、それぞれの処理部を 1つの LSIで実現することができる。さらに、それぞれの処理部を複数の LSIで実現 することちでさる。
[0161] 声質変化推定モデル 104と、代替表現データベース 107とは、 LSIの外部の記憶 装置により実現してもよいし、 LSIの内部に備えられたメモリにより実現してもよい。 LS
Iの外部の記憶装置で当該データベースを実現する場合には、インターネット経由で データベースのデータを取得しても良 、。
[0162] ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ノレ卜ラ LSIと呼称されることちある。
[0163] また、集積回路化の手法は LSIに限られるものではなぐ専用回路または汎用プロ セサにより実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field
Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリ コンフィギユラブル ·プロセッサを利用しても良 、。
[0164] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて音声合成装置を構成する処理
部の集積化を行ってもよい。ノィォ技術の適応等が可能性としてありえる。
[0165] さらに、上述の実施の形態におけるテキスト編集装置をコンピュータで実現すること もできる。図 34は、コンピュータの構成の一例を示す図である。コンピュータ 1200は 、人力咅 1202と、メモリ 1204と、 CPU1206と、記'隐咅 1208と、出力咅 1210とを備 えている。入力部 1202は、外部からの入力データを受け付ける処理部であり、キー ボード、マウス、音声入力装置、通信 IZF部等力も構成される。メモリ 1204は、プロ グラムやデータを一時的に保持する記憶装置である。 CPU1206は、プログラムを実 行する処理部である。記憶部 1208は、プログラムやデータを記憶する装置であり、 ハードディスク等力もなる。出力部 1210は、外部にデータを出力する処理部であり、 モニタやスピーカ等力 なる。
[0166] 例えば、実施の形態 1におけるテキスト編集装置をコンピュータで実現した場合に は、言語解析部 102と、声質変化推定部 103と、声質変化部分判定部 105と、代替 表現検索部 106とは、 CPU1206上で実行されるプログラムに対応し、声質変化推 定モデル 104と、代替表現データベース 107とは、記憶部 1208に記憶される。また 、 CPU1206で計算された結果は、メモリ 1204や記憶部 1208にー且記憶される。メ モリ 1204や記憶部 1208は、声質変化部分判定部 105等の各処理部とのデータの 受け渡しに利用されてもよい。また、本実施の形態に係る音声合成装置をコンビユー タに実行させるためのプログラムは、フロッピー(登録商標)ディスク、 CD-ROM, D VD— ROM、不揮発性メモリ等に記憶されていてもよいし、インターネットを経由して コンピュータ 1200の CPU 1206に読み込まれてもよい。
[0167] 今回開示された実施の形態はすべての点で例示であって制限的なものではないと 考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲に よって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含ま れることが意図される。
産業上の利用可能性
[0168] 本発明のテキスト編集装置は、声質の観点力 テキストを評価し、修正する機能を 提供可能な構成をもつので、ワードプロセッサ装置、および、ワードプロセッサソフトゥ エアなどへの応用が有用である。他にも、人間が読み上げることを前提としたテキスト
を編集する機能をもつ装置、あるいは、ソフトウェアなどへの応用が可能である。
[0169] さらに、本発明のテキスト評価装置は、利用者がテキストの言語表現力 予測される 声質変化しやすい箇所に留意しながらテキストを読み上げることを可能にし、さらに、 利用者が実際にテキストを読み上げた音声の声質変化箇所を確認し、声質変化がど れぐらい起こっているのかを評価することを可能にする構成をもつので、スピーチの 訓練装置、語学の学習装置などへの応用が有用である。他にも、読み上げの練習を 補助するような機能をもつ装置などへの応用が可能である。
[0170] 本発明のテキスト読み上げ装置は、声質変化が起こりやすい言語表現を代替表現 に置き換えて音声として読み上げることが可能なので、内容を保持したまま声質変化 が少なぐ明瞭度を高く保った音質でテキスト読み上げが可能な構成をもつので、二 ユースなどの読み上げ装置などへの応用が有用である。他にも、テキストの内容には 直接関係せず、読み上げ音声の声質変化に起因して聞き手が受け取る影響を排除 した 、場合の読み上げ装置などへの応用が可能である。
Claims
[1] テキストに対応する言語解析情報に基づいて、読み上げた際に声質が変化する可 能性のある前記テキスト中の箇所を特定する装置であって、
テキストに対応する音韻列を含む言語解析結果の記号列である言語解析情報に 基づいて、少なくとも 1つの音韻列を含む入力記号列の所定の単位ごとに、前記テキ ストを読み上げた際の声質変化の起こりやすさを推定する声質変化推定手段と、 前記言語解析情報と前記声質変化推定手段による推定結果とに基づいて、声質 変化の起こりやすいテキスト中の箇所を特定する声質変化箇所特定手段とを備える ことを特徴とする声質変化箇所特定装置。
[2] 前記性質変化推定手段は、ユーザの音声について分析および統計的学習をする ことにより得られる声質変化の推定モデルを用いて、前記言語解析情報の前記所定 の単位ごとに声質変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所推定装置。
[3] 前記声質変化推定手段は、ユーザの複数の発話様態の各々の音声について分析 および統計的学習をすることにより得られる、声質変化の種類ごとに設けられる複数 の推定モデルを用いて、前記言語解析情報の前記所定の単位ごとに前記各発話様 態に基づく声質変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[4] 前記声質変化推定手段は、複数ユーザにおける複数の音声について分析および 統計的学習をすることによりそれぞれ得られる複数の声質変化の推定モデルを用い て、ユーザに対応した推定モデルを選択し、前記言語解析情報の前記所定の単位 ごとに声質変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[5] さらに、
言語表現の代替表現を記憶する代替表現記憶手段と、
前記声質変化の起こりやすいテキスト中の箇所の代替表現を、前記代替表現記憶 手段より検索し、提示する代替表現提示手段とを備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[6] さらに、
言語表現の代替表現を記憶する代替表現記憶手段と、
前記声質変化箇所特定手段で特定された声質変化の起こりやすいテキスト中の箇 所の代替表現を前記代替表現記憶手段より検索し、当該箇所を検索された代替表 現で置換する声質変化箇所置換手段とを備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[7] さらに、前記声質変化箇所置換手段において代替表現に置換されたテキストを読 み上げた音声を生成する音声合成手段を備える
ことを特徴とする請求項 6に記載の声質変化箇所特定装置。
[8] さらに、前記声質変化箇所特定手段で特定された声質変化の起こりやすいテキスト 中の箇所をユーザに提示する声質変化箇所提示手段を備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[9] さらに、テキストを言語解析し、音韻列を含む言語解析結果の記号列である言語解 析情報を出力する言語解析手段を備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[10] 前記声質変化推定手段は、前記言語解析情報のうち、少なくとも、音韻の種類、了 クセント句のモーラ数およびアクセント位置を入力として、前記所定の単位ごとに声質 変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[11] さらに、ユーザのテキストの読み上げ速度を示す話速情報に基づいて、前記テキス トの所定位置における前記テキストの先頭力 の読み上げの経過時間を計測する経 過時間算出手段を備え、
前記声質変化推定手段は、さらに、前記経過時間を考慮することにより、前記所定 の単位ごとに声質変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[12] さらに、前記テキストの全部または一部に対する、前記声質変化箇所特定手段に ぉ 、て特定された声質変化の起こりやす!、前記テキストの箇所の割合を判断する声 質変化割合判断手段を備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[13] さらに、
前記テキストをユーザが読み上げた音声を認識する音声認識手段と、 前記音声認識手段の音声認識結果に基づ!、て、利用者の音声の各音韻単位を含 む所定の単位ごとに、声質変化の度合いを分析する音声分析手段と、
前記声質変化箇所特定手段で特定された声質変化の起こりやすい前記テキスト中 の箇所と前記音声分析手段での分析結果とに基づいて、声質変化の起こりやすい 前記テキスト中の箇所とユーザの音声中で声質変化が起こった箇所との比較を行う テキスト評価手段とを備える
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[14] 前記声質変化推定手段は、音韻ごとに声質変化の起こりやすさの程度を、数値に よって表した音韻別声質変化テーブルを参照して、前記言語解析情報の前記所定 の単位ごとに、当該所定の単位に含まれる音韻ごとに割り当てられた数値に基づ ヽ て、声質変化の起こりやすさを推定する
ことを特徴とする請求項 1に記載の声質変化箇所特定装置。
[15] テキストに対応する言語解析情報に基づいて、読み上げた際に声質が変化する可 能性のある前記テキスト中の箇所を特定する装置であって、
前記テキスト中で、(1)子音が ZbZ (両唇音でかつ有声破裂子音)であり、かつァ クセント句の前から 3番目のモーラ、(2)子音が ZmZ (両唇音でかつ鼻音)であり、 かつアクセント句の前から 3番目のモーラ、(3)子音が ZnZ (歯茎音でかつ鼻音)で あり、かつアクセント句の先頭モーラ、(4)子音が ZdZ (歯茎音でかつ有声破裂子 音)であり、かつアクセント句の先頭モーラを、声質変化が起こりやすい箇所であると 特定し、(5)子音が ZhZ (喉頭音でかつ無声摩擦音)であり、かつアクセント句の先 頭のモーラまたはアクセント句の前から 3番目のモーラ、(6)子音が ZtZ (歯茎音で かつ無声破裂音)であり、かつアクセント句の前から 4番目のモーラ、(7)子音が Zk / (軟口蓋音でかつ無声破裂音)であり、かつアクセント句の前から 5番目のモーラ、 (8)子音が ZsZ (歯音でかつ無声摩擦音)であり、かつアクセント句の前力 6番目 のモーラを、声質変化が起こりやすい箇所であると特定する声質変化箇所特定手段
を備える
ことを特徴とする声質変化箇所特定装置。
[16] テキストに対応する言語解析情報に基づいて、読み上げた際に声質が変化する可 能性のある前記テキスト中の箇所を特定する方法であって、
テキストに対応する音韻列を含む言語解析結果の記号列である言語解析情報に 基づいて、少なくとも 1つの音韻列を含む入力記号列の所定の単位ごとに、前記テキ ストを読み上げた際の声質変化の起こりやすさを推定するステップと、
前記言語解析情報と前記声質変化の起こりやすさの推定結果とに基づいて、声質 変化の起こりやすいテキスト中の箇所を特定するステップとを含む
ことを特徴とする声質変化箇所特定方法。
[17] テキストに対応する言語解析情報に基づいて、読み上げた際に声質が変化する可 能性のある前記テキスト中の箇所を特定する方法のプログラムであって、
テキストに対応する音韻列を含む言語解析結果の記号列である言語解析情報に 基づいて、少なくとも 1つの音韻列を含む入力記号列の所定の単位ごとに、前記テキ ストを読み上げた際の声質変化の起こりやすさを推定するステップと、
前記言語解析情報と前記声質変化の起こりやすさの推定結果とに基づいて、声質 変化の起こりやすいテキスト中の箇所を特定するステップとをコンピュータに実行させ る
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007525910A JP4114888B2 (ja) | 2005-07-20 | 2006-06-05 | 声質変化箇所特定装置 |
CN2006800263392A CN101223571B (zh) | 2005-07-20 | 2006-06-05 | 音质变化部位确定装置及音质变化部位确定方法 |
US11/996,234 US7809572B2 (en) | 2005-07-20 | 2006-06-05 | Voice quality change portion locating apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-209449 | 2005-07-20 | ||
JP2005209449 | 2005-07-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007010680A1 true WO2007010680A1 (ja) | 2007-01-25 |
Family
ID=37668567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/311205 WO2007010680A1 (ja) | 2005-07-20 | 2006-06-05 | 声質変化箇所特定装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7809572B2 (ja) |
JP (1) | JP4114888B2 (ja) |
CN (1) | CN101223571B (ja) |
WO (1) | WO2007010680A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008185911A (ja) * | 2007-01-31 | 2008-08-14 | Arcadia:Kk | 音声合成装置 |
WO2008102594A1 (ja) * | 2007-02-19 | 2008-08-28 | Panasonic Corporation | 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム |
JP2009003162A (ja) * | 2007-06-21 | 2009-01-08 | Panasonic Corp | 力み音声検出装置 |
JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
EP2779159A1 (en) | 2013-03-15 | 2014-09-17 | Yamaha Corporation | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon |
JP2015079064A (ja) * | 2013-10-15 | 2015-04-23 | ヤマハ株式会社 | 合成情報管理装置 |
Families Citing this family (118)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US20080120093A1 (en) * | 2006-11-16 | 2008-05-22 | Seiko Epson Corporation | System for creating dictionary for speech synthesis, semiconductor integrated circuit device, and method for manufacturing semiconductor integrated circuit device |
JP2009042509A (ja) * | 2007-08-09 | 2009-02-26 | Toshiba Corp | アクセント情報抽出装置及びその方法 |
JP4455633B2 (ja) * | 2007-09-10 | 2010-04-21 | 株式会社東芝 | 基本周波数パターン生成装置、基本周波数パターン生成方法及びプログラム |
US8145490B2 (en) * | 2007-10-24 | 2012-03-27 | Nuance Communications, Inc. | Predicting a resultant attribute of a text file before it has been converted into an audio file |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10496753B2 (en) * | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US8364488B2 (en) * | 2009-01-15 | 2013-01-29 | K-Nfb Reading Technology, Inc. | Voice models for document narration |
WO2011001694A1 (ja) * | 2009-07-03 | 2011-01-06 | パナソニック株式会社 | 補聴器の調整装置、方法およびプログラム |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US8392186B2 (en) | 2010-05-18 | 2013-03-05 | K-Nfb Reading Technology, Inc. | Audio synchronization for document narration with user-selected playback |
US20120016674A1 (en) * | 2010-07-16 | 2012-01-19 | International Business Machines Corporation | Modification of Speech Quality in Conversations Over Voice Channels |
US8630860B1 (en) * | 2011-03-03 | 2014-01-14 | Nuance Communications, Inc. | Speaker and call characteristic sensitive open voice search |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9082414B2 (en) * | 2011-09-27 | 2015-07-14 | General Motors Llc | Correcting unintelligible synthesized speech |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9251809B2 (en) * | 2012-05-21 | 2016-02-02 | Bruce Reiner | Method and apparatus of speech analysis for real-time measurement of stress, fatigue, and uncertainty |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9642087B2 (en) * | 2014-12-18 | 2017-05-02 | Mediatek Inc. | Methods for reducing the power consumption in voice communications and communications apparatus utilizing the same |
JP6003972B2 (ja) * | 2014-12-22 | 2016-10-05 | カシオ計算機株式会社 | 音声検索装置、音声検索方法及びプログラム |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US9653096B1 (en) * | 2016-04-19 | 2017-05-16 | FirstAgenda A/S | Computer-implemented method performed by an electronic data processing apparatus to implement a quality suggestion engine and data processing apparatus for the same |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
CN106384599B (zh) * | 2016-08-31 | 2018-09-04 | 广州酷狗计算机科技有限公司 | 一种破音识别的方法和装置 |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10217453B2 (en) * | 2016-10-14 | 2019-02-26 | Soundhound, Inc. | Virtual assistant configured by selection of wake-up phrase |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
CN110767209B (zh) * | 2019-10-31 | 2022-03-15 | 标贝(北京)科技有限公司 | 语音合成方法、装置、***和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05224690A (ja) * | 1991-09-30 | 1993-09-03 | Sanyo Electric Co Ltd | 音声合成方法 |
JP2003084800A (ja) * | 2001-07-13 | 2003-03-19 | Sony France Sa | 音声による感情合成方法及び装置 |
JP2003248681A (ja) * | 2001-11-20 | 2003-09-05 | Just Syst Corp | 情報処理装置、情報処理方法、及び情報処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0772900A (ja) | 1993-09-02 | 1995-03-17 | Nippon Hoso Kyokai <Nhk> | 音声合成の感情付与方法 |
JP3384646B2 (ja) * | 1995-05-31 | 2003-03-10 | 三洋電機株式会社 | 音声合成装置及び読み上げ時間演算装置 |
US6226614B1 (en) * | 1997-05-21 | 2001-05-01 | Nippon Telegraph And Telephone Corporation | Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon |
JP3287281B2 (ja) * | 1997-07-31 | 2002-06-04 | トヨタ自動車株式会社 | メッセージ処理装置 |
JP3587976B2 (ja) | 1998-04-09 | 2004-11-10 | 日本電信電話株式会社 | 情報出力装置および方法と情報出力プログラムを記録した記録媒体 |
AU772874B2 (en) * | 1998-11-13 | 2004-05-13 | Scansoft, Inc. | Speech synthesis using concatenation of speech waveforms |
JP3706758B2 (ja) | 1998-12-02 | 2005-10-19 | 松下電器産業株式会社 | 自然言語処理方法,自然言語処理用記録媒体および音声合成装置 |
JP2000250907A (ja) | 1999-02-26 | 2000-09-14 | Fuji Xerox Co Ltd | 文書処理装置および記録媒体 |
EP1256932B1 (en) | 2001-05-11 | 2006-05-10 | Sony France S.A. | Method and apparatus for synthesising an emotion conveyed on a sound |
CN100524457C (zh) * | 2004-05-31 | 2009-08-05 | 国际商业机器公司 | 文本至语音转换以及调整语料库的装置和方法 |
-
2006
- 2006-06-05 JP JP2007525910A patent/JP4114888B2/ja not_active Expired - Fee Related
- 2006-06-05 WO PCT/JP2006/311205 patent/WO2007010680A1/ja active Application Filing
- 2006-06-05 CN CN2006800263392A patent/CN101223571B/zh not_active Expired - Fee Related
- 2006-06-05 US US11/996,234 patent/US7809572B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05224690A (ja) * | 1991-09-30 | 1993-09-03 | Sanyo Electric Co Ltd | 音声合成方法 |
JP2003084800A (ja) * | 2001-07-13 | 2003-03-19 | Sony France Sa | 音声による感情合成方法及び装置 |
JP2003248681A (ja) * | 2001-11-20 | 2003-09-05 | Just Syst Corp | 情報処理装置、情報処理方法、及び情報処理プログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008185911A (ja) * | 2007-01-31 | 2008-08-14 | Arcadia:Kk | 音声合成装置 |
WO2008102594A1 (ja) * | 2007-02-19 | 2008-08-28 | Panasonic Corporation | 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム |
US8898062B2 (en) | 2007-02-19 | 2014-11-25 | Panasonic Intellectual Property Corporation Of America | Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program |
JP2009003162A (ja) * | 2007-06-21 | 2009-01-08 | Panasonic Corp | 力み音声検出装置 |
JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
EP2779159A1 (en) | 2013-03-15 | 2014-09-17 | Yamaha Corporation | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon |
US9355634B2 (en) | 2013-03-15 | 2016-05-31 | Yamaha Corporation | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon |
JP2015079064A (ja) * | 2013-10-15 | 2015-04-23 | ヤマハ株式会社 | 合成情報管理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20090259475A1 (en) | 2009-10-15 |
JP4114888B2 (ja) | 2008-07-09 |
JPWO2007010680A1 (ja) | 2009-01-29 |
US7809572B2 (en) | 2010-10-05 |
CN101223571A (zh) | 2008-07-16 |
CN101223571B (zh) | 2011-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4114888B2 (ja) | 声質変化箇所特定装置 | |
US9424833B2 (en) | Method and apparatus for providing speech output for speech-enabled applications | |
US8825486B2 (en) | Method and apparatus for generating synthetic speech with contrastive stress | |
JP4085130B2 (ja) | 感情認識装置 | |
JP4559950B2 (ja) | 韻律制御規則生成方法、音声合成方法、韻律制御規則生成装置、音声合成装置、韻律制御規則生成プログラム及び音声合成プログラム | |
US7010489B1 (en) | Method for guiding text-to-speech output timing using speech recognition markers | |
US20050165602A1 (en) | System and method for accented modification of a language model | |
JP2007122004A (ja) | 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム | |
JPWO2006123539A1 (ja) | 音声合成装置 | |
US8914291B2 (en) | Method and apparatus for generating synthetic speech with contrastive stress | |
JP4038211B2 (ja) | 音声合成装置,音声合成方法および音声合成システム | |
Mertens | Polytonia: a system for the automatic transcription of tonal aspects in speech corpora | |
JPH08248971A (ja) | テキスト朗読読み上げ装置 | |
JP2006293026A (ja) | 音声合成装置,音声合成方法およびコンピュータプログラム | |
JP2007219286A (ja) | 音声のスタイル検出装置、その方法およびそのプログラム | |
JP6436806B2 (ja) | 音声合成用データ作成方法、及び音声合成用データ作成装置 | |
JP3846300B2 (ja) | 録音原稿作成装置および方法 | |
Gibbon et al. | Duration and speed of speech events: A selection of methods | |
JP4584511B2 (ja) | 規則音声合成装置 | |
JP2006227564A (ja) | 音響評定装置、およびプログラム | |
JP5196114B2 (ja) | 音声認識装置およびプログラム | |
JP2000075894A (ja) | 音声認識方法及び装置、音声対話システム、記録媒体 | |
JP2004145015A (ja) | テキスト音声合成システム及び方法 | |
JP5975033B2 (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
JP3378547B2 (ja) | 音声認識方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200680026339.2 Country of ref document: CN |
|
DPE2 | Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101) | ||
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 2007525910 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 11996234 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 06756966 Country of ref document: EP Kind code of ref document: A1 |