WO2020098107A1 - 基于检测模型的情绪分析方法、装置及终端设备 - Google Patents
基于检测模型的情绪分析方法、装置及终端设备 Download PDFInfo
- Publication number
- WO2020098107A1 WO2020098107A1 PCT/CN2018/124629 CN2018124629W WO2020098107A1 WO 2020098107 A1 WO2020098107 A1 WO 2020098107A1 CN 2018124629 W CN2018124629 W CN 2018124629W WO 2020098107 A1 WO2020098107 A1 WO 2020098107A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- voice
- emotion
- speech
- parameters
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 116
- 238000004458 analytical method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000002996 emotional effect Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 abstract description 18
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Definitions
- FIG. 2 is an implementation flowchart of a detection model-based sentiment analysis method provided in Embodiment 2 of the present application;
- the above-mentioned sound intensity value, loudness value and pitch value can be obtained by analyzing the pre-stored voice signal through the open-source voice analysis component, and because the pre-stored voice signal is not limited to a signal at a certain time, that is, within the duration of the pre-stored voice signal .
- the sound intensity value, the loudness value and the pitch value may change at different times, so the average value of all sound intensity values, the average value of all loudness values and the average value of all pitch values collected within the duration of the pre-stored speech signal
- the value is used as the final sound intensity value, loudness value and pitch value.
- this does not constitute a limitation on the embodiments of the present application. According to different actual application scenarios, there are other ways to obtain the above sound intensity value, loudness value, and pitch value.
- the calculation formula of the signal period is as follows:
- E n is the signal energy value at time n.
- multiple sampling points can be set within the split duration of the sub-speech signal, and the average value of the signal energy values obtained from the multiple sampling points can be determined as the final signal energy value corresponding to the sub-speech signal.
- x (n + m) is the sub-speech signal at time n + m, and the value range of ⁇ is 0 ⁇ ⁇ 60.
- Measure ( ⁇ ) compares the values to determine the Measure ( ⁇ ) with the largest value, and uses the value of ⁇ in the Measure ( ⁇ ) with the largest value as the signal period.
- the sound intensity value, loudness value, pitch value, signal energy value and signal period of the weighted sub-voice signal are combined into a voice parameter. Since a pre-stored voice signal corresponds to multiple sub-voice signals, after the above calculation One pre-stored speech signal corresponds to multiple speech parameters. In the subsequent training process of the initial model, the training accuracy of the initial model is improved, and the amount of training calculation is also increased.
- the embodiment of the present application improves the training accuracy of training the initial model by splitting the pre-stored sound signal in the time dimension and generating speech parameters corresponding to each sub-speech signal.
- the accuracy of the emotional model after training is further improved.
- FIG. 3 is an implementation flowchart of a sentiment analysis method based on a detection model provided by an embodiment of the present application.
- this embodiment includes multiple initial models, and the pre-stored voice signals also correspond to attribute characteristics, and refine S102 to obtain S301-S302. Details are as follows:
- Pre-stored voice signals may correspond to attribute characteristics, which are related to an attribute of the pre-stored voice signal.
- attribute characteristics may be related to the age of the speaker of the pre-stored voice signal, and divide the age between 0 and 10
- the attribute feature divides the age between 11 and 20 years into another attribute feature.
- the attribute feature can be more content.
- the pre-stored voice signals corresponding to different attribute features are separately processed, and the voice parameters of the pre-stored voice signals corresponding to the same attribute feature are divided into separate feature parameter sets based on the voices in the feature parameter set The parameter constructs the parameter vector.
- a mapping relationship between the attribute feature corresponding to the feature parameter set and one of the initial models is established, and through a plurality of the parameter vectors and a corresponding plurality of the emotions in the feature parameter set Level trains the initial model to obtain the emotion model.
- FIG. 4 is a flowchart of an implementation of a sentiment analysis method based on a detection model provided by an embodiment of the present application. Compared with the embodiment corresponding to FIG. 3, this embodiment expands the process before S301 to obtain S401-S403 based on the attribute characteristics including male and female. The details are as follows:
- the attribute features include male and female, and due to the high vibration frequency of the female vocal cords, there is a difference in the vocalization frequency of male and female.
- the reciprocal of the signal period is determined as the signal frequency of the pre-stored voice signal, and the attribute characteristic corresponding to the pre-stored voice signal is determined to be male or female according to the signal frequency.
- the analyzing unit 51 is configured to acquire a plurality of pre-stored voice signals, and analyze the pre-stored voice signals to obtain voice parameters.
- the voice parameters include a sound intensity value, a loudness value, a pitch value, and a signal period.
- the pre-stored voice signal corresponds to a preset emotion level;
- the training unit 52 is configured to construct a parameter vector based on the speech parameters, and train the initial model through a plurality of the parameter vectors and a corresponding plurality of the emotion levels to obtain an emotion model;
- the input unit 53 is configured to input the speech parameters of the speech signal to be tested into the emotion model, and determine the output result of the emotion model as the emotion level corresponding to the speech signal to be tested.
- a splitting unit configured to split the pre-stored voice signal into multiple sub-voice signals in a time dimension, and perform a product operation on each of the sub-voice signals and a weighting coefficient, wherein the weighting coefficient is determined by a preset Weighted formula generation;
- the combining unit is configured to combine the weighted sound intensity value, the loudness value, the pitch value, the signal energy value, and the signal period of the sub-voice signal into the voice parameter.
- a establishing unit configured to establish a mapping relationship between the attribute feature corresponding to the feature parameter set and one of the initial models, and pass a plurality of the parameter vectors in the feature parameter set and a corresponding plurality of the The emotional model trains the initial model to obtain the emotional model.
- the input unit 53 includes:
- the determining unit is configured to determine the emotion model corresponding to the attribute feature according to the mapping relationship, and input the voice parameters of the voice signal to be tested into the emotion model.
- a frequency determining unit configured to acquire a preset frequency threshold, and determine the signal frequency of the pre-stored voice signal based on the signal period;
- a first setting unit configured to set the attribute characteristic of the pre-stored voice signal corresponding to the signal frequency to female if the signal frequency is higher than the frequency threshold;
- the second setting unit is configured to set the attribute characteristic of the pre-stored voice signal corresponding to the signal frequency to male if the signal frequency is not higher than the frequency threshold.
- the terminal device may include, but is not limited to, the processor 60 and the memory 61. Those skilled in the art may understand that FIG. 6 is only an example of the terminal device 6 and does not constitute a limitation on the terminal device 6, and may include more or less components than the illustration, or a combination of certain components or different components.
- the terminal device may further include an input and output device, a network access device, a bus, and the like.
- the so-called processor 60 may be a central processing unit (Central Processing Unit, CPU), or other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
- the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
- the memory 61 may be an internal storage unit of the terminal device 6, such as a hard disk or a memory of the terminal device 6.
- the memory 61 may also be an external storage device of the terminal device 6, for example, a plug-in hard disk equipped on the terminal device 6, a smart memory card (Smart, Media, Card, SMC), and a secure digital (SD) Cards, flash cards, etc.
- the memory 61 may also include both an internal storage unit of the terminal device 6 and an external storage device.
- the memory 61 is used to store the computer-readable instructions and other programs and data required by the terminal device.
- the memory 61 can also be used to temporarily store data that has been or will be output.
- the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it may be stored in a computer-readable storage medium.
- the technical solution of the present application essentially or part of the contribution to the existing technology or all or part of the technical solution can be embodied in the form of a software product, the computer software product is stored in a storage medium , Including several instructions to enable a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in the embodiments of the present application.
- the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请适用于数据处理技术领域,提供了基于检测模型的情绪分析方法、装置及终端设备,包括:获取多个预存语音信号,对预存语音信号进行分析得到语音参数,语音参数包括声强值、响度值、音高值以及信号周期,其中,每个预存语音信号对应一个预设的情绪等级;基于语音参数构建参数向量,通过多个参数向量以及对应的多个情绪等级对初始模型进行训练得到情绪模型;将待测语音信号的语音参数输入情绪模型,并将情绪模型的输出结果确定为待测语音信号对应的情绪等级。本申请基于预存语音信号的量化值及情绪等级训练模型,从而在客观层面上实现对情绪的分析,提升了情绪分析的客观性和准确性。
Description
本申请要求于2018年11月12日提交中国专利局、申请号为201811340781.3、名称为“基于检测模型的情绪分析方法、装置及终端设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请属于数据处理技术领域,尤其涉及一种基于检测模型的情绪分析方法、装置及终端设备。
情绪分析是现今的研究热点,适用于面审、咨询以及推销等场景,一种情绪分析技术是对被访谈者的发音进行分析,得到被访谈者当前的情绪状况,便于访谈者根据情绪状况调整话术及谈话方式。
在现有技术中,通常是访谈者根据被访谈者当前时刻的发音进行人为判断,即根据声音特征来推测被访谈者的情绪状况。由于人为判断带有较大的主观性,容易受到访谈者本身的影响,导致得到的情绪状况并不是客观结果,情绪分析的准确性低。
有鉴于此,本申请实施例提供了一种基于检测模型的情绪分析方法、装置及终端设备,以解决现有技术中情绪分析依赖于主观判断,准确性低的问题。
本申请实施例的第一方面提供了一种基于检测模型的情绪分析方法,包括:
获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;
基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;
将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
本申请实施例的第二方面提供了一种基于检测模型的情绪分析装置,可以包括用于实现上述基于检测模型的情绪分析方法的步骤的单元。
本申请实施例的第三方面提供了一种终端设备,包括存储器以及处理器,所述存储器中 存储有可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述基于检测模型的情绪分析方法的步骤。
本申请实施例的第四方面提供了一种计算机非易失性可读存储介质,所述计算机非易失性可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述基于检测模型的情绪分析方法的步骤。
本申请实施例通过获取多个对应有情绪等级的预存语音信号,并分析得到预存语音信号的语音参数,然后基于语音参数及对应的情绪等级对初始模型进行训练得到情绪模型,最后将作为分析对象的待测语音信号的语音参数输入情绪模型,将情绪模型的输出结果确定为待测语音信号对应的情绪等级,本申请实施例将预设的情绪等级和提取出的语音参数作为输入参数,完成对情绪模型的训练,提升了情绪分析的客观性和准确性。
图1是本申请实施例一中提供的基于检测模型的情绪分析方法的实现流程图;
图2是本申请实施例二中提供的基于检测模型的情绪分析方法的实现流程图;
图3是本申请实施例三中提供的基于检测模型的情绪分析方法的实现流程图;
图4是本申请实施例四中提供的基于检测模型的情绪分析方法的实现流程图;
图5是本申请实施例五中提供的基于检测模型的情绪分析装置的结构框图;
图6是本申请实施例六中提供的终端设备的示意图;
图7是本申请实施例七中提供的初始模型中的一个模型单元的架构图。
为了对本申请的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本申请的具体实施方式。
请参阅图1,图1是本申请实施例提供的一种基于检测模型的情绪分析方法的实现流程图。如图1所示,该情绪分析方法包括以下步骤:
S101:获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级。
在本申请实施例中,为了在客观层面上对语音信号携带的情绪进行分析,首先获取多个预存语音信号,将多个预存语音信号作为情绪分析的数据基础,其中,预存语音信号优选为连续的语音信号,预存语音信号可从开源的语音库中预先获取并存储在本地,并且每个预存 语音信号都对应一个预设的情绪等级。情绪等级可预先由人为确定,比如由专门的情绪分析师对每个预存语音信号进行分析,确定情绪等级。值得一提的是,情绪等级的具体确定规则可根据实际应用场景进行制定,本申请实施例并不做限定,比如一种方式是为预存语音信号的情绪等级赋予1至10之间的整数,数值越大则代表情绪越激烈。另外,为了方便进行后续训练,在获取到多个预存语音信号后,对多个预存语音信号进行截取,用于截取的截取时长可以预先统一设置,比如设置为2分钟,则对于时长超过2分钟的预存语音信号,从预存语音信号的起始位置开始,截取到时长为2分钟为止;对于时长不超过2分钟的预存语音信号,则不进行截取。按照预设的截取时长进行截取后可能会导致多个预存语音信号的时长不一致,故还可应用另一种截取方式,即先获取多个预存语音信号的时长,并将其中最短的时长作为截取时长进行截取,应用该截取方式进行截取后,所有预存语音信号的时长都为一致。
对于截取后的每个预存语音信号,对其进行分析得到语音参数,语音参数包括声强值、响度值、音高值以及信号周期。具体地,声强为单位时间内通过垂直于声波传播方向的单位面积的能量,单位为瓦/平米,而声强值是通过将语音信号的声强与基准声强进行相比后再取常用对数,最后乘以10得到的数值,计算公式为L=10lg(I/I0),该公式中L为声强值,单位为分贝(db),I为语音信号的声强,I0为基准声强,数值为10-12瓦/平米,lg()为底数为10的常用对数。响度指示语音信号的声音强弱,响度与语音信号的声强和频率相关,在语音信号的频率一定时,随着语音信号的声强越大,响度也越大,而响度值为响度的对数值,单位为方(PHON),频率为1000赫兹,且声强值为n分贝的语音信号,其响度值为n方,其中n为大于零的整数。音高值指示语音信息的声音频率高低,单位为美尔(Mel),响度值为40方,频率为1000赫兹的语音信号的音高值为1000美尔。信号周期是发出语音信号的发音人的声带经历过开启和闭合一次的时长。
对于上述的声强值、响度值和音高值,可通过开源的语音分析组件对预存语音信号进行分析得到,并且由于预存语音信号不是仅限于某一个时刻的信号,即在预存语音信号的时长内,声强值、响度值和音高值可能在不同的时刻发生变化,故将预存语音信号的时长内统计到的所有声强值的平均值、所有响度值的平均值和所有音高值的平均值作为最终的声强值、响度值和音高值。当然这并不构成对本申请实施例的限定,根据实际应用场景的不同,上述的声强值、响度值和音高值还存在其他的获取方式。另外,信号周期的计算公式如下:
在上述计算公式中,Measure(m)为衡量函数,x(n)为n时刻的预存语音信号,N为预存语音信号的时长,并且m>0,其中,N可取预存语音信号中数值最大的时刻,比如预存语音 信号的时长为3分钟,n的数值以秒为单位确定,则N为3*60=180。在通过上述计算公式计算信号周期时,对根据不同的m得到的Measure(m)进行数值比较,确定出其中数值最大的Measure(m),并将数值最大的Measure(m)中m的数值作为信号周期。
S102:基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型。
为了量化语音参数与情绪等级之间的关系,在得到语音参数之后,基于语音参数构建参数向量,该参数向量为多维向量,其中,声强值、响度值、音高值以及信号周期分别是参数向量中的一个维度。由于参数向量是基于某一个预存语音信号得到的,故构建完成的参数向量与该预存语音信号的情绪等级存在对应关系,故依次将多个参数向量以及对应的多个情绪等级输入初始模型进行训练,并将训练完成的初始模型确定为情绪模型。
为了便于说明,假设第t个参数向量x
t为(Value
sound-t,Value
volume-t,Value
loudness-t,Period
signal-t),该参数向量对应的情绪等级为grade
t,其中,t为大于零的整数。初始模型包括多个模型单元,图7是初始模型中的第t个模型单元的架构图,该模型单元内包括四个层级,分别为向量层级、第一层级、第二层级和第三层级,图7中的圆圈表示一种操作,若圆圈中为加号,则代表向量的求和操作;若圆圈中为乘号,则表示向量的乘法操作。对于每一个模型单元,其都要维护一个单元状态,该单元状态的格式为向量,由于图7是初始模型中的第t个模型单元,则假设该模型单元的单元状态为State
t。另外,假设该模型单元的输出参数为output
t,则根据模型单元中的各个层级分别描述模型单元中的计算过程如下:
(1)对于模型单元中的向量层级,其输入参数包括output
t-1(即上一个模型单元的输出参数)和x
t,该向量层级用于创建符合本模型单元的维护向量,计算公式为State
t-support=tanh(W
support·[output
t-1,x
t]+b
support),其中,tanh表示双曲正切函数;
(2)对于模型单元中的第一层级,其作用是设置门限,以确定单元状态State
t中需要更新的参数,具体计算公式为First
t=σ(W
First·[output
t-1,x
t]+b
First),输出的First
t为0到1之间的数值,若First
t为1,则表示完全保留参数,若First
t为0,则表示完全舍弃参数,其中,σ表示神经网络的SIGMOID函数。在经历过向量层级和第一层级的计算后,将First
t和State
t-support进行乘积运算,以便后续更新本模型单元的单元状态;
(3)对于模型单元中的第二层级,其作用是确定从上一个模型单元的单元状态State
t-1中丢弃的信息,具体计算公式为Second
t=σ(W
Second·[output
t-1,x
t]+b
Second),同样地,输出的Second
t为0到1之间的数值,1表示完全保留参数,0表示完全舍弃参数。由于第二层级是确定从单元状态State
t-1中丢弃的信息,故在得到Second
t后,将State
t-1和Second
t进行乘积运算,即体现在图7中的自循环部分。在向量层级、第一层级以及第二层级上计算完成后, 即可对本模型单元的单元状态进行更新,计算公式为State
t=Second
t·State
t-1+First
t·State
t-support。此外,由图7所示,计算出的单元状态还用于维护模型单元的第一层级、第二层级以及第三层级,便于进行后续的模型单元的计算;
(4)对于模型单元中的第三层级,其作用是计算本模型单元的输出参数,具体计算公式包括Third
t=σ(W
Third·[output
t-1,x
t]+b
Third)和output
t=Third
t·tanh(State
t)。
在将输入参数x
t输入初始模型中的第t个模型单元后,可经过计算得到输出参数output
t,由于已知该输入参数x
t对应的情绪等级grade
t,故可将输出参数output
t与情绪等级grade
t之间的差值作为误差值,并基于计算出的误差值,采用反向传播算法(Backpropagation algorithm)调整模型单元的各个层级中的参数,包括W
First、b
First、W
Second、b
Second、W
Third和b
Third,从而使得模型单元的输出参数尽量接近于情绪等级。值得说明的是,上述的W
First、W
Second和W
Third分别表示第一层级、第二层级和第三层级的层级权重,上述的b
First、b
Second和b
Third表示均衡变量,在初始化时,可对多个层级权重的数值和多个均衡变量的数值进行随机设置,并在得到误差值后,基于反向传播算法对层级权重和均衡变量的数值进行调整。在将所有的参数向量及情绪等级输入初始模型,并完成参数调整后,得到训练完成的情绪模型。
S103:将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
完成对情绪模型的训练后,即可开始进行情绪分析。具体地,获取待测语音信号,并对待测语音信号分析得到语音参数,其中,对待测语音信号进行分析的方式与对预存语音信号进行分析的方式相同。将对待测语音信号进行分析得到的语音参数同样以向量形式输入情绪模型,并将情绪模型的输出结果(输出参数)确定为待测语音信号对应的情绪等级。后续若需要向外界输出情绪等级,则可以通过文字、图形或语音等形式进行输出。
通过图1所示实施例可知,本申请实施例通过拆解预存语音信号中的特征,并根据特征及情绪等级训练情绪模型,提升了情绪分析的客观性和准确性。
请参阅图2,图2是本申请实施例提供的一种基于检测模型的情绪分析方法的实现流程图。相对于图1对应的实施例,本实施例在语音参数还包括信号能量值的基础上,对S101进行细化后得到S201~S202,详述如下:
S201:在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成。
在预存语音信号为连续的语音信号的情况下,为了提升对初始模型进行训练的精度,在本申请实施例中,在时间维度上将预存语音信号拆分为多个子语音信号。具体地,由于语音信号在较短的时长内具有平稳性,故可预先确定拆分时长,并从预存语音信号的起始位置 开始,每隔一个拆分时长进行一次截取,将截取出的语音信号作为子语音信号,比如预设的拆分时长为30毫秒,预存语音信号的时长为120毫秒,则可截取出4个子语音信号。
可选地,获取预设的重叠时长,在已截取一个子语音信号后,向后移动一个拆分时长,然后向前移动一个重叠时长,按照拆分时长的宽度截取下一个语音信号。在本申请实施例中,由于预存语音信号是连续信号,故为了防止丢失预存语音信号中的动态信息,预先设置重叠时长,并按照拆分时长和重叠时长进行对预存语音信号的截取,其中,重叠时长小于拆分时长。在截取过程中,后一个子语音信号与前一个子语音信号产生重叠,且重叠区域的宽度为重叠时长。举例来说,拆分时长为30毫秒,重叠时长为10毫秒,预存语音信号的时长为120毫秒,则第一个子语音信号的宽度为预存语音信号的第0秒至第30毫秒,第二个子语音信号的宽度为预存语音信号的第20毫秒至第50毫秒,第三个子语音信号的宽度为预存语音信号的第40毫秒至第70毫秒,以此类推,其中,宽度是指时间维度上的数值。
完成对预存语音信号的截取后,为了提升每一个子语音信号的周期性,将得到的每一个子语音信号与加权系数进行乘积运算,以对每一个子语音信号的左右两端进行弱化处理。加权系数由预设的加权公式生成,加权公式如下:
进行乘积运算的公式为:x
new(n)=x(n)·ω(n),其中,本步骤中的x(n)为n时刻的子语音信号,x
new(n)是加权后的n时刻的子语音信号。
可选地,获取预设的重叠时长,在已截取一个子语音信号后,向后移动一个拆分时长,然后向前移动一个重叠时长,按照拆分时长的宽度截取下一个语音信号。在本申请实施例中,由于将子语音信号与加权系数进行乘积运算会弱化子语音信号的两端,故在本申请实施例中预先设置重叠时长,并按照拆分时长和重叠时长进行对预存语音信号的截取,其中,重叠时长小于拆分时长。在截取过程中,后一个子语音信号与前一个子语音信号产生重叠,且重叠区域的宽度为重叠时长。举例来说,拆分时长为30毫秒,重叠时长为10毫秒,预存语音信号的时长为120毫秒,则第一个子语音信号的宽度为预存语音信号的第0秒至第30毫秒,第二个子语音信号的宽度为预存语音信号的第20毫秒至第50毫秒,第三个子语音信号的宽度为预存语音信号的第40毫秒至第70毫秒,以此类推,其中,宽度是指时间维度上的数值。在根据上述方法生成子语音信号后,由于子语音信号的两端存在重叠,故将子语音信号与加权系数进行乘积运算时,降低了两端弱化后对子语音信号本身的影响。
S202:将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信 号能量值以及所述信号周期组合为所述语音参数。
对于加权后的每个子语音信号,获取该子语音信号的声强值、响度值、音高值、信号能量值以及信号周期,其中声强值、响度值以及音高值同样可通过运行语音分析组件进行自动获取,具体在该子语音信号的拆分时长内,将获取到的所有声强值、响度值以及音高值进行平均值运算,得到最终的声强值、响度值以及音高值。至于信号能量值,其计算公式为:
在上述公式中,E
n为n时刻的信号能量值。在计算过程中,可在子语音信号的拆分时长内设置多个采样点,并将多个采样点得到的信号能量值的平均值确定为最终的与子语音信号对应的信号能量值。
至于信号周期,由于子语音信号的拆分时长较短,且周期性更强,故计算方式发生更新,计算公式如下:
在上述计算公式中,x(n+m)为n+m时刻的子语音信号,θ的取值范围为0<θ<60,在计算子语音信号的信号周期时,对根据不同的θ得到的Measure(θ)进行数值比较,确定出其中数值最大的Measure(θ),并将数值最大的Measure(θ)中θ的数值作为信号周期。完成计算后,将加权后的子语音信号的声强值、响度值、音高值、信号能量值以及信号周期组合为语音参数,由于一个预存语音信号对应多个子语音信号,故通过上述计算后,一个预存语音信号对应多个语音参数,后续对初始模型的训练过程中,在提升了对初始模型的训练精度的同时,也增加了训练的计算量。
通过图2所示实施例可知,本申请实施例通过对预存声音信号在时间维度上进行拆分,并生成与每一个子语音信号对应的语音参数,提升了对初始模型进行训练的训练精度,进一步提升了训练完成的情绪模型的准确性。
请参阅图3,图3是本申请实施例提供的一种基于检测模型的情绪分析方法的实现流程图。相对于图1对应的实施例,本实施例在包括多个初始模型,且预存语音信号还对应属性特征的基础上,对S102进行细化后得到S301~S302,详述如下:
S301:将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量。
预存语音信号可能对应属性特征,属性特征与预存语音信号的一种属性相关,比如属性特征可与预存语音信号的发音人的年龄相关,并将年龄在0岁至10岁之间划分为一种属 性特征,将年龄在11岁至20岁之间划分为另一种属性特征,当然,根据实际应用场景的不同,属性特征还可为更多的内容。在本申请实施例中,将不同属性特征对应的预存语音信号进行分别处理,具体将同一个属性特征对应的预存语音信号的语音参数划分至单独的特征参数集,并基于特征参数集内的语音参数构建参数向量。
在S302中,将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
由于特征参数集与预存语音信号的一种属性特征相关,故将该属性特征与多个初始模型中的一个初始模型(可随机选择)建立映射关系,并将特征参数集内的多个参数向量,以及与参数向量对应的情绪等级作为输入参数,对存在映射关系的初始模型进行训练得到情绪模型。通过上述方法,若存在y种属性特征,则最终可得到y个情绪模型,每个情绪模型都与一种属性特征存在映射关系,其中y为大于零的整数。
可选地,获取待测语音信号对应的属性特征;根据映射关系确定与属性特征对应的情绪模型,将待测语音信号的语音参数输入该情绪模型。在训练得到多个情绪模型后,获取待测语音信号的属性特征,并根据映射关系确定与该属性特征对应的情绪模型,将待测语音信号的语音参数输入该情绪模型进行情绪分析。举例来说,对于多个预存语音信号来说,包括3种属性特征,一种是年龄在0至10岁之间,命名为特征一;一种是年龄在11岁至20岁之间,命名为特征二;最后一种是年龄在21岁至30岁之间,命名为特征三。则最终训练得到的情绪模型也为3个,分别与特征一、特征二和特征三存在映射关系。对于待测语音信号,获取其对应的属性特征,比如待测语音信号的发音人的年龄的22岁,则确定对应的属性特征为特征三,并将待测语音信号的语音参数输入至与特征三存在映射关系的情绪模型。
通过图3所示实施例可知,在本申请实施例中,将同一个属性特征对应的预存语音信号的语音参数划分至特征参数集,并基于特征参数集内的语音参数构建参数向量,将特征参数集对应的属性特征与其中一个初始模型建立映射关系,并通过特征参数集内的多个参数向量及对应的多个情绪等级对该初始模型进行训练得到情绪模型,本申请实施例针对不同的属性特征训练出多个情绪模型,提升了情绪分析的针对性。
请参阅图4,图4是本申请实施例提供的一种基于检测模型的情绪分析方法的实现流程图。相对于图3对应的实施例,本实施例在属性特征包括男性和女性的基础上,对S301之前的过程进行扩展后得到S401~S403,详述如下:
S401:获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率。
在本申请实施例中,属性特征包括男性和女性,而由于女性声带的振动频率较高,造成 男性和女性的发声频率存在差异,故在本申请实施例中,针对预存语音信号对应的属性特征未知的情况,将信号周期的倒数确定为预存语音信号的信号频率,并根据信号频率判断预存语音信号对应的属性特征为男性或女性。
S402:若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性。
在本申请实施例中,预先设置频率阈值,若信号频率高于频率阈值,则将信号频率对应的预存语音信号的属性特征设置为女性。其中,频率阈值可自定义设置,如设置为500赫兹,也可在大量已知属性特征的样本语音信号的基础上,设置多个频率阈值,并分析出其中准确率最高的频率阈值,将该频率阈值确定为本步骤中作为判断条件的频率阈值。
S403:若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
若信号频率不高于频率阈值,则将信号频率对应的预存语音信号的属性特征设置为男性。在完成对所有预存语音信号的属性特征设置后,将男性对应的预存语音信号的语音参数划分至特征参数集,将女性对应的预存语音信号的语音参数划分至另一个特征参数集,实现对不同属性特征的预存语音信号的分别处理。
通过图4所示实施例可知,在本申请实施例中,获取预设的频率阈值,并基于信号周期确定预存语音信号的信号频率,若信号频率高于频率阈值,则将信号频率对应的预存语音信号的属性特征设置为女性;若信号频率不高于频率阈值,则将信号频率对应的预存语音信号的属性特征设置为男性。本申请实施例通过信号频率来确定预存语音信号的属性特征,方便后续对不同属性特征的预存语音信号进行分类,提升了情绪分析的针对性。
对应于上文实施例所述的一种基于检测模型的情绪分析方法,图5示出了本申请实施例提供的一种基于检测模型的情绪分析装置的一个结构框图,参照图5,该装置包括:
分析单元51,用于获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;
训练单元52,用于基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;
输入单元53,用于将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
可选地,语音参数还包括信号能量值,分析单元51包括:
拆分单元,用于在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个 所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成;
组合单元,用于将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
可选地,包括多个初始模型,且预存语音信号还对应属性特征,训练单元52包括:
划分单元,用于将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量;
建立单元,用于将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
可选地,输入单元53包括:
获取单元,用于获取所述待测语音信号对应的所述属性特征;
确定单元,用于根据所述映射关系确定与所述属性特征对应的所述情绪模型,将所述待测语音信号的所述语音参数输入所述情绪模型。
可选地,属性特征包括男性和女性,划分单元还包括:
频率确定单元,用于获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率;
第一设置单元,用于若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性;
第二设置单元,用于若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
图6是本申请实施例提供的终端设备的示意图。如图6所示,该实施例的终端设备6包括:处理器60以及存储器61,所述存储器61中存储有可在所述处理器60上运行的计算机可读指令62,例如基于检测模型的情绪分析程序。所述处理器60执行所述计算机可读指令62时实现上述各个基于检测模型的情绪分析方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器60执行所述计算机可读指令62时实现上述基于检测模型的情绪分析装置实施例中各单元的功能,例如图5所示单元51至53的功能。
示例性的,所述计算机可读指令62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令62在所述终端设备6中的执行过程。例如,所述计算机可读指令62可以被分割成分析单元、训练单元和输入单元,各单元具体功能如上所述。
所述终端设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机可读指令以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (20)
- 一种基于检测模型的情绪分析方法,其特征在于,包括:获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
- 如权利要求1所述的情绪分析方法,其特征在于,所述语音参数还包括信号能量值,所述对所述预存语音信号进行分析得到语音参数,包括:在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成;将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
- 如权利要求1所述的情绪分析方法,其特征在于,包括多个所述初始模型,且所述预存语音信号还对应属性特征,所述基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型,包括:将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量;将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
- 如权利要求3所述的情绪分析方法,其特征在于,所述将待测语音信号的所述语音参数输入所述情绪模型,包括:获取所述待测语音信号对应的所述属性特征;根据所述映射关系确定与所述属性特征对应的所述情绪模型,将所述待测语音信号的所述语音参数输入所述情绪模型。
- 如权利要求3所述的情绪分析方法,其特征在于,所述属性特征包括男性和女性,所 述将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集之前,还包括:获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率;若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性;若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
- 一种基于检测模型的情绪分析装置,其特征在于,包括:分析单元,用于获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;训练单元,用于基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;输入单元,用于将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
- 如权利要求6所述的情绪分析装置,其特征在于,所述语音参数还包括信号能量值,所述分析单元包括:拆分单元,用于在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成;组合单元,用于将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
- 如权利要求6所述的情绪分析装置,其特征在于,包括多个所述初始模型,且所述预存语音信号还对应属性特征,所述训练单元包括:划分单元,用于将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量;建立单元,用于将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
- 如权利要求8所述的情绪分析装置,其特征在于,所述输入单元包括:获取单元,用于获取所述待测语音信号对应的所述属性特征;确定单元,用于根据所述映射关系确定与所述属性特征对应的所述情绪模型,将所述待 测语音信号的所述语音参数输入所述情绪模型。
- 如权利要求8所述的情绪分析装置,其特征在于,所述属性特征包括男性和女性,所述划分单元还包括:频率确定单元,用于获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率;第一设置单元,用于若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性;第二设置单元,用于若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
- 一种终端设备,其特征在于,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
- 如权利要求11所述的终端设备,其特征在于,所述语音参数还包括信号能量值,所述对所述预存语音信号进行分析得到语音参数,包括:在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成;将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
- 如权利要求11所述的终端设备,其特征在于,包括多个所述初始模型,且所述预存语音信号还对应属性特征,所述基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型,包括:将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量;将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训 练得到所述情绪模型。
- 如权利要求13所述的终端设备,其特征在于,所述将待测语音信号的所述语音参数输入所述情绪模型,包括:获取所述待测语音信号对应的所述属性特征;根据所述映射关系确定与所述属性特征对应的所述情绪模型,将所述待测语音信号的所述语音参数输入所述情绪模型。
- 根据权利要求13所述的终端设备,其特征在于,所述属性特征包括男性和女性,所述将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集之前,还包括:获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率;若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性;若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
- 一种计算机非易失性可读存储介质,所述计算机非易失性可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被至少一个处理器执行时实现如下步骤:获取多个预存语音信号,对所述预存语音信号进行分析得到语音参数,所述语音参数包括声强值、响度值、音高值以及信号周期,其中,每个所述预存语音信号对应一个预设的情绪等级;基于所述语音参数构建参数向量,通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型;将待测语音信号的所述语音参数输入所述情绪模型,并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
- 根据权利要求16所述的计算机非易失性可读存储介质,其特征在于,所述语音参数还包括信号能量值,所述对所述预存语音信号进行分析得到语音参数,包括:在时间维度上将所述预存语音信号拆分为多个子语音信号,并将每一个所述子语音信号与加权系数进行乘积运算,其中,所述加权系数由预设的加权公式生成;将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
- 根据权利要求16所述的计算机非易失性可读存储介质,其特征在于,包括多个所述初始模型,且所述预存语音信号还对应属性特征,所述基于所述语音参数构建参数向量,通 过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型,包括:将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集,并基于所述特征参数集内的所述语音参数构建所述参数向量;将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系,并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
- 根据权利要求18所述的计算机非易失性可读存储介质,其特征在于,所述将待测语音信号的所述语音参数输入所述情绪模型,包括:获取所述待测语音信号对应的所述属性特征;根据所述映射关系确定与所述属性特征对应的所述情绪模型,将所述待测语音信号的所述语音参数输入所述情绪模型。
- 根据权利要求18所述的计算机非易失性可读存储介质,其特征在于,所述属性特征包括男性和女性,所述将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集之前,还包括:获取预设的频率阈值,并基于所述信号周期确定所述预存语音信号的信号频率;若所述信号频率高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性;若所述信号频率不高于所述频率阈值,则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811340781.3A CN109473122A (zh) | 2018-11-12 | 2018-11-12 | 基于检测模型的情绪分析方法、装置及终端设备 |
CN201811340781.3 | 2018-11-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020098107A1 true WO2020098107A1 (zh) | 2020-05-22 |
Family
ID=65671765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2018/124629 WO2020098107A1 (zh) | 2018-11-12 | 2018-12-28 | 基于检测模型的情绪分析方法、装置及终端设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109473122A (zh) |
WO (1) | WO2020098107A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263326B (zh) * | 2019-05-21 | 2022-05-03 | 平安科技(深圳)有限公司 | 一种用户行为预测方法、预测装置、存储介质及终端设备 |
CN110570844B (zh) * | 2019-08-15 | 2023-05-05 | 平安科技(深圳)有限公司 | 语音情绪识别方法、装置及计算机可读存储介质 |
CN111128190B (zh) * | 2019-12-31 | 2023-03-21 | 恒信东方文化股份有限公司 | 一种表情匹配的方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
US20180197557A1 (en) * | 2017-01-12 | 2018-07-12 | Qualcomm Incorporated | Characteristic-based speech codebook selection |
CN108564942A (zh) * | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及*** |
CN108682432A (zh) * | 2018-05-11 | 2018-10-19 | 南京邮电大学 | 语音情感识别装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222500A (zh) * | 2011-05-11 | 2011-10-19 | 北京航空航天大学 | 结合情感点的汉语语音情感提取及建模方法 |
CN104240720A (zh) * | 2013-06-24 | 2014-12-24 | 北京大学深圳研究生院 | 一种基于多重分形和信息融合的语音情感识别方法 |
CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
CN105895101A (zh) * | 2016-06-08 | 2016-08-24 | 国网上海市电力公司 | 用于电力智能辅助服务***的语音处理设备及处理方法 |
CN108346436B (zh) * | 2017-08-22 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 语音情感检测方法、装置、计算机设备及存储介质 |
CN107464573A (zh) * | 2017-09-06 | 2017-12-12 | 竹间智能科技(上海)有限公司 | 一种新型客服通话质检***及方法 |
CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及*** |
CN108597539B (zh) * | 2018-02-09 | 2021-09-03 | 桂林电子科技大学 | 基于参数迁移和语谱图的语音情感识别方法 |
CN108536802B (zh) * | 2018-03-30 | 2020-01-14 | 百度在线网络技术(北京)有限公司 | 基于儿童情绪的交互方法及装置 |
-
2018
- 2018-11-12 CN CN201811340781.3A patent/CN109473122A/zh active Pending
- 2018-12-28 WO PCT/CN2018/124629 patent/WO2020098107A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180197557A1 (en) * | 2017-01-12 | 2018-07-12 | Qualcomm Incorporated | Characteristic-based speech codebook selection |
CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
CN108564942A (zh) * | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及*** |
CN108682432A (zh) * | 2018-05-11 | 2018-10-19 | 南京邮电大学 | 语音情感识别装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109473122A (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10176811B2 (en) | Neural network-based voiceprint information extraction method and apparatus | |
EP3719798B1 (en) | Voiceprint recognition method and device based on memorability bottleneck feature | |
Mariooryad et al. | Compensating for speaker or lexical variabilities in speech for emotion recognition | |
US9123342B2 (en) | Method of recognizing gender or age of a speaker according to speech emotion or arousal | |
Islam et al. | A robust speaker identification system using the responses from a model of the auditory periphery | |
EP2363852B1 (en) | Computer-based method and system of assessing intelligibility of speech represented by a speech signal | |
Uria et al. | A deep neural network for acoustic-articulatory speech inversion | |
US20210193149A1 (en) | Method, apparatus and device for voiceprint recognition, and medium | |
CN106486131A (zh) | 一种语音去噪的方法及装置 | |
WO2020098107A1 (zh) | 基于检测模型的情绪分析方法、装置及终端设备 | |
Andrei et al. | Detecting Overlapped Speech on Short Timeframes Using Deep Learning. | |
US20160086622A1 (en) | Speech processing device, speech processing method, and computer program product | |
RU2720359C1 (ru) | Способ и оборудование распознавания эмоций в речи | |
WO2022178942A1 (zh) | 情绪识别方法、装置、计算机设备和存储介质 | |
US10311888B2 (en) | Voice quality conversion device, voice quality conversion method and program | |
Shankar et al. | A Multi-Speaker Emotion Morphing Model Using Highway Networks and Maximum Likelihood Objective. | |
Wang et al. | Automatic hypernasality detection in cleft palate speech using cnn | |
Fan et al. | The impact of student learning aids on deep learning and mobile platform on learning behavior | |
Deb et al. | Classification of speech under stress using harmonic peak to energy ratio | |
CN113539243A (zh) | 语音分类模型的训练方法、语音分类方法及相关装置 | |
WO2021128847A1 (zh) | 终端交互方法、装置、计算机设备及存储介质 | |
Johar | Paralinguistic profiling using speech recognition | |
JP6992725B2 (ja) | パラ言語情報推定装置、パラ言語情報推定方法、およびプログラム | |
Jaiswal et al. | A generative adversarial network based ensemble technique for automatic evaluation of machine synthesized speech | |
Li et al. | An improved method of speech recognition based on probabilistic neural network ensembles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18939959 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18939959 Country of ref document: EP Kind code of ref document: A1 |