CN103730122B - 语音转换设备及其用于转换用户语音的方法 - Google Patents

Abstract

提供了一种语音转换设备及其用于转换用户语音的方法。所述语音转换设备的语音转换方法包括：在电话通话期间接收对方的语音；分析对方语音并确定对方语音是否是异常语音；当确定对方语音是异常语音时，通过调整对方语音的谐波信号来将对方的异常语音转换为正常语音；以及输出经过转换的正常语音。

Description

语音转换设备及其用于转换用户语音的方法

本申请要求于2012年10月12日提交到韩国知识产权局的第10-2012-0113629号韩国专利申请、2013年9月16日提交到韩国知识产权局的第10-2013-0111209号韩国专利申请以及2013年3月8日提交到美国专利商标局的第61/774,733号美国临时申请的优先权，所述申请的公开通过引用合并于此。

技术领域

示例性实施例的多个方面涉及一种语音转换设备及其用于转换用户语音的方法，更具体地讲，涉及一种在电话通话期间分析对方的语音，将对方的异常语音转换为正常语音并输出所述语音的语音转换设备及其用于转换用户语音的方法。

背景技术

最近，由于空气污染的增加、有限空间中的活动以及移动电话的使用，许多人遭受喉痛并且感到他们语音的变化。当由于各种原因伤害到咽喉时，人的语音异常改变。此外，一些人天生具有异常的语音。

这种不能被正确地识别出的异常语音可能不仅干扰与他人的顺畅会话，还造成不适甚至是误解。

具体地讲，当在通过通信终端（例如，有线电话、无线电话等）执行的电话通话期间听到异常语音时，用户可能不能正确地识别该语音，有时可能不能继续通过电话继续进行会话。

因此，需要一种允许用户与具有异常语音的对方进行顺畅的电话会话的方法。

发明内容

示例性实施例的一方面涉及一种语音转换设备及其用于转换用户语音的方法，其中，所述语音转换设备确定电话通话期间的对方的语音是否异常，并且当确定语音异常时，通过调整来自对方的语音的谐波信号来将异常语音转换为正常语音，并提供所述正常语音。

根据示例性实施例的语音转换设备的语音转换方法包括：在电话通话期间接收对方的语音；分析对方语音并确定对方语音是否是异常语音；当确定对方语音是异常语音时，通过调整对方语音的谐波信号来将对方的异常语音转换为正常语音；以及输出经过转换的正常语音。

确定的步骤可包括：从对方语音提取语音参数；以及分析提取的语音参数并确定对方语音是否是异常语音。

所述语音参数可包括对方语音的音调元素、对方语音的谐噪比（HNR）、对方语音的开商和对方语音的GRBAS分数中的至少一个。

转换的步骤可包括：通过加重对方语音的谐波元素并消除对方语音的子谐波元素来将异常语音转换为正常语音。

转换的步骤可包括：通过在对方语音之中的高频段中产生谐波信号来将异常语音转换为正常语音。

将对方语音的异常语音转换为正常语音的功能可根据用户设置而被开启或关闭。

所述方法还可包括：显示用于调整异常语音到正常语音的转换的强度的用户界面，以及根据通过所述用户界面输入的用户命令来设置转换强度，转换的步骤可包括：根据设置的转换强度来将异常语音转换为正常语音。

所述方法可包括：当确定对方语音异常时，存储指示对方语音异常的信息。

转换的步骤可包括：当与其信息指示对方的语音异常的对方执行电话通话时，在不用确定对方语音是否异常的情况下将对方语音转换为正常语音。

所述方法可包括：当确定对方语音是正常语音时，立即输出对方语音。

根据示例性实施例的语音转换设备包括：语音接收器，被配置为在电话通话期间接收对方的语音；异常语音确定器，被配置为分析对方语音并确定对方语音是否是异常语音；正常语音转换器，被配置为当确定对方语音是异常语音时，通过调整对方语音的谐波信号来将对方的异常语音转换为正常语音；以及语音输出单元，被配置为输出经过转换的正常语音。

所述异常语音确定器可包括：参数提取器，被配置为从对方语音提取语音参数；以及参数分析器，被配置为分析提取的语音参数并确定对方语音是否是异常语音。

所述语音参数可包括对方语音的音调元素、对方语音的谐噪比（HNR）、对方语音的开商和对方语音的GRBAS分数中的至少一个。

所述正常语音转换器可通过加重对方语音的谐波元素并消除对方语音的子谐波元素来将异常语音转换为正常语音。

所述正常语音转换器可通过在对方语音之中的高频段中产生谐波信号来将异常语音转换为正常语音。

所述设备还可包括：输入单元，被配置为接收用户命令，并且将对方语音的异常语音转换为正常语音的功能可根据通过所述输入单元输入的用户命令而被开启或关闭。

所述设备还可包括：显示器，被配置为显示用于调整异常语音到正常语音的转换的强度的用户界面，正常语音转换器可依据根据通过所述用户界面输入的用户命令而设置的转换强度来将异常语音转换为正常语音。

所述设备可包括：存储器，被配置为当确定对方语音异常时，存储指示对方语音异常的信息。

当与其信息指示对方的语音异常的对方执行电话通话时，所述正常语音转换器可在不用确定对方语音是否异常的情况下将对方语音转换为正常语音。

当确定对方语音是正常语音时，所述语音输出单元可立即输出对方语音。

附图说明

通过参照附图描述本发明构思的特定示例性实施例，本发明构思的上述和/或其他方面将更加清楚，其中：

图1是示出根据示例性实施例的语音转换设备的配置的框图；

图2是示出根据示例性实施例的异常语音确定器的配置的框图；

图3A至图3C是被提供用于解释根据各种示例性实施例的具有异常语音的语音参数的示图；

图4A至图4B是被提供用于解释根据各种示例性实施例的用于将异常语音转换为正常语音的方法的示图；

图5是示出根据示例性实施例的用于调整转换强度的用户界面的示图；

图6是被提供用于解释根据示例性实施例的用于转换语音的方法的流程图。

具体实施方式

应看到，所述方法步骤和***组件在图中已通过常规符号被呈现，为了理解本公开，仅示出相关的特定细节。此外，对于本领域普通技术人员而言可能显而易见的细节可能未被公开。在本公开中，诸如第一和第二等的相关术语可被用于将一个实体与另一实体进行区分，而不是必然意味着这样的实体之间的任何实际关系或顺序。

图1是示出根据示例性实施例的语音转换设备100的配置的框图。如图1中所示，语音转换设备100包括语音接收器110、异常语音确定器120、正常语音转换器130、语音输出单元140、存储器150、输入单元160和显示器170。根据示例性实施例的语音转换设备100可以是智能电话，但不限于此。语音转换设备100可被实现为具有电话通话功能的各种设备，诸如有线电话、个人数字助理（PDA）、平板PC、智能电视机等等。

语音接收器110接收对方的语音信号。具体地讲，语音接收器110可在电话通话（例如，语音通话、视频通话等）期间接收对方的语音信号。

异常语音确定器120分析对方的语音信号并确定对方的语音是异常还是正常。将参照图2详细描述异常语音确定器120。

如图2中所示，根据示例性实施例的异常语音确定器120可包括参数提取器121和参数分析器123。

参数提取器121可提取接收的对方的语音的语音参数。在这种情况下，语音参数可包括对方语音的音调元素、对方语音的谐噪比（HNR）、对方语音的开商和对方语音的GRBAS分数中的至少一个。

具体地讲，对方语音的音调元素表示对方的声带的振动频率，并被用于检测异常振动。对方语音的谐噪比（HNR）表示对方语音的谐波对噪声比率，并被用于根据噪声比率来确定语音是否异常。对方语音的开商是关于在声带的振动期间声带打开时的时间的比率的参数，并可从第一谐波信号和第二谐波信号的能量比来推断。对方语音的GRBAS分数是用于确定异常语音的特征的算法，并且包括关于G（等级，整体印象）、R（粗糙度，粗糙的声音和声带的不规则振动）、B（呼吸）、A（虚弱）和S（语调）的0～3的分数。

参数分析器123可分析由参数提取器121提取的语音参数并确定对方的语音是否异常。

具体地讲，如果语音参数是对方语音的音调元素，则参数分析器123可通过分析对方语音的音调元素来监视是否产生了子谐波元素。更具体地讲，当语音参数是对方语音的音调元素时，参数分析器123可分析对方语音的音调元素并监视是否出现子谐波元素。更具体地讲，如图3A的区域310中所示，当在两个谐波元素之间产生了子谐波信号时，如果存在被推断为是噪声元素的较强子谐波元素，则参数分析器123可确定子谐波信号是异常语音。在这种情况下，对方语音的音调元素由于子谐波信号而被改变，因此，如果音调是正常语音两倍以上，则参数分析器123可将对方语音确定为异常语音。

可选择地，如果语音参数是谐噪比，则参数分析器123确定谐噪比是否高于预定值。具体地讲，如图3B的左区域中所示，当谐噪比高于预定值时，参数分析器123可确定对方语音为正常信号，但是如图3B的右区域中所示，当谐噪比低于预定值时，参数分析器123可确定对方语音为异常语音。同时，如图3B中所示，在高频段，谐噪比在正常语音和异常语音之间可具有较大差别，因此，参数分析器123可确定高于预定频段的频段中的谐噪比，并确定它是正常语音还是异常语音。

如果语音参数是开商，则参数分析器123可计算第一谐波信号元素和第二谐波信号元素的能量比，并确定对方语音是正常还是异常。具体地讲，如果开商在预定范围（例如，0.4～0.6）内，则参数分析器123可确定对方语音正常。例如，当如图3C的中间的曲线中所示，开商被计算为0.5时，参数分析器123可确定对方语音正常。然而，当开商在所述预定范围以外时，参数分析器123可确定对方语音异常。也就是说，如果开商过大或过小，则对方语音很可能是震耳欲聋的或是干涩的语音，参数分析器123可确定对方语音异常。例如，如果如图3C的左侧曲线中所示，开商（0.7）高于预定范围或者开商（0.3）低于预定范围，则参数分析器123可确定对方语音异常。

此外，如果语音参数是GRBAS分数，并且G（等级，整体印象）、R（粗糙度，粗糙的声音和声带的不规则振动）、B（呼吸）、A（虚弱）和S（语调）中的至少一个高于预定值，则参数分析器123可确定对方语音异常。

同时，上述语音参数仅是示例，可基于其他语音参数确定对方语音是否异常。

当确定对方语音异常时，异常语音确定器120可将对方语音输出到正常语音转换器130，当确定对方语音正常时，异常语音确定器120可将对方语音输出到语音输出单元140。

如果接收到语音被确定为异常的对方的语音信号，则正常语音转换器130将对方语音转换为正常语音。具体地讲，正常语音转换器130可通过调整对方语音的谐波元素来将异常语音转换为正常语音。

具体地讲，被确定为异常的对方语音可包括如图4A的区域410中所示的弱谐波信号，或者可包括如图4A的区域420中所示的谐波信号之间被确定为噪声元素的子谐波信号。因此，正常语音转换器130可加重如图4A的区域430中所示的弱谐波信号元素，或者可消除如图4A的区域440中所示的谐波信号之间的子谐波信号。

此外，被确定为异常的对方语音可不包括如图4B的区域450中所示的谐波信号。因此，正常语音转换器130可使用如图4B的区域460中所示的谐波产生滤波器来产生谐波信号。

也就是说，如上所述，正常语音转换器130可通过产生或加重谐波元素或者通过消除子谐波元素来将异常语音转换为正常语音。

在这种情况下，正常语音转换器130可根据通过用户界面输入的用户命令来调整设置的转换强度，其中，所述用户界面用于调整用于将异常语音转换为正常语音的转换强度。具体地讲，如图5中所示，如果通过用于调整语音转换强度的UI500调整语音转换强度，则正常语音转换器130可根据调整的语音转换强度来将异常语音转换为正常语音。例如，语音转换强度越强，正常语音转换器130可加重谐波信号越多，并且正常语音转换器130可更完全地消除子谐波信号。另一方面，语音转换强度越弱，正常语音转换器130可加重谐波信号越少，并且正常语音转换器130可能不能完全消除子谐波信号，而是，可能将子谐波信号降低至预定比率。

此外，正常语音转换器130可仅将异常语音的部分特征转换为正常语音。例如，正常语音转换器130可仅消除子谐波元素，同时保持谐波元素，或者可仅加重谐波元素，同时保持子谐波元素。

也就是说，通过根据用户输入设置转换强度和方法，用户可将对方语音转换为正常语音，使得语音适合于用户。

同时，正常语音转换器130通过调整对方的谐波元素来将异常语音转换为正常语音的特点仅是示例，可使用另一方法将异常语音转换为正常语音。

此外，正常语音转换器130可将对方的经过转换的正常语音输出到语音输出单元140。

语音输出单元140可输出通过异常语音确定器120输出的对方语音，或输出通过正常语音转换器130输出的对方语音。在这种情况下，语音输出单元140可以是扬声器，但不限于此。语音输出单元140可被实现为可连接到外部设备的输出终端。

存储器150存储用于控制语音转换设备100的各种程序和数据。具体地讲，存储器150可存储用于确定对方语音是正常还是异常的模块。

当确定对方语音异常时，存储器150可存储指示对方语音异常的信息。在这种情况下，存储器150还可在存储有关于对方的电话号码的信息的地址薄中存储指示语音是否正常的信息。

然后，当与存储的信息指示对方的语音异常的对方执行电话通话时，语音转换设备100可不确定对方的语音是否异常，而是，将对方的语音直接转换为正常语音。

输入单元160可接收用于控制语音转换设备100的用户命令。具体地讲，输入单元160可接收用于调整语音转换强度的用户命令、用于开启/关闭将对方的异常语音转换为正常语音的功能的用户命令等等。

显示器170输出图像数据。具体地讲，如图5中所示，显示器170可显示用于调整语音转换强度的UI500。

如上所述，根据语音转换设备100，用户甚至可与具有不能被容易识别的异常语音的对方执行顺畅的电话会话。

同时，语音转换设备100可根据用户设置开启或关闭将对方的异常语音转换为正常语音的功能（在下文中，称为“语音转换功能”）。也就是说，如果语音转换功能被开启，则语音转换设备100可分析对方的语音并将所述语音自动转换为正常语音。然而，如果语音转换功能被关闭，则语音转换设备100可能不能分析对方的语音并将所述语音转换为正常语音，直到用户命令被输入为止。

在下文中，将参照图6解释根据示例性实施例的语音转换方法。

首先，语音转换设备100接收对方的语音（S610）。在这种情况下，语音转换设备100可与对方的通信终端执行语音通话或视频通话。此外，语音转换设备100的语音转换功能可被开启。

随后，语音转换设备100确定接收的对方的语音是否是异常语音（S620）。在这种情况下，语音转换设备100可提取接收的对方的语音的语音参数，分析提取的语音参数并确定对方的语音是否是异常语音。在这种情况下，语音参数可包括对方语音的音调元素、对方语音的谐噪比（HNR）、对方语音的开商和对方语音的GRBAS分数中的至少一个。

如果确定对方语音是异常语音（S620-是），则语音转换设备100通过调整对方语音的谐波信号来将所述异常语音转换为正常语音（S630）。具体地讲，语音转换设备100加重或产生对方语音的谐波信号，并可通过消除对方语音的谐波信号之间存在的子谐波信号来将异常语音转换为正常语音。在这种情况下，语音转换设备100可根据用户输入设置转换强度和方法。

随后，语音转换设备100输出被转换为正常语音的对方的语音（S640）。

同时，如果确定对方语音不是异常语音（S650-否），则语音转换设备100立即输出对方语音（S640）。

如上所述，根据各种示例性实施例，用户甚至可与具有不能被容易地识别的异常语音的对方执行顺畅的电话会话。

用于执行根据各种示例性实施例的语音转换方法的程序代码可被存储在非暂时性计算机可读介质中。非暂时性可读介质是指可半永久性地存储数据而不是诸如寄存器、高速缓冲存储器和内存的短时间地存储数据的介质，并且所述非暂时性可读介质可由设备读取。具体地讲，上述各种应用或程序可被存储在诸如CD、DVD、硬盘、蓝光盘、USB、存储卡和ROM的非临时可读介质中，并在其中被提供。

上述实施例和优点仅是示例性的，并且不被解释为限制本发明。本教导可被容易地应用于其他类型的设备。此外，本发明构思的示例性实施例的描述意图是说明性的，而不是限制权利要求的范围，并且许多选择对象、修改和变化对于本领域技术人员而言将是清楚的。

Claims (9)

1.一种语音转换设备的语音转换方法，包括：

在电话通话期间接收对方的语音；

从对方语音提取至少一个音调元素；

分析所提取的对方语音的所述至少一个音调元素；

识别在对方语音的多个谐波元素中产生的子谐波元素；

通过确定是否存在是噪声元素的较强子谐波元素来确定对方语音是否是异常语音；

当确定对方语音是异常语音时，通过加重对方语音的所述多个谐波元素并消除对方语音的所述多个谐波元素之间的子谐波元素来将对方的异常语音转换为正常语音；以及

输出经过转换的正常语音。

2.如权利要求1所述的方法，其中，转换的步骤还包括：

通过在对方语音之中的高频段中产生谐波信号来将异常语音转换为正常语音。

3.如权利要求1所述的方法，其特征在于将对方语音的异常语音转换为正常语音的功能根据用户设置而被开启或关闭。

4.如权利要求1所述的方法，还包括：

显示用于调整异常语音到正常语音的转换的强度的用户界面；以及

根据通过所述用户界面输入的用户命令来设置转换强度，

其中，转换的步骤包括：根据设置的转换强度来将异常语音转换为正常语音。

5.如权利要求1所述的方法，包括：

当确定对方语音异常时，存储指示对方语音异常的信息。

6.如权利要求5所述的方法，其中，转换的步骤还包括：

当与其信息指示对方的语音异常的对方执行电话通话时，在不用确定对方语音是否异常的情况下将对方语音转换为正常语音。

7.如权利要求1所述的方法，包括：

当确定对方语音是正常语音时，立即输出对方语音。

8.一种语音转换设备，包括：

语音接收器，被配置为在电话通话期间接收对方的语音；

异常语音确定器，被配置为从对方语音提取至少一个音调元素，分析对方语音的所述至少一个音调元素，识别在对方语音的多个谐波元素中产生的子谐波元素，并通过确定是否存在是噪声元素的较强子谐波元素来确定对方语音是否是异常语音；

正常语音转换器，被配置为当确定对方语音是异常语音时，通过加重对方语音的所述多个谐波元素并消除对方语音的所述多个谐波元素之间的子谐波元素来将对方的异常语音转换为正常语音；以及

语音输出单元，被配置为输出经过转换的正常语音。

9.如权利要求8所述的设备，其中，所述正常语音转换器还被配置为通过在对方语音之中的高频段中产生谐波信号来将异常语音转换为正常语音。

Images