CN102124515A - 基于语音分析的说话者表征 - Google Patents
基于语音分析的说话者表征 Download PDFInfo
- Publication number
- CN102124515A CN102124515A CN2009801320343A CN200980132034A CN102124515A CN 102124515 A CN102124515 A CN 102124515A CN 2009801320343 A CN2009801320343 A CN 2009801320343A CN 200980132034 A CN200980132034 A CN 200980132034A CN 102124515 A CN102124515 A CN 102124515A
- Authority
- CN
- China
- Prior art keywords
- speech
- parameter
- fragment
- speaker
- psychology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 71
- 238000012512 characterization method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 99
- 239000012634 fragment Substances 0.000 claims description 82
- 230000007613 environmental effect Effects 0.000 claims description 46
- 230000000630 rising effect Effects 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 230000033764 rhythmic process Effects 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 claims description 9
- 230000036651 mood Effects 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 230000010267 cellular communication Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000009394 selective breeding Methods 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 abstract description 11
- 230000003542 behavioural effect Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Electrically Operated Instructional Devices (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种用于通过对说话者在某一特定环境和背景下的语音语调进行分析以确定说话者在所述特定环境和背景下的当前行为、心理和说话风格特征的计算机执行方法、数据处理***、装置和计算机程序产品。所述分析计算了语音语调的包含有语调和振幅参数的基本语音参数的特有的二阶导数，并将这些特有参数与已得到的标示不同行为、心理和说话风格特征的参考语音数据相比较。本方法包括所述语音参数参考分类数据库的构成，以及对说话者的语音语调的分析以确定所述说话者在特定的环境里的当前行为、心理和说话风格的特征。
Description
技术领域
本发明涉及语音分析领域，特别是使用语音的韵律特征判断人在特定环境下的行为、心理和语言风格特征。
背景技术
语音分析是用于处理人类语音以揭露其意义的电脑化方法的一个统称。语音分析通常归类于语言科学中的语音学的一部分。
语音分析可以分为两种主要的方法：第一种方法致力于通过学习文字、音节和音素的发音和句子的排列来揭露语音内容。许多语音识别应用，比如“语音文字转换”或者“文字识别”，均使用了此方法来提取语音的内容。
第二种方法为语音的韵律分析，其致力于分析语音的非音段（非词语、非内容）的特征，比如语调、语速、感情的强烈程度、重音和节奏，以研究人们的说话方式。
这里所述的说话方式提供了语音的“旋律”，所述“旋律”有助于深入理解语音的整体意义和背景。比如，人们通过一个句尾的升调来感知一个问句。腔调是经典的关于韵律语音参数如何改变说话发音的一个例子。演员们改变他们的腔调使其听起来象是某个角色。韵律还存在着性别差异，例如，女性通常有比男性更高频率的声调。许多时候，韵律特征改变了言语的意思：我们可以通过改变发音方式（韵律）将一个同样的句子演绎成带有怀疑、讽刺或者其它简单意思的句子。
说话语调的韵律特征还包含了关于讲话者的情感信息。这可以在这些年来的研究文献中看到。这是非常直观的—一个激动的人在打应急服务电话时的语速通常都是非常快的，他的声音会是紧张的、带呼吸声的、有波动的等等。另一方面，一个处于悲伤失望中的人会倾向于比较缓慢地说话，缺乏活力并带有长停顿以及类似特征。这些特征均反应在语音的韵律特征上。
已经有数个关于使用韵律上的语音特征自动分析讲话者的情感状态的专利被公开。其中，Pertrushin的美国专利6151571和Slaney的美国专利6173260用于分类不同的情感状态，Degani和Zamir的欧洲专利1423846用于确认普通的情绪唤起。所有的专利在这里组成一个整体作为参考。
人们尝试把说话者的个性和谈话的韵律特征关联到一起。Bogdashevsky的美国专利6006188描述了这样一种方法，所述方法测定带有类似性格类型的人们的语音特征（根据已知的心理感觉测验），然后使用检测到的特征进行性格类型分类。言谈反映个性这一观点是讲得通的而且非常直观：比如我们可以想象一个性格内向的人的讲话方式是温和而且犹豫的，这与性格外向的人的响亮而且冲动的讲话方式是相反的。
将性格和讲话方式结合到一起很好地反映了我们对于言谈广泛地表达了个人特征的理解。然而，此观点的缺陷在于其具体实施。性格代表了一个人稳定的特征，这样其应该被始终如一地评估。这意味着说话者的反映其性格的讲话方式应该在不断改变的环境、多变的心理状态和不同的背景下保持始终如一。这并不符合实际：讲话方式会被环境因素严重影响，例如，已经证明了情绪状态和讲话腔调之间的牢固关系。即使上述例子中的性格内向的人也会时不时变得愤怒，此时他的讲话方式（和他的韵律上的语音特征）会发生极大的改变并且变得类似于一个性格开朗外向的人的讲话方式。在统计上，如果我们评估性格内向的人在不同的场合的讲话方式，我们或许会发现他的性格和讲话方式之间存在着可观的联系。我们只有在与参考数据被采集的情况非常类似的情况下的言谈进行采样，结果才有可能是可靠的。但这样做当环境因素在其间起主导作用时是不符合实际的。在实际生活中，环境因素频繁地影响我们的言谈。这样，基于语音韵律的性格评估并不能作为一种与环境无关的方法。
发明内容
本发明提出了一计算机执行方法、数据处理***、计算机程序的产品和装置，它们通过分析讲话者的语调以确定讲话者在特定情形和背景下的当前行为和心理特征，同时还确定了说话者当前说话风格。
所述分析基于计算说话者的基本音调和振幅参数的特有的二阶导数（secondary derivative），当其整体使用时标示了说话者在特定环境和背景下的当前行为、心理和说话风格特征。
对当前行为、心理和讲话风格特征的分类通过将说话者的评估了的第二语音参数与预先得到的数据进行比较而得以实现，所述预先得到的数据代表了在一定范围的环境和背景下不同的行为、心理和讲话风格特征的所述第二语音参数值以及所述参数值的组合。
本发明的提供了一个普遍的并与说话者无关的方法，通过分析一个人在特定环境下的语音韵律特征，以确定其当前行为、心理和讲话风格特征。讲话者的性格特征可以与短暂的、与环境相关的参数相关，又或者是与稳定的、与环境无关的参数，比如性格，相关。本发明的实施方案能够确定一个人当前听起来是坦率的、开朗的、公正的、富有表情的还是含蓄的，但不能确定这些特征是否反映了其内在性格或者特定的环境和背景。出于不同的信息反馈、培训和交流的目的，此类信息会对于分析人们本身是极其有用的。
在不同的实施方案中，本发明可以作为用于描绘人们的环境行为、心理和讲话风格特征的一计算机执行方法、数据处理***、计算机程序产品和装置。
附图说明
依照其后的具体实施方案的说明，本发明的主题会变得更加清晰易懂，所述说明以举例的方式提出，并参考相关附图（附图，或者简单的“图”），而且只用于讨论本发明的目的，其中：
图1是一个概括性的流程图，其显示了根据本发明所提出的方法，获取和构成用于对不同的行为、心理和讲话风格特征进行分类的语音参数参考数据库的各个步骤；
图2是一个概括性的流程图，其显示了在本发明的具体实施方案中，使用参考数据库分析当前讲话者的语音语调和确定其在特定的环境下其行为、心理和讲话风格的特征的各个步骤；
图3是一个概括性的流程图，其显示了根据本发明所提出的方法，在一些实施方案中可能实行的一些额外的可选步骤；
图4是本发明的具体实施方案中的一种数据处理***的框架示意图；
图5是本发明的具体实施方案中的一种装置的框架示意图。
结合附图和以下详细说明，本领域技术人员会更易于理解本发明是如何实现的。
具体实施方式
在详尽解释本发明之前，详细说明一下在下文中所用到某些术语是相当有用的。
在这里所使用的术语“环境”指的是与说话者的当前状况相关的特征。相反地，环境特征并不能证明说话者通常都处于此类环境。比如，一个环境特征可以是“说话者听起来是自信的”（现在），或者“说话者听起来是含蓄的”，或者“说话者听起来是有计划的”诸如此类。但这并不代表说话者就其本质而言通常是自信、含蓄或者有计划的，这只是根据说话者当前的语调而得出的其目前所处于的状态。显然地，同一个说话者在不同的环境中可能会听起来有所不同。
这里所使用的术语“背景”被定义为代表环境的普遍特征（所述特征可以影响言谈），所述特征来源与于说话者的个人背景，包括文化、语言、口音、年龄等等，或者环境设定的特殊属性，比如交谈或者独白、朗读或者自由发言、正常说话或者处于身体运动、角色扮演、讲课、演讲或者处于有压力的环境中—格斗、紧急事件、球赛或者其它。
这里所使用的术语“说话风格”在本发明中指的是典型的说话方式，代表一组行为和心理特征，并倾向于在某些环境中使用。比如，有表现力的说话风格、有计划的说话风格、坦率的说话风格等等。人们倾向于根据特定的环境和背景改变他们的说话方式。
这里所使用的术语“通信***”在本发明中指的是任何能传输声音的语音通信***。这些***可以是，例如，有线或者无线电话***、蜂窝通信网络、基于网页的通信***、其它IP网络电话***、电话局通讯***等等。
在接着的具体描述中，许多细节会被详尽的描述以对本发明提供一个全面的认识。然而，必须明白本发明可以不使用这些特征细节。在另外一些例子中，公知的方法、程序、部件和电路并没有被详细描述，以避免使本发明的主体模糊不清。
本发明在它的一些具体实施方案中公开了一种基于语音分析技术并用于确定说话者的环境行为、心理和说话风格特征的计算机执行的方法、数据处理***、装置和计算机程序产品。
本发明的基础在于本发明认为说话方式不仅反映了说话者的情绪状态，还反映了其行为和心理特征的更广的范围。许多所述的行为和心理特征并不是情绪方面的，但可以通过说话方式所表达出来，举例来说：坦率、自信、开放、富有表现力、犹豫、含蓄、威严、控制、计划性、耐心、不耐心等等。本发明致力于分析这些包括在言语中的行为、心理和说话风格特征。
在本发明的具体实施方案中，本发明的实施考虑到在说话方式中所述特征主要反映了一种环境相关的性质而不是稳定的始终如一的性质。某些时候一种行为特征会与环境背景相关，有些时候会与说话者的情绪状态相关，有些时候会与说话者的性格相关，而许多时候与以上因素的集合相关。举例来说，一种直率自信的说话方式可以以一段在比赛中（背景）的教练与运动员之间的标准对话为特征，或者其可以与一个处于愤怒中（情绪）的不满意的顾客的对话相关联。当然，在其它案例中，其可以反映说话者的自信的性格。语音韵律参数（反映语速、语调、语气等等）可以标示当前的语音，但这些参数并不能指出其特定的背景或者区分是否与环境或者性格相关。
因此，本发明有两个主要基础：语音的韵律特征广泛地反映了说话者的行为、心理特征；这些特征在说话方式中的表现有着强烈的环境天性，即，其主要指明了说话者的当前状态。
这样，本发明的目的在于提供一个普遍的、与说话者无关的方法，通过分析人们在一个特定环境中的语音的韵律特征以确定其当前行为和心理特征。
有优势的是，本发明可以用于为人们提供他们在不同的环境中的行为和心理特征的反馈，以作为各种不同的职业、教育、治疗和休闲娱乐应用的一部分。本发明还可以为某些人提供见解，这些人致力于研究如何能更好地与他人相沟通，这些研究基于对研究对象的当前行为和心理特征的理解，并出于多种商业的、职业、教育、治疗和休闲娱乐的目的。
本发明所克服的一项挑战在于提取和检测行为和心理特征的指示性参数，所述参数是与说话者无关的。人们在他们各自的韵律语音特征（其典型的音高、语调、语速等等）上是不同的。他们在他们各自表达行为和心理特征的方式上也是不同的。比如，一个人可能会通过改变语气强烈程度来表达其充满信心，而另一个可能会通过改变语速等等来达到同样的效果。实现一个说话者无关的数据处理需要克服这些在行为和心理特征的韵律表达上的个人差异。
本发明通过使用在语音的基本语调和振幅参数中提取的第二语音参数以分析韵律特征而实现与说话者无关的数据处理。这些第二参数是语音语调中的多种不同的统计指示特征的升调、降调和平声片段。这些特有的第二参数受到个人语调影响较小，因此更能在本质上指明说话者的行为和心理特征。
本发明的另一特征在于说话风格。当在经验上检验多个行为和心理特征的说话方式时，明显地，可以分类成数个所述的特征串以构成可区别的说话风格。在聆听语音并将语音分类时这变得非常明显：某些行为和心理特征倾向于与相同语调（相同环境）频繁出现，暗示它们是相关联的。另外，当分析它们的韵律特征时，某些行为和心理特征相对其它来说更为相似，再次暗示着它们的相互关系。
以下是一些可能的这样的说话风格的例子。一种风格可能会被称为“被动的”或者“稳定的”说话风格，包含有例如反应敏捷的、开放的、健谈的、富有表现力的等等之类的行为和心理特征。另一种风格可以被称为“自信的”，包含有例如坦率的、颐指气使的、语速极快的、大声的、活泼的等等之类的特征。还有另外一种称为“有计划的”风格，包含有例如善于分析的、非情绪化的、克制的、含蓄的、有条理的等等之类的特征。这些说话风格在此处仅作为例子。自然地，其它几种说话风格也可以被语音的韵律特征所描述。
在这里非常有必要强调这些说话风格同时带有非常强的环境天性。尽管这些说话风格不时可以代表一个较为稳定的说话者的特征，很多时候它们可以代表当前的互动方式，或者说话者与特定的环境或者背景相关的当前内部状态。同一个人经常会在不同的背景环境中切换其说话风格。
通过语音分析确定所述说话风格对以上所述的潜在的应用是非常有优势的，因为其能为所分析的环境提供更为深入的见解。
这样，本发明的另一目的在于通过分析人们在特定环境下的语音韵律特征提供一个普遍的、与说话者无关的方法以确定某人的当前说话风格。
本发明的实施方式受益于三个与普通语音韵律分析方法不同的方面。第一个方面是极大地开拓说话者的能通过韵律语音分析而被确定的个人特征的范围。在说话者的情绪状态之外还可以确定多种说话者的行为和心理特征，所述情绪状态是语音分析在过去的主要应用。第二个不同之处在于说话者的当前的、环境的和行为上的属性和他或她相对应的语音特征之间的联系。第三个不同之处在于其使用在语音的基本的频率和振幅参数中萃取的特有的第二参数，以达到与说话者无关的数据处理。使用这些特有的第二参数及其组合使克服语音表达中的个人差异成为可能，这样，类似的行为和心理特征可以在不同人的语音特征中得到类似的体现。
图1是一个概括性的流程图，其显示了在本发明的具体实施方案中，建立用于对不同的行为、心理和讲话风格的特征进行分类的语音参数参考数据库的方法的各个步骤。所述方法包括：人工选择某一语境，比如某一语言，文化或者特有的环境设定1010；人工选择要分析的处于所选择语境中的行为、心理和说话风格特征1020；获得人们在所选择的语境中的多个语音语调1030；将语音语调人工分成代表类似行为、心理和说话方式特征的组1040。这可以使用合适并公知的评估方法，比如专家等级评定、同等评价法、自我评价法、目标测试等等，或者任何其它在社会和行为科学中使用和公知的评估方法。作为例子而言，所述的环境特征可以是坦率、自信、反应敏捷、开放、富有表现力、犹豫、含蓄、颐指气使、克制、有计划、耐心、不耐心、投入的或者其它在语音中得以表达或反映的环境行为和心理的特征。作为例子而言，所述说话风格可以是一种“被动的”或“稳定的”说话风格，包括数种行为和心理特征，比如迟钝、安静、稳重、镇静、犹豫等等，或者一种“畅谈的”说话风格，比如反应敏捷、开放、健谈、富有表现力等特征，或者一种“自信的”说话风格，包括坦率、颐指气使、快节奏、大声、活跃等特征，或者是一种“有计划的”说话方式，包括善于分析、非情绪化、克制、含蓄、有条理等特征。在本发明的一些实施方案中，所述数据库可以包含有代表任何数量的（一个或者多个）行为、心理和说话风格特征的语音特征。所述方法还包括：将所述代表类似行为、心理和说话风格特征的组中的每一语音片段预处理成无声和有声部分1050；将有声语音片段分成一串长度相同的块，所述块带有包括音调和振幅参数的基本语音参数1060；从基本语音参数中导出多个第二语音参数，所述第二语音参数包括所述块串内的每一时间单位内所包含的平声、升调和降调趋势片段的总和以及所述平声、升调、降调趋势片段的平均长度1070；然后从所述导出的第二参数中确定每组语音所独有的第二语音参数、参数组合以及参数的值1080，所述参数是组内语音片段所共有的并且代表了每一组语音的典型行为、心理或者说话风格的特征。我们必须明白使用数据库只不过是本发明的一种实施方式，所述语音参数以及它们在特定背景下的所对应的行为心理特征的集合可以以任何表现作为参比的语音参数的方式存储。数据库或参数库能够采用不同方式存储，或者不用实际的软件数据库而通过计算机程序作为参比使用
在本发明的一些实施方式中，导出多个第二语音参数的步骤集中于从一个列表中选择参数，所述列表包括：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络线样式以及升调、降调和平声声调趋势的时间顺序样式。
图2是一个概括性的流程图，其显示了在本发明的具体实施方案中，使用参考数据库分析当前讲话者的语音语调和确定其在特定的环境下其行为、心理和讲话风格的特征的电脑实施方法的各个步骤。所述方法包括：建立一个语音参数参考数据库以根据不同的讲话者的行为、心理和说话风格特征对语音语调进行分类2010；获得说话者在一个特定环境和背景下的语音语调2020；对所获得语调进行预处理成，获得无声和有声片段并把有声部分分成一串相同长度的块2030，所述块带有基本的语音参数，所述参数包括音调和振幅参数；从所述基本参数中导出多个第二语音参数2040，所述第二语音参数包括在所述块串内的单位时间的平声、升调和降调趋势语调的总长度和平均长度；根据语音语调内的第二参数计算具有代表性的环境行为、心理和说话风格特征的特有语音参数、其组合以及所述参数的值2050；通过将计算出的参数和预定义的参考数据库进行比较对环境行为、心理和说话风格等特征进行判断和评估2060；然后输出分析结果2070。
与数据库的建立相类似，在本发明的一些实施方式中，对多个第二参数的导出集中于在一个列表中对参数进行选择，此列表包括参数：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络样式，以及升调、降调和平声声调趋势的时间顺序样式。
图3是一个概括性的流程图，其显示了根据本发明所提出的计算机执行方法，在其一些实施方案中可能实行的一些额外的可选步骤，所述步骤用于分析说话者在特定环境和背景下的语音语调并确定所述说话者在所所述特定环境和背景下的行为、心理和说话风格的特征。
根据本发明的一些具体实施方式，所述分析方法还包括在语音参数参考数据库内预提取当前被分析的说话者的语音样本以识别说话者独有的说话方式的步骤3010，这样对说话者的当前分析就会成为说话者相关而不是与说话者无关，以增加对说话者的环境行为、心理和说话风格特征确定和评估的准确性。
根据本发明的一些具体实施方式，所述分析方法还包括重复分析同一说话者在多个不同环境中的语音，然后提取其在不同环境中的重复的和普遍的说话方式的步骤3020，以确定说话者的个性特征并将它们从环境特征中区别开来。
在本发明的一些具体实施方式中，所述分析方法还包括通过语音分析使用情绪检测以将说话者的当前情绪状态和环境状态区别开来的步骤3030，以增加环境行为、心理和说话风格的特征确定和评估的准确性。
在本发明的一些具体实施方式中，所述分析方法还包括使用基于语音识别的语音文字及内容的分析步骤3040，与语音的韵律分析构成互补，以增加环境行为、心理和说话方式特征的确定和评估的准确性。
在本发明的一些具体实施方式中，所述分析方法还包括通过对说话者的视觉分析，使用身体语言分析的步骤3050，与语音分析形成互补，以增加环境行为、心理和说话方式特征的确定和评估的准确性。
在本发明的一些具体实施方式中，所述分析方法还包括提供基于使用进行中的说话者的行为、心理和说话方式的特征分析的学习***以提高语音参数参考数据库和分类处理的准确性。
在本发明的一些具体实施方式中，所述分析方法还针对了包括多个说话者的语音语调，其中所述方法还包括区别开多个说话者的声音，所述方法的每次执行只对应单独的一个说话者。
图4是一个框架示意图，根据本发明的一些实施方式其显示了一个分析说话者语音语调并确定其在特定环境下的行为、心理以及说话风格特征的数据处理***。所述***4000包括：对说话者的声音进行采样或者直接取得声音样本的语音输入单元4010、一与所述语音输入单元4010相连接以对语音输入进行预处理的预处理单元4020、一与所述预处理单元4020相连接的主处理单元4030、一主指示信号输出单元4040；以及一与所述主处理单元4030相连接的说话者参考数据库4050。
运行时，语音输入单元4010用于对处于特定环境或背景的说话者的语音进行采样或者取得语音采样信号；预处理单元4020用于对采样了的语音信号进行处理，以取得无声和有声部分语音并把有声部分分成一串长度相同的块，所述块带有基本语音参数，包括语调和振幅参数。进一步，数据库4050用于存储行为、心理和说话风格的分类以及其具有代表性的第二语音参数和参数的组合，其中这些参数从一个列表中选择，此列表包括：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络样式，以及声调、降调和平声声调趋势的时间顺序样式；进一步，主处理单元4030用于从当前分析的语音语调中取得多个从包含有所述第二语音参数目录中选择的第二语音参数的值；所述主处理单元4030还用于从所述语音语调的第二参数中计算环境行为、心理和说话风格特征的特有的并具代表性的参数、参数的组合以及它们的值；所述主处理单元还用于通过将所述参数与预定义的语音参数的参考数据库进行比较以对环境行为、心理和说话风格特征进行确定和评估。最后，主指示单元4040用于输出分析结果。
在本发明的一些具体实施方式中，输出单元4040包括了至少一个以下接口：视觉、音频、存储、文字、监测设备接口、互联网接口、本地和远程设备或者计算机接口、跨网络接口、有线、无线或者蜂窝电话接口、电脑游戏接口、玩具接口、个人电子记事本接口，以及电子输出设备接口。
在本发明的一些具体实施方式中，***4000在通信***内实施，所述通信***选自一组群包括：语音通信***、无线或者有线通信***、蜂窝通信网络、基于网页的通信***、其它IP语音通信***，以及电话局通信***。
在本发明的一些具体实施方式中，***4000可用于至少一个以下用途：自我反馈、自我了解、娱乐、行为训练、销售优化、客户服务优化、客户和商业智能、防卫和安全应用、商业协商、广告、提亲、约会、消遣、游戏、玩具、辅导、人力资源应用、行政培训、雇员和职业培训、心理和教育应用，以及医学应用。
在本发明的一些具体实施方式中，数据库4050还包括预先得到的当前分析的说话者的语音样本以识别所述说话者独有的语音样式，这样对所述说话者的当前分析会成为说话者相关的而不是说话者无关的，以增加环境行为、心理和说话方式特征的确定和评估的准确性。
在本发明的一些具体实施方式中，***4000还用于重复地分析同一说话者在数个不同环境中的语音样本，并提取其在不同环境中重复出现的具有普遍性的说话方式，以确定所述说话者的个性特征并将这些个性特征与环境特征分开来。
在本发明的一些具体实施方式中，所述***4000还使用基于语音分析的情绪检测以将当前情绪状态从环境特征中区别开来，以增加环境行为、心理和说话方式特征的确定和评估的准确性。
在本发明的一些具体实施方式中，所述***4000还使用基于语音识别技术的语音文字和内容的分析，与韵律语音分析形成互补，以增加环境行为、心理和说话方式特征的确定和评估的准确性。
在本发明的一些具体实施方式中，所述***4000还使用了基于说话者的视觉分析的身体语言分析，与语音分析形成互补，以增加环境行为、心理和说话方式的特征确定和评估的准确性。
在本发明的一些具体实施方式中，所述***4000还提供了基于使用进行中的说话者的行为、心理和说话方式特征分析的学习***，以增强语音参数参考数据库和分类处理。
在本发明的一些具体实施方式中，所述***4000还关注包含有多个说话者的语音语调，其中所述***4000用于区分开多个说话者的声音并且其每次执行只单独分析一个说话者。
图5是一个概括性的***方框图，其显示了一个在本发明的一些实施方式中的用于通过分析一个说话者的语音语调而确定其在一个特定的环境和背景下的行为、心理和说话方式特征的装置。装置5000包括：一用于对说话者的语音进行采样或者取得语音采样信号的语音输入单元5010、一与所述语音输入单元5010相连接并用于对从语音输入单元5010输入的采样信号进行预处理的预处理单元5020、一与所述预处理单元5020相连接的主处理单元5030；以及一与所述主处理单元5030相连接的主指示信号输出单元5040。
运行时，语音输入单元5010用于对说话者的在某特定环境和背景下的语音进行采样或者直接取得语音采样信号；预处理单元5020用于对采样的语音信号进行预处理，以取得无声和有声两个部分信号并把有声部分分成一串长度相同的块。所述块带有基本的语音参数，所述参数包括语调和振幅参数。进一步，所述装置5000与一个用于存储说话者的行为、心理和和说话方式分类以及它们的具代表性的第二语音参数、所述参数组合的参考数据库相关联，其中这些参数从一个参数目录中选出，所述参数目录包括：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络样式，以及声调、降调和平声声调趋势的时间顺序样式。
进一步，所述主处理单元5030还用于从当前分析的语音语调中根据所述第二语音参数列表取得多个第二语音参数。主处理单元5030还用于计算环境行为、心理和说话风格特征的独有并具有代表性的语音参数、参数的组合以及所述参数的值；所述主处理单元5030还能用于通过将计算出的参数与预定义的参考数据库进行比较以对语音语调中的环境行为、心理和说话方式特征进行确定和评估。最后，主指示信号输出单元5040用于输出分析结果。
在本发明的一些具体实施方式中，所述装置5000包含有至少一个以下用途：自我反馈、自我了解、娱乐、行为训练、销售优化、客户服务优化、客户和商业智能、防卫和安全应用、商业协商、广告、提亲、约会、消遣、游戏、玩具、辅导、人力资源应用、行政培训、雇员和职业培训、心理和教育应用，以及医学应用。
在本发明的一些具体实施方式中，所述装置5000 选自一个列表，所述列表包括：声音通信设备、有线或者无线声音设备、蜂窝通信设备、联网的（或非联网的）个人掌上电脑（PDA）、录音设备、个人电脑和服务器。
在本发明的一些具体实施方式中，所述输出单元5040包括至少一个以下接口：视觉、音频、存储、文字、监测设备接口、互联网接口、本地和远程设备或者计算机接口、跨网络接口、有线、无线或者蜂窝电话接口、电脑游戏接口、玩具接口、个人电子记事本接口，以及电子输出设备接口。
在本发明的一些具体实施方式中，本发明的所述计算机执行方法、数据处理***、和计算机程序产品可以在一个有线或者无线的通讯***中实施。特别地，本发明可以在一个蜂窝通信***中实施。本发明在一些实施方案中也可以用于实时环境中，或者可选地，用于离线语音分析***。
在一些实施方式中，本发明可以为多个架构。比如，提供一个执行以上所述的步骤的中心分析模块，以处理经过一个处于任何物理位置的蜂窝电话服务商的中心服务器的电话语音数据。
在另外一些实施方式中，本发明可以作为一个单机模块实施，所述单机模块可以作为软件或者硬件整合到一个通信装置中，比如语音通信设备。例如，提供一个分析模块以执行以上步骤，以处理经过特定用户的蜂窝电话设备的语音数据。
可选地，本发明的实施可以用于，但不局限于，分析处于对话中的说话者中的一个或者全部，以用于自我反馈、自我了解、娱乐、行为训练、销售优化、客户服务优化、客户和商业智能、防卫和安全应用、商业协商、广告、提亲、约会、消遣、游戏、玩具、辅导、人力资源应用、行政培训、雇员和职业培训、心理和教育应用，以及医学应用等等。
在一些实施方式中，本发明的所述计算机执行方法、数据处理***、装置和计算机程序产品可以在电话中心和呼叫中心的实时或者离线对话语音分析中实施，以改进其服务，销售、客户服务、培训及其它组织目的。
在一些实施方式中，本发明提供了有线电话对话的实时和离线语音分析，分析对话中的一个或者全部说话者，以达到与以上所述相同的目的。
在一些实施方式中，本发明提供了基于网页对话的实时和离线语音分析，分析对话中的其中一方或者两方，以达到与以上所述相同的目的。
在一些实施方式中，本发明提供了面对面对话的实时和离线语音分析，分析其中一方或者两方，以达到与以上所述相同的目的。
在一些实施方式中，本发明提供了任何录音的实时和离线语音分析，无论是对话还是观众前的个人演讲，分析其中一方或者两方，以达到与以上所述相同的目的。
有优势的是，对人们的交流、心理、个人和行为的特征的评估为不同的应用提供了重大的意义。首先，其为说话者本身提供了评估数据，因此促进了认识、发展和不同的学习用途。另外，对于那些想从说话者中学到些什么，或者帮助说话者，又或者为了更好地与说话者互动，以达到不同目的的人们来说，这些目的可以是个人、商业、教育、职业、医学、心理上的等等，所述评估数据是非常重要的。
在本发明的一些实施方式中，所述***可以在数字电子电路，或者电脑硬件、固件、软件或者它们的组合中实施。
本发明可以在一个或者多个可在可编程***上执行的计算机程序中实施，所述可编程***包括至少一个可以接收和传输数据和指令的可编程处理器、一存储***、至少一个输入设备，和至少一个输出设备。计算机程序是一组可以在电脑中直接或者间接使用的以执行某一活动或者带来某一结果的指令。计算机程序可以使用任何计算机语言编写，包括汇编或者解释语言，其可以部署为任何形式，包括单机程序或者作为一个模块、组件、子程序、或者其它适用于电脑环境的形式。
适用于执行指令程序的处理器包括，举例来说，数字信号处理器（DSP）、普通用途的微处理器以及任何电脑的单核或多核处理器。一般说来，处理器从只读存储器或/和随机存取存储器中接收指令和数据。计算机***的核心组件包括执行指令的处理器和一个或者多个存储指令和数据的存储器。一般说来，一台电脑还包括一个或者多个用于存储数据文件的大容量数据存储设备；这些设备包括磁盘，比如内置硬盘或者可移动硬盘；磁光碟和光盘。适用于承载电脑程序指令和数据的存储设备包括任何形式的非易失性存储器，比如属于半导体存储器设备的EPROM、EEPROM或闪存设备；属于磁盘的内置硬盘或外置硬盘；光磁盘；CD-ROM或者DVD-ROM设备。所述处理器和存储器可以通过ASICs（专用接口集成电路）得到补充或者合成一体。
在以上的说明中，一个实施方式是本发明的一个例子或者一个具体实施。“一种实施方式”、“一个实施方式”或者“多个实施方式”的不同表示并不是必须得指向相同的实施方式。
尽管本发明的许多不同的特征可能在单一的实施方式中的得以描述，所述特征也可以单独或者以任何合适的组合形式而得以实施，本发明也可以在一单一的实施方式中实现。
在说明书中提及的“一些实施方式”、“一种实施方式”、“一个实施方式”或者“其它实施方式”意味着一个特定的与所述实施方式相联系的特征、结构或者性质被包括在至少一些具体实施中，但并不必须是所有的实施方式。
应明白这里所使用的说法和术语并不用于限制用途而是用于描述的用途。
结合附属的详细说明、图表和范例，本发明的原理和用途可以得到更好的说明。
应明白这里详细描述的细节并不构成对本发明应用的限制。
另外，还需明白本发明可以通过不同的方式得以贯彻或者实施，因而本发明除了以上所述的实施方式外，其还可以通过其它的方式得以实施。
应明白术语“包括”、“包含”、“由…组成”以及其语法上的变更并不排除额外的一个或者多个组件、特征、步骤或者上述个体的组合，因而所述术语只是用于具体说明组件、特征以及步骤。
如果所述说明书或者权利要求提及“一额外的”组件，这并不妨碍超过一个额外的组件存在。
应明白在权利要求或说明书中提及“一个”部件时，这并不意味着只有一个此类部件。
应明白在说明书中陈述到一个部件、特征、结构或者特性“可能”、“可以”被包括在内时，所述特定的部件、特征、结构或特性并不必须被包括在内。
在应用时，尽管状态图、流程图或者两者都被用于描述实施方案，本发明并不被限制在此类图表中或者其相应的描述中。举例来说，流程并不需要经过所有所描述的步骤或者状态，或者按照与所描述或显示的流程完全相同的顺序进行。
本发明所提出的方法可以通过人工、自动或者所述两者的组合执行或者完成所选择的步骤或者任务而得以实施。
所述术语“方法”可以为用于完成一个特定任务的方式、手段、技巧和程序，这些方式、手段、技巧和程序是公知的或者是由本发明所属于的技术领域中的从业者从公知的方式、手段、技巧和程序中可较为容易地发展出来的。
在权利要求和说明书中出现的所述说明、例子、方法和材料并不能解释为限制性的而应解释为只是解说性的。
此中使用的技术和科学术语的意思通常可以被本发明所属的技术领域中的技术人员所理解，否则会被明确定义。
本发明可以使用与以上所描述的相当的方法和材料在试验和实践中实施。
任何出版物，包括在本说明书中所引用或涉及的专利、专利应用和文章，于此整体引入本说明书，如同此中每一被特别和单独指出的出版物。另外，在本发明的一些具体实施方式中对任何参考文献的引用和验证都不应被解释为承认所述文献为本发明的现有技术。
本说明书结合数量有限的具体实施方式对本发明进行了说明，但这些实施方式不应被理解成对本发明的限制，而应该被理解为本发明的一些实施范例。其它可能的变更、修改和应用也处于本发明的保护范围内。相应地，本发明的范围不应被所描述的实施内容所限制，而应该被附属的权利要求以及其合法的等同物所界定。
Claims (27)
1.一种建立用于根据不同的行为、心理和说话风格的特征以对语音语调进行分类的语音参数参考数据库的计算机执行方法，所述计算机执行方法包括：
人工选择某一语境；
人工选择要分析的并处于所选择语境中的行为、心理和说话风格特征；
获得人们在所选择的语境中的多个语音语调；
将语音语调人工分成代表类似行为、心理和说话风格特征的组；
将所述代表类似行为、心理和说话风格特征的组中的每一段语音预处理成无声和有声片段；
将有声语音片段分成一串长度相同的块，所述块带有包括有音调和振幅参数的基本语音参数；
从基本语音参数中导出多个第二语音参数，其中所述选择的多个语音参数包括以下参数中至少一个：所述块串内的每一时间单位内所包含的平声、升调和降调趋势片段的总和，以及所述块串内的平声、升调和降调趋势片段的平均长度；和
从所述第二参数中确定每组语音所特有的第二语音参数、参数的组合和所述参数的值，其中所述特有的第二参数是所述组内语音片段所共有并代表了每一组语音的典型行为、心理或者说话风格特征。
2.根据权利要求1所述的方法，其中导出的多个第二语音参数包括以下参数中的至少一项：平均停顿长度、单位时间内的总停顿长度、短时沉默的平均长度、单位时间内短时沉默的总长度、平声片段的平均长度、单位时间内平声片段的总长度、升调片段的平均长度、单位时间内升调片段的总长度、降调片段的平均长度、单位时间内降调片段的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状和频谱包络样式，以及平声、升调和降调趋势的时间顺序样式。
3.一种分析说话者在特定环境和背景下的语音语调并确定说话者在所述特定的环境下的行为、心理和说话风格特征的计算机执行方法，所述计算机执行方法包括：
建立一个语音参数参考数据库以根据不同的行为、心理和说话风格特征对语音语调进行分类；
获得说话者在一个特定环境和背景下的语音语调；
将所获得语音语调预处理成无声和有声片段并把有声片段分成一串相同长度的块，所述块带有包括音调和振幅参数的基本语音参数；和
从所述基本参数中导出多个第二语音参数，其中所述多个选择的语音参数包括以下参数中至少一个：所述块串内的每一时间单位内所包含的平声、升调和降调趋势片段的总和，以及所述块串内的平声、升调和降调趋势片段的平均长度；
根据语音语调内的所述第二参数计算具有代表性的环境行为、心理和说话风格特征的特有语音参数、参数的组合以及所述参数的值；
通过将计算出的参数与预定义的参考数据库进行比较对环境行为、心理和说话风格的特征进行判断和评估；
输出判断和评估结果。
4.根据权利要求3所述的方法，其中所导出的多个第二语音参数包括以下参数中的至少一项：平均停顿长度、单位时间内的总停顿长度、短时沉默的平均长度、单位时间内短时沉默的总长度、平声片段的平均长度、单位时间内平声片段的总长度、升调片段的平均长度、单位时间内升调片段的总长度、降调片段的平均长度、单位时间内降调片段的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状和频谱包络样式，以及平声、升调和降调趋势的时间顺序样式。
5.根据权利要求4所述的方法，其中建立一个对语音语调进行分类的语音参数参考数据库包括：
人工选择某一语境；
人工选择所要分析的并处于所选择语境中的行为、心理和说话风格特征；
获得人们在所选择的语境中的多个语音语调；
将语音语调人工分成代表类似行为、心理和说话风格特征的组；
将所述代表类似行为、心理和说话风格特征的组中的每一段语音预处理成无声和有声片段；
将有声语音片段分成一串长度相同的块，所述块带有包括有音调和振幅参数的基本语音参数；
导出多个第二语音参数，其中所述多个选择的语音参数包括以下参数中至少一个：平均停顿长度、单位时间内的总停顿长度、短时沉默的平均长度、单位时间内短时沉默的总长度、平声片段的平均长度、单位时间内平声片段的总长度、升调片段的平均长度、单位时间内升调片段的总长度、降调片段的平均长度、单位时间内降调片段的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状和频谱包络样式，以及平声、升调和降调趋势的时间顺序样式；和
从所述第二语音参数中确定每组所特有的第二语音参数、参数的组合和所述参数的值，其中所述特有的第二参数是所述组内语音片段所共有的并代表了每一组语音的典型行为、心理或者说话风格特征。
6.根据权利要求5所述的方法，其还包含有预先获得的包括在语音参数参考数据库内的当前分析的说话者的语音样本，以识别说话者独有的说话方式，这样对说话者的当前分析就会成为说话者相关的而不是说话者无关的，以增加说话者的环境行为、心理和说话风格特征确认和评估的准确性。
7.根据权利要求5所述的方法，其还包括对在不同环境中的同一说话者进行分析，并进一步提取其在不同环境中重复出现并具有普遍性的语音样式，以确认所述说话者的个性特征并将所述个性特征与环境特征区别开来。
8.根据权利要求5所述的方法，其还包括使用基于语音分析的情绪检测以将说话者的当前情绪状态同环境特征区分开来，以增加说话者的环境行为、心理和说话风格特征确认和评估的准确性。
9.根据权利要求5所述的方法，其还包括使用基于语音识别技术的语音文字和内容分析，与韵律语音分析形成互补，以增加说话者的环境行为、心理和说话风格特征确认和评估的准确性。
10.根据权利要求5所述的方法，其还包括使用基于说话者的视觉分析的身体语言分析，与语音分析形成互补，以增加说话者的环境行为、心理和说话风格特征确认和评估的准确性。
11.根据权利要求5所述的方法，其还包括使用进行中的说话者行为、心理和说话风格特征分析提供学习***的特性，以改进语音参数参考数据库和分类处理。
12.根据权利要求5所述的方法，其还关注包括有多个说话者的语音语调，其中所述方法还包括将多个说话者的声音区别开来而且所述方法的每一次执行只单独分析一个说话者。
13.一种用于分析一说话者在特定的环境和背景下的语音语调并确定所述说话者在所述特定环境和背景下的行为、心理和说话风格特征的数据处理***，所述***包括：
一语音输入单元，其用于：对说话者的声音进行采样或者接收说话者的声音样本信号；
一与所述语音输入单元相连接以对从语音输入单元输入的语音样本进行预处理的预处理单元；
一与所述预处理单元相连接的主处理单元；
与所述主处理单元相连接的输出单元以及说话者参考数据库；
其中所述预处理单元用于：
对语音的采样信号进行预处理，以取得无声和有声语音片段并把有声片段分成一串长度相同的块，所述块带有包括有语调和振幅参数的基本语音参数；
其中所述数据库用于根据基于其特有的第二语音参数以及所述参数的集合的行为、心理和说话风格特征对语音语调进行分类，其中所选的多个特有的第二语音参数包括一下参数中的至少一项：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络样式，以及声调、降调和平声声调趋势的时间顺序样式；
其中所述主处理单元用于：
从当前分析的语音语调中导出多个从包含有所述第二语音参数的列表中选择的第二语音参数；
根据所述语音语调的第二参数计算出具代表性的环境行为、心理和说话风格特征所特有的参数、参数的组合以及所述参数的值；
通过将所述参数与预定义的第二语音参数的参考数据库进行比较以对环境行为、心理和说话风格特征进行确定和评估；
其中所述输出单元用于输出分析结果。
14.根据权利要求13所述的***，其中所述输出单元包括以下接口中至少一种：视觉、音频、存储、文字、监测设备接口、互联网接口、本地和远程设备或者计算机接口、跨网络接口、有线、无线或者蜂窝电话接口、电脑游戏接口、玩具接口、个人电子记事本接口、以及电子输出设备接口。
15.根据权利要求13所述***，其中所述***可以在通信***内实施，所述通信***选自一组群包括：语音通信***、无线或者有线电话***、蜂窝通信网络、基于网页的通信***、其它IP语音通信***，或电话局通信***。
16.根据权利要求13所述***，其中所述***可以用于至少一个以下用途：自我反馈、自我了解、娱乐、行为训练、销售优化、客户服务优化、客户和商业智能、防卫和安全应用、商业协商、广告、提亲、约会、消遣、游戏、玩具、辅导、人力资源应用、行政培训、雇员和职业培训、心理和教育应用，以及医学应用。
17.根据权利要求13所述***，其中所述数据库还包括预先得到的当前分析的说话者的语音样本以识别所述说话者独有的说话方式，这样对所述说话者的当前分析会成为说话者相关的而不是说话者无关的，以增加环境行为、心理和说话方式特征确定和评估的准确性。
18.根据权利要求13所述***，其中所述***还用于重复地分析同一说话者在数个不同环境中的语音样本，并提取其在不同环境中重复出现的具有普遍性的语音样式，以确定所述说话者的个性特征并将这些个性特征与环境特征区分开来。
19.根据权利要求13所述***，其中所述***还使用基于语音分析的情绪检测以将当前情绪状态从环境特征中区别开来，以增加环境行为、心理和说话风格特征确定和评估的准确性。
20.根据权利要求13所述***，其中所述***还使用基于语音识别技术的语音文字和内容分析，与韵律语音分析形成互补，以增加环境行为、心理和说话风格特征确定和评估的准确性。
21.根据权利要求13所述***，其中所述***还使用了基于说话者的视觉分析的身体语言分析，与语音分析形成互补，以增加环境行为、心理和说话方式的特征确定和评估的准确性。
22.根据权利要求13所述***，其中所述***还提供了基于使用进行中的说话者的行为、心理和说话风格特征分析的学习***特性，以改进语音参数参考数据库和分类处理。
23.根据权利要求13所述***，其中所述***还关注包含有多个说话者的语音语调，其中所述***用于区分多个说话者的声音并每次执行只单独分析一个说话者。
24.一种用于通过分析一个说话者的语音语调而确定其在一个特定的环境和背景下的行为、心理和说话风格特征的装置，所述装置包括：
一用于对说话者的语音进行采样或者取得语音采样信号的语音输入单元；
一与所述语音输入单元相连接并用于对从语音输入单元输入的采样信号进行预处理的预处理单元；
一与所述预处理单元相连接的主处理单元；
以及一与所述主处理单元相连接的主指示信号输出单元；
其中所述预处理单元用于：
对采样的语音信号进行预处理，以取得无声和有声语音片段并把有声片段分成一串长度相同的块，所述块带有包括有语调和振幅参数的基本语音参数；
其中所述装置与一个参考数据库相关联，所述数据库用于根据基于其特有的第二语音参数以及所述参数的集合的行为、心理和说话风格特征对语音语调进行分类，其中所选的多个特有的第二语音参数包括一下参数中的至少一项：平均停顿长度、单位时间内的总停顿长度、平均短沉默长度、单位时间内短沉默的总长度、平声片段的平均长度、单位时间内平声的总长度、升调片段的平均长度、单位时间内升调的总长度、降调片段的平均长度、单位时间内降调的总长度、平声片段的平均振幅偏移、升调片段的平均振幅偏移、降调片段的平均振幅偏移、单位时间内的音调差异和范围、单位时间内的音调斜率、语音信号的时间频谱形状以及频谱包络样式，以及声调、降调和平声声调趋势的时间顺序样式；
其中所述主处理单元用于：
从当前分析的语音语调中导出多个从包含有所述第二语音参数的列表中选择的第二语音参数；
根据所述语音语调的第二参数计算出具代表性的环境行为、心理和说话风格特征的特有的参数、参数的组合以及它们的值；通过将所述参数与预定义的第二语音参数的参考数据库进行比较以对环境行为、心理和说话风格特征进行确定和评估；
其中所述主指示信号输出单元用于输出分析结果。
25.根据权利要求24所述的装置，其中所述装置包含有至少一个以下用途：自我反馈、自我了解、娱乐、行为训练、销售优化、客户服务优化、客户和商业智能、防卫和安全应用、商业协商、广告、提亲、约会、消遣、游戏、玩具、辅导、人力资源应用、行政培训、雇员和职业培训、心理和教育应用，以及医学应用。
26.根据权利要求24所述的装置，其中所述装置选自一个列表，所述列表包括：声音通信设备、有线或者无线声音设备、蜂窝通信设备、联网的个人掌上电脑（PDA）、非联网的PDA、录音设备、个人电脑和服务器。
27.根据权利要求24所述的装置，其中所述输出单元包括至少一个以下接口：视觉、音频、存储、文字、监测设备接口、互联网接口、本地和远程设备或者计算机接口、跨网络接口、有线、无线或者蜂窝电话接口、电脑游戏接口、玩具接口、个人电子记事本接口，以及电子输出设备接口。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/140,413 US8195460B2 (en) | 2008-06-17 | 2008-06-17 | Speaker characterization through speech analysis |
| US12/140,413 | 2008-06-17 | ||
| PCT/IL2009/000604 WO2009153788A2 (en) | 2008-06-17 | 2009-06-17 | Speaker characterization through speech analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102124515A true CN102124515A (zh) | 2011-07-13 |
| CN102124515B CN102124515B (zh) | 2012-09-12 |
Family
ID=41210901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801320343A Active CN102124515B (zh) | 2008-06-17 | 2009-06-17 | 基于语音分析的说话者表征 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US8195460B2 (zh) |
| EP (2) | EP2304718B1 (zh) |
| JP (1) | JP2011524551A (zh) |
| KR (1) | KR101683310B1 (zh) |
| CN (1) | CN102124515B (zh) |
| ES (2) | ES2896267T3 (zh) |
| WO (1) | WO2009153788A2 (zh) |
Cited By (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102419973A (zh) * | 2011-11-18 | 2012-04-18 | 中国科学院自动化研究所 | 一种声调评测方法 |
| CN102509550A (zh) * | 2011-11-18 | 2012-06-20 | 中国联合网络通信集团有限公司 | 声音信息的处理方法和用户设备 |
| CN104505102A (zh) * | 2014-12-31 | 2015-04-08 | 宇龙计算机通信科技(深圳)有限公司 | 身体状况检测的方法及装置 |
| CN104505103A (zh) * | 2014-12-04 | 2015-04-08 | 上海流利说信息技术有限公司 | 语音质量评价设备、方法和*** |
| CN105575404A (zh) * | 2016-01-25 | 2016-05-11 | 薛明博 | 一种基于语音识别的心理检测方法及*** |
| CN105609106A (zh) * | 2015-12-16 | 2016-05-25 | 魅族科技（中国）有限公司 | 记事文档生成方法和装置 |
| CN105989836A (zh) * | 2015-03-06 | 2016-10-05 | 腾讯科技（深圳）有限公司 | 一种语音采集方法、装置及终端设备 |
| WO2017084197A1 (zh) * | 2015-11-18 | 2017-05-26 | 深圳创维－Rgb电子有限公司 | 一种基于情感识别的智能家居控制方法及其*** |
| CN106796791A (zh) * | 2014-09-30 | 2017-05-31 | 苹果公司 | 扬声器识别和不受支持的扬声器适配技术 |
| CN106952645A (zh) * | 2017-03-24 | 2017-07-14 | 广东美的制冷设备有限公司 | 语音指令的识别方法、语音指令的识别装置和空调器 |
| CN103902629B (zh) * | 2012-12-28 | 2017-09-29 | 联想(北京)有限公司 | 利用语音提供操作帮助的电子设备和方法 |
| CN108154588A (zh) * | 2017-12-29 | 2018-06-12 | 深圳市艾特智能科技有限公司 | 解锁方法、***、可读存储介质及智能设备 |
| CN109344229A (zh) * | 2018-09-18 | 2019-02-15 | 深圳壹账通智能科技有限公司 | 对话分析评价的方法、装置、计算机设备和存储介质 |
| CN109961804A (zh) * | 2019-02-12 | 2019-07-02 | 百度在线网络技术（北京）有限公司 | 智能设备满意度评估方法、装置及存储介质 |
| CN111326136A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| US10748644B2 (en) | 2018-06-19 | 2020-08-18 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| CN112086085A (zh) * | 2020-08-18 | 2020-12-15 | 珠海市杰理科技股份有限公司 | 音频信号的和声处理方法、装置、电子设备和存储介质 |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11120895B2 (en) | 2018-06-19 | 2021-09-14 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| CN114299921A (zh) * | 2021-12-07 | 2022-04-08 | 浙江大学 | 一种语音指令的声纹安全性评分方法和*** |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8195460B2 (en) * | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
| WO2010041507A1 (ja) * | 2008-10-10 | 2010-04-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 会話における特定状況を抽出するシステムおよび方法 |
| JP5456370B2 (ja) * | 2009-05-25 | 2014-03-26 | 任天堂株式会社 | 発音評価プログラム、発音評価装置、発音評価システムおよび発音評価方法 |
| JP5834449B2 (ja) * | 2010-04-22 | 2015-12-24 | 富士通株式会社 | 発話状態検出装置、発話状態検出プログラムおよび発話状態検出方法 |
| US8417530B1 (en) * | 2010-08-20 | 2013-04-09 | Google Inc. | Accent-influenced search results |
| US8990094B2 (en) * | 2010-09-13 | 2015-03-24 | Qualcomm Incorporated | Coding and decoding a transient frame |
| US8862465B2 (en) * | 2010-09-17 | 2014-10-14 | Qualcomm Incorporated | Determining pitch cycle energy and scaling an excitation signal |
| US8918197B2 (en) * | 2012-06-13 | 2014-12-23 | Avraham Suhami | Audio communication networks |
| US9082408B2 (en) | 2011-06-13 | 2015-07-14 | Mmodal Ip Llc | Speech recognition using loosely coupled components |
| JP5707346B2 (ja) * | 2012-01-24 | 2015-04-30 | 東芝テック株式会社 | 情報提供装置とそのプログラムおよび情報提供システム |
| US20130325483A1 (en) * | 2012-05-29 | 2013-12-05 | GM Global Technology Operations LLC | Dialogue models for vehicle occupants |
| US9257122B1 (en) | 2012-08-06 | 2016-02-09 | Debra Bond Cancro | Automatic prediction and notification of audience-perceived speaking behavior |
| WO2014061015A1 (en) * | 2012-10-16 | 2014-04-24 | Sobol Shikler Tal | Speech affect analyzing and training |
| KR101410163B1 (ko) * | 2013-01-02 | 2014-06-20 | 포항공과대학교 산학협력단 | 통계적 음성 언어 이해 방법 |
| US20140229181A1 (en) * | 2013-02-12 | 2014-08-14 | Daniel Begel | Method and System to Identify Human Characteristics Using Speech Acoustics |
| US9734819B2 (en) | 2013-02-21 | 2017-08-15 | Google Technology Holdings LLC | Recognizing accented speech |
| DE102013101871A1 (de) * | 2013-02-26 | 2014-08-28 | PSYWARE GmbH | Wortwahlbasierte Sprachanalyse und Sprachanalyseeinrichtung |
| CN104123938A (zh) * | 2013-04-29 | 2014-10-29 | 富泰华工业（深圳）有限公司 | 语音控制***、电子装置及语音控制方法 |
| US20140337034A1 (en) * | 2013-05-10 | 2014-11-13 | Avaya Inc. | System and method for analysis of power relationships and interactional dominance in a conversation based on speech patterns |
| US20150064669A1 (en) * | 2013-09-03 | 2015-03-05 | Ora GOLAN | System and method for treatment of emotional and behavioral disorders |
| KR101478459B1 (ko) * | 2013-09-05 | 2014-12-31 | 한국과학기술원 | 언어 지연 치료 시스템 및 그 시스템 제어 방법 |
| JP5921507B2 (ja) * | 2013-09-26 | 2016-05-24 | 日本電信電話株式会社 | 対話傾向得点化装置、方法及びプログラム |
| US20150161843A1 (en) * | 2013-12-10 | 2015-06-11 | Spielo International Canada Ulc | Gaming Machine Adapts Game Based on Attributes of Player's Voice |
| JP6596924B2 (ja) * | 2014-05-29 | 2019-10-30 | 日本電気株式会社 | 音声データ処理装置、音声データ処理方法、及び、音声データ処理プログラム |
| US9418663B2 (en) * | 2014-07-31 | 2016-08-16 | Google Inc. | Conversational agent with a particular spoken style of speech |
| US9467718B1 (en) | 2015-05-06 | 2016-10-11 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a content commentary community |
| US10529328B2 (en) | 2015-06-22 | 2020-01-07 | Carnegie Mellon University | Processing speech signals in voice-based profiling |
| CN105096934B (zh) * | 2015-06-30 | 2019-02-12 | 百度在线网络技术（北京）有限公司 | 构建语音特征库的方法、语音合成方法、装置及设备 |
| US9865281B2 (en) | 2015-09-02 | 2018-01-09 | International Business Machines Corporation | Conversational analytics |
| US10268689B2 (en) | 2016-01-28 | 2019-04-23 | DISH Technologies L.L.C. | Providing media content based on user state detection |
| US10244113B2 (en) | 2016-04-26 | 2019-03-26 | Fmr Llc | Determining customer service quality through digitized voice characteristic measurement and filtering |
| US10984036B2 (en) | 2016-05-03 | 2021-04-20 | DISH Technologies L.L.C. | Providing media content based on media element preferences |
| US10339925B1 (en) * | 2016-09-26 | 2019-07-02 | Amazon Technologies, Inc. | Generation of automated message responses |
| KR101864824B1 (ko) * | 2016-11-03 | 2018-06-05 | 세종대학교산학협력단 | 발화자에 대한 신뢰도 측정 장치 및 방법 |
| US10347245B2 (en) * | 2016-12-23 | 2019-07-09 | Soundhound, Inc. | Natural language grammar enablement by speech characterization |
| US10390084B2 (en) | 2016-12-23 | 2019-08-20 | DISH Technologies L.L.C. | Communications channels in media systems |
| US10764381B2 (en) | 2016-12-23 | 2020-09-01 | Echostar Technologies L.L.C. | Communications channels in media systems |
| US11196826B2 (en) | 2016-12-23 | 2021-12-07 | DISH Technologies L.L.C. | Communications channels in media systems |
| EP3392884A1 (en) | 2017-04-21 | 2018-10-24 | audEERING GmbH | A method for automatic affective state inference and an automated affective state inference system |
| US10939833B2 (en) | 2017-05-01 | 2021-03-09 | Samsung Electronics Company, Ltd. | Determining artery location using camera-based sensing |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| EP3662470B1 (en) * | 2017-08-01 | 2021-03-24 | Dolby Laboratories Licensing Corporation | Audio object classification based on location metadata |
| KR102413282B1 (ko) * | 2017-08-14 | 2022-06-27 | 삼성전자주식회사 | 개인화된 음성 인식 방법 및 이를 수행하는 사용자 단말 및 서버 |
| KR101997161B1 (ko) * | 2017-12-04 | 2019-10-01 | 한국과학기술원 | 물리적 공간의 센서 데이터와 온라인 메신저 사용 데이터를 이용한 사용자 퍼소나 분류 방법 및 장치 |
| KR102585231B1 (ko) * | 2018-02-02 | 2023-10-05 | 삼성전자주식회사 | 화자 인식을 수행하기 위한 음성 신호 처리 방법 및 그에 따른 전자 장치 |
| JP7131077B2 (ja) * | 2018-05-24 | 2022-09-06 | カシオ計算機株式会社 | 会話装置、ロボット、会話装置制御方法及びプログラム |
| US11037550B2 (en) | 2018-11-30 | 2021-06-15 | Dish Network L.L.C. | Audio-based link generation |
| DK202070869A1 (en) * | 2020-12-22 | 2022-06-24 | Gn Audio As | Voice coaching system and related methods |
| KR102385176B1 (ko) | 2021-11-16 | 2022-04-14 | 주식회사 하이 | 심리 상담 장치 및 그 방법 |
| WO2023158050A1 (en) * | 2022-02-18 | 2023-08-24 | Samsung Electronics Co., Ltd. | Methods and electronic device for providing interaction with virtual assistant |
| KR102495725B1 (ko) | 2022-03-25 | 2023-02-07 | 주식회사 하이 | 자기 대화 장치 및 그 방법 |
| KR102481216B1 (ko) | 2022-03-25 | 2022-12-28 | 주식회사 하이 | 자기 대화 장치 및 방법 |
| CN116631446B (zh) * | 2023-07-26 | 2023-11-03 | 上海迎智正能文化发展有限公司 | 一种基于言语分析的行为方式分析方法及*** |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6006188A (en) | 1997-03-19 | 1999-12-21 | Dendrite, Inc. | Speech signal processing for determining psychological or physiological characteristics using a knowledge base |
| US6173260B1 (en) * | 1997-10-29 | 2001-01-09 | Interval Research Corporation | System and method for automatic classification of speech based upon affective content |
| US6151571A (en) * | 1999-08-31 | 2000-11-21 | Andersen Consulting | System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters |
| TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
| EP1256937B1 (en) * | 2001-05-11 | 2006-11-02 | Sony France S.A. | Emotion recognition method and device |
| EP1256931A1 (en) * | 2001-05-11 | 2002-11-13 | Sony France S.A. | Method and apparatus for voice synthesis and robot apparatus |
| IL144818A (en) | 2001-08-09 | 2006-08-20 | Voicesense Ltd | Method and apparatus for speech analysis |
| US20040054534A1 (en) * | 2002-09-13 | 2004-03-18 | Junqua Jean-Claude | Client-server voice customization |
| US8793127B2 (en) * | 2002-10-31 | 2014-07-29 | Promptu Systems Corporation | Method and apparatus for automatically determining speaker characteristics for speech-directed advertising or other enhancement of speech-controlled devices or services |
| KR100814143B1 (ko) * | 2003-10-03 | 2008-03-14 | 아사히 가세이 가부시키가이샤 | 데이터 처리 장치 및 데이터 처리 장치 제어 프로그램 |
| US20060122834A1 (en) * | 2004-12-03 | 2006-06-08 | Bennett Ian M | Emotion detection device & method for use in distributed systems |
| US7995717B2 (en) * | 2005-05-18 | 2011-08-09 | Mattersight Corporation | Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto |
| EP2122610B1 (en) * | 2007-01-31 | 2018-12-26 | Telecom Italia S.p.A. | Customizable method and system for emotional recognition |
| US8195460B2 (en) * | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
-
2008
- 2008-06-17 US US12/140,413 patent/US8195460B2/en active Active
-
2009
- 2009-06-17 ES ES18153091T patent/ES2896267T3/es active Active
- 2009-06-17 ES ES09766323.1T patent/ES2668969T3/es active Active
- 2009-06-17 KR KR1020117001201A patent/KR101683310B1/ko active IP Right Grant
- 2009-06-17 EP EP09766323.1A patent/EP2304718B1/en active Active
- 2009-06-17 JP JP2011514199A patent/JP2011524551A/ja active Pending
- 2009-06-17 WO PCT/IL2009/000604 patent/WO2009153788A2/en active Application Filing
- 2009-06-17 EP EP18153091.6A patent/EP3396668B1/en active Active
- 2009-06-17 CN CN2009801320343A patent/CN102124515B/zh active Active
-
2012
- 2012-05-07 US US13/465,487 patent/US8682666B2/en active Active
Cited By (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| CN102419973A (zh) * | 2011-11-18 | 2012-04-18 | 中国科学院自动化研究所 | 一种声调评测方法 |
| CN102509550A (zh) * | 2011-11-18 | 2012-06-20 | 中国联合网络通信集团有限公司 | 声音信息的处理方法和用户设备 |
| CN102419973B (zh) * | 2011-11-18 | 2013-06-19 | 中国科学院自动化研究所 | 一种声调评测方法 |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| CN103902629B (zh) * | 2012-12-28 | 2017-09-29 | 联想(北京)有限公司 | 利用语音提供操作帮助的电子设备和方法 |
| US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| CN106796791A (zh) * | 2014-09-30 | 2017-05-31 | 苹果公司 | 扬声器识别和不受支持的扬声器适配技术 |
| CN104505103A (zh) * | 2014-12-04 | 2015-04-08 | 上海流利说信息技术有限公司 | 语音质量评价设备、方法和*** |
| CN104505102A (zh) * | 2014-12-31 | 2015-04-08 | 宇龙计算机通信科技(深圳)有限公司 | 身体状况检测的方法及装置 |
| CN105989836A (zh) * | 2015-03-06 | 2016-10-05 | 腾讯科技（深圳）有限公司 | 一种语音采集方法、装置及终端设备 |
| US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US10013977B2 (en) | 2015-11-18 | 2018-07-03 | Shenzhen Skyworth-Rgb Electronic Co., Ltd. | Smart home control method based on emotion recognition and the system thereof |
| WO2017084197A1 (zh) * | 2015-11-18 | 2017-05-26 | 深圳创维－Rgb电子有限公司 | 一种基于情感识别的智能家居控制方法及其*** |
| CN105609106A (zh) * | 2015-12-16 | 2016-05-25 | 魅族科技（中国）有限公司 | 记事文档生成方法和装置 |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| CN105575404A (zh) * | 2016-01-25 | 2016-05-11 | 薛明博 | 一种基于语音识别的心理检测方法及*** |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| CN106952645A (zh) * | 2017-03-24 | 2017-07-14 | 广东美的制冷设备有限公司 | 语音指令的识别方法、语音指令的识别装置和空调器 |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| CN108154588A (zh) * | 2017-12-29 | 2018-06-12 | 深圳市艾特智能科技有限公司 | 解锁方法、***、可读存储介质及智能设备 |
| CN108154588B (zh) * | 2017-12-29 | 2020-11-27 | 深圳市艾特智能科技有限公司 | 解锁方法、***、可读存储介质及智能设备 |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11942194B2 (en) | 2018-06-19 | 2024-03-26 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| US10748644B2 (en) | 2018-06-19 | 2020-08-18 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| US11120895B2 (en) | 2018-06-19 | 2021-09-14 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| CN109344229A (zh) * | 2018-09-18 | 2019-02-15 | 深圳壹账通智能科技有限公司 | 对话分析评价的方法、装置、计算机设备和存储介质 |
| CN109961804B (zh) * | 2019-02-12 | 2021-11-02 | 百度在线网络技术（北京）有限公司 | 智能设备满意度评估方法、装置及存储介质 |
| CN109961804A (zh) * | 2019-02-12 | 2019-07-02 | 百度在线网络技术（北京）有限公司 | 智能设备满意度评估方法、装置及存储介质 |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| CN111326136A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| CN111326136B (zh) * | 2020-02-13 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
| CN112086085A (zh) * | 2020-08-18 | 2020-12-15 | 珠海市杰理科技股份有限公司 | 音频信号的和声处理方法、装置、电子设备和存储介质 |
| CN112086085B (zh) * | 2020-08-18 | 2024-02-20 | 珠海市杰理科技股份有限公司 | 音频信号的和声处理方法、装置、电子设备和存储介质 |
| CN114299921A (zh) * | 2021-12-07 | 2022-04-08 | 浙江大学 | 一种语音指令的声纹安全性评分方法和*** |
| CN114299921B (zh) * | 2021-12-07 | 2022-11-18 | 浙江大学 | 一种语音指令的声纹安全性评分方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2304718B1 (en) | 2018-01-24 |
| EP3396668A1 (en) | 2018-10-31 |
| ES2668969T3 (es) | 2018-05-23 |
| ES2896267T3 (es) | 2022-02-24 |
| WO2009153788A2 (en) | 2009-12-23 |
| EP2304718A2 (en) | 2011-04-06 |
| KR20110043600A (ko) | 2011-04-27 |
| WO2009153788A3 (en) | 2010-03-18 |
| EP3396668B1 (en) | 2021-07-28 |
| KR101683310B1 (ko) | 2016-12-06 |
| US20120221336A1 (en) | 2012-08-30 |
| US8195460B2 (en) | 2012-06-05 |
| US8682666B2 (en) | 2014-03-25 |
| US20090313018A1 (en) | 2009-12-17 |
| JP2011524551A (ja) | 2011-09-01 |
| CN102124515B (zh) | 2012-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102124515B (zh) | 基于语音分析的说话者表征 | |
| Pardo et al. | Phonetic convergence across multiple measures and model talkers | |
| Morrison et al. | Ensemble methods for spoken emotion recognition in call-centres | |
| US8788270B2 (en) | Apparatus and method for determining an emotion state of a speaker | |
| McKechnie et al. | Automated speech analysis tools for children’s speech production: A systematic literature review | |
| Polzehl | Personality in speech | |
| Szameitat et al. | Acoustic correlates of emotional dimensions in laughter: arousal, dominance, and valence | |
| US10052056B2 (en) | System for configuring collective emotional architecture of individual and methods thereof | |
| JP2006267465A (ja) | 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体 | |
| CN102184654B (zh) | 诵读监督方法及装置 | |
| US20180308501A1 (en) | Multi speaker attribution using personal grammar detection | |
| KR102444012B1 (ko) | 말 장애 평가 장치, 방법 및 프로그램 | |
| CN111179965A (zh) | 一种宠物情绪识别方法及*** | |
| Voeten | Individual differences in the adoption of sound change | |
| Li et al. | Variation in global and intonational pitch settings among black and white speakers of Southern American English | |
| US20210006516A1 (en) | Audio processing for voice simulated noise effects | |
| Wang | Detecting pronunciation errors in spoken English tests based on multifeature fusion algorithm | |
| Huang et al. | Research on music emotion intelligent recognition and classification algorithm in music performance system | |
| Sanker | How do headphone checks impact perception data? | |
| Gilbers | Ambitionz az a Ridah: 2Pac's changing accent and flow in light of regional variation in African-American English speech and hip-hop music | |
| Hosain et al. | EmoBone: A Multinational Audio Dataset of Emotional Bone Conducted Speech | |
| Skarnitzl et al. | Tuning the performance of automatic speaker recognition in different conditions: effects of language and simulated voice disguise. | |
| Liu | Voice stress analysis: Detection of deception | |
| TWI534649B (zh) | Interactive electronic kanban system | |
| Jose | Speaker and Gender Identification Using Bioacoustic Data Sets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |