CN102792374B - 多通道音频中语音相关通道的缩放回避的方法和*** - Google Patents
多通道音频中语音相关通道的缩放回避的方法和*** Download PDFInfo
- Publication number
- CN102792374B CN102792374B CN201180012782.5A CN201180012782A CN102792374B CN 102792374 B CN102792374 B CN 102792374B CN 201180012782 A CN201180012782 A CN 201180012782A CN 102792374 B CN102792374 B CN 102792374B
- Authority
- CN
- China
- Prior art keywords
- voice
- passage
- signal
- channel
- attenuation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000004044 response Effects 0.000 claims abstract description 96
- 230000005236 sound signal Effects 0.000 claims abstract description 92
- 238000001914 filtration Methods 0.000 claims abstract description 45
- 239000004568 cement Substances 0.000 claims description 72
- 230000002596 correlated effect Effects 0.000 claims description 63
- 230000001276 controlling effect Effects 0.000 claims description 50
- 238000005728 strengthening Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 230000001105 regulatory effect Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 108010094028 Prothrombin Proteins 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 4
- AGVAZMGAQJOSFJ-WZHZPDAFSA-M cobalt(2+);[(2r,3s,4r,5s)-5-(5,6-dimethylbenzimidazol-1-yl)-4-hydroxy-2-(hydroxymethyl)oxolan-3-yl] [(2r)-1-[3-[(1r,2r,3r,4z,7s,9z,12s,13s,14z,17s,18s,19r)-2,13,18-tris(2-amino-2-oxoethyl)-7,12,17-tris(3-amino-3-oxopropyl)-3,5,8,8,13,15,18,19-octamethyl-2 Chemical compound [Co+2].N#[C-].[N-]([C@@H]1[C@H](CC(N)=O)[C@@]2(C)CCC(=O)NC[C@@H](C)OP(O)(=O)O[C@H]3[C@H]([C@H](O[C@@H]3CO)N3C4=CC(C)=C(C)C=C4N=C3)O)\C2=C(C)/C([C@H](C\2(C)C)CCC(N)=O)=N/C/2=C\C([C@H]([C@@]/2(CC(N)=O)C)CCC(N)=O)=N\C\2=C(C)/C2=N[C@]1(C)[C@@](C)(CC(N)=O)[C@@H]2CCC(N)=O AGVAZMGAQJOSFJ-WZHZPDAFSA-M 0.000 description 4
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000013016 damping Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009736 wetting Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0324—Details of processing therefor
- G10L21/034—Automatic adjustment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波以改善由该信号确定的语音的可辨识度的方法和***。在典型实施例中,该方法包括步骤:确定指示由该语音通道确定的语音相关内容与由该非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值,以及响应于该至少一个衰减控制值对该非语音通道进行衰减。典型地,该衰减步骤包括响应于该至少一个衰减控制值对该非语音通道的原始衰减控制信号(例如,回避增益控制信号)进行缩放。一些实施例是通用或专用处理器,用软件或固件编程和/或以其他方式配置为执行根据本发明的滤波。
Description
相关申请的交叉引用
本申请要求2010年3月8日提交的美国专利临时申请No.61/311,437的优先权,其整体通过引用合并于此。
技术领域
本发明涉及用于改善由多通道音频信号确定的人类语音(例如对话)的可辨识度的***和方法。在一些实施例中,本发明是一种方法和***,其通过确定指示由语音通道确定的语音相关内容与由非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值,并响应于该衰减控制值对该非语音通道进行衰减,来对具有语音通道和非语音通道的音频信号进行滤波以改善由信号确定的语音可辨识度。
背景技术
贯穿本公开,包括在权利要求书中,术语“语音”用于广义上指示人类语音。因此,由音频信号确定的“语音”是指信号中在由扬声器(或其他发声换能器)再现信号时感知为人类语音(例如对话、独白、歌声或其他人类语音)的音频内容。根据本发明的典型实施例,由音频信号确定的语音的可听度相对于由信号确定的其他音频内容(例如乐器音乐或非语音声音效果)得到改善,由此改善语音的可辨识度(例如,清楚性或理解容易度)。
贯穿本公开,包括在权利要求书中,多通道音频信号中的一通道的“语音增强内容”这一表述是指增强由信号的另一通道(例如语音通道)确定的语音内容的可辨识度或其他感知品质的内容(由该通道确定)。
本发明的典型实施例假定多通道输入音频信号确定的语音的大部分由信号的中央通道确定。该假定与环绕声音产品惯例一致,根据该惯例,大部分语音通常置于仅一个通道(中央通道)中,大部分音乐、环境声音和音效通常混合到所有通道中(例如左通道、右通道、左环绕通道和右环绕通道以及中央通道)。
因此,多通道音频信号的中央通道将有时在这里称为“语音”通道,信号的全部其它通道(例如左通道、右通道、左环绕通道和右环绕通道)有时在这里称为“非语音”通道。类似地,由立体声信号的左和右通道之和产生的“中央”通道(其语音被移位到中央)有时在这里称为“语音”通道,通过从立体信号的左(或右)通道减去这样的中央通道而产生的“侧”通道将有时在这里称为“非语音”通道。
贯穿本公开,包括在权利要求书中,“对”信号或数据进行操作的表述(例如对信号或数据进行滤波、缩放或变换)用于广义上指示直接对信号或数据进行操作,或者对信号或数据的处理变体(例如,在对其执行操作之前已经经历了初步滤波的信号变体)执行操作。
贯穿本公开,包括在权利要求书中,表述“***”用于广义上指示器件、***或子***。例如,实现解码器的子***可以称为解码器***,包括这样的子***的***(例如,响应于多个输入产生X个输出信号的***,其中该子***产生M个输入,其它X-M个输入从外部源接收)也可以称为解码器***。
贯穿本公开,包括在权利要求书中,第一值(“A”)对第二值(“B”)的“比”这一表述广义上用于表示A/B、或B/A、或A和B之一的缩放或偏移变体对A和B中的另一个的缩放或偏移变体的比(例如(A+x)/(B+y),其中x和y表示偏移值)。
贯穿本公开,包括在权利要求书中,信号通过发声换能器(例如扬声器)的“再现”这一表述表示使换能器响应于信号产生声音,包括通过进行任何所需的放大和/或其它信号处理。
当在存在竞争声音的情况下听语音时(诸如在餐馆中克服人群噪声倾听朋友说话),指示语音的音素内容的部分声学特征(语音提示 (speech cue))被竞争声音所掩盖且不再可用于倾听者来解码讯息。随着竞争声音的水平相对于语音水平升高,正确接收的语音提示的数量降低且语音感知逐渐变得更难,直到在某竞争声音水平下,语音感知过程中断。虽然这种关系对于所有倾听者有效,但是对于任意语音水平而言能容忍的竞争声音水平对于所有倾听者并不相同。有些倾听者,例如由于年老而损失听力者(老年聋)或倾听***之后学会的语言者,与具有良好听力或运用母语的倾听者相比,更不能容忍竞争声音。
存在竞争声音时倾听者理解语音的能力不同的事实暗示了新闻或娱乐音频中环境声音和背景音乐与语音混合的水平。损失听力或运用外语的倾听者通常喜欢与内容产生者所提供的相比相对更低水平的非语音音频。
为了迎合这些特殊需要,已知对多通道音频信号的非语音通道应用衰减(回避),而更小(或没有)衰减应用到信号的语音通道,以改善信号所确定的语音的可辨识度。
例如,PCT国际申请公开No.WO2010/011377,发明人为Hannes Muesch且转让给Dolby Laboratories Licensing Corporation(2010年1月28日公开),公开了多通道音频信号的非语音通道(例如,左通道和右通道)可以掩盖信号的语音通道(例如,中央通道)中的语音到不再满足期望水平的语音可辨识度的程度。WO2010/011377描述了如何确定由回避电路应用到非语音通道的衰减函数以尝试显露语音通道中的语音,同时尽可能多地感知内容创建者的意图。WO2010/011377中描述的技术基于如下假设:非语音通道中的内容从不增强语音通道确定的语音内容的可辨识度(或者其它感知品质)。
本发明部分地基于如下认识,即虽然该假设对于绝大多数多通道音频内容而言是正确的,但是并非总是有效。发明人意识到,当多通道音频信号中的至少一个非语音通道包括增强信号的语音通道确定的语音内容的可辨识度(或其它感知品质)的内容时,根据WO2010/011377的方法对信号的滤波可能负面影响倾听再现的滤波 了的信号的听众的娱乐体验。根据本发明的典型实施例,在内容不符合WO2010/011377的方法蕴含的假设时,WO2010/011377描述的方法的应用被暂停或被修改。
需要一种方法和***,用于在音频信号的至少一个非语音通道包括增强音频信号的语音通道中的语音内容的可辨识度的内容的一般情况下,对多通道音频信号进行滤波以改善语音可辨识度。
发明内容
在第一类实施例中,本发明是一种方法,用于对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波,以改善信号所确定的语音的可辨识度。该方法包括步骤:(a)确定指示多通道语音信号的语音通道确定的语音相关内容与至少一个非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值;以及(b)响应于该至少一个衰减控制值,对该多通道音频信号的至少一个非语音通道进行衰减。典型地,该衰减步骤包括响应于该至少一个衰减控制值,缩放用于该非语音通道的原始衰减控制信号(例如回避增益控制信号)。优选地,该非语音通道被衰减从而改善由语音通道确定的语音的可辨识度,而没有不期望地衰减由该非语音通道确定的语音增强内容。在一些实施例中,步骤(a)确定的每个衰减控制值指示由音频信号的语音通道确定的语音相关内容与一个非语音通道确定的语音相关内容之间的相似程度,步骤(b)包括响应于所述每个衰减控制值对该非语音通道进行衰减的步骤。在另一些实施例中,步骤(a)包括从音频信号的至少一个非语音通道得到衍生非语音通道的步骤,该至少一个衰减控制值指示由该语音通道确定的语音相关内容与由该衍生非语音通道确定的语音相关内容之间的相似程度。例如,该衍生非语音通道可以通过叠加或以另外的方式混合或组合音频信号的至少两个非语音通道而产生。相对于从不同非语音通道确定一组衰减值的不同子集的成本和复杂度而言,从单个衍生非语音通道确定每个衰减控制值可以减小实施本发明某些实施例的成本和复杂度。在其中输入音频信号具有 至少两个非语音通道的实施例中,步骤(b)可以包括响应于该至少一个衰减控制值(例如,响应于衰减控制值的单个序列),对非语音通道(例如,从其已经衍生出衍生非语音通道的每个非语音通道)的子集或者所有非语音通道进行衰减的步骤。
在一些第一类实施例中,步骤(a)包括产生指示衰减控制值的序列的衰减控制信号的步骤,每个衰减控制值指示由语音通道确定的语音相关内容与由至少一个非语音通道确定的语音相关内容之间在不同时间(例如,在不同时间段中)的相似程度,步骤(b)包括如下步骤:响应于该衰减控制信号缩放回避增益控制信号以产生缩放了的增益控制信号,以及应用该缩放了的增益控制信号以对该至少一个非语音通道进行衰减(例如,将该缩放了的增益控制信号断言到回避电路从而通过该回避电路来控制该至少一个非语音通道的衰减)。例如,在一些这样的实施例中,步骤(a)包括比较第一语音相关特征序列(指示由该语音通道确定的语音相关内容)与第二语音相关特征序列(指示由该至少一个非语音通道确定的语音相关内容)以产生该衰减控制信号,由该衰减控制信号指示的每个衰减控制值指示该第一语音相关特征序列和该第二语音相关特征序列之间在不同时间(例如,在不同时间段中)的相似程度。在一些实施例中,每个衰减控制值是增益控制值。
在一些第一类实施例中,每个衰减控制值与音频信号的至少一个非语音通道指示增强由语音通道确定的语音内容的可辨识度(或者另一感知品质)的语音增强内容的可能性单调相关。在另一些第一类实施例中,每个衰减控制值被单调关联到至少一个非语音通道的预期语音增强值(例如,至少一个非语音通道指示语音增强内容的或然率的度量,乘以由至少一个非语音通道确定的语音增强内容将对由多通道信号确定的语音内容提供的感知品质增强的度量)。例如,当步骤(a)包括比较指示由语音通道确定的语音相关内容的第一语音相关特征序列和指示由至少一个非语音通道确定的语音相关内容的第二语音相关特征序列的步骤时,第一语音相关特征序列可以是语音可能性值的序 列,每个该语音可能性值表明在不同时间(例如,在不同时间段中)语音通道指示语音(而不是语音之外的音频内容)的可能性,第二语音相关特征序列也可以是语音可能性值的序列,每个该语音可能性值表明在不同时间(例如,在不同时间段中)至少一个非语音通道指示语音的可能性。从音频信号自动生成这种语音可能性值的序列的各种方法是已知的。例如,一种这样的方法由Robinson和Vinton描述于“Automated Speech/Other Discrimination for Loudness Monitoring”(Audio Engineering Society,Preprint number 6437of Convention118,2005年5月)中。备选地,预期语音可能性值的序列可以手工创建(例如,通过内容创建器)且与多通道音频信号一起传输到终端用户。
在其中多通道音频信号具有语音通道以及包括第一非语音通道和第二非语音通道的至少两个非语音通道的第二类实施例中,本发明的方法包括步骤:(a)确定至少一个第一衰减控制值,该至少一个第一衰减控制值指示由该语音通道确定的语音相关内容与由该第一非语音通道确定的第二语音相关内容之间的相似程度(例如,包括通过比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列和指示该第二语音相关内容的第二语音相关特征序列);以及(b)确定至少一个第二衰减控制值,该至少一个第二衰减控制值指示由该语音通道确定的语音相关内容与由该第二非语音通道确定的第三语音相关内容之间的相似程度(例如,包括通过比较指示由该语音通道确定的语音相关内容的第三语音相关特征序列和指示该第三语音相关内容的第四语音相关特征序列,其中该第三语音相关特征序列可以与步骤(a)的第一语音相关特征序列相同)。典型地,该方法包括响应于该至少一个第一衰减控制值对该第一非语音通道进行衰减(例如,缩放该第一非语音通道的衰减)和响应于该至少一个第二衰减控制值对该第二非语音通道进行衰减(例如,缩放该第二非语音通道的衰减)的步骤。优选地,每个非语音通道都被衰减从而改善由语音通道确定的语音的可辨识度,而没有不期望地对任一非语音通道确定的语音增强内容进 行衰减。
在一些第二类实施例中:
在步骤(a)中确定的该至少一个第一衰减控制值是衰减控制值的序列,每个衰减控制值是用于缩放增益量的增益控制值,该增益量通过回避电路施加到第一非语音通道以改善由语音通道确定的语音的可辨识度,而没有不期望地对由第一非语音通道确定的语音增强内容进行衰减;且
在步骤(b)中确定的该至少一个第二衰减控制值是第二衰减控制值的序列,每个第二衰减控制值是用于缩放增益量的增益控制值,该增益量通过回避电路施加到第二非语音通道以改善由该语音通道确定的语音的可辨识度,而没有不期望地对由第二非语音通道确定的语音增强内容进行衰减。
在第三类实施例中,本发明是一种用于对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波以改善由该信号确定的语音的可辨识度的方法。该方法包括步骤:(a)比较语音通道的特性和非语音通道的特性以产生用于控制该非语音通道相对于该语音通道的衰减的至少一个衰减值;以及(b)响应于至少一个语音增强可能性值调节该至少一个衰减值,以产生用于控制该非语音通道相对于该语音通道的衰减的至少一个调节衰减值。典型地,该调节步骤为(包括)响应于一个所述语音增强可能性值缩放每个所述衰减值以产生一个所述调节衰减值。典型地,每个语音增强可能性值表明(例如单调关联到)非语音通道(或者从非语音通道或从输入音频信号的一组非语音通道衍生的非语音通道)指示语音增强内容(增强由语音通道确定的语音内容的可辨识度或其它感知品质的内容)的可能性。在一些实施例中,语音增强可能性值表明非语音通道的预期语音增强值(例如,非语音通道指示语音增强内容的或然率的度量乘以由非语音通道确定的语音增强内容将对由多通道音频信号确定的语音内容提供的感知品质增强的度量)。在一些第三类实施例中,至少一个语音增强可能性值是由包括比较指示由语音通道确定的语音相关内容的第一语音相关 特征序列与指示由非语音通道确定的语音相关内容的第二语音相关特征序列的步骤的方法确定的比较值(例如,差异值)的序列,每个比较值是在不同时间(例如在不同时间段中)第一语音相关特征序列和第二语音相关特征序列之间的相似程度。在典型的第三类实施例中,该方法还包括响应于该至少一个调节衰减值,对该非语音通道进行衰减的步骤。步骤(b)可包括响应于该至少一个语音增强可能性值,缩放至少一个衰减值(其典型地是回避增益控制信号或其它原始衰减控制信号,或者由其决定)。
在一些第三类实施例中,在步骤(a)中产生的每个衰减值是指示限制非语音通道中的信号功率对语音通道中的信号功率的比值不超过预定阈值所需的非语音通道衰减量的第一因子,其被单调关联到语音通道指示语音的可能性的第二因子缩放。典型地,这些实施例中的调节步骤是(或包括)通过一个所述语音增强可能性值缩放每个所述衰减值以产生一个所述调节衰减值,其中所述语音增强可能性值是单调关联到以下之一的因子:非语音通道指示语音增强内容(增强由多通道信号确定的语音内容的可辨识度或其它感知品质的内容)的可能性;以及非语音通道的预期语音增强值(例如,非语音通道指示语音增强内容的或然率的度量乘以非语音通道中的语音增强内容将对由多通道信号确定的语音内容提供的感知品质增强的度量)。
在一些第三类实施例中,在步骤(a)中产生的每个衰减值是指示足以使存在由非语音通道确定的内容时由语音通道确定的语音的预测可辨识度超过预定阈值的非语音通道的衰减量(例如,最小量)的第一因子,其被与该语音通道指示语音的可能性单调相关的第二因子缩放。优选地,存在由该非语音通道确定的内容时由该语音通道确定的语音的预测可辨识度根据基于心理声学的可辨识度预测模型来确定。典型地,这些实施例中的调节步骤是(或者包括)通过一个所述语音增强可能性值缩放每个所述衰减值以产生一个所述调节了的衰减值,其中该语音增强可能性值是与以下之一单调相关的因子:该非语音通道指示语音增强内容的可能性,以及该非语音通道的预期语音增强值。
在一些第三类实施例中,步骤(a)包括产生每个所述衰减值的步骤,包括通过如下步骤来进行:确定该语音通道和该非语音通道中的每个的功率谱(指示作为频率函数的功率),以及响应于每个所述功率谱执行衰减值的频率确定。优选地,以此方式产生的衰减值确定将要应用到非语音通道的频率成分的作为频率函数的衰减。
在一类实施例中,本发明是一种用于增强由多通道音频输入信号确定的语音的方法和***。在一些实施例中,本发明的***包括:分析模块(子***),配置为分析该输入多通道信号以产生衰减控制值;以及衰减子***。该衰减子***配置为由至少一些衰减控制值掌控地应用回避衰减到该输入信号的每个非语音通道以产生滤波音频输出信号。在一些实施例中,该衰减子***包括回避电路(由至少一些衰减控制值掌控),其耦接且配置为应用衰减(回避)到该输入信号的每个非语音通道以产生滤波音频输出信号。在应用到非语音通道的衰减由控制信号的当前值确定的意义上来说,该回避电路被控制值所掌控。
在典型实施例中,本发明的***是或者包括通用或专用处理器,其用软件(或固件)编程和/或以其他方式配置为执行本发明的方法的实施例。在一些实施例中,本发明的***是通用处理器,耦接为接收指示音频输入信号的输入数据且编程(用适当的软件)为通过执行本发明的方法的实施例响应于该输入数据产生指示音频输出信号的输出数据。在另一些实施例中,本发明的***通过适当地配置(例如,通过编程)一可配置音频数字信号处理器(DSP)来实现。该音频DSP可以是常规音频DSP,其可配置(例如,可通过适当的软件或固件来编程,或者响应于控制数据以其他方式配置)为对输入音频执行多种操作中的任意操作。运行时,已经配置为执行根据本发明的主动语音增强的音频DSP耦接为接收音频输入信号,除了(包括)语音增强之外,该DSP典型地还对输入音频信号执行多种操作。根据本发明的各种实施例,音频DSP可在配置(例如编程)之后操作来执行本发明的方法的实施例以通过对输入音频信号执行该方法而响应于输入音频信号产生输出音频信号。
本发明的各方面包括配置(例如编程)为执行本发明的方法的任意实施例的***、以及存储用于实现本发明的方法的任意实施例的代码的计算机可读介质(例如,盘)。
附图说明
图1是本发明的***的实施例的框图;
图1A是本发明的***的另一实施例的框图;
图2是本发明的***的另一实施例的框图;
图2A是本发明的***的另一实施例的框图;
图3是本发明的***的另一实施例的框图;
图4是作为本发明的***的实施例的音频数字信号处理器(DSP)的框图;以及
图5是计算机***的框图,包括计算机可读存储介质504,其存储用于对***进行编程以执行本发明的方法的实施例的计算机代码。
具体实施方式
本发明的许多实施例在技术上是可行的。根据本公开,如何实现它们将对本领域普通技术人员变得显然。本发明的***、方法和介质的实施例将参照图1、1A、2、2A和3-5进行描述。
发明人已经发现,一些多通道音频内容在语音通道和至少一个非语音通道中具有不同但相关的语音内容。例如,一些舞台表演的多通道音频记录被混合使得“干”语音(即没有明显回响的语音)被置于语音通道中(典型地,信号的中央通道C)且相同但具有显著回响成分的语音(“湿”语音)被置于信号的非语音通道中。在典型情况中,干语音是来自舞台表演者持有的靠近其嘴部的麦克风的信号,湿语音是来自置于听众中的麦克风的信号。湿语音与干语音相关,因为它是剧场中的听众听到的表演。但是它不同于干语音。典型地,湿语音相对于干语音被延迟,具有不同的波谱和不同的附加成分(例如,听众噪声和回响)。
根据干湿语音的相对水平,湿语音成分可能将干语音成分掩盖到回避电路中非语音通道的衰减(例如,如在上面引用的WO2010/011377描述的方法中那样)不期望地使湿语音信号衰减的程度。尽管干和湿语音成分可以描述为单独实体,但是聆听者感知上融合这两种且将它们听为单个语音流。衰减湿语音成分(例如,在回避电路中)可具有降低所融合的语音流的感知响度以及降低其图景宽度的效果。本发明人已经意识到,对于具有所述类型的干湿语音成分的多通道音频信号,如果湿语音成分的水平在信号的语音增强处理期间不改变的话,通常感知上将更愉悦且将更有助于语音可辨识度。
本发明部分基于如下认识:当多通道音频信号的至少一个非语音通道包括增强由信号的语音通道确定的语音内容的可辨识度(或者其它感知品质)的内容时,使用回避电路对信号的非语音通道进行滤波(例如,根据WO2010/011377的方法)会负面影响聆听所再现的滤波信号的听众的娱乐体验。根据本发明的典型实施例,多通道音频信号的至少一个非语音通道的衰减(在回避电路中)在非语音通道包括语音增强成分(增强由信号的语音通道确定的语音内容的可辨识度或其它感知品质的内容)的时间期间被暂停或修改。在非语音通道不包括语音增强内容(或者不包括满足预定标准的语音增强内容)的时间期间,非语音通道被正常衰减(衰减不暂停或修改)。
回避电路中的常规滤波对其不合适的典型多通道信号(具有语音通道)是包括至少一个非语音通道的信号,该至少一个非语音通道承载与语音通道中的语音提示基本相同的语音提示。根据本发明的典型实施例,语音通道中语音相关特征的序列与非语音通道中语音相关特征的序列相比较。两种特征序列的实质相似性表明非语音通道(即,非语音通道中的信号)贡献了理解语音通道中的语音有用的信息,且表明非语音通道的衰减应被避免。
为了意识到检查这种语音相关特征序列而不是信号本身之间的相似性的重要意义,重要的是认识到“干”和“湿”语音成分(由语音和非语音通道确定)不相同;指示这两类语音成分的信号通常在时间 上错开,且已经经历了不同的滤波处理并已经添加有不同的外来成分。因此,两种信号之间的直接比较将产生低相似度,无论非语音通道贡献了与语音通道相同的语音提示(如在干和湿语音的情况中那样),不相关的语音提示(如在语音和非语音通道中有两种不相关的声音[例如,语音通道中的目标谈话和非语音通道中模糊不清的背景说话]的情况中那样),还是根本没有语音提示(例如,非语音通道承载音乐和效果)。通过将比较基于语音特征(如在本发明的优选实施例中那样),实现了一定水平的抽象化(abstraction),其减少了不相关信号方面的影响,诸如小量延迟、谱差异以及附加外部信号。因此,本发明的优选实现一般产生至少两个语音特征流:一个表示语音通道中的信号,至少一个表示非语音通道中的信号。
本发明的***的第一实施例(125)将参照图1来进行描述。响应于包括语音通道101(中央通道C)以及两个非语音通道102和103(左通道L和右通道R)的多通道音频信号,图1的***对非语音通道进行滤波以产生包括语音通道101以及滤波的非语音通道118和119(滤波的左通道L'和右通道R')的滤波多通道输出音频信号。备选地,非语音通道102和103之一或二者可以是多通道音频信号的另一类型的非语音通道(例如,5.1通道音频信号的左后和/或右后通道),或者可以是从多通道音频信号的非语音通道中的许多不同子集中的任意子集衍生出的衍生非语音通道(例如,是它们的组合)。备选地,本发明的***的实施例可以实现为对多通道音频信号的仅一个非语音通道或者超过两个非语音通道进行滤波。
再次参照图1,非语音通道102和103分别断言到回避放大器117和116。运行时,回避放大器116由从乘法元件114输出的控制信号S3(其指示控制值的序列,因此也称为控制值序列S3)掌控,回避放大器117由从乘法元件115输出的控制信号S4(其指示控制值的序列,因此也称为控制值序列S4)掌控。
多通道输入信号的每个通道的功率由一组功率评估器(104、105和106)测量且表达在对数标度上[dB]。这些功率评估器可以实施平 滑机构,诸如泄露积分器,从而所测量的功率电平反映在句子或整段的持续时间上平均的功率电平。语音通道中的信号的功率电平从每个非语音通道中的功率电平扣除(通过减法元件107和108)以给出两种信号类型之间的功率比值的度量。元件107的输出是非语音通道103中的功率对语音通道101中的功率的比值的度量。元件108的输出是非语音通道102中的功率对语音通道101中的功率的比值的度量。
比较电路109确定对于每个非语音通道,为了使非语音通道的功率电平保持为比语音通道中的信号的功率电平低至少θdB,非语音通道必须衰减的分贝(dB)数(其中符号“θ”也称为手写体西塔,指代预定阈值)。在电路109的一个实现中,加法元件120添加阈值θ(存储于可以是寄存器的元件110中)到非语音通道103和语音通道101之间的功率电平差(或“余量”),加法元件121添加阈值θ到非语音通道102和语音通道101之间的功率电平差。元件111-1和112-1分别改变加法元件120和121的输出的符号。该符号改变操作将衰减值转换为增益值。元件111和112将每个结果限制为等于或小于零(元件111-1的输出被断言到限制器111,元件112-1的输出被断言到限制器112)。从限制器111输出的当前值C1确定为了将非语音通道103的功率电平保持为比语音通道101的功率电平低θdB(在多通道输入信号的相关时间处或者相关时间窗中),必须应用到非语音通道103的以dB计的增益(负衰减)。从限制器112输出的当前值C2确定为了将非语音通道102的功率电平保持为比语音通道101的功率电平低θdB(在多通道输入信号的相关时间处或者相关时间窗中),必须应用到非语音通道102的以dB计的增益(负衰减)。θ的典型合适值为5dB。
因为在对数标度(dB)上表达的度量和在线性标度上表达的相同度量之间有唯一关系,所以可以构建与图1的元件104、105、106、107、108和109等价的电路(或者被编程或以其他方式配置的处理器),其中功率、增益和阈值全部都在线性标度上表达。替选实现可以用与信号强度诸如信号的绝对值相关的度量来代替功率度量。
从限制器111输出的信号C1是用于非语音通道103的原始衰减控制信号(用于回避放大器116的增益控制信号),其可以直接断言到放大器116以控制非语音通道103的回避衰减。从限制器112输出的信号C2是用于非语音通道102的原始衰减控制信号(用于回避放大器117的增益控制信号),其可以直接断言到放大器117以控制非语音通道102的回避衰减。
然而,根据本发明,原始衰减控制信号C1和C2在乘法元件114和115中被缩放以产生用于通过放大器116和117来控制非语音通道的回避衰减的增益控制信号S3和S4。信号C1响应于衰减控制值S1的序列被缩放,信号C2响应于衰减控制值S2的序列被缩放。每个控制值S1从处理元件134(将在下面描述)的输出断言到乘法元件114的输入,信号C1(进而由其确定的每个“原始”增益控制值C1)从限制器111断言到元件114的另一输入。元件114响应于当前值S1缩放当前值C1,将这些值乘到一起以产生当前值S3,其被断言到放大器116。每个控制值S2从处理元件135(将在下面描述)的输出断言到乘法元件115的输入,信号C2(进而由其确定的每个“原始”增益控制值C2)从限制器112断言到元件115的另一输入。元件115响应于当前值S2缩放当前值C2,将这些值乘到一起以产生当前值S4,其被断言到放大器117。
根据本发明如下生成控制值S1和S2。在语音可能性处理元件130、131和132中,对于多通道输入信号的每个通道生成语音可能性信号(图1中的信号P、Q和T中的每个)。语音可能性信号P表示用于非语音通道102的语音可能性值的序列;语音可能性信号Q表示用于语音通道101的语音可能性值的序列;语音可能性信号T表示用于非语音通道103的语音可能性值的序列。
语音可能性信号Q是与语音通道中的信号实际上表示语音的可能性单调相关的值。语音可能性信号P是与非语音通道102中的信号是语音的可能性单调相关的值。语音可能性信号T是与非语音通道103中的信号是语音的可能性单调相关的值。处理器130、131和132(其 通常彼此相同,但是在一些实施例中彼此不同)可以实现自动确定断言到其的输入信号表示语音的可能性的各种方法中的任意方法。在一实施例中,语音可能性处理器130、131和132彼此相同,处理器130产生信号P(根据非语音通道102中的信息),使得信号P表示语音可能性值的序列,每个语音可能性值与不同时间(或时间窗)处通道102中的信号是语音的可能性单调相关。处理器131产生信号Q(根据通道101中的信息),使得信号Q表示语音可能性值的序列,每个语音可能性值与不同时间(或时间窗)处通道101中的信号是语音的可能性单调相关。处理器132产生信号T(根据非语音通道103中的信息),使得信号T表示语音可能性值的序列,每个语音可能性值与不同时间(或时间窗)处通道103中的信号是语音的可能性单调相关。处理器130、131和132中的每个通过实现(在相关的一个通道102、101和103上)Robinson和Vinton在“Automated Speech/Other Discrimination for Loudness Monitoring”(Audio Engineering Society,Preprint number 6437 of Convention 118,2005年5月)中描述的机构来实现所述功能。替选地,信号P可以手工产生,例如由内容创建者产生,并且与通道102中的音频信号一起发送到终端用户,处理器130可以简单地从通道102提取这种先前创建的信号P(或者处理器130可以被去除,先前创建的信号P直接断言到处理器134)。类似地,信号Q可以手工产生并与通道101中的音频信号一起发送,处理器131可以简单地从通道101提取这种先前创建的信号Q(或者处理器131可以被去除,先前创建的信号Q直接断言到处理器134和135),信号T可以手工产生并与通道103中的音频信号一起发送,处理器132可以简单地从通道103提取这种先前创建的信号T(或者处理器132可以被去除,先前创建的信号T直接断言到处理器135)。
在处理器134的典型实现中,由信号P和Q确定的语音可能性值成对比较以确定对于信号P的当前值序列中的每个,信号P和Q的当前值之间的差异。在处理器135的典型实现中,由信号T和Q确定的语音可能性值成对比较,以确定对于信号Q的当前值序列中的每个, 确定信号T和Q的当前值之间的差异。结果,处理器134和135中的每个产生成对的语音可能性信号的差异值的时间序列。
处理器134和135优选实现为通过时间平均来平滑每个这样的差异值序列,并且可选地缩放每个所得平均化差异值序列。平均化差异值序列的缩放可以是必需的,从而从处理器134和135输出的所缩放的平均化值所在的范围使得放大元件114和115的输出对于掌控回避放大器116和117而言是有用的。
在典型实现中,从处理器134输出的信号S1是缩放了的平均化差异值的序列(这些缩放了的平均化差异值中的每个是信号P和Q的当前值之间的差异在不同时间窗中的缩放平均)。信号S1是用于非语音通道102的回避增益控制信号,用来缩放用于非语音通道102的独立生成的原始回避增益控制信号C1。类似地,在典型实现中,从处理器135输出的信号S2是缩放了的平均化差异值的序列(这些缩放了的平均化差异值中的每个是信号T和Q的当前值之间的差异在不同时间窗中的缩放平均)。信号S2是用于非语音通道103的回避增益控制信号,用来缩放用于非语音通道103的独立生成的原始回避增益控制信号C2。
根据本发明响应于回避增益控制信号S1对原始回避增益控制信号C1进行缩放可以通过将信号C1的每个原始增益控制值乘以(在元件114中)信号S1的对应的一个缩放平均差异值以生成信号S3来进行。根据本发明响应于回避增益控制信号S2对原始回避增益控制信号C2进行缩放可以通过将信号C2的每个原始增益控制值乘以(在元件115中)信号S2的对应的一个缩放平均差异值以生成信号S4来进行。
本发明的***的另一实施例(125')将参照图1A来描述。响应于包括语音通道101(中央通道C)以及两个非语音通道102和103(左通道L和右通道R)的多通道音频信号,图1A的***对非语音通道进行滤波以产生包括语音通道101以及滤波了的非语音通道118和119(滤波了的左通道L'和右通道R')的滤波多通道输出音频信号。
在图1A的***中(如图1的***中那样),非语音通道102和 103分别断言到回避放大器117和116。运行时,回避放大器117由从乘法元件115输出的控制信号S4(其指示控制值的序列,因此也称为控制值序列S4)掌控,回避放大器116由从乘法元件114输出的控制信号S3(其指示控制值的序列,因此也称为控制值序列S3)掌控。图1A的元件104、105、106、107、108、109(包括元件110、120、121、111-1、112-1、111和112)、114、115、130、131、132、134和135与图1的相同编号的元件相同,不再重复上面对它们的描述。
图1A的***与图1的***的不同之处在于,用于缩放控制信号C1(在限制器元件111的输出处断言)的是控制信号V1(在乘法器214的输出处断言),而不是控制信号S1(在处理器134的输出处断言),用于缩放控制信号C2(在限制器元件112的输出处断言)的是控制信号V2(在乘法器215的输出处断言),而不是控制信号S2(在处理器135的输出处断言)。在图1A中,根据本发明响应于衰减控制值V1的序列对原始回避增益控制信号C1进行缩放可以通过将信号C1的每个原始增益控制值乘以(在元件114中)对应的一个衰减控制值V1以产生信号S3来进行,根据本发明响应于衰减控制值V2的序列对原始回避增益控制信号C2进行缩放可以通过将信号C2的每个原始增益控制值乘以(在元件115中)对应的一个衰减控制值V2以产生信号S4来进行。
为了产生衰减控制值V1的序列,信号Q(在处理器131的输出处断言)被断言到乘法器214的输入,控制信号S1(在处理器134的输出处断言)被断言到乘法器214的另一个输入。乘法器214的输出是衰减控制值V1的序列。衰减控制值V1中的每个是由信号Q确定的语音可能性值之一被对应的一个衰减控制值S1缩放后的值。
类似地,为了产生衰减控制值V2的序列,信号Q(在处理器131的输出处断言)被断言到乘法器215的输入,控制信号S2(在处理器135的输出处断言)被断言到乘法器215的另一个输入。乘法器215的输出是衰减控制值V2的序列。衰减控制值V2中的每个是由信号Q确定的语音可能性值之一被对应的一个衰减控制值S2缩放后的值。
图1的***(或图1A的***)可以通过处理器(例如,图5的处理器501)以软件实现,该处理器已被编程以实现所描述的图1(或1A)的***的操作。替选地,可以以硬件实现,该硬件具有如图1(或1A)所示地连接的电路元件。
在图1(或图1A)的实施例的变型中,根据本发明响应于回避增益控制信号S1(或V1)对原始回避增益控制信号C1进行缩放(以产生用于掌控放大器116的回避增益控制信号)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制信号(代替信号S3),当信号S1(或V1)的当前值在阈值以下时,该回避增益控制信号导致放大器116没有进行回避(即,通过放大器116应用等于一的增益,因此通道103没有衰减),当信号S1(或V1)的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S3)的当前值等于信号C1的当前值(从而信号S1(或V1)不改变C1的当前值)。替选地,可以进行信号C1的其他线性或非线性缩放(响应于本发明的回避增益控制信号S1或V1)以产生用于掌控放大器116的回避增益控制信号。例如,信号C1的这种缩放可以产生回避增益控制信号(代替信号S3),当信号S1(或V1)的当前值在阈值以下时,该回避增益控制信号导致放大器116没有进行回避(即,放大器116应用等于一的增益),当信号S1(或V1)的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S3)的当前值等于信号C1的当前值乘以信号S1或V1的当前值的乘积(或者由该乘积确定的某些其他值)。
类似地,在图1(或图1A)的实施例的变型中,根据本发明响应于回避增益控制信号S2(或V2)对原始回避增益控制信号C2进行缩放(以产生用于掌控放大器117的回避增益控制信号)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制信号(代替信号S4),当信号S2(或V2)的当前值在阈值以下时,该回避增益控制信号导致放大器117没有进行回避(即,通过放大器117应用等于一的增益,因此通道102没有衰减),当信号S2(或V2)的当前 值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S4)的当前值等于信号C2的当前值(从而信号S2或V2不改变C2的当前值)。替选地,可以进行信号C2的其他线性或非线性缩放(响应于本发明的回避增益控制信号S2或V2)以产生用于掌控放大器117的回避增益控制信号。例如,信号C2的这种缩放可以产生回避增益控制信号(代替信号S4),当信号S2(或V2)的当前值在阈值以下时,该回避增益控制信号导致放大器117没有进行回避(即,放大器117应用等于一的增益),当信号S2(或V2)的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S4)的当前值等于信号C2的当前值乘以信号S2或V2的当前值的乘积(或者由该乘积确定的某些其他值)。
本发明的***的另一实施例(225)将参照图2来进行描述。响应于包括语音通道101(中央通道C)以及两个非语音通道102和103(左通道L和右通道R)的多通道音频信号,图2的***对非语音通道进行滤波以产生包括语音通道101以及滤波的非语音通道118和119(滤波的左通道L'和右通道R')的滤波多通道输出音频信号。
在图2的***中(如图1的***中那样),非语音通道102和103分别断言到回避放大器117和116。运行时,回避放大器117由从乘法元件115输出的控制信号S6(其指示控制值的序列,因此也称为控制值序列S6)掌控,回避放大器116由从乘法元件114输出的控制信号S5(其指示控制值的序列,因此也称为控制值序列S5)掌控。图2的元件114、115、130、131、132、134和135与图1的相同编号的元件相同(且起相同的作用),不再重复上面对它们的描述。
图2的***用一组功率评估器201、202和203测量通道101、102和103每个中的信号的功率。与图1中的对等物不同,功率评估器201、202和203中的每个测量信号功率在频率上的分布(即,相关通道的一组频带中每个不同频带中的功率),产生用于每个通道的功率谱,而不是单个数字。每个功率谱的谱分辨率理想上匹配元件205和206实现的可辨识度预测模型(下面论述)的谱分辨率。
功率谱被馈送到比较电路204中。电路204的目的是确定将要施加到每个非语音通道的衰减以确保非语音通道中的信号不把语音通道中的信号的可辨识度减弱到小于预定标准。该功能通过采用可辨识度预测电路(205和206)来实现,可辨识度预测电路(205和206)根据语音通道信号(201)和非语音通道信号(202和203)的功率谱预测语音可辨识度。可辨识度预测电路205和206可以根据设计选择和权衡实现合适的可辨识度预测模型。例子是ANSI S3.5-1997(“Methods for Calculation of the Speech Intelligibility Index”)中规范的语音可辨识度指数和Muesch & Buus语音识别灵敏度模型(“Using statistical decision theory to predict speech intelligibility.I.Model structure”Journal of Acoustical Society of America,2001,Vol.109,p 2896-2909)。清楚的是,当语音通道中的信号是语音之外的事物时,可辨识度预测模型的输出没有意义。尽管如此,在下面可辨识度预测模型的输出将称为预测语音可辨识度。感知错误在后面的处理中通过用参数S1和S2缩放从比较单元204输出的增益值来解决,参数S1和S2中的每个涉及语音通道中的信号指示语音的可能性。
可辨识度预测模型的共同点在于,作为降低非语音信号水平的结果,它们预测提高或未改变的语音可辨识度。继续图2的处理流程,比较电路207和208比较预测可辨识度和预定标准值。如果元件205确定非语音通道103的水平低到使所预测的可辨识度超过标准,那么从电路209取得初始化为0dB的增益参数且提供到电路211,作为比较电路204的输出C3。如果元件206确定非语音通道102的水平低到使所预测的可辨识度超过标准,那么从电路210取得初始化为0dB的增益参数且提供到电路212,作为比较电路204的输出C4。如果元件205或206确定标准未得到满足,则增益参数(元件209和210中的相关一个中)下降固定量且可辨识度预测被重复。降低增益的合适阶梯大小为1dB。继续如刚才所述的迭代,直到所预测的可辨识度满足或超过标准值。
当然可能的是,语音通道中的信号使得即使在非语音通道中没有 信号时也不能达到标准可辨识度。这种情况的例子是非常低水平或有严格限制的带宽的语音信号。如果发生这种情况,那么会造成如下情况:施加到非语音通道的增益的任何进一步减小不影响所预测的语音可辨识度,且标准永远得不到满足。在这种状况下,元件205、207和209(或元件206、208和210)形成的循环无限地继续,可以应用额外逻辑器(未示出)来中断该循环。这样的逻辑器的一种特别简单的例子是对迭代次数进行计数,一旦超过预定迭代次数就跳出循环。
根据本发明响应于回避增益控制信号S1对原始回避增益控制信号C3进行缩放可以通过将信号C3的每个原始增益控制值乘以(在元件114中)信号S1的对应一个缩放平均差异值以产生信号S5来进行。根据本发明响应于回避增益控制信号S2对原始回避增益控制信号C4进行缩放可以通过将信号C4的每个原始增益控制值乘以(在元件115中)信号S2的对应一个缩放平均差异值以产生信号S6来进行。
图2的***可以通过处理器(例如,图5的处理器501)以软件实现,该处理器已被编程以实现所描述的图2的***的操作。替选地,可以以硬件实现,该硬件具有如图2所示地连接的电路元件。
在图2的实施例的变型中,根据本发明响应于回避增益控制信号S1对原始回避增益控制信号C3进行缩放(以产生用于掌控放大器116的回避增益控制信号)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制信号(代替信号S5),当信号S1的当前值在阈值以下时,该回避增益控制信号导致放大器116没有进行回避(即,通过放大器116应用等于一的增益,因此通道103没有衰减),当信号S1的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S5)的当前值等于信号C3的当前值(从而信号S1不改变C3的当前值)。替选地,可以进行信号C3的其他线性或非线性缩放(响应于本发明的回避增益控制信号S1)以产生用于掌控放大器116的回避增益控制信号。例如,信号C3的这种缩放可以产生回避增益控制信号(代替信号S5),当信号S1的当前值在阈值以下时,该回避增益控制信号导致放大器116没有进行回避(即,放大 器116应用等于一的增益),当信号S1的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S5)的当前值等于信号C3的当前值乘以信号S1的当前值的乘积(或者由该乘积确定的某些其他值)。
类似地,在图2的实施例的变型中,根据本发明响应于回避增益控制信号S2对原始回避增益控制信号C4进行缩放(以产生用于掌控放大器117的回避增益控制信号)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制信号(代替信号S6),当信号S2的当前值在阈值以下时,该回避增益控制信号导致放大器117没有进行回避(即,通过放大器117应用等于一的增益,因此通道102没有衰减),当信号S2的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S6)的当前值等于信号C4的当前值(从而信号S2不改变C4的当前值)。替选地,可以进行信号C4的其他线性或非线性缩放(响应于本发明的回避增益控制信号S2)以产生用于掌控放大器117的回避增益控制信号。例如,信号C4的这种缩放可以产生回避增益控制信号(代替信号S6),当信号S2的当前值在阈值以下时,该回避增益控制信号导致放大器117没有进行回避(即,放大器117应用等于一的增益),当信号S2的当前值超过阈值时,该回避增益控制信号导致该回避增益控制信号(代替信号S6)的当前值等于信号C4的当前值乘以信号S2的当前值的乘积(或者由该乘积确定的某些其他值)。
本发明的***的另一实施例(225')将参照图2A来进行描述。响应于包括语音通道101(中央通道C)以及两个非语音通道102和103(左通道L和右通道R)的多通道音频信号,图2A的***对非语音通道进行滤波以产生包括语音通道101以及滤波的非语音通道118和119(滤波的左通道L'和右通道R')的滤波多通道输出音频信号。
在图2A的***中(如图2的***中那样),非语音通道102和103分别断言到回避放大器117和116。运行时,回避放大器117由从乘法元件115输出的控制信号S6(其指示控制值的序列,因此也称为 控制值序列S6)掌控,回避放大器116由从乘法元件114输出的控制信号S5(其指示控制值的序列,因此也称为控制值序列S5)掌控。图2A的元件201、202、203、204、114、115、130和134与图2的相同编号的元件相同(且起相同的作用),不再重复上面对它们的描述。
图2A的***与图2的***的不同之处在两个主要方面。第一,该***配置为从输入音频信号的两个独立非语音通道(102和103)产生(即,衍生)“衍生”非语音通道(L+R),且响应于该衍生非语音通道确定衰减控制值(V3)。作为对照,图2的***响应于输入音频信号中的一个非语音通道(通道102)确定衰减控制值S1,且响应于输入音频信号中的另一个非语音通道(通道103)确定衰减控制值S2。运行时,图2A的***响应于同一组衰减控制值V3对输入音频信号的每个非语音通道(通道102和103中的每个)进行衰减。运行时,图2的***响应于衰减控制值S2对输入音频信号的非语音通道102进行衰减,且响应于一组不同的衰减控制值(值S1)对输入音频信号的非语音通道103进行衰减。
图2A的***包括加法元件129,其输入耦接为接收输入音频信号的非语音通道102和103。衍生非语音通道(L+R)断言在元件129的输出处。语音可能性处理元件130响应于来自元件129的衍生非语音通道L+R断言语音可能性信号P。在图2A中,信号P指示用于衍生非语音通道的语音可能性值的序列。典型地,图2A的语音可能性信号P是与衍生非语音通道中的信号是语音的可能性单调相关的值。图2A的语音可能性信号Q(由处理器131产生)与上述图2的语音可能性信号Q相同。
图2A的***不同于图2的***的第二主要方面如下。在图2A中,控制信号V3(在乘法器214的输出处断言)用于(而不是在处理器134的输出处断言的控制信号S1)缩放原始回避增益控制信号C3(在元件211的输出处断言),控制信号V3也用于(而不是在图2的处理器135的输出处断言的控制信号S2)缩放原始回避增益控制信号 C4(在元件212的输出处断言)。在图2A中,根据本发明响应于由信号V3指示的衰减控制值的序列(将称为衰减控制值V3)对原始回避增益控制信号C3进行缩放可以通过将信号C3的每个原始增益控制值乘以(在元件114中)对应的一个衰减控制值V3以产生信号S5来进行,根据本发明响应于衰减控制值V3的序列对原始回避增益控制信号C4进行缩放可以通过将信号C4的每个原始增益控制值乘以(在元件115中)对应的一个衰减控制值V3以产生信号S6来进行。
运行时,图2A的***如下产生衰减控制值V3的序列。语音可能性信号Q(在图2A的处理器131的输出处断言)被断言到乘法器214的输入,衰减控制信号S1(在处理器134的输出处断言)被断言到乘法器214的另一输入。乘法器214的输出是衰减控制值V3的序列。衰减控制值V3中的每个是由信号Q确定的语音可能性值之一被对应的一个衰减控制值S1缩放后的值。
本发明的***的另一实施例(325)将参照图3来进行描述。响应于包括语音通道101(中央通道C)以及两个非语音通道102和103(左通道L和右通道R)的多通道音频信号,图3的***对非语音通道进行滤波以产生包括语音通道101以及滤波了的非语音通道118和119(滤波了的左通道L'和右通道R')的滤波多通道输出音频信号。
在图3的***中,三个输入通道中的每个信号被滤波器组301(用于通道101)、滤波器组302(用于通道102)和滤波器组303(用于通道103)分成其谱成分。谱分析可以用时域N通道滤波器组实现。根据一实施例,每个滤波器组将频率范围分成1/3倍频带或者模仿推测发生在人内耳中的滤波。从每个滤波器组输出的信号包括N个子信号的事实通过使用粗线来示出。
在图3的***中,非语音通道102和103中的信号的频率成分分别被断言到回避放大器117和116。运行时,回避放大器117由从乘法元件115'输出的控制信号S8(其指示控制值的序列,因此也称为控制值序列S8)掌控,回避放大器116由从乘法元件114'输出的控制信号S7(其指示控制值的序列,因此也称为控制值序列S7)掌控。图3 的元件130、131、132、134和135与图1的相同编号的元件相同(且起相同的作用),不再重复上面对它们的描述。
图3的过程可以视为旁枝过程。顺着图3所示的信号路径,用于非语音通道102的滤波器组302中产生的N个子信号每个通过回避放大器117被一组N个增益值中的一员缩放,用于非语音通道103的滤波器组303中产生的N个子信号每个通过回避放大器116被一组N个增益值中的一员缩放。这些增益值的产生将稍后描述。接下来,缩放了的子信号重新组合成单个音频信号。这可以经由简单累积(通过用于通道102的累积电路313且通过用于通道103的累积电路314)来进行。备选地,可以使用匹配到分析滤波器组的合成滤波器组。该过程导致修改的非语音信号R'(118)和修改的非语音信号L'(119)。
现在描述图3的过程的旁枝路径,使每个滤波器组输出可用于一组对应的N功率评估器(304、305和306)。用于通道101和102的所得功率谱用作优化电路307的输入,优化电路307具有作为输出的N维增益矢量C6。用于通道101和103的所得功率谱用作优化电路308的输入,优化电路308具有作为输出的N维增益矢量C5。优化采用可辨识度预测电路(309和310)和响度计算电路(311和312)二者来发现最大化每个非语音通道的响度且同时维持通道101中的语音信号的预定水平的预测可辨识度的增益矢量。预测可辨识度的合适模型已经参考图2进行了描述。响度计算电路311和312可以根据设计选择和折衷实现合适的响度预测模型。合适的模型的例子是美国国家标准ANSI S3.4-2007“Procedure for the Computation of Loudness of Steady Sounds”和德国标准DIN 45631“Berechnung des und der Lautheit aus dem 。
取决于可获得的计算资源和所强加的限制,优化电路(307、308)的形式和复杂度可以大地改变。根据一实施例,使用N个自由参数的迭代多维度约束优化。每个参数表示施加到非语音通道的频带之一的增益。标准计数,诸如跟踪N维度搜索空间的最陡梯度,可以应用来发现最大值。在另一实施例中,需要更少计算的方案将增益对频率的 函数约束为可能的增益对频率的函数的小集合中的成员,诸如一组不同的谱梯度或架滤波器(shelf filter)。采用该额外约束,优化问题可以缩减到少量一维优化。在又一实施例中,在非常小的可能增益函数集合上进行穷举搜索。该后一方案在期望恒定计算负载和搜索速度的实时应用中可能是特别合适的。
本领域普通技术人员将容易意识到根据本发明的其他实施例可能加于优化上的其他约束。一个例子是将修改了的非语音通道的响度限制为不大于修改之前的响度。另一个例子是对相邻频带之间的增益差异施加限制以限制重构滤波器组(313、314)中的短暂混淆的可能或者减小负面音质修改的几率。合意的约束既依赖于滤波器组的技术实现,又依赖于可辨识度改善与音质修改之间的所选折衷。为了图示清楚,这些约束从图3省略。
根据本发明响应于回避增益控制信号S2对N维原始回避增益控制矢量C6进行缩放可以通过将矢量C6的每个原始增益控制值乘以(在元件115′中)信号S2的对应的一个缩放平均差异值以产生N维回避增益控制矢量S8来进行。根据本发明响应于回避增益控制信号S1对N维原始回避增益控制矢量C5进行缩放可以通过将矢量C5的每个原始增益控制值乘以(在元件114′中)信号S1的对应的一个缩放平均差异值以产生N维回避增益控制矢量S7来进行。
图3的***可以通过处理器(例如,图5的处理器501)以软件实现,该处理器已被编程以实现所描述的图3的***的操作。替选地,可以以硬件实现,该硬件具有如图3所示地连接的电路元件。
在图3的实施例的变型中,根据本发明响应于回避增益控制信号S1对原始回避增益控制矢量C5进行缩放(以产生用于掌控放大器116的回避增益控制矢量)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制矢量(代替矢量S7),当信号S1的当前值在阈值以下时,该回避增益控制矢量导致放大器116没有进行回避(即,通过放大器116应用等于一的增益,因此通道103没有衰减),当信号S1的当前值超过阈值时,该回避增益控制矢量导致该回避增益 控制矢量(代替矢量S7)的当前值等于矢量C5的当前值(从而信号S1不改变C5的当前值)。替选地,可以进行矢量C5的其他线性或非线性缩放(响应于本发明的回避增益控制信号S1)以产生用于掌控放大器116的回避增益控制矢量。例如,矢量C5的这种缩放可以产生回避增益控制矢量(代替矢量S7),当信号S1的当前值在阈值以下时,该回避增益控制矢量导致放大器116没有进行回避(即,放大器116应用等于一的增益),当信号S1的当前值超过阈值时,该回避增益控制矢量导致该回避增益控制矢量(代替矢量S7)的当前值等于矢量C5的当前值乘以信号S1的当前值的乘积(或者由该乘积确定的某些其他值)。
类似地,在图3的实施例的变型中,根据本发明响应于回避增益控制信号S2对原始回避增益控制矢量C6进行缩放(以产生用于掌控放大器117的回避增益控制矢量)可以按非线性方式进行。例如,这种非线性缩放可以产生回避增益控制矢量(代替矢量S8),当信号S2的当前值在阈值以下时,该回避增益控制矢量导致放大器117没有进行回避(即,通过放大器117应用等于一的增益,因此通道102没有衰减),当信号S2的当前值超过阈值时,该回避增益控制矢量导致该回避增益控制矢量(代替矢量S8)的当前值等于矢量C6的当前值(从而信号S2不改变C6的当前值)。替选地,可以进行矢量C6的其他线性或非线性缩放(响应于本发明的回避增益控制信号S2)以产生用于掌控放大器117的回避增益控制矢量。例如,矢量C6的这种缩放可以产生回避增益控制矢量(代替矢量S8),当信号S2的当前值在阈值以下时,该回避增益控制矢量导致放大器117没有进行回避(即,放大器117应用等于一的增益),当信号S2的当前值超过阈值时,该回避增益控制矢量导致该回避增益控制矢量(代替矢量S8)的当前值等于矢量C6的当前值乘以信号S2的当前值的乘积(或者由该乘积确定的某些其他值)。
将从本公开对本领域普通技术人员而言变得显然的是,图1、1A、2、2A或3的***(以及它们中的任一个的变型)可被如何修改以对 具有语音通道和任意数量的非语音通道的多通道音频输入信号进行滤波。将为每个非语音通道设置回避放大器(或者其软件等价物),且将产生回避增益控制信号(例如通过对原始回避增益控制信号进行缩放)以用于掌控每个回避放大器(或者其软件等价物)。
如所述,图1、1A、2、2A或3的***(以及它们的许多变型中的每个)可操作来执行本发明的方法的实施例,本发明的方法的实施例用于对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波以改善由该信号确定的语音的可辨识度。在第一类这样的实施例中,该方法包括步骤:
(a)确定指示由音频信号的语音通道确定的语音相关内容与由至少一个非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值(例如,图1、2或3的信号S1或S2或者图1A或2A的信号V1、V2或V3);以及
(b)响应于该至少一个衰减控制值,对音频信号的至少一个非语音通道进行衰减(例如,在图1、1A、2、2A或3的元件114和放大器116中,或者元件115和放大器117中)。
典型地,该衰减步骤包括响应于至少一个衰减控制值对用于非语音通道的原始衰减控制信号(例如,图1或1A的回避增益控制信号C1或C2,或者图2或2A的信号C3或C4)进行缩放。优选地,非语音通道被衰减从而改善由语音通道确定的语音的可辨识度,而没有不期望地对由非语音通道确定的语音增强内容进行衰减。在一些第一类实施例中,步骤(a)包括生成衰减控制信号(例如,图1、2或3的信号S1或S2,或者图1A或2A的信号V1、V2或V3)的步骤,衰减控制信号表示衰减控制值的序列,每个衰减控制值表示在不同时间(或在不同时间段中)由音频信号的语音通道确定的语音相关内容和由至少一个非语音通道确定的语音相关内容之间的相似程度,步骤(b)包括如下步骤:响应于衰减控制信号对回避增益控制信号(例如,图1或1A的信号C1或C2,或者图2或2A的信号C3或C4)进行缩放以产生缩放了的增益控制信号(例如,图1或1A的信号S3 或S4,或者图2或2A的信号S5或S6),并应用缩放了的增益控制信号来对非语音通道进行衰减(例如,将缩放了的增益控制信号断言到图1、1A、2或2A的回避电路116或117,以通过回避电路控制至少一个非语音通道的衰减)。例如,在一些这样的实施例中,步骤(a)包括比较指示由语音通道确定的语音相关内容的第一语音相关特征序列(例如,图1或2的信号Q)和指示由非语音通道确定的语音相关内容的第二语音相关特征序列(例如,图1或2的信号P)以生成衰减控制信号的步骤,由衰减控制信号表示的每个衰减控制值指示在不同时间(例如在不同时间段中)第一语音相关特征序列与第二语音相关特征序列之间的相似程度。在一些实施例中,每个衰减控制值是增益控制值。
在一些第一类实施例中,每个衰减控制值与非语音通道指示语音增强内容的可能性单调相关,语音增强内容增强由语音通道确定的语音内容的可辨识度(或者另一种感知品质)。在另一些第一类实施例中,每个衰减控制值与非语音通道的预期语音增强值单调相关(例如,非语音通道指示语音增强内容的或然性的度量,乘以由非语音通道确定的语音增强内容将对由多通道信号确定的语音内容提供的感知品质增强的度量)。例如,当步骤(a)包括比较(例如,在图1或图2的元件134或135中)指示由语音通道确定的语音相关内容的第一语音相关特征序列和指示由非语音通道确定的语音相关内容的第二语音相关特征序列的步骤时,第一语音相关特征序列可以是语音可能性值的序列,每个该语音可能性值表示在不同时间(例如,在不同时间段中)语音通道指示语音(而不是语音之外的音频内容)的可能性,第二语音相关特征序列也可以是语音可能性值的序列,每个该语音可能性值表示在不同时间(例如,在不同时间段中)非语音通道指示语音的可能性。
如所述,图1、1A、2、2A或3的***(以及它们的许多变型中的每个)也可操作来实施本发明的方法的第二类实施例,本发明的方法的第二类实施例用于对具有语音通道和至少一个非语音通道的多通 道音频信号进行滤波以改善由该信号确定的语音的可辨识度。在第二类实施例中,该方法包括步骤:
(a)比较语音通道的特性和非语音通道的特性以产生至少一个衰减值(例如由图1的信号C1或C2确定的值,或者由图2的信号C3或C4确定的值,或者由图3的信号C5或C6确定的值)以用于控制非语音通道相对于语音通道的衰减;以及
(b)响应于至少一个语音增强可能性值(例如,图1、2或3的信号S1或S2)调节该至少一个衰减值以产生用于控制非语音通道相对于语音通道的衰减的至少一个调节衰减值(例如,由图1的信号S3或S4确定的值,或者由图2的信号S5或S6确定的值,或者由图3的信号S7或S8确定的值)。典型地,调节步骤是或者包括响应于一个所述语音增强可能性值缩放(例如,在图1、2或3的元件114或115中)每个所述衰减值以产生一个所述调节衰减值。典型地,每个语音增强可能性值指示(例如,单调关联到)非语音通道指示语音增强内容(增强由语音通道确定的语音内容的可辨识度或其他感知品质的内容)的可能性。在一些实施例中,语音增强可能性值指示非语音通道的预期语音增强值(例如,非语音通道指示语音增强内容的或然率的度量乘以由非语音通道确定的语音增强内容对多通道音频信号确定的语音内容提供的感知品质增强的度量)。在一些第二类实施例中,语音增强可能性值是由包括比较指示由语音通道确定的语音相关内容的第一语音相关特征序列与指示由非语音通道确定的语音相关内容的第二语音相关特征序列的步骤的方法确定的比较值(例如,差异值)的序列,每个比较值是第一语音相关特征序列和第二语音相关特征序列之间在不同时间(例如,在不同时间段中)的相似程度。在典型的第二类实施例中,该方法还包括响应于至少一个调节衰减值对非语音通道进行衰减(例如在图1、2或3的放大器116或117中)进行衰减的步骤。步骤(b)可以包括响应于该至少一个语音增强可能性值(例如由图1的信号S1或S2确定的对应值)缩放该至少一个衰减值(例如,由图1的信号C1或C2确定的每个衰减值),或者由回避增益控 制信号或其他原始衰减控制信号确定的另一衰减值。
在图1的***运行来执行第二类实施例时,由信号C1或C2确定的每个衰减值是指示限制非语音通道中的信号功率对语音通道中的信号功率的比率不超过预定阈值所需的非语音通道的衰减量的第一因子,其被与语音通道指示语音的可能性单调相关的第二因子缩放。典型地,这些实施例中的调节步骤是(或者包括)通过一个语音增强可能性值(由信号S1或S2确定)缩放每个衰减值C1或C2以产生一个调节了的衰减值(由信号S3或S4确定),其中语音增强可能性值是单调关联到以下之一的因子:非语音通道指示语音增强内容(增强由多通道信号确定的语音内容的可辨识度或其它感知品质的内容)的可能性;以及非语音通道的预期语音增强值(例如,非语音通道指示语音增强内容的或然率的度量乘以非语音通道中的语音增强内容将对由多通道信号确定的语音内容提供的感知品质增强的度量)。
在图2的***操作来执行第二类实施例时,由信号C3或C4确定的每个衰减值是指示足以使存在由非语音通道确定的内容时由语音通道确定的语音的预测可辨识度超过预定阈值的非语音通道衰减量(例如,最小量)的第一因子,其被与语音通道指示语音的可能性单调相关的第二因子缩放。优选地,存在由非语音通道确定的内容时由语音通道确定的语音的预测可辨识度根据基于心理声学的可辨识度预测模型来确定。典型地,这些实施例中的调节步骤是(或包括)通过一个所述语音增强可能性值(由信号S1或S2确定)缩放每个所述衰减值以产生一个调节了的衰减值(由信号S5或S6确定),其中该语音增强可能性值是单调关联到以下之一的因子:非语音通道指示语音增强内容的可能性;以及非语音通道的预期语音增强值。
在图3的***运行来执行第二类实施例时,由信号C1或C2确定的每个衰减值由以下步骤决定,所述步骤包括:确定(在元件301、302或303中)语音通道101以及非语音通道102和103中的每个的功率谱,该功率谱指示作为频率的函数的功率;以及执行衰减值的频域确定,由此确定将要应用到非语音通道的频率成分的作为频率的函 数的衰减。
在一类实施例中,本发明是一种用于增强由多通道音频输入信号确定的语音的方法和***。在一些这样的实施例中,本发明的***包括:分析模块或子***(例如图1的元件130-135、104-109、114和115,或者图2的元件130-135、201-204、114和115),配置为分析输入多通道信号以产生衰减控制值;以及衰减子***(例如图1或图2的放大器116和117)。该衰减子***包括回避电路(由至少一些衰减控制值来掌控),耦接且配置为应用衰减(回避)到输入信号的每个非语音通道以产生滤波了的音频输出信号。在回避电路应用到非语音通道的衰减由控制值的当前值确定的意义上来说,回避电路由控制值掌控。
在一些实施例中,语音通道(例如中央通道)功率对非语音通道(例如侧通道和/或后通道)功率的比值用于确定应该应用多少回避(衰减)到每个非语音通道。例如,在图1的实施例中,假定非语音通道包括增强由语音通道确定的语音内容的语音增强内容的可能性(在分析模块中确定)没有改变,则由回避放大器116和117中的每个应用的增益响应于在分析模块中确定的增益控制值(从元件114或元件115输出)的降低而减小,增益控制值的降低指示语音通道101的功率相对于非语音通道(左通道102和右通道103)的功率的减小(在限制之内)(即,当语音通道功率相对于非语音通道的功率降低(在限制之内)时,相对于语音通道,回避放大器更多地衰减非语音通道)。
在一些替选实施例中,图1或图2的分析模块的修改变型独立地处理输入信号的每个通道的一个或更多子频带中的每个。具体而言,每个通道中的信号可经过带通滤波器组,产生三组n子带:{L1、L2、...、Ln}、{C1、C2、...、Cn}和{R1、R2、...、Rn}。匹配的子带被传送到图1(或图2)的分析模块的n个实例,滤波了的子信号(用于非语音通道的回避放大器的输出,以及未滤波的语音通道子信号)被累积电路重新组合以产生滤波多通道音频输出信号。为了对每个子带执行由图 1的元件109所执行的操作,可以为每个子带选择单独阈值θn(对应于元件109的阈值θ)。好的选择是其中θn与对应的频率区域中携载的语音提示的平均数成比例的集合;即,在频谱极端的带比与主要语音频率对应的带分配更低的阈值。本发明的这种实现可以提供计算复杂度和性能之间非常好的折衷。
图4是***420(可配置音频DSP)的框图,***420已配置成执行本发明的方法的实施例。***420包括可编程DSP电路422(***420的主动语音增强模块),其耦接来接收多通道音频输入信号。例如,信号的非语音通道Lin和Rin可对应于参照图1、1A、2、2A和3描述的输入信号的通道102和103,该信号还可包括其他非语音通道(例如左后通道和右后通道),信号的语音通道Cin可以对应于参照图1、1A、2、2A和3描述的输入信号的通道101。响应于来自控制接口421的控制数据,电路422配置成执行本发明的方法的实施例,以响应于音频输入信号产生语音增强多通道输出音频信号。为了对***420进行编程,适当的软件从外部处理器断言到控制接口421,接口421响应地将适当的控制数据断言到电路422以配置电路422来执行本发明的方法。
运行时,已配置成执行根据本发明的语音增强的音频DSP(例如,图4的***420)耦接成接收N通道音频输入信号,除了语音增强之外(包括语音增强),该DSP典型地还对输入音频(或其处理变体)执行多种操作。例如,图4的***可以实现为在处理子***423中执行其他操作(对电路422的输出)。根据本发明的各种实施例,音频DSP可在被配置(例如编程)之后操作来执行本发明的方法的实施例,以响应于输入音频信号通过对输入音频信号执行该方法来产生输出音频信号。
在一些实施例中,本发明的***是或者包括通用处理器,该通用处理器耦接成接收或产生指示多通道音频信号的输入数据。该处理器用软件(或固件)编程和/或以其他方式配置(例如,响应于控制数据)以对输入数据执行多种操作中的任意操作,包括本发明的方法的实施 例。图5的计算机***是这样的***的一个例子。图5的***包括通用处理器501,其被编程为对输入数据执行多种操作中的任意操作,包括本发明的方法的实施例。
图5的计算机***还包括耦接到处理器501的输入设备503(例如,鼠标和/或键盘)、耦接到处理器501的存储介质504、以及耦接到处理器501的显示设备505。处理器501被编程为响应于通过输入设备503的用户操作输入的指令和数据实施本发明的方法。计算机可读存储介质504(例如,光盘或其他有形物体)具有存储于其上的计算机代码,其适于对处理器501进行编程以执行本发明的方法的实施例。运行时,处理器501执行计算机代码以根据本发明处理指示多通道音频输入信号的数据,从而产生指示多通道音频输出信号的输出数据。
上述图1、1A、2、2A或3的***可以实现在通用处理器501中,输入信号通道101、102和103是指示中央(语音)以及左和右(非语音)音频输入通道(例如,环绕声音信号的)的数据,输出信号通道118和119是指示语音强化的左和右音频输出通道(例如,语音增强的环绕声音信号的)的输出数据。常规数模转换器(DAC)可对输出数据进行操作以产生输出音频通道信号的模拟变体以供物理扬声器再现。
本发明的某些方面是一种计算机***,其编程来执行本发明的方法的任意实施例,还是一种计算机可读介质,其存储计算机可读代码以用于实施本发明的方法的任意实施例。
虽然本发明的特定实施例以及本发明的应用已经描述于此,但是本领域普通技术人员将理解,所述实施例和应用的许多变型是可行的,而不偏离这里描述和主张的本发明的范围。应理解,虽然已经显示和描述了本发明的某些形式,但是本发明不限于所描述和显示的特定实施例和所述特定方法。
Claims (48)
1.一种对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波以改善由该信号确定的语音的可辨识度的方法,该方法包括以下步骤:
(a)确定至少一个衰减控制值,该至少一个衰减控制值指示由该语音通道确定的语音相关内容与由该多通道音频信号的至少一个非语音通道确定的语音相关内容之间的相似程度;以及
(b)响应于该至少一个衰减控制值,对该多通道音频信号的至少一个非语音通道进行衰减。
2.如权利要求1所述的方法,其中,在步骤(a)中确定的每个衰减控制值指示由该语音通道确定的语音相关内容与由该音频信号的一个非语音通道确定的语音相关内容之间的相似程度,步骤(b)包括响应于所述每个衰减控制值对所述非语音通道进行衰减的步骤。
3.如权利要求1所述的方法,其中,步骤(a)包括从该音频信号的该至少一个非语音通道衍生一个衍生非语音通道的步骤,该至少一个衰减控制值指示由该语音通道确定的语音相关内容与由该衍生非语音通道确定的语音相关内容之间的相似程度。
4.如权利要求3所述的方法,其中,该衍生非语音通道通过组合该多通道音频信号的第一非语音通道和该多通道音频信号的第二非语音通道而衍生。
5.如权利要求3所述的方法,其中,该多通道音频信号具有至少两个非语音通道,步骤(b)包括响应于该至少一个衰减控制值,对非语音通道中的一些但非全部进行衰减的步骤。
6.如权利要求3所述的方法,其中,所述多通道音频信号具有至少两个非语音通道,步骤(b)包括响应于该至少一个衰减控制值,对全部非语音通道进行衰减的步骤。
7.如权利要求1所述的方法,其中,步骤(b)包括响应于该至少一个衰减控制值,对该非语音通道的原始衰减控制信号进行缩放。
8.如权利要求1所述的方法,其中,步骤(a)包括产生指示衰减控制值的序列的衰减控制信号的步骤,每个衰减控制值指示由该语音通道确定的语音相关内容与由该多通道音频信号的至少一个非语音通道确定的语音相关内容之间在不同时间的相似程度,步骤(b)包括如下步骤:
响应于该衰减控制信号对回避增益控制信号进行缩放以产生缩放了的增益控制信号;以及
应用该缩放了的增益控制信号以对该多通道音频信号的至少一个非语音通道进行衰减。
9.如权利要求8所述的方法,其中,步骤(a)包括比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列与指示由该多通道音频信号的该至少一个非语音通道确定的语音相关内容的第二语音相关特征序列以产生该衰减控制信号的步骤,由该衰减控制信号指示的衰减控制值中的每个指示该第一语音相关特征序列和该第二语音相关特征序列之间在不同时间的相似程度。
10.如权利要求1所述的方法,其中,每个所述衰减控制值与该多通道音频信号的该至少一个非语音通道指示增强由该语音通道确定的语音内容的感知品质的语音增强内容的可能性单调相关。
11.一种对具有语音通道和至少一个非语音通道的多通道音频信号进行滤波以改善由该信号确定的语音的可辨识度的方法,所述方法包括以下步骤:
(a)确定至少一个衰减控制值,该至少一个衰减控制值指示由该语音通道确定的语音相关内容与由该非语音通道确定的语音相关内容之间的相似程度;以及
(b)响应于该至少一个衰减控制值,对该非语音通道进行衰减。
12.如权利要求11所述的方法,其中,步骤(b)包括响应于该至少一个衰减控制值,对该非语音通道的原始衰减控制信号进行缩放。
13.如权利要求11所述的方法,其中,步骤(a)包括产生指示衰减控制值的序列的衰减控制信号的步骤,每个衰减控制值指示由该语音通道确定的语音相关内容与由该非语音通道确定的语音相关内容之间在不同时间的相似程度,步骤(b)包括如下步骤:
响应于该衰减控制信号对回避增益控制信号进行缩放以产生缩放了的增益控制信号;以及
应用该缩放了的增益控制信号以对该非语音通道进行衰减。
14.如权利要求13所述的方法,其中,步骤(a)包括比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列与指示由该非语音通道确定的语音相关内容的第二语音相关特征序列以产生该衰减控制信号的步骤,由该衰减控制信号指示的衰减控制值中的每个指示该第一语音相关特征序列和该第二语音相关特征序列之间在不同时间的相似程度。
15.如权利要求14所述的方法,其中,该第一语音相关特征序列是语音可能性值的序列,各个该语音可能性值指示在不同时间该语音通道指示语音的可能性,该第二语音相关特征序列是语音可能性值的另一序列,该另一序列的各个该语音可能性值指示在不同时间该非语音通道指示语音的可能性。
16.如权利要求13所述的方法,其中,每个所述衰减控制值是增益控制值。
17.如权利要求11所述的方法,其中,每个所述衰减控制值与该非语音通道指示增强由该语音通道确定的语音内容的感知品质的语音增强内容的可能性单调相关。
18.一种对具有语音通道和至少两个非语音通道的多通道音频信号进行滤波的方法,该方法包括如下步骤:
(a)确定至少一个第一衰减控制值,该至少一个第一衰减控制值指示由该语音通道确定的语音相关内容与由第一非语音通道确定的第二语音相关内容之间的相似程度;
(b)确定至少一个第二衰减控制值,该至少一个第二衰减控制值指示由该语音通道确定的语音相关内容与由第二非语音通道确定的第三语音相关内容之间的相似程度;
(c)响应于该至少一个第一衰减控制值,对该第一非语音通道进行衰减;以及
(d)响应于该至少一个第二衰减控制值,对该第二非语音通道进行衰减。
19.如权利要求18所述的方法,其中,步骤(a)包括比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列和指示该第二语音相关内容的第二语音相关特征序列的步骤,步骤(b)包括比较该第一语音相关特征序列和指示该第三语音相关内容的第三语音相关特征序列的步骤。
20.如权利要求18所述的方法,其中,步骤(c)包括响应于该第一衰减控制值缩放该第一非语音通道的衰减的步骤,步骤(d)包括响应于该第二衰减控制值缩放该第二非语音通道的衰减的步骤。
21.如权利要求18所述的方法,其中,在步骤(a)中确定的该至少一个第一衰减控制值是衰减控制值的序列,每个该衰减控制值是增益控制值,该增益控制值用于缩放应用到该第一非语音通道的回避增益的量以改善由该语音通道确定的语音的可辨识度,而没有不期望地对由该第一非语音通道确定的语音增强内容进行衰减,且
在步骤(b)中确定的该至少一个第二衰减控制值是第二衰减控制值的序列,每个该第二衰减控制值是增益控制值,该增益控制值用于缩放应用到该第二非语音通道的回避增益的量以改善由该语音通道确定的语音的可辨识度,而没有不期望地对由该第二非语音通道确定的语音增强内容进行衰减。
22.一种增强由具有语音通道和至少一个非语音通道的多通道音频输入信号确定的语音的***,该***包括:
分析子***,配置为分析该多通道音频输入信号以产生衰减控制值,其中每个该衰减控制值指示由该语音通道确定的语音相关内容与由该输入信号的至少一个非语音通道确定的语音相关内容之间的相似程度;以及
衰减子***,配置为由至少一些所述衰减控制值掌控地将回避衰减应用到每个所述非语音通道以产生滤波音频输出信号。
23.如权利要求22所述的***,其中,该衰减子***配置为响应于该衰减控制值的至少一子集缩放至少一个所述非语音通道的原始衰减控制信号。
24.如权利要求22所述的***,其中,该分析子***配置为产生用于至少一个所述非语音通道的指示衰减控制值的序列的衰减控制信号,该序列中的每个所述衰减控制值指示由该语音通道确定的语音相关内容与由该非语音通道确定的语音相关内容之间在不同时间的相似程度,该衰减子***配置为:
响应于该衰减控制信号缩放回避增益控制信号以产生缩放了的增益控制信号;以及
应用该缩放了的增益控制信号以对该非语音通道进行衰减。
25.如权利要求24所述的***,其中,所述分析子***配置为比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列和指示由该非语音通道确定的语音相关内容的第二语音相关特征序列以产生衰减控制信号,由该衰减控制信号指示的每个该衰减控制值指示该第一语音相关特征序列和该第二语音相关特征序列之间在不同时间的相似程度。
26.如权利要求25所述的***,其中,该第一语音相关特征序列是语音可能性值的序列,每个该语音可能性值指示在不同时间该语音通道指示语音的可能性,该第二语音相关特征序列是另一语音可能性值的序列,该另一语音可能性值的序列的每个该语音可能性值指示在不同时间该非语音通道指示语音的可能性。
27.如权利要求22所述的***,其中,所述***包括处理器,该处理器用分析软件编程为分析该多通道音频输入信号以产生该衰减控制值。
28.如权利要求27所述的***,其中,该处理器用衰减软件编程为将该回避衰减应用到每个所述非语音通道以产生该滤波音频输出信号。
29.如权利要求22所述的***,其中,所述***包括处理器,该处理器被配置为分析该多通道音频输入信号以产生该衰减控制值,且配置为将该回避衰减应用到每个所述非语音通道以产生该滤波音频输出信号。
30.如权利要求22所述的***,其中,所述***是音频数字信号处理器,该音频数字信号处理器已被配置为分析该多通道音频输入信号以产生该衰减控制值,且配置为将该回避衰减应用到每个所述非语音通道以产生该滤波音频输出信号。
31.如权利要求22所述的***,其中,所述***包括配置为实现所述分析子***的第一电路和耦接到该第一电路且配置为实现该衰减子***的附加电路。
32.如权利要求22所述的***,其中,所述***包括音频数字信号处理器,该音频数字信号处理器包括配置为实现所述分析子***的第一电路和耦接到该第一电路且配置为实现该衰减子***的附加电路。
33.如权利要求22所述的***,其中,所述***是配置为现实该分析子***和该衰减子***的数据处理***。
34.一种增强由具有语音通道和至少一个非语音通道的多通道音频输入信号确定的语音的***,所述***包括:
分析子***,配置为分析该多通道音频输入信号以产生衰减控制值,其中每个该衰减控制值指示由该语音通道确定的语音相关内容和由该输入信号的至少一个非语音通道确定的语音相关内容之间的相似程度;以及
衰减子***,配置为由至少一些该衰减控制值掌控地应用回避衰减到该输入信号的至少一个非语音通道以产生滤波音频输出信号。
35.如权利要求34所述的***,其中,所述分析子***配置为产生指示由该语音通道确定的语音相关内容和由该多通道音频输入信号的一个非语音通道确定的语音相关内容之间的相似程度的每个所述衰减控制值,所述衰减子***配置为响应于该衰减控制值应用所述回避衰减到所述一个非语音通道。
36.如权利要求34所述的***,其中,该分析子***配置为从该多通道音频输入信号的该至少一个非语音通道衍生出衍生非语音通道,且配置为产生指示由该语音通道确定的语音相关内容和由该多通道音频输入信号的衍生非语音通道确定的语音相关内容之间的相似程度的至少一些所述衰减控制值中的每个。
37.一种用于处理指示具有语音通道和至少一个非语音通道的多通道音频信号的数据以改善由该信号确定的语音的可辨识度的设备,包括:
(a)用于确定指示由该语音通道确定的语音相关内容和由该非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值的装置;以及
(b)用于响应于该至少一个衰减控制值,对该非语音通道进行衰减的装置。
38.如权利要求37所述的设备,还包括用于响应于该至少一个衰减控制值对该非语音通道的指示原始衰减控制信号的数据进行缩放的装置。
39.如权利要求37所述的设备,还包括:
用于产生指示衰减控制值的序列的数据的装置,每个该衰减控制值指示由该语音通道确定的语音相关内容和由该非语音通道确定的语音相关内容之间在不同时间的相似程度;以及
用于响应于该衰减控制值的序列,对指示回避增益控制信号的数据进行缩放以产生指示缩放了的增益控制信号的数据的装置。
40.如权利要求39所述的设备,还包括用于比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列和指示由该非语音通道确定的语音相关内容的第二语音相关特征序列,以产生该衰减控制值的序列的装置,每个该衰减控制值指示该第一语音相关特征序列与该第二语音相关特征序列之间在不同时间的相似程度。
41.如权利要求40所述的设备,其中,该第一语音相关特征序列是第一语音可能性值的序列,每个该第一语音可能性值指示在不同时间该语音通道指示语音的可能性,该第二语音相关特征序列是第二语音可能性值的序列,每个该第二语音可能性值指示在不同时间该非语音通道指示语音的可能性。
42.如权利要求37所述的设备,其中,每个所述衰减控制值与该非语音通道指示增强由该语音通道确定的语音内容的感知品质的语音增强内容的可能性单调相关。
43.一种用于处理指示具有语音通道和至少两个非语音通道的多通道音频信号的数据的设备,包括:
(a)用于确定指示由该语音通道确定的语音相关内容和由第一非语音通道确定的第二语音相关内容之间的相似程度的至少一个第一衰减控制值的装置;
(b)用于确定指示由该语音通道确定的语音相关内容和由第二非语音通道确定的第三语音相关内容之间的相似程度的至少一个第二衰减控制值的装置;
(c)用于响应于该第一衰减控制值对该至少一个第一非语音通道进行衰减的装置;以及
(d)用于响应于该至少一个第二衰减控制值对该第二非语音通道进行衰减的装置。
44.如权利要求43所述的设备,还包括用于比较指示由该语音通道确定的语音相关内容的第一语音相关特征序列和指示该第二语音相关内容的第二语音相关特征序列的装置,以及用于比较该第一语音相关特征序列和指示该第三语音相关内容的第三语音相关特征序列的装置。
45.如权利要求43所述的设备,其中,该至少一个第一衰减控制值是衰减控制值的序列,所述设备还包括用于响应于该衰减控制值的序列对应用到该第一非语音通道的回避增益的量进行缩放,从而改善由该语音通道确定的语音的可辨识度,而没有不期望地对由该第一非语音通道确定的语音增强内容进行衰减的装置。
46.一种用于处理指示具有语音通道和至少一个非语音通道的多通道音频信号的数据的设备,包括:
用于确定指示由该语音通道确定的语音相关内容和由该多通道音频信号的至少一个非语音通道确定的语音相关内容之间的相似程度的至少一个衰减控制值的装置;以及
用于响应于该至少一个衰减控制值,产生指示该多通道音频信号的至少一个衰减了的非语音通道的数据的装置,其中每个所述衰减了的非语音通道已经响应于该至少一个衰减控制值经历了衰减。
47.如权利要求46所述的设备,其中,每个所述衰减控制值指示由该语音通道确定的语音相关内容与由该音频信号的一个非语音通道确定的语音相关内容之间的相似程度。
48.如权利要求46所述的设备,还包括:
用于产生指示从该音频信号的该至少一个非语音通道衍生的衍生非语音通道的数据的装置,以及用于确定指示由该语音通道确定的语音相关内容与由该衍生非语音通道确定的语音相关内容之间的相似程度的该至少一个衰减控制值的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410830734.2A CN104811891B (zh) | 2010-03-08 | 2011-02-28 | 多通道音频中语音相关通道的缩放回避的方法和*** |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31143710P | 2010-03-08 | 2010-03-08 | |
US61/311,437 | 2010-03-08 | ||
PCT/US2011/026505 WO2011112382A1 (en) | 2010-03-08 | 2011-02-28 | Method and system for scaling ducking of speech-relevant channels in multi-channel audio |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410830734.2A Division CN104811891B (zh) | 2010-03-08 | 2011-02-28 | 多通道音频中语音相关通道的缩放回避的方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102792374A CN102792374A (zh) | 2012-11-21 |
CN102792374B true CN102792374B (zh) | 2015-05-27 |
Family
ID=43919902
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180012782.5A Active CN102792374B (zh) | 2010-03-08 | 2011-02-28 | 多通道音频中语音相关通道的缩放回避的方法和*** |
CN201410830734.2A Active CN104811891B (zh) | 2010-03-08 | 2011-02-28 | 多通道音频中语音相关通道的缩放回避的方法和*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410830734.2A Active CN104811891B (zh) | 2010-03-08 | 2011-02-28 | 多通道音频中语音相关通道的缩放回避的方法和*** |
Country Status (9)
Country | Link |
---|---|
US (2) | US9219973B2 (zh) |
EP (1) | EP2545552B1 (zh) |
JP (1) | JP5674827B2 (zh) |
CN (2) | CN102792374B (zh) |
BR (2) | BR122019024041B1 (zh) |
ES (1) | ES2709523T3 (zh) |
RU (1) | RU2520420C2 (zh) |
TW (1) | TWI459828B (zh) |
WO (1) | WO2011112382A1 (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2858925C (en) * | 2011-12-15 | 2017-02-21 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for avoiding clipping artefacts |
US9781529B2 (en) | 2012-03-27 | 2017-10-03 | Htc Corporation | Electronic apparatus and method for activating specified function thereof |
US9633667B2 (en) * | 2012-04-05 | 2017-04-25 | Nokia Technologies Oy | Adaptive audio signal filtering |
US9886794B2 (en) | 2012-06-05 | 2018-02-06 | Apple Inc. | Problem reporting in maps |
US10156455B2 (en) | 2012-06-05 | 2018-12-18 | Apple Inc. | Context-aware voice guidance |
EP2760021B1 (en) * | 2013-01-29 | 2018-01-17 | 2236008 Ontario Inc. | Sound field spatial stabilizer |
US9516418B2 (en) | 2013-01-29 | 2016-12-06 | 2236008 Ontario Inc. | Sound field spatial stabilizer |
MX354633B (es) | 2013-03-05 | 2018-03-14 | Fraunhofer Ges Forschung | Aparato y metodo para la descomposicion directa-ambiental de multicanal para el procesamiento de señales de audio. |
CN114566183A (zh) * | 2013-04-05 | 2022-05-31 | 杜比实验室特许公司 | 使用高级频谱延拓降低量化噪声的压扩装置和方法 |
US9271100B2 (en) | 2013-06-20 | 2016-02-23 | 2236008 Ontario Inc. | Sound field spatial stabilizer with spectral coherence compensation |
US9099973B2 (en) | 2013-06-20 | 2015-08-04 | 2236008 Ontario Inc. | Sound field spatial stabilizer with structured noise compensation |
US9106196B2 (en) | 2013-06-20 | 2015-08-11 | 2236008 Ontario Inc. | Sound field spatial stabilizer with echo spectral coherence compensation |
KR101790641B1 (ko) | 2013-08-28 | 2017-10-26 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 하이브리드 파형-코딩 및 파라미터-코딩된 스피치 인핸스 |
WO2015116687A1 (en) * | 2014-01-28 | 2015-08-06 | St. Jude Medical, Cardiology Division, Inc. | Elongate medical devices incorporating a flexible substrate, a sensor, and electrically-conductive traces |
US9654076B2 (en) | 2014-03-25 | 2017-05-16 | Apple Inc. | Metadata for ducking control |
US8874448B1 (en) * | 2014-04-01 | 2014-10-28 | Google Inc. | Attention-based dynamic audio level adjustment |
US9615170B2 (en) | 2014-06-09 | 2017-04-04 | Harman International Industries, Inc. | Approach for partially preserving music in the presence of intelligible speech |
CN106796804B (zh) * | 2014-10-02 | 2020-09-18 | 杜比国际公司 | 用于对话增强的解码方法和解码器 |
RU2673390C1 (ru) * | 2014-12-12 | 2018-11-26 | Хуавэй Текнолоджиз Ко., Лтд. | Устройство обработки сигналов для усиления речевого компонента в многоканальном звуковом сигнале |
WO2016115622A1 (en) | 2015-01-22 | 2016-07-28 | Eers Global Technologies Inc. | Active hearing protection device and method therefore |
US9747923B2 (en) * | 2015-04-17 | 2017-08-29 | Zvox Audio, LLC | Voice audio rendering augmentation |
US9947364B2 (en) * | 2015-09-16 | 2018-04-17 | Google Llc | Enhancing audio using multiple recording devices |
JP6567479B2 (ja) * | 2016-08-31 | 2019-08-28 | 株式会社東芝 | 信号処理装置、信号処理方法およびプログラム |
EP3566229B1 (en) * | 2017-01-23 | 2020-11-25 | Huawei Technologies Co., Ltd. | An apparatus and method for enhancing a wanted component in a signal |
US10013995B1 (en) * | 2017-05-10 | 2018-07-03 | Cirrus Logic, Inc. | Combined reference signal for acoustic echo cancellation |
US11335357B2 (en) * | 2018-08-14 | 2022-05-17 | Bose Corporation | Playback enhancement in audio systems |
CN111354356B (zh) * | 2018-12-24 | 2024-04-30 | 北京搜狗科技发展有限公司 | 一种语音数据处理方法及装置 |
US11335361B2 (en) * | 2020-04-24 | 2022-05-17 | Universal Electronics Inc. | Method and apparatus for providing noise suppression to an intelligent personal assistant |
CN115699172A (zh) | 2020-05-29 | 2023-02-03 | 弗劳恩霍夫应用研究促进协会 | 用于处理初始音频信号的方法和装置 |
CN115881146A (zh) * | 2021-08-05 | 2023-03-31 | 哈曼国际工业有限公司 | 用于动态语音增强的方法及*** |
WO2023208342A1 (en) * | 2022-04-27 | 2023-11-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for scaling of ducking gains for spatial, immersive, single- or multi-channel reproduction layouts |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003022003A2 (en) * | 2001-09-06 | 2003-03-13 | Koninklijke Philips Electronics N.V. | Audio reproducing device |
US20090299739A1 (en) * | 2008-06-02 | 2009-12-03 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal balancing |
WO2010011377A2 (en) * | 2008-04-18 | 2010-01-28 | Dolby Laboratories Licensing Corporation | Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience |
Family Cites Families (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5657422A (en) * | 1994-01-28 | 1997-08-12 | Lucent Technologies Inc. | Voice activity detection driven noise remediator |
US5666429A (en) * | 1994-07-18 | 1997-09-09 | Motorola, Inc. | Energy estimator and method therefor |
JPH08222979A (ja) * | 1995-02-13 | 1996-08-30 | Sony Corp | オーディオ信号処理装置、およびオーディオ信号処理方法、並びにテレビジョン受像機 |
US5920834A (en) * | 1997-01-31 | 1999-07-06 | Qualcomm Incorporated | Echo canceller with talk state determination to control speech processor functional elements in a digital telephone system |
US5983183A (en) * | 1997-07-07 | 1999-11-09 | General Data Comm, Inc. | Audio automatic gain control system |
US20020002455A1 (en) * | 1998-01-09 | 2002-01-03 | At&T Corporation | Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system |
US6226321B1 (en) * | 1998-05-08 | 2001-05-01 | The United States Of America As Represented By The Secretary Of The Air Force | Multichannel parametric adaptive matched filter receiver |
DK1141948T3 (da) * | 1999-01-07 | 2007-08-13 | Tellabs Operations Inc | Fremgangsmåde og apparat til adaptiv undertrykkelse af stöj |
US6442278B1 (en) * | 1999-06-15 | 2002-08-27 | Hearing Enhancement Company, Llc | Voice-to-remaining audio (VRA) interactive center channel downmix |
KR100304666B1 (ko) * | 1999-08-28 | 2001-11-01 | 윤종용 | 음성 향상 방법 |
DE60028907T2 (de) * | 1999-11-24 | 2007-02-15 | Donnelly Corp., Holland | Rückspiegel mit Nutzfunktion |
WO2001041427A1 (en) * | 1999-12-06 | 2001-06-07 | Dmi Biosciences, Inc. | Noise reducing/resolution enhancing signal processing method and system |
US7058572B1 (en) * | 2000-01-28 | 2006-06-06 | Nortel Networks Limited | Reducing acoustic noise in wireless and landline based telephony |
JP2001268700A (ja) * | 2000-03-17 | 2001-09-28 | Fujitsu Ten Ltd | 音響装置 |
US6523003B1 (en) * | 2000-03-28 | 2003-02-18 | Tellabs Operations, Inc. | Spectrally interdependent gain adjustment techniques |
US6766292B1 (en) * | 2000-03-28 | 2004-07-20 | Tellabs Operations, Inc. | Relative noise ratio weighting techniques for adaptive noise cancellation |
US20040096065A1 (en) * | 2000-05-26 | 2004-05-20 | Vaudrey Michael A. | Voice-to-remaining audio (VRA) interactive center channel downmix |
US20070233479A1 (en) * | 2002-05-30 | 2007-10-04 | Burnett Gregory C | Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors |
JP4282227B2 (ja) * | 2000-12-28 | 2009-06-17 | 日本電気株式会社 | ノイズ除去の方法及び装置 |
US20020159434A1 (en) * | 2001-02-12 | 2002-10-31 | Eleven Engineering Inc. | Multipoint short range radio frequency system |
US7013269B1 (en) * | 2001-02-13 | 2006-03-14 | Hughes Electronics Corporation | Voicing measure for a speech CODEC system |
US20040148166A1 (en) * | 2001-06-22 | 2004-07-29 | Huimin Zheng | Noise-stripping device |
JP2003084790A (ja) * | 2001-09-17 | 2003-03-19 | Matsushita Electric Ind Co Ltd | 台詞成分強調装置 |
WO2007106399A2 (en) * | 2006-03-10 | 2007-09-20 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
US20040002856A1 (en) * | 2002-03-08 | 2004-01-01 | Udaya Bhaskar | Multi-rate frequency domain interpolative speech CODEC system |
JP3810004B2 (ja) | 2002-03-15 | 2006-08-16 | 日本電信電話株式会社 | ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム |
DE60325595D1 (de) * | 2002-07-01 | 2009-02-12 | Koninkl Philips Electronics Nv | Von der stationären spektralleistung abhängiges audioverbesserungssystem |
JP4219898B2 (ja) * | 2002-10-31 | 2009-02-04 | 富士通株式会社 | 音声強調装置 |
US7305097B2 (en) * | 2003-02-14 | 2007-12-04 | Bose Corporation | Controlling fading and surround signal level |
US8271279B2 (en) * | 2003-02-21 | 2012-09-18 | Qnx Software Systems Limited | Signature noise removal |
US7127076B2 (en) * | 2003-03-03 | 2006-10-24 | Phonak Ag | Method for manufacturing acoustical devices and for reducing especially wind disturbances |
US8724822B2 (en) * | 2003-05-09 | 2014-05-13 | Nuance Communications, Inc. | Noisy environment communication enhancement system |
ATE324763T1 (de) * | 2003-08-21 | 2006-05-15 | Bernafon Ag | Verfahren zur verarbeitung von audiosignalen |
DE102004049347A1 (de) * | 2004-10-08 | 2006-04-20 | Micronas Gmbh | Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale |
US7610196B2 (en) * | 2004-10-26 | 2009-10-27 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
US8306821B2 (en) * | 2004-10-26 | 2012-11-06 | Qnx Software Systems Limited | Sub-band periodic signal enhancement system |
US8543390B2 (en) * | 2004-10-26 | 2013-09-24 | Qnx Software Systems Limited | Multi-channel periodic signal enhancement system |
US8170879B2 (en) * | 2004-10-26 | 2012-05-01 | Qnx Software Systems Limited | Periodic signal enhancement system |
KR100679044B1 (ko) * | 2005-03-07 | 2007-02-06 | 삼성전자주식회사 | 사용자 적응형 음성 인식 방법 및 장치 |
US8280730B2 (en) * | 2005-05-25 | 2012-10-02 | Motorola Mobility Llc | Method and apparatus of increasing speech intelligibility in noisy environments |
JP4670483B2 (ja) * | 2005-05-31 | 2011-04-13 | 日本電気株式会社 | 雑音抑圧の方法及び装置 |
EP1930880B1 (en) * | 2005-09-02 | 2019-09-25 | NEC Corporation | Method and device for noise suppression, and computer program |
US20070053522A1 (en) * | 2005-09-08 | 2007-03-08 | Murray Daniel J | Method and apparatus for directional enhancement of speech elements in noisy environments |
JP4356670B2 (ja) * | 2005-09-12 | 2009-11-04 | ソニー株式会社 | 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置 |
US7366658B2 (en) * | 2005-12-09 | 2008-04-29 | Texas Instruments Incorporated | Noise pre-processor for enhanced variable rate speech codec |
WO2007098258A1 (en) * | 2006-02-24 | 2007-08-30 | Neural Audio Corporation | Audio codec conditioning system and method |
JP4738213B2 (ja) * | 2006-03-09 | 2011-08-03 | 富士通株式会社 | 利得調整方法及び利得調整装置 |
US7555075B2 (en) * | 2006-04-07 | 2009-06-30 | Freescale Semiconductor, Inc. | Adjustable noise suppression system |
AU2007296933B2 (en) * | 2006-09-14 | 2011-09-22 | Lg Electronics Inc. | Dialogue enhancement techniques |
US20080082320A1 (en) * | 2006-09-29 | 2008-04-03 | Nokia Corporation | Apparatus, method and computer program product for advanced voice conversion |
EP1918910B1 (en) * | 2006-10-31 | 2009-03-11 | Harman Becker Automotive Systems GmbH | Model-based enhancement of speech signals |
US8615393B2 (en) * | 2006-11-15 | 2013-12-24 | Microsoft Corporation | Noise suppressor for speech recognition |
WO2008073487A2 (en) * | 2006-12-12 | 2008-06-19 | Thx, Ltd. | Dynamic surround channel volume control |
JP2008148179A (ja) * | 2006-12-13 | 2008-06-26 | Fujitsu Ltd | 音声信号処理装置および自動利得制御装置における雑音抑圧処理方法 |
DE602008001787D1 (de) * | 2007-02-12 | 2010-08-26 | Dolby Lab Licensing Corp | Verbessertes verhältnis von sprachlichen zu nichtsprachlichen audio-inhalten für ältere oder hörgeschädigte zuhörer |
ES2391228T3 (es) * | 2007-02-26 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Realce de voz en audio de entretenimiento |
JP2008216720A (ja) * | 2007-03-06 | 2008-09-18 | Nec Corp | 信号処理の方法、装置、及びプログラム |
US20090010453A1 (en) * | 2007-07-02 | 2009-01-08 | Motorola, Inc. | Intelligent gradient noise reduction system |
GB2450886B (en) * | 2007-07-10 | 2009-12-16 | Motorola Inc | Voice activity detector and a method of operation |
US8600516B2 (en) * | 2007-07-17 | 2013-12-03 | Advanced Bionics Ag | Spectral contrast enhancement in a cochlear implant speech processor |
DE102007048973B4 (de) * | 2007-10-12 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung |
US8326617B2 (en) * | 2007-10-24 | 2012-12-04 | Qnx Software Systems Limited | Speech enhancement with minimum gating |
US8296136B2 (en) * | 2007-11-15 | 2012-10-23 | Qnx Software Systems Limited | Dynamic controller for improving speech intelligibility |
KR101444100B1 (ko) * | 2007-11-15 | 2014-09-26 | 삼성전자주식회사 | 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 |
EP2232700B1 (en) * | 2007-12-21 | 2014-08-13 | Dts Llc | System for adjusting perceived loudness of audio signals |
KR101328962B1 (ko) * | 2008-01-01 | 2013-11-13 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
CN101911182A (zh) * | 2008-01-01 | 2010-12-08 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
US8392179B2 (en) * | 2008-03-14 | 2013-03-05 | Dolby Laboratories Licensing Corporation | Multimode coding of speech-like and non-speech-like signals |
US8645129B2 (en) * | 2008-05-12 | 2014-02-04 | Broadcom Corporation | Integrated speech intelligibility enhancement system and acoustic echo canceller |
US8983832B2 (en) | 2008-07-03 | 2015-03-17 | The Board Of Trustees Of The University Of Illinois | Systems and methods for identifying speech sound features |
US20100008520A1 (en) * | 2008-07-09 | 2010-01-14 | Yamaha Corporation | Noise Suppression Estimation Device and Noise Suppression Device |
EP2194526A1 (en) * | 2008-12-05 | 2010-06-09 | Lg Electronics Inc. | A method and apparatus for processing an audio signal |
US8185389B2 (en) * | 2008-12-16 | 2012-05-22 | Microsoft Corporation | Noise suppressor for robust speech recognition |
WO2010068997A1 (en) * | 2008-12-19 | 2010-06-24 | Cochlear Limited | Music pre-processing for hearing prostheses |
US8175888B2 (en) * | 2008-12-29 | 2012-05-08 | Motorola Mobility, Inc. | Enhanced layered gain factor balancing within a multiple-channel audio coding system |
WO2010083879A1 (en) * | 2009-01-20 | 2010-07-29 | Widex A/S | Hearing aid and a method of detecting and attenuating transients |
US8620008B2 (en) * | 2009-01-20 | 2013-12-31 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
US8428758B2 (en) * | 2009-02-16 | 2013-04-23 | Apple Inc. | Dynamic audio ducking |
WO2010104299A2 (en) * | 2009-03-08 | 2010-09-16 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
FR2948484B1 (fr) * | 2009-07-23 | 2011-07-29 | Parrot | Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
US8538042B2 (en) * | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
US8644517B2 (en) * | 2009-08-17 | 2014-02-04 | Broadcom Corporation | System and method for automatic disabling and enabling of an acoustic beamformer |
EP2475423B1 (en) * | 2009-09-11 | 2016-12-14 | Advanced Bionics AG | Dynamic noise reduction in auditory prosthesis systems |
US8204742B2 (en) * | 2009-09-14 | 2012-06-19 | Srs Labs, Inc. | System for processing an audio signal to enhance speech intelligibility |
EP2486567A1 (en) * | 2009-10-09 | 2012-08-15 | Dolby Laboratories Licensing Corporation | Automatic generation of metadata for audio dominance effects |
US20110099596A1 (en) * | 2009-10-26 | 2011-04-28 | Ure Michael J | System and method for interactive communication with a media device user such as a television viewer |
US9117458B2 (en) * | 2009-11-12 | 2015-08-25 | Lg Electronics Inc. | Apparatus for processing an audio signal and method thereof |
US9324337B2 (en) * | 2009-11-17 | 2016-04-26 | Dolby Laboratories Licensing Corporation | Method and system for dialog enhancement |
US20110125494A1 (en) * | 2009-11-23 | 2011-05-26 | Cambridge Silicon Radio Limited | Speech Intelligibility |
US8553892B2 (en) * | 2010-01-06 | 2013-10-08 | Apple Inc. | Processing a multi-channel signal for output to a mono speaker |
WO2011083979A2 (en) * | 2010-01-06 | 2011-07-14 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
US20110178800A1 (en) * | 2010-01-19 | 2011-07-21 | Lloyd Watts | Distortion Measurement for Noise Suppression System |
-
2011
- 2011-02-18 TW TW100105440A patent/TWI459828B/zh active
- 2011-02-28 CN CN201180012782.5A patent/CN102792374B/zh active Active
- 2011-02-28 RU RU2012141463/08A patent/RU2520420C2/ru active
- 2011-02-28 WO PCT/US2011/026505 patent/WO2011112382A1/en active Application Filing
- 2011-02-28 ES ES11707537T patent/ES2709523T3/es active Active
- 2011-02-28 US US13/583,204 patent/US9219973B2/en active Active
- 2011-02-28 BR BR122019024041-8A patent/BR122019024041B1/pt active IP Right Grant
- 2011-02-28 CN CN201410830734.2A patent/CN104811891B/zh active Active
- 2011-02-28 JP JP2012557079A patent/JP5674827B2/ja active Active
- 2011-02-28 EP EP11707537.4A patent/EP2545552B1/en active Active
- 2011-02-28 BR BR112012022571-5A patent/BR112012022571B1/pt active IP Right Grant
-
2015
- 2015-11-16 US US14/942,706 patent/US9881635B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003022003A2 (en) * | 2001-09-06 | 2003-03-13 | Koninklijke Philips Electronics N.V. | Audio reproducing device |
WO2010011377A2 (en) * | 2008-04-18 | 2010-01-28 | Dolby Laboratories Licensing Corporation | Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience |
US20090299739A1 (en) * | 2008-06-02 | 2009-12-03 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal balancing |
Non-Patent Citations (2)
Title |
---|
MULTI-CHANNEL PSYCHOACOUSTICALLY MOTIVATED SPEECH ENHANCEMENT;Justinian Rosca,et al.;《2003 International Conference on Multimedia and Expo, 2003. ICME "03. Proceedings》;20030709;第3卷;III-217-III-220 * |
Zhao Li, et al..Robust Speech Coding Using Microphone Arrays.《Conference Record of the Thirty-First Asilomar Conference on Signals, Systems &Computers, 1997》.1997,第1卷44-48. * |
Also Published As
Publication number | Publication date |
---|---|
CN102792374A (zh) | 2012-11-21 |
EP2545552A1 (en) | 2013-01-16 |
CN104811891A (zh) | 2015-07-29 |
RU2012141463A (ru) | 2014-04-20 |
CN104811891B (zh) | 2017-06-27 |
JP5674827B2 (ja) | 2015-02-25 |
US9881635B2 (en) | 2018-01-30 |
TW201215177A (en) | 2012-04-01 |
WO2011112382A1 (en) | 2011-09-15 |
US20160071527A1 (en) | 2016-03-10 |
JP2013521541A (ja) | 2013-06-10 |
RU2520420C2 (ru) | 2014-06-27 |
EP2545552B1 (en) | 2018-12-12 |
BR112012022571B1 (pt) | 2020-11-17 |
US20130006619A1 (en) | 2013-01-03 |
US9219973B2 (en) | 2015-12-22 |
ES2709523T3 (es) | 2019-04-16 |
BR122019024041B1 (pt) | 2020-08-11 |
BR112012022571A2 (pt) | 2016-08-30 |
TWI459828B (zh) | 2014-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102792374B (zh) | 多通道音频中语音相关通道的缩放回避的方法和*** | |
Das et al. | Fundamentals, present and future perspectives of speech enhancement | |
CN105409247B (zh) | 用于音频信号处理的多声道直接-周围分解的装置及方法 | |
EP2210427B1 (en) | Apparatus, method and computer program for extracting an ambient signal | |
US20240079019A1 (en) | Perceptually-based loss functions for audio encoding and decoding based on machine learning | |
US9324337B2 (en) | Method and system for dialog enhancement | |
Gu et al. | Complex neural spatial filter: Enhancing multi-channel target speech separation in complex domain | |
CN103402169A (zh) | 用于提取和改变音频输入信号的混响内容的方法和装置 | |
CN111128214A (zh) | 音频降噪方法、装置、电子设备及介质 | |
CN112992121B (zh) | 基于注意力残差学习的语音增强方法 | |
CN114203163A (zh) | 音频信号处理方法及装置 | |
US20240177726A1 (en) | Speech enhancement | |
Dadvar et al. | Robust binaural speech separation in adverse conditions based on deep neural network with modified spatial features and training target | |
Çolak et al. | A novel voice activity detection for multi-channel noise reduction | |
CN117643075A (zh) | 用于言语增强的数据扩充 | |
Li et al. | Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement | |
Kates | Extending the Hearing-Aid Speech Perception Index (HASPI): Keywords, sentences, and context | |
Ma et al. | Modulation Spectral Features for Intrusive Measurement of Reverberant Speech Quality | |
Haoyu | Improving Neural-Network-Based Speech Enhancement for Noise Reduction and Intelligibility Boosting | |
Krikke et al. | Who said that? A comparative study of non-negative matrix factorization techniques | |
CN118197325A (zh) | 一种双声道到多声道的上混方法、装置、存储介质及设备 | |
CN115188394A (zh) | 混音方法、装置、电子设备和存储介质 | |
Ghisa et al. | DESCRIPTIVE STATISTICS AND CROSS CORRELATION OF SOME VOCAL AND ACOUSTIC PARAMETERS INVOLVED IN LIVE BROADCASTIG | |
Ljungquist | Masking and Reconstructing Speech to Improve Intelligibility | |
Hossain et al. | HUMAN VOICE ACTIVITY DETECTION USING WAVELET |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20121121 Assignee: Lenovo (Beijing) Co., Ltd. Assignor: Dolby Lab Licensing Corp. Contract record no.: 2014990000143 Denomination of invention: Method and system for scaling ducking of speech-relevant channels in multi-channel audio License type: Common License Record date: 20140319 |
|
LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |