CN102652337A - 用于声通信的设备和方法 - Google Patents
用于声通信的设备和方法 Download PDFInfo
- Publication number
- CN102652337A CN102652337A CN2010800560130A CN201080056013A CN102652337A CN 102652337 A CN102652337 A CN 102652337A CN 2010800560130 A CN2010800560130 A CN 2010800560130A CN 201080056013 A CN201080056013 A CN 201080056013A CN 102652337 A CN102652337 A CN 102652337A
- Authority
- CN
- China
- Prior art keywords
- signal
- sound
- sound communication
- frequency
- communication method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005236 sound signal Effects 0.000 claims abstract description 62
- 238000001228 spectrum Methods 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003467 diminishing effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
- Noise Elimination (AREA)
Abstract
本发明公开一种声通信方法,包括:将音频信号滤波以衰减该音频信号的高频部分;产生与该音频信号和滤波信号之间的差对应的残余信号;基于预定心理声学模型产生用于该音频信号的心理声学掩蔽;通过将该残余信号与该心理声学掩蔽组合来产生心理声学谱掩蔽;通过根据该心理声学谱掩蔽调制数字数据来产生声通信信号;以及将该声通信信号与该滤波信号组合。
Description
技术领域
本发明一般涉及其中使用声信号在移动设备之间传输数字数据的用于声通信的设备和方法,而且更具体地,涉及使用心理声学模型的用于声通信的设备和方法。
背景技术
声通信是在移动设备之间传送数字信息的一种可能的方式。声通信的优点在于,可以仅使用软件在现有设备上实现数据通信协议,而不需要添加如基于无线电的通信***所需要的诸如天线和RF前端的任何硬件元件。
已经提出几种方法用于通过音乐或语音信号来掩蔽(mask)声通信,以使得声通信让人耳听起来舒适,并且传达附加的人能够理解的信息。这样的方法包括“回声隐藏”或在噪声等级以下添加扩频信号,如D.Gruhl等,EchoHiding,Proceedings of the First International Workshop on Information Hiding,Cambridge,U.K.,May 30-June 1,1996,pp.293-315、以及L.Boney等,Digitalwatermarks for audio signals,IEEE Intl.Conf.on Multimedia Computing andSystems,pp.473-480,March 1996中分别讨论的。
图1示出用于将音频节目与声通信信号混合的常规方法。用于实现这样的方法的设备100包括声通信信号产生器110、组合器120和扬声器130。上述方法中,将诸如扩频信号的低等级通信信号简单地添加到诸如音乐、语音、警报声等音频节目。通过组合器120组合(或混合)音频节目和从声通信信号产生器110输出的声通信信号。通过扬声器以声波的形式发射组合信号。
遗憾的是,常规方法未能充分开发声通信信道的容量,因而仅实现非常低的比特率,即,每秒几个比特。
诸如Y.Nakashima等在Evaluation and Demonstration of Acoustic OFDM,Proc.Fortieth Asilomar Conference on Signals,Systems and Computers,2006(ACSSC 2006),pp.1747-1751中描述的类型的较好的方法是基于利用谱整形通信信号替换语音/音乐音频节目的高频成分。
图2示出使用已知的频率替换技术产生与声通信信号混合的音频信号的方法。用于实现这样的方法的设备200包括快速傅立叶变换(FFT)块210、频带分离器220、逆快速傅立叶变换(IFFT)块230、前向纠错(FEC)编码块240、正交频分复用(OFDM)调制器250、组合器260和扬声器270。
FFT块210对诸如音乐或语音的原始音频信号(或节目)执行FFT。之后,频带分离器220将FFT音频信号划分为高频区(bin)和低频区,向IFFT块230输出低频区,并向OFDM调制器250输出高频区。IFFT块230对去除高频区的原始音频信号执行IFFT。
FEC编码块240对输入的数字数据执行FEC编码并输出数据。OFDM调制器250根据高频区对编码数字数据执行OFDM并输出数据,而且来自OFDM调制器的声通信信号具有与高频区类似整形的谱包络。换句话说,利用声通信信号替换高频区。
图3a和3b示出根据频率替换技术产生的信号。图3a示出原始音频信号330的频谱,而图3b示出具有替换声通信信号的修改的音频信号330a的频谱。在每个频谱中,沿水平轴示出频率,并且沿垂直轴示出信号强度。如图3a中所示,基于频分将原始音频信号330划分为高频区(或区域)320和低频区310。如图3b中所示,修改的音频信号330a的低频区310与原始音频信号的相同,而原始音频信号的高频区320被替换为修改的音频信号的声通信信号325。
发明内容
技术问题
该方法允许声信号接收器的简单实现,因为原始音频信号和声通信信号在分开的频带中传输。然而,该方法有两个缺点。
首先,该方法降低原始音频信号(即,音乐/语音信号)的质量,因为原始音频信号与声通信信号之间在频域中有急剧的转变,参见图3b。
其次,由于声通信信号仅仅集中在相对高的音频频率,该方法未能充分利用可用的信号带宽。因此,如果音乐/语音音频节目不包含高频区,或者如果接收方设备麦克风不能捕获包括高频区的整个宽带音频频谱,则声数据通信将是不可能的(即便降低比特率)。
解决方案
因此,作出本发明以解决上面提到的现有技术中出现的问题,而且本发明的一个方面提供其中可以避免原始音频信号与替换声通信信号之间的陡峭边界的用于声通信的设备和方法。
本发明的另一个方面提供使用原始音频信号的整个频谱的用于声通信的设备和方法。
根据本发明的一个方面,提供一种声通信方法,包括:将音频信号滤波以衰减该音频信号的高频部分;产生与该音频信号和滤波信号之间的差对应的残余信号;基于预定心理声学模型产生用于该音频信号的心理声学掩蔽;通过将该残余信号与该心理声学掩蔽组合来产生心理声学谱掩蔽;通过根据该心理声学谱掩蔽调制数字数据来产生声通信信号;以及将该声通信信号与该滤波信号组合。
有益效果
根据本发明的用于声通信的方法和设备提供至少以下优点。
首先,根据本发明,可以降低通过将声通信信号***音频节目导致的失真信号的音频敏感度。
其次,根据本发明,有效地使用整个频带,使得即便接收方麦克风不检测整个宽带音频频谱,或者音频节目不包括高频区,也允许数据传输。
附图说明
通过结合附图的以下详细说明,本发明的以上和其他方面、特征和优点将变得更加显而易见,其中:
图1示出用于将音频节目与声通信信号混合的常规方法;
图2示出使用已知的频率替换技术与声通信信号混合的音频信号;
图3a和3b示出根据频率替换技术产生的信号;
图4示出根据本发明的实施例的用于执行声通信的设备;
图5a至5f示出根据本发明的实施例的信号产生过程的不同的步骤中的信号谱;
图6示出用于计算频率掩蔽阈值和用于在阈值以下布置声通信信号的方法;以及
图7是示出根据本发明的实施例的用于计算心理声学掩蔽的方法的主要步骤的流程图。
具体实施方式
本领域技术人员显然可知,为简单和清楚起见,附图中的元件被示出作为示例,而不是基于其尺度示出。例如,附图中的一些元件的尺寸与其他元件相比可以夸大以便帮助理解。
另外,方法的步骤和设备的元件由附图中的一般符号表示,而且应当注意,仅仅示出本发明的细节。本领域技术人员已知的细节可以略去。说明书中,诸如“第一”和“第二”的相对术语可以用于将一个元件与另一个元件分开,而并不表示这些元件之间的任何实际关系或顺序。
在本发明的实施例中,阐述两个基本想法。首先,避免原始音频信号与替换声通信信号之间的陡峭边界。其次,在整个可用音频信号谱中添加很小的量的声通信信号到这样的程度,以使得这样的添加不能够被人耳察觉。
为了产生根据本发明的声通信信号,在逐渐地衰减高频区的高架(high-shelf)滤波器中滤波诸如音乐或语音的原始音频信号。例如参见这里描述的图5b。之后,计算原始信号与衰减信号之间的差。存储这样的残余信号的频谱形状。进一步,根据原始音频信号的频谱形状来计算所谓的心理声学(或频率)掩蔽(mask)阈值。心理声学掩蔽阈值的计算是基于在一些频率上存在强音频信号时邻近频率上的声音信号对一般听众将变得无法听到的事实。参照图6示出和解释该效应。
该效应被称为频率掩蔽效应,而且在有损音频压缩算法中被广泛使用,其中在可听阈值以下的信号频率区被去除。本发明中,计算频率掩蔽阈值以便在掩蔽阈值以下布置声通信信号,从而使其无法被听到。
最后,组合两个频谱形状(即,残余谱和从频率掩蔽阈值导出的心理声学掩蔽谱)以产生用于声通信信号的最终谱包络掩蔽。
图4是示出根据本发明的实施例的用于执行声通信的设备的图。图5a至5f是示出根据本发明的实信号产生过程的不同的步骤中的信号谱的图。
如图4中所示,提供设备400,设备400包括高频衰减滤波器410、第一组合器422、FFT块430、包络估计块440、心理声学建模块450、第二组合器424、对象编码块460、多载波调制器470、第三组合器426和扬声器480。
图5a示出原始音频信号510的频谱。图5a以及5c至5f中,沿水平轴示出频率,并且沿垂直轴示出信号强度。虽然仅示出频谱的轮廓,即,包络,但是这些包络包括多个频率区。
高频衰减滤波器410具有滤波器响应特性,使得滤波器在中频和高频区域中逐渐地减少频谱能量。图5b示出高频衰减滤波器410的滤波器响应特性520,其中沿水平轴示出频率,并且沿垂直轴示出信号透射率(transmittance)。参照图5b,可以看出,高频衰减滤波器410在低频区域中通过多数信号而没有任何改变,并且在中频和高频区域中逐渐地减少信号。
通过高频衰减(或高架)滤波器410滤波原始音频信号。如图5b中所示,在滤波器响应特性中没有陡峭的截止频率(例如,参见图5b)。因而,由高频衰减滤波器410带来的谱失真较少地造成人耳的不适。
图5c示出原始音频信号510和滤波信号530的频谱。
原始音频信号和滤波信号被输入到第一组合器422,其输出原始音频信号与滤波信号之间的差,即,残余信号。
图5d示出从第一组合器422输出的残余信号540的频谱。残余信号540对应于原始音频信号510与滤波信号530之间的差。
FFT块430对残余信号执行FFT。换句话说,FFT块430将时域中的残余信号转换为频域中的信号。
包络估计块440分析经转换的残余信号并估计(或检测)包络,其是残余信号的频谱形状。
由于残余信号被从原始音频信号(或节目)中去除,其必须通过具有相同的频谱形状的声通信信号来补偿。然而,如上所述,如果其谱掩蔽不超过频率掩蔽阈值(可听性的阈值),则也可以添加额外的声通信信号而不对音频质量进行折衷。本发明的实施例中,为了避免两次产生声通信信号,将两个谱掩蔽简单地组合在一起。
心理声学建模块450根据例如在ISO-IEC 11172第3部分附件D中定义的普通心理声学模型来从原始音频计算心理声学掩蔽。
图6示出用于计算频率掩蔽阈值和用于在阈值以下布置声通信信号的方法。图6示出具有一个掩蔽器(masker)610的用于原始音频信号的频率掩蔽阈值(即,实际可听性阈值)640。
绝对可听性阈值630示出人耳在安静氛围中难以听到的每个频率的阈值强度分布。该一个掩蔽器610是原始音频信号中与邻近频率区(被掩蔽区(maskee))620相比具有最大信号强度的频率区。没有掩蔽器610,超过绝对可听性阈值630的被掩蔽区620可以被听到。该示例中,被掩蔽区(即,小声音)620被掩蔽器(即,大声音)610遮掩,使得被掩蔽区620不被听到。该效应被称为掩蔽效应。反映这样的掩蔽效应,被掩蔽区620的实际可听性阈值上升(或增加)超过绝对可听性阈值630,上升的可听性阈值被称为频率掩蔽阈值640。换句话说,频率掩蔽阈值640以下的频率区无法被听到。
回来参照图4,由心理声学建模块450计算的心理声学掩蔽对应于频率掩蔽阈值与原始音频信号之间的差。
图5e示出从心理声学建模块450输出的心理声学掩蔽550。图5e中,原始音频信号510也被示出,用于比较。
第二组合器424将从包络估计块440输入的第一掩蔽(即,残余谱)与从心理声学建模块450输入的第二掩蔽(即,原始音频信号的心理声学掩蔽)组合,并产生最终声信号谱掩蔽,并接着向多载波调制器470输出产生的最终声信号谱掩蔽。最终声信号谱掩蔽用于产生声通信谱。
图5f示出从第二组合器424输出的声信号谱掩蔽560。声信号谱掩蔽560对应于分别在图5e和5d中示出的心理声学掩蔽550和残余信号540的和。
对象编码块460将输入数字数据编码为码元或对象,并输出它们。例如,对象编码块460可以执行正交幅度调制(QAM)。
多载波调制器470根据从第二组合器424输入的声信号谱掩蔽对编码的数字数据(即,码元)执行多载波调制,并输出产生的信号。例如,多载波调制器470可以执行OFDM,其中从对象编码块460输入的码元被从第二组合器424输入的声信号谱掩蔽中的频率区复用,然后产生的值被组合并输出。从多载波调制器470输出的声通信信号包括与声信号谱中包括的类似的频谱。
第三组合器426将从高频衰减滤波器410输入的滤波信号与从多载波调制器470输出的声通信信号组合。扬声器480以声波的形式发射组合信号。
在本发明的示例中,考虑对于多载波信号易于形成任意频谱形状,优选的是,使用多载波通信信号作为声通信信号。然而,这不是必要的,而且也可以使用其他类型的通信信号,例如,码分多址(CDMA)或扩频信号。
心理声学掩蔽计算方法优选地在有损音频压缩编解码器中使用,例如,其可以基于在ISO-IEC 11172第3部分附件D中定义的来自MPEG层II标准的心理声学模型。应当注意,心理声学掩蔽阈值的计算比仅仅计算来自单个掩蔽器的掩蔽效应更为复杂。
如上所述,由于本发明中使用的心理声学掩蔽是根据普通心理声学模型计算,具有下面提供的简化的描述。
图7是示出根据本发明的实施例的用于计算心理声学掩蔽的方法的主要步骤的流程图,其包括片段提取步骤S10、FFT步骤S20、音调成分检测步骤S30、非音调成分检测步骤S40、无关音调和非音调成分消除步骤S50、个别频率掩蔽产生步骤S60、全局掩蔽产生步骤S70以及心理声学掩蔽产生步骤S80。
在片段提取步骤S10,从原始音频信号中提取时间上的短片段,在每个片段单元中重复该步骤。
在FFT步骤S20,原始音频信号经受FFT。换句话说,将原始音频信号从时域转换为频域的信号。
在音调成分检测步骤S30,从原始音频信号的频率成分中检测具有大于邻近频率成分的强度的最大频率成分。在最大频率成分中,当邻近频率成分与最大频率成分在强度上的差等于或大于预定值时,将最大频率成分确定为音调成分。即,在音调成分检测步骤S30,在原始音频信号的频率成分中检测与正弦曲线类似的音调成分,即,纯音成分。
在非音调成分检测步骤S40,将最大频率成分当中除音调成分之外的最大频率成分确定为非音调成分。即,在非音调成分检测步骤中,从原始音频信号的频率成分中检测与噪声类似的非音调成分,即,噪声成分。
换句话说,音调和非音调成分对应于原始音频信号的峰成分;音调成分检测步骤S30对应于从峰成分中检测具有正弦曲线特性的纯音成分;而非音调成分检测步骤S40对应于从峰成分中检测与纯音对照的噪声成分。
在无关音调和非音调成分消除步骤S50中,从音调和非音调成分中消除具有小于绝对可听性阈值的强度的音调和非音调成分。即,在无关音调和非音调成分消除步骤S50,仅消除无关音调和非音调不可听成分以确定主成分。
在个别(individual)频率掩蔽产生步骤S60,计算用于每个主成分(音调和非音调)的个别频率掩蔽。通过将主成分的强度和对应的心理声学模型中使用的与预定掩蔽相关的函数(例如,掩蔽索引和掩蔽函数)的值相加来计算频率掩蔽。这里,依赖于音调和非音调成分不同地设置掩蔽索引,而且掩蔽函数被设置为对于音调和非音调成分相同。例如,可以通过主成分的Bark频率(或关键频带频率)z的函数(诸如,a-b*z-c dB)来给出掩蔽索引。可以通过主成分的强度X和Bark距离dz(相邻的Bark频率之间的距离)的函数(诸如,d*dz(dz+1)-(e*X+f)dB)来给出掩蔽函数。这里,a到f的值是恒定的。
在全局掩蔽产生步骤S70,将个别频率掩蔽与绝对可听性阈值组合以形成单个全局掩蔽。
在心理声学掩蔽产生步骤S80,产生与全局掩蔽和原始音频信号之间的差对应的心理声学掩蔽。
如上所述,所述步骤应该在每个相继的信号片段上执行,而且片段持续时间可以为大约20-40ms,其是音频信号的典型准稳定持续时间。因而,用于分析残余信号谱的FFT分析窗口的持续时间和用于多载波信号码元的持续时间可以被设置为相同,以便带来最佳性能和简单实现。
进一步,本发明在原始音频信号中的失真与由声通信信号中的累积信号噪声比确定的通信数据速率之间提供非常灵活的控制。实践中,可以通过调整衰减滤波器的形状来轻松地折衷失真和数据速率。如果滤波器引入较少的衰减,则原始信号的失真将较少,声通信信号中的总信号噪声比也将减少。然而,这将减少总数据速率,反之亦然。这里,‘信号’意味着声通信信号自身,而‘噪声’意味着原始音频信号,因为其被声通***处理为随机噪声,假定声通***不知道原始音频信号。
本发明可以在用于诸如移动电话机、便携多媒体设备、上网本等移动设备之间的数据传送的声通信***中使用。例如,本发明可以与RU2009119776和2010年5月18日向美国专利商标局提交的分配序列号12/782,520的题为“Encoder,Decoder,Encoding Method,And Decoding Method”的美国公开2010-0290484A1(它们的内容通过引用合并于此)中描述的用于对象传输的声通信***结合使用。本发明可以以使用通用处理器、或数字信号处理器芯片以软件实现,或者可以以硬件实现或作为两者的组合。
可以看出,本发明的实施例可以通过硬件、软件、或二者的组合实现。例如,这样的软件可以存储在易失性或诸如ROM的非易失性存储设备(不管其是否可以被擦除或重写)、或诸如RAM、存储芯片、设备或集成电路的存储器、或诸如CD、DVD、磁盘或磁带的光或磁介质上。可以看出,存储设备和存储介质示范性地由处理器实现,其可以由适合存储包括用于实现本发明的实施例的指令的程序的机器读取。因而,实施例提供包括用于实现本发明要求的***或方法的代码的程序、以及存储这样的程序的可以由机器读取的存储设备。另外,这样的程序可以通过诸如通过有线或无线连接传输的通信信号的任何介质电子地传送,而且实施例适当地包括等价物。
虽然已经参照其特定实施例示出和描述本发明,但是本领域技术人员不难理解,这里可以在形式和细节上进行各种改变而不背离由所附权利要求限定的本发明的精神和范围。
Claims (11)
1.一种声通信方法,包括:
将音频信号滤波以衰减该音频信号的高频部分;
产生与该音频信号和滤波信号之间的差对应的残余信号;
基于预定心理声学模型产生用于该音频信号的心理声学掩蔽;
通过将该残余信号与该心理声学掩蔽组合来产生心理声学谱掩蔽;
通过根据该心理声学谱掩蔽调制数字数据来产生声通信信号;以及
将该声通信信号与该滤波信号组合。
2.如权利要求1所述的声通信方法,其中通过具有从低频到高频降低的频率响应的频率选择衰减滤波器来执行音频信号的滤波。
3.如权利要求1所述的声通信方法,进一步包括:
检测残余信号的谱包络。
4.如权利要求3所述的声通信方法,其中检测谱包络包括:
对残余信号执行快速傅立叶变换(FFT);以及
估计经转换的残余信号的谱包络。
5.如权利要求1所述的声通信方法,其中产生心理声学掩蔽包括:
检测音频信号的峰成分;
计算用于峰成分的个别频率掩蔽;以及
通过将个别频率掩蔽与绝对可听性阈值组合来产生全局掩蔽,
其中产生心理声学掩蔽对应于全局掩蔽与音频信号之间的差。
6.如权利要求5所述的声通信方法,进一步包括:
在检测峰成分之前对音频信号执行快速傅立叶变换(FFT)。
7.如权利要求5所述的声通信方法,其中检测峰成分包括:
检测音频信号的音调和非音调成分;以及
消除音调和非音调成分当中具有小于绝对可听性阈值的强度的音调和非音调成分。
8.如权利要求1所述的声通信方法,其中声通信信号是多载波信号。
9.如权利要求1所述的声通信方法,进一步包括:
使用扬声器以声波的形式发射组合的声通信信号和滤波信号。
10.一种能够由机器读取的存储设备,记录有用于执行权利要求1至9中的任何一个所述的声通信方法的程序。
11.一种包括如权利要求10所述的能够由机器读取的存储设备的声通信装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US28537209P | 2009-12-10 | 2009-12-10 | |
US61/285,372 | 2009-12-10 | ||
KR1020100118134A KR101764926B1 (ko) | 2009-12-10 | 2010-11-25 | 음향 통신을 위한 장치 및 방법 |
KR10-2010-0118134 | 2010-11-25 | ||
PCT/KR2010/008811 WO2011071322A2 (en) | 2009-12-10 | 2010-12-09 | Device and method for acoustic communication |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102652337A true CN102652337A (zh) | 2012-08-29 |
CN102652337B CN102652337B (zh) | 2014-02-19 |
Family
ID=44399078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080056013.0A Expired - Fee Related CN102652337B (zh) | 2009-12-10 | 2010-12-09 | 用于声通信的设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8521518B2 (zh) |
EP (1) | EP2510517B1 (zh) |
JP (1) | JP5722912B2 (zh) |
KR (1) | KR101764926B1 (zh) |
CN (1) | CN102652337B (zh) |
WO (1) | WO2011071322A2 (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888103A (zh) * | 2008-10-31 | 2014-06-25 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
CN103886866A (zh) * | 2012-12-21 | 2014-06-25 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
US9615813B2 (en) | 2014-04-16 | 2017-04-11 | Bongiovi Acoustics Llc. | Device for wide-band auscultation |
US9621994B1 (en) | 2015-11-16 | 2017-04-11 | Bongiovi Acoustics Llc | Surface acoustic transducer |
US9638672B2 (en) | 2015-03-06 | 2017-05-02 | Bongiovi Acoustics Llc | System and method for acquiring acoustic information from a resonating body |
US9741355B2 (en) | 2013-06-12 | 2017-08-22 | Bongiovi Acoustics Llc | System and method for narrow bandwidth digital signal processing |
US9883318B2 (en) | 2013-06-12 | 2018-01-30 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two-channel audio systems |
US9906867B2 (en) | 2015-11-16 | 2018-02-27 | Bongiovi Acoustics Llc | Surface acoustic transducer |
US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10069471B2 (en) | 2006-02-07 | 2018-09-04 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10158337B2 (en) | 2004-08-10 | 2018-12-18 | Bongiovi Acoustics Llc | System and method for digital signal processing |
CN110998711A (zh) * | 2017-08-16 | 2020-04-10 | 谷歌有限责任公司 | 动态音频数据传输掩蔽 |
US10639000B2 (en) | 2014-04-16 | 2020-05-05 | Bongiovi Acoustics Llc | Device for wide-band auscultation |
US10701505B2 (en) | 2006-02-07 | 2020-06-30 | Bongiovi Acoustics Llc. | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US10820883B2 (en) | 2014-04-16 | 2020-11-03 | Bongiovi Acoustics Llc | Noise reduction assembly for auscultation of a body |
US10848867B2 (en) | 2006-02-07 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10848118B2 (en) | 2004-08-10 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10959035B2 (en) | 2018-08-02 | 2021-03-23 | Bongiovi Acoustics Llc | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US11211043B2 (en) | 2018-04-11 | 2021-12-28 | Bongiovi Acoustics Llc | Audio enhanced hearing protection system |
CN114585787A (zh) * | 2019-10-24 | 2022-06-03 | 因特曼股份有限公司 | 具备掩蔽功能的移动终端亭、掩蔽***及掩蔽音产生方法 |
US11431312B2 (en) | 2004-08-10 | 2022-08-30 | Bongiovi Acoustics Llc | System and method for digital signal processing |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101764926B1 (ko) * | 2009-12-10 | 2017-08-03 | 삼성전자주식회사 | 음향 통신을 위한 장치 및 방법 |
CN102387504B (zh) * | 2010-09-03 | 2014-04-02 | 华为技术有限公司 | 公共信道处理方法、装置及*** |
US9047867B2 (en) | 2011-02-21 | 2015-06-02 | Adobe Systems Incorporated | Systems and methods for concurrent signal recognition |
RU2505868C2 (ru) | 2011-12-07 | 2014-01-27 | Ооо "Цифрасофт" | Способ встраивания цифровой информации в аудиосигнал |
US8843364B2 (en) * | 2012-02-29 | 2014-09-23 | Adobe Systems Incorporated | Language informed source separation |
JP5997592B2 (ja) * | 2012-04-27 | 2016-09-28 | 株式会社Nttドコモ | 音声復号装置 |
WO2013169935A1 (en) * | 2012-05-08 | 2013-11-14 | Zulu Holdings, Inc. | Methods and apparatuses for communication of audio tokens |
US8737645B2 (en) * | 2012-10-10 | 2014-05-27 | Archibald Doty | Increasing perceived signal strength using persistence of hearing characteristics |
EP2830064A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
US9564146B2 (en) | 2014-08-01 | 2017-02-07 | Bongiovi Acoustics Llc | System and method for digital signal processing in deep diving environment |
KR101651625B1 (ko) | 2014-12-30 | 2016-08-26 | 가락전자 주식회사 | 디지털 필터의 신속한 주파수 응답 표시 방법 |
US10827265B2 (en) * | 2018-01-25 | 2020-11-03 | Cirrus Logic, Inc. | Psychoacoustics for improved audio reproduction, power reduction, and speaker protection |
US11252517B2 (en) | 2018-07-17 | 2022-02-15 | Marcos Antonio Cantu | Assistive listening device and human-computer interface using short-time target cancellation for improved speech intelligibility |
EP3830822A4 (en) * | 2018-07-17 | 2022-06-29 | Cantu, Marcos A. | Assistive listening device and human-computer interface using short-time target cancellation for improved speech intelligibility |
CN111370017B (zh) * | 2020-03-18 | 2023-04-14 | 苏宁云计算有限公司 | 一种语音增强方法、装置、*** |
US11159888B1 (en) | 2020-09-18 | 2021-10-26 | Cirrus Logic, Inc. | Transducer cooling by introduction of a cooling component in the transducer input signal |
US11153682B1 (en) * | 2020-09-18 | 2021-10-19 | Cirrus Logic, Inc. | Micro-speaker audio power reproduction system and method with reduced energy use and thermal protection using micro-speaker electro-acoustic response and human hearing thresholds |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010044727A1 (en) * | 1997-10-03 | 2001-11-22 | Yoshihisa Nakatoh | Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus |
US20050043830A1 (en) * | 2003-08-20 | 2005-02-24 | Kiryung Lee | Amplitude-scaling resilient audio watermarking method and apparatus based on quantization |
KR20050054745A (ko) * | 2003-12-06 | 2005-06-10 | 삼성전자주식회사 | 오디오 신호를 부호화하는 장치 및 방법 |
CN1677491A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
CN1708787A (zh) * | 2002-10-30 | 2005-12-14 | 三星电子株式会社 | 用于使用高级心理声学模型来对数字音频编码的方法及其设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100341197B1 (ko) | 1998-09-29 | 2002-06-20 | 포만 제프리 엘 | 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템 |
JP2001127643A (ja) * | 1999-10-29 | 2001-05-11 | Sony Corp | 信号処理装置及びその方法並びにプログラム格納媒体 |
JP2001148670A (ja) * | 1999-11-19 | 2001-05-29 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号伝達方法および音響信号伝達装置 |
US6947893B1 (en) | 1999-11-19 | 2005-09-20 | Nippon Telegraph & Telephone Corporation | Acoustic signal transmission with insertion signal for machine control |
AU2211102A (en) * | 2000-11-30 | 2002-06-11 | Scient Generics Ltd | Acoustic communication system |
JP3692959B2 (ja) * | 2001-04-04 | 2005-09-07 | 日本ビクター株式会社 | 電子透かし情報埋め込み装置 |
JP2003280697A (ja) * | 2002-03-22 | 2003-10-02 | Sanyo Electric Co Ltd | 音声圧縮方法および音声圧縮装置 |
FR2889347B1 (fr) * | 2005-09-20 | 2007-09-21 | Jean Daniel Pages | Systeme de diffusion sonore |
KR100868763B1 (ko) * | 2006-12-04 | 2008-11-13 | 삼성전자주식회사 | 오디오 신호의 중요 주파수 성분 추출 방법 및 장치와 이를이용한 오디오 신호의 부호화/복호화 방법 및 장치 |
JP5177657B2 (ja) | 2008-08-08 | 2013-04-03 | 国立大学法人九州工業大学 | 音響特性制御装置 |
KR101764926B1 (ko) * | 2009-12-10 | 2017-08-03 | 삼성전자주식회사 | 음향 통신을 위한 장치 및 방법 |
RU2505868C2 (ru) * | 2011-12-07 | 2014-01-27 | Ооо "Цифрасофт" | Способ встраивания цифровой информации в аудиосигнал |
-
2010
- 2010-11-25 KR KR1020100118134A patent/KR101764926B1/ko active IP Right Grant
- 2010-12-09 WO PCT/KR2010/008811 patent/WO2011071322A2/en active Application Filing
- 2010-12-09 CN CN201080056013.0A patent/CN102652337B/zh not_active Expired - Fee Related
- 2010-12-09 JP JP2012541958A patent/JP5722912B2/ja not_active Expired - Fee Related
- 2010-12-09 EP EP10836217.9A patent/EP2510517B1/en active Active
- 2010-12-10 US US12/965,295 patent/US8521518B2/en active Active
-
2013
- 2013-08-27 US US14/011,466 patent/US9251807B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010044727A1 (en) * | 1997-10-03 | 2001-11-22 | Yoshihisa Nakatoh | Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus |
CN1708787A (zh) * | 2002-10-30 | 2005-12-14 | 三星电子株式会社 | 用于使用高级心理声学模型来对数字音频编码的方法及其设备 |
US20050043830A1 (en) * | 2003-08-20 | 2005-02-24 | Kiryung Lee | Amplitude-scaling resilient audio watermarking method and apparatus based on quantization |
KR20050054745A (ko) * | 2003-12-06 | 2005-06-10 | 삼성전자주식회사 | 오디오 신호를 부호화하는 장치 및 방법 |
CN1677491A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431312B2 (en) | 2004-08-10 | 2022-08-30 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10848118B2 (en) | 2004-08-10 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10666216B2 (en) | 2004-08-10 | 2020-05-26 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10158337B2 (en) | 2004-08-10 | 2018-12-18 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10069471B2 (en) | 2006-02-07 | 2018-09-04 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US11425499B2 (en) | 2006-02-07 | 2022-08-23 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10848867B2 (en) | 2006-02-07 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10701505B2 (en) | 2006-02-07 | 2020-06-30 | Bongiovi Acoustics Llc. | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US9793872B2 (en) | 2006-02-07 | 2017-10-17 | Bongiovi Acoustics Llc | System and method for digital signal processing |
CN103888103B (zh) * | 2008-10-31 | 2017-12-05 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
CN103888103A (zh) * | 2008-10-31 | 2014-06-25 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
CN103886866A (zh) * | 2012-12-21 | 2014-06-25 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
CN103886866B (zh) * | 2012-12-21 | 2019-10-18 | 邦吉欧维声学有限公司 | 用于数字信号处理的***和方法 |
US10999695B2 (en) | 2013-06-12 | 2021-05-04 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two channel audio systems |
US9883318B2 (en) | 2013-06-12 | 2018-01-30 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two-channel audio systems |
US9741355B2 (en) | 2013-06-12 | 2017-08-22 | Bongiovi Acoustics Llc | System and method for narrow bandwidth digital signal processing |
US11418881B2 (en) | 2013-10-22 | 2022-08-16 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10313791B2 (en) | 2013-10-22 | 2019-06-04 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10917722B2 (en) | 2013-10-22 | 2021-02-09 | Bongiovi Acoustics, Llc | System and method for digital signal processing |
US10639000B2 (en) | 2014-04-16 | 2020-05-05 | Bongiovi Acoustics Llc | Device for wide-band auscultation |
US10820883B2 (en) | 2014-04-16 | 2020-11-03 | Bongiovi Acoustics Llc | Noise reduction assembly for auscultation of a body |
US9615813B2 (en) | 2014-04-16 | 2017-04-11 | Bongiovi Acoustics Llc. | Device for wide-band auscultation |
US11284854B2 (en) | 2014-04-16 | 2022-03-29 | Bongiovi Acoustics Llc | Noise reduction assembly for auscultation of a body |
US9638672B2 (en) | 2015-03-06 | 2017-05-02 | Bongiovi Acoustics Llc | System and method for acquiring acoustic information from a resonating body |
US9621994B1 (en) | 2015-11-16 | 2017-04-11 | Bongiovi Acoustics Llc | Surface acoustic transducer |
US9906867B2 (en) | 2015-11-16 | 2018-02-27 | Bongiovi Acoustics Llc | Surface acoustic transducer |
US9998832B2 (en) | 2015-11-16 | 2018-06-12 | Bongiovi Acoustics Llc | Surface acoustic transducer |
CN110998711A (zh) * | 2017-08-16 | 2020-04-10 | 谷歌有限责任公司 | 动态音频数据传输掩蔽 |
US11211043B2 (en) | 2018-04-11 | 2021-12-28 | Bongiovi Acoustics Llc | Audio enhanced hearing protection system |
US10959035B2 (en) | 2018-08-02 | 2021-03-23 | Bongiovi Acoustics Llc | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
CN114585787A (zh) * | 2019-10-24 | 2022-06-03 | 因特曼股份有限公司 | 具备掩蔽功能的移动终端亭、掩蔽***及掩蔽音产生方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130346070A1 (en) | 2013-12-26 |
US20110144979A1 (en) | 2011-06-16 |
EP2510517B1 (en) | 2017-10-25 |
KR20110066085A (ko) | 2011-06-16 |
US9251807B2 (en) | 2016-02-02 |
US8521518B2 (en) | 2013-08-27 |
CN102652337B (zh) | 2014-02-19 |
KR101764926B1 (ko) | 2017-08-03 |
WO2011071322A3 (en) | 2011-09-29 |
WO2011071322A2 (en) | 2011-06-16 |
JP5722912B2 (ja) | 2015-05-27 |
EP2510517A2 (en) | 2012-10-17 |
JP2013512474A (ja) | 2013-04-11 |
EP2510517A4 (en) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102652337B (zh) | 用于声通信的设备和方法 | |
US11961527B2 (en) | Methods and apparatus to perform audio watermarking and watermark detection and extraction | |
US20200372921A1 (en) | Methods and apparatus for performing variable block length watermarking of media | |
CN102016994B (zh) | 用于处理音频信号的设备及其方法 | |
CN104050969A (zh) | 空间舒适噪声 | |
JP2002521702A (ja) | 放送番組特定システムに於いて使用するための、音声信号に不可聴コードを付加することにより可聴信号をエンコードするシステム及び装置 | |
CN105493182A (zh) | 混合波形编码和参数编码语音增强 | |
CN106796799A (zh) | 高效drc配置文件传输 | |
CA2599969A1 (en) | Device and method for generating an encoded stereo signal of an audio piece or audio data stream | |
CN102667920A (zh) | Sbr比特流参数缩混 | |
CN101421779A (zh) | 用于产生环境信号的设备和方法 | |
JP2006521577A (ja) | マルチチャネル信号を表す主信号と副信号の符号化 | |
Yun et al. | Acoustic data transmission based on modulated complex lapped transform | |
US9311925B2 (en) | Method, apparatus and computer program for processing multi-channel signals | |
CN113259827A (zh) | 基于音频编解码的助听方法、***、耳机、介质及设备 | |
CN101243488B (zh) | 用于编码和解码音频信号的装置及其方法 | |
US9251801B2 (en) | Method for rendering a music signal compatible with a discontinuous transmission codec; and a device for implementing that method | |
JP2013073230A (ja) | オーディオ符号化装置 | |
Eichelberger et al. | Imperceptible audio communication | |
CN105261373A (zh) | 用于带宽扩展编码的自适应栅格构造方法和装置 | |
JP5483813B2 (ja) | マルチチャネル音声音響信号符号化装置および方法、並びにマルチチャネル音声音響信号復号装置および方法 | |
Tahilramani et al. | A hybrid scheme of information hiding incorporating steganography as well as watermarking in the speech signal using Quantization index modulation (QIM) | |
EP4387271A1 (en) | Systems and methods for assessing hearing health based on perceptual processing | |
EP4174855A1 (en) | Coding/decoding method and apparatus for multi-channel audio signal | |
CN103854650A (zh) | 立体声音频编码的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140219 |