CN111341345B - 语音设备的控制方法、装置、语音设备和存储介质 - Google Patents
语音设备的控制方法、装置、语音设备和存储介质 Download PDFInfo
- Publication number
- CN111341345B CN111341345B CN202010433925.0A CN202010433925A CN111341345B CN 111341345 B CN111341345 B CN 111341345B CN 202010433925 A CN202010433925 A CN 202010433925A CN 111341345 B CN111341345 B CN 111341345B
- Authority
- CN
- China
- Prior art keywords
- microphone
- signal
- excitation signal
- voice
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000005284 excitation Effects 0.000 claims abstract description 95
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 73
- 230000004044 response Effects 0.000 claims abstract description 71
- 238000005316 response function Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 14
- 230000005236 sound signal Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请提供了一种语音设备的控制方法、装置、语音设备和存储介质，其中语音设备包括扬声器以及麦克风，所述方法包括：通过所述扬声器播放激励信号；通过每个所述麦克风接收所述激励信号的响应信号；基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。本申请计算出当前环境的冲激响应函数以及混响时间，以便根据实际场景对应进行语音处理算法的调整。
Description
技术领域
本申请涉及语音设备的技术领域，特别涉及一种语音设备的控制方法、装置、语音设备和存储介质。
背景技术
目前，语音设备广泛应用于生活中，诸如智能音箱、语音机器人、车载语音服务装置等。一般地，语音设备中相关算法(声源定位、语音增强、语音唤醒、语音识别等算法)在出厂之前已经固定下来。然而，实际应用场景并不等同于研发阶段的实验场景，例如麦克风故障状况、所摆放的室内场景等不同。因此，在实际中，语音设备的效果不如实验阶段。而关于麦克风故障的自检，目前大都只能判断出是否存在故障麦克风，难以准确检测出具体哪个麦克风出现故障。
发明内容
本申请的主要目的为提供一种语音设备的控制方法、装置、语音设备和存储介质，旨在克服目前难以根据实际场景调整语音设备算法的缺陷。
为实现上述目的，本申请提供了一种语音设备的控制方法，所述语音设备包括扬声器以及麦克风，所述方法包括以下步骤：
通过所述扬声器播放激励信号；
通过所述麦克风接收所述激励信号的响应信号；
基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。
进一步地，所述基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间的步骤，包括：
对所述激励信号以及一个所述响应信号进行快速傅里叶变换，得到对应的第一频域信号以及第二频域信号；
计算所述第二频域信号与第一频域信号的比值；
将所述比值进行逆快速傅里叶变换恢复到时域，得到当前环境的冲激响应函数；
根据所述比值以及预设的滤波器系数，得到声压级函数；
根据所述声压级函数，计算得到所述混响时间。
进一步地，所述麦克风至少为一个，每个所述麦克风均接收所述激励信号的响应信号；所述通过所述麦克风接收所述激励信号的响应信号的步骤之后，包括：
基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏。
进一步地，所述麦克风为多个；所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤之后，包括：
从多个所述麦克风中确定出未损坏的麦克风；
将所述未损坏的麦克风组成新的麦克风阵列流型，并切换与所述新的麦克风阵列流型匹配的麦克风阵列算法方案。
进一步地，所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤，包括：
计算所述激励信号以及每个所述麦克风接收到的响应信号之间的互相关系数；
分别判断每个所述互相关系数是否大于预设的互相关阈值；
若不大于，则判定对应的所述麦克风损坏；若大于，则判定对应的所述麦克风未损坏。
进一步地，所述通过所述扬声器播放激励信号的步骤之前，包括：
基于每个所述麦克风获取当前环境指定时间段内的声音信号；
基于所述声音信号，分别计算每个所述麦克风所在通道的平均短时能量，并从中确定出最大的平均短时能量；
判断所述最大的平均短时能量是否小于阈值；若小于，则判定当前环境为安静状态，则执行通过所述扬声器播放激励信号的步骤。
进一步地，所述激励信号为最大长度序列信号以及扫频信号中的一种。
本申请还提供了一种语音设备的控制装置，所述语音设备包括扬声器以及麦克风，所述装置包括：
播放单元，用于通过所述扬声器播放激励信号；
接收单元，用于通过所述麦克风接收所述激励信号的响应信号；
计算单元，用于基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
调整单元，用于根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。
进一步地，所述计算单元，包括：
变换子单元，用于对所述激励信号以及一个所述响应信号进行快速傅里叶变换，得到对应的第一频域信号以及第二频域信号；
第一计算子单元，用于计算所述第二频域信号与第一频域信号的比值；
第二计算子单元，用于将所述比值进行逆快速傅里叶变换恢复到时域，得到当前环境的冲激响应函数；
第三计算子单元，用于根据所述比值以及预设的滤波器系数，得到声压级函数；
第四计算子单元，用于根据所述声压级函数，计算得到所述混响时间。
进一步地，所述麦克风至少为一个，每个所述麦克风均接收所述激励信号的响应信号；所述装置还包括：
检测单元，用于基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏。
进一步地，所述麦克风为多个；所述装置还包括：
确定单元，用于从多个所述麦克风中确定出未损坏的麦克风；
切换单元，用于将所述未损坏的麦克风组成新的麦克风阵列流型，并切换与所述新的麦克风阵列流型匹配的麦克风阵列算法方案。
进一步地，所述检测单元，具体用于：
计算所述激励信号以及每个所述麦克风接收到的响应信号之间的互相关系数；
分别判断每个所述互相关系数是否大于预设的互相关阈值；
若不大于，则判定对应的所述麦克风损坏；若大于，则判定对应的所述麦克风未损坏。
进一步地，所述装置还包括：
获取单元，用于基于每个所述麦克风获取当前环境指定时间段内的声音信号；
能量计算单元，用于基于所述声音信号，分别计算每个所述麦克风所在通道的平均短时能量，并从中确定出最大的平均短时能量；
判断单元，用于判断所述最大的平均短时能量是否小于阈值；若小于，则判定当前环境为安静状态，则执行通过所述扬声器播放激励信号。
进一步地，所述激励信号为最大长度序列信号以及扫频信号中的一种。
本申请还提供一种语音设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的语音设备的控制方法、装置、语音设备和存储介质，其中语音设备包括扬声器以及麦克风，所述方法包括：通过所述扬声器播放激励信号；通过每个所述麦克风接收所述激励信号的响应信号；基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。本申请计算出当前环境的冲激响应函数以及混响时间，以便根据实际场景对应进行语音处理算法的调整。
附图说明
图1是本申请一实施例中语音设备的控制方法步骤示意图；
图2是本申请一实施例中的冲激响应曲线图；
图3是本申请一实施例中的声压级函数曲线图；
图4是本申请一实施例中语音设备的控制装置结构框图；
图5为本申请一实施例的语音设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种语音设备的控制方法，所述语音设备包括扬声器以及麦克风，所述方法包括以下步骤：
步骤S1，通过所述扬声器播放激励信号；
步骤S2，通过每个所述麦克风接收所述激励信号的响应信号；
步骤S3，基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
步骤S4，根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。
在本实施例中，上述语音设备包括上自带有扬声器以及麦克风；将上述语音设备放置于当前环境(例如一封闭空间)中，当需要进行麦克风的故障自检时，则如上述步骤S1所述的，通过扬声器播放激励信号，该激励信号为白噪声信号、脉冲信号、最大长度序列信号以及扫频信号中的任意一种。上述激励信号播放之后，上述的当前环境可以对上述激励信号进行响应。如上述步骤S2所述的，每个上述麦克风可以采集到上述激励信号的响应信号，基于上述麦克风的品质不同，其采集到的响应信号也会有所不同。
目前，上述语音设备在所摆放的室内场景，多采用固定的算法，需要用户手动选择语音设备所处室内场景来适配算法。若需要提升其语音效果，往往需要用户手动填写当前室内场景(厨房、客厅、卧室、会议室等)，然而，这使得客户的操作繁琐化，影响客户体验；此外，房间的大小、形状、墙壁材质、物体的分布、设备的摆放位置都是不尽相同的，不一定完全适合语音设备所在的状态，都会影响到语音设备的语音效果，使得使用效果不稳定。
因此，如上述步骤S3所述的，从上述各个麦克风接收到的响应信号中选择出一个响应信号用于计算冲激响应函数以及混响时间。优选地，选择回声消除所用的麦克风所在通道的响应信号。进而根据上述激励信号以及所述麦克风接收到的响应信号，便可以计算出当前环境的冲激响应函数以及混响时间。
上述冲激响应函数以及混响时间可以反映的是当前环境下，当前环境的布局、大小、形状对声音信号的影响，基于该特性，则可以如上述步骤S4所述的，适应性调整语音设备在当前环境下最佳的算法方案。
具体地，上述语音设备受混响时间影响的算法方案包括声源定位、语音增强、回声消除、啸叫抑制、语音唤醒、语音识别等算法，因此它们可以利用当前环境的冲激响应函数来优化算法，或者按照混响时间查表法来选取备选算法方案。
其中混响时间查表法指的是，预设有一个映射表，不同的混响时间对应不同的算法方案。例如：
| 混响时间T | 算法方案 |
| 0s～0.09s | 算法方案一 |
| 0.1s～0.19s | 算法方案二 |
| 0.2s～0.29s | 算法方案三 |
| ... | ... |
回声、啸叫，是由于上述语音设备的扬声器所发出的声音被麦克风回采所导致，因此受该环境冲激响应影响最直接，因此应该优先选择回声消除所用的麦克风通道作为检测通道。此外，回声消除算法、啸叫抑制算法可以利用该环境的冲激响应函数进行优化。
声源定位、语音增强、语音唤醒、语音识别等算法，由于处理的声源不是上述语音设备的扬声器，而是人声，所以不能直接用该环境的冲激响应函数来优化，而可以根据混响时间查表的方式来选取备选算法方案。
应当注意的是，当需要计算上述混响时间时，上述激励信号可以是白噪声信号、脉冲信号、最大长度序列信号以及扫频信号中的任意一种。当需要计算上述冲激响应函数时，上述激励信号可以最大长度序列信号以及扫频信号中的任意一种。
在一实施例中，所述基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间的步骤S3，包括：
步骤S31，对所述激励信号以及一个所述响应信号进行快速傅里叶变换，得到对应的第一频域信号以及第二频域信号；
步骤S32，计算所述第二频域信号与第一频域信号的比值；
步骤S33，将所述比值进行逆快速傅里叶变换恢复到时域，得到当前环境的冲激响应函数；
步骤S34，根据所述比值以及预设的滤波器系数，得到声压级函数；
步骤S35，根据所述声压级函数，计算得到所述混响时间。
在本实施例中，对上述激励信号s进行快速傅里叶变换(FFT)，得到第一频域信号S(k)；对所述响应信号进行快速傅里叶变换，得到第二频域信号X(k)。其中，k代表频率索引，k＝1,2,...,K。
其中，计算所述第二频域信号X(k)与第一频域信号S(k)的比值为：
将上述比值I1(k)进行逆快速傅里叶变换(IFFT)恢复到时域上，可以得到房间冲激响应函数i1(n)，如图2所示。
可选地，I1(k)乘以一个分数倍频程滤波系数后得到I2(k)。
在上述FFT点数选择足够的情况下，则可以优选1/3倍频程的A计权滤波器系数WA(k')，将WA(k')扩展成K个点的滤波器系数WA'(k)。
则有：I2(k)＝I1(k)×WA'(k)；
然后将I2(k)进行逆快速傅里叶变换恢复到时域上，可以得到i2(n)。
继而可以通过i2(n)求得声压级函数：
其中W0是常数，指激励信号单位带宽功率，Cref是计算声压级而选取的参考值。将采样点下标n转换为时刻下标t，即
其中，fs为采样率。
在一具体实施例中，可以得到如图3所示的L(t)曲线图。
从图3可见，t5时刻对应的声压级开始算起，声压级下降了10dB的时刻为t10，声压级下降了20dB的时刻为t20，声压级下降了30dB时刻为t30。则可以求得混响时间：
T10＝6×(t10-t5)；
T20＝3×(t20-t5)；
T30＝2×(t30-t5)。
在上述实施例中，上述激励信号以指数扫频信号为例，该指数扫频信号的频率随时间增加而呈指数增长。
上述指数扫频信号持续时间为最大混响时间的2～4倍，同时激励信号结束后，记录响应信号的安静测量时间应等于期望的最大混响时间。上述最大混响时间可以根据上述语音设备的同样使用场景，利用伊林公式来估计，在此不做赘述。
通常的室内环境难以直接测到T60，可选地，如果语音设备的最大声压级比背景噪声高出45dB以上，可以选择测试T30；如果语音设备的最大声压级比背景噪声高出35dB以上，可以选择测试T20，如果语音设备的最大声压级比背景噪声高出25dB以上，可以选择测试T10。播放激励信号的时候既要获得较准确的测量，同时也要顾虑用户的听觉不适感，因此激励信号不应该超过扬声器的最大声压级。
上述指数扫频信号最低频率可选择在30Hz以上，最高频率则不超过麦克风采样率的一半。
在一实施例中，所述麦克风至少为一个，每个所述麦克风均接收所述激励信号的响应信号；所述通过所述麦克风接收所述激励信号的响应信号的步骤S2之后，包括：
步骤S3a，基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏。
目前关于麦克风故障的自检，往往采用短时能量或者短时互相关的方式来进行自检，然而这些方式可以判断是否存在有故障的麦克风，但是较难判断具体哪些麦克风存在故障，哪些麦克风处于正常。
如上述步骤S3a所述的，由于每个麦克风接收到的响应信号不同，可以代表该麦克风的质量是否出现故障，因此基于上述激励信号以及每个所述麦克风接收到的响应信号，便可以分别检测对应的每个所述麦克风是否损坏。
在本实施例中，可以计算激励信号与所述响应信号的互相关系数，或者通过所述麦克风接收到的响应信号的能量来检测对应的麦克风是否损坏。特别地，当激励信号为扫频信号时，可以计算上述麦克风接收到的响应信号的总谐波失真；举例而言，其中总谐波失真大于阈值时(例如10％，该阈值通过实验统计得到)，则认为麦克风出现故障。采用互相关系数以及相应信号的能量来判断麦克风是否损坏的方法，则需要预先得到对应的阈值，对应的计算结果小于该阈值则判定为麦克风出现故障。
在本实施例中，所述麦克风为多个；所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤S3a之后，包括：
步骤S4a，从多个所述麦克风中确定出未损坏的麦克风；
步骤S5a，将所述未损坏的麦克风组成新的麦克风阵列流型，并切换与所述新的麦克风阵列流型匹配的麦克风阵列算法方案。
在本实施例中，记录已损坏的麦克风的标号，如果全部麦克风都已损坏，则结束本次自检状态，提醒用户全部麦克风已坏。如果所述麦克风没有全部损坏，则去掉损坏的麦克风，将剩下正常的麦克风组成新的麦克风阵列流型，并切换为与之匹配的备选麦克风阵列算法方案。
具体地，上述语音设备的拾音模块为一个四麦阵列，其中一个麦克风出现故障，经过自检排查，得知出现故障的麦克风序号，去掉该故障麦克风，得到剩下的其它三个正常麦克风，则可以组合成新的麦克风阵列流型，此时切换为与其配套的麦克风阵列算法。
在一具体实施例中，采用计算激励信号与所述响应信号的互相关系数的方式来检测麦克风是否出现故障。
因此，在本实施例中，所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤S3a，包括：
步骤S301，计算所述激励信号以及每个所述麦克风接收到的响应信号之间的互相关系数；
步骤S302，分别判断每个所述互相关系数是否大于预设的互相关阈值；
步骤S303，若不大于，则判定对应的所述麦克风损坏；若大于，则判定对应的所述麦克风未损坏。
在本实施例中，在计算上述互相关系数之前，需要做信号的对齐，即麦克风所接收的响应信号应该与播放的激励信号在时间上对齐，截去多余的声音部分。
在本实施例中，上述麦克风为M个；其中，第m个麦克风对应通道的响应信号与激励信号的互相关系数为cohm，Hcoh为相应的经验阈值，当cohm≤Hcoh，则认为第m个麦克风损坏。
第m个麦克风对应通道的响应信号与激励信号的互相关系数的计算方式为：
其中，
N是激励信号的点数。
x(n)为响应信号，s(n)为激励信号。
在一实施例中，所述通过所述扬声器播放激励信号的步骤S1之前，包括：
步骤S10，基于每个所述麦克风获取当前环境指定时间段内的声音信号；
步骤S11，基于所述声音信号，分别计算每个所述麦克风所在通道的平均短时能量，并从中确定出最大的平均短时能量；
步骤S12，判断所述最大的平均短时能量是否小于阈值；若小于，则判定当前环境为安静状态，则执行通过所述扬声器播放激励信号的步骤。
在本实施例，为了保障上述自检过程的准确性，应当确保当前环境为安静状态，因此需要检测当前环境是否处于安静，若不安静，则需要提醒用户自检需要保证环境安静。
具体地，基于每个所述麦克风获取当前环境指定时间段内的声音信号，其中，第m个麦克风获取一个时间段内的数据{ym(-T+1),ym(-T+2),...ym(0)}；其中，小括号内数值代表帧索引，T是该指定时间段内对应的声音信号的帧数。
进一步地，利用平均短时能量来判断当前环境是否安静。具体地，分别计算每个所述麦克风所在通道的平均短时能量，得到M个平均短时能量，进而从中选择出值最大的平均短时能量Pmax。
通过统计以往安静环境中的短时能量，得到阈值H。将最大的平均短时能量Pmax和阈值H比较，以判断当前环境是否安静。即，当Pmax≥H，则此时环境不是安静，当Pmax<H，则此时环境为安静。
其中，Pmax＝max(P1,...,Pm,...,PM)，
参照图4，本申请另一实施例中还提供了一种语音设备的控制装置，所述语音设备包括扬声器以及麦克风，所述装置包括：
播放单元，用于通过所述扬声器播放激励信号；
接收单元，用于通过所述麦克风接收所述激励信号的响应信号；
计算单元，用于基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
调整单元，用于根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。
在一实施例中，所述计算单元，包括：
变换子单元，用于对所述激励信号以及一个所述响应信号进行快速傅里叶变换，得到对应的第一频域信号以及第二频域信号；
第一计算子单元，用于计算所述第二频域信号与第一频域信号的比值；
第二计算子单元，用于将所述比值进行逆快速傅里叶变换恢复到时域，得到当前环境的冲激响应函数；
第三计算子单元，用于根据所述比值以及预设的滤波器系数，得到声压级函数；
第四计算子单元，用于根据所述声压级函数，计算得到所述混响时间。
在一实施例中，所述麦克风至少为一个，每个所述麦克风均接收所述激励信号的响应信号；所述装置还包括：
检测单元，用于基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏。
在一实施例中，所述麦克风为多个；所述装置还包括：
确定单元，用于从多个所述麦克风中确定出未损坏的麦克风；
切换单元，用于将所述未损坏的麦克风组成新的麦克风阵列流型，并切换与所述新的麦克风阵列流型匹配的麦克风阵列算法方案。
在一实施例中，所述检测单元，具体用于：
计算所述激励信号以及每个所述麦克风接收到的响应信号之间的互相关系数；
分别判断每个所述互相关系数是否大于预设的互相关阈值；
若不大于，则判定对应的所述麦克风损坏；若大于，则判定对应的所述麦克风未损坏。
在一实施例中，所述装置还包括：
获取单元，用于基于每个所述麦克风获取当前环境指定时间段内的声音信号；
能量计算单元，用于基于所述声音信号，分别计算每个所述麦克风所在通道的平均短时能量，并从中确定出最大的平均短时能量；
判断单元，用于判断所述最大的平均短时能量是否小于阈值；若小于，则判定当前环境为安静状态，则执行通过所述扬声器播放激励信号。
在上述实施例中，所述激励信号为最大长度序列信号以及扫频信号中的一种。
在本实施例中，上述各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
参照图5，本申请实施例中还提供一种语音设备，该语音设备可以是服务器，其内部结构可以如图5所示。该语音设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该语音设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该语音设备的数据库用于存储语音信息等。该语音设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语音设备的控制方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的语音设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种语音设备的控制方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本申请实施例中提供的语音设备的控制方法、装置、语音设备和存储介质，其中语音设备包括扬声器以及麦克风，所述方法包括：通过所述扬声器播放激励信号；通过每个所述麦克风接收所述激励信号的响应信号；基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法。本申请计算出当前环境的冲激响应函数以及混响时间，以便根据实际场景对应进行语音处理算法的调整。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种语音设备的控制方法，其特征在于，所述语音设备包括扬声器以及麦克风，所述方法包括以下步骤：
通过所述扬声器播放激励信号；
通过所述麦克风接收所述激励信号的响应信号；
基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法；其中，根据所述冲激响应函数优化的语音处理算法包括回声消除算法、啸叫抑制算法；根据所述混响时间与算法方案的对应关系，切换的语音处理算法包括声源定位、语音增强、语音唤醒、语音识别算法；
所述基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间的步骤，包括：
对所述激励信号s进行快速傅里叶变换，得到第一频域信号S(k)；对所述响应信号进行快速傅里叶变换，得到第二频域信号X(k)；其中，k代表频率索引，k＝1,2,...,K；
计算所述第二频域信号X(k)与第一频域信号S(k)的比值为：
将所述比值I1(k)进行逆快速傅里叶变换恢复到时域上，得到房间冲激响应函数i1(n)；
I1(k)乘以一个分数倍频程滤波系数后得到I2(k)；
选择1/3倍频程的A计权滤波器系数WA(k')，将WA(k')扩展成K个点的滤波器系数WA'(k)；
则有：I2(k)＝I1(k)×WA'(k)；
将I2(k)进行逆快速傅里叶变换恢复到时域上，得到i2(n)；
通过i2(n)求得声压级函数：
其中W0是常数，指激励信号单位带宽功率，Cref是计算声压级而选取的参考值；其中，N是激励信号的点数；
基于所述声压级函数，计算初始时刻的声压级；
获取声压级下降预设幅度时的时刻；
根据所述初始时刻与所述声压级下降预设幅度时的时刻，计算所述混响时间。
2.根据权利要求1所述的语音设备的控制方法，其特征在于，所述麦克风至少为一个，每个所述麦克风均接收所述激励信号的响应信号；所述通过所述麦克风接收所述激励信号的响应信号的步骤之后，包括：
基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏。
3.根据权利要求2所述的语音设备的控制方法，其特征在于，所述麦克风为多个；所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤之后，包括：
从多个所述麦克风中确定出未损坏的麦克风；
将所述未损坏的麦克风组成新的麦克风阵列流型，并切换与所述新的麦克风阵列流型匹配的麦克风阵列算法方案。
4.根据权利要求2所述的语音设备的控制方法，其特征在于，所述基于所述激励信号以及每个所述麦克风接收到的响应信号，分别检测对应的每个所述麦克风是否损坏的步骤，包括：
计算所述激励信号以及每个所述麦克风接收到的响应信号之间的互相关系数；
分别判断每个所述互相关系数是否大于预设的互相关阈值；
若不大于，则判定对应的所述麦克风损坏；若大于，则判定对应的所述麦克风未损坏。
5.根据权利要求1所述的语音设备的控制方法，其特征在于，所述通过所述扬声器播放激励信号的步骤之前，包括：
基于每个所述麦克风获取当前环境指定时间段内的声音信号；
基于所述声音信号，分别计算每个所述麦克风所在通道的平均短时能量，并从中确定出最大的平均短时能量；
判断所述最大的平均短时能量是否小于阈值；若小于，则判定当前环境为安静状态，则执行通过所述扬声器播放激励信号的步骤。
6.根据权利要求1-5任一项所述的语音设备的控制方法，其特征在于，所述激励信号为最大长度序列信号以及扫频信号中的一种。
7.一种语音设备的控制装置，其特征在于，所述语音设备包括扬声器以及麦克风，所述装置包括：
播放单元，用于通过所述扬声器播放激励信号；
接收单元，用于通过所述麦克风接收所述激励信号的响应信号；
计算单元，用于基于所述激励信号以及所述麦克风接收到的响应信号，计算当前环境的冲激响应函数以及混响时间；
调整单元，用于根据所述冲激响应函数优化所述语音设备的语音处理算法；或者，根据所述混响时间与算法方案的对应关系，切换所述语音设备的语音处理算法；其中，根据所述冲激响应函数优化的语音处理算法包括回声消除算法、啸叫抑制算法；根据所述混响时间与算法方案的对应关系，切换的语音处理算法包括声源定位、语音增强、语音唤醒、语音识别算法；
所述计算单元，具体用于：
对所述激励信号s进行快速傅里叶变换，得到第一频域信号S(k)；对所述响应信号进行快速傅里叶变换，得到第二频域信号X(k)；其中，k代表频率索引，k＝1,2,...,K；
计算所述第二频域信号X(k)与第一频域信号S(k)的比值为：
将所述比值I1(k)进行逆快速傅里叶变换恢复到时域上，得到房间冲激响应函数i1(n)；
I1(k)乘以一个分数倍频程滤波系数后得到I2(k)；
选择1/3倍频程的A计权滤波器系数WA(k')，将WA(k')扩展成K个点的滤波器系数WA'(k)；
则有：I2(k)＝I1(k)×WA'(k)；
将I2(k)进行逆快速傅里叶变换恢复到时域上，得到i2(n)；
通过i2(n)求得声压级函数：
其中W0是常数，指激励信号单位带宽功率，Cref是计算声压级而选取的参考值；其中，N是激励信号的点数；
基于所述声压级函数，计算初始时刻的声压级；
获取声压级下降预设幅度时的时刻；
根据所述初始时刻与所述声压级下降预设幅度时的时刻，计算所述混响时间。
8.一种语音设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433925.0A CN111341345B (zh) | 2020-05-21 | 2020-05-21 | 语音设备的控制方法、装置、语音设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433925.0A CN111341345B (zh) | 2020-05-21 | 2020-05-21 | 语音设备的控制方法、装置、语音设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111341345A CN111341345A (zh) | 2020-06-26 |
| CN111341345B true CN111341345B (zh) | 2021-04-02 |
Family
ID=71187596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010433925.0A Active CN111341345B (zh) | 2020-05-21 | 2020-05-21 | 语音设备的控制方法、装置、语音设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111341345B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409805B (zh) * | 2020-11-02 | 2024-06-07 | 腾讯科技（深圳）有限公司 | 人机交互方法、装置、存储介质及终端设备 |
| CN114220457A (zh) * | 2021-10-29 | 2022-03-22 | 成都中科信息技术有限公司 | 双通道通信链路的音频数据处理方法、装置及存储介质 |
| CN114708884B (zh) * | 2022-04-22 | 2024-05-31 | 歌尔股份有限公司 | 一种声音信号处理方法、装置、音频设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103956170B (zh) * | 2014-04-21 | 2016-12-07 | 华为技术有限公司 | 一种消除混响的方法、装置和设备 |
| CN105628170A (zh) * | 2014-11-06 | 2016-06-01 | 广州汽车集团股份有限公司 | 一种车内混响时间的测量和计算方法 |
| US20170366897A1 (en) * | 2016-06-15 | 2017-12-21 | Robert Azarewicz | Microphone board for far field automatic speech recognition |
| CN107071636B (zh) * | 2016-12-29 | 2019-12-31 | 北京小鸟听听科技有限公司 | 对带麦克风的设备的去混响控制方法和装置 |
| CN110798790B (zh) * | 2018-08-01 | 2021-04-27 | 杭州海康威视数字技术股份有限公司 | 麦克风异常检测方法、装置及存储介质 |
| CN108986799A (zh) * | 2018-09-05 | 2018-12-11 | 河海大学 | 一种基于倒谱滤波的混响参数估计方法 |
| CN110851109A (zh) * | 2019-05-15 | 2020-02-28 | 音王电声股份有限公司 | 一种基于房间脉冲响应测量的音质处理器 |
-
2020
- 2020-05-21 CN CN202010433925.0A patent/CN111341345B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111341345A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111341345B (zh) | 语音设备的控制方法、装置、语音设备和存储介质 | |
| US10891931B2 (en) | Single-channel, binaural and multi-channel dereverberation | |
| Luts et al. | Multicenter evaluation of signal enhancement algorithms for hearing aids | |
| US11638085B2 (en) | System, device and method for assessing a fit quality of an earpiece | |
| Ratnam et al. | Blind estimation of reverberation time | |
| EP2907323B1 (en) | Method and apparatus for audio interference estimation | |
| US7158933B2 (en) | Multi-channel speech enhancement system and method based on psychoacoustic masking effects | |
| EP2237271A1 (en) | Method for determining a signal component for reducing noise in an input signal | |
| EP2372700A1 (en) | A speech intelligibility predictor and applications thereof | |
| CN108235181B (zh) | 在音频处理装置中降噪的方法 | |
| EP2881948A1 (en) | Spectral comb voice activity detection | |
| KR20190019833A (ko) | 룸-의존적 적응형 음색 보정 | |
| US10438606B2 (en) | Pop noise control | |
| US20120328112A1 (en) | Reverberation reduction for signals in a binaural hearing apparatus | |
| Gaubitch et al. | Spatiotemporal averagingmethod for enhancement of reverberant speech | |
| CN115348507A (zh) | 脉冲噪声抑制方法、***、可读存储介质及计算机设备 | |
| Ngo et al. | Incorporating the conditional speech presence probability in multi-channel Wiener filter based noise reduction in hearing aids | |
| CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
| Senoussaoui et al. | SRMR variants for improved blind room acoustics characterization | |
| Diether et al. | Efficient blind estimation of subband reverberation time from speech in non-diffuse environments | |
| Kodrasi et al. | Curvature-based optimization of the trade-off parameter in the speech distortion weighted multichannel wiener filter | |
| WO2022150286A1 (en) | Determining dialog quality metrics of a mixed audio signal | |
| Madhu et al. | Study on the applicability of instrumental measures for black-box evaluation of static feedback control in hearing aids | |
| Xue et al. | Modulation-domain parametric multichannel Kalman filtering for speech enhancement | |
| Prodeus | Late reverberation reduction and blind reverberation time measurement for automatic speech recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |