CN115802236B - 一种缩短带辅助听力耳机延迟的方法 - Google Patents

Abstract

本发明公开了一种缩短带辅助听力耳机延迟的方法，涉及蓝牙耳机技术领域，包括依次连接的模拟麦克风、模拟放大器、模数转换器、下采样转换器、第一异步采样转换器、DMA1、存储器和MCU/DSP，依次连接的播放装置、幅度功率放大器、数模转换器、上采样转换器、第二异步采样转换器、DMA2和MCU/DSP，开启DMA1，从第一异步采样转换器的FIFO搬移数据至存储器的指定起始地址，当MCU/DSP获取、处理并搬移数据到存储器的指定目的地址后，再开启DMA2，从指定目的地址搬移数据至第二异步采样转换器的FIFO。本发明缩短了传统软件实现辅听方法的延迟，且实现方法简单，不增加任何硬件成本。

Description

一种缩短带辅助听力耳机延迟的方法

技术领域

本发明涉及蓝牙耳机技术领域，具体的说，是一种缩短带辅助听力耳机延迟的方法。

背景技术

目前市面上带辅助听力的耳机越大越多，实现方法也是非常多，但总体来说，是有可以区分为硬件实现和软件实现两种。但不管用哪种方法，其中有个非常重要的指标来判定一款带辅助听力耳机性能，这个指标就是延迟。延迟指的是带辅助听力耳机的收音设备（一般指麦克风）收到声音信号然后经过信号通路，信号处理后把收到的信号通过耳机的发声设备（一般指喇叭）播放出来，整个过程所需要的时间。一般要求为这个延迟要小于10ms，延迟越短越好。如图1所示，辅听设备信号处理流程为收音设备->输入信号通路->信号处理->输出信号道路->发音设备，硬件实现的辅听设备，上面模块全部是硬件实现，软件不用做任何参与，软件实现的辅听设备在输入信号通路和输出信号通路上和硬件实现的辅听设备一般不同，信号处理部分全部或部分由软件实现，软件运行在MCU或者DSP上面。硬件实现的辅听优点是延迟可以做到很低，缺点是不够灵活，后期不能更改信号处理模块中的算法。软件实现辅听的优点是算法灵活，后期可以依据要求随时更改信号处理的算法以满足不同用户的需求，缺点是延迟一般比硬件实现要高。如图2所示，现有技术中软件实现辅听的方法，模拟麦克风将声音信号转换为电信号，为辅听耳机的收音装置，采集的声音经模拟放大器放大、模数信号转换、将采样率整数倍的降低并转换为想要输出的采样频率，与微处理器单元/数字信号处理器MCU/DSP的采样频率一致，第一异步采样转换器输出的信号被直接存储器访问控制器DMA传送到指定的存储器位置，方便MCU/DSP在指定的存储器地址去获取要处理的数字信号。同样，DMA也可以把MCU/DSP处理好后的数字信号搬移到第二异步采样转换器的输入，再经过第二异步采样转换器的采样频率转换、上采样转换器进行采样率的整数倍提升、数模转换、幅度和功率放大后，将电信号转换为声音信号，由辅听耳机的发音装置播放。

其声音采集过程如图3所示，MCU/DSP会给采集通路的DMA设置一个源地址，源地址就是第一异步采样转换器的输出先进先出队列FIFO地址，还会设置两个目的地址，这两个地址就是缓冲区Ping buffer1的起始地址和缓冲区Pang buffer1的起始地址，Pingbuffer1的大小和Pang buffer1的大小是一样的，这两块buffer位于存储器中，还会设置一个一次搬移的数据量的大小，这里叫做一帧数据fragment size1，fragment size1和Pingbuffer1、Pang buffer1的大小是一样的。当采集通路的DMA启动后，DMA首先会把第一异步采样转换器的输出先进先出队列FIFO数据搬移到Ping buffer1，当搬完一个fragmentsize1的数据后，DMA会产生一个中断给MCU/DSP，并告诉搬移的存储器Memory地址信号，MCU/DSP收到中断后去对应的Memory地址取数据来处理。同时DMA开始搬移第一异步采样转换器的输出FIFO数据到Pang buffer1，同样当搬完一个fragment size1的数据后，DMA会产生一个中断给MCU/DSP，并告诉搬移的存储器地址信号。然后再去搬移数据到Pingbuffer1，然后再是Pang buffer1，这样一直反复循环……

声音信号的播放处理过程如图4所示，MCU/DSP会给播放装置如喇叭播放通路的DMA设置两个源地址，这两个地址就是缓冲区Ping buffer2的起始地址和缓冲区Pangbuffer2的起始地址，同样Ping buffer2的大小和Pang buffer2的大小是一样的，这两块buffer也位于存储器中，也会设置一个一次搬移的数据量的大小，这里叫做fragmentsize2，fragment size2和Pingbuffer、Pang buffer2的大小是一样的。Fragment size2的大小可以和Fragment size1的大小一样，也可以不一样。通常没有什么特殊的原因，会把这两个size设置为一样的。同时还会设置一个目的地址，这地址就是第二异步采样转换器的输入FIFO地址。当DMA启动后，DMA首先会把Ping buffer2的数据搬移到第二异步采样转换器的输入FIFO，当搬完一个fragment size2的数据后，DMA会产生一个中断给MCU/DSP来告知Ping buffer2的数据已经搬完，并开始去搬移Pang buffer2的数据，MCU/DSP收到中断后去memory中取出一个fragment size2大小的采集的音频数据送到Ping buffer2，同样当搬完一个fragment后，DMA会产生一个中断给MCU/DSP来告诉Pang buffer2的数据已经搬完，然后去搬Ping buffer2的数据。MCU/DSP收到中断后去存储器中取出一个fragment size2大小的MIC数据送到Pang buffer2， 这样一直反复循环……

通常软件实现辅听的步骤如下：

1、先配置好个硬件模块的参数；

2、同时启动第一直接存储器访问控制器DMA1和第二直接存储器访问控制器DMA2；

3、DMA1、DMA2搬完一个fragment size（fragment size=fragment size1=fragment size2，通常一个fragment size大小的数据叫做一帧数据）的数据后产生中断

4、MCU/DSP在DMA1、DMA2的中断函数处理中处理各自的事务。DMA1中断处理函数处理收到的信号，DMA2中断处理主要是把处理完后的数据送到Ping buffer2或者是Pangbuffer2；

5、重复3，4步。

现有技术的延迟分析：

一样来说，硬件固定后，所有的硬件处理模块，这里指模拟麦克风，模拟放大器，模数转换器，下采样转换器，第一异步采样转换器，第二异步采样转换器，上采样转换器，数模转换器，幅度功率放大器，喇叭产生的延迟都是固定的，一般为微秒（us）级别，大概为几十微秒到一两百微秒之间，延迟主要产生在DMA的数据搬移之间。如下图5所示，可以看出采集到的第一帧数据要到第三帧才能播放出来，喇叭播放的前两帧都是无效的空数据，通常为0，所以：

总延迟=硬件延迟（固定）+2*fragment size；

现有技术中减小延迟的方法通常来说都是尽量缩短fragment size的大小。举例来说，如果采样率是16K的话，fragment size是240个采样点的话，那一个fragment size对应的延迟就是15ms。

发明内容

本发明的目的在于提供一种缩短带辅助听力耳机延迟的方法，进一步缩短了现有技术中软件实现辅听的延迟时间。

本发明通过下述技术方案解决上述问题：

一种缩短带辅助听力耳机延迟的方法，包括依次通信连接的模拟麦克风、模拟放大器、模数转换器、下采样转换器、第一异步采样转换器、第一直接存储器访问控制器DMA1、存储器和微处理器单元/数字信号处理器MCU/DSP，还包括依次通信连接的播放装置、幅度功率放大器、数模转换器、上采样转换器、第二异步采样转换器、第二直接存储器访问控制器DMA2、所述存储器和所述微处理器单元/数字信号处理器MCU/DSP，音频处理方法为：

首先开启第一直接存储器访问控制器DMA1，DMA1从第一异步采样转换器的输出先进先出队列FIFO搬移数据至存储器的指定起始地址，当微处理器单元/数字信号处理器MCU/DSP从所述存储器的指定起始地址获取并处理完一帧数据搬移到存储器的指定目的地址后，再开启第二直接存储器访问控制器DMA2，DMA2从所述存储器的指定目的地址搬移数据至第二异步采样转换器的输入先进先出队列FIFO。

由于先启动第一直接存储器访问控制器DMA1，当一个DMA1中断来到之后，MCU/DSP获取第一帧数据，然后MCU/DSP进行信号处理，处理时间为Δ；当信号处理完成后，将处理完的一帧数据拷贝到Ping buffer2，然后启动第二直接存储器访问控制器DMA2，DMA2启动开始搬运Ping buffer2的数据；当第二个DMA1中断来后，MCU/DSP获取第二帧数据，处理完后把第二帧数据送到Pang buffer2（由于DMA2启动时间比DMA1晚一帧+Δ，所以模拟麦克风在送Pang buffer2的数据的时候，DMA2还在搬运Ping buffer2的数据。本方法的总延迟=硬件延迟（固定）+fragment size+Δ，其中，fragment size搬运一帧数据的时间，Δ的时间取决于算法复杂度，MCU/DSP运算性能以及运算主频。通常来说Δ肯定是小于fragment size时间的（如果Δ>fragment size，通常会认为是CPU/DSP性能不够或者是主频不够高）。相比传统的同时启动DMA1和DMA2的延迟（硬件延迟（固定）+2*fragment size），本方法缩短的延迟时间ST：ST= fragment size–Δ。

所述音频处理方法具体包括：

当模拟麦克风采集的音频信号经过模拟放大器放大、模数转换器转换、下采样转换器采样率整数倍转换后，再由第一异步采样转换器转换成设定采样频率的信号时，启动第一直接存储器访问控制器DMA1，DMA1启动后从第一异步采样转换器的输出先进先出队列FIFO交替搬移数据至存储器中的缓冲区Ping buffer1、缓冲区Pang buffer1，每一次搬移完成后DMA1产生中断信号给微处理器单元/数字信号处理器MCU/DSP；MCU/DSP收到第一个中断信号后，从缓冲区Ping buffer1读取数据并处理后搬移到存储器中的缓冲区Pingbuffer2，MCU/DSP再次收到中断信号后，从缓冲区Pang buffer1读取数据并处理后搬移到存储器中的缓冲区Pang buffer2，如此交替搬移数据；当MCU/DSP搬移第一帧数据完成后，启动第二直接存储器访问控制器DMA2，DMA2开始交替搬运缓冲区Ping buffer2、缓冲区Pang buffer2的数据至第二异步采样转换器的输入先进先出队列FIFO；数据通过第二异步采样转换器采样率逆转换、上采样转换器采样率整数倍逆转换、数模转换器转换、功率和幅度放大器放大后，由播放装置进行播放。

本发明与现有技术相比，具有以下优点及有益效果：

本发明进一步缩短了传统软件实现辅听方法的时间延迟，且实现方法简单，不增加任何硬件成本。

附图说明

图1为现有技术中辅听设备信号处理流程图；

图2为现有技术中的硬件组成原理图；

图3为现有技术中声音信号的采集处理过程示意图；

图4为现有技术中中声音信号的播放处理过程示意图；

图5为现有技术中软件方式实现辅听的示意图；

图6为本发明中软件方式实现辅听的示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

本发明提供了一种缩短带辅助听力耳机延迟的方法，包括依次通信连接的模拟麦克风、模拟放大器、模数转换器、下采样转换器、第一异步采样转换器、第一直接存储器访问控制器DMA1、存储器和微处理器单元/数字信号处理器MCU/DSP，还包括依次通信连接的播放装置、幅度功率放大器、数模转换器、上采样转换器、第二异步采样转换器、第二直接存储器访问控制器DMA2、所述存储器和所述微处理器单元/数字信号处理器MCU/DSP，所述模拟麦克风采集的音频信号经过模拟放大器放大、模数转换器转换、下采样转换器采样率整数倍转换后（如将1000k采样的信号转换到10k采样率），再由第一异步采样转换器转换成设定采样频率的信号（如将输入的信号的采样频率任意转换为想要输出的采样频率，这种转换可以是小数关系），启动第一直接存储器访问控制器DMA1，DMA1从第一异步采样转换器的输出FIFO搬移第一帧数据至存储器中的缓冲区Ping buffer1，搬移完成后产生中断信号给微处理器单元/数字信号处理器MCU/DSP；然后DMA1从第一异步采样转换器的输出FIFO搬移数据至存储器中的缓冲区Pang buffer1，搬移完成后产生中断信号给MCU/DSP；如此循环，交替从第一异步采样转换器的输出FIFO搬移数据至缓冲区Ping buffer1、缓冲区Pangbuffer1；

MCU/DSP收到第一个中断信号后，从缓冲区Ping buffer1读取第一帧数据并处理后搬移到存储器中的缓冲区Ping buffer2；MCU/DSP再次收到中断信号后，从缓冲区Pangbuffer1读取数据并处理后搬移到存储器中的缓冲区Pang buffer2，如此循环，交替从缓冲区Ping buffer1、缓冲区Pang buffer1搬移数据至缓冲区Ping buffer2、缓冲区Pangbuffer2；

当MCU/DSP从缓冲区Ping buffer1读取第一帧数据并处理后搬移到缓冲区Pingbuffer2后，此时启动第二直接存储器访问控制器DMA2，DMA2开始交替搬运缓冲区Pingbuffer2和缓冲区Pang buffer2的数据至第二异步采样转换器的输入FIFO；

如图6所示，具体流程为：

1、先配置好各个硬件模块的参数；

2、先启动DMA1；

3、当一个DMA1中断来后，MCU/DSP收到第一帧数据，然后MCU/DSP进行信号处理，处理时间为Δ；

4、当信号处理完成后，将处理完的一帧数据拷贝到Ping buffer2，然后启动DMA2；

5、DMA2启动开始搬运Ping buffer2的数据；

6、当第二个DMA1中断来后，MCU/DSP处理信号，处理完后把第二帧数据送到Pangbuffer2（由于DMA1启动时间比DMA2晚一帧+Δ，所以模拟麦克风在往Pang buffer2送数据的时候，DMA2还在搬运Ping buffer2的数据）；

7、当第三个DMA1中断来后，MCU/DSP处理信号，处理完后把第三帧数据送到Pingbuffer2（由于DMA2启动时间比DMA1晚一帧+Δ，所以模拟麦克风在往Ping buffer2送数据的时候，DMA2还在搬运Pang buffer2的数据）；

8、6，7步反复循环。

数据通过第二异步采样转换器采样率逆转换、上采样转换器采样率整数倍逆转换、数模转换器转换、功率和幅度放大器放大后，由播放装置进行播放。

本专利方法总延迟=硬件延迟（固定）+fragment size+Δ，其中：Δ的时间取决于算法复杂度，MCU/DSP运算性能以及运算主频。通常来说Δ肯定是小于fragment size时间的（如果Δ>fragment size，通常会认为是CPU/DSP性能不够或者是主频不够高，在一个fragment size完成不来信号处理，那整个辅听的***设计都是有问题的）。因此，本发明能够进一步在传统软件实现辅听的方法上缩短延迟，与相比现有技术，本发明缩短的时间ST：ST=fragment size–Δ。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (2)

1.一种缩短带辅助听力耳机延迟的方法，包括依次通信连接的模拟麦克风、模拟放大器、模数转换器、下采样转换器、第一异步采样转换器、第一直接存储器访问控制器DMA1、存储器和微处理器单元/数字信号处理器MCU/DSP，还包括依次通信连接的播放装置、幅度功率放大器、数模转换器、上采样转换器、第二异步采样转换器、第二直接存储器访问控制器DMA2、所述存储器和所述微处理器单元/数字信号处理器MCU/DSP，其特征在于，音频处理方法为：

首先开启第一直接存储器访问控制器DMA1，DMA1从第一异步采样转换器的输出先进先出队列FIFO搬移数据至存储器的指定起始地址，当微处理器单元/数字信号处理器MCU/DSP从所述存储器的指定起始地址获取并处理完一帧数据搬移到存储器的指定目的地址后，再开启第二直接存储器访问控制器DMA2，DMA2从所述存储器的指定目的地址搬移数据至第二异步采样转换器的输入先进先出队列FIFO。

2.根据权利要求1所述的一种缩短带辅助听力耳机延迟的方法，其特征在于，所述音频处理方法具体包括：

当模拟麦克风采集的音频信号经过模拟放大器放大、模数转换器转换、下采样转换器采样率整数倍转换后，再由第一异步采样转换器转换成设定采样频率的信号时，启动第一直接存储器访问控制器DMA1，DMA1启动后从第一异步采样转换器的输出先进先出队列FIFO交替搬移数据至存储器中的缓冲区Ping buffer1、缓冲区Pang buffer1，每一次搬移完成后DMA1产生中断信号给微处理器单元/数字信号处理器MCU/DSP；MCU/DSP收到第一个中断信号后，从缓冲区Ping buffer1读取数据并处理后搬移到存储器中的缓冲区Pingbuffer2，MCU/DSP再次收到中断信号后，从缓冲区Pang buffer1读取数据并处理后搬移到存储器中的缓冲区Pang buffer2，如此交替搬移数据；当MCU/DSP搬移第一帧数据完成后，启动第二直接存储器访问控制器DMA2，DMA2开始交替搬运缓冲区Ping buffer2、缓冲区Pang buffer2的数据至第二异步采样转换器的输入先进先出队列FIFO；数据通过第二异步采样转换器采样率逆转换、上采样转换器Interpolators采样率整数倍逆转换、数模转换器转换、功率和幅度放大器PA放大后，由播放装置进行播放。

Images