CN114204957A - 音频收发电路及相关设备、方法、装置和存储介质 - Google Patents

音频收发电路及相关设备、方法、装置和存储介质 Download PDF

Info

Publication number
CN114204957A
CN114204957A CN202111509366.8A CN202111509366A CN114204957A CN 114204957 A CN114204957 A CN 114204957A CN 202111509366 A CN202111509366 A CN 202111509366A CN 114204957 A CN114204957 A CN 114204957A
Authority
CN
China
Prior art keywords
audio
data
module
transceiving
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111509366.8A
Other languages
English (en)
Other versions
CN114204957B (zh
Inventor
黎绍鑫
郝正海
徐承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ustc Iflytek Co ltd
Original Assignee
Hefei Ustc Iflytek Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ustc Iflytek Co ltd filed Critical Hefei Ustc Iflytek Co ltd
Priority to CN202111509366.8A priority Critical patent/CN114204957B/zh
Publication of CN114204957A publication Critical patent/CN114204957A/zh
Application granted granted Critical
Publication of CN114204957B publication Critical patent/CN114204957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Communication Control (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种音频收发电路及相关设备、方法、装置和存储介质,其中,音频收发电路包括:数据收发模组、传输总线和主控模组,数据收发模组,包括时钟管理模块和并行设置的多个音频收发模块,音频收发模块用于通过音频总线耦接至拾音电路和/或扬声电路,且时钟管理模块的输出端连接至各个音频收发模块,以同步各个音频收发模块的时钟参数;传输总线,包括主控接口、数据接口和第一配置接口,多个音频收发模块均耦接至数据接口,且时钟管理模块的配置端连接至第一配置接口;主控模组,连接至主控接口,以通过主控接口实现与数据收发模组之间的数据互通。上述方案,能够实现所有通道数据同步且对齐。

Description

音频收发电路及相关设备、方法、装置和存储介质
技术领域
本申请涉及电子信息技术领域,特别是涉及一种音频收发电路及相关设备、方法、装置和存储介质。
背景技术
随着信息化技术的不断发展,人们越来越倾向于使用多人对话***来实现线上会议、商务洽谈等。通过多人对话***结合相应算法,可以在一定程度上解决很多房间声学问题,比如声源定位、去混响、语音增强、盲源分离等,故有助于提升多人对话质量。
目前,市面上多人对话***一般通过集成麦克风阵列以及诸如DSP(DigitalSignal Processor,数字信号处理器)、ARM(即Advanced RISC Machines)、MCU(MicroControl Unit,微控制单元)、ADC(Analog to Digital Converter,模拟数字转换器)等元器件实现。然而,这些方式均存在时钟不同步的问题,故很难实现所有通道数据同步且对齐,继而直接影响后续上述算法的正常执行。有鉴于此,如何实现所有通道数据同步且对齐成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种音频收发电路及相关设备、方法、装置和存储介质,能够实现所有通道数据同步且对齐。
为了解决上述技术问题,本申请第一方面提供了一种音频收发电路,包括:数据收发模组、传输总线和主控模组,数据收发模组,包括时钟管理模块和并行设置的多个音频收发模块,音频收发模块用于通过音频总线耦接至拾音电路和/或扬声电路,且时钟管理模块的输出端连接至各个音频收发模块,以同步各个音频收发模块的时钟参数;传输总线,包括主控接口、数据接口和第一配置接口,多个音频收发模块均耦接至数据接口,且时钟管理模块的配置端连接至第一配置接口;主控模组,连接至主控接口,以通过主控接口实现与数据收发模组之间的数据互通。
为了解决上述技术问题,本申请第二方面提供了一种多媒体设备,包括:拾音电路、扬声电路和上述第一方面中的音频收发电路;其中,拾音电路、扬声电路通过音频总线耦接至音频收发电路。
为了解决上述技术问题,本申请第三方面提供了一种音频收发方法,音频收发方法应用于上述第一方面中的音频收发设备,音频收发方法包括:主控模组通过传输总线同步各个音频收发模块的时钟参数;基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据。
为了解决上述技术问题,本申请第四方面提供了一种音频收发装置,音频收发装置集成于上述第一方面中的音频收发电路,音频收发装置包括:时钟同步模块和数据传输模块,时钟同步模块,用于驱使主控模组通过传输总线同步各个音频收发模块的时钟参数;数据传输模块,用于驱使主控模组基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据。
为了解决上述技术问题,本申请第五方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,程序指令用于实现上述第三方面中的音频收发方法。
上述方案,音频收发电路包括数据收发模组、传输总线和主控模组,数据收发模组用于通过音频总线耦接至拾音电路和/或扬声电路,时钟管理模块的输出端连接至各个音频收发模块,以同步各个音频收发模块的时钟参数,传输总线包括主控接口、数据接口和第一配置接口,多个音频收发模块均耦接至数据接口,且时钟管理模块的配置端连接至第一配置接口,主控模组连接至主控接口,以通过主控接口实现与数据收发模组之间的数据互通,一方面通过传输总线的主控接口和数据接口,能够有利于实现多个音频收发模块统一的数据收发调度,另一方面通过传输总线的主控接口和第一配置接口,能够同步各个音频收发模块的时钟参数,故能够实现所有通道数据同步且对齐。
附图说明
图1是本申请音频收发电路一实施例的框架示意图;
图2是易失性存储介质的存储空间示意图;
图3是音频收发模块一实施例的框架示意图;
图4是本申请多媒体设备一实施例的框架示意图;
图5是本申请音频收发方法一实施例的流程示意图;
图6是本申请音频收发装置一实施例的框架示意图;
图7是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请音频收发电路10一实施例的框架示意图。音频收发电路10包括:数据收发模组11、传输总线12和主控模组13,数据收发模组11包括时钟管理模块111和并行设置的多个音频收发模块112,音频收发模块112用于通过音频总线耦接至拾音电路(未图示)和/或扬声电路(未图示),且时钟管理模块111的输出端A1连接至各个音频收发模块112,以同步各个音频收发模块112的时钟参数;传输总线12包括主控接口121、数据接口122和第一配置接口123,多个音频收发模块112均耦接至数据接口122,且时钟管理模块111的配置端A2连接至第一配置接口123;主控模组13连接至主控接口121,以通过主控接口121实现与数据收发模组11之间的数据互通。
在一个实施场景中,传输总线12可以包括但不限于AXI(即Advanced eXtensibleInterface)等,在此不做限定。
在一个实施场景中,时钟管理模块111可以包括但不限于:PLL(Phase LockedLoop,锁相环)、MMCM(Mixed-Mode Clock Manager,混合模式时钟管理器)等,在此不做限定。时钟管理模块111的工作原理,可以参阅诸如PLL、MMCM等相关技术细节,字词不再赘述。故此,通过时钟管理模块111来配置音频收发模块112关于音频总线的时钟信号,例如,对于I2S而言,通过时钟管理模块111可以配置MCLK/LRCK/SCK三个时钟信号的频率,有利于适应不同算法场景。
在一个实施场景中,音频总线可以包括但不限于I2S(Inter-IC Sound,集成电路内置音频总线)等,在此不做限定。需要说明的是,标准I2S总线电缆由3根串行导线组成,其中一根为时分多路复用数据线,另一根是字选择线,最后一根是时钟线。I2S总线接口可以作为一个编码解码接口与外部16/20/24位的立体声音频编解码电路(CODEC IC)相连。其可以支持I2S数据格式和MSB-Justified数据格式。I2S总线解耦为先进先出队列的访问提供DMA(Direct Memory Access,直接存储器访问)传输模式来取代中断模式,可以同时发送和接收数据,也可以只发送或接收数据。
在一个实施场景中,数据接口122可以包括但不限于AXI-HP接口等,在此不做限定。此外,第一配置接口123可以包括但不限于AXI-Lite接口等,在此不做限定。
在一个实施场景中,传输总线12还可以包括第二配置接口124,数据收发模组11还包括信号分路模块113,信号分路模块113包括信号汇集端B1和多个信号分路端B2,信号汇集端B1与第二配置接口124连接,多个信号分路端B2分别连接至不同音频收发模块112,以配置各个音频收发模块112的语音参数。需要说明的是,信号分路模块113具体用于主控模组13发送给音频收发模块112的相关信号分为多路,以使各个音频收发模块112均可以接收到该信号。此外,语音参数的具体含义,可以参阅下述音频收发方法实施例中相关描述,在此暂不赘述。故此,通过第二配置接口124以及信号分路模块113,能够配置各个音频收发模块112的语音参数,有利于适应于不同算法场景。
在一个实施场景中,数据收发模组11还包括数据调度模块114,数据调度模块114包括数据汇集端C1和多个数据分路端C2,数据汇集端C1与数据接口122连接,多个数据分路端C2分别连接至不同音频收发模块112,以调度各个音频收发模块112的数据收发操作。具体而言,数据调度模块114所包含的数据分路端C2的数量可以等于音频收发模块112的数量,也可以多于音频收发模块112的数量。
在一个实施场景中,数据接口122还耦接于主控模组13的中断接口131,多个音频收发模块112均完成数据传输之后,数据接口122处产生中断信号,以通过中断接口131通知主控模组13执行数据处理操作。具体可以参阅下述音频收发方法实施例中相关描述,在此暂不赘述。
在一个实施场景中,音频收发电路10还包括易失性存储介质14,易失性存储介质14与传输总线12连接。此外,音频收发模块112在收取第一音频数据时,通过数据接口122将第一音频数据缓存至易失性存储介质14,主控模组13从易失性存储介质14取走第一音频数据。不同于音频接收过程,在音频发送过程中,主控模组13在发出第二音频数据时,通过主控接口121将第二音频数据缓存于易失性存储介质14,音频收发模块112通过数据接口122从易失性存储介质14取走并发出第二音频数据。
在一个具体的实施场景中,易失性存储介质14可以包括但不限于DDR(DoubleData Rate,双倍数据速率)等,如DDR3、DDR4等等,在此不做限定。
在一个具体的实施场景中,各个音频收发模块112分别设有不同序位,以音频收发电路10包含16个音频收发模块112为例,第1个音频收发模块112其序位可以标记为0,第2个音频收发模块112其序位可以标记为1,以此类推,在此不再一一举例。在此基础上,可以分别设有各个音频收发模块112在易失性存储介质14中的存储地址,而存储地址是基于基地址、地址偏移以及音频收发模块112的序位所确定的,且地址偏移与音频收发模块112所配置的语音参数相关。需要说明的是,上述存储空间可以是连续的,且可以循环使用。示例性地,以采样时间4ms、采样频率16kHz、语音深度16bit为例,每路语音数据的大小是128字节,则可以确定每路语音数据之间的地址偏移为128。在此基础上,第1个音频收发模块112对应的存储空间的偏移地址为0~127,第2个音频收发模块112对应的存储空间的偏移地址为128~255,以此类推,第n个音频收发模块112对应的存储空间的偏移地址为128*(n-1)~128*n-1。请结合参阅图2,图2是易失性存储介质14的存储空间示意图。如图2所示,当前语音被取走之后,可以再次通过上述步骤,将下一组语音存入到非易失性存储介质14中,以循环复用。
在一个实施场景中,请结合参阅图3,图3是音频收发模块112一实施例的框架示意图。如图2所示,音频收发模块112包括时钟产生单元1121、串并转换单元1122和并串转换单元1123。进一步地,时钟产生单元1121包括时钟输入端D1和时钟输出端D2,时钟输入端D1与时钟管理模块111的输出端A2连接,串并转换单元1122包括第一输入端E1、第一输出端E2和第一时钟配置端E3,第一输入端E1用于耦接至拾音电路,第一输出端E2耦接至数据接口122,且第一时钟配置端E3与时钟输出端D2连接,并串转换单元1123包括第二输入端F1、第二输出端F2和第二时钟配置端F3,第二输出端F2用于耦接至扬声电路,第二输入端F1耦接至数据接口122,且第二时钟配置端F3与时钟输出端D2连接。
在一个具体的实施场景中,如图3所示,音频收发模块112还可以包括数据重组单元1124、乒乓缓存单元1125、数据分发单元1126和数据缓存单元1127。在主控模组13通过传输总线12将数据收发模组11初始化完成之后,数据收发模组11中各个音频收发模块112可根据设定的音频参数,执行录音和播音操作。具体过程,可以参阅下述相关描述。
在一个具体的实施场景中,录音时,串并转换单元1122将接收到的串行数据组合成16bit~24bit的并行数据,并通过数据重组单元1124将并行数据分成左右声道数据,以及缓存至后端的乒乓缓存单元1125,待乒乓缓存单元1125中数据量达到预设阈值(如,64)时,向数据调度模块114发送请求,数据调度模块114可以根据是否已有其他音频收发模块112在等待以及当前音频收发模块112的排队序号,将乒乓缓存单元1125中数据调度至数据接口122的写端口,以待缓存至易失性存储介质14。进一步地,在所有音频收发模块112的语音数据均传输完成之后,可以产生中断信号,并通过中断接口131通知主控模组13执行数据处理操作。在此情况下,主控模组13可以从易失性存储介质14中取走音频数据,并进行诸如声源定位、去混响、语音增强、盲源分离等下一步处理,在此不做限定。
在一个具体的实施场景中,播音时,主控模组13将待播音数据写入到非易失性存储介质14中,并通知数据收发模组11取数据,多个音频收发模块112通过数据接口122从非易失性存储介质14读取数据,并将数据写入到数据缓存单元1127中,并进一步通过数据分发单元1126判断出数据缓存单元1127非空,以及将读出数据分为左右两个声道,传递至并串转换单元1123,将其转换为串行数据流输出,完成播音操作。
在一个实施场景中,时钟管理模块111还包括输入端A3,用于与外部晶振连接。
在一个实施场景中,数据收发模组11为IP核(即知识产权核),从而可以授权使用。
在一个实施场景中,音频收发电路10由可编程化***单芯片(ProgrammableSystem on Chip,PSOC)实现,且数据收发模组11由可编程化***单芯片的可编程逻辑(Programmable Logic,PL)部分实现,主控模组13由可编程化***单芯片的处理***(Processing System,PS)部分实现,传输总线12由可编程化***单芯片的片内总线实现。示例性地,片内总线可以包括但不限于AXI等,在此不做限定。故此,通过PS侧高端处理器(如,双核ARM cortex A9内核),能够支持复杂语音处理算法,如语音识别、合成、增强以及多成员对话的数据交换,有利于提升通用性和灵活性。此外,由于PSOC平台通常具有丰富的接口,如网口、USB(Universal Serial Bus,通用串行总线)、串口、CAN(即Controller AreaNetwork)、PCIE(Peripheral Component Interconnect Express,高速串行计算机扩展总线标准)、SRIO(即Serial Rapid I/O)等,故能够应用于不同场景,即可以作为插卡,也可作为专用功能的独立板卡存在。
在一个具体的实施场景中,音频收发电路10具体可以基于诸如Xilinx核心板而实现,其尺寸不超过40mm*35mm,可以实现5个16路I2S IP核功能,且该核心板的硬件成本较低,故有利于降低硬件成本,同时降低硬件尺寸,以及硬件功耗。
在一个具体的实施场景中,上述IP核还可以在任意FPGA(Field ProgrammableGate Array,现场可编程逻辑门阵列)实现,或者,还可以作为专用的硬核流片嵌入到通用处理器中。
在一个实施场景中,音频收发电路10还可以包括音频降噪模块(未图示),用于对拾取的音频数据先进行降噪处理,并在降噪处理之后,由音频收发模块112继续通过数据调度模块114、数据接口122传输至易失性存储介质14。
上述方案,音频收发电路10包括数据收发模组11、传输总线12和主控模组13,数据收发模组11包括时钟管理模块111和并行设置的多个音频收发模块112,音频收发模块112用于通过音频总线耦接至拾音电路和/或扬声电路,时钟管理模块111的输出端A1连接至各个音频收发模块112,以同步各个音频收发模块112的时钟参数,传输总线12包括主控接口121、数据接口122和第一配置接口123,多个音频收发模块112均耦接至数据接口122,且时钟管理模块111的配置端A2连接至第一配置接口123,主控模组13连接至主控接口121,以通过主控接口121实现与数据收发模组11之间的数据互通,一方面通过传输总线12的主控接口121和数据接口122,能够有利于实现多个音频收发模块112统一的数据收发调度,另一方面通过传输总线12的主控接口121和第一配置接口123,能够同步各个音频收发模块112的时钟参数,故能够实现所有通道数据同步且对齐。
请参阅图4,图4是本申请多媒体设备40一实施例的框架示意图。多媒体设备40包括:拾音电路41、扬声电路42以及上述任一公开实施例中的音频收发电路43,且拾音电路41、扬声电路42通过音频总线(如,I2S)耦接至音频收发电路43。此外,多媒体设备40可以包括多个(如,2个、3个、4个、5个等)拾音电路41;多媒体设备40也可以包括多个(如,2个、3个、4个、5个等)扬声电路42。拾音电路41可以包括但不限于:全指向麦克风、单指向麦克风等,在此不做限定。扬声电路42可以包括但不限于高保真扬声器等,在此不做限定。需要说明的是,多媒体设备40可以包括但不限于:飞机话务设备、会议对话设备等,在此不做限定。
上述方案,多媒体设备40包括拾音电路41、扬声电路42以及上述任一公开实施例中的音频收发电路43,故能够实现所有通道数据同步且对齐,有利于提升语音对话质量。
请参阅图5,图5是本申请音频收发方法一实施例的流程示意图。本公开实施例具体应用于上述任一公开实施例中的音频收发电路,具体可以结合参阅前述公开实施例中相关描述,在此不再赘述。具体而言,本公开实施例可以包括如下步骤:
步骤S51:主控模组通过传输总线同步各个音频收发模块的时钟参数。
在一个实施场景中,在音频收发电路上电之后,即可执行初始化操作,此时,主控模组可以通过主控接口,透过传输总线从其第一配置接口向时钟管理模块发送音频收发模块的时钟参数,时钟管理模块在接收到时钟参数之后,即可将各个音频收发模块进行同步。
在一个具体的实施场景中,时钟参数可以包括但不限于分频系数CLK_DIV等,在此不做限定。以时钟参数包括分频系数为例,根据分频系数CLK_DIV,即可将外部时钟的频率进行分频,并将分频之后的频率作为音频收发模块的时钟频率。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,除了同步时钟参数之外,主控模组还可以基于音频收发任务,通过传输总线配置各个音频收发模块的语音参数,且在音频收发任务为音频收取任务的情况下,语音参数包括第一参数,在音频收发任务为音频发出任务的情况下,语音参数包括第二参数,且第一参数与第二参数不完全相同。上述方式,基于音频收发任务来配置音频收发模块的语音参数,且音频收取任务下的第一参数和音频发出任务下的第二参数不完全相同,故能够根据具体任务自定义地配置语音参数,有利于提升语音参数的准确性和灵活性。
在一个具体的实施场景中,第一参数包括以下至少一者:输入通道选择参数(REG_AUD_IN_CHN_SEL)、输入通道有效个数(VALID_CHN_IN_NUM)、输入数据长度(AUD_IN_DATA_SIZE)、采样频率(SAMPLE_FREQ)等,在此不做限定。需要说明的是,输入通道选择参数表示选择哪几个音频收发模块来拾取音频,输入通道有效个数表示有效拾取音频的音频收发模块的个数,输入数据长度表示一个数据的采样点个数(如,64、256等),采样频率表示音频采样频率(如,16kHz等)。上述方式,通过配置第一参数包括以下至少一者:输入通道选择参数、输入通道有效个数、输入数据长度、采样频率,能够有利于提升音频收发模块的配置灵活性。
在一个具体的实施场景中,第二参数包括以下至少一者:输出通道选择参数(AUD_OUT_CHN_SEL)、输出数据长度(AUD_OUT_DATA_SIZE)、传输总线许可状态(AUD_OUT_XFEN)。需要说明的是,输出数据长度和输出通道选择参数的含义可以分别参考前述输入数据长度和输入通道选择参数的含义,在此不再赘述。此外,传输总线许可状态表示当前传输总线是否处于被许可使用的状态。上述方式,通过配置第二参数包括以下至少一者:输出通道选择参数、输出数据长度、传输总线许可状态,能够有利于提升音频收发模块的配置灵活性。
在一个实施场景中,在初始化之后,主控模组还可以配置拾取到的音频数据是否需先进行降噪处理,若需先进行降噪处理,可以由音频手收发电路的音频降噪模块对拾取到的音频数据进行降噪,具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S52:基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据。
在一个实施场景中,在音频收发任务为音频收取任务的情况下,可以判断在中断接口处是否检测到中断信号,若未检测到,则重新执行上述判断在中断接口处是否检测到中断信号的步骤,直至在中断接口处检测到中断信号为止,反之,若检测到,则可以确定各个音频收发模块均已通过传输总线,将第一音频数据缓存至非易失性存储介质,并通过传输总线从非易失性存储介质取走第一音频数据,以及重新执行判断在中断接口处是否检测到中断信号的步骤以及后续步骤。需要说明的是,第一音频数据是基于音频收发模块的拾取音频经串并转换、数据重组等操作而得到的音频数据,具体可以参阅前述关于音频收发模块的相关描述,在此不再赘述。上述方式,在音频收发任务为音频收取任务的情况下,通过检测中断接口处是否检测到中断信号来确定是否第一音频数据均已经通过传输总线传输至易失性存储介质,有利于提升音频收取的鲁棒性以及有序性,提升音频收取效率。
在一个实施场景中,在音频收发任务为音频发出任务的情况下,可以通过传输总线将第二音频数据缓存至易失性存储介质,并将准备完成字段设置为第一数值,且各个音频收发模块在检测到准备完成字段为第一数值(如,1)的情况下,通过传输总线从易失性存储介质取走并发出第二音频数据,并重置准备完成字段为第二数值(如,0)。需要说明的是,在音频发出过程中,主控模组一旦检测到准备完成字段被重置为第二数值,即可以再次通过传输总线将新的第二音频数据缓存至易失性存储介质,并将准备完成字段重新置为第一数值,以使音频收发模块能够不断从易失性存储介质取走第二音频数据。上述方式,在音频收发任务为音频发出任务的情况下,通过将传输总线将第二音频数据缓存至易失性存储介质,并将准备完成字段设置为第一数值,且各个音频收发模块在检测到准备完成字段为第一数值的情况下,通过传输总线从易失性存储介质取走并发出第二音频数据,并重置准备完成字段为第二数值,有利于提升音频发出的鲁棒性以及有序性,提升音频发出效率。
需要说明的是,在现实场景中,音频收发任务可以为音频收取任务、音频发出任务中任一者,当然,音频收发任务也可以同时包括音频收取任务和音频发出任务,在此不做限定。
上述方案,主控模组通过传输总线同步各个音频收发模块的时钟参数,并基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据,能够实现所有通道数据同步且对齐。
请参阅图6,图6是本申请音频收发装置60一实施例的框架示意图。音频收发装置60集成于前述任一公开实施例中的音频收发电路,具体可以参阅前述公开实施例中相关描述,在此不再赘述。音频收发装置60包括:时钟同步模块61和数据传输模块62,时钟同步模块61,用于驱使主控模组通过传输总线同步各个音频收发模块的时钟参数;数据传输模块62,用于驱使主控模组基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据。
上述方案,主控模组通过传输总线同步各个音频收发模块的时钟参数,并基于音频收发任务,通过传输总线获取各个音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据,能够实现所有通道数据同步且对齐。
在一些公开实施例中,音频收发装置60包括参数配置模块,用于基于音频收发任务,通过传输总线配置各个音频收发模块的语音参数;其中,在音频收发任务为音频收取任务的情况下,语音参数包括第一参数,在音频收发任务为音频发出任务的情况下,语音参数包括第二参数,且第一参数和第二参数不完全相同。
因此,基于音频收发任务来配置音频收发模块的语音参数,且音频收取任务下的第一参数和音频发出任务下的第二参数不完全相同,故能够根据具体任务自定义地配置语音参数,有利于提升语音参数的准确性和灵活性。
在一些公开实施例中,第一参数包括以下至少一者:输入通道选择参数、输入通道有效个数、输入数据长度、采样频率,和/或,第二参数包括以下至少一者:输出通道选择参数、输出数据长度、传输总线许可状态。
因此,通过配置第一参数包括以下至少一者:输入通道选择参数、输入通道有效个数、输入数据长度、采样频率,能够有利于提升音频收发模块的配置灵活性,而通过配置第二参数包括以下至少一者:输出通道选择参数、输出数据长度、传输总线许可状态,能够有利于提升音频收发模块的配置灵活性。
在一些公开实施例中,数据传输模块62包括音频收取子模块,具体用于通过传输总线获取各个音频收发模块收取的第一音频数据,音频收取子模块包括判断单元,用于判断在中断接口处是否检测到中断信号;音频收取子模块包括第一循环单元,用于在未检测到中断信号的情况下,结合判断单元重新执行判断在中断接口处是否检测到中断信号的步骤,音频收取子模块读取单元和第二循环单元,读取单元用于在检测到中断信号的情况下,确定各个音频收发模块均已通过传输总线,将第一音频数据缓存至非易失性存储介质,并通过传输总线从非易失性存储介质取走第一音频数据,第二循环单元用于结合判断单元、第一循环单元、读取单元重新执行判断在中断接口处是否检测到中断信号的步骤以及后续步骤。
因此,在音频收发任务为音频收取任务的情况下,通过检测中断接口处是否检测到中断信号来确定是否第一音频数据均已经通过传输总线传输至易失性存储介质,有利于提升音频收取的鲁棒性以及有序性,提升音频收取效率。
在一些公开实施例中,数据传输模块62包括音频发出子模块,具体用于准备第二音频数据,由各个音频收发模块通过传输总线取走并发出第二音频数据,音频发出子模块包括缓存单元,用于通过传输总线将第二音频数据缓存至易失性存储介质;音频发出子模块包括设置单元,用于将准备完成字段设置为第一数值;其中,各个音频收发模块在检测到准备完成字段为第一数值的情况下,通过传输总线从易失性存储介质取走并发出第二音频数据,并重置准备完成字段为第二数值。
因此,在音频收发任务为音频发出任务的情况下,通过将传输总线将第二音频数据缓存至易失性存储介质,并将准备完成字段设置为第一数值,且各个音频收发模块在检测到准备完成字段为第一数值的情况下,通过传输总线从易失性存储介质取走并发出第二音频数据,并重置准备完成字段为第二数值,有利于提升音频发出的鲁棒性以及有序性,提升音频发出效率。
请参阅图7,图7是本申请计算机可读存储介质70一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令71,程序指令71用于实现上述任一音频收发方法实施例中的步骤。
上述方案,一方面通过传输总线的主控接口和数据接口,能够有利于实现多个音频收发模块统一的数据收发调度,另一方面通过传输总线的主控接口和第一配置接口,能够同步各个音频收发模块的时钟参数,故能够实现所有通道数据同步且对齐。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (18)

1.一种音频收发电路,其特征在于,包括:
数据收发模组,包括时钟管理模块和并行设置的多个音频收发模块,所述音频收发模块用于通过音频总线耦接至拾音电路和/或扬声电路,且所述时钟管理模块的输出端连接至各个所述音频收发模块,以同步各个所述音频收发模块的时钟参数;
传输总线,包括主控接口、数据接口和第一配置接口,所述多个音频收发模块均耦接至所述数据接口,且所述时钟管理模块的配置端连接至所述第一配置接口;
主控模组,连接至所述主控接口,以通过所述主控接口实现与所述数据收发模组之间的数据互通。
2.根据权利要求1所述的电路,其特征在于,所述传输总线还包括第二配置接口,所述数据收发模组还包括信号分路模块,所述信号分路模块包括信号汇集端和多个信号分路端,所述信号汇集端与所述第二配置接口连接,所述多个信号分路端分别连接至不同所述音频收发模块,以配置各个所述音频收发模块的语音参数。
3.根据权利要求1所述的电路,其特征在于,所述数据收发模组还包括数据调度模块,所述数据调度模块包括数据汇集端和多个数据分路端,所述数据汇集端与所述数据接口连接,所述多个数据分路端分别连接至不同所述音频收发模块,以调度各个所述音频收发模块的数据收发操作。
4.根据权利要求1所述的电路,其特征在于,所述数据接口还耦接至所述主控模组的中断接口,所述多个音频收发模块均完成数据传输之后,所述数据接口处产生中断信号,以通过所述中断接口通知所述主控模组执行数据处理操作。
5.根据权利要求1所述的电路,其特征在于,所述音频收发模块包括:
时钟产生单元,包括时钟输入端和时钟输出端,所述时钟输入端与所述时钟管理模块的输出端连接;
串并转换单元,包括第一输入端、第一输出端和第一时钟配置端,所述第一输入端用于耦接至所述拾音电路,所述第一输出端耦接至所述数据接口,且所述第一时钟配置端与所述时钟输出端连接;
并串转换单元,包括第二输入端、第二输出端和第二时钟配置端,所述第二输出端用于耦接至所述扬声电路,所述第二输入端耦接至所述数据接口,且所述第二时钟配置端与所述时钟输出端连接。
6.根据权利要求1所述的电路,其特征在于,所述时钟管理模块还包括输入端,用于与外部晶振连接。
7.根据权利要求1所述的电路,其特征在于,所述数据收发模组为IP核。
8.根据权利要求1所述的电路,其特征在于,所述音频收发电路还包括易失性存储介质,所述易失性存储介质与所述传输总线连接;
其中,所述音频收发模块在收取第一音频数据时,通过所述数据接口将所述第一音频数据缓存于所述易失性存储介质,所述主控模组从所述易失性存储介质取走所述第一音频数据,和/或,所述主控模组在发出第二音频数据时,通过所述主控接口将所述第二音频数据缓存于所述易失性存储介质,所述音频收发模块通过所述数据接口从所述易失性存储介质取走并发出所述第二音频数据。
9.根据权利要求8所述的电路,其特征在于,各个所述音频收发模块分别设有不同序位,且在所述易失性存储介质中分别对应有存储地址,所述存储地址是基于基地址、地址偏移以及所述音频收发模块的序位所确定的,所述地址偏移与所述音频收发模块所配置的语音参数相关。
10.根据权利要求1至9任一项所述的电路,其特征在于,所述音频收发电路由可编程化***单芯片实现,且所述数据收发模组由所述可编程化***单芯片的可编程逻辑部分实现,所述主控模组由所述可编程化***单芯片的处理***部分实现,所述传输总线由所述可编程化***单芯片的片内总线实现。
11.一种多媒体设备,其特征在于,包括:拾音电路、扬声电路和如权利要求1至10任一项所述的音频收发电路;
其中,所述拾音电路、所述扬声电路通过音频总线耦接至所述音频收发电路。
12.一种音频收发方法,其特征在于,所述音频收发方法应用于权利要求1至10任一项所述的音频收发电路,所述音频收发方法包括:
主控模组通过传输总线同步各个音频收发模块的时钟参数;
基于音频收发任务,通过所述传输总线获取各个所述音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个所述音频收发模块通过所述传输总线取走并发出所述第二音频数据。
13.根据权利要求12所述的方法,其特征在于,在所述基于音频收发任务,通过所述传输总线获取各个所述音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个所述音频收发模块通过所述传输总线取走并发出所述第二音频数据之前,所述方法还包括:
基于所述音频收发任务,通过所述传输总线配置各个所述音频收发模块的语音参数;
其中,在所述音频收发任务为音频收取任务的情况下,所述语音参数包括第一参数,在所述音频收发任务为音频发出任务的情况下,所述语音参数包括第二参数,且所述第一参数和所述第二参数不完全相同。
14.根据权利要求13所述的方法,其特征在于,所述第一参数包括以下至少一者:输入通道选择参数、输入通道有效个数、输入数据长度、采样频率,
和/或,所述第二参数包括以下至少一者:输出通道选择参数、输出数据长度、传输总线许可状态。
15.根据权利要求12所述的方法,其特征在于,所述通过所述传输总线获取各个所述音频收发模块收取的第一音频数据,包括:
判断在中断接口处是否检测到中断信号;
若未检测到,则重新执行所述判断在中断接口处是否检测到中断信号的步骤;
若检测到,则确定各个所述音频收发模块均已通过所述传输总线,将所述第一音频数据缓存至非易失性存储介质,并通过所述传输总线从所述非易失性存储介质取走所述第一音频数据,以及重新执行所述判断在中断接口处是否检测到中断信号的步骤以及后续步骤。
16.根据权利要求12所述的方法,其特征在于,所述准备第二音频数据,包括:
通过所述传输总线将所述第二音频数据缓存至易失性存储介质;
所述由各个所述音频收发模块通过所述传输总线取走并发出所述第二音频数据,包括:
将准备完成字段设置为第一数值;其中,各个音频收发模块在检测到所述准备完成字段为第一数值的情况下,通过所述传输总线从所述易失性存储介质取走并发出所述第二音频数据,并重置所述准备完成字段为第二数值。
17.一种音频收发装置,其特征在于,所述音频收发装置集成于权利要求1至10任一项所述的音频收发电路,所述音频收发装置包括:
时钟同步模块,用于驱使主控模组通过传输总线同步各个音频收发模块的时钟参数;
数据传输模块,用于驱使主控模组基于音频收发任务,通过所述传输总线获取各个所述音频收发模块收取的第一音频数据,和/或,准备第二音频数据,由各个所述音频收发模块通过所述传输总线取走并发出所述第二音频数据。
18.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求12至16任一项所述的音频收发方法。
CN202111509366.8A 2021-12-10 2021-12-10 音频收发电路及相关设备、方法、装置和存储介质 Active CN114204957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111509366.8A CN114204957B (zh) 2021-12-10 2021-12-10 音频收发电路及相关设备、方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111509366.8A CN114204957B (zh) 2021-12-10 2021-12-10 音频收发电路及相关设备、方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN114204957A true CN114204957A (zh) 2022-03-18
CN114204957B CN114204957B (zh) 2024-05-31

Family

ID=80652317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111509366.8A Active CN114204957B (zh) 2021-12-10 2021-12-10 音频收发电路及相关设备、方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114204957B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201084135Y (zh) * 2007-08-17 2008-07-09 合肥讯飞数码科技有限公司 一种用于远距离多通道人机交互的装置
CN101695023A (zh) * 2009-10-19 2010-04-14 南京莱斯信息技术股份有限公司 并联扩展式多路音频交换混合***
CN104125534A (zh) * 2013-07-18 2014-10-29 中国传媒大学 一种多声道音频同步录制及播出方法以及相应的***
US20160329051A1 (en) * 2015-05-06 2016-11-10 Blackfire Research Corporation Multiple microphones for synchronized voice interaction
CN106936847A (zh) * 2017-04-11 2017-07-07 深圳市米尔声学科技发展有限公司 音频数据的处理方法及处理器
CN108228528A (zh) * 2017-12-28 2018-06-29 苏州联视泰电子信息技术有限公司 一种基于fpga的小型化数模转换装置及应用
CN108322706A (zh) * 2018-02-08 2018-07-24 广州波视信息科技股份有限公司 一种高清信号处理装置及其方法应用
KR101894901B1 (ko) * 2018-03-05 2018-10-24 주식회사 에이디엠 실시간 네트워크 오디오 전송 시스템이 적용된 장치
CN208402071U (zh) * 2018-05-28 2019-01-18 Oppo广东移动通信有限公司 音频播放装置、耳机及音频播放***
CN110572343A (zh) * 2019-07-25 2019-12-13 西安电子科技大学 多路分集信号的收发控制方法
CN111327869A (zh) * 2020-03-27 2020-06-23 随锐科技集团股份有限公司 视频会议***
US10743107B1 (en) * 2019-04-30 2020-08-11 Microsoft Technology Licensing, Llc Synchronization of audio signals from distributed devices
US20210034096A1 (en) * 2019-03-14 2021-02-04 Bestechnic (Shanghai) Co., Ltd. Systems and methods for clock synchronization in transmission of audio information
CN113014348A (zh) * 2021-02-24 2021-06-22 阿里巴巴集团控股有限公司 分布式音频传输***、音频主控电路及音频控制设备
CN113055312A (zh) * 2019-12-26 2021-06-29 浙江蓝鸽科技有限公司 基于同步以太网的多路音频拾音方法和***
CN214381356U (zh) * 2020-12-25 2021-10-08 科大讯飞股份有限公司 一种拾音设备
CN215072948U (zh) * 2021-03-03 2021-12-07 珠海欧比特宇航科技股份有限公司 音频传输电路

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201084135Y (zh) * 2007-08-17 2008-07-09 合肥讯飞数码科技有限公司 一种用于远距离多通道人机交互的装置
CN101695023A (zh) * 2009-10-19 2010-04-14 南京莱斯信息技术股份有限公司 并联扩展式多路音频交换混合***
CN104125534A (zh) * 2013-07-18 2014-10-29 中国传媒大学 一种多声道音频同步录制及播出方法以及相应的***
US20160329051A1 (en) * 2015-05-06 2016-11-10 Blackfire Research Corporation Multiple microphones for synchronized voice interaction
CN106936847A (zh) * 2017-04-11 2017-07-07 深圳市米尔声学科技发展有限公司 音频数据的处理方法及处理器
CN108228528A (zh) * 2017-12-28 2018-06-29 苏州联视泰电子信息技术有限公司 一种基于fpga的小型化数模转换装置及应用
CN108322706A (zh) * 2018-02-08 2018-07-24 广州波视信息科技股份有限公司 一种高清信号处理装置及其方法应用
KR101894901B1 (ko) * 2018-03-05 2018-10-24 주식회사 에이디엠 실시간 네트워크 오디오 전송 시스템이 적용된 장치
CN208402071U (zh) * 2018-05-28 2019-01-18 Oppo广东移动通信有限公司 音频播放装置、耳机及音频播放***
US20210034096A1 (en) * 2019-03-14 2021-02-04 Bestechnic (Shanghai) Co., Ltd. Systems and methods for clock synchronization in transmission of audio information
US10743107B1 (en) * 2019-04-30 2020-08-11 Microsoft Technology Licensing, Llc Synchronization of audio signals from distributed devices
CN110572343A (zh) * 2019-07-25 2019-12-13 西安电子科技大学 多路分集信号的收发控制方法
CN113055312A (zh) * 2019-12-26 2021-06-29 浙江蓝鸽科技有限公司 基于同步以太网的多路音频拾音方法和***
CN111327869A (zh) * 2020-03-27 2020-06-23 随锐科技集团股份有限公司 视频会议***
CN214381356U (zh) * 2020-12-25 2021-10-08 科大讯飞股份有限公司 一种拾音设备
CN113014348A (zh) * 2021-02-24 2021-06-22 阿里巴巴集团控股有限公司 分布式音频传输***、音频主控电路及音频控制设备
CN215072948U (zh) * 2021-03-03 2021-12-07 珠海欧比特宇航科技股份有限公司 音频传输电路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z. YI-FAN AND L. QI-BIN: "Design of AES/EBU Audio Transceiver System Based on FPGA", 2020 5TH INTERNATIONAL CONFERENCE ON COMMUNICATION, IMAGE AND SIGNAL PROCESSING (CCISP), 3 December 2020 (2020-12-03), pages 130 - 134 *
吴礼福, 吕长明, 陈晶晶: "一种多通道低时延同步音频信号采集分析***", 《现代电子技术》, vol. 44, no. 19, 1 October 2021 (2021-10-01), pages 43 - 48 *

Also Published As

Publication number Publication date
CN114204957B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
EP3267437B1 (en) Interactive peripheral device for television karaoke.
US20200351584A1 (en) Audio device, audio system, and audio processing method
US20190237070A1 (en) Voice interaction method, device, apparatus and server
CN110300318B (zh) 一种usb端子接口电路及usb端子接口电路控制方法
US20190005974A1 (en) Alignment of bi-directional multi-stream multi-rate i2s audio transmitted between integrated circuits
CN109660933A (zh) 一种同时传输多路模拟音频的装置
CN110888619B (zh) 数字音频功放同步电路及方法、电子设备
WO2020082710A1 (zh) 一种蓝牙音箱语音交互控制方法、装置及***
CN112306932B (zh) 一种接口协议复用的方法及芯片
CN114204957B (zh) 音频收发电路及相关设备、方法、装置和存储介质
KR101402869B1 (ko) 중앙 오디오 허브에서 오디오 신호들을 처리하기 위한 방법 및 시스템
US10291759B2 (en) Data return type voice input/output device for smart phone
WO2024007974A1 (zh) 一种时钟同步的方法和电子设备
CN116015333B (zh) 射频前端芯片、串行通信方法、设备及存储介质
CN113539286B (zh) 音频装置、音频***和音频处理方法
WO2022042327A1 (zh) 音频驱动马达的通路配置方法及设备
CN109788139A (zh) 具有直播功能的手机
CN215072948U (zh) 音频传输电路
US11789884B2 (en) Bus system and method for operating a bus system
WO2021004067A1 (zh) 一种显示装置
CN104954942A (zh) 用于回音消除的信号输入装置和方法
EP2075707A2 (en) Method for transmitting audio streams and audio stream transmitting system thereof
CN113286182A (zh) 消除tv与拾音外设之间回音的方法和***
CN105389156A (zh) 一种基于dma技术降低声音输入至输出延迟的方法和***
EP2725665A1 (en) Audio signal receiver device, audio signal transmission system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant