CN113169915B - 无线音频***、音频通讯方法及设备 - Google Patents
无线音频***、音频通讯方法及设备 Download PDFInfo
- Publication number
- CN113169915B CN113169915B CN201880099860.1A CN201880099860A CN113169915B CN 113169915 B CN113169915 B CN 113169915B CN 201880099860 A CN201880099860 A CN 201880099860A CN 113169915 B CN113169915 B CN 113169915B
- Authority
- CN
- China
- Prior art keywords
- audio
- service
- module
- content control
- isochronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
本申请涉及无线音频***、音频通讯方法及设备,以音频业务为粒度为各个音频业务确定等时数据传输通道的参数。第一音频设备(如手机、媒体播放器)和第二音频设备(如耳机)之间可以以音频业务为粒度进行参数协商,如QoS参数的协商、codec参数的协商、ISO参数的协商,然后基于协商好的参数创建等时数据传输通道。无论是哪种音频业务场景,流数据都会通过LE ISO链路传输,业务场景的切换不涉及传输框架的切换,效率更高。
Description
技术领域
本申请涉及无线技术领域,尤其涉及无线音频***、音频通讯方法及设备。
背景技术
蓝牙(Bluetooth)无线技术是意图替代便携式和/或固定式电子设备之间的线缆连接的一种短距离通信***。蓝牙无线通信技术的关键特点是稳定、低功耗以及低成本。其核心规范的许多特征是可选的,支持产品差异化。
蓝牙无线技术具有两种形式的***:基础速率(basic rate,BR)和低功耗(lowenergy,LE)。这两种形式的***都包括设备发现(device discovery)、连接建立(connection establishment)和连接机制。基础速率BR可以包括可选(optional)的增强数据速率(enhanced data rate,EDR),以及交替的媒体接入控制层和物理层扩展(alternatemedia access control and physical layer extensions,AMP)。低功耗LE***包括一些特性,这些特性被设计用来实现要求比BR/EDR更低电量消耗、更低复杂度以及更低成本的产品。
实现了BR和LE这两种***的设备可以和其他同样实现了这两种***的设备进行通信。一些profile和用例(use case)只被其中一种***所支持。因此,实现了这两种***的设备具有支持更多用例的能力。
profile是蓝牙协议的特有概念。为了实现不同平台下的不同设备的互联互通,蓝牙协议不止规定了核心规范(称作Bluetooth core),也为各种不同的应用场景定义了各种应用层(application)规范,这些应用层规范称作蓝牙profile。为了实现不同平台下的不同设备的互联互通,蓝牙协议为各种可能的、有通用意义的应用场景,都制定的了应用层规范(profile),如蓝牙立体声音频传输规范(advance audio distribution profile,A2DP)、音频/视频远程控制规范(audio video remote control profile,AVRCP)、基本图像规范(basic imaging profile,BIP)、免手持设备规范(hands-free profile,HFP)、人机界面规范(human interface device profile,HIDprofile)、蓝牙耳机规范(headsetprofile,HSP)、串行端口规范(serial port profile,SPP)、文件传输规范(filetransport profile,FTP)、个人局域网协议(personal area networking profile,PANprofile)等等。
但是,现有的蓝牙协议为不同的profile定义了不同的协议框架,彼此之间相互独立,无法兼容。
发明内容
本申请提供了一种无线音频***、音频通讯方法及设备,可以解决基于现有蓝牙协议的兼容性差的问题。
第一方面,本申请提供了一种音频通讯方法,应用于音频源侧,该方法可包括:音频源(如手机、媒体播放器)和音频接收方(如耳机)之间建立ACL链路。针对特定第一音频业务,音频源可以通过ACL链路和音频接收方进行参数协商。基于协商所确定的第一参数,音频源和音频接收方之间可以建立等时数据传输通道。该等时数据传输通道可用于传输第一音频业务的流数据(即音频数据)。其中,音频源和音频接收方之间建立有低功耗蓝牙连接。
第二方面,本申请提供了一种音频通讯方法,应用于音频接收方侧,该方法可包括:音频接收方和音频源建立低功耗蓝牙无连接的异步LE ACL链路。音频接收方通过LEACL链路和音频源为第一音频业务执行参数协商,参数协商所协商的第一参数对应第一音频业务。音频接收方可以基于第一参数和音频源创建第一音频业务对应的LE等时数据传输通道。第一音频业务对应的LE等时数据传输通道用于音频接收方接收音频源发送的第一音频业务的音频数据。其中,音频源和音频接收方之间建立有低功耗蓝牙连接。
本申请中,音频业务可以是指能够提供音频功能(如音频播放、音频录制等)的服务(service)或应用(application)。音频业务会涉及音频相关的数据传输业务,例如音频数据本身、用于控制音频数据播放的内容控制消息、用于创建等时数据传输通道的流控制消息等的传输。
实施第一方面和第二方面提供的方法,可以以音频业务为粒度进行参数协商及等时数据传输通道的建立,各个音频业务的流控制消息和内容控制消息都通过LEACL链路传输,流数据通过LE ISO链路传输,统一了各个业务的传输框架。而不是以profile为粒度来为不同profile应用适配不同的传输框架。可以看出,本申请提供的音频通讯方法可以适用更多音频业务,兼容性更好。
结合第一方面或第二方面,在一些实施例中,ACL链路可用于承载流控制消息,如参数协商、参数配置、等时传输通道建立所涉及的流控制消息。ACL链路还可用于承载内容控制消息,如通话控制(如接听、挂断等)消息、播放控制(如上一首、下一首等)消息、音量控制(如增大音量、减小音量)消息等。
结合第一方面或第二方面,在一些实施例中,音频源可以生成第一音频业务的内容控制消息,并可以通过LE ACL链路向音频接收方发送第一音频业务的内容控制消息。
相应的,音频接收方可以通过LE ACL链路接收音频源发送的第一音频业务的内容控制消息,并可以根据内容控制消息对第一音频业务进行内容控制,内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
其中,内容控制消息用于音频接收方对第一音频业务进行内容控制,内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
可选的,音频源可以接收用户输入(如用户按下音频源上的电话挂断按钮),然后根据该用户输入生成第一音频业务的内容控制消息。
结合第一方面或第二方面,在一些实施例中,音频接收方可以生成第一音频业务的内容控制消息,并可以通过LE ACL链路向音频源发送第一音频业务的内容控制消息。
相应的,音频源可以通过LE ACL链路接收音频接收方发送的第一音频业务的内容控制消息,并可以根据内容控制消息对第一音频业务进行内容控制,内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
其中,内容控制消息用于音频接收方对第一音频业务进行内容控制,内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
可选的,音频接收方可以接收用户输入(如用户按下音频接收方上的电话挂断按钮),然后根据该用户输入生成第一音频业务的内容控制消息。
结合第一方面或第二方面,在一些实施例中,音频源可以生成第一音频业务的音频数据,并可以通过第一音频业务对应的LE等时数据传输通道向音频接收方发送第一音频业务的音频数据。
相应的,音频接收方可以通过第一音频业务对应的LE等时数据传输通道接收音频源发送第一音频业务的音频数据。可选的,音频接收方可以将第一音频业务的音频数据转换成声音。可选的,音频接收方可以存储第一音频业务的音频数据。
结合第一方面或第二方面,在一些实施例中,第一参数可以包括以下一项或多项:QoS参数、codec参数、ISO参数等。
其中,QoS参数可包括时延、丢包率、吞吐量等表示传输质量的参数。Codec参数可包括编码方式、压缩率等影响音频质量的参数。ISO参数可包括CIS的ID、CIS数量、master到slave传输的最大数据大小、slave到master传输的最大数据大小、master到slave的数据包在链路层传输最长时间间隔、slave到master的数据包在链路层传输最长时间间隔等等。
结合第一方面或第二方面,在一些实施例中,第一参数可以是根据第一音频业务从数据库中查询得到的,该数据库中可存储有多种音频业务各自对应的参数。
可选的,在数据库中,音频业务对应的参数可以是综合考虑该音频业务所涉及的各种音频切换情况或混音情况而设计的。该参数可适用该业务所涉及的这些情况。例如,游戏业务下可能出现游戏背景声音和麦克说话声音发生切换或叠加的情况(游戏时打开麦克说话)。游戏背景声音和麦克说话声音的codec参数、QoS参数可能不同。针对游戏业务,可设计适用这种情况的参数,这样当用户在游戏时打开麦克说话,也不会影响听觉体验。
结合第一方面或第二方面,在一些实施例中,内容控制消息可以包括以下一项或多项:音量控制(如增大音量、减小音量等)消息、播放控制(如上一首、下一首等)消息、通话控制(接听、挂断)消息。
结合第一方面或第二方面,在一些实施例中,当音频业务场景发生切换时,以从音乐业务切换到电话业务(听音乐时接听电话)为例,音频源和音频接收方之间可以重新进行参数协商,协商确定新音频业务(如电话业务)对应的新参数,然后基于新参数创建新的等时数据传输通道。该新的等时数据传输通道可用于传输该新音频业务(如电话业务)的流数据。各种业务的等时数据传输通道都是基于LE。这样,业务场景的切换不涉及传输框架的切换,效率更高,不会出现明显的停顿。
可选的,当音频业务场景发生切换时,也可以利用新音频业务(如电话业务)对应的新参数重新配置旧音频业务(如音乐业务)对应的等时数据传输通道,而不需要基于新参数重新创建新的等时数据传输通道。这样,可以进一步提高效率。
结合第一方面或第二方面,在一些实施例中,等时数据传输通道的创建时间可以包括如下几种选择:
在一种选择中,可以在音频业务到来时创建等时数据传输通道。例如,当用户打开游戏应用程序时(游戏背景声同时开始播放),手机的应用层会向Host发送游戏背景声业务创建通知,根据该通知手机会向蓝牙耳机发起等时数据传输通道的创建流程。
在另一种选择中,可以先建立一个默认的等时数据传输通道,该默认的等时数据传输通道可以基于默认CIG参数创建。这样当音频业务到来时可以直接使用该默认的等时数据传输通道承载流数据,响应速度更快。
在再一种选择中,可以先建立多个虚拟等时数据传输通道,这多个虚拟等时数据传输通道可以对应多套不同的CIG参数,可适用多种音频业务。虚拟等时数据传输通道是指空口不发生数据交互的等时数据传输通道。这样,当音频业务到来时,可以选择该音频业务对应的虚拟等时数据传输通道,第一音频设备和第二音频设备之间触发握手并开始通信。
第三方面,提供了一种音频设备,包括多个功能单元,用于相应的执行第一方面可能的实施方式中的任意一种所提供的方法。
第四方面,提供了一种音频设备,包括多个功能单元,用于相应的执行第二方面可能的实施方式中的任意一种所提供的方法。
第五方面,提供了一种音频设备,用于执行第一方面描述的音频通讯方法。网络设备可包括:存储器以及与存储器耦合的处理器、发射器和接收器,其中:发射器用于与向另一无线通信设备发送信号,接收器用于接收另一无线通信设备发送的信号,存储器用于存储第一方面描述的音频通讯方法的实现代码,处理器用于执行存储器中存储的程序代码,即执行第一方面可能的实施方式中的任意一种所描述的音频通讯方法。
第六方面,提供了一种音频设备,用于执行第二方面描述的音频通讯方法。终端可包括:存储器以及与存储器耦合的处理器、发射器和接收器,其中:发射器用于与向另一无线通信设备发送信号,接收器用于接收另一无线通信设备发送的信号,存储器用于存储第二方面描述的音频通讯方法的实现代码,处理器用于执行存储器中存储的程序代码,即执行第二方面可能的实施方式中的任意一种所描述的音频通讯方法。
第七方面,提供了一种芯片组,芯片组可包括:第一芯片和第二芯片。第一芯片和第二芯片之间通过接口HCI通信。其中,第一芯片可包括以下模块:多媒体音频模块、话音模块、背景声模块、内容控制模块、流控制模块、流数据模块以及L2CAP模块。第二芯片可包括:LE物理层模块、LE链路层模块。
在第二芯片中:LE物理层模块,可用于提供数据传输的物理通道(通常称为信道)。通常情况下,一个通信***中存在几种不同类型的信道,如控制信道、数据信道、语音信道等等。LE链路层模块,可用于在物理层的基础上提供两个或多个设备之间、和物理无关的逻辑传输通道(也称作逻辑链路)。LE链路层模块可用于控制设备的射频状态,设备将处于五种状态之一:等待、广告、扫描、初始化、连接。广播设备不需要建立连接就可以发送数据,而扫描设备接收广播设备发送的数据;发起连接的设备通过发送连接请求来回应广播设备,如果广播设备接受连接请求,那么广播设备与发起连接的设备将会进入连接状态。发起连接的设备称为主设备(master),接受连接请求的设备称为从设备(slave)。LE链路层模块可包括LEACL模块和LE等时(ISO)模块。LEACL模块可用于通过LEACL链路传输设备间的控制消息,如流控制消息、内容控制消息、音量控制消息。LE ISO模块可用于通过等时数据传输通道传输设备间的等时数据(如流数据本身)。
在第一芯片中:L2CAP模块,可用于管理逻辑层提供的逻辑链路。基于L2CAP,不同的上层应用可共享同一个逻辑链路。类似TCP/IP中端口(port)的概念。
多媒体音频模块、话音模块、背景声模块可以是依据业务场景设置的模块,可用于将应用层的音频应用划分为多媒体音频、话音、背景声等几种音频业务。不限于多媒体音频、话音、背景声等,音频业务也可以分为:话音,音乐,游戏,视频,语音助手,邮件提示音,告警,提示音,导航音等。内容控制模块可负责封装各种音频业务的内容控制(如上一首、下一首等)消息,并向LE ACL模块411输出音频业务的内容控制消息,以通过LE ACL模块411传输封装后的内容控制消息。流控制模块可用于为特定音频业务进行参数协商,如QoS参数的协商,编码(Codec)参数的协商,ISO参数的协商,以及基于协商好的参数为该特定业务创建等时数据传输通道。为该特定业务创建等时数据传输通道可用于传输该特定音频业务的音频数据。本申请中,该特定音频业务可以称为第一音频业务,该协商好的参数可以称为第一参数。流数据模块可可用于向LE等时(ISO)模块输出音频业务的音频数据,以通过等时数据传输通道传输音频数据。等时数据传输通道可以是CIS。CIS可用于在连接状态的设备间传输等时数据。等时数据传输通道最终承载于LE ISO。
第八方面,提供了一种芯片,芯片可包括第七方面描述的第一芯片中的模块以及第二芯片中的模块。关于各个模块的说明,可参考第七方面,这里不再赘述。
第九方面,提供了一种通信***,通信***包括:第一音频设备和第二音频设备,其中:第一音频设备可以是第三方面或第五方面描述的音频设备。第二音频设备可以是第四方面或第六方面描述的音频设备。
第十方面,提供了一种通信***,通信***包括:第一音频设备、第二音频设备和第三音频设备,其中:第一音频设备可以是第三方面或第五方面描述的音频设备。第二音频设备、第三音频设备均可以是第四方面或第六方面描述的音频设备。
第十一方面,提供了一种计算机可读存储介质,可读存储介质上存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面描述的音频通讯方法。
第十二方面,提供了另一种计算机可读存储介质,可读存储介质上存储有指令,当其在计算机上运行时,使得计算机执行上述第二方面描述的音频通讯方法。
第十三方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面描述的音频通讯方法。
第十四方面,提供了另一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面描述的音频通讯方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请提供的一种无线音频***的架构示意图;
图2A是现有的释BR/EDR蓝牙的协议框架示意图;
图2B-图2D是现有的几种音频profile的协议栈示意图;
图3是本申请提供的基于BLE的音频协议框架示意图;
图4是本申请提供的音频业务的几种数据类型的示意图;
图5是扩展后的BLE传输框架示意图;
图6是本申请提供的音频通讯方法的总体流程示意图;
图7是本申请的提供的创建等时数据传输通道的流程示意图;
图8是本申请提供的左右耳机一起使用的场景下的音频通讯方法的流程示意图;
图9是本申请提供的BLE连接创建过程的流程示意图;
图10A是本申请的一个实施例提供的电子设备的硬件架构示意图;
图10B是图10A所示的电子设备上实现的软体架构示意图;
图11是本申请的一个实施例提供的音频输出设备的硬件架构示意图;
图12是本申请的提供一种芯片组的架构示意图;
图13是本申请的一种芯片的架构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
图1示出了本申请提供的无线音频***100。如图1所示,无线音频***100可包括第一音频设备101、第二音频设备102和第三音频设备103。其中,第一音频设备101可以实现为以下任意一种电子设备:手机、便携式游戏机、便携式媒体播放设备、个人电脑、车载媒体播放设备等等。第二音频设备102和第三音频设备103可以被配置为任意类型的用于将音频数据转换成声音的电声转换器(electro-acoustic transducer),例如扬声器、入耳式耳机、头戴式耳机等等。不限于图1所示,第一音频设备101、第二音频设备102和第三音频设备103的物理形态、尺寸还可以不同,本申请对此不做限定。
第一音频设备101、第二音频设备102和第三音频设备103均可以配置有无线收发器,无线收发器可用于发射和接收无线信号。
第二音频设备102和第三音频设备103之间没有线缆连接。二者可以通过无线通信连接106而不是有线通信连接,进行通信。
第一音频设备101可以和第二音频设备102之间建立无线通信连接104。
在第一音频设备101至第二音频设备102的传输方向上,第一音频设备101可以通过无线通信连接104向第二音频设备102发送音频数据。此时,第一音频设备101的角色是音频源(audiosource),第二音频设备102的角色是音频接收方(audio sink)。这样第二音频设备102可以将接收到的音频数据转换成声音,使得佩戴第二音频设备102的用户可以听到该声音。
在第二音频设备102至第一音频设备101的传输方向上,在第二音频设备102配置有受话器/麦克风等声音采集器件的情况下,第二音频设备102可以将采集的声音转换成音频数据,并通过无线通信连接104向第一音频设备101发送音频数据。此时,第二音频设备102的角色是音频源(audiosource),第一音频设备101的角色是音频接收方(audio sink)。这样第一音频设备101可以对接收到的音频数据进行处理,如向其他电子设备发送该音频数据(语音通话场景下)、存储该音频数据(录音场景下)。
除了音频数据,第一音频设备101和第二音频设备102之间还可以基于无线通信连接104交互播放控制(如上一首、下一首等)消息、通话控制(如接听、挂断)消息、音量控制消息(如音量增大、音量减小)等。具体的,第一音频设备101可以通过无线通信连接104向第二音频设备102发送播放控制消息、通话控制消息,可实现在第一音频设备101侧进行播放控制、通话控制。具体的,第二音频设备102可以通过无线通信连接104向第一音频设备101发送播放控制消息、通话控制消息,可实现在第二音频设备102侧进行播放控制、通话控制。
同样的,第一音频设备101和第三音频设备103之间可以建立无线通信连接105,并可以通过无线通信连接105交互音频数据、播放控制消息、通话控制消息等。
第一音频设备101可以同时传输音频数据到第二音频设备102、第三音频设备103。为了确保听觉体验的整体性,第一音频设备101传输音频数据到第二音频设备102、第三音频设备103的音频数据、控制消息都需要实现点到多点的同步传输。第二音频设备102和第三音频设备103的同步与否对用户听觉体验的整体性有至关重要的影响。当第二音频设备102和第三音频设备103分别实现为左耳机、右耳机时,如果左右耳的信号失去大约30微秒的同步,就会令人不安,用户就会感觉到声音混乱。
图1所示的无线音频***100可以是基于蓝牙协议实现的无线音频***。即设备与设备之间的无线通信连接(无线通信连接104、无线通信连接105、无线通信连接106)可以采用蓝牙通信连接。为了支持音频应用,现有的BR蓝牙协议提供了一些profile,如A2DP、AVRCP、HFP。
但是,现有的蓝牙协议存在一些问题。下面进行说明。
现有的蓝牙协议为不同的profile定义了不同的协议框架,彼此之间相互独立,无法兼容。
图2A示例性示出了现有的BR/EDR蓝牙协议框架。如图2A所示,现有的BR/EDR蓝牙协议框架可包括多个profile。为了简化示意,图2A中仅示出了一些音频应用的profile:A2DP、AVRCP、HFP。不限于此,现有的BR/EDR蓝牙协议框架还可包括其他profile,如SPP、FTP等。
其中,A2DP规定了使用蓝牙非同步传输信道方式,传输高质量音频的协议栈及使用方法。例如可以使用立体声蓝牙耳机来收听来自音乐播放器的音乐。AVRCP是指遥控功能,一般可支持暂停(pause),停止(stop),重播(replay),音量控制等远程控制操作。例如,可以使用蓝牙耳机执行暂停,切换下一曲等操作来控制音乐播放器播放音乐。FHP为话音应用,提供免提通话功能。
图2B-图2C分别示出了A2DP、HFP的协议栈。其中:
A2DP协议栈包括的协议和实体
音频源(audio source)是数字音频流的源,该数字音频流被传输至匹克网(piconet)中的音频接收方(audio sink)。音频接收方(audio sink)是接收来自同一个piconet中的音频源(audio source)的数字音频流的接收方。在音乐播放场景下,典型的用作音频源的设备可以是媒体播放设备,如MP3,典型的用作音频接方的设备可以是耳机。在录音场景下,典型的用作音频源的设备可以是声音采集设备,如麦克风,典型的用作音频接方的设备可以是便携式录音机。
基带(Baseband)、链路管理协议(link management protocol,LMP)、逻辑链路控制和适配协议(logical link control and adaptation protocol,L2CAP)和服务发现协议(service discovery protocol,SDP)是在蓝牙核心规范中定义的蓝牙协议。音视频数据传输协议(audio video data transport protocol,AVDTP)包括用于协商流参数(streaming parameter)的信令实体和用于控制流本身的传输实体。应用(Application)层是其中定义有应用服务和传输服务参数的实体,该实体也用于将音频流数据适配成已定义的包格式或将已定义的包格式适配成音频流数据。
AVRCP协议栈包括的协议和实体
控制方(controller)是通过发送命令帧到目标设备而发起交易的设备。典型的控制方可以是个人电脑、手机、远程遥控器等。目标方(target)是接收命令帧并相应的生成响应帧的设备。典型的目标方可以是音频播放/录制设备、视频播放/录制设备、电视机等。
基带(Baseband)、链路管理协议(LMP)和逻辑链路控制和适配协议(L2CAP)为OSI模型的层1和层2蓝牙协议。音视频控制传输协议(audio video controltransportprotocol,AVCTP)和基础图像规范(basic imaging profile,BIP)定义用来换取A/V设备控制的过程和消息。SDP是蓝牙服务发现协议(service discovery protocol)。对象交换(object exchange,OBEX)协议用于在蓝牙设备间传数据对象,来源于红外定义的协议,后被蓝牙采用。音视频/控制(AV/C)是负责基于AV/C命令的设备控制信令的实体。应用(Application)层是ACRVP实体,用于交换协议中定义的控制和浏览命令。
HFP协议栈包括的协议和实体
音频网关(audio gateway)是用作输入音频、输出音频的网关的设备。典型的用作音频网关的设备可以是蜂窝电话。免提单元(Hands-Free unit)是用作音频网关的远程音频输入、输出机制的设备。免提单元可以提供一些远程控制方法。典型的用作免提单元的设备可以是车载免提单元。
基带(Baseband)、链路管理协议(LMP)和逻辑链路控制和适配协议(L2CAP)为OSI模型的层1和层2蓝牙协议。RFCOMM为蓝牙串口模拟(emulation)实体。SDP是蓝牙服务发现协议。免提控制(Hands-Free control)是负责免提单元的特定控制信号的实体。该控制信号是基于AT命令的。音频端口模拟(audio port emulation)层是音频网关(audiogateway)上模拟音频端口的实体,音频驱动(audio driver)是免提单元中的驱动软件。
综合上述A-C项可以看出,A2DP、AVRCP、HFP分别对应不同的协议栈,不同的profile采用了不同的传输链路,相互之间无法兼容。也即是说,profile其实是蓝牙协议对应于不同应用场景的不同协议栈。当蓝牙协议需要支持新的应用场景时,需要遵循现有的蓝牙协议框架添加profile,添加协议栈。
而且,由于不同profile采用不同的协议栈,且各个协议栈之间相互独立,因此不同profile的应用之间的切换耗时严重,会出现明显的停顿。
例如,戴着蓝牙耳麦的用户在游戏时(游戏会产生游戏背景声,如游戏技能触发的声音)打开麦克和队友喊话。在此场景下,音频传输会需要从A2DP切换到HFP。其中,游戏时的背景声传输可以是基于A2DP的协议栈实现的,和队友喊话的话音传输可以是基于HFP的协议栈实现的。游戏背景声比话音要求更高的音质,即二者采用的编码参数(如压缩率)是不一样的,游戏背景声比话音采用更高的压缩率。由于A2DP和HFP是相互独立的,因此从A2DP切换到HFP需要停止A2DP下和游戏背景声传输相关的配置,并重新在HFP下进行音频数据传输的参数协商、配置初始化等等工作,这一切换过程需要耗费较长时间,从而导致出现用户能够明显感知到的停顿。
另外,现有的BR/EDR蓝牙协议没有实现点对多点的同步传输。
现有的BR/EDR蓝牙协议定义了两种蓝牙物理链路:无连接的异步(asynchronousconnectionless,ACL)链路、同步面向连接(synchronous connection oriented,SCO)或扩展的SCO(extended SCO,eSCO)链路。其中,ACL链路既支持对称连接(点对点),也支持非对称连接(点对多点)。ACL链路的传输效率高,但时延不可控,重传次数没有限定,可主要用于传输对时延不敏感的数据,如控制信令、分组数据等。SCO/eSCO链路支持对称连接(点对点)。SCO/eSCO链路的传输效率低,但时延可控,重传次数有限定,可主要传输对时延敏感的业务(如话音)。
现有的BR/EDR蓝牙协议中的ACL、SCO/eSCO这两种链路没有实现对等时数据(isochronous data)的支持。也即是说,在点对多点的piconet中,主设备master发往多个从设备slave的数据没有实现同步传输,多个从设备slave的信号会出现不同步。
鉴于现有的蓝牙协议存在的问题,本申请提供了一种基于低功耗蓝牙BLE的音频协议框架。
现有的BLE协议支持点对多点的网络拓扑结构。而且,蓝牙利益工作组(specialinterest group,SIG)已经提议将等时数据(isochronous data)的支持增加到BLE中以允许BLE设备传输isochronous data。isochronous data是有时间受限(time-bounded)的。isochronous data是指流中的信息,该流中每个信息实体(information entity)都受限于它和之前的实体、之后的实体之间的时间关系。
但是,现有的BLE协议没有定义音频传输,BLE profile不包括音频profile(如A2DP、HFP)。也即是说,基于低功耗蓝牙的音频传输(voice-over-ble)没有标准化。本申请提供的基于BLE的音频协议框架将支持音频传输。
图3示出了本申请提供的基于BLE的音频协议框架。如图3所示,该协议框架可包括:LE物理层(LE physical layer)313、LE链路层(LE link layer)310、L2CAP层和应用(application)层308。LE物理层313和LE链路层310可以实现在控制器(controller)中,L2CAP层308可以实现在主机(Host)中。该协议框架还可包括实现于Host中的一些功能实体:多媒体音频功能实体302、话音功能实体303、背景声功能实体304、内容控制功能实体305、流控制功能实体306、流数据功能实体307。
在Controller中:
(1)LE物理层313,可负责提供数据传输的物理通道(通常称为信道)。通常情况下,一个通信***中存在几种不同类型的信道,如控制信道、数据信道、语音信道等等。蓝牙使用2.4GHz工业科学医疗(industrial scientific medical,ISM)频段。
(2)LE链路层310,在物理层的基础上提供两个或多个设备之间、和物理无关的逻辑传输通道(也称作逻辑链路)。LE链路层310可用于控制设备的射频状态,设备将处于五种状态之一:等待、广告、扫描、初始化、连接。广播设备不需要建立连接就可以发送数据,而扫描设备接收广播设备发送的数据;发起连接的设备通过发送连接请求来回应广播设备,如果广播设备接受连接请求,那么广播设备与发起连接的设备将会进入连接状态。发起连接的设备称为主设备(master),接受连接请求的设备称为从设备(slave)。
LE链路层310可包括LE ACL链路311和LE等时(ISO)链路312。LE ACL链路311可用于传输设备间的控制消息,如流控制消息、内容控制消息、音量控制消息。LE ISO链路312可用于传输设备间的等时数据(如流数据本身)。
在Host中:
(1)L2CAP层308,可负责管理逻辑层提供的逻辑链路。基于L2CAP,不同的上层应用可共享同一个逻辑链路。类似TCP/IP中端口(port)的概念。
(2)多媒体音频功能实体302、话音功能实体303、背景声功能实体304可以
是依据业务场景设置的功能实体,可用于将应用层的音频应用划分为多媒体音频、话音、背景声等几种音频业务。不限于多媒体音频、话音、背景声等,音频业务也可以分为:话音,音乐,游戏,视频,语音助手,邮件提示音,告警,提示音,导航音等。
(3)内容控制(content control)功能实体305可负责封装各种音频业务的内容
控制(如上一首、下一首等)消息,并通过LE ACL链路311传输封装后的内容控制消息。
(4)流控制(stream control)功能实体306可负责参数协商,如服务质量qualityof service,QoS)参数的协商,编码(Codec)参数的协商,等时数据传输通道参数(下面简称ISO参数)的协商,以及负责等时数据传输通道的建立。
(5)流数据功能实体307可负责通过等时数据传输通道传输音频数据。等时数据传输通道(isochronous data path)可以是基于连接的等时音频流(connected isochronousstream,CIS)。CIS可用于在连接状态的设备间传输等时数据。等时数据传输通道最终承载于LE ISO 312。流控制功能实体306还可用于在创建等时数据传输通道之前进行参数协商,然后基于协商好的参数创建等时数据传输通道。
如图3所示,在本申请提供的基于BLE的音频协议框架中,来自应用层的音频数据最后通过LE ISO链路312传输。
另外,图3所示的音频协议框架还可以包括主机控制器接口(Host ControllerInterface,HCI)。Host和Controller就是通过HCI来进行通讯的,通信的介质就是HCI命令。Host可以实现于设备的应用处理器中(application processor,AP),Controller可以实现于该设备的蓝牙芯片中。可选的,在小型设备中,Host和Controller可以实现于同一个处理器或控制器中,此时HCI是可选的。
如图4所示,本申请提供的基于BLE的音频协议框架可以将各种音频应用(如A2DP、HFP等)的数据都分为三种类型:
内容控制:通话控制(如接听、挂断等)、播放控制(如上一首、下一首等)、音量控制(如增大音量、减小音量)等信令。
流控制:创建流(create stream)、终止流(terminate stream)等用于流管理的信令。流可用于承载音频数据。
流数据:音频数据本身。
其中,内容控制、流控制的数据通过LE ACL 311链路传输;流数据通过LE ISO 312链路传输。
现有的蓝牙协议中,不同profile对应不同的协议栈,对应不同的传输框架。例如A2DP、HFP各自对应不同传输框架,A2DP的流数据(如立体声音乐数据)最后通过ACL链路传输,因为ACL链路的传输效率高,HFP的流数据(如话音数据)最后通过SCO/eSCO链路传输,因为SCO/eSCO链路的传输时延可控。与现有的蓝牙协议不同的是,本申请提供的基于BLE的音频协议框架提供统一的音频传输框架,无论哪种音频profile的数据都可以分为内容控制、流控制、流数据三种类型,并基于BLE框架在LEACL链路上传输内容控制、流控制这两种类型的数据,在LE ISO链路上传输流数据。
可以看出,本申请提供的基于BLE的音频协议框架支持音频传输,可统一服务级连接,将所有上层音频profile以业务场景划分为多媒体音频、话音、背景声等音频业务。各个音频业务的流控制(包括QoS参数的协商、codec参数的协商、ISO参数的协商以及等时数据传输通道的建立)统一由协议栈中的流控制(stream control)功能实体负责。各个音频业务的内容控制(如接听、挂断等通话控制、如上一首、下一首等播放控制、如音量控制等)统一由协议栈中的内容控制(content control)功能实体负责。流控制消息和内容控制消息都通过LE ACL链路传输,流数据通过LE ISO链路传输。这样能够实现不同的音频profile都可以基于同一传输框架,兼容性更好。
本申请提供的音频协议框架基于BLE是指是基于扩展后的BLE传输框架(transport architecture)。扩展后的BLE传输框架与现有的BLE传输框架相比,主要在于增加了:等时信道(isochronous channel)特性。
图5示出了扩展的BLE传输框架实体(transport architecture entities)。其中,阴影标记的实体为新增的逻辑子层,这些新增的逻辑子层共同提供等时信道特性。如图5所示:
(1)LE物理传输(LE physical transport)层:空口数据传输,通过数据包结构,通过编码、调制方案等标记。LE physical transport中承载了所有来自上层的信息。
(2)LE物理信道(LE physical channel)层:蓝牙设备之间传输的空口物理通道,通过时域、频域,空域标记的物理层承载通道,包括跳频、时隙、事件、接入码的概念。对于上层,一个LE physical channel可以承载不同的LE逻辑传输(LE logical transport);对于下层,一个LE physical channel总是映射其唯一对应的LE physical transport。
LE physical channel层可包括四种物理信道实体:LE匹克网物理信道(LEpiconet physical channel)、LE广播物理信道(LE advertising physical channel)、LE周期物理信道(LE periodic physical channel)、LE等时物理信道(LE isochronousphysical channel)。即在现有的LE physical channel的基础上增加了LE isochronousphysical channel。
其中,LE piconet physical channel可用于在处于连接状态的设备之间的通信,该通信采用跳频技术。LE advertising physical channel可用于在设备间进行无连接的广播通信,这些广播通信可用于设备的发现、连接操作,也可用于无连接的数据传输。LEperiodic physical channel可用于设备间的周期性的广播通信。LE isochronousphysical channel可用于传输isochronous数据,与上层的LE isochronous physicallink存在一一映射关系。
(3)LE物理链路(LE physical link)层:蓝牙设备之间的基带连接,它是一个虚拟的概念,在空口数据包中没有相应的字段表达。对于上层LE logical transport,一个LElogical transport只会映射到一个LE physical links。对于下层,一个LE physicallink可以通过不同的LEphysical channel承载,但一次传输总是映射到一个LEphysicalchannel上。
LE physical link是对LE physical channel的进一步封装。LE physical link层可包括四种物理链路实体:LE激活物理链路(LE active physical link)、LE广播物理链路(LE advertising physical link)、LE周期物理链路(LE periodic physical link)、LE等时物理链路(LE isochronous physical link。即在现有的LE physical link的基础上增加了LE isochronous physical link。
其中,LE isochronous physical link可用于传输isochronous数据,承载上层的LE-BIS,LE-CIS,与LE physical channel存在一一映射关系。
(4)LE逻辑传输(LE logical transport)层:可负责流量控制,ACK/NACK确认机制,重传机制,调度机制。这些信息一般承载在数据包头中。对于上层,一个LElogicaltransport可以对应多个LElogical links。对于下层,一个LElogical transport只映射到一个对应的LEphysical link。
LE logical transport层可包括以下逻辑传输实体:LE-ACL,ADVB,PADVB、LE-BIS,LE-CIS。即在现有的LE logical transport的基础上增加了LE-BIS,LE-CIS。
其中,LE-CIS为Master和一个指定的Slave之间的点对点logical transport,每个CIS支持一个LE-S的logical link。CIS可以是对称速率,也可以是非对称速率。LE-CIS建立于LE-ACL之上。LE-BIS为点对多点Logical transport,每个BIS支持一个LE-S的logicallink。LE-BIS建立于PADVB之上。这里,BIS是指广播等时流(broadcast isochronousstream),CIS是指基于连接的等时流(connected isochronous stream)。
图3中的LE ISO链路312可以是LE CIS,图3中的LE ACL链路311可以是LE ACL。
(5)LE逻辑链路(LE logical link)层:可用于支持不同的应用数据传输。对于下层,每个LElogical link可能映射到多个LElogical transport上,但一次传输只选择映射到一个LElogical transport上。
LE logical link层可包括以下逻辑链路实体:LE-C,LE-U,ADVB-C,ADVB-U、低功耗广播控制(low energy broadcast control,LEB-C),低功耗流(low energy stream,LE-S)。这里,“-C”表示控制(control),“-U”表示用户(user)。即在现有的LE logical link的基础上增加了LEB-C,LE-S。其中LEB-C用于承载BIS的控制信息,LE-S用于承载等时数据流。
基于图3所示的音频协议框架,本申请提供了一种音频通讯方法。
其主要发明思想可包括:以音频业务为粒度为各个音频业务确定等时数据传输通道的参数。第一音频设备(如手机、媒体播放器)和第二音频设备(如耳机)之间可以以音频业务为粒度进行参数协商,如QoS参数的协商、codec参数的协商、ISO参数的协商,然后基于协商好的参数创建等时数据传输通道(isochronous data path)。等时数据传输通道可用于传输流数据。
本申请中,音频业务可以是指能够提供音频功能(如音频播放、音频录制等)的服务(service)或应用(application)。音频业务会涉及音频相关的数据传输业务,例如音频数据本身、用于控制音频数据播放的内容控制消息、用于创建等时数据传输通道的流控制消息等的传输。
与现有技术不同的是,本申请提供的音频通讯方法不再以profile为粒度进行参数协商,而是以音频业务为粒度进行参数协商。当业务场景发生切换时,基于重新协商的参数配置等时数据传输通道即可,无需涉及不同profile协议栈之间的切换,更加高效,避免出现明显的停顿。
例如,从音乐业务场景切换到电话业务场景(听音乐时接听电话)。现有的蓝牙协议中,该切换涉及到从A2DP(音乐业务)切换到HFP(电话业务)。A2DP、HFP各自对应不同传输框架,A2DP的流数据(如立体声音乐数据)最后通过ACL链路传输,HFP的流数据(如话音数据)最后通过SCO/eSCO链路传输。因此,现有的蓝牙协议中,该切换会导致底层传输框架的切换,耗时严重。然而,本申请提供的基于BLE的音频协议框架提供了统一的音频传输框架,无论是哪种音频业务场景,流数据都会通过LE ISO链路传输,业务场景的切换不涉及传输框架的切换,效率更高。
本申请中,QoS参数可包括时延、丢包率、吞吐量等表示传输质量的参数。Codec参数可包括编码方式、压缩率等影响音频质量的参数。ISO参数可包括CIS的ID、CIS数量、master到slave传输的最大数据大小、slave到master传输的最大数据大小、master到slave的数据包在链路层传输最长时间间隔、slave到master的数据包在链路层传输最长时间间隔等等。
图6示出了本申请提供的音频通讯方法的总体流程。图6中,第一音频设备(如手机、媒体播放器)和第二音频设备(如耳机)之间建立了BLE连接。下面展开:
1.建立ACL链路(S601)
S601,第一音频设备(如手机、媒体播放器)和第二音频设备(如耳机)之间建立ACL链路。
具体的,ACL链路可用于承载流控制消息,如流控制过程(S602-S604)中的参数协商、参数配置、等时传输通道建立所涉及的流控制消息。
具体的,ACL链路还可用于承载内容控制消息,如内容控制过程(S605-S607)中的通话控制(如接听、挂断等)消息、播放控制(如上一首、下一首等)消息、音量控制(如增大音量、减小音量)消息等。
2.流控制过程(S602-S604)
S602,针对特定音频业务,第一音频设备和第二音频设备可以通过ACL链路进行参数协商。
具体的,该参数协商可以以音频业务为粒度进行。不同的音频业务都需要进行参数协商,如QoS参数的协商、codec参数的协商、ISO参数的协商。一个音频业务可以对应一套参数,一套参数可包括以下一项或多项:QoS参数、codec参数、ISO参数。
具体的,该参数协商的具体流程可包括:
步骤a.第一音频设备可以通过ACL链路向第二音频设备发送参数协商消息,该消息可携带特定音频业务对应的一套参数。这一套参数可以是根据该特定音频业务从数据库中查询得到的,该数据库中可存储有多种音频业务各自对应的参数。
步骤b.第二音频设备通过ACL链路接收到第一音频设备发送的参数协商消息。如果第二音频设备同意该消息中携带的参数,则向第一音频设备返回确认消息;如果第二音频设备不同意或部分同意参数协商消息中携带的参数,则向第一音频设备返回继续协商消息,以和第一音频设备返回继续进行参数协商。
可选的,在数据库中,音频业务对应的参数可以是综合考虑该音频业务所涉及的各种音频切换情况或混音情况而设计的。该参数可适用该业务所涉及的这些情况。例如,游戏业务下可能出现游戏背景声音和麦克说话声音发生切换或叠加的情况(游戏时打开麦克说话)。游戏背景声音和麦克说话声音的codec参数、QoS参数可能不同。针对游戏业务,可设计适用这种情况的参数,这样当用户在游戏时打开麦克说话,也不会影响听觉体验。
这里,该特定音频业务可以是电话、游戏、语音助手、音乐等等。
S603,第一音频设备可以通过ACL链路向第二音频设备进行参数配置。该参数配置是指向第二音频设备配置协商所确定的参数。
具体实现中,第一音频设备可以通过ACL链路向第二音频设备发送参数配置消息,该参数配置消息中可携带第一音频设备和第二音频设备双方已协商确定的参数。相应的,在通过ACL链路接收到该参数配置消息后,第二音频设备便可以依据双方已协商确定的参数执行流数据的接收或发送。
S604,基于协商所确定的参数,第一音频设备和第二音频设备之间建立等时数据传输通道。
具体的,等时数据传输通道可用于传输流数据(即音频数据)。后续内容中会展开说明第一音频设备和第二音频设备之间建立等时数据传输通道的具体流程,这里先不赘述。
在上述流控制过程中,第一音频设备可以是音频源(audio source),第二音频设备可以是音频接收方(audio sink)。即可由音频源发起参数协商、等时数据通道创建。在上述流控制过程中,第一音频设备也可以是音频源(audio sink)第二音频设备可以是音频接收方(audio source)。即可由音频接收方发起参数协商、等时数据通道创建。
3.内容控制过程(S605-S607)
S605-S607,第一音频设备和第二音频设备之间可以基于ACL链路交互内容控制消息。
S605,第一音频设备和第二音频设备之间可以基于ACL链路交互通话控制消息,如接听、挂断等控制消息。
在一种方式中,第一音频设备可以通过ACL链路向第二音频设备(如耳机)发送通话控制(如接听、挂断等)消息,可实现在第一音频设备(如手机)侧进行通话控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机打电话时,用户点击手机上的挂断按钮来挂断电话。在另一种方式中,第二音频设备(如耳机)可以通过ACL链路向第一音频设备(如手机)发送通话控制(如接听、挂断等)消息,可实现在第二音频设备(如耳机)侧进行通话控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机打电话时,用户按下蓝牙耳机上的挂断按钮来挂断电话。不限于按下挂断按钮,用户还可以通过其他操作在蓝牙耳机上挂断电话,如敲击耳机。
S606,第一音频设备和第二音频设备之间可以基于ACL链路交互播放控制消息,如上一首、下一首等控制消息。
在一种方式中,第一音频设备(如手机)可以通过ACL链路向第二音频设备(如耳机)发送播放控制(如上一首、下一首等)消息,可实现在第一音频设备(如手机)侧进行播放控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机听音乐时,用户点击手机上的上一首/下一首按钮来切换歌曲。在另一种方式中,第二音频设备(如耳机)可以通过ACL链路向第一音频设备(如手机)发送播放控制(如上一首、下一首等)消息,可实现在第二音频设备(如耳机)侧进行播放控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机听音乐时,用户按下蓝牙耳机上的上一首/下一首按钮来切换歌曲。
S607,第一音频设备和第二音频设备之间可以基于ACL链路交互音量控制消息,增大音量、减小音量等控制消息。
在一种方式中,第一音频设备(如手机)可以通过ACL链路向第二音频设备(如耳机)发送音量控制(如增大音量、减小音量等)消息,可实现在第一音频设备(如手机)侧进行音量控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机听音乐时,用户点击手机上的音量调节按钮来调节音量。在另一种方式中,第二音频设备(如耳机)可以通过ACL链路向第一音频设备(如手机)发送音量控制(如增大音量、减小音量等)消息,可实现在第二音频设备(如耳机)侧进行音量控制。这种方式对应的典型应用场景可以是:在使用蓝牙耳机听音乐时,用户按下蓝牙耳机上的音量调节按钮来调节音量来调节音量。
在上述内容控制过程中,第一音频设备可以是音频源(audio source),第二音频设备可以是音频接收方(audio sink)。即可以在音频源侧进行内容控制。在上述内容控制过程中,第一音频设备也可以是音频源(audio sink)第二音频设备可以是音频接收方(audio source)。即可以在音频接收方侧进行内容控制。
4.流数据传输过程(S608)
S608,第一音频设备和第二音频设备之间可以基于已创建的等时数据传输通道交互流数据。该流数据是前述特定音频业务的流数据。已创建的等时数据传输通道对应前述特定音频业务。
在一种方式中,第一音频设备(如手机)可以通过等时数据传输通道向第二音频设备(如耳机)发送流数据。此时第一音频设备(如手机)的角色是音频源(audio source),第二音频设备(如耳机)的角色是音频接收方(audio sink)。这样第二音频设备(如耳机)可以将接收到的音频数据转换成声音。这种方式对应的典型应用场景可以是:用户佩戴蓝牙耳机收听手机上播放的音乐。
在另一种方式中,第二音频设备(如耳机)可以通过等时数据传输通道向第一音频设备(如手机)发送流数据。此时第二音频设备(如耳机)的角色是音频源(audio source),第一音频设备(如手机)的角色是音频接收方(audio sink)。这样第一音频设备(如手机)可以对接收到的音频数据进行处理,如将该音频数据转换成声音、向其他电子设备发送该音频数据(语音通话场景下)、存储该音频数据(录音场景下)。这种方式对应的典型应用场景可以是:用户佩戴蓝牙耳机(配置有受话器/麦克风等声音采集器件)打电话,此时蓝牙耳机采集用户说话的声音,并将其转换成音频数据传输给手机。
本申请对上述内容控制过程和上述流数据传输过程的执行顺序不做限制,上述流数据传输过程可以在上述内容控制过程之前被执行,这两个过程也可以同时被执行。
图6所示方法中的第一音频设备、第二音频设备可以实现图3所示的基于BLE的音频协议框架。此时,图6中的流控制过程(S602-S604)可以由图3中的流控制功能实体306来执行;图6中的内容控制过程(S605-S607)可以由图3中的内容控制功能实体305来执行。图6方法中提及的ACL链路可以是图3中的LEACL311,图6方法中提及的等时数据传输通道可以是图3中LE ISO312。
当音频业务场景发生切换时,以从音乐业务切换到电话业务(听音乐时接听电话)为例,第一音频设备和第二音频设备之间可以重新进行参数协商,协商确定新音频业务(如电话业务)对应的新参数,然后基于新参数创建新的等时数据传输通道。该新的等时数据传输通道可用于传输该新音频业务(如电话业务)的流数据。各种业务的等时数据传输通道都是基于LE。这样,业务场景的切换不涉及传输框架的切换,效率更高,不会出现明显的停顿。
可选的,当音频业务场景发生切换时,也可以利用新音频业务(如电话业务)对应的新参数重新配置旧音频业务(如音乐业务)对应的等时数据传输通道,而不需要基于新参数重新创建新的等时数据传输通道。这样,可以进一步提高效率。
本申请提供的音频通讯方法以音频业务为粒度进行参数协商及等时数据传输通道的建立,各个音频业务的流控制消息和内容控制消息都通过LE ACL链路传输,流数据通过LE ISO链路传输,统一了各个业务的传输框架。而不是以profile为粒度来为不同profile应用适配不同的传输框架。可以看出,本申请提供的音频通讯方法可以适用更多音频业务,兼容性更好。而且,当业务场景发生切换时,基于重新协商的参数配置等时数据传输通道即可,无需涉及不同profile协议栈之间的切换,无需切换传输框架,更加高效,可避免出现明显的停顿。
下面描述图6所示的方法流程中提及的等时数据传输通道的创建过程。
图7示出了等时数据传输通道的创建过程。该等时数据传输通道是基于连接的等时数据通道,即第一音频设备和第二音频设备已经处于连接(Connection)状态。第一音频设备、第二音频设备都具有主机Host和链路层LL(controller中),Host和LL之间通过HCI通信。在如图7所示,该过程可包括:
S701-S702,Host A(第一音频设备的Host)通过HCI指令设置基于连接的等时组(connected isochronous group,CIG)的相关参数。
其中,CIG相关参数可包括之前已协商确定的参数(QoS参数、codec参数、ISO参数),用于创建等时数据传输通道。
具体的,Host A可以通过HCI向LL A(第一音频设备的LL)发送HCI指令“LE SetCIG parameters”。相应的,LL A可以返回响应消息“Command Complete”。
S703-S704,Host A通过HCI指令发起创建CIS。
具体的,Host A可以通过HCI向LL A(第一音频设备的LL)发送HCI指令“LECreateCIS”。相应的,LL A可以返回响应消息“HCI Command Status”。
S705,LLA可以通空口请求消息LL_CSI_REQ向LLB(第二音频设备的LL)请求创建CIS流。
S706-S708,LLB通过HCI指令通知到HostB(第二音频设备的Host),HostB同意第一音频设备的CIS建链流程。
S709,LLB通过空口响应消息LL_CIS_RSP回复LLA同意CIS建链流程。
S710,LLA通过空口通知消息LL_CIS_IND通知LLB完成建链。
S711,LLB通知到HostB,CIS建链完成。
S712,LLA通过HCI指令通知HostA,CIS建链完成。
至此,第一音频设备和第二音频设备之间的CIS建立完成。基于已建立的CIS,第一音频设备、第二音频设备可以创建等时数据传输通道。
可以看出,等时数据传输通道承载于CIS。CIS是基于连接的流,可用于承载等时数据。
本申请中,等时数据传输通道的创建时间(即何时执行图7所示流程)可以包括多种选择。在一种选择中,可以在音频业务到来时创建等时数据传输通道。例如,当用户打开游戏应用程序时(游戏背景声同时开始播放),手机的应用层会向Host发送游戏背景声业务创建通知,根据该通知手机会向蓝牙耳机发起图7所示流程。在另一种选择中,可以先建立一个默认的等时数据传输通道,该默认的等时数据传输通道可以基于默认CIG参数创建。这样当音频业务到来时可以直接使用该默认的等时数据传输通道承载流数据,响应速度更快。在再一种选择中,可以先建立多个虚拟等时数据传输通道,这多个虚拟等时数据传输通道可以对应多套不同的CIG参数,可适用多种音频业务。虚拟等时数据传输通道是指空口不发生数据交互的等时数据传输通道。这样,当音频业务到来时,可以选择该音频业务对应的虚拟等时数据传输通道,第一音频设备和第二音频设备之间触发握手并开始通信。
图6所示的方法流程描述了第一音频设备和第二音频设备所形成的基于连接的点对点的音频通讯方法。第一音频设备可以是图1所示的无线音频***100中的第一音频设备101,第二音频设备可以是图1所示的无线音频***100中的第二音频设备102。无线音频***100中的第一音频设备101与第三音频设备103之间也可以采用图6所示的音频通讯方法进行通讯。
在一种情况下,第一音频设备101可以和第二音频设备102、第三音频设备103这二者都进行通讯。第一音频设备101可以实现为手机,第二音频设备102和第三音频设备103可以分别实现为左耳机、右耳机。这种情况对应一种典型的应用场景:左耳机、右耳机一起使用。这种典型的应用场景可以称为“双耳一起使用”的场景。
图8示出了在“双耳一起使用”场景下的音频通讯方法。下面展开:
1.建立BLE连接(S801-S803)
S801,左耳机和右耳机建立BLE连接。
S802,左耳机和手机建立BLE连接。
S803,右耳机和手机建立BLE连接。
本申请对上述S801-S803的执行顺序不做限制,它们之间的先后顺序可以改变。后续内容中展开说明BLE连接建立过程,这里先不赘述。
2.建立ACL链路(S804)
S804,手机和左耳机、右耳机分别建立ACL链路。
具体的,ACL链路的建立由链路层LL负责。手机的LL与左耳机的LL之间可以建立ACL链路,手机的LL与右耳机的LL之间可以建立ACL链路。
具体的,ACL链路可用于承载流控制消息,如流控制过程(S805-S813)中的参数协商、参数配置、等时传输通道建立所涉及的流控制消息。ACL链路还可用于承载内容控制消息,如内容控制过程(S814-S819)中的通话控制(如接听、挂断等)消息、播放控制(如上一首、下一首等)消息、音量控制(如增大音量、减小音量)消息等。
3.流控制过程(S805-S813)
S805-S806,在音频业务到来时,手机可以确定该音频业务对应的参数(QoS参数、codec参数、ISO参数等)。
具体的,手机的Host先接收到来自应用层的音频业务建立通知,然后确定该音频业务对应的参数。音频业务建立通知可以是手机在检测到用户打开音频相关的应用程序(例如游戏)时产生的。
具体的,该音频业务对应的参数可以是手机根据该音频业务的业务类型从数据库中查询得到的,该数据库中可存储有多种音频业务各自对应的参数。
S807,手机的Host通过HCI将该音频业务对应的参数发送给手机的LL。
S808,针对该音频业务,手机的LL和左耳机的LL可以通过已建立的ACL链路进行参数协商。参数协商的具体流程可参考图6方法实施例中的相关内容,这里不再赘述。
S809,在参数协商完成后,手机的可以通过已建立的ACL链路向左耳机进行参数配置。该参数配置是指向左耳机配置已协商好的参数。
具体实现中,手机的LL可以通过ACL链路向左耳机的LL发送参数配置消息,该参数配置消息中可携带双方已协商确定的参数。相应的,在通过ACL链路接收到该参数配置消息后,左耳机便可以依据双方已协商确定的参数执行流数据的接收或发送。
S810,基于协商所确定的参数,手机和左耳机之间可以建立等时数据传输通道。等时数据传输通道的创建体流程可参考图6方法实施例中的相关内容,这里不再赘述。
S811,针对该音频业务,手机的LL和右耳机的LL可以通过已建立的ACL链路进行参数协商。参数协商的具体流程可参考图6方法实施例中的相关内容,这里不再赘述。
S812,在参数协商完成后,手机的可以通过已建立的ACL链路向右耳机进行参数配置。该参数配置是指向左耳机配置已协商好的参数。
具体实现中,手机的LL可以通过ACL链路向右耳机的LL发送参数配置消息,该参数配置消息中可携带双方已协商确定的参数。相应的,在通过ACL链路接收到该参数配置消息后,右耳机便可以依据双方已协商确定的参数执行流数据的接收或发送。
S813,基于协商所确定的参数,手机和右耳机之间可以建立等时数据传输通道。等时数据传输通道的创建体流程可参考图6方法实施例中的相关内容,这里不再赘述。
可以看出,为了保持双耳参数(QoS参数、codec参数、ISO参数等)的整体性,参数确定可以以双耳为单位确定,再逐一协商和配置。
S808-S810描述了手机对左耳机进行参数协商、配置和以及创建等时数据传输通道的过程,S811-S813描述了手机对右耳机进行参数协商、配置和以及创建等时数据传输通道的过程。本申请对这两个过程的执行顺序不做限定,这两个过程可以同时进行。
内容控制过程(S814-S819)
S814-S816,手机和左耳机之间可以基于ACL链路交互内容控制消息。具体实现可参考图6方法实施例中的相关内容,这里不再赘述。
S817-S819,手机和右耳机之间可以基于ACL链路交互内容控制消息。具体实现可参考图6方法实施例中的相关内容,这里不再赘述。
当手机向左耳机、右耳机传输内容控制消息时,手机到左耳机、右耳机的内容控制消息传输需要达到同步,以实现左耳机、右耳机同步控制,避免用户感觉到听觉混乱。为了达到这一目的,左耳机、右耳机可以在同步收到内容控制消息后再生效内容控制。
5.流数据传输过程(S820-S821)
S820,手机和左耳机之间可以基于已创建的等时数据传输通道交互流数据。该流数据是前述音频业务的流数据。
S821,手机和右耳机之间可以基于已创建的等时数据传输通道交互流数据。该流数据是前述音频业务的流数据。
可以看出,本图8所示的音频通讯方法可以适用“双耳一起使用”场景,而且手机与单耳(左耳机或右耳机)之间的音频通讯方法可参考图6所示方法,可适用更多音频业务,兼容性更好。当业务场景发生切换时,基于重新协商的参数配置手机与耳机之间的等时数据传输通道即可,无需涉及不同profile协议栈之间的切换,无需切换传输框架,更加高效,可避免出现明显的停顿。
下面结合图9说明BLE连接建立过程。如图9所示,BLE连接建立过程可包括:
1.左耳机和右耳机建立BLE连接(S902-S907)
S902-S903,左耳机的Host通过HCI指令发起BLE连接建立。具体的,左耳机的Host可以通过HCI向左耳机的LL发送HCI指令“LE create connection”。相应的,左耳机的LL可以返回响应消息“HCI Command Status”。
S904,右耳机发送广播。
S905,左耳机向右耳机发起连接。具体的,向左耳机的LL向右耳机的LL发送连接请求。
S906,在接收到连接请求后,右耳机的LL通过HCI指令通知右耳机的Host,BLE连接建立完成。
S907,在发送连接请求后,左耳机的LL通过HCI指令通知左耳机的Host,BLE连接建立完成。
概括地说,S902-S907描述的BLE建立连接的过程是:右耳机发送广播,左耳机向右耳机发起连接。可选的,也可以由左耳机发送广播,右耳机向左耳机发起连接。
2.左耳机和手机建立BLE连接(S909-S914)
S909-S910,手机的Host通过HCI指令发起BLE连接建立。具体的,手机的Host可以通过HCI向手机的LL发送HCI指令“LE create connection”。相应的,手机的LL可以返回响应消息“HCI Command Status”。
S911,左耳机发送广播。
S912,手机向左耳机发起连接。具体的,向手机的LL向左耳机的LL发送连接请求。
S913,在接收到连接请求后,左耳机的LL通过HCI指令通知左耳机的Host,BLE连接建立完成。
S914,在发送连接请求后,手机的LL通过HCI指令通知手机的Host,BLE连接建立完成。
概括地说,S909-S914描述的BLE建立连接的过程是:左耳机发送广播,手机向左耳机发起连接。可选的,也可以由手机发送广播,左耳机向手机发起连接。
3.右耳机和手机建立BLE连接(S916-S921)
S909-S910,手机的Host通过HCI指令发起BLE连接建立。具体的,手机的Host可以通过HCI向手机的LL发送HCI指令“LE create connection”。相应的,手机的LL可以返回响应消息“HCI Command Status”。
S911,右耳机发送广播。
S912,手机向右耳机发起连接。具体的,向手机的LL向右耳机的LL发送连接请求。
S913,在接收到连接请求后,右耳机的LL通过HCI指令通知右耳机的Host,BLE连接建立完成。
S914,在发送连接请求后,手机的LL通过HCI指令通知手机的Host,BLE连接建立完成。
概括地说,S916-S921描述的BLE建立连接的过程是:右耳机发送广播,手机向右耳机发起连接。可选的,也可以由手机发送广播,右耳机向手机发起连接。
下面介绍本申请实施例中提供的示例性电子设备200。电子设备200可以实现为上述实施例中提及的第一音频设备,可以是图1所示的无线音频***100中的第一音频设备101。电子设备200通常可以用作音频源(audio source),如手机、平板电脑等,可以向其他音频接收设备(audio sink),如耳机、音箱等,传输音频数据,这样其他音频接收设备便可以将音频数据转换成声音。在一些场景下,电子设备200也可以用作音频接收方(audiosink),接收其他设备音频源(如具有麦克风的耳机)传输的音频数据(如耳机采集的用户说话的声音所转换成的音频数据)。
图10A示出了电子设备200的结构示意图。
电子设备200可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备200也可以包括一个或多个处理器110。
其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备200的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备200的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备200充电,也可以用于电子设备200与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备200的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。示例性地,无线通信模块160可以包括蓝牙模块、Wi-Fi模块等。
在一些实施例中,电子设备200的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备200通过GPU,显示屏194,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备200可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备200可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样,电子设备200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)-1,MPEG-2,MPEG-3,MPEG-4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备200执行本申请一些实施例中所提供的数据分享的方法,以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如照片,联系人等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备200可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备200可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备200可以设置至少一个麦克风170C。在另一些实施例中,电子设备200可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备200还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备200根据压力传感器180A检测所述触摸操作强度。电子设备200也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备200的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备200的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备200通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备200可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备200是翻盖机时,电子设备200可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备200可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备200附近有物体。当检测到不充分的反射光时,电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器180G检测用户手持电子设备200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备200是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备200利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备200执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备200对电池142加热,以避免低温导致电子设备200异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备200对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备200的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备200中,不能和电子设备200分离。
图10A示例性所示的电子设备200可以通过显示屏194显示以下各个实施例中所描述的各个用户界面。电子设备200可以通过触摸传感器180K在各个用户界面中检测触控操作,例如在各个用户界面中的点击操作(如在图标上的触摸操作、双击操作),又例如在各个用户界面中的向上或向下的滑动操作,或执行画圆圈手势的操作,等等。在一些实施例中,电子设备200可以通过陀螺仪传感器180B、加速度传感器180E等检测用户手持电子设备200执行的运动手势,例如晃动电子设备。在一些实施例中,电子设备200可以通过摄像头193(如3D摄像头、深度摄像头)检测非触控的手势操作。
在一些实施中,电子设备200中包括的终端应用处理器(AP)可以实现图3所示的音频协议框架中的Host,电子设备200中包括的蓝牙(BT)模块可以实现图3所示的音频协议框架中的controller,二者之间通过HCI进行通信。即把图3所示的音频协议框架的功能分布在两颗芯片上。
在另一些实施例中,电子设备200终端应用处理器(AP)可以实现图3所示音频协议框架中的Host和controller。即图3所示的音频协议框架的所有功能都放在一颗芯片上,也就是说,host和controller都放在同一颗芯片上,由于host和controller都在同一颗芯片上,因此物理HCI就没有存在的必要性,host和controller之间直接通过应用编程接口API来交互。
电子设备200的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备200的软件结构。
图10B是本发明实施例的电子设备200的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图10B所示,应用程序包可以包括游戏,语音助手,音乐播放器,视频播放器,邮箱,通话,导航,文件浏览器等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图10B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备200软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸触摸操作,该触摸操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
下面介绍本申请实施例中提供的示例性音频输出设备300。音频输出设备300可以实现为上述实施例中提及的第二音频设备或第三音频设备,可以是图1所示的无线音频***100中的第二音频设备102或第三音频设备103。音频输出设备300通常可以用作音频接收设备(audio sink),如耳机、音箱,可以向其他音频源(audio source),如手机、平板电脑等,传输的音频数据,并可以将接收到的音频数据转换成声音。在一些场景下,如果配置有麦克风/受话器等声音采集器件,音频输出设备300也可以用作音频源(audio source),向其他设备音频接收方(audio sink)(如手机)传输音频数据(如耳机采集的用户说话的声音所转换成的音频数据)。
图11示例性示出了本申请提供的音频输出设备300的结构示意图。
如图11所示,音频输出设备300可包括处理器302、存储器303、蓝牙通信处理模块304、电源305、佩戴检测器306、麦克风307和电/声转换器308。这些部件可以通过总线连接。其中:
处理器302可用于读取和执行计算机可读指令。具体实现中,处理器302可主要包括控制器、运算器和寄存器。其中,控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等,也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器302的硬件架构可以是专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)架构、MIPS架构、ARM架构或者NP架构等等。
在一些实施例中,处理器302可以用于解析蓝牙通信处理模块304接收到的信号,如封装有音频数据的信号、内容控制消息,流控制消息等等。处理器302可以用于根据解析结果进行相应的处理操作,如驱动电/声转换器308开始或暂停或停止将音频数据转换成声音等等。
在一些实施例中,处理器302还可以用于生成蓝牙通信处理模块304向外发送的信号,如蓝牙广播信号、信标信号,又如采集到的声音所转换成的音频数据。
存储器303与处理器302耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器303可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器303可以存储操作***,例如uCOS、VxWorks、RTLinux等嵌入式操作***。存储器303还可以存储通信程序,该通信程序可用于与电子设备200,一个或多个服务器,或附加设备进行通信。
蓝牙(BT)通信处理模块304可以接收其他设备(如电子设备200)发射的信号,如扫描信号、广播信号、封装有音频数据的信号、内容控制消息、流控制消息等等。蓝牙(BT)通信处理模块304也可以发射信号,如广播信号、扫描信号、封装有音频数据的信号、内容控制消息、流控制消息等等。
电源305可用于向处理器302、存储器303、蓝牙通信处理模块304、佩戴检测器306、电/声转换器308等其他内部部件供电。
佩戴检测器306可用于检测音频输出设备300被用户佩戴的状态,如未被佩戴状态、被佩戴状态,甚至可以包括佩戴松紧状态。在一些实施例中,佩戴检测器306可以由距离传感器、压力传感器等传感器中的一项或多项实现。佩戴检测器306可将检测到的佩戴状态传输至处理器302,这样处理器302便可以在音频输出设备300被用户佩戴时上电,在音频输出设备300未被用户佩戴时断电,以节省功耗。
麦克风307可用于采集声音,如用户说话的声音,并可以将采集到声音输出给电/声转换器308,这样电/声转换器308便可以将麦克风307采集到的声音转换成音频数据。
电/声转换器308可用于将声音转换成电信号(音频数据),例如将麦克风307采集到的声音转换成音频数据,并可以传输音频数据至处理器302。这样,处理器302便可以触发蓝牙(BT)通信处理模块304发射该音频数据。电/声转换器308还可用于将电信号(音频数据)转换成声音,例如将处理器302输出的音频数据转换成声音。处理器302输出的音频数据可以是蓝牙(BT)通信处理模块304接收到的。
在一些实施中,处理器302可以实现图3所示的音频协议框架中的Host,蓝牙(BT)通信处理模块304可以实现图3所示的音频协议框架中的controller,二者之间通过HCI进行通信。即把图3所示的音频协议框架的功能分布在两颗芯片上。
在另一些实施例中,处理器302可以实现图3所示音频协议框架中的Host和controller。即图3所示的音频协议框架的所有功能都放在一颗芯片上,也就是说,host和controller都放在同一颗芯片上,由于host和controller都在同一颗芯片上,因此物理HCI就没有存在的必要性,host和controller之间直接通过应用编程接口API来交互。
可以理解的是,图11示意的结构并不构成对音频输出设备300的具体限定。在本申请另一些实施例中,音频输出设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
参见图12,图12示出了本申请提供的一种芯片组的结构示意图。如图12所示,芯片组400可包括芯片1和芯片2。芯片1和芯片2之间通过接口HCI 409通信。其中,芯片1可包括以下模块:多媒体音频模块402、话音模块403、背景声模块404、内容控制模块405、流控制模块406、流数据模块407以及L2CAP模块408。芯片2可包括:LE物理层模块413、LE链路层模块410。
在芯片2中:
(1)LE物理层模块413,可用于提供数据传输的物理通道(通常称为信道)。通常情况下,一个通信***中存在几种不同类型的信道,如控制信道、数据信道、语音信道等等。
(2)LE链路层模块410,可用于在物理层的基础上提供两个或多个设备之间、和物理无关的逻辑传输通道(也称作逻辑链路)。LE链路层模块410可用于控制设备的射频状态,设备将处于五种状态之一:等待、广告、扫描、初始化、连接。广播设备不需要建立连接就可以发送数据,而扫描设备接收广播设备发送的数据;发起连接的设备通过发送连接请求来回应广播设备,如果广播设备接受连接请求,那么广播设备与发起连接的设备将会进入连接状态。发起连接的设备称为主设备(master),接受连接请求的设备称为从设备(slave)。
LE链路层模块410可包括LE ACL模块411和LE等时(ISO)模块412。LE ACL模块411可用于通过LE ACL链路传输设备间的控制消息,如流控制消息、内容控制消息、音量控制消息。LE ISO模块412可用于通过等时数据传输通道传输设备间的等时数据(如流数据本身)。
在芯片1中:
(1)L2CAP模块408,可用于管理逻辑层提供的逻辑链路。基于L2CAP,不同的
上层应用可共享同一个逻辑链路。类似TCP/IP中端口(port)的概念。
(2)多媒体音频模块402、话音模块403、背景声模块404可以是依据业务场景设置的模块,可用于将应用层的音频应用划分为多媒体音频、话音、背景声等几种音频业务。不限于多媒体音频、话音、背景声等,音频业务也可以分为:话音,音乐,游戏,视频,语音助手,邮件提示音,告警,提示音,导航音等。
(3)内容控制(content control)模块405可负责封装各种音频业务的内容
控制(如上一首、下一首等)消息,并向LE ACL模块411输出音频业务的内容控制消息,以通过LE ACL模块411传输封装后的内容控制消息。
(4)流控制(stream control)模块406可用于为特定音频业务进行参数协商,如QoS参数的协商,编码(Codec)参数的协商,ISO参数的协商,以及基于协商好的参数为该特定业务创建等时数据传输通道。为该特定业务创建等时数据传输通道可用于传输该特定音频业务的音频数据。本申请中,该特定音频业务可以称为第一音频业务,该协商好的参数可以称为第一参数。
(5)流数据模块407可可用于向LE等时(ISO)模块412输出音频业务的音频数据,以通过等时数据传输通道传输音频数据。等时数据传输通道可以是CIS。CIS可用于在连接状态的设备间传输等时数据。等时数据传输通道最终承载于LE ISO 412。
具体实现中,芯片1可以实现为应用处理器(AP),芯片2可以实现为蓝牙处理器(或称为蓝牙模块、蓝牙芯片等)。本申请中,芯片1可以称为第一芯片,芯片2可以称为第二芯片。芯片组400可以包含于前述方法实施例中的第一音频设备中,也可以包含于前述方法实施例中的第一音频设备、第二音频设备中。
可以理解的是,图12示意的结构并不构成对芯片组400的具体限定。在本申请另一些实施例中,芯片组400可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
参见图13,图13示出了本申请提供的一种芯片的结构示意图。如图13所示,芯片500可包括:多媒体音频模块502、话音模块503、背景声模块504、内容控制模块505、流控制模块506、流数据模块507、L2CAP模块508、LE物理层模块513、LE链路层模块510。关于各个模块的说明可参考图12中的对应模块,这里不再赘述。
与图12所示的芯片架构方式不同的是,图13示出的芯片架构方式是在放在一颗芯片上同时实现了图3所示的音频协议框架中的Host和Controller。由于Host和Controller实现于同一颗芯片上,因此该芯片内部可以不需要HCI。图12所示的芯片架构方式是在两颗芯片中分别实现图3所示的音频协议框架中的Host、Controller。
芯片500可以包含于前述方法实施例中的第一音频设备中,也可以包含于前述方法实施例中的第一音频设备、第二音频设备中。
可以理解的是,图13示意的结构并不构成对芯片500的具体限定。在本申请另一些实施例中,芯片500可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (18)
1.一种音频通讯方法,其特征在于,包括:
音频源和音频接收方建立低功耗蓝牙无连接的异步LE ACL链路;所述音频源和所述音频接收方之间建立有低功耗蓝牙连接,所述LE ACL链路用于传输包括流控制消息和内容控制消息的控制消息;
所述音频源通过所述LE ACL链路和所述音频接收方为第一音频业务执行参数协商,所述参数协商所协商的第一参数对应所述第一音频业务;
所述音频源基于所述第一参数和所述音频接收方创建所述第一音频业务对应的LE等时数据传输通道;所述第一音频业务对应的LE等时数据传输通道用于所述音频源向所述音频接收方发送所述第一音频业务的音频数据。
2.如权利要求1所述的方法,其特征在于,包括:
所述音频源生成所述第一音频业务的内容控制消息;
所述音频源通过所述LE ACL链路向所述音频接收方发送所述第一音频业务的内容控制消息;所述内容控制消息用于所述音频接收方对所述第一音频业务进行内容控制,所述内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
3.如权利要求1-2中任一项所述的方法,其特征在于,包括:
所述音频源通过所述LE ACL链路接收所述音频接收方发送的所述第一音频业务的内容控制消息;
所述音频源根据所述内容控制消息对所述第一音频业务进行内容控制,所述内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
4.如权利要求1-2中任一项所述的方法,其特征在于,包括:
所述音频源生成所述第一音频业务的音频数据;
所述音频源通过所述第一音频业务对应的LE等时数据传输通道向所述音频接收方发送所述第一音频业务的音频数据。
5.如权利要求1-2中任一项所述的方法,其特征在于,所述内容控制消息包括以下一项或多项:音量控制消息、播放控制消息、通话控制消息。
6.如权利要求1-2中任一项所述的方法,其特征在于,所述第一参数包括以下一项或多项:服务质量QoS参数、编码codec参数、等时数据传输通道参数。
7.一种音频通讯方法,其特征在于,包括:
音频接收方和音频源建立低功耗蓝牙无连接的异步LE ACL链路;所述音频源和所述音频接收方之间建立有低功耗蓝牙连接,所述LE ACL链路用于传输包括流控制消息和内容控制消息的控制消息;
所述音频接收方通过所述LE ACL链路和所述音频源为第一音频业务执行参数协商,所述参数协商所协商的第一参数对应所述第一音频业务;
所述音频接收方基于所述第一参数和所述音频源创建所述第一音频业务对应的LE等时数据传输通道;所述第一音频业务对应的LE等时数据传输通道用于所述音频接收方接收所述音频源发送的所述第一音频业务的音频数据。
8.如权利要求7所述的方法,其特征在于,包括:
所述音频接收方通过所述LE ACL链路接收所述音频源发送的所述第一音频业务的内容控制消息;
所述音频接收方根据所述内容控制消息对所述第一音频业务进行内容控制,所述内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
9.如权利要求7或8所述的方法,其特征在于,包括:
所述音频接收方生成所述第一音频业务的内容控制消息;
所述音频接收方通过所述LE ACL链路向所述音频源发送所述第一音频业务的内容控制消息;所述内容控制消息用于所述音频源对所述第一音频业务进行内容控制,所述内容控制包括以下一项或多项:音量控制、播放控制、通话控制。
10.如权利要求7-8中任一项所述的方法,其特征在于,包括:
所述音频接收方通过所述第一音频业务对应的LE等时数据传输通道接收所述音频源发送所述第一音频业务的音频数据。
11.如权利要求7-8中任一项所述的方法,其特征在于,所述内容控制消息包括以下一项或多项:音量控制消息、播放控制消息、通话控制消息。
12.如权利要求7-8中任一项所述的方法,其特征在于,所述第一参数包括以下一项或多项:服务质量QoS参数、编码codec参数、等时数据传输通道参数。
13.一种音频设备,其特征在于,包括:发射器和接收器,存储器以及耦合于所述存储器的处理器,所述存储器用于存储可由所述处理器执行的指令,所述处理器用于调用所述存储器中的所述指令,执行权利要求1-6中任一项所述的方法。
14.一种音频设备,其特征在于,包括:发射器和接收器,存储器以及耦合于所述存储器的处理器,所述存储器用于存储可由所述处理器执行的指令,所述处理器用于调用所述存储器中的所述指令,执行权利要求7-12中任一项所述的方法。
15.一种芯片组,其特征在于,包括:第一芯片和第二芯片;所述第一芯片包括流控制模块、内容控制模块、流数据模块;所述第二芯片包括LE ACL模块和LE等时模块;其中:
所述流控制模块用于为第一音频业务进行参数协商,并基于所述参数协商所协商的第一参数创建所述第一音频业务对应的LE等时数据传输通道;
所述内容控制模块用于向所述LE ACL模块输出所述第一音频业务的内容控制消息;
所述流数据模块用于向所述LE等时模块输出所述第一音频业务的音频数据;
所述LE ACL模块用于通过LE ACL链路传输所述第一音频业务的内容控制消息;
所述LE等时模块用于通过所述第一音频业务对应的LE等时数据传输通道传输所述第一音频业务的音频数据。
16.一种芯片,其特征在于,包括:流控制模块、内容控制模块、流数据模块、LE ACL模块和LE等时模块;其中:
所述流控制模块用于为第一音频业务进行参数协商,并基于所述参数协商所协商的第一参数创建所述第一音频业务对应的LE等时数据传输通道;
所述内容控制模块用于向所述LE ACL模块输出所述第一音频业务的内容控制消息;
所述流数据模块用于向所述LE等时模块输出所述第一音频业务的音频数据;
所述LE ACL模块用于通过LE ACL链路传输所述第一音频业务的内容控制消息;
所述LE等时模块用于通过所述第一音频业务对应的LE等时数据传输通道传输所述第一音频业务的音频数据。
17.一种通信***,其特征在于,包括:第一音频设备和第二音频设备,其中:
所述第一音频设备为权利要求13所述的音频设备,所述第二音频设备为权利要求14所述的音频设备。
18.一种通信***,其特征在于,包括:第一音频设备、第二音频设备和第三音频设备,其中:
所述第一音频设备为权利要求13所述的音频设备,所述第二音频设备、第三音频设备均为权利要求14所述的音频设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211136691.9A CN115665670A (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/118791 WO2020107491A1 (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211136691.9A Division CN115665670A (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113169915A CN113169915A (zh) | 2021-07-23 |
CN113169915B true CN113169915B (zh) | 2022-10-04 |
Family
ID=70852513
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211136691.9A Pending CN115665670A (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
CN201880099860.1A Active CN113169915B (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211136691.9A Pending CN115665670A (zh) | 2018-11-30 | 2018-11-30 | 无线音频***、音频通讯方法及设备 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN115665670A (zh) |
WO (1) | WO2020107491A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022120539A1 (zh) * | 2020-12-07 | 2022-06-16 | Oppo广东移动通信有限公司 | 参数设置方法、装置、设备及存储介质 |
US11709651B2 (en) | 2020-12-18 | 2023-07-25 | Realtek Semiconductor Corp. | Bluetooth audio broadcasting system and related multi-member Bluetooth device supporting Bluetooth low energy audio broadcasting operations and capable of synchronously adjusting audio volume |
US11818555B2 (en) | 2020-12-18 | 2023-11-14 | Realtek Semiconductor Corp. | Bluetooth audio broadcasting system and related multi-member Bluetooth device supporting Bluetooth low energy audio broadcasting operations and capable of synchronously adjusting audio volume |
US11709650B2 (en) | 2020-12-18 | 2023-07-25 | Realtek Semiconductor Corp. | Bluetooth audio broadcasting system and related multi-member Bluetooth device supporting Bluetooth low energy audio broadcasting operations and capable of synchronously adjusting audio volume |
CN114648865A (zh) * | 2020-12-18 | 2022-06-21 | 瑞昱半导体股份有限公司 | 蓝牙音频广播***及多成员蓝牙装置 |
CN114615647A (zh) * | 2022-03-11 | 2022-06-10 | 北京小米移动软件有限公司 | 通话控制方法、装置及存储介质 |
CN116939555A (zh) * | 2022-03-29 | 2023-10-24 | Oppo广东移动通信有限公司 | 服务查询的处理方法、装置、设备、存储介质及程序产品 |
CN115278332A (zh) * | 2022-06-30 | 2022-11-01 | 海信视像科技股份有限公司 | 一种显示设备、播放设备和数据传输方法 |
WO2024085664A1 (ko) * | 2022-10-18 | 2024-04-25 | 삼성전자 주식회사 | 전자 장치 및 전자 장치에서 설정 변경에 따라 데이터를 송신 및/또는 수신하는 방법 |
CN117707467B (zh) * | 2024-02-04 | 2024-05-03 | 湖北芯擎科技有限公司 | 音频通路多主机控制方法、***、装置及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068196A (zh) * | 2006-05-01 | 2007-11-07 | 中兴通讯股份有限公司 | 一种蓝牙手机接入蓝牙网关的业务接入控制方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8792945B2 (en) * | 2006-10-31 | 2014-07-29 | Motorola Mobility Llc | Methods and devices for dual mode bidirectional audio communication |
CN100495464C (zh) * | 2007-05-30 | 2009-06-03 | 上海晖悦数字视频科技有限公司 | 一种基于蓝牙的数字电视机遥控器 |
CN103733661A (zh) * | 2011-07-25 | 2014-04-16 | 摩托罗拉移动有限责任公司 | 蓝牙通信***中用于提供简档信息的方法和装置 |
KR101910067B1 (ko) * | 2014-07-03 | 2018-10-22 | 엘지전자 주식회사 | 블루투스 통신을 지원하는 무선 통신 시스템에서 오디오 데이터를 송수신하기 위한 방법 및 이를 위한 장치 |
US20160359925A1 (en) * | 2015-06-08 | 2016-12-08 | Lg Electronics Inc. | Method and apparatus for transmitting and receiving data in wireless communication system |
US20170208639A1 (en) * | 2016-01-15 | 2017-07-20 | Lg Electronics Inc. | Method and apparatus for controlling a device using bluetooth technology |
US10148453B2 (en) * | 2016-02-24 | 2018-12-04 | Qualcomm Incorporated | Using update slot to synchronize to Bluetooth LE isochronous channel and communicate state changes |
CN105792050A (zh) * | 2016-04-20 | 2016-07-20 | 青岛歌尔声学科技有限公司 | 一种蓝牙耳机及基于该蓝牙耳机的通信方法 |
-
2018
- 2018-11-30 CN CN202211136691.9A patent/CN115665670A/zh active Pending
- 2018-11-30 CN CN201880099860.1A patent/CN113169915B/zh active Active
- 2018-11-30 WO PCT/CN2018/118791 patent/WO2020107491A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068196A (zh) * | 2006-05-01 | 2007-11-07 | 中兴通讯股份有限公司 | 一种蓝牙手机接入蓝牙网关的业务接入控制方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020107491A1 (zh) | 2020-06-04 |
CN115665670A (zh) | 2023-01-31 |
CN113169915A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113169915B (zh) | 无线音频***、音频通讯方法及设备 | |
CN113228701B (zh) | 音频数据的同步方法及设备 | |
EP3893475B1 (en) | Method for automatically switching bluetooth audio encoding method and electronic apparatus | |
CN111602379B (zh) | 语音通话方法、电子设备及*** | |
CN113225693A (zh) | 一种蓝牙连接方法、设备及*** | |
CN113438354B (zh) | 数据传输方法、装置、电子设备和存储介质 | |
CN112469013B (zh) | 一种蓝牙连接方法及相关装置 | |
CN112119641B (zh) | 通过转发模式连接的多tws耳机实现自动翻译的方法及装置 | |
CN114710768B (zh) | 一种蓝牙回连方法及相关装置 | |
US20230189366A1 (en) | Bluetooth Communication Method, Terminal Device, and Computer-Readable Storage Medium | |
CN114827581A (zh) | 同步时延测量方法、内容同步方法、终端设备及存储介质 | |
KR20210019105A (ko) | 데이터 송신 방법 및 전자 기기 | |
CN114679710A (zh) | 一种tws耳机连接方法及设备 | |
WO2022222691A1 (zh) | 一种通话处理方法及相关设备 | |
CN114338913B (zh) | 故障诊断方法、电子设备及可读存储介质 | |
CN113132959B (zh) | 无线音频***、无线通讯方法及设备 | |
CN113810451A (zh) | 点对点链路的建立方法、装置、服务器和终端设备 | |
WO2022161006A1 (zh) | 合拍的方法、装置、电子设备和可读存储介质 | |
WO2021218544A1 (zh) | 一种提供无线上网的***、方法及电子设备 | |
CN113678481B (zh) | 无线音频***、音频通讯方法及设备 | |
CN115119214A (zh) | 一种立体声组网方法、***及相关装置 | |
WO2022267917A1 (zh) | 蓝牙通信方法及*** | |
WO2024067432A1 (zh) | 一种音频传输方法、***以及相关装置 | |
WO2024093871A1 (zh) | 一种按键事件监听方法、***和电子设备 | |
CN115426064B (zh) | 音频数据的同步方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |