CN117714426A - 用于视听会议中的可穿戴音频设备的动态音频馈送 - Google Patents
用于视听会议中的可穿戴音频设备的动态音频馈送 Download PDFInfo
- Publication number
- CN117714426A CN117714426A CN202311171928.1A CN202311171928A CN117714426A CN 117714426 A CN117714426 A CN 117714426A CN 202311171928 A CN202311171928 A CN 202311171928A CN 117714426 A CN117714426 A CN 117714426A
- Authority
- CN
- China
- Prior art keywords
- audio
- participant
- local
- local participant
- participants
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000030279 gene silencing Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
Abstract
本公开涉及用于视听会议中的可穿戴音频设备的动态音频馈送。本公开的方法可包括:在视听会议***处:接收由与本地参与者组中的第一本地参与者相关联的第一音频设备捕获的第一音频信息,接收由与第二本地参与者相关联的第二音频设备捕获的第二音频信息,以及从远程参与者接收第三音频信息。方法还可包括:根据确定第一本地参与者满足位置标准,向第一本地参与者的第一音频设备提供第一聚合音频馈送,包括来自远程参与者的第三音频信息并且省略来自第二本地参与者的第二音频信息;以及向第二本地参与者的第二音频设备提供第二聚合音频馈送,包括来自远程参与者的第三音频信息并且省略来自第一本地参与者的第一音频信息。
Description
技术领域
本公开的主题整体涉及视听会议***,并且更具体地涉及用于在视听会议中使用的音频设备的动态音频馈送。
背景技术
现代通信***促进用于与其他通信***连接和交互的各种各样的方式。例如,电子设备(诸如移动电话和个人计算机)包括麦克风、扬声器和摄像机,并且允许用户经由语音和视频通信彼此通信。在许多情况下,多个参与者可加入通信会话(有时被称为电话会议或视频会议)。在视频会议的情况下,来自每个参与者的音频和视频馈送都可被提供给每个其他参与者,使得每个参与者可听到、看到其他参与者并且与其他参与者交互。
发明内容
一种方法可包括:在视听会议***处:接收由与在视听会议期间共享物理空间的本地参与者组中的第一本地参与者相关联的第一音频设备捕获的第一音频信息;接收由与该组本地参与者中的第二本地参与者相关联的第二音频设备捕获的第二音频信息;以及从远程参与者接收第三音频信息。该方法还可包括:根据确定该第一本地参与者在该视听会议期间满足位置标准,向该第一本地参与者的该第一音频设备提供第一聚合音频馈送,该第一聚合音频馈送包括来自该远程参与者的该第三音频信息并且省略来自该第二本地参与者的该第二音频信息;以及向该第二本地参与者的该第二音频设备提供第二聚合音频馈送,该第二聚合音频馈送包括来自该远程参与者的该第三音频信息并且省略来自该第一本地参与者的该第一音频信息。
该方法还可包括:在该视听会议期间,至少部分地基于所接收的第一音频信息来确定该第一本地参与者正在说话;以及根据确定该第一本地参与者正在说话,在该远程参与者的图形用户界面中提供该共享物理空间中的该第一本地参与者正在说话的指示。
该第一音频设备可被配置为向与该第一本地参与者相关联的第一电子设备发送该第一音频信息,该第二音频设备可被配置为向与该第二本地参与者相关联的第二电子设备发送该第二音频信息,该第一电子设备可被配置为确定该第一本地参与者的第一位置信息,该第二电子设备可被配置为确定该第二本地参与者的第二位置信息,并且该视听会议***可被配置为至少部分地基于该第一位置信息和该第二位置信息来确定该第一本地参与者是否满足位置标准。
该第一音频设备可被配置为向与该第一本地参与者相关联的第一电子设备发送该第一音频信息,该第二音频设备可被配置为向与该第二本地参与者相关联的第二电子设备发送该第二音频信息,该第一电子设备可被配置为检测该第一电子设备和该第二电子设备之间的距离,并且当该第一电子设备可在该第二电子设备的阈值距离内时,可满足该位置标准。
该第一音频设备可包括扬声器和麦克风,并且该第一音频设备可被配置为至少部分地定位在该第一本地参与者的耳朵中并且可被配置为通过麦克风捕获来自该第一本地参与者的第一音频和来自该第二本地参与者的第二音频,并且可被配置为致使该扬声器将该第二音频输出到该第一本地参与者。
该麦克风可以是第一麦克风,该扬声器可以是第一扬声器,该第二音频设备可包括第二扬声器和第二麦克风,并且该第二可穿戴音频设备可被配置为至少部分地定位在该第二本地参与者的耳朵中并且可被配置为通过该第二麦克风捕获来自该第二本地参与者的该第二音频和来自该第一本地参与者的该第一音频。该第二音频设备可被配置为致使该第二扬声器将该第一音频输出到该第二本地参与者。
该第一音频设备可包括第一扬声器和第一麦克风***,该第一麦克风***包括第一麦克风阵列并且被配置为优先捕获来自该第一本地参与者的声音,并且该第二音频设备可包括第二扬声器和第二麦克风***,该第二麦克风***包括第二麦克风阵列并且被配置为优先捕获来自该第二本地参与者的声音。该第一麦克风***可执行波束成形操作以优先捕获来自该第一本地参与者的声音。
一种方法可包括:在被配置成为参与者组主办视听会议的视听会议***处,该组参与者包括共享物理空间的本地参与者组和远离该本地参与者的远程参与者组:从该组本地参与者的至少一个子集中的每个相应本地参与者接收相应音频信息,该相应音频信息由与该相应本地参与者相关联的相应可穿戴音频设备捕获;从该组远程参与者中的每个相应远程参与者接收相应音频信息;向本地参与者的可穿戴音频设备提供聚合本地音频馈送,该聚合本地音频馈送包括来自每个远程参与者的该音频信息并且排除来自每个本地参与者的该音频信息;以及向远程参与者提供聚合远程音频馈送,该聚合远程音频馈送包括来自除该远程参与者之外的每个远程参与者的该音频信息并且包括来自每个本地参与者的该音频信息。
该聚合本地音频馈送可以是第一聚合本地音频馈送,该方法还可包括向定位在该物理空间中并且包括扬声器和麦克风的会议音频设备提供第二聚合本地音频馈送,并且该第二聚合本地音频馈送可包括来自每个远程参与者的该音频信息并且排除来自每个本地参与者的该音频信息。该组本地参与者的该子集可以是该组本地参与者的第一子集,并且该会议音频设备的该麦克风捕获来自该组本地参与者的第二子集的音频。该麦克风可以是第一麦克风,该扬声器可以是第一扬声器,并且本地参与者的可穿戴音频设备可包括:第二麦克风,该第二麦克风被配置为捕获来自该本地参与者的音频;和第二扬声器,该第二扬声器被配置为将该第一聚合本地音频馈送输出到该本地参与者。
该方法还可包括:确定与该组本地参与者的该子集中的本地参与者相关联的标识符;以及根据确定该本地参与者正在说话,致使与远程参与者相关联的电子设备在视听会议用户界面中显示该本地参与者的该标识符。
该电子设备可以是第一电子设备,并且该本地参与者可与第二电子设备相关联。该第二电子设备可从与该本地参与者相关联的可穿戴音频设备接收音频信息,并且确定与该本地参与者相关联的该标识符可包括确定与由该第二电子设备执行的视听会议应用程序相关联的用户账户。
一种方法可包括:在视听会议***处,对于视听会议中的参与者组,其中该组参与者包括至少一个远程参与者:识别该组参与者中的满足相对于彼此的位置标准的本地参与者的集合,每个相应本地参与者与相应音频设备相关联;向所识别的本地参与者的该相应音频设备提供包括从该远程参与者接收的音频信息的聚合本地音频馈送;以及向该远程参与者提供包括从每个本地参与者接收的音频信息的聚合远程音频馈送。识别满足相对于彼此的该位置标准的该本地参与者的集合可包括确定第一本地参与者满足相对于第二本地参与者的该位置标准。
确定该第一本地参与者满足相对于该第二本地参与者的该位置标准可包括确定该第一本地参与者与该第二本地参与者可处于同一房间中。
确定该第一本地参与者满足相对于该第二本地参与者的该位置标准可包括确定与该第一本地参与者相关联的第一音频设备检测到也由与该第二本地参与者相关联的第二音频设备检测的音频。
该方法还可包括向与该本地参与者的集合中的第一本地参与者相关联的第一音频设备提供由该第一音频设备的麦克风捕获的来自第二本地参与者的音频。该方法还可包括向与该本地参与者的集合中的第二本地参与者相关联的第二音频设备提供由该第二音频设备的麦克风捕获的来自该第一本地参与者的音频。
附图说明
通过以下结合附图的详细描述,将容易理解本公开,其中类似的附图标号指代类似的结构元件,并且其中:
图1示出了实例化视听会议***的示例性联网环境;
图2示出了视听会议***的图形用户界面;
图3A至图3B示出了用于视听会议***的示例性聚合音频馈送;
图4示出了具有视听会议中的多个参与者的示例性共享物理空间;
图5示出了具有视听会议中的多个参与者的另一个示例性共享物理空间;
图6示出了具有视听会议中的多个参与者的另一个示例性共享物理空间;
图7示出了具有视听会议中的多个参与者的另一个示例性共享物理空间;
图8是用于向视听会议中的参与者提供聚合音频馈送的示例性方法的流程图;
图9示出了示例性可穿戴音频设备的示意图;并且
图10示出了示例性电子设备的示意图。
具体实施方式
现在将具体地参考在附图中示出的代表性实施方案。应当理解,以下描述不旨在将实施方案限制于一个优选实施方案。相反,其旨在涵盖可被包括在由所附权利要求书限定的所述实施方案的实质和范围内的另选形式、修改形式和等同形式。
视听会议***越来越多地用于允许在多个不同位置中的参与者彼此通信。视听会议***可在参与者之间提供音频(例如,语音)和/或视频通信。视听会议***可通过诸如计算机(例如,膝上型计算机、台式计算机)、平板计算机、移动电话、专用视听会议硬件(例如,扬声器电话、视频电话、相机等)的个人电子设备来访问。个人电子设备可向参与者显示图形用户界面以提供音频和/或视频内容,并且以其他方式促进用户与视听会议***的交互。
在一些情况下,图形用户界面显示视听(“AV”)会议中的所有参与者或参与者的子集的视频馈送。在一些情况下,图形用户界面提供在给定时间哪些参与者正在说话的指示。例如,正在活跃地说话的参与者的视频馈送可与突出显示的边框一起出现或者可显示在图形用户界面中的突出位置中。在一些情况下,还可显示其姓名或用户名。以这种方式,参与者可容易地确定在给定时间谁正在说话。这在具有许多参与者的AV会议中和/或在给定参与者可能不熟悉其他参与者的情况下可能是特别有益的。
在一些情况下,诸如在包括远程和本地雇员两者的劳动力中,AV会议的一些参与者可从同一房间加入AV会议。例如,从办公室工作的那些雇员可在会议室中加入AV会议,而远程雇员从他们的家或其他远程位置加入AV会议。常规上,会议室可具有AV会议硬件(诸如扬声器电话和相机)以从会议室中的所有参与者捕获音频和视频内容。对于远程参与者,会议室可被呈现为单个视频和音频馈送,使得当会议室中的任何人说话时,远程参与者的用户界面示出会议室正在活跃地提供音频,而不区分会议室中的单独参与者。因此,用户可能难以确定会议室中的哪个参与者正在说话。
如本文所述,共享空间中(例如,会议室中)的参与者可使用可穿戴电子设备(诸如耳戴式耳机(例如,耳塞))以从AV会议接收音频并向AV会议提供音频。此外,共享空间中的参与者可使用唯一帐户或登录***经由个人电子设备(诸如移动电话、膝上型计算机或平板计算机)加入AV会议。这样,AV会议***可将名称或唯一标识符与每个本地参与者相关联。
然而,当多个参与者在共享用于AV会议的公共空间时使用可穿戴音频设备时,他们可能经历音频问题。例如,他们将听到说话的其他本地参与者(由于在同一房间中),并且还将接收经由他们的可穿戴音频设备重放给他们的那些参与者的语音。这可能令人困惑和分心,并且通常呈现不可接受的AV会议体验。
因此,如本文所述,可提供AV会议***,其确定AV会议中的某些参与者是否正在共享公共空间,并且向本地参与者提供定制音频馈送。例如,AV会议***可生成向每个远程参与者提供的聚合音频馈送,其中聚合音频馈送包括来自AV会议中的每个参与者的音频信息。然而,对于共享相同空间的参与者,AV会议***可提供包括来自每个远程参与者的音频信息的音频馈送,但是排除来自其他本地参与者的音频馈送。因此,本地参与者仅直接听到其他本地参与者(例如,不通过AV会议***),而仍然经由其可穿戴设备(例如,耳塞)听到远程参与者。因此,本文所描述的AV会议***向远程用户提供改进的AV会议功能,因为尽管共享公共空间,个体仍可被唯一地识别,而不会有损于本地参与者的体验。
如本文所使用的,聚合音频馈送是指作为AV会议的一部分提供给参与者的音频馈送。聚合音频馈送被配置为提供来自AV会议中的其他参与者的音频信息。聚合音频馈送可被理解为来自其他参与者的一组音频通道或路径,并且即使当仅一个(或没有)参与者实际正在输出音频时,聚合音频馈送也可存在。(例如,聚合音频馈送可包括来自一个活跃说话者和一个或多个静音或无声参与者的音频。)
如本文所使用的,本地参与者是指正与AV会议中的一个或多个其他参与者共享物理空间的AV会议中的参与者。如本文所使用的,远程参与者是指没有与AV会议中的其他参与者共享物理空间的AV会议中的参与者。因此,术语本地和远程并不一定暗示任何绝对地理位置。例如,在一些情况下,远程参与者可在AV会议期间在办公室中,而多个本地参与者在相同建筑物中的相邻会议室中。作为另一个示例,远程参与者可在AV会议期间在家庭办公室中,而多个本地参与者共享远程办公建筑物中的单个办公室。
图1示出了其中可实例化AV视听会议***的示例性联网环境。AV会议***可主办AV会议,其可包括从参与者接收音频和/或视频信息、向参与者提供音频和/或视频信息、确定什么音频信息将包括向每个参与者提供的音频馈送、生成不同参与者的不同聚合音频馈送、以及以其他方式促进AV会议和AV会议的参与者的AV会议功能性。
如图1所示,AV会议可包括一个或多个远程参与者110(例如,110-1、110-2)和一个或多个本地参与者112(例如,112-1、112-2、112-3)。本地参与者112可共享物理空间107,诸如公共房间、会议室、办公室等。共享物理空间107可以是其中本地参与者112通常在说话距离内的任何空间(例如,使得他们可在该空间中听到彼此说话)。
每个用户可与电子设备106(例如,106-1-106-5)相关联。电子设备106可以是有利于访问AV会议的任何设备,诸如平板计算机、台式计算机、膝上型计算机、移动电话、专用AV会议硬件等。电子设备106可包括麦克风、视频或静态相机和/或其他视听部件以从参与者捕获音频和视频信息并且将音频和视频信息提供给参与者。电子设备106还可生成图形用户界面并且向参与者显示图形用户界面。图形用户界面可显示AV会议中的其他参与者的视频馈送,并且可允许用户控制AV会议的各个方面和/或他们在AV会议中的参与(例如,激活/去激活视频捕获、静音音频、加入AV会议或从AV会议断开等)。
参与者还可使用可穿戴音频设备118(例如,118-1至118-5)或其他音频设备来提供和/或接收AV会议的音频信息。可穿戴音频设备118可包括一个或多个麦克风和一个或多个扬声器,并且可与和该参与者相关联的电子设备106通信(例如,经由有线或无线通信)。可穿戴音频设备118可从参与者捕获音频信息,并且将所捕获的音频信息传输到与参与者相关联的电子设备106。电子设备106可接着将所捕获的音频信息传输到另一个设备(例如,AV会议***服务器102)以用于包括在向其他参与者分配的聚合音频馈送中。可穿戴音频设备118可处理所接收的音频信息,之后将所接收的音频信息传输到电子设备106。在一些情况下,可穿戴音频设备118对所捕获的音频信息执行模数转换。其他处理操作可包括噪声消除、波束成形、滤波等。
可穿戴音频设备118可至少部分地定位于参与者的耳朵中。例如,可穿戴音频设备118可以是或类似于耳塞。在其他情况下,可穿戴音频设备118可为盖耳式或贴耳式耳机或其他类型的可穿戴音频设备。在一些情况下,可穿戴音频设备118被配置为仅用于音频捕获(例如,其可缺少扬声器或以其他方式未被配置为将音频输出到参与者),或仅用于音频输出(例如,其可缺少麦克风或以其他方式未被配置为捕获参与者的音频)。在一些情况下,可使用其他类型的音频设备来代替或补充可穿戴音频设备。例如,移动电话或膝上型计算机可提供高度定向的音频捕获(以及任选地高度定向的音频输出),使得即使在不必穿戴设备的情况下也可从本地参与者捕获单独的音频馈送。其他类型的音频设备(可穿戴的和不可穿戴的)也被考虑。
共享物理空间107可包括会议音频设备115和会议相机119。会议音频设备115可包括一个或多个扬声器和一个或多个麦克风,并且可用于捕获音频并为没有可穿戴音频设备的本地参与者呈现音频(和/或提供其他功能)。会议相机119可捕获共享物理空间107的视频信息以用于向其他参与者显示。
AV会议***可由一个或多个计算资源实例化。计算资源可包括一个或多个服务器(例如,服务器102)、数据存储装置(例如,数据库)、基于云的计算资源、程序、***、子***或提供本文描述的功能的其他部件。计算资源还可包括客户端设备,诸如电子设备106。计算资源可在网络104上通信以提供如本文所述的AV会议***的服务和/或功能。
图1示出了包括远程参与者以及在AV会议期间共享物理空间的本地参与者的AV会议。如上所述,当本地参与者使用可穿戴音频设备(其可与穿戴者的账户或名称唯一地相关联)来捕获其音频信息时,AV会议***可向远程用户(以及任选地所有用户)显示本地参与者的标识符或以其他方式唯一地标识本地参与者,如本文相对于图2所描述的。
图2是可在AV会议期间向参与者显示的示例性图形用户界面200。图形用户界面200(或简称为界面200)可包括单独视频馈送窗口202(例如,202-1-202-4),其示出其他参与者的视频馈送。图形用户界面200还可包括主馈送窗口204,其可比单独视频馈送窗口202更大和/或更显著地显示。图形用户界面200还可包括用于控制AV会议和/或参与者的设备的各方面的控件208。例如,控件208可允许图形用户界面的用户控制其音频设置(例如,使其麦克风静音、改变音频源等)、控制其视频设置(例如,启用或禁用其摄像机)、控制视频馈送窗口在图形用户界面中的布置等。可包括其他控件作为图2所示的内容的替代或补充。
视频馈送窗口202、204可显示来自与单独参与者相关联的电子设备和/或来自共享物理空间(例如,会议室)的视频馈送。例如,每个参与者可经由可包括捕获参与者的视频的相机的设备(诸如膝上型计算机、平板计算机、台式计算机等)连接到AV会议。可在AV会议的参与者的图形用户界面中显示所捕获的参与者的视频(来自其相应电子设备)。来自共享物理空间的视频馈送也可被显示。在这种情况下,视频馈送可包括共享空间中的参与者的全部或子集。在一些情况下,会议室或共享空间摄像机可在确定参与者正在说话时自动放大该参与者。
图2所示的视频馈送窗口202、204的特定布置和内容仅是示例,并且图形用户界面可具有与所示的配置不同的配置。例如,图形用户界面200可显示单独视频馈送窗口202的网格而不显示主馈送窗口204。另选地,图形用户界面200可仅包括单个窗口(其可自动地显示当前正在说话的参与者)。视频馈送窗口的特定布置以及与那些窗口相关联的视频馈送(以及与视频馈送窗口在AV会议期间可如何改变有关的设置)可由AV会议的参与者或管理员选择。
如本文所述,如本文所述AV会议***的一个优点在于,共享物理空间中的参与者可各自与其自己的音频馈送或通道(以及任选地还有其自己的视频馈送)相关联,使得AV会议***的图形用户界面可指示共享空间中的哪个特定参与者正在说话。图2示出了图形用户界面200可指示共享物理空间中的参与者组中的哪个参与者正在说话的示例性方式。例如,图2示出了示例性AV会议,其中本地参与者组(例如,用户1-3)定位在会议室中,并且至少一个远程用户(例如,用户4)远离会议室定位。
如图2所示,每个本地参与者与可穿戴音频设备(例如,具有扬声器和一个或多个麦克风的一对耳塞)和电子设备(例如,膝上型计算机)相关联。因此,可为每个本地参与者分别捕获音频信息(以及任选的视频信息)。
当AV会议***检测到本地参与者正在说话时,AV会议***可致使远程参与者的图形用户界面指示哪个特定本地参与者正在说话。这是可能的,因为来自本地参与者的音频信息(以及任选的视频信息)是由与单独本地参与者唯一地相关联的一个或多个设备捕获的。例如,如上所述,来自单独本地参与者的音频信息可由本地参与者所穿戴的单独可穿戴音频设备捕获,并且相应本地参与者的视频信息可由与相应本地参与者单独相关联的电子设备捕获。因此,AV会议***可唯一地识别单独说话者,即使他们处于与多个其他参与者共享的物理空间中。
图形用户界面可以各种方式指示活跃说话者。例如,可以视觉上不同的方式强调或以其他方式显示正在说话的参与者的视频馈送窗口。图2示出了通过粗体边框显示的单独视频馈送窗口202-2,从而指示该视频馈送的参与者(例如,用户2、203)正在活跃地说话。还预期视觉上区分视频馈送窗口的其他方式。例如,视频馈送窗口的边框可具有特定颜色,或者视频馈送窗口可改变在图形用户界面中的尺寸和/或位置,或者可在视频馈送窗口附近或在视频馈送窗口中示出图形(例如,星形、扬声器的图像、动画等)。在一些情况下,可在视频馈送窗口中和/或在不同位置中显示说话参与者的用户名。
在共享物理空间中的本地参与者具有专用相机(例如,经由膝上型计算机、平板计算机、电话或其正用于连接到AV会议的其他计算设备)的情况下,可在单独视频馈送窗口中显示那些参与者。在一些情况下,共享物理空间还可具有捕获多个参与者的视频的相机。作为本地参与者的单独视频馈送的替代或补充,该相机馈送可显示在AV会议的图形用户界面中。例如,图2示出了在主馈送窗口204中示出的“会议室”视频馈送。会议室视频馈送可显示多个本地参与者(诸如用户1、用户2和用户3)的视频。虽然图2在主馈送窗口中示出会议室视频馈送,但这仅是示例,并且可在不同位置中示出不同视频馈送,如上所述。
在视频馈送中显示具有多个本地参与者的共享物理空间的情况下,AV会议***仍然可指示哪个本地参与者正在说话。例如,如图2所示,在主馈送窗口204中示出了具有用户1-3的会议室。当AV会议***确定共享物理空间中的特定本地参与者正在说话(例如,用户2、203)时,图形用户界面可显示说话者的标识符206(例如,“用户2正在说话”)。标识符可被示出在共享物理空间的视频馈送窗口中或其附近以允许观看者快速地确定谁正在说话以及说话者位于何处(例如,其处于哪个共享物理空间中)。
在共享物理空间具有相机并且共享物理空间中的本地参与者也具有其自己的相机的情况下,来自共享空间和来自单独本地参与者两者的视频馈送可显示在图形用户界面中,如图2所示。
如本文所述,为了使本地参与者在参与AV会议时有效地共享物理空间,本文所描述的AV会议***(至少部分地)取决于接收参与者是否正在与其他参与者共享公共物理空间来为不同参与者生成不同聚合音频馈送。因此,例如,在AV会议期间共享物理空间的参与者(例如,本地参与者)的聚合音频馈送可包括来自远程参与者的音频信息,但排除来自相同共享物理空间中的其他本地参与者的音频信息。相比之下,远程参与者的聚合音频馈送包括来自本地参与者和远程参与者两者的音频信息。
图3A示出了AV会议***可如何创建聚合音频馈送并且将其分配给AV会议的参与者。具体地,图3A示出了AV会议***300(或其部分),该AV会议***从多个参与者接收音频信息,为参与者生成适当的聚合音频馈送,并且向参与者提供聚合音频馈送。AV会议***300还可从各个参与者接收视频信息并且向各种参与者提供视频馈送。
AV会议***300可包括音频馈送聚合服务304,其从共享物理空间的参与者(例如,本地参与者)接收音频信息310、311,并且从没有与其他参与者共享物理空间的参与者(例如,远程参与者)接收音频信息312。音频信息310、311、312可由与参与者相关联的一个或多个电子设备捕获。在本地参与者的情况下,音频信息310、311可由那些参与者正在穿戴的可穿戴音频设备捕获。例如,可穿戴音频设备可以是或可包括至少部分地定位在参与者的耳朵中的耳挂式部件(例如,耳塞)。可穿戴音频设备可包括麦克风***(例如,包括一个或多个麦克风和/或其他音频换能器以及相关联的电路***)或者是麦克风***的一部分,并且可执行波束成形操作以优先地从穿戴者捕获声音。可穿戴音频设备还可执行其他音频操作,诸如噪声消除、噪声抑制、滤波、自动静音等。在一些情况下,可穿戴音频设备可通信地耦接到另一个电子设备(例如,移动电话、膝上型计算机或平板计算机等),并且波束成形和其他音频操作可由可穿戴音频设备结合其他电子设备来执行。
来自远程参与者的音频信息312可由与远程参与者相关联的一个或多个电子设备捕获。在一些情况下,音频信息可由可穿戴音频设备(例如,如本文中所描述的耳塞)捕获。在其他情况下,音频信息可由移动电话、膝上型计算机、平板计算机或台式计算机、扬声器电话***等的麦克风***捕获。用于从远程参与者捕获信息312的音频设备可执行波束成形和/或其他音频操作,如相对于本地参与者所描述的。然而,因为远程参与者不与其他AV会议参与者共享物理空间,所以可能不需要波束成形和用于优先地从单个个体捕获声音的其他操作。例如,优先地从本地参与者捕获音频信息可促进共享空间中的特定说话者的识别(例如,使得与第一本地参与者相关联的麦克风***不捕获第二本地参与者的语音)。相比之下,由远程参与者所使用的麦克风***捕获的任何音频可被认为是源自该参与者(或至少该参与者的环境),并且因此AV会议***可有效地操作而无需波束成形或用于远程参与者的其他优先音频捕获过程。
如图3A所示,音频馈送聚合服务304可从本地和远程参与者接收音频信息310、311、312。音频信息310、311、312可从参与者正用来连接到AV会议的电子设备发送到音频馈送聚合服务304。音频信息310、311、312可使用流音频协议(例如,实时流协议(RTSP)、实时传输协议(RTP)等)、模拟音频信号或其他合适的协议或技术来发送。音频信息310、311、312可经由参与者用来连接到AV会议的电子设备来发送,并且可与特定参与者相关联。例如,音频信息的每个流或通道可唯一地与名称、用户名、账户、邀请或其他数据或信息相关联。AV会议***可使用该信息来向在给定时间正在说话的参与者指示。
音频馈送聚合服务304可生成一个或多个聚合音频馈送以提供给AV会议的参与者。对于远程参与者,音频馈送聚合服务304可生成聚合远程音频馈送308,其包括除了接收聚合远程音频馈送的远程参与者之外的每个本地参与者和每个远程参与者的音频。可将聚合远程音频馈送308提供给远程参与者。因此,远程参与者可听到来自每个AV会议参与者的音频。(对于远程参与者和本地参与者,可从他们接收的音频馈送中排除参与者自己的音频信息,以避免“回声”或其他分散注意力和/或混淆的音频现象。)
对于本地参与者,音频馈送聚合服务304可生成聚合本地音频馈送306。每个本地音频馈送对于共享位置可以是唯一的。例如,第一聚合本地音频馈送306-1对于第一共享物理空间301(位置1)是唯一的,并且第二聚合本地音频馈送306-2对于第二共享物理空间303(位置2)是唯一的。例如,到第一共享物理空间301的第一聚合本地音频馈送306-1包括来自远程参与者的音频信息(例如,音频信息312)和来自共享不同物理空间的其他本地参与者的音频信息(例如,来自位置2的音频信息311),但省略来自共享相同物理空间的其他本地参与者的音频信息(例如,来自位置1的音频信息310)。更具体地,第一共享物理空间301中的本地参与者将直接听到彼此,并且因此不需要包括该共享物理空间中的其他本地参与者的语音的音频馈送(并且将被其干扰)。类似地,第二聚合本地音频馈送306-2包括来自远程参与者的音频信息(例如,音频信息312)和来自共享不同物理空间的其他本地参与者的音频信息(例如,来自位置1的音频信息310),但省略来自共享相同物理空间的其他本地参与者的音频信息(例如,来自位置2的音频信息311)。
图3B还示出了可如何生成聚合音频馈送以及它们可包括什么音频信息。例如,来自第一远程参与者的音频信息312-1和来自第二远程参与者的音频信息312-2被包括在提供给本地参与者的聚合本地音频馈送306-1中,而来自本地参与者的音频信息310-1和310-2不被包括在聚合本地音频馈送306-1中。来自本地参与者的音频信息310和来自远程参与者的音频信息312被包括在提供给远程参与者的聚合远程音频馈送308中。(如上所述,参与者自己的音频信息从提供给该参与者的聚合音频馈送中省略)。
可以各种方式确定参与者是否正在共享物理空间。例如,与AV会议参与者相关联的一个或多个电子设备可确定用户的位置信息和/或与其他用户的接近度。位置信息和/或接近度信息可用于确定参与者是否满足指示参与者正与一个或多个其他参与者共享物理空间的位置标准。
可以各种方式确定参与者的位置和/或接近度信息。例如,与参与者相关联的电子设备(例如,移动电话、计算机、可穿戴电子设备、可穿戴音频设备、可无线定位标签等)可被配置为确定该参与者的地理位置。可使用GPS定位***、惯性测量单元、无线三角测量和/或其他位置确定***和/或技术来确定地理位置。AV会议***可比较参与者的地理位置并且基于地理位置来确定哪些参与者满足位置标准。例如,如果两个参与者的地理位置指示它们在彼此的阈值距离内(例如,约5英尺、约10英尺、约20英尺、约50英尺、或另一个合适的阈值距离),则AV会议***可确定那些参与者有可能共享物理空间并且可相应地为那些参与者生成聚合本地音频馈送。在一些情况下,AV会议***可使用地图和/或建筑物信息来确定是否满足位置标准。例如,AV会议***可使用地图和/或建筑物信息以及AV会议中的参与者的地理位置来确定是否有任何参与者正在共享物理空间。这可帮助避免接近度的假阳性确定,诸如当来自相邻但分开的办公室的两个参与者正在加入AV会议时可能发生的。
在一些情况下,电子设备被配置为检测其他电子设备之间的距离以确定接近度。例如,电子设备可包括使用飞行时间技术来确定与其他电子设备的接近度的天线(例如,超宽带天线或其他类型的天线)。因此,AV会议***可确定设备(以及因此其用户)是否满足相对于其他设备的位置标准。例如,如果两个参与者的设备的接近度指示它们在彼此的阈值距离内(例如,约5英尺、约10英尺、约20英尺、约50英尺、或另一个合适的阈值距离),则AV会议***可确定那些参与者有可能共享物理空间并且可相应地为那些参与者生成聚合本地音频馈送。
在一些情况下,AV会议***可执行附加或另选操作以确定参与者是否正在共享物理空间。例如,与AV会议参与者相关联的一个或多个设备可输出音频信号(例如,音调、可听模式、歌曲、编码音频信号等)。如果其他设备检测到音频信号,则AV会议***可确定那些设备有可能共享物理空间或者以其他方式足够接近以至于参与者有可能在本地听到彼此。还可设想其他技术。
在一些情况下,参与者可手动地选择他们是否正在与其他参与者共享本地空间。例如,AV会议图形用户界面可提供AV会议中的参与者的列表,并且参与者可手动地选择他们紧邻哪些其他参与者。在一些情况下,如果两个参与者已经选择彼此,则参与者将仅被AV会议***识别为处于相同位置。
AV会议***可选择本地参与者的初始或建议选择(例如,基于如上所述的位置信息和/或接近度信息),并且参与者可覆盖或改变初始或建议选择(例如,如果AV会议***不正确地将用户识别为本地或远程)。在一些情况下,图形用户界面可显示参与者的代表性地图,其示出哪些参与者已被确定为共享物理位置,以及哪些已被确定为远程。用户可以能够拖放参与者的表示以正确地反映他们的位置(或者以其他方式改变初始选择)。
图4示出了具有两个本地参与者402、404的示例性共享物理空间400,其示出了可以是AV会议***的一部分和/或与AV会议***交互的示例性可穿戴音频设备和电子设备。本地参与者的可穿戴音频设备406、408可通信地耦接到本地参与者的一个或多个电子设备410、412(和/或以其他方式与其相关联),并且电子设备可发送和/或接收AV会议的本地参与者的音频和视频信息。
如图所示,每个本地参与者正在使用可穿戴音频设备406、408,其可以是或者可类似于耳塞并且可至少部分地定位在参与者的耳朵中。可穿戴音频设备406、408可包括麦克风***,该麦克风***包括麦克风阵列(例如,每个耳塞有至少一个麦克风)并且执行波束成形操作以优先捕获由穿戴者产生的声音。以此方式,当第一本地参与者402说话时,第二本地参与者404的可穿戴音频设备408将不捕获(或者将捕获较少的)第一本地参与者的音频输出。因此,可预期来自第一本地参与者的可穿戴音频设备406的音频信息仅包含(或主要包含)来自第一本地参与者的音频输出,并且可将由该可穿戴音频设备捕获的音频输出分配给与该可穿戴音频设备相关联的参与者(例如,为了指示在给定时间哪个本地参与者正在说话的目的)。
可穿戴音频设备406、408还可包括直通音频模式,其中本地音频可由可穿戴音频设备406、408捕获并且再现给穿戴者。通过减轻可穿戴音频设备406、408原本可能产生的静音或衰减效应(例如,由于定位于穿戴者的耳朵中),直通音频模式可允许每个本地参与者听到其他本地参与者。在一些情况下,用于直通音频模式的音频处理可在AV会议***外部执行(例如,由可穿戴音频设备406、408执行,而不依赖于其他设备和/或在AV会议***操作内的音频处理)。当正在使用直通音频模式时,还可向参与者提供AV会议的音频馈送。因此,参与者可经由直通音频听到其他本地参与者,并且可经由聚合音频馈送听到远程参与者。
可穿戴音频设备406、408还可包括被动噪声消除(例如,由于物理阻塞或堵住耳朵而引起的静音和/或声音衰减)和/或主动噪声消除功能性(例如,处理所接收的环境音频并且主动地消除、静音和/或衰减所接收的环境音频中的一些或全部)。
如图4所示,参与者可使用一个或多个电子设备和/或与一个或多个电子设备相关联,这些电子设备中的全部或一些可用于确定哪些用户正在共享物理空间。例如,如图4所示,每个参与者与第一电子设备410和第二电子设备412相关联(尽管每个参与者可与更多或更少的电子设备相关联)。每个参与者的电子设备410、412可与共同用户帐户或标识符相关联,使得来自与参与者相关联的任何设备的信息可用于确定该参与者的位置信息。例如,第一参与者402的第一电子设备410-1可与第二参与者404的第二电子设备412-2交互以确定是否满足位置标准(例如,它们在阈值距离内并且因此可能在共享物理空间中)。作为另一个示例,由第二电子设备412确定的参与者的地理位置可由AV会议***评估以确定是否满足位置标准。作为另一个示例,第二电子设备412可发射可由可穿戴音频设备406、408检测以确定参与者是否在共享物理空间中的音频信号。其它技术也可行。
电子设备还可向AV会议***的其他部件提供参与者的音频和/或视频信息。例如,可将来自本地参与者的可穿戴音频设备的音频信息传输到第一电子设备410和/或第二电子设备412,其可接着将音频信息发送到音频馈送聚合服务。类似地,用户的视频信息可由第一电子设备410和/或第二电子设备412捕获,该第一电子设备和/或第二电子设备然后可向AV会议***的视频馈送服务发送视频信息。
电子设备410、412可执行与AV会议***交互和/或作为其部分的一个或多个应用程序。例如,当加入AV会议时,用户可经由一个或多个电子设备上的应用程序发起到特定AV会议的连接。在一些情况下,与给定参与者相关联(例如,链接到公共用户账户)的电子设备可向AV会议***提供关于参与者的信息,即使用户没有活跃地使用该设备来连接到AV会议。例如,第一本地参与者402可经由第一电子设备410-1加入AV会议,而关于第一本地参与者402的位置信息可至少部分地基于来自第二电子设备412-2的信息来确定。
如图4所示,共享物理空间可与一个或多个会议音频设备(诸如会议音频设备418)相关联。会议音频设备418可包括一个或多个扬声器和一个或多个麦克风。会议音频设备418可用于从在共享物理空间中但不具有专用音频设备的参与者(例如,不经由电子设备连接到AV会议的参与者)捕获音频信息并向其提供聚合音频输出。会议音频设备418可包括麦克风阵列并且可执行波束成形操作以区分共享物理空间400中的不同参与者的音频输出。在一些情况下,其音频输出由会议音频设备418捕获的参与者可与名称或标识符相关联(例如,由用户手动地或自动地),使得AV会议***可在参与者在共享空间中说话时唯一地识别该参与者,即使没有专用音频捕获设备。
会议音频设备418还包括可输出AV会议的聚合音频馈送的一个或多个扬声器。例如,当在共享物理空间中存在使用会议音频设备418进行到AV会议的音频连接的本地参与者时,会议音频设备418可经由扬声器输出针对该位置的聚合的本地音频馈送。在此类情况下,其他本地参与者的可穿戴音频设备可以直通音频模式操作并且可不接收聚合音频馈送(或可以其他方式不将聚合音频馈送输出到参与者)以避免重复和/或重叠音频。作为另一个示例,其他本地参与者的可穿戴音频设备可以噪声消除或声音阻塞模式操作,并且可将完全聚合音频馈送(例如,包括来自除接收参与者之外的所有参与者的音频信息)提供给参与者。在一些情况下,具有可穿戴音频设备的每个参与者可在其处于与使用会议音频设备(或以其他方式不具有用于接收会议音频馈送的个人可穿戴音频设备)的参与者共享的空间中时选择以直通模式操作还是以声音阻塞模式操作。
在一些情况下,可穿戴音频设备可包括可确定穿戴者的头部的位置的感测***,以及可致使音频输出基于穿戴者的头部的位置而改变和/或致使音频输出表现为起源于特定位置的音频输出***。在此类情况下,来自AV会议中的远程参与者的音频可被提供给本地参与者,使得其音频对于本地参与者而言好像来自共享物理空间中的特定位置。图5示出了包括三个本地参与者502-1-502-3的示例性共享物理空间500。图5从第一本地参与者502-1的角度示出了各种音频源的感知位置。例如,第一本地参与者502-1可基于每个其他本地参与者的实际位置来感知其音频源位置。
可穿戴音频设备可输出来自远程参与者的音频,使得所感知的相应远程参与者的音频源位置处于共享物理空间中的不同相应位置处。因此,例如,对于第一本地参与者502-1,来自第一远程参与者504-1的音频信息可听起来如同它源自共享物理空间中的特定位置(例如,在第一本地参与者502-1的左侧,如图5所示的)。类似地,对于第一本地参与者502-1,来自第二远程参与者504-2的音频信息可听起来如同它源自共享物理空间中的不同位置(例如,大致在第一本地参与者502-1的对面,如图5所示的)。因此,第一本地参与者将会把来自远程参与者的音频感知为源自共享物理空间500中的不同的唯一位置。远程参与者的唯一位置的感知可使用立体声效果来产生,诸如通过向收听者的每个耳朵提供不同的音频输出音量,和/或随着收听者的头部移动而改变每个耳朵中的音频输出音量。
此外,因为可穿戴音频设备可确定穿戴者的头部和/或身体的位置,所以当收听者的头部移动时,所感知的远程参与者的位置可保持相同。因此,例如,对于第一本地参与者502-1,来自第一远程参与者504-1的音频信息可听起来如同它源自共享空间中的相同位置处,而不管本地参与者的头部的位置或取向如何。换句话说,输出到第一本地参与者502-1的音频的各方面可根据本地参与者的头部移动而改变,使得来自远程参与者的音频看起来在共享空间中具有固定位置。
在一些情况下,远程参与者的虚拟位置对于所有本地参与者可以是相同的。因此,例如,呈现给每个本地参与者的音频可被配置为使得第一远程参与者504-1在第一本地参与者502-1和第三本地参与者502-3之间,并且第二远程参与者504-2在第二本地参与者502-2和第三本地参与者502-3之间。在一些情况下,来自与本地参与者相关联的设备的位置和/或接近度信息可用于生成本地参与者图,并且远程参与者可使用该图来虚拟地定位在共享物理空间中。以此方式,每个本地参与者可感知处于相同虚拟位置中的远程参与者。
如本文所述,共享物理空间可由使用可穿戴音频设备或以其他方式与唯一地与参与者的帐户相关联(或以其他方式能够将来自单个参与者的音频输出与该参与者的识别符相关联)的音频捕获设备相关联的参与者,以及不具有此类设备并且替代地使用会议音频设备的参与者共享。图6示出了具有两种类型的参与者的示例性共享物理空间600。
如图6所示,共享物理空间600可包括第一参与者602和第二参与者604。第一参与者602各自与可穿戴音频设备608(或能够将来自单个参与者的音频输出与该参与者的标识符相关联的其他音频设备)相关联,并且第二参与者604正在经由共享会议音频设备606与AV会议交互。可穿戴音频设备608可经由与穿戴者相关联的另一个电子设备向AV会议***发送所捕获的音频信息,如本文所描述的。在一些情况下,可穿戴音频设备608可经由会议音频设备606向AV会议发送所捕获的音频信息。
如本文所述,在这些情况下,可选择用于各种设备的音频捕获和音频产生的特定模式以为所有参与者提供良好用户体验。例如,因为共享物理空间空间中的每个参与者可直接听到彼此,并且因为第二参与者正依赖于扬声器电话(例如,共享会议音频设备606的扬声器)来听到AV会议的音频,所以可穿戴音频设备608以扬声器静音模式操作(如每个第一参与者602的静音扬声器图标所指示),其中不为穿戴者产生音频。相反,第一参与者602经由共享会议音频设备606听到来自远程参与者的AV会议音频,并且直接听到来自第二参与者604的AV会议音频。在一些情况下,可穿戴音频设备608以直通音频模式操作,使得来自第二参与者604和来自会议音频设备606的音频被再现给穿戴者。在这些情况下,可穿戴音频设备608仍然从第一参与者602捕获音频信息(如每个第一参与者602的麦克风图标所指示的),使得由那些设备捕获的音频信息可与穿戴者的身份相关联。
共享会议音频设备606可提供音频捕获和音频输出功能两者。具体地,会议音频设备606可产生对应于聚合音频馈送的音频输出,该聚合音频馈送包括来自不处于共享物理空间600中的所有参与者的音频信息并且排除来自处于共享物理空间600中的所有参与者的音频信息。因此,例如,由会议音频设备606呈现的聚合音频馈送可排除由会议音频设备606捕获的音频信息,以及由第一参与者602的可穿戴音频设备608捕获的音频信息。
如上所述,AV会议***可确定共享物理空间正由使用可穿戴音频设备的参与者和使用会议音频设备的参与者共享,并且相应地选择和/或生成聚合音频馈送和/或选择可穿戴音频设备和会议音频设备的操作模式。例如,AV会议***可确定可穿戴音频设备608满足相对于共享会议音频设备606的位置标准(例如,基于第一参与者602的电子设备的位置信息和共享会议音频设备606的位置信息),并且响应于该确定,选择可穿戴音频设备608和会议音频设备606的特定操作模式。此外,AV会议***可选择和/或生成要由共享会议音频设备606产生的适当聚合音频馈送。例如,基于可穿戴音频设备608满足相对于会议音频设备606的位置标准(例如,会议音频设备和可穿戴设备在阈值距离内或以其他方式共享相同物理空间),AV会议***可生成聚合音频馈送,该聚合音频馈送包括来自所有其他参与者的音频信息,同时排除由会议音频设备606和共享物理空间600中的可穿戴音频设备608中的每一者捕获的音频信息。
在常规AV会议***中,共享物理空间中的参与者的该类型组合(例如,一些使用专用可穿戴音频设备并且一些依赖于共享会议音频设备606)可能不是有效的,因为共享会议音频设备606可输出由第一参与者602的可穿戴音频设备608捕获的音频信息,由此导致重复、重叠或以其他方式分散注意力的音频(因为共享物理空间中的每个参与者可听到第一参与者的语音两次)。然而,本***定制了向参与者呈现音频的方式,使得不同音频捕获和呈现方法的组合是可行的。
在一些情况下,具有可穿戴音频设备的用户可基于与具有活跃AV会议的本地空间的接近度来自动地连接到AV会议和/或从AV会议断开。具体地,可穿戴音频设备可唯一地与用户相关联。例如,可穿戴音频设备的唯一识别符(例如,序列号)可与个体的用户账户相关联。此外,可穿戴音频设备可以能够通信地耦接到各种不同设备以发送和/或接收音频。例如,可穿戴音频设备可无线地耦接到会议音频设备(例如,经由蓝牙或另一个合适的无线通信技术)以向AV会议***提供所捕获的音频并且从AV会议***接收音频。在一些情况下,可穿戴音频设备还可包括确定是否正在穿戴可穿戴音频设备(例如,它们是否至少部分地位于用户的耳朵中)的传感器。可穿戴音频设备和AV会议***的这些特征更一般地可用于自动地将可穿戴音频设备连接到AV会议和/或将可穿戴音频设备从AV会议断开。例如,当可穿戴音频设备检测到其正被穿戴时(例如,其检测到它至少部分地在穿戴者的耳朵中),可穿戴音频设备可尝试连接到可与活跃的或即将到来的AV会议相关联的附近设备(例如,会议音频设备、穿戴者或另一个参与者的电子设备)。AV会议***可确定从可穿戴音频设备进行的任何尝试连接是否与活跃的或即将到来的AV会议的被邀请者相关联(例如,通过将正尝试连接到AV会议的设备的标识符与和被邀请者的用户账户相关联的设备标识符进行比较)。如果AV会议***确定匹配,则可穿戴音频设备可经由附近设备连接到AV会议,并且可向可穿戴音频设备提供适当的聚合音频馈送。因此,例如,如果参与者在AV会议正在进行的同时到达共享物理空间(并且如果该参与者是AV会议的被邀请者),则参与者可简单地开始穿戴他或她的可穿戴音频设备。如果AV会议***确定参与者是被邀请者,则参与者可经由可穿戴音频设备自动连接到AV会议。
图7示出了参与者如何可基于参与者进入共享物理空间700来自动地加入AV会议的示例。例如,参与者706可在穿戴可穿戴音频设备708的同时进入共享物理空间700(或者可在进入共享物理空间700之后开始穿戴可穿戴音频设备708)。在进入时,可穿戴音频设备708可尝试连接到通信地耦接到AV会议***的设备,诸如与其他参与者相关联的设备704、会议音频设备702、或与参与者706相关联的电子设备。另外,还可确定可穿戴音频设备的位置信息(其可包括设备702、704中的一者或多者,和/或与参与者706相关联的设备确定可穿戴音频设备的位置和/或接近度)。如果参与者706是AV会议的被邀请者,可穿戴音频设备708正在被穿戴,并且满足位置标准(例如,参与者706已经进入共享物理空间或者处于共享物理空间中),则AV会议***可开始从可穿戴音频设备708接收所捕获的音频并且向可穿戴音频设备708发送适当的聚合音频馈送(例如,包括来自远程参与者的音频并且排除来自共享物理空间700中的本地参与者的音频的聚合音频馈送)。
图8是示出用于将聚合音频馈送提供给可穿戴音频设备的示例性方法800的流程图。在操作802处,接收由可穿戴音频设备捕获的音频信息,其中可穿戴音频设备与AV会议的参与者相关联。音频信息可由可穿戴音频设备的一个或多个麦克风捕获,如本文所描述。
在操作804处,确定从其捕获音频信息的参与者是否满足位置标准(和/或哪些参与者满足位置标准)。如果确定参与者有可能正在共享物理空间,则可满足位置标准。作为一个示例,如果参与者在彼此的阈值距离内,则可满足位置标准。作为另一个示例,如果多个可穿戴电子设备正捕获相同或重叠音频信息(例如,如果确定两个不同的可穿戴音频设备正捕获相同或重叠音频信息,则可推导出其处于相同的共享物理空间中),则可满足位置标准。
在操作806处,将为共享物理空间的每个可穿戴音频设备定制的聚合音频馈送提供给可穿戴音频设备。例如,与其他可穿戴音频设备处于共享物理空间中的每个可穿戴音频设备可被提供有聚合音频馈送,该聚合音频馈送包括来自每个远程参与者(以及不同共享物理空间中的任何其他本地参与者)的音频信息,并且排除来自相同物理空间中的每个本地参与者(例如,来自其可穿戴音频设备)的音频信息。作为另一个示例,与其他可穿戴音频设备和共享会议音频设备处于共享物理空间中的每个可穿戴音频设备可被提供有聚合音频馈送,该聚合音频馈送包括来自每个远程参与者(以及不同共享物理空间中的任何其他本地参与者)的音频信息,并且排除由共享会议音频设备捕获的以及来自相同物理空间中的其他本地参与者(例如,来自其可穿戴音频设备)的音频信息。
图9示出了样品可穿戴音频设备900的部件。可穿戴音频设备900可对应于可穿戴音频设备118或本文描述的其他可穿戴音频设备和/或作为其实施方案。应当理解,部件是例示性的而非穷举性的。此外,一些实施方案可省略一个或多个所描绘的部件,或者可组合多个所描绘的部件。可穿戴音频设备900可包括音频输出结构902、耳朵传感器908、发射器906、接收器912、电池904和/或处理单元或处理器910,以及电子设备所共有的其他元件,诸如触摸或力敏感输入结构、视觉输出结构(例如,灯、显示器等)、环境音频传感器等。将依次讨论每个描绘的元件。
音频输出结构902可以是将音频输出到用户耳朵的扬声器或类似结构。如果可穿戴音频设备900是一对耳机,则存在两个音频输出结构902,针对每只耳朵有一个音频输出结构。如果可穿戴音频设备900是单个耳塞,则存在单个音频输出结构902。在后一情况下,每个耳塞可被视为独立的可穿戴音频设备900,并且因此两个可穿戴音频设备可由某些实施方案使用或包括在某些实施方案中。音频输出结构902可以各种水平播放音频(例如,聚合音频馈送以及其他可能的音频);作为一个示例,音频输出水平可由处理器910控制。
耳朵传感器908可以是被配置以接收或生成指示可穿戴音频设备900是否在用户耳朵上、邻近用户耳朵和/或至少部分在用户耳朵中(通常,被定位以将音频输出到用户耳朵)的数据的任何类型的传感器。在一些实施方案中,可穿戴音频设备900可具有单个耳朵传感器908,其被配置为提供关于单个或特定音频输出结构902是否被定位以将音频输出到用户耳朵的数据。在其他实施方案中,可穿戴音频设备900可具有多个耳朵传感器908,每个耳朵传感器被配置为检测唯一音频输出结构902的位置(例如,在可穿戴音频设备是一对耳机的情况下)。样品耳朵传感器包括电容传感器、光学传感器、电阻传感器、热传感器、音频传感器、压力传感器等。
可穿戴音频设备900可包括发射器906和接收器912。在一些实施方案中,发射器906和接收器912可被组合到收发器中。一般来说,发射器906实现到另一个电子设备(例如,电话、膝上型计算机、平板计算机、台式计算机、共享会议音频设备等)的无线或有线数据传输,而接收器912实现从另一电子设备的无线或有线数据接收。发射器906和接收器912(或收发器)也可促进与其他电子设备的通信,无论是有线还是无线。无线通信的示例包括射频、蓝牙、红外和蓝牙低能量通信,以及任何其他合适的无线通信协议和/或频率。
可穿戴音频设备900还可包括被配置为存储电力的电池904。电池904可向本文中相对于图9讨论的其他部件中的任一者或全部提供电力。电池904可从诸如电源插座、充电线缆、充电壳体等的外部电源充电。电池904可包括或连接到用于调节由可穿戴音频设备900的其他部件汲取的电力的电路。
可穿戴音频设备900还可包括处理器910。在一些实施方案中,处理器910可控制可穿戴音频设备900的任何或所有其他部件的操作。处理器910还可从接收器912接收数据并且通过发射器906例如从和/或向如本文中所描述的其他电子设备传输数据。处理器910可因此协调可穿戴音频设备900与AV会议***的或与AV会议接口连接的其他电子设备的操作。尽管以单数形式提及,但处理器910可包括多个处理核、单元、芯片等。例如,处理器910可包括主处理器和音频处理器。
图10示出了电子设备1000的示例性示意图。电子设备1000可以是由如本文描述的AV会议***使用和/或作为该AV会议***的一部分的电子设备的实施方案或以其他方式表示该电子设备。例如,电子设备1000可以是电子设备106、AV会议***服务器102、共享会议音频设备115或本文描述的其他电子设备的实施方案或以其他方式表示它们。设备1000包括一个或多个处理单元1001,该一个或多个处理单元被配置为访问其上存储有指令的存储器1002。这些指令或计算机程序可被配置为执行相对于本文所述的电子设备描述的操作或功能中的一者或多者。例如,这些指令可被配置为控制或协调一个或多个显示器1008、一个或多个触摸传感器1003、一个或多个力传感器1005、一个或多个通信信道1004、一个或多个音频输入***1009、一个或多个音频输出***1010、一个或多个定位***1011、一个或多个传感器1012和/或一个或多个触觉反馈设备1006的操作。
图10的处理单元1001可被实现成能够处理、接收或传输数据或指令的任何电子设备。例如,处理单元1001可包括以下项中的一者或多者:微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。如本文所述,术语“处理器”意在涵盖单个处理器或处理单元、多个处理器、多个处理单元或一个或多个其他适当配置的计算元件。
存储器1002可存储可由设备1000使用的电子数据。例如,存储器可存储电子数据或内容,诸如例如音频和视频文件、图像、文档和应用程序、设备设置和用户偏好、程序、指令、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器1002可被配置为任何类型的存储器。仅以举例的方式,存储器可被实现为随机存取存储器、只读存储器、闪存存储器、可移动存储器、其他类型的存储元件或此类设备的组合。
一个或多个通信信道1004可包括被适配为提供处理单元1001和外部设备之间的通信的一个或多个无线接口。例如,一个或多个无线接口可提供设备1000与可穿戴音频设备(例如,可穿戴音频设备900或本文所描述的任何其他可穿戴音频设备)之间的通信。一个或多个无线接口还可提供设备1000与其他设备(诸如设备1000的其他实例)之间的通信。例如,一个或多个无线接口可提供与AV会议中的参与者相关联的多个个人电子设备之间、或者个人电子设备(例如,膝上型计算机、移动电话等)与共享会议音频设备之间、或者个人电子设备与远程AV会议服务器之间的通信。一个或多个通信信道1004还可促进可促进其他通信以便促进AV会议和/或电子设备的其他通信功能。
一个或多个通信信道1004可包括天线、通信电路、固件、软件或促进与其他设备(例如,与可穿戴音频设备、会议音频设备、AV会议***的其他设备等)的无线通信的任何其他部件或***。通常,一个或多个通信信道1004可被配置为传输和接收可由在处理单元1001上执行的指令进行解释的数据和/或信号。在一些情况下,外部设备是被配置为与无线设备交换数据的外部通信网络的一部分。一般来讲,无线接口可经由但不限于射频、光学、声学和/或磁信号通信并且可被配置为在无线接口或协议上操作。示例性无线接口包括射频蜂窝接口(例如2G、3G、4G、4G长期演进(LTE)、5G、GSM、CDMA等)、光纤接口、声学接口、蓝牙接口、红外接口、USB接口、Wi-Fi接口、TCP/IP接口、网络通信接口或任何常规通信接口。一个或多个通信信道1004还可包括超宽带(UWB)接口,该超宽带(UWB)接口可包括任何适当的通信电路、指令以及合适的UWB天线的数量和位置。
触摸传感器1003可检测各种类型的基于触摸的输入并生成能够利用处理器指令来访问的信号或数据。触摸传感器1003可使用任何合适的部件并且可依赖于任何合适的现象来检测物理输入。例如,触摸传感器1003可为电容触摸传感器、电阻触摸传感器、声波传感器等。触摸传感器1003可包括用于检测基于触摸的输入和生成能够利用处理器指令来访问的信号或数据的任何合适的部件,包括电极(例如,电极层)、物理部件(例如,基板、间隔层、结构支撑件、能够压缩的元件等)、处理器、电路、固件等。触摸传感器1003可与设备1000的任何部分集成或以其他方式被配置为检测施加到该设备的任何部分的触摸输入。例如,触摸传感器1003可被配置为检测施加到设备1000的包括显示器(并且可与显示器集成)的任何部分的触摸输入。触摸传感器1003可与力传感器1005协同操作以响应于触摸输入生成信号或数据。定位在显示器表面上方或以其他方式与显示器集成的触摸传感器或力传感器在本文中可被称为触敏显示器、力敏显示器或触摸屏。
力传感器1005可检测各种类型的基于力的输入并生成能够利用处理器指令来访问的信号或数据。力传感器1005可使用任何合适的部件并且可依赖于任何合适的现象来检测物理输入。例如,力传感器1005可为基于应变的传感器、基于压电的传感器、基于压阻的传感器、电容传感器、电阻传感器等。力传感器1005可包括用于检测基于力的输入和生成能够利用处理器指令来访问的信号或数据的任何合适的部件,包括电极(例如,电极层)、物理部件(例如,基板、间隔层、结构支撑件、能够压缩的元件等)、处理器、电路、固件等。力传感器1005可与各种输入机构一起使用以检测各种类型的输入。例如,力传感器1005可用于检测符合力阈值的按压或其他力输入(其可表示比标准“触摸”输入的典型输入更有力的输入)。类似于触摸传感器1003,力传感器1005可与设备1000的任何部分集成或以其他方式被配置为检测施加到设备的任何部分的力输入。例如,力传感器1005可被配置为检测施加到设备1000的包括显示器(并且可与显示器集成)的任何部分的力输入。力传感器1005可与触摸传感器1003协同操作以响应于基于触摸和/或力的输入而生成信号或数据。
设备1000还可包括一个或多个触觉设备1006。触觉设备1006可包括多种触觉技术中的一种或多种,诸如但不必限于旋转触觉设备、线性致动器、压电设备、振动元件等。通常,触觉设备1006可被配置为向设备的用户提供间断和不同的反馈。更具体地,触觉设备1006可适于产生敲击或轻击感觉和/或振动感觉。此类触觉输出可响应于检测到触摸和/或力输入而提供,并且可通过设备1000的外部表面(例如,经由充当触敏显示器和/或力敏显示器或表面的玻璃或其他表面)被赋予用户。
如图10所示,设备1000可包括用于存储电力和向设备1000的其他部件提供电力的电池1007。电池1007可为被配置为向设备1000提供电力的可再充电电源。电池1007可耦接到充电***(例如,有线和/或无线充电***)和/或其他电路以控制提供给电池1007的电力并控制从电池1007提供给设备1000的电力。
设备1000还可包括被配置为显示图形输出的一个或多个显示器1008。显示器1008可使用任何合适的显示技术,包括液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管显示器(AMOLED)等。显示器1008可显示图形用户界面、图像、图标或任何其他合适的图形输出。
设备1000还可经由一个或多个音频输入***1009提供音频输入功能。音频输入***1009可包括麦克风、换能器或捕获声音以用于语音呼叫、视频呼叫、音频记录、视频记录、语音命令等的其他设备。音频输入***1009可包括麦克风阵列,并且可被配置为执行波束成形操作以优先捕获来自特定用户的音频。
设备1000还可经由一个或多个音频输出***(例如,扬声器)1010提供音频输出功能。音频输出***1010可从AV会议、语音呼叫、视频呼叫、流式或本地音频内容、流式或本地视频内容等产生声音。
设备1000还可包括定位***1011。定位***1011可被配置为确定设备1000的位置。例如,定位***1011可包括磁力计、陀螺仪、加速度计、光学传感器、相机、全球定位***(GPS)接收器、惯性定位***等。定位***1011可用于确定设备1000的空间参数,诸如设备1000的位置(例如,设备的地理坐标)、设备1000的物理移动的测量结果或估计、设备1000的取向等。定位***1011还可被配置为确定可穿戴音频设备和/或其他电子设备的位置和/或与其的接近度。此信息可由设备1000和/或AV会议***的其他设备或服务使用以确定可穿戴音频设备(或其他电子设备)是否满足指示其可能处于与另一个可穿戴音频设备相同的物理空间中的位置标准。
设备1000还可包括一个或多个附加传感器1012以接收输入(例如,来自用户或另一计算机、设备、***、网络等)或检测设备的任何合适的属性或参数、包围设备的环境、与设备交互的(或设备附近的)人或物等。例如,设备可包括温度传感器、生物识别传感器(例如,指纹传感器、光谱仪、血氧传感器、血糖传感器等)、眼睛跟踪传感器、视网膜扫描仪、湿度传感器、按钮、开关、眼睑闭合传感器等。
在参考图10所描述的多个功能、操作和结构被公开成作为设备1000的一部分、并入到该设备中或由该设备执行的限度内,应当理解,各种实施方案可省略任何或所有此类描述的功能、操作和结构。因此,设备1000的不同实施方案可具有本文所讨论的各种能力、装置、物理特征、模式和操作参数中的一些或全部或者不具有它们中的任一者。此外,包括在设备1000中的***不是排他性的,并且设备1000可包括执行本文所述的功能可能是必要的或有用的另选的或附加的***、部件、模块、程序、指令等。
如上所述,本公开技术的一个方面是收集和使用可从各种来源获得的数据以改善诸如移动电话的设备的实用性和功能。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本公开技术中使用此类个人信息数据可用于使用户受益。例如,所述个人信息数据可用于定位设备、递送用户较感兴趣的目标内容等。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。另外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就广告递送服务而言,本公开的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外,本公开还设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。在适当的情况下,可以通过移除特定标识符(例如,出生日期等)、控制存储的数据的量或特征(例如,在城市级而非地址级收集位置数据)、控制数据的存储方式(例如,在用户之间聚合数据)和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本公开技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好,从而选择内容并将该内容递送至用户。
为了说明的目的,前述描述使用具体命名以提供对所述实施方案的彻底理解。然而,对于本领域的技术人员而言将显而易见的是,不需要具体细节,以便实践所述实施方案。因此,出于例示和描述的目的,呈现了对本文所述的具体实施方案的前述描述。它们并非旨在是穷举性的或将实施方案限制到所公开的精确形式。对于本领域的普通技术人员而言将显而易见的是,鉴于上面的教导内容,许多修改和变型是可行的。而且,当在本文中用于指部件的位置时,术语以上、以下、上方、下方、左侧或右侧(或其他类似的相对位置术语)不一定指相对于外部参考的绝对位置,而是相反是指所参考图中部件的相对位置。类似地,除非指明绝对水平或竖直取向,否则水平和竖直取向可被理解为相对于所提及的附图中部件的取向。
相对于任何给定附图所示或所述(或本申请中以其他方式描述)的特征、结构、构型、部件、技术等可与相对于其他附图所述的特征、结构、构型、部件、技术等一起使用。例如,本申请的任何给定附图不应理解为仅限于该特定附图中所示的那些特征、结构、构型、部件、技术等。类似地,可一起使用或实现仅在不同附图中示出的特征、结构、构型、部件、技术等。此外,一起示出或描述的特征、结构、构型、部件、技术等可单独实现和/或与本说明书的其他附图或部分的其他特征、结构、构型、部件、技术等组合实现。此外,为了便于说明和解释,本申请的附图可示出与电子设备的其他部件和/或子组件隔离的某些部件和/或子组件,但应当理解,在一些情况下,单独示出的部件和子组件可被认为是单个电子设备的不同部分(例如,包括多个所示部件和/或子组件的单个实施方案)。
Claims (20)
1.一种方法,包括:
在视听会议***处:
接收由与在视听会议期间共享物理空间的本地参与者组中的第一本地参与者相关联的第一音频设备捕获的第一音频信息;
接收由与所述本地参与者组中的第二本地参与者相关联的第二音频设备捕获的第二音频信息;
从远程参与者接收第三音频信息;以及
根据确定所述第一本地参与者在所述视听会议期间满足位置标准:
向所述第一本地参与者的所述第一音频设备提供第一聚合音频馈送,所述第一聚合音频馈送包括来自所述远程参与者的所述第三音频信息并且省略来自所述第二本地参与者的所述第二音频信息;以及
向所述第二本地参与者的所述第二音频设备提供第二聚合音频馈送,所述第二聚合音频馈送包括来自所述远程参与者的所述第三音频信息并且省略来自所述第一本地参与者的所述第一音频信息。
2.根据权利要求1所述的方法,还包括:
在所述视听会议期间,至少部分地基于所接收的第一音频信息来确定所述第一本地参与者正在说话;以及
根据确定所述第一本地参与者正在说话,在所述远程参与者的图形用户界面中提供所述共享物理空间中的所述第一本地参与者正在说话的指示。
3.根据权利要求1所述的方法,其中:
所述第一音频设备被配置为向与所述第一本地参与者相关联的第一电子设备发送所述第一音频信息;
所述第二音频设备被配置为向与所述第二本地参与者相关联的第二电子设备发送所述第二音频信息;
所述第一电子设备被配置为确定所述第一本地参与者的第一位置信息;
所述第二电子设备被配置为确定所述第二本地参与者的第二位置信息;以及
所述视听会议***被配置为至少部分地基于所述第一位置信息和所述第二位置信息来确定所述第一本地参与者是否满足位置标准。
4.根据权利要求1所述的方法,其中:
所述第一音频设备被配置为向与所述第一本地参与者相关联的第一电子设备发送所述第一音频信息;
所述第二音频设备被配置为向与所述第二本地参与者相关联的第二电子设备发送所述第二音频信息;
所述第一电子设备被配置为检测所述第一电子设备和所述第二电子设备之间的距离;并且
当所述第一电子设备在所述第二电子设备的阈值距离内时,满足所述位置标准。
5.根据权利要求1所述的方法,其中:
所述第一音频设备包括:
扬声器;和
麦克风;并且
所述第一音频设备被配置为至少部分地定位在所述第一本地参与者的耳朵中并且被配置为:
利用所述麦克风捕获来自所述第一本地参与者的第一音频和来自所述第二本地参与者的第二音频;以及
致使所述扬声器将所述第二音频输出到所述第一本地参与者。
6.根据权利要求5所述的方法,其中:
所述麦克风是第一麦克风;
所述扬声器是第一扬声器;
所述第二音频设备包括:
第二扬声器;和
第二麦克风;并且
所述第二可穿戴音频设备被配置为至少部分地定位在所述第二本地参与者的耳朵中并且被配置为:
利用所述第二麦克风捕获来自所述第二本地参与者的所述第二音频和来自所述第一本地参与者的所述第一音频;以及
致使所述第二扬声器将所述第一音频输出到所述第二本地参与者。
7.根据权利要求1所述的方法,其中:
所述第一音频设备包括:
第一扬声器;和
第一麦克风***,所述第一麦克风***包括第一麦克风阵列并且被配置为优先捕获来自所述第一本地参与者的声音;并且
所述第二音频设备包括:
第二扬声器;和
第二麦克风***,所述第二麦克风***包括第二麦克风阵列并且被配置为优先捕获来自所述第二本地参与者的声音。
8.根据权利要求7所述的方法,其中所述第一麦克风***执行波束成形操作以优先捕获来自所述第一本地参与者的声音。
9.一种方法,包括:在被配置成为参与者组主办视听会议的视听会议***处,所述参与者组包括共享物理空间的本地参与者组和远离所述本地参与者的远程参与者组:
从所述本地参与者组的至少一个子集中的每个相应本地参与者接收相应音频信息,所述相应音频信息由与所述相应本地参与者相关联的相应可穿戴音频设备捕获;
从所述远程参与者组中的每个相应远程参与者接收相应音频信息;
向本地参与者的可穿戴音频设备提供聚合本地音频馈送,所述聚合本地音频馈送:
包括来自每个远程参与者的音频信息;并且
排除来自每个本地参与者的音频信息;以及
向远程参与者提供聚合远程音频馈送,所述聚合远程音频馈送:
包括来自除所述远程参与者之外的每个远程参与者的音频信息;并且
包括来自每个本地参与者的音频信息。
10.根据权利要求9所述的方法,其中:
所述聚合本地音频馈送是第一聚合本地音频馈送;
所述方法还包括向定位在所述物理空间中并且包括扬声器和麦克风的会议音频设备提供第二聚合本地音频馈送;并且
所述第二聚合本地音频馈送:
包括来自每个远程参与者的音频信息;并且
排除来自每个本地参与者的音频信息。
11.根据权利要求10所述的方法,其中:
所述本地参与者组的所述子集是所述本地参与者组的第一子集;并且
所述会议音频设备的所述麦克风捕获来自所述本地参与者组的第二子集的音频。
12.根据权利要求11所述的方法,其中:
所述麦克风是第一麦克风;
所述扬声器是第一扬声器;并且
本地参与者的可穿戴音频设备包括:
第二麦克风,所述第二麦克风被配置为捕获来自所述本地参与者的音频;和
第二扬声器,所述第二扬声器被配置为将所述第一聚合本地音频馈送输出到所述本地参与者。
13.根据权利要求9所述的方法,还包括:
确定与所述本地参与者组的所述子集中的本地参与者相关联的标识符;以及
根据确定所述本地参与者正在说话,致使与远程参与者相关联的电子设备在视听会议用户界面中显示所述本地参与者的所述标识符。
14.根据权利要求13所述的方法,其中:
所述电子设备是第一电子设备;并且
所述本地参与者与第二电子设备相关联;
所述第二电子设备从与所述本地参与者相关联的可穿戴音频设备接收音频信息;并且
确定与所述本地参与者相关联的所述标识符包括确定与由所述第二电子设备执行的视听会议应用程序相关联的用户账户。
15.一种方法,包括:
在视听会议***处:
对于视听会议中的参与者组,所述参与者组包括至少一个远程参与者:
识别所述参与者组中的满足相对于彼此的位置标准的本地参与者的集合,每个相应本地参与者与相应音频设备相关联;
向所识别的本地参与者的所述相应音频设备提供包括从所述远程参与者接收的音频信息的聚合本地音频馈送;以及
向所述远程参与者提供包括从每个本地参与者接收的音频信息的聚合远程音频馈送。
16.根据权利要求15所述的方法,其中识别满足相对于彼此的所述位置标准的所述本地参与者的集合包括确定第一本地参与者满足相对于第二本地参与者的所述位置标准。
17.根据权利要求16所述的方法,其中确定所述第一本地参与者满足相对于所述第二本地参与者的所述位置标准包括确定所述第一本地参与者与所述第二本地参与者处于同一房间中。
18.根据权利要求16所述的方法,其中确定所述第一本地参与者满足相对于所述第二本地参与者的所述位置标准包括确定与所述第一本地参与者相关联的第一音频设备检测到也由与所述第二本地参与者相关联的第二音频设备检测到的音频。
19.根据权利要求15所述的方法,还包括向与所述本地参与者的集合中的第一本地参与者相关联的第一音频设备提供由所述第一音频设备的麦克风捕获的来自第二本地参与者的音频。
20.根据权利要求19所述的方法,其中:
所述方法还包括向与所述本地参与者的集合中的第二本地参与者相关联的第二音频设备提供由所述第二音频设备的麦克风捕获的来自所述第一本地参与者的音频。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/944,885 | 2022-09-14 | ||
US17/944,885 US20240089135A1 (en) | 2022-09-14 | 2022-09-14 | Dynamic audio feeds for wearable audio devices in audiovisual conferences |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117714426A true CN117714426A (zh) | 2024-03-15 |
Family
ID=90140734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311171928.1A Pending CN117714426A (zh) | 2022-09-14 | 2023-09-12 | 用于视听会议中的可穿戴音频设备的动态音频馈送 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240089135A1 (zh) |
CN (1) | CN117714426A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8385527B2 (en) * | 2007-11-19 | 2013-02-26 | Rockstar Consortium Us Lp | Method and apparatus for overlaying whispered audio onto a telephone call |
US11502860B2 (en) * | 2019-11-07 | 2022-11-15 | Babblelabs Llc | Audio group identification for conferencing |
-
2022
- 2022-09-14 US US17/944,885 patent/US20240089135A1/en active Pending
-
2023
- 2023-09-12 CN CN202311171928.1A patent/CN117714426A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240089135A1 (en) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10499136B2 (en) | Providing isolation from distractions | |
US8416715B2 (en) | Interest determination for auditory enhancement | |
WO2016149294A1 (en) | Proximate resource pooling in video/audio telecommunications | |
CN105487657A (zh) | 声音响度的确定方法及装置 | |
US10405096B2 (en) | Directed audio system for audio privacy and audio stream customization | |
US11776555B2 (en) | Audio modification using interconnected electronic devices | |
NO334029B1 (no) | System og fremgangsmåte for etablering av videokonferansesesjon med justerbart filter for markering av tilstedeværelsesnivå i endepunkter | |
CN107889044B (zh) | 音频数据的处理方法及装置 | |
US9438859B2 (en) | Method and device for controlling a conference | |
CN109257498B (zh) | 一种声音处理方法及移动终端 | |
CN116471431A (zh) | 在设备之间修改和转移音频 | |
CN109061903B (zh) | 数据显示方法、装置、智能眼镜及存储介质 | |
US11520550B1 (en) | Electronic system for producing a coordinated output using wireless localization of multiple portable electronic devices | |
JP2023539774A (ja) | サウンドボックス位置調整方法、オーディオレンダリング方法、および装置 | |
US9516417B2 (en) | Boundary binaural microphone array | |
CN107609371B (zh) | 一种消息提示方法及音频播放设备 | |
US10979236B1 (en) | Systems and methods for smoothly transitioning conversations between communication channels | |
CN108683980A (zh) | 一种音频信号的传输方法及移动终端 | |
CN109873894B (zh) | 一种音量调节方法及移动终端 | |
US10469800B2 (en) | Always-on telepresence device | |
US20240089135A1 (en) | Dynamic audio feeds for wearable audio devices in audiovisual conferences | |
EP2216975A1 (en) | Telecommunication device | |
CN113596662B (zh) | 啸叫声的抑制方法、啸叫声的抑制装置、耳机及存储介质 | |
JP2016091221A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
CN115103302A (zh) | 通话方法、装置和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |