CN109151671A - 音频处理装置、音频处理方法和计算机程序产品 - Google Patents

音频处理装置、音频处理方法和计算机程序产品 Download PDF

Info

Publication number
CN109151671A
CN109151671A CN201810621299.0A CN201810621299A CN109151671A CN 109151671 A CN109151671 A CN 109151671A CN 201810621299 A CN201810621299 A CN 201810621299A CN 109151671 A CN109151671 A CN 109151671A
Authority
CN
China
Prior art keywords
audio
loudspeaker
processing
positioning signal
loudspeakers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810621299.0A
Other languages
English (en)
Other versions
CN109151671B (zh
Inventor
林立研
蔡宗佑
郭彦闵
廖俊旻
何吉堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN109151671A publication Critical patent/CN109151671A/zh
Application granted granted Critical
Publication of CN109151671B publication Critical patent/CN109151671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明提供一种用于控制多个扬声器的音频处理装置、方法以及计算机程序产品。音频处理装置包括存储器、收发器和处理器。存储器存储多个模块。收发器可与多个扬声器进行无线配对。处理器存取模块以执行以下步骤：请求各扬声器输出音频定位信号；收集来自各扬声器的音频定位信号；依据来自各扬声器的音频定位信号取得各扬声器相对于音频处理装置的位置；依据各扬声器相对于音频处理装置的位置调整多个音频内容；以及将音频内容发送到扬声器以控制扬声器输出音频内容。

Description

音频处理装置、音频处理方法和计算机程序产品
技术领域
本公开涉及一种音频处理装置和音频处理方法，且特别涉及一种依据扬声器相对于音频处理装置的位置控制扬声器的方法、装置和计算机程序产品。
背景技术
对于虚拟现实(virtual reality，VR)的使用者来说，通常会使用耳机作为收听音频内容(audio content)的装置，以达到身历其境的效果。然而，若使用者是使用扬声器作为收听音频内容的装置，则具有固定位置的扬声器可能无法依据使用者在虚拟域(virtualdomain)中的移动来调整输出的音频内容，进而可能破坏使用者的VR体验。
举例来说，若扬声器放置在佩戴头戴式显示器(head mounted display，HMD)的使用者面前，则此扬声器可用来输出来自于使用者在虚拟域中前方的声音所对应的音频内容。然而，在使用者在虚拟域中虚拟地向前移动数米之后，上述音频内容将会维持原样，而并不会随着使用者在虚拟域中的移动而更动。因此，在未能提供对应于使用者在虚拟域中当前位置的实际环境声音的情形下，可能导致使用者的音频体验变差。
此外，为了达到满意的环绕音效，扬声器的安装和设置(例如扬声器的位置、增益、输出功率等)必须由专业***。因此，当使用者采用扬声器作为在VR服务中播放音频内容的装置时，可能难以判断应采用何种方式在环境(例如，家里)中布建扬声器。
因此，对本领域技术人员来说，当扬声器被用于作为在VR服务中播放音频内容的装置时，如何研发出一种可调整扬声器输出的音频内容的机制实为至关重要。
发明内容
因此，本公开提供一种音频处理装置、控制多个扬声器的音频处理方法以及与音频处理装置搭配使用的计算机程序产品，其可提供使用者一种身历其境的音频体验方式。
本公开提供一种音频处理装置，其包括存储器、收发器及处理器。存储器存储多个模块。所述收发器与多个扬声器无线配对。所述处理器耦接到存储器和收发器，并存取前述模块以执行下列步骤：请求各扬声器输出音频定位信号；收集来自各扬声器的音频定位信号；依据来自各扬声器的音频定位信号取得各扬声器相对于音频处理装置的位置；依据各扬声器相对于音频处理装置的位置调整多个音频内容；以及将音频内容发送到扬声器以控制扬声器输出音频内容。
本公开提供一种控制多个扬声器的音频处理方法，所述方法至少包含，但不限于：由音频处理装置请求各扬声器输出音频定位信号；由音频处理装置收集来自各扬声器的音频定位信号；由音频处理装置依据来自各扬声器的音频定位信号取得各扬声器相对于音频处理装置的位置；由音频处理装置依据各扬声器相对于音频处理装置的位置调整多个音频内容；以及由音频处理装置发送音频内容给扬声器，以控制扬声器输出音频内容。
本公开提供一种用于搭配音频处理装置的计算机程序产品。此计算机程序产品包括计算机可读取存储介质与嵌入其中的可执行计算机程序机制。此可执行计算机程序机制包括指令用于：由音频处理装置请求各扬声器输出音频定位信号；由音频处理装置收集来自各扬声器的音频定位信号；由音频处理装置依据来自各扬声器的音频定位信号取得各扬声器相对于音频处理装置的位置；通过音频处理装置，依据各扬声器相对于音频处理装置的位置调整多个音频内容；以及通过音频处理装置，发送音频内容给扬声器，以控制扬声器输出音频内容。
基于上述，本发明提出的音频处理装置、音频处理方法以及计算机程序产品可通过各扬声器的音频定位信号得知各扬声器相对于音频处理装置的位置，并据以调整分配给这些扬声器的音频内容，从而令使用者感受到身历其境的音频体验。
为让本公开的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1为依据本公开的一实施例绘示的音频***的示意图。
图2为依据本公开的一实施例绘示的控制扬声器的音频处理方法的流程图。
图3为依据本公开的一实施例绘示的VR***的示意图。
图4为依据本公开的一实施例绘示的调整扬声器输出的音频内容的示意图。
图5为依据本公开的一实施例绘示的使用智能手机构建麦克风阵列的示意图。
【符号说明】
100：音频***
10：音频处理设备
11：存储器
12：收发器
121：麦克风阵列
121a：麦克风
13：处理器
20a、20b、20c、20d：扬声器
300：VR***
31：计算机装置
32：使用者
32a：头戴式显示器
51a、51b：智能手机
52：极性场型
AC1、AC2、AC3、AC4：音频内容
D1：方向
MD1、MD2：麦克风数据
P1：音频定位信号
PI：位置信息
S210～S250：步骤
具体实施方式
以下以本发明优选的实施例进行详细说明，其例示参照图式一起说明。只要有可能，在图式和实施方式中的相同元件符号用来表示相同或相似部分。
据此，例示实施例能有各种修改和替代形式的可能，但是相关的实施例呈现在图式范例中，并且将在本实施方式详细描述。然而，应当了解并非试图将例示实施例限缩于已公开的方式，相反的，例示实施例涵盖权利要求书内的所有修改、等效方案和替代方案。在描述附图时，相同的数字表示相同的元件。
应当了解，虽然用语第一、第二可在本实施方式用来描述各种元件，但元件不应该被这些用语限制。这些用语仅被用来区别一个物件可以和另一个物件。举例来说，第一物件可称为第二物件，相似地，第二物件可被称为第一物件，而不会脱离例示实施例的范围。在本实施方式使用的“和、或”包括任一或多个相关联的所列项目的任何或所有组合。
应当了解，当元件被描述为“连接(connected)”或“耦接(coupled)”于另一个物件时，可以是直接连接或耦接到另一个物件上，或存在介于中间的物件(intervening)。相反地，若元件被描述为“直接连接或直接耦接”于另一个物件时，就不存在介于中间的物件。其他用来描述物件关系的词语应当以相同的方式解释(例如“在...之间(between)”和“直接在...之间(directly between)”、“邻近(adjacent)”的和“directly adjacent(直接邻近)”的等)。
本实施方式中使用的用语仅用来描述特定的实施例，并非试图限制例示实施例。如本实施方式中所用“一(a)”、“一(an)”和“该(the)”还试图包括复数形式，除非上下文有清楚明示。更应当理解，本实施方式中所用“包括(comprises)”、“包括(comprising)”“包含(includes)”和/或“包含(including)”指明所述特征、整体、步骤、操作、元件和/或组件的存在，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。
还应该注意的是，在一些替代实施方式中，所指出的功能/动作可以不按照图式中指出的顺序发生。例如，取决于所涉及的功能/动作，连续示出的两个图式实际上可以同时执行，或者有时可以以相反的顺序执行。
除非有另外定义，否则在本实施方式中的所有用语(包含技术和科学用语)与例示实施例中本领域技术人员普遍认知的涵义相同。还应当了解，用语(例如在普遍使用的字典中有定义的)，应该被解释为与相关领域具有一致的涵义，并且不会被理解为理想化或过度形式化的意义，除非有特意地如此定义。
部分例示实施例和相应的细节用描述使用软件或算法和符号来表示计算机存储器中数据位的操作。这些是本领域技术人员向其他本领域技术人员有效地传达他们工作实质内容的描述和表示。这里使用的用语“算法”，通常是被设想为导致期望结果的自我一致步骤序列(a self-consistent sequence of steps)。这些步骤需要物理量(physicalquantities)的物理操纵。通常，但不一定需要，这些量采用具有存储(store)、转换(transfer)、组合(combine)、比较(compare)和其他操作能力的光学、电或磁信号。因为经常使用，这些信号通常被表示成位(bits)、值(values)、元件(elements)、标志(symbol)、字元(characters)、用语(terms)、数字(numbers)或其他，这样的表示也被证明具有方便性。
在接下来的描述中，将会参照程序模块或功能过程，包含例行程序(routines)、程序(programs)、物件(objects)、组件(components)、数据结构(data structures)等的操作动作和标号表示(例如以流程图的形式)来描述实施例。程序模块或功能过程可以执行特定任务或实现特定的抽象数据类型，并且可以在现有硬件的现有网络元件或控制节点来实现。现有硬件包含一或多个中央处理器(Central Processing Units，CPUs)、数字信号处理器(digital signal processors，DSPs)、特殊应用集成电路(Application SpecificIntegrated Circuits，ASICs)、现场可编程门阵列(Field Programmable Gate Array，FPGAs)计算机等。
除非另外特别说明，否则在讨论中显而易见的用语，诸如“处理(processing)”、“运算(computing)”、“计算(calculating)”、“决定(determining)”或“显示(displaying)”等，是指计算机***或者类似的电子计算机装置的动作和过程。其将计算机***暂存器和存储器中表示为物理、电子量的数据，操纵和转换为其他类似地计算机***暂存器、存储器或其他存储、传输或显示装置中表示为物理、电子量的数据。
在本实施方式公开用语“存储介质(storage medium)”、“存储单元(storageunit)”或“计算机可读存储介质(computer readable storage medium)”表示一或多个存储数据的装置，包含只读存储器(read only memory，ROM)、随机存取存储器(randomaccess memory，RAM))、磁性随机存取存储器(magnetic RAM)、磁心存储器(core memory)、磁盘存储介质(magnetic disk storage medium)、光学存储介质(optical storagemedium)、快闪存储器(flash memory)装置和/或其他可存储信息的有形机器可读介质。“计算机可读介质(computer-readable medium)”包含但不限于便携式或固定存储装置(portable or fixed storage device)、光学存储装置(optical storage device)，以及各种其他有存储(storing)、容纳(containing)或携带(carrying)指令和/或数据能力的介质。
此外，例示实施例可以被硬件(hardware)、软件(software)、固件(firmware)、中间软件(middleware)、微码(microcode)、硬件描述语言(hardware descriptionlanguage)或任何以上组合实施。当在软件、固件、中间软件或微码实施时，执行必要任务的程序代码或码段(code segment)会被存储在机器或计算机可读介质中，诸如计算机可读存储介质。当在软件中实施时，处理器或执行必要任务。
码段可以表示程序(procedure)、功能(function)、子程序(subprogram)、程序(program)、例行程序(routine)、子例程(subroutine)、模块(module)、套装软件(softwarepackage)、类别(class)或任何指令、数据结构或程序叙述的集合。码段可以藉由传递和/或接收信息、数据、引数、参数或记忆内容等，而耦接于另外的码段或硬件电路。信息、引数、参数、数据等可以通过存储器分享、讯息传递、符记传递(token passing)、网络传输等适合的手段传递(passed)、转传(forwarded)或传输(transmitted)。
图1为依据本公开的一实施例绘示的音频***的示意图。在本实施例中，音频***100包括音频处理装置10和多个扬声器20a、20b、20c和20d。
音频处理装置10包括存储器11、收发器12和处理器13。存储器11可为固定或移动随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器、硬盘或任何其他类似装置中之一或组合，可记录由处理器13执行的多个程序或模块。
收发器12包括传输电路(transmitter circuit)、A/D模拟数字转换器、D/A数字模拟转换器、低噪声放大器、混合器、滤波器、阻抗匹配器(impedance matcher)、传输线、功率放大器、一个或多个天线电路和本地存储介质(但本公开不限于此)，使音频处理装置10可以提供扬声器20a-20d无线传输/接收功能。在一些实施例中，扬声器20a-20d可以是蓝牙扬声器，且音频处理装置10可通过收发器12依据蓝牙通信协议与扬声器20a-20d进行无线配对。在其他实施例中，音频处理装置10与扬声器20a-20d可基于其他适合的通信协议进行配对。
在一实施例中，收发器12包括由多个麦克风121a组成的麦克风阵列121，用于收集来自扬声器20a-20d的音频信号。
处理器13耦接于存储器11和收发器12，并可以是一般用途的处理器、特殊用途的处理器、常规处理器、数字信号处理器、多个微处理器、一个或以上的微处理器、控制器和结合数字信号处理器内核的微控制器、应用特定集成电路(ASIC)、现场可编程逻辑门阵列(field programmable gate array，FPGA)、任何其他集成电路、状态机、进阶精简指令集处理器(advanced RISC machine，ARM)等或其类似品。
在一实施例中，处理器13可以存取和执行存储在存储器11中的程序指令，以便执行音频处理方法中的各步骤，以控制本公开所揭示的扬声器。
图2为依据本公开的一实施例绘示的控制扬声器的音频处理方法的流程图。图2的方法可以由图1的音频处理装置10执行，且图2步骤的内容将辅以图1详论。
在步骤S210中，处理器13请求各扬声器20a-20d输出音频定位信号P1。在步骤S220中，处理器13收集来自各扬声器20a-20d的音频定位信号P1。在步骤S230中，处理器13依据来自各扬声器20a-20d的音频定位信号P1取得各扬声器20a-20d相对于音频处理装置10的位置。在本实施例中，音频定位信号P1可以是音频处理装置10已知的特定音频信号，因此在处理器13从扬声器20a-20d接收到音频定位信号P1后，可通过分析音频定位信号P1的特性以获得扬声器20a-20d的位置。
具体而言，在一实施例中，处理器13可请求扬声器20a输出具有预定功率的音频定位信号P1。接着，收发器12可通过调整接收极性场型的麦克风阵列121收集音频定位信号P1，以找到可将音频定位信号P1接收功率最大化的特定方向。如图1所例示的，由于扬声器20a约略位于音频处理装置10的左前方，因此在麦克风阵列121的接收极性场型被调整为指向左前方之后，处理器13可判定音频定位信号P1的接收功率已被最大化。即，处理器13可知扬声器20a位于音频处理装置10的左前方。
之后，处理器13可依据预定功率和接收功率判定音频处理装置10和扬声器20a之间的特定距离。具体而言，由于处理器13已知音频定位信号P1被输出和接收的功率，因此处理器13可依据预定功率和接收功率得出扬声器20a和音频处理装置10之间的距离。更具体来说，在音频定位信号P1经由扬声器20a和音频处理装置10之间的空间传播后，由于接收功率可以被视为预定功率的衰减版本，因此扬声器20a和音频处理装置10之间的距离可依据已知的声学衰减定律计算，但本公开不限于此。
接下来，处理器13可判定扬声器20a相对于音频处理装置10的位置是在音频处理装置10的左前方，并与音频处理装置10相距上述特定距离。
相似地，处理器13可依据上述教示取得扬声器20b-20d的位置，在此不再赘述。
在步骤S240中，处理器13依据各扬声器20a-20d相对于音频处理装置10的位置调整音频内容。在步骤S250中，处理器13将音频内容发送到扬声器20a-20d，以控制扬声器20a-20d输出音频内容。
在本实施例中，处理器13可依据多个空间转移函数(space transfer function)处理音频内容，并将音频内容分配给扬声器20a-20d，其中前述空间转移函数依据各扬声器20a-20d相对于音频处理装置10的位置而定义。在一实施例中，在处理器13已知扬声器20a-20d的位置之后，处理器13可使用空间转移函数修改音频内容(其为提供给使用者的VR内容的音频部分)的特性(如音量、方向)，以令扬声器20a-20d协同输出以产生具有良好环绕音效的音频内容。
在一实施例中，假设音频内容中有四声道，且各声道提供来自不同方向的声音。由于扬声器20a的位置已知位于音频处理装置10的左前方且与音频处理装置10相距特定距离，因此处理器13可挑选出提供约略来自于左前方的声音(例如，VR声音)的声道，依据扬声器20a与音频处理装置10之间的距离修改对应音频内容的特征(例如，音量)，并将修改后的音频内容(以下称为音频内容AC1)分配给扬声器20a。因此，当音频内容AC1被发送到扬声器20a并由扬声器20a输出时，使用者可感受到扬声器20a自动地输出约略来自于左前方的声音。
相似地，由于已知扬声器20b的位置位于音频处理装置10的右前方并与音频处理装置10相距另一距离，处理器13选择接近右前方声道提供声音(如VR声音)，并且依据扬声器20b和音频处理装置10之间的距离修改相应音频内容的特征(如音量)，以及将修改后的音频内容(以下简称音频内容AC2)分配给扬声器20b。因此，当音频内容AC2被发送到扬声器20b并由扬声器20b输出时，使用者可感受扬声器20b自动地输出来自右前方的声音。
基于以上教示，也可依据扬声器20c和20d的位置来修改对应于提供约略来自左后方和右后方的声音(例如，VR音效)的声道的音频内容，并且将其分配给扬声器20c和20d。因此，当修改后的音频内容(以下称音频内容AC3和AC4)发送到扬声器20c和20d，并由扬声器20c和20d分别输出，而使用者可感受到扬声器20c和20d自动地输出约略来自左后方和右后方的声音。
因此，当扬声器20a-20d同时输出相应的音频内容时，尽管没有专业人员帮忙装设扬声器20a-20d，仍可达到良好的环绕音效。
由上可知，本公开提出的方法提供了一种可以依据扬声器位置自动调整扬声器输出的音频内容的机制，从而降低构建环音效环境(例如，家庭剧院)的因难度。
在其他实施例中，本公开更提供了一种机制，其可依据使用者在VR服务的虚拟域中的移动来额外调整扬声器输出的音频内容。
图3为依据本公开的一实施例绘示的VR***的示意图。在本实施例中，VR***300包括音频处理装置10、扬声器20a-20d、计算机装置31和HMD32a。在其他实施例中，VR***300可还包括VR控制器，其可由使用者32手持以控制VR内容。在图3中，音频处理装置10和HMD 32a可以连接到计算机装置31以管理和控制提供给佩戴HMD 32a的使用者32的VR服务。
在本实施例中，HMD 32a和VR控制器可以检测使用者32在实域和/或虚拟域中的移动，从而产生位置信息PI。计算机装置31(例如，个人计算机或其他可以运行VR服务的装置)可以接收位置信息PI，并由计算机装置31转发到音频处理装置10。
音频处理装置10通过收发器12接收位置信息PI。随后，处理器13依据空间转移函数和位置信息PI处理音频内容，并将音频内容分配给扬声器20a-20d，其余相关细节将辅以图4详论。
图4为依据本公开的一实施例绘示的调整扬声器输出的音频内容的示意图。在图4中，扬声器20a-20d的位置可由音频处理装置10依据先前实施例中的教示而得，在此不再重述。
在本实施例中，假设使用者32面对方向D1，并且扬声器20a和20c经假设为输出音频内容AC1和AC3。由于使用者32面向方向D1，且扬声器20a位于使用者32的右前方，因此扬声器20a输出的音频内容AC1应对应于来自虚拟域中右前方的声音。相似地，由于扬声器20c位于使用者32的左前方，因此扬声器20c输出的音频内容AC3应对应于来自虚拟域中左前方的声音。
当使用者32沿着实域中的方向D1移动几米时，使用者32在VR服务的虚拟域中所扮演的角色可能相应地沿着方向D1移动了十数米。在使用者32沿方向D1移动的过程中，位置信息PI可连续更新并转发到音频处理装置10，并且音频处理装置10相应地调整音频内容AC1和AC3。
具体地说，由于音频内容AC1和AC3分别来自VR服务虚拟域中的某些特定声源，因此当使用者32沿着方向D1移动时，代表使用者32所扮演的角色越来越接近虚拟域中的上述特定声源。因此，处理器13可使用空间转移函数来处理音频内容AC1和AC3(例如，持续增加音频内容AC1和AC3的音量)，使得使用者32可感受到越来越接近上述特定声音源。在其他实例中，由于使用者32可在未于实域中移动的情况下，仅使用VR控制器来控制角色虚拟地沿方向D1移动，因此处理器13仍可使用空间转移函数来处理音频内容AC1与AC3(例如，持续增加音频内容AC1和AC3的音量)，藉以让使用者32感受到越来越接近上述特定声源，但本公开可不限于此。
此外，当使用者32持续地沿着方向D1(虚拟地)移动并经过上述特定声源时，处理器13可使用空间转移函数来处理音频内容AC1和AC3(例如，若虚拟域中除了上述特定声源之外没有其他声源的话，可对音频内容AC1和AC3进行静音)。同时，由于上述特定声源应该位于使用者32在虚拟域中所扮演角色的后方，因此处理器13可使用空间转移函数来处理音频内容AC2和AC4，使得当位于使用者后方的扬声器20b和20d在输出音频内容AC2和AC4时，可令扬声器20b和20d听起来如同输出来自上述特定声源的声音。
当使用者32持续地沿着方向D1(虚拟地)移动时，其代表使用者32所扮演的角色正在远离虚拟域中的上述特定声源。因此，处理器13可使用空间转移函数来处理音频内容AC2和AC4(例如，持续降低音频内容AC2和AC4的音量)，使得使用者32可感受到越来越远离上述特定声源。
在其他实例中，假设使用者32面对扬声器20a，而扬声器20a正输出来自虚拟域中角色前方的声音所相对应的音频内容AC1。在此情况下，当使用者32(虚拟地)向右转动他/她的头部，其更新位置信息PI可被转发到音频处理装置10。对此，处理器13可使用空间转移函数来音频内容AC1修改为对应于来自虚拟域中角色左侧的声音。
由上可知，本公开提出的方法可以更考虑使用者在虚拟域中的位置信息，并据此调整扬声器输出的音频内容。因此，当使用扬声器作为接收VR服务中音频内容的装置时，使用者仍可具有身历其境的VR体验。
在一些实施例中，为了能更好地收集音频定位信号P1，音频处理装置10可更与多个智能手机配对，并使用这些智能手机上的麦克风构建麦克风阵列，用于收集扬声器20a-20d的音频定位信号P1。
具体而言，如图1所示，麦克风阵列121通常用于收集某些特定方向的声音或抑制来自某些特定方向的声音。由于麦克风阵列121收集的音频信号需要经由与前端语音收集装置(例如，麦克风121a)高度相关的一些算法来处理，因此算法和麦克风阵列121通常被整合为一个模块以进行销售。然而，由于模块的尺寸限制，麦克风121阵列中的多个麦克风121a彼此将过于靠近，因而降低了收集音频信号的效能。此外，麦克风阵列121所收集和抑制音频信号的方向也较无法调整。
据此，本公开提出使用智能手机来构建麦克风阵列的概念，藉以解决以上技术问题。请参照图5以进行详述。
图5为依据本公开的一实施例绘示的使用智能手机构建麦克风阵列的示意图。在图5中，智能手机51a和51b可以与音频处理装置10配对，且智能手机51a和51b上的麦克风可用于协同收集音频信号(例如，图1中的音频定位信号P1)，从而产生麦克风数据MD1和MD2。麦克风数据MD1和MD2可接着经转发至音频处理装置10，其中，处理器13可采用已知的算法来处理麦克风数据MD1和MD2，以进行例如收集来自某些特定方向的声音或抑制来自某些特定方向的声音的操作。
此外，可调整智能手机51a和51b的相对位置，以调校用于收集音频信号的极性场型52。亦即，收集音频信号的性能可较不受音频处理装置10的大小限制。
由上可知，在智能手机51a和51b用于收集音频处理装置10的音频信号之后，可改善收集音频信号的性能和弹性
综上所述，本公开提出的方法提供了一种可以依据扬声器相对于音频处理装置的位置自动调整扬声器输出的音频内容的机制，从而减少了构建具环绕音效的环境(例如，家庭剧院)的困难度。此外，本公开还提供了一种可以依据使用者在VR服务虚拟域中的移动来额外调整扬声器输出的音频内容的机制。藉此，当使用扬声器用于作为接收VR服务中音频内容的装置时，使用者仍可有身历其境的VR体验。
并且，本公开的音频处理装置还可利用多个智能手机上的麦克风来构建用于收集音频信号的麦克风阵列，从而改善收集音频信号的性能和弹性。
虽然本公开已以实施例公开如上，然其并非用以限定本公开，本领域技术人员在不脱离本公开的精神和范围内，当可作些许的更动与润饰，故本公开的保护范围当视所附权利要求书界定范围为准。

Claims (10)

1.一种音频处理装置，其特征在于，包括：
存储器，存储多个模块；
收发器，与多个扬声器无线配对；
处理器，耦接该存储器和该收发器，并存取这些模块以执行以下步骤：
请求各该扬声器输出音频定位信号；
收集来自各该扬声器的该音频定位信号；
依据来自各该扬声器的该音频定位信号取得各该扬声器相对于该音频处理装置的位置；
依据各该扬声器相对于该音频处理装置的该位置调整多个音频内容；
以及
将这些音频内容发送到这些扬声器，以控制这些扬声器输出这些音频内容。
2.如权利要求1所述的音频处理装置，其中该收发器包括麦克风阵列，用于接收来自各该扬声器的该音频定位信号，并且该处理器经配置以：
请求这些扬声器之中的第一扬声器输出具有预定功率的该音频定位信号；
调整该麦克风阵列的接收极性场型，以找到将该音频定位信号的接收功率最大化的特定方向；
依据该预定功率和该接收功率判定该音频处理装置与该第一扬声器之间的特定距离；以及
判定该第一扬声器相对于该音频处理装置的该位置是在该特定方向上与该音频处理装置相距该特定距离。
3.如权利要求2所述的音频处理装置，其中该麦克风阵列由不同智能手机上的多个麦克风组成。
4.如权利要求1所述的音频处理装置，其中该处理器经配置以：
基于多个空间转移函数处理这些音频内容，其中这些空间转移函数是依据各该扬声器相对于该音频处理装置的该位置来定义；以及
将这些音频内容分配给这些扬声器。
5.如权利要求4所述的音频处理装置，其中这些音频内容的第一音频内容被分配给这些扬声器的第一扬声器，且该处理器经配置以将该第一音频内容发送到该第一扬声器，并控制该第一扬声器输出该第一音频内容。
6.如权利要求1所述的音频处理装置，其中该收发器更经配置以从计算机装置接收位置信息，且该处理器经配置以：
依据多个空间转移函数和该位置信息处理这些音频内容，其中这些空间转移函数是依据各该扬声器相对于该音频处理装置的位置来定义；以及
将这些音频内容分配给这些扬声器。
7.如权利要求6所述的音频处理装置，其中将这些音频内容的该第一音频内容分配给这些扬声器的第一扬声器，该处理器经配置以将该第一音频内容发送到该第一扬声器，并控制该第一扬声器输出该第一音频内容。
8.如权利要求6所述的音频处理装置，其中该收发器更经配置以从该计算机装置接收更新位置信息，并且该处理器经配置以：
依据这些空间转移函数和该更新位置信息处理这些音频内容；以及
将这些音频内容分配给这些扬声器。
9.一种控制多个扬声器的音频处理方法，其特征在于，包括：
由音频处理装置请求各该扬声器输出音频定位信号；
由该音频处理装置收集来自各该扬声器的该音频定位信号；
由该音频处理装置依据来自各该扬声器的该音频定位信号，取得各该扬声器相对于该音频处理装置的位置；
由该音频处理装置依据各该扬声器相对于该音频处理装置的该位置调整多个音频内容；以及
-由该音频处理装置发送这些音频内容给这些扬声器，以控制这些扬声器输出这些音频内容。
10.一种用于搭配音频处理装置的计算机程序产品，该计算机程序产品包括一计算机可读取存储介质与嵌入其中的一可执行计算机程序机制，其特征在于，该可执行计算机程序机制包括指令用于：
请求与该音频处理装置配对的多个扬声器分别输出音频定位信号；
收集来自各该扬声器的该音频定位信号；
依据来自各该扬声器的该音频定位信号取得各该扬声器相对于该音频处理装置的位置；
依据各该扬声器相对于该音频处理装置的该位置调整多个音频内容；以及
将这些音频内容发送到这些扬声器，以控制这些扬声器输出这些音频内容。
CN201810621299.0A 2017-06-15 2018-06-15 音频处理装置、音频处理方法和计算机程序产品 Active CN109151671B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762519880P 2017-06-15 2017-06-15
US201762519876P 2017-06-15 2017-06-15
US62/519,876 2017-06-15
US62/519,880 2017-06-15
US16/000,914 US10595122B2 (en) 2017-06-15 2018-06-06 Audio processing device, audio processing method, and computer program product
US16/000,914 2018-06-06

Publications (2)

Publication Number Publication Date
CN109151671A true CN109151671A (zh) 2019-01-04
CN109151671B CN109151671B (zh) 2021-06-01

Family

ID=62684606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810621299.0A Active CN109151671B (zh) 2017-06-15 2018-06-15 音频处理装置、音频处理方法和计算机程序产品

Country Status (4)

Country Link
US (1) US10595122B2 (zh)
EP (1) EP3416410B1 (zh)
CN (1) CN109151671B (zh)
TW (1) TWI703877B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694156A (zh) * 2020-05-26 2020-09-22 Oppo广东移动通信有限公司 眼镜及其音效的控制方法
CN112153525A (zh) * 2020-08-11 2020-12-29 广东声音科技有限公司 多扬声器全景音效的定位方法及***
CN113411725A (zh) * 2021-06-25 2021-09-17 Oppo广东移动通信有限公司 音频播放方法、装置、移动终端及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018235182A1 (ja) * 2017-06-21 2020-04-23 ヤマハ株式会社 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法
KR102127179B1 (ko) * 2019-06-05 2020-06-26 서울과학기술대학교 산학협력단 플렉서블 렌더링을 이용한 가상 현실 기반 음향 시뮬레이션 시스템
CN117356113A (zh) * 2021-05-24 2024-01-05 三星电子株式会社 使用异构扬声器节点进行智能音频渲染的***及其方法
KR20240090144A (ko) * 2021-10-08 2024-06-21 엘지전자 주식회사 다채널 무선 스피커를 포함하는 음향 시스템 및 그것의 전원 관리 방법
EP4329337A1 (en) 2022-08-22 2024-02-28 Bang & Olufsen A/S Method and system for surround sound setup using microphone and speaker localization

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1354949A (zh) * 1999-06-07 2002-06-19 艾利森电话股份有限公司 扬声器音量范围控制
CN102577433A (zh) * 2009-09-21 2012-07-11 微软公司 基于听众位置的音量调整
US20130324031A1 (en) * 2012-05-31 2013-12-05 Nokia Corporation Dynamic allocation of audio channel for surround sound systems
WO2014069661A1 (ja) * 2012-11-05 2014-05-08 ヤマハ株式会社 音響再生システム及び音響再生方法
US20150016642A1 (en) * 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
CN105467364A (zh) * 2015-11-20 2016-04-06 百度在线网络技术（北京）有限公司 一种定位目标声源的方法和装置
CN106255031A (zh) * 2016-07-26 2016-12-21 北京地平线信息技术有限公司 虚拟声场产生装置和虚拟声场产生方法
US20170150225A1 (en) * 2015-11-19 2017-05-25 Google Inc. Reminders of Media Content Referenced in Other Media Content

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
WO2015196411A1 (en) * 2014-06-26 2015-12-30 Intel Corporation Beamforming audio with wearable device microphones
US10009676B2 (en) * 2014-11-03 2018-06-26 Storz Endoskop Produktions Gmbh Voice control system with multiple microphone arrays
US10003903B2 (en) * 2015-08-21 2018-06-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods for determining relative locations of wireless loudspeakers
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
JP2017118375A (ja) * 2015-12-25 2017-06-29 京セラ株式会社 電子機器及び音出力制御方法
HK1221372A2 (zh) * 2016-03-29 2017-05-26 萬維數碼有限公司 種獲得空間音頻定向向量的方法、裝置及設備
US10613630B2 (en) * 2016-09-30 2020-04-07 Sony Interactive Entertainment Inc. Temperature controlled headset apparatus
US10412527B1 (en) * 2018-01-09 2019-09-10 Facebook Technologies, Llc Head-related transfer function determination using base stations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1354949A (zh) * 1999-06-07 2002-06-19 艾利森电话股份有限公司 扬声器音量范围控制
CN102577433A (zh) * 2009-09-21 2012-07-11 微软公司 基于听众位置的音量调整
US20130324031A1 (en) * 2012-05-31 2013-12-05 Nokia Corporation Dynamic allocation of audio channel for surround sound systems
WO2014069661A1 (ja) * 2012-11-05 2014-05-08 ヤマハ株式会社 音響再生システム及び音響再生方法
US20150016642A1 (en) * 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US20170150225A1 (en) * 2015-11-19 2017-05-25 Google Inc. Reminders of Media Content Referenced in Other Media Content
CN105467364A (zh) * 2015-11-20 2016-04-06 百度在线网络技术（北京）有限公司 一种定位目标声源的方法和装置
CN106255031A (zh) * 2016-07-26 2016-12-21 北京地平线信息技术有限公司 虚拟声场产生装置和虚拟声场产生方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694156A (zh) * 2020-05-26 2020-09-22 Oppo广东移动通信有限公司 眼镜及其音效的控制方法
CN112153525A (zh) * 2020-08-11 2020-12-29 广东声音科技有限公司 多扬声器全景音效的定位方法及***
CN113411725A (zh) * 2021-06-25 2021-09-17 Oppo广东移动通信有限公司 音频播放方法、装置、移动终端及存储介质

Also Published As

Publication number Publication date
EP3416410A1 (en) 2018-12-19
TWI703877B (zh) 2020-09-01
TW201906421A (zh) 2019-02-01
US20180367893A1 (en) 2018-12-20
EP3416410B1 (en) 2023-09-06
US10595122B2 (en) 2020-03-17
CN109151671B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109151671A (zh) 音频处理装置、音频处理方法和计算机程序产品
US11048472B2 (en) Dynamically adjustable sound parameters
US9712940B2 (en) Automatic audio adjustment balance
US20180077512A1 (en) System and method for playing media
US20150358768A1 (en) Intelligent device connection for wireless media in an ad hoc acoustic network
CN102160358A (zh) 小蜂窝无线网络中的客户设备的上游信号处理
CN108600907A (zh) 定位声源的方法、听力装置及听力***
US20150358767A1 (en) Intelligent device connection for wireless media in an ad hoc acoustic network
US20180278226A1 (en) Audio System Equalizing
CN205005254U (zh) 无线usb音频收发器
CN108111670A (zh) 自动调节蓝牙耳机音量的方法、装置及蓝牙耳机
CN107211213B (zh) 基于扬声器的位置信息输出音频信号的方法和设备
US10531179B2 (en) Battery-less, noise-cancellation headset
CN108320749A (zh) 远场语音控制设备和远场语音控制***
CN114727212B (zh) 音频的处理方法及电子设备
CN108737648B (zh) 音乐音量自适应调节方法、装置、存储介质及终端
CN203689892U (zh) 视唱场所专用个人音频数据调备装置
WO2022267468A1 (zh) 一种声音处理方法及其装置
WO2017054165A1 (zh) 交互设备的选择方法和装置
CN106341765A (zh) 用于运行听力设备***的方法和听力设备***
US9733714B2 (en) Computing system with command-sense mechanism and method of operation thereof
CN109413541A (zh) 感应音箱、音频输出方法、设备及存储介质
KR101355910B1 (ko) 스마트폰을 이용한 무선마이크 시스템
CN115038194A (zh) 设备之间的无线通信信号的配置
CN108564936A (zh) 音频设备、音频处理方法及音频处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant