RU2771954C2 - Methods and apparatuses for controlling low audio frequencies - Google Patents

Abstract

FIELD: audio data processing.

SUBSTANCE: claimed group of inventions relates to various methods for audio processing, including methods for controlling low audio frequencies. Some of the disclosed methods involve multi-band control of low audio frequencies. Some such examples may involve application of multiple frequencies of a high-pass and low-pass filter for the purpose of controlling low audio frequencies. Some of the disclosed methods interpret at least some low-frequency signals as pannable audio objects. Some of the disclosed methods involve separate panning of low and high frequencies. After the high frequencies are rendered, the power audit can determine the low-frequency deficit coefficient, reproducible by means of subwoofers or other loudspeakers with low frequency support.

EFFECT: ensured reproduction of low-frequency audio without excessive distortion.

15 cl, 14 dwg

Description

Перекрестные ссылки на родственные заявкиCross-references to related applications

[0001] Данная заявка испрашивает приоритет предварительной заявки на патент (США) № 62/746468, поданной 16 октября 2018 года, которая настоящим полностью содержится в данном документе по ссылке.[0001] This application claims priority of U.S. Provisional Application No. 62/746468, filed October 16, 2018, which is hereby incorporated by reference in its entirety.

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

[0002] Данное раскрытие сущности относится к обработке и воспроизведению аудиоданных. В частности, данное раскрытие сущности относится к управлению низкими звуковыми частотами для аудиоданных.[0002] This disclosure relates to the processing and playback of audio data. In particular, this disclosure relates to the management of low audio frequencies for audio data.

Уровень техникиState of the art

[0003] Управление низкими звуковыми частотами представляет собой способ, используемый в аудиосистемах для того, чтобы эффективно воспроизводить наименьшие частоты в аудиопрограмме. Конструкция или местоположение основных громкоговорителей может не поддерживать достаточное, эффективное или равномерное формирование низкочастотного звука. В таких случаях, широкополосный сигнал может разбиваться на две или более полосы частот, при этом низкие частоты направлены в громкоговорители, которые допускают воспроизведение низкочастотного аудио без чрезмерного искажения.[0003] Bass management is a technique used in audio systems to efficiently reproduce the lowest frequencies in an audio program. The design or location of the main speakers may not support sufficient, efficient or even bass sound production. In such cases, the wideband signal may be split into two or more frequency bands, with the low frequencies directed to loudspeakers that allow low frequency audio to be reproduced without excessive distortion.

Сущность изобретенияThe essence of the invention

[0004] Различные способы аудиообработки, в том числе, но не только, способы управления низкими звуковыми частотами, раскрываются в данном документе. Некоторые такие способы могут заключать в себе прием аудиоданных, которые могут включать в себя множество аудиообъектов. Аудиообъекты могут включать в себя аудиоданные и ассоциированные метаданные. Метаданные могут включать в себя данные позиций аудиообъектов. Некоторые способы могут заключать в себе прием данных схемы размещения динамиков воспроизведения, которые могут включать в себя индикатор одного или более динамиков воспроизведения в окружении воспроизведения и индикатор местоположения одного или более динамиков воспроизведения в окружении воспроизведения. Данные схемы размещения динамиков воспроизведения, в некоторых примерах, могут включать в себя данные местоположений громкоговорителей с поддержкой низких частот (LFC), соответствующие одному или более LFC-динамиков воспроизведения из окружения воспроизведения, и данные местоположений основных громкоговорителей, соответствующие одному или более основных динамиков воспроизведения из окружения воспроизведения. В некоторых примерах, данные схемы размещения динамиков воспроизведения могут включать в себя индикатор местоположения одной или более групп динамиков воспроизведения в окружении воспроизведения.[0004] Various audio processing techniques, including but not limited to bass management techniques, are disclosed herein. Some such methods may include receiving audio data, which may include a plurality of audio objects. The audio objects may include audio data and associated metadata. The metadata may include audio object position data. Some methods may include receiving speaker layout data, which may include an indicator of one or more playback speakers in the playback environment and an indicator of the location of one or more playback speakers in the playback environment. Playback speaker layout data, in some examples, may include bass-supported (LFC) speaker location data corresponding to one or more playback LFC speakers from the playback environment, and main speaker location data corresponding to one or more main playback speakers. from the playback environment. In some examples, the playback speaker layout data may include an indicator of the location of one or more groups of playback speakers in the playback environment.

[0005] Некоторые такие способы могут заключать в себе рендеринг аудиообъектов в сигналы прямой подачи звука в динамики, по меньшей мере, частично на основе ассоциированных метаданных и данных схемы размещения динамиков воспроизведения. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более динамиков воспроизведения в окружении воспроизведения. Некоторые такие способы могут заключать в себе применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики для того, чтобы формировать фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, и применение фильтра низких частот к аудиоданным каждого из множества аудиообъектов для того, чтобы формировать низкочастотные (LF) аудиообъекты. Некоторые способы могут заключать в себе панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики. Некоторые такие способы могут заключать в себе вывод сигналов прямой подачи звука в LFC-динамики в один или более LFC-громкоговорителей окружения воспроизведения и предоставление фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в один или более основных динамиков воспроизведения из окружения воспроизведения.[0005] Some such methods may involve rendering audio objects into direct speaker signals based at least in part on associated metadata and playback speaker layout data. Each speaker direct signal may correspond to one or more playback speakers in the playback environment. Some such methods may include applying a high-pass filter to at least some of the direct-to-speaker signals to generate high-pass-filtered direct-to-speaker signals, and applying a low-pass filter to the audio data of each of the plurality of audio objects in order to generate low frequency (LF) audio objects. Some methods may involve panning LF audio objects based at least in part on LFC speaker location data in order to generate feed-forward signals to the LFC speakers. Some such methods may include outputting direct LFC speaker signals to one or more LFC speakers of the playback environment and providing high pass filtered direct speaker signals to one or more main playback speakers from the playback environment.

[0006] Согласно некоторым реализациям, способ может заключать в себе прореживание аудиоданных одного или более аудиообъектов до или в качестве части применения фильтра низких частот к аудиоданным каждого из множества аудиообъектов. Некоторые способы могут заключать в себе определение уровня сигнала аудиоданных аудиообъектов, сравнение уровня сигнала с пороговым уровнем сигнала и применение одного или более фильтров низких частот только к аудиообъектам, для которых уровень сигнала аудиоданных превышает или равен пороговому уровню сигнала. Некоторые способы могут заключать в себе вычисление дефицита мощности, по меньшей мере, частично на основе усиления и характеристик фильтра(ов) верхних частот и определение фильтра низких частот, по меньшей мере, частично на основе дефицита мощности.[0006] According to some implementations, the method may include decimating the audio data of one or more audio objects before or as part of applying a low pass filter to the audio data of each of the plurality of audio objects. Some methods may include determining the signal level of the audio data of the audio objects, comparing the signal level with a threshold signal level, and applying one or more low pass filters only to the audio objects for which the signal level of the audio data is greater than or equal to the threshold signal level. Some methods may include calculating a power deficit based at least in part on the gain and characteristics of the high pass filter(s) and determining a low pass filter based at least in part on the power deficit.

[0007] В некоторых примерах, применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики может заключать в себе применение двух или более разных фильтров верхних частот. Согласно некоторым реализациям, применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики может заключать в себе применение первого фильтра верхних частот к первому множеству сигналов прямой подачи звука в динамики для того, чтобы формировать первые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, и применение второго фильтра верхних частот ко второму множеству сигналов прямой подачи звука в динамики для того, чтобы формировать вторые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики. Первый фильтр верхних частот, в некоторых примерах, может быть выполнен с возможностью пропускать более низкий диапазон частот, чем второй фильтр верхних частот.[0007] In some examples, applying a high pass filter to at least some direct speaker signals may involve applying two or more different high pass filters. According to some implementations, applying a high-pass filter to at least some of the direct-to-speaker signals may comprise applying a first high-pass filter to a first plurality of direct-to-speaker signals in order to generate first high-pass filtered signals. and applying a second high-pass filter to the second plurality of direct-to-speaker signals to generate second high-pass-filtered direct-to-speaker signals. The first high pass filter, in some examples, may be configured to pass a lower frequency range than the second high pass filter.

[0008] Некоторые способы могут заключать в себе прием первой информации производительности динамиков воспроизведения относительно первого набора основных динамиков воспроизведения и прием второй информации производительности динамиков воспроизведения относительно второго набора основных динамиков воспроизведения. В некоторых таких примерах, первый фильтр верхних частот может соответствовать первой информации производительности динамиков воспроизведения, и второй фильтр верхних частот может соответствовать второй информации производительности динамиков воспроизведения. Предоставление фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в один или более основных динамиков воспроизведения может заключать в себе предоставление первых фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в первый набор основных динамиков воспроизведения и предоставление вторых фильтрованных по верхним частотам сигналов прямой подачи звука в динамики во второй набор основных динамиков воспроизведения.[0008] Some methods may include receiving first playback speaker performance information regarding a first set of primary playback speakers and receiving second playback speaker performance information regarding a second set of primary playback speakers. In some such examples, the first high pass filter may correspond to the first playback speaker performance information, and the second high pass filter may correspond to the second playback speaker performance information. Providing high pass filtered direct feed signals to one or more main playback speakers may comprise providing first high pass filtered direct feed signals to a first set of main playback speakers and providing second high pass filtered direct feed signals sound to the speakers to the second set of main playback speakers.

[0009] В некоторых реализациях, метаданные могут включать в себя индикатор того, следует или нет применять фильтр верхних частот к сигналам прямой подачи звука в динамики, соответствующим конкретному аудиообъекту из аудиообъектов. Согласно некоторым примерам, формирование LF-аудиообъектов может заключать в себе применение двух или более разных фильтров.[0009] In some implementations, the metadata may include an indicator of whether or not to apply a high-pass filter to direct-to-speaker signals corresponding to a particular audio object of the audio objects. According to some examples, generating LF audio objects may involve applying two or more different filters.

[0010] В некоторых случаях, формирование LF-аудиообъектов может заключать в себе применение фильтра низких частот, по меньшей мере, к некоторым аудиообъектам для того, чтобы формировать первые LF-аудиообъекты. Фильтр низких частот может быть выполнен с возможностью пропускать первый диапазон частот. Некоторые такие способы могут заключать в себе применение фильтра верхних частот к первым LF-аудиообъектам для того, чтобы формировать вторые LF-аудиообъекты. Фильтр верхних частот может быть выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот. Панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики, может заключать в себе формирование первых сигналов прямой подачи звука в LFC-динамики посредством панорамирования первых LF-аудиообъектов и формирование вторых сигналов прямой подачи звука в LFC-динамики посредством панорамирования вторых LF-аудиообъектов.[0010] In some cases, generating LF audio objects may involve applying a low pass filter to at least some of the audio objects in order to generate the first LF audio objects. The low pass filter may be configured to pass the first frequency range. Some such methods may involve applying a high pass filter to the first LF audio objects in order to generate second LF audio objects. The high pass filter may be configured to pass a second frequency band, which is the middle LF frequency band. Panning the LF audio objects based at least in part on the location data of the LFC speakers in order to generate feed-forward signals to the LFC speakers may comprise generating first feed-forward signals to the LFC speakers by panning the first LF-speakers. audio objects and generating second direct audio signals to the LFC speakers by panning the second LF audio objects.

[0011] Согласно некоторым примерам, формирование LF-аудиообъектов может заключать в себе применение фильтра низких частот к первому множеству аудиообъектов для того, чтобы формировать первые LF-аудиообъекты. Фильтр низких частот может быть выполнен с возможностью пропускать первый диапазон частот. Некоторые такие способы могут заключать в себе применение полосового фильтра ко второму множеству аудиообъектов для того, чтобы формировать вторые LF-аудиообъекты. Полосовой фильтр может быть выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот. Панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики, может заключать в себе формирование первых сигналов прямой подачи звука в LFC-динамики посредством панорамирования первых LF-аудиообъектов и формирование вторых сигналов прямой подачи звука в LFC-динамики посредством панорамирования вторых LF-аудиообъектов.[0011] According to some examples, generating LF audio objects may involve applying a low pass filter to a first plurality of audio objects in order to generate first LF audio objects. The low pass filter may be configured to pass the first frequency range. Some such methods may involve applying a band pass filter to the second set of audio objects in order to generate second LF audio objects. The bandpass filter may be configured to pass a second frequency band, which is the middle LF frequency band. Panning the LF audio objects based at least in part on the location data of the LFC speakers in order to generate feed-forward signals to the LFC speakers may comprise generating first feed-forward signals to the LFC speakers by panning the first LF-speakers. audio objects and generating second direct audio signals to the LFC speakers by panning the second LF audio objects.

[0012] В некоторых примерах, прием данных местоположений LFC-громкоговорителей может заключать в себе прием данных местоположений несабвуферов, указывающих местоположение каждого из множества несабвуферных динамиков воспроизведения, способных воспроизводить аудиоданные во втором диапазоне частот. Формирование вторых сигналов прямой подачи звука в LFC-динамики может заключать в себе панорамирование, по меньшей мере, некоторых вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений несабвуферов для того, чтобы формировать сигналы прямой подачи звука в несабвуферные динамики. Некоторые такие способы также могут заключать в себе предоставление сигналов прямой подачи звука в несабвуферные динамики в один или более из множества несабвуферных динамиков воспроизведения из окружения воспроизведения.[0012] In some examples, receiving LFC speaker location data may include receiving non-subwoofer location data indicating the location of each of a plurality of non-subwoofer playback speakers capable of reproducing audio data in the second frequency band. Generating the second feed-forward signals to the LFC speakers may include panning at least some of the second LF audio objects based at least in part on the location data of the non-subwoofers in order to generate feed-forward signals to the non-subwoofer speakers. Some such methods may also include providing non-subwoofer speaker feed-forward signals to one or more of the plurality of non-subwoofer playback speakers from the playback environment.

[0013] Согласно некоторым реализациям, прием данных местоположений LFC-громкоговорителей может заключать в себе прием данных местоположений средних сабвуферов, указывающих местоположение каждого из множества средних сабвуферных динамиков воспроизведения, способных воспроизводить аудиоданные во втором диапазоне частот. В некоторых таких реализациях, формирование вторых сигналов прямой подачи звука в LFC-динамики может заключать в себе панорамирование, по меньшей мере, некоторых вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений средних сабвуферов для того, чтобы формировать сигналы прямой подачи звука в средние сабвуферные динамики. Некоторые такие способы также могут заключать в себе предоставление сигналов прямой подачи звука в средние сабвуферные динамики в один или более из множества средних сабвуферных динамиков воспроизведения из окружения воспроизведения.[0013] According to some implementations, receiving LFC speaker location data may include receiving mid-range subwoofer location data indicating the location of each of a plurality of mid-range subwoofer playback speakers capable of reproducing audio data in the second frequency band. In some such implementations, generating second feed-forward signals to the LFC speakers may involve panning at least some of the second LF audio objects based at least in part on data from mid-subwoofer locations in order to generate feed-forward signals. sound to the middle subwoofer speakers. Some such methods may also include providing mid-subwoofer speaker feed-forward signals to one or more of a plurality of playback mid-subwoofer speakers from the playback environment.

[0014] Некоторые или все из способов, описанных в данном документе, могут осуществляться посредством одного или более устройств согласно инструкциям (например, программному обеспечению), сохраненным на одном или более энергонезависимых носителей. Такие энергонезависимые носители могут включать в себя запоминающие устройства, такие как запоминающие устройства, описанные в данном документе, в том числе, но не только, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т.д. Соответственно, различные инновационные аспекты предмета изобретения, описанного в этом раскрытии сущности, могут реализовываться на энергонезависимом носителе, имеющем сохраненное программное обеспечение. Программное обеспечение, например, может включать в себя инструкции для управления, по меньшей мере, одним устройством таким образом, чтобы обрабатывать аудиоданные. Программное обеспечение, например, может выполняться посредством одного или более компонентов системы управления, таких как компоненты, раскрытые в данном документе. Программное обеспечение, например, может включать в себя инструкции для осуществления одного или более способов, раскрытых в данном документе.[0014] Some or all of the methods described herein may be performed by one or more devices according to instructions (eg, software) stored on one or more non-volatile media. Such non-volatile media may include storage devices such as those described herein, including, but not limited to, random access memory (RAM), read only memory (ROM), and the like. Accordingly, various innovative aspects of the subject matter described in this disclosure may be implemented on a non-volatile medium having stored software. The software, for example, may include instructions for controlling at least one device in such a manner as to process audio data. The software, for example, may be executed by one or more control system components, such as those disclosed herein. The software, for example, may include instructions for performing one or more of the methods disclosed herein.

[0015] По меньшей мере, некоторые аспекты настоящего раскрытия сущности могут реализовываться через оборудование. Например, одно или более устройств могут быть выполнены с возможностью осуществления, по меньшей мере, частично способов, раскрытых в данном документе. В некоторых реализациях, оборудование может включать в себя интерфейсную систему и систему управления. Интерфейсная система может включать в себя один или более сетевых интерфейсов, один или более интерфейсов между системой управления и запоминающей системой, один или более интерфейсов между системой управления и другим устройством и/или одним или более интерфейсов внешних устройств. Система управления может включать в себя, по меньшей мере, одно из одно- или многомикросхемного процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, дискретного логического элемента или транзисторной логики либо дискретных аппаратных компонентов. Соответственно, в некоторых реализациях, система управления может включать в себя один или более процессоров и один или более энергонезависимых носителей хранения данных, функционально соединенных с одним или более процессоров. Система управления может быть выполнена с возможностью осуществления некоторых или всех способов, раскрытых в данном документе.[0015] At least some aspects of the present disclosure may be implemented through equipment. For example, one or more devices may be configured to implement at least in part the methods disclosed herein. In some implementations, the equipment may include an interface system and a control system. The interface system may include one or more network interfaces, one or more interfaces between the control system and the storage system, one or more interfaces between the control system and another device, and/or one or more external device interfaces. The control system may include at least one of a single or multi-chip general purpose processor, digital signal processor (DSP), application specific integrated circuit (ASIC), field programmable gate array (FPGA), or other programmable logic device, discrete logic element or transistor logic or discrete hardware components. Accordingly, in some implementations, the control system may include one or more processors and one or more nonvolatile storage media operatively coupled to one or more processors. The control system may be configured to implement some or all of the methods disclosed herein.

[0016] Подробности одной или более реализаций предмета изобретения, описанного в этом подробном описании, изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, аспекты и преимущества должны становиться очевидными из описания, чертежей и формулы изобретения. Следует отметить, что относительные размеры следующих чертежей могут не быть нарисованы в масштабе. Аналогичные ссылки с номерами и обозначения на различных чертежах, в общем, указывают аналогичные элементы.[0016] Details of one or more embodiments of the subject matter described in this detailed description are set forth in the accompanying drawings and in the description below. Other features, aspects and advantages should become apparent from the description, drawings and claims. It should be noted that the relative dimensions of the following drawings may not be drawn to scale. Like reference numerals and designations throughout the various drawings generally indicate like elements.

Краткое описание чертежейBrief description of the drawings

[0017] Фиг. 1 показывает пример окружения воспроизведения, имеющего конфигурацию Dolby Surround 5.1.[0017] FIG. 1 shows an example of a playback environment having a Dolby Surround 5.1 configuration.

[0018] Фиг. 2 показывает пример окружения воспроизведения, имеющего конфигурацию Dolby Surround 7.1.[0018] FIG. 2 shows an example of a playback environment having a Dolby Surround 7.1 configuration.

[0019] Фиг. 3 показывает пример окружения воспроизведения, имеющего конфигурацию объемного звука Hamasaki 22.2.[0019] FIG. 3 shows an example of a playback environment having a Hamasaki 22.2 surround sound configuration.

[0020] Фиг. 4A показывает пример графического пользовательского интерфейса (GUI), который изображает зоны действия динамиков при варьирующихся подъемах в виртуальном окружении воспроизведения.[0020] FIG. 4A shows an example of a graphical user interface (GUI) that depicts speaker coverage areas at varying elevations in a virtual playback environment.

[0021] Фиг. 4B показывает пример другого окружения воспроизведения.[0021] FIG. 4B shows an example of another playback environment.

[0022] Фиг. 5A является блок-схемой, которая показывает примеры компонентов оборудования, которое может быть выполнено с возможностью осуществлять, по меньшей мере, некоторые способы, раскрытые в данном документе.[0022] FIG. 5A is a block diagram that shows examples of equipment components that may be configured to perform at least some of the methods disclosed herein.

[0023] Фиг. 5B показывает некоторые примеры частотных диапазонов громкоговорителей.[0023] FIG. 5B shows some examples of loudspeaker frequency ranges.

[0024] Фиг. 6 является блок-схемой последовательности операций, которая показывает этапы способа управления низкими звуковыми частотами согласно одному примеру.[0024] FIG. 6 is a flowchart that shows the steps of a bass control method according to one example.

[0025] Фиг. 7 показывает этапы способа управления низкими звуковыми частотами согласно одному раскрытому примеру.[0025] FIG. 7 shows the steps of a method for managing low audio frequencies according to one disclosed example.

[0026] Фиг. 8 показывает этапы альтернативного способа управления низкими звуковыми частотами согласно одному раскрытому примеру.[0026] FIG. 8 shows the steps of an alternative bass control method according to one disclosed example.

[0027] Фиг. 9 показывает этапы другого способа управления низкими звуковыми частотами согласно одному раскрытому примеру.[0027] FIG. 9 shows the steps of another bass control method according to one disclosed example.

[0028] Фиг. 10 является функциональной блок-схемой, которая иллюстрирует другой раскрытый способ управления низкими звуковыми частотами.[0028] FIG. 10 is a functional block diagram that illustrates another disclosed bass control method.

[0029] Фиг. 11 является функциональной блок-схемой, которая показывает один пример равномерной реализации низких звуковых частот.[0029] FIG. 11 is a functional block diagram that shows one example of uniform realization of low audio frequencies.

[0030] Фиг. 12 является функциональной блок-схемой, которая предоставляет пример прореживания согласно одному раскрытому способу управления низкими звуковыми частотами.[0030] FIG. 12 is a functional block diagram that provides an example of decimation according to one disclosed bass control method.

[0031] Аналогичные ссылки с номерами и обозначения на различных чертежах указывают аналогичные элементы.[0031] Like reference numerals and designations throughout the various drawings indicate like elements.

Описание примерных вариантов осуществленияDescription of Exemplary Embodiments

[0032] Нижеприведенное описание направлено на определенные реализации для целей описания некоторых инновационных аспектов этого раскрытия сущности, а также примеров контекстов, в которых могут реализовываться эти инновационные аспекты. Тем не менее, идеи в данном документе могут применяться всевозможными способами. Кроме того, описанные варианты осуществления могут реализовываться в различных аппаратных средствах, программном обеспечении, микропрограммном обеспечении и т.д. Например, аспекты настоящей заявки могут осуществляться, по меньшей мере, частично, в оборудовании, в системе, которая включает в себя более одного устройства, способе, в компьютерном программном продукте и т.д. Соответственно, аспекты настоящей заявки могут принимать форму аппаратного варианта осуществления, программного варианта осуществления (включающего в себя микропрограммное обеспечение, резидентное программное обеспечение, микрокоды и т.д.) и/или варианта осуществления, комбинирующего программный и аппаратный аспекты. Такие варианты осуществления могут упоминаться в данном документе как «схема», «модуль» или «механизм». Некоторые аспекты настоящей заявки могут принимать форму компьютерного программного продукта, осуществленного на одном или более энергонезависимых носителей, имеющих осуществленный машиночитаемый программный код. Такие энергонезависимые носители, например, могут включать в себя жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память), портативное постоянное запоминающее устройство на компакт-дисках (CD-ROM), оптическое устройство хранения данных, магнитное устройство хранения данных либо любую подходящую комбинацию вышеприведенного. Соответственно, идеи этого раскрытия сущности не имеют намерение быть ограниченными реализациями, показанными на чертежах и/или описанными в данном документе, а вместо этого имеют широкую применимость.[0032] The following description is directed to specific implementations for the purposes of describing some of the innovative aspects of this disclosure, as well as examples of contexts in which these innovative aspects may be implemented. However, the ideas in this document can be applied in a variety of ways. In addition, the described embodiments may be implemented in various hardware, software, firmware, and so on. For example, aspects of the present application may be implemented, at least in part, in hardware, in a system that includes more than one device, in a method, in a computer program product, and so on. Accordingly, aspects of the present application may take the form of a hardware implementation, a software implementation (including firmware, resident software, microcodes, etc.), and/or an implementation combining software and hardware aspects. Such embodiments may be referred to herein as a "circuit", "module" or "mechanism". Some aspects of the present application may take the form of a computer program product implemented on one or more non-volatile media having computer readable program code implemented. Such non-volatile media, for example, may include a hard disk drive, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), portable compact disc read only memory (CD). -ROM), an optical storage device, a magnetic storage device, or any suitable combination of the above. Accordingly, the teachings of this disclosure are not intended to be limited to the implementations shown in the drawings and/or described herein, but instead have broad applicability.

[0033] Фиг. 1 показывает пример окружения воспроизведения, имеющего конфигурацию Dolby Surround 5.1. Dolby Surround 5.1 разработан в 1990 годах, но эта конфигурация по-прежнему широко развертывается в окружениях звуковых систем кинотеатров. Проектор 105 может быть выполнен с возможностью проецировать видеоизображения, например, для фильма, на экране 150. Данные воспроизведения аудио могут синхронизироваться с видеоизображениями и обрабатываться посредством звукового процессора 110. Усилители 115 мощности могут предоставлять сигналы прямой подачи звука в динамики в динамики окружения 100 воспроизведения.[0033] FIG. 1 shows an example of a playback environment having a Dolby Surround 5.1 configuration. Dolby Surround 5.1 was developed in the 1990s, but this configuration is still widely deployed in cinema sound system environments. Projector 105 may be configured to project video images, such as for a movie, onto screen 150. Audio playback data may be synchronized with video images and processed by sound processor 110. Power amplifiers 115 may provide direct speaker audio signals to playback surround speakers 100.

[0034] Конфигурация Dolby Surround 5.1 включает в себя левый массив 120 объемного звучания, правый массив 125 объемного звучания, каждый из которых комплексно возбуждается посредством одного канала. Конфигурация Dolby Surround 5.1 также включает в себя отдельные каналы для левого экранного канала 130, центрального экранного канала 135 и правого экранного канала 140. Отдельный канал для сабвуфера 145 предоставляется для низкочастотных эффектов (LFE).[0034] The Dolby Surround 5.1 configuration includes a left surround array 120, a right surround array 125, each of which is complexly driven by one channel. The Dolby Surround 5.1 configuration also includes separate channels for left screen channel 130, center screen channel 135, and right screen channel 140. A separate channel for subwoofer 145 is provided for low frequency effects (LFE).

[0035] В 2010 году, Dolby предоставляет улучшения по звуку для цифровых кинотеатров за счет введения Dolby Surround 7.1. Фиг. 2 показывает пример окружения воспроизведения, имеющего конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может быть выполнен с возможностью принимать цифровые видеоданные и проецировать видеоизображения на экране 150. Данные воспроизведения аудио могут обрабатываться посредством звукового процессора 210. Усилители 215 мощности могут предоставлять сигналы прямой подачи звука в динамики в динамики окружения 200 воспроизведения.[0035] In 2010, Dolby brings audio enhancements to digital cinemas with the introduction of Dolby Surround 7.1. Fig. 2 shows an example of a playback environment having a Dolby Surround 7.1 configuration. Digital projector 205 may be configured to receive digital video data and project video images on screen 150. Audio playback data may be processed by sound processor 210. Power amplifiers 215 may provide direct speaker signals to playback surround speakers 200.

[0036] Конфигурация Dolby Surround 7.1 включает в себя левосторонний массив 220 объемного звучания и правосторонний массив 225 объемного звучания, каждый из которых может возбуждаться посредством одного канала. Аналогично Dolby Surround 5.1, конфигурация Dolby Surround 7.1 включает в себя отдельные каналы для левого экранного канала 230, центрального экранного канала 235, правого экранного канала 240 и сабвуфера 245. Тем не менее Dolby Surround 7.1 увеличивает число каналов объемного звучания за счет разбиения левого и правого каналов объемного звучания Dolby Surround 5.1 на четыре зоны: в дополнение к левостороннему массиву 220 объемного звучания и правостороннему массиву 225 объемного звучания, отдельные каналы включаются для левых задних динамиков 224 объемного звучания и правых задних динамиков 226 объемного звучания. Увеличение числа зон объемного звучания в окружении 200 воспроизведения позволяет значительно улучшать локализацию звука.[0036] The Dolby Surround 7.1 configuration includes a left-sided surround array 220 and a right-sided surround array 225, each of which can be driven by one channel. Similar to Dolby Surround 5.1, the Dolby Surround 7.1 configuration includes separate channels for the left screen channel 230, center screen channel 235, right screen channel 240, and subwoofer 245. However, Dolby Surround 7.1 increases the number of surround channels by splitting left and right Dolby Surround 5.1 channels into four zones: in addition to the left-side surround array 220 and the right-side surround array 225, separate channels are included for the left surround back speakers 224 and the right surround back speakers 226. Increasing the number of surround zones in the playback environment 200 can significantly improve sound localization.

[0037] В попытке создавать окружение с большим погружением, некоторые окружения воспроизведения могут быть сконфигурированы с увеличенными числами динамиков, возбужденных посредством увеличенных чисел каналов. Кроме того, некоторые окружения воспроизведения могут включать в себя динамики, развернутые при различных подъемах, некоторые из которых могут быть выше посадочной области окружения воспроизведения.[0037] In an attempt to create a more immersive environment, some playback environments may be configured with increased numbers of speakers driven by increased channel numbers. In addition, some playback environments may include speakers deployed at various elevations, some of which may be higher than the landing area of the playback environment.

[0038] Фиг. 3 показывает пример окружения воспроизведения, имеющего конфигурацию объемного звука Hamasaki 22.2. Hamasaki 22.2 разработана в компании NHK Science and Technology Research Laboratories в Японии в качестве компонента объемного звука для телевидения сверхвысокой четкости. Hamasaki 22.2 предоставляет 24 каналов динамиков, которые могут использоваться для того, чтобы возбуждать динамики, размещаемые в трех слоях. Верхний слой 310 динамиков окружения 300 воспроизведения может возбуждаться посредством 9 каналов. Средний слой 320 динамиков может возбуждаться посредством 10 каналов. Нижний слой 330 динамиков может возбуждаться посредством 5 каналов, два из которых предназначены для сабвуферов 345a и 345b.[0038] FIG. 3 shows an example of a playback environment having a Hamasaki 22.2 surround sound configuration. Hamasaki 22.2 is developed by NHK Science and Technology Research Laboratories in Japan as a surround sound component for UHD television. Hamasaki 22.2 provides 24 speaker channels that can be used to drive speakers placed in three layers. The top speaker layer 310 of the playback environment 300 can be driven by 9 channels. The middle speaker layer 320 can be driven by 10 channels. The bottom speaker layer 330 can be driven by 5 channels, two of which are for subwoofers 345a and 345b.

[0039] Соответственно, новая тенденция состоит в том, чтобы включать не только больше динамиков и большее число каналов, но также и включать динамики на отличающихся высотах. По мере того, как число каналов увеличивается, и схема размещения динамиков переходит от двумерного массива к трехмерному массиву, задачи позиционирования и рендеринга звуков становятся все более трудными.[0039] Accordingly, the new trend is to include not only more speakers and more channels, but also include speakers at different heights. As the number of channels increases and the speaker layout moves from a two-dimensional array to a three-dimensional array, the tasks of positioning and rendering sounds become more difficult.

[0040] При использовании в данном документе со ссылкой на виртуальные окружения воспроизведения, такие как виртуальное окружение 404 воспроизведения, термин «зона действия динамика», в общем, означает логическую структуру, которая может иметь или может не иметь соответствие «один-к-одному» с динамиком воспроизведения из фактического окружения воспроизведения. Например, «местоположение зоны действия динамиков» может соответствовать или может не соответствовать конкретному местоположению динамика воспроизведения из окружения воспроизведения в кинотеатре. Вместо этого термин «местоположение зоны действия динамика», в общем, может означать зону виртуального окружения воспроизведения. В некоторых реализациях, зона действия динамиков виртуального окружения воспроизведения может соответствовать виртуальному динамику, например, через использование технологии виртуализации, такой как Dolby Headphone™ (иногда называемой Mobile Surround™), которая создает виртуальное окружение объемного звука в реальном времени с использованием набора двухканальных стереонаушников. В GUI 400, предусмотрено семь зон 402a действия динамиков при первом подъеме и две зоны 402b действия динамиков при втором подъеме, что в сумме составляет девять зон действия динамиков в виртуальном окружении 404 воспроизведения. В этом примере, зоны 1-3 действия динамиков находятся в передней области 405 виртуального окружения 404 воспроизведения. Передняя область 405 может соответствовать, например, области окружения воспроизведения в кинотеатре, в которой расположен экран 150, области дома, в которой расположен телевизионный экран, и т.д.[0040] When used herein with reference to virtual playback environments such as virtual playback environment 404, the term "speaker coverage" generally means a logical structure that may or may not have a one-to-one correspondence. ” with the playback speaker from the actual playback environment. For example, "speaker coverage location" may or may not correspond to a particular playback speaker location from a theater playback environment. Instead, the term "speaker coverage location" may generally mean a virtual playback environment area. In some implementations, the coverage of the virtual playback surround speakers may correspond to the virtual speaker, for example, through the use of virtualization technology such as Dolby Headphone™ (sometimes referred to as Mobile Surround™), which creates a real-time virtual surround sound environment using a set of two-channel stereo headphones. In the GUI 400, there are seven first rise speaker areas 402a and two second rise speaker areas 402b for a total of nine speaker areas in the virtual playback environment 404 . In this example, the zones 1-3 of the speakers are in the front area 405 of the virtual environment 404 playback. The front area 405 may correspond to, for example, a theater playback environment area in which the screen 150 is located, an area in the home in which a television screen is located, and so on.

[0041] Здесь зона 4 действия динамиков, в общем, соответствует динамикам в левой области 410, и зона 5 действия динамиков соответствует динамикам в правой области 415 виртуального окружения 404 воспроизведения. Зона 6 действия динамиков соответствует левой задней области 412, и зона 7 действия динамиков соответствует правой задней области 414 виртуального окружения 404 воспроизведения. Зона 8 действия динамиков соответствует динамикам в верхней области 420a, и зона 9 действия динамиков соответствует динамикам в верхней области 420b, которая может представлять собой виртуальную потолочную область, такую как область виртуального потолка 520, показанная на фиг. 5D и 5E. Соответственно, и как подробнее описано ниже, местоположения зон 1-9 действия динамиков, которые показаны на фиг 4A, могут соответствовать или могут не соответствовать местоположениям динамиков воспроизведения из фактического окружения воспроизведения. Кроме того, другие реализации могут включать в себя большее или меньшее число зон действия динамиков и/или подъемов.[0041] Here, the speaker area 4 generally corresponds to the speakers in the left area 410, and the speaker area 5 corresponds to the speakers in the right area 415 of the virtual playback environment 404. The speaker area 6 corresponds to the left rear area 412, and the speaker area 7 corresponds to the right rear area 414 of the virtual playback environment 404. Speaker coverage 8 corresponds to speakers in top region 420a, and speaker coverage 9 corresponds to speakers in top region 420b, which may be a virtual ceiling region such as virtual ceiling region 520 shown in FIG. 5D and 5E. Accordingly, and as described in more detail below, the locations of the speaker zones 1-9 that are shown in FIG. 4A may or may not correspond to playback speaker locations from the actual playback environment. In addition, other implementations may include more or less speaker coverage and/or lifts.

[0042] В различных реализациях, описанных в данном документе, пользовательский интерфейс, такой как GUI 400, может использоваться в качестве части инструментального средства для авторской разработки и/или инструментального средства для рендеринга. В некоторых реализациях, инструментальное средство для авторской разработки и/или инструментальное средство для рендеринга могут реализовываться через программное обеспечение, сохраненное на одном или более энергонезависимых носителей. Инструментальное средство для авторской разработки и/или инструментальное средство для рендеринга могут реализовываться (по меньшей мере, частично) посредством аппаратных средств, микропрограммного обеспечения и т.д., к примеру, посредством логической системы и других устройств, описанных ниже со ссылкой на фиг. 21. В некоторых реализациях для авторской разработки, ассоциированное инструментальное средство для авторской разработки может использоваться для того, чтобы создавать метаданные для ассоциированных аудиоданных. Метаданные, например, могут включать в себя данные, указывающие позицию и/или траекторию аудиообъекта в трехмерном пространстве, данные ограничений зон действия динамиков и т.д. Метаданные могут создаваться относительно зон 402 действия динамиков виртуального окружения 404 воспроизведения, а не относительно конкретной схемы размещения динамиков фактического окружения воспроизведения. Инструментальное средство для рендеринга может принимать аудиоданные и ассоциированные метаданные и может вычислять аудиоусиления и сигналы прямой подачи звука в динамики для окружения воспроизведения. Такие аудиоусиления и сигналы прямой подачи звука в динамики могут вычисляться согласно процессу амплитудного панорамирования, который может создавать такое восприятие, что звук исходит из позиции P в окружении воспроизведения. Например, сигналы прямой подачи звука в динамики могут предоставляться в динамики 1-N воспроизведения из окружения воспроизведения согласно следующему уравнению:[0042] In various implementations described herein, a user interface, such as GUI 400, may be used as part of an authoring tool and/or a rendering tool. In some implementations, the authoring tool and/or the rendering tool may be implemented through software stored on one or more non-volatile media. The authoring tool and/or the rendering tool may be implemented (at least in part) by hardware, firmware, etc., for example, by the logic system and other devices described below with reference to FIG. 21. In some authoring implementations, an associated authoring tool may be used to create metadata for the associated audio data. The metadata, for example, may include data indicating the position and/or trajectory of an audio object in 3D space, speaker range restriction data, and so on. The metadata may be created with respect to the speaker areas 402 of the virtual playback environment 404 rather than with respect to the specific speaker layout of the actual playback environment. The rendering tool may receive audio data and associated metadata and may compute audio gains and direct speaker signals for the playback environment. Such audio gains and direct speaker signals can be calculated according to an amplitude panning process that can create the perception that the sound is coming from a position P in the playback environment. For example, speaker direct signals may be provided to playback speakers 1-N from the playback environment according to the following equation:

[0043] x_i(t)=g_ix(t), i=1,..., N (уравнение 1)[0043] x _i (t)=g _i x(t), i=1,..., N (equation 1)

[0044] В уравнении 1, x_i(t) представляет сигнал прямой подачи звука в динамики, который должен применяться к динамику i, g_i представляет коэффициент усиления соответствующего канала, x(t) представляет аудиосигнал, и t представляет время. Коэффициенты усиления могут определяться, например, согласно способам амплитудного панорамирования, описанным в разделе, страницы 3-4 работы автора V. Pulkki «Compensating Displacement of Amplitude-Panned Virtual Sources» (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), которая настоящим содержится по ссылке. В некоторых реализациях, усиления могут быть частотно-зависимыми. В некоторых реализациях, временная задержка может вводиться посредством замены x(t) на x(t-Δt).[0044] In Equation 1, x _i (t) represents the direct speaker signal to be applied to speaker i, g _i represents the corresponding channel gain, x(t) represents the audio signal, and t represents time. Gain factors can be determined, for example, according to the amplitude panning methods described in section, pages 3-4 of the work of the author V. Pulkki "Compensating Displacement of Amplitude-Panned Virtual Sources" (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), which is hereby incorporated by reference. In some implementations, the gains may be frequency dependent. In some implementations, a time delay may be introduced by replacing x(t) with x(t-Δt).

[0045] В некоторых реализациях рендеринга, данные воспроизведения аудио, созданные со ссылкой на зоны 402 действия динамиков, могут преобразовываться в местоположения динамиков широкого диапазона окружений воспроизведения, которые могут иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1, конфигурацию Hamasaki 22.2 либо другую конфигурацию. Например, ссылаясь на фиг. 2, инструментальное средство для рендеринга может преобразовывать данные воспроизведения аудио для зон 4 и 5 действия динамиков в левосторонний массив 220 объемного звучания и правосторонний массив 225 объемного звучания окружения воспроизведения, имеющего конфигурацию Dolby Surround 7.1. Данные воспроизведения аудио для зон 1, 2 и 3 действия динамиков могут преобразовываться в левый экранный канал 230, правый экранный канал 240 и центральный экранный канал 235, соответственно. Данные воспроизведения аудио для зон 6 и 7 действия динамиков могут преобразовываться в левые задние динамики 224 объемного звучания и правые задние динамики 226 объемного звучания.[0045] In some rendering implementations, audio playback data created with reference to speaker action areas 402 may be mapped to speaker locations of a wide range of playback environments, which may be Dolby Surround 5.1, Dolby Surround 7.1, Hamasaki 22.2, or another configuration. . For example, referring to FIG. 2, the rendering tool can convert audio playback data for speaker zones 4 and 5 into a left-side surround array 220 and a right-side surround array 225 of a playback environment having a Dolby Surround 7.1 configuration. The audio playback data for zones 1, 2, and 3 of speaker action may be converted to the left screen channel 230, the right screen channel 240, and the center screen channel 235, respectively. The audio reproduction data for zones 6 and 7 of speaker operation can be converted to left surround back speakers 224 and right rear surround speakers 226 .

[0046] Фиг. 4B показывает пример другого окружения воспроизведения. В некоторых реализациях, инструментальное средство для рендеринга может преобразовывать данные воспроизведения аудио для зон 1, 2 и 3 действия динамиков в соответствующие экранные динамики 455 окружения 450 воспроизведения. Инструментальное средство для рендеринга может преобразовывать данные воспроизведения аудио для зон 4 и 5 действия динамиков в левосторонний массив 460 объемного звучания и правосторонний массив 465 объемного звучания и может преобразовывать данные воспроизведения аудио для зон 8 и 9 действия динамиков в левые подвесные динамики 470a и правые подвесные динамики 470b. Данные воспроизведения аудио для зон 6 и 7 действия динамиков могут преобразовываться в левые задние динамики 480a объемного звучания и правые задние динамики 480b объемного звучания. Тем не менее, в альтернативных реализациях, по меньшей мере, некоторые динамики окружения 450 воспроизведения могут не группироваться, как показано на фиг. 4B. Вместо этого, некоторые такие реализации могут заключать в себе панорамирование данных воспроизведения аудио в отдельные боковые динамики, потолочные динамики, динамики объемного звучания и/или сабвуферы. Согласно некоторым таким реализациям, низкочастотные аудиосигналы, соответствующие, по меньшей мере, некоторым аудиообъектам, могут панорамироваться в отдельные местоположения сабвуферов и/или в местоположения других громкоговорителей с поддержкой низких частот, таких как динамики объемного звучания, которые проиллюстрированы на фиг. 4B.[0046] FIG. 4B shows an example of another playback environment. In some implementations, the rendering tool may convert the audio playback data for speaker zones 1, 2, and 3 into the corresponding screen speakers 455 of the playback environment 450. The rendering tool can convert audio playback data for speaker zones 4 and 5 to left side surround array 460 and right side surround array 465, and can convert audio playback data for speaker zones 8 and 9 to left outboard speakers 470a and right outboard speakers 470b. The audio playback data for zones 6 and 7 of the speaker action can be converted to the left surround back speakers 480a and the right surround back speakers 480b. However, in alternative implementations, at least some of the speakers of the playback environment 450 may not be grouped as shown in FIG. 4b. Instead, some such implementations may involve panning audio playback data to separate side speakers, ceiling speakers, surround speakers, and/or subwoofers. According to some such implementations, low frequency audio signals corresponding to at least some audio objects may be panned to individual subwoofer locations and/or to other bass-enabled speaker locations, such as surround speakers, as illustrated in FIG. 4b.

[0047] В некоторых реализациях для авторской разработки, инструментальное средство для авторской разработки может использоваться для того, чтобы создавать метаданные для аудиообъектов. При использовании в данном документе, термин «аудиообъект» может означать поток аудиоданных, таких как монофонические аудиоданные и ассоциированные метаданные. Метаданные типично указывают двумерную или трехмерную позицию аудиообъекта, ограничения по рендерингу, а также тип контента (например, диалог, эффекты и т.д.). В зависимости от реализации, метаданные могут включать в себя другие типы данных, такие как данные ширины, данные усиления, данные траектории и т.д. Некоторые аудиообъекты могут быть статическими, тогда как другие могут перемещаться. Подробности аудиообъектов могут подвергаться авторской разработке или может выполняться рендеринг согласно ассоциированным метаданным, которые, в числе прочего, может указывать позицию аудиообъекта в трехмерном пространстве в данный момент времени. Когда аудиообъекты отслеживаются или воспроизводятся в окружении воспроизведения, аудиообъекты могут подвергаться рендерингу согласно позиционным метаданным с использованием динамиков воспроизведения, которые присутствуют в окружении воспроизведения, вместо вывода в предварительно определенный физический канал, как в случае с традиционными канально-ориентированными системами, такими как Dolby 5.1 и Dolby 7.1.[0047] In some authoring implementations, an authoring tool may be used to create metadata for audio objects. As used herein, the term "audio object" may mean a stream of audio data such as mono audio data and associated metadata. The metadata typically indicates the 2D or 3D position of the audio object, rendering constraints, as well as the type of content (eg, dialogue, effects, etc.). Depending on the implementation, the metadata may include other types of data such as width data, gain data, trajectory data, and so on. Some audio objects may be static while others may move. The details of the audio objects may be authored or rendered according to associated metadata, which, among other things, may indicate the position of the audio object in 3D space at a given point in time. When audio objects are tracked or played in the playback environment, the audio objects can be rendered according to positional metadata using playback speakers that are present in the playback environment, instead of being output to a predefined physical channel, as is the case with traditional channel-based systems such as Dolby 5.1 and Dolby 7.1.

[0048] Фиг. 5A является блок-схемой, которая показывает примеры компонентов оборудования, которое может быть выполнено с возможностью осуществлять, по меньшей мере, некоторые способы, раскрытые в данном документе. В некоторых примерах, оборудование 5 может представлять собой или может включать в себя персональный компьютер, настольный компьютер или другое локальное устройство, которое выполнено с возможностью предоставлять аудиообработку. В некоторых примерах, оборудование 5 может представлять собой или может включать в себя сервер. Согласно некоторым примерам, оборудование 5 может представлять собой клиентское устройство, которое выполнено с возможностью связи с сервером через сетевой интерфейс. Компоненты оборудования 5 могут реализовываться через аппаратные средства, через программное обеспечение, сохраненное на энергонезависимых носителях, через микропрограммное обеспечение и/или посредством комбинаций вышеозначенного. Типы и числа компонентов, показанных на фиг. 5A, а также на других чертежах, раскрытых в данном документе, показаны просто в качестве примера. Альтернативные реализации могут включать в себя большее число компонентов, меньшее число компонентов и/или другие компоненты.[0048] FIG. 5A is a block diagram that shows examples of components of equipment that may be configured to perform at least some of the methods disclosed herein. In some examples, equipment 5 may be or may include a personal computer, desktop computer, or other local device that is configured to provide audio processing. In some examples, equipment 5 may be or may include a server. According to some examples, equipment 5 may be a client device that is configured to communicate with a server through a network interface. The hardware components 5 may be implemented via hardware, via software stored on nonvolatile media, via firmware, and/or through combinations of the foregoing. The types and numbers of components shown in FIG. 5A, as well as other drawings disclosed herein, are shown merely by way of example. Alternative implementations may include more components, fewer components, and/or other components.

[0049] В этом примере, оборудование 5 включает в себя интерфейсную систему 10 и систему 15 управления. Интерфейсная система 10 может включать в себя один или более сетевых интерфейсов, один или более интерфейсов между системой 15 управления и запоминающей системой и/или один или более интерфейсов внешних устройств (таких как один или более интерфейсов универсальной последовательной шины (USB)). В некоторых реализациях, интерфейсная система 10 может включать в себя пользовательскую интерфейсную систему. Пользовательская интерфейсная система может быть выполнена с возможностью приема ввода от пользователя. В некоторых реализациях, пользовательская интерфейсная система может быть выполнена с возможностью предоставления обратной связи пользователю. Например, пользовательская интерфейсная система может включать в себя один или более дисплеев с соответствующими системами обнаружения касаний и/или жестов. В некоторых примерах, пользовательская интерфейсная система может включать в себя один или более микрофонов и/или динамиков. Согласно некоторым примерам, пользовательская интерфейсная система может включать в себя оборудование для предоставления тактильной обратной связи, такое как электромотор, вибропреобразователь и т.д. Система 15 управления, например, может включать в себя одно- или многомикросхемный процессор общего назначения, процессор цифровых сигналов (DSP), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) или другое программируемое логическое устройство, дискретный логический элемент или транзисторную логику и/или дискретные аппаратные компоненты.[0049] In this example, the equipment 5 includes an interface system 10 and a control system 15. The interface system 10 may include one or more network interfaces, one or more interfaces between the control system 15 and the storage system, and/or one or more external device interfaces (such as one or more Universal Serial Bus (USB) interfaces). In some implementations, interface system 10 may include a user interface system. The user interface system may be configured to receive input from a user. In some implementations, the user interface system may be configured to provide feedback to the user. For example, the user interface system may include one or more displays with associated touch and/or gesture detection systems. In some examples, the user interface system may include one or more microphones and/or speakers. According to some examples, the user interface system may include equipment for providing tactile feedback, such as a motor, a vibration transducer, and the like. The control system 15, for example, may include a single or multi-chip general purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other programmable logic device, a discrete logic element, or a transistor logic and/or discrete hardware components.

[0050] В некоторых примерах оборудование 5 может реализовываться в одном устройстве. Тем не менее в некоторых реализациях оборудование 5 может реализовываться более чем в одном устройстве. В некоторых таких реализациях, функциональность системы 15 управления может быть включена более чем в одно устройство. В некоторых примерах, оборудование 5 может представлять собой компонент другого устройства.[0050] In some examples, equipment 5 may be implemented in a single device. However, in some implementations, hardware 5 may be implemented in more than one device. In some such implementations, the functionality of the control system 15 may be included in more than one device. In some examples, equipment 5 may be a component of another device.

[0051] Согласно некоторым способам управления низкими звуковыми частотами, низкочастотная информация ниже некоторого порогового значения частоты из некоторых или всех основных каналов может воспроизводиться через один или более громкоговорителей с поддержкой низких частот (LFC). Пороговое значение частоты может упоминаться в данном документе как «частота перехода». Частота перехода может определяться посредством характеристик основного громкоговорителя(ей), используемого для того, чтобы воспроизводить аудиоканал. Некоторые основные громкоговорители (которые могут упоминаться в данном документе как «без поддержки низких частот») могут иметь LF-сигнал, маршрутизируемый в один или более LFC-громкоговорителей с относительно высокой частотой перехода, к примеру, 150 Гц. Некоторые основные громкоговорители (которые могут упоминаться в данном документе как «с ограниченной поддержкой низких частот») могут иметь LF-сигнал, маршрутизируемый в один или более LFC-громкоговорителей с относительно низкой частотой перехода, к примеру, 60 Гц.[0051] According to some bass control methods, low frequency information below a certain frequency threshold from some or all of the main channels can be reproduced through one or more bass-enabled (LFC) speakers. The frequency threshold may be referred to herein as the "transition frequency". The crossover frequency may be determined by the characteristics of the main speaker(s) used to reproduce the audio channel. Some main speakers (which may be referred to herein as "no bass support") may have an LF signal routed to one or more LFC speakers with a relatively high crossover frequency, such as 150 Hz. Some main speakers (which may be referred to in this document as "limited bass support") may have an LF signal routed to one or more LFC speakers with a relatively low crossover frequency, such as 60 Hz.

[0052] Фиг. 5B показывает некоторые примеры частотных диапазонов громкоговорителей. Как показано на фиг. 5B, некоторые LFC-громкоговорители могут представлять собой полнодиапазонные громкоговорители, назначенные воспроизведению всех частот в пределах нормального диапазона человеческого слуха. Некоторые LFC-громкоговорители, такие как сабвуферы, могут выделяться воспроизведению аудио ниже порогового значения частоты. Например, некоторые сабвуферы могут выделяться воспроизведению аудиоданных, которые меньше частоты, к примеру, 60 Гц или 80 Гц. В других примерах, некоторые сабвуферы (которые могут упоминаться в данном документе как «средние сабвуферы») могут выделяться воспроизведению аудиоданных, которые, находится в относительно более высоком диапазоне частот, например, приблизительно между 60 Гц и 150 Гц, между 80 Гц и 160 Гц и т.д. Один или более средних сабвуферов могут использоваться для того, чтобы устранять разрыв в характеристиках управляемости по частоте между основным громкоговорителем(ями) и сабвуфером(ами). Один или более средних сабвуферов могут использоваться для того, чтобы устранять разрыв в пространственном разрешении между относительно плотной конфигурацией основных громкоговорителей и относительно разреженной конфигурацией сабвуферов. Как показано на фиг. 5B, например, частотный диапазон, указываемый для среднего сабвуфера, охватывает частотный диапазон между частотным диапазоном сабвуфера и частотным диапазоном типа «без поддержки низких частот» основного громкоговорителя. Тем не менее тип «с ограниченной поддержкой низких частот» основного громкоговорителя допускает воспроизведение диапазона частот, который включает в себя диапазон частот среднего сабвуфера.[0052] FIG. 5B shows some examples of loudspeaker frequency ranges. As shown in FIG. 5B, some LFC speakers may be full-range speakers assigned to reproduce all frequencies within the normal range of human hearing. Some LFC loudspeakers, such as subwoofers, may excel at playing audio below the frequency threshold. For example, some subwoofers may excel at reproducing audio data that is less than a frequency, such as 60 Hz or 80 Hz. In other examples, some subwoofers (which may be referred to herein as "mid-range subwoofers") may excel at reproducing audio data that appears to be in a relatively higher frequency range, such as between approximately 60 Hz and 150 Hz, between 80 Hz and 160 Hz. etc. One or more mid-range subwoofers may be used to bridge the gap in frequency controllability between the main speaker(s) and the subwoofer(s). One or more mid-range subwoofers may be used to bridge the gap in spatial resolution between the relatively dense main speaker configuration and the relatively sparse subwoofer configuration. As shown in FIG. 5B, for example, the frequency range indicated for the middle subwoofer covers the frequency range between the subwoofer frequency range and the "no bass support" type frequency range of the main speaker. However, the "low bass limited" type of the main speaker is capable of reproducing a frequency range that includes the frequency range of the middle subwoofer.

[0053] Типично, число сабвуферов гораздо меньше числа основных каналов. Как результат, пространственные сигнальные метки для низкочастотной (LF) информации уменьшаются или искажаются. Для низких частот в типичных окружениях воспроизведения, это пространственное искажение, в общем, считается перцепционно приемлемым или даже незаметным, поскольку слуховая система человека становится менее допускающей обнаружение пространственных сигнальных меток по мере того, как звуковая частота снижается, в частности, для локализации источников звука.[0053] Typically, the number of subwoofers is much less than the number of main channels. As a result, spatial cue marks for low frequency (LF) information are reduced or distorted. For low frequencies in typical playback environments, this spatial distortion is generally considered to be perceptually acceptable, or even imperceptible, as the human auditory system becomes less capable of detecting spatial cues as the audio frequency is lowered, in particular for sound source localization.

[0054] Предусмотрено множество преимуществ при использовании управления низкими звуковыми частотами. Несколько громкоговорителей, используемых для того, чтобы воспроизводить основные каналы (без LF-аудиокомпонента), могут быть меньшими, более простыми в установке, менее навязчивыми и менее дорогими. Использование сабвуферов или других LFC-громкоговорителей также может обеспечивать лучшее управление низкочастотным звуком. LF-аудио может обрабатываться независимо от остальной части программы, и один или более LFC-громкоговорителей могут быть размещены в местоположениях, которые являются оптимальными для воспроизведения низких звуковых частот, в некоторых случаях независимо от основных громкоговорителей. Например, варьирование частотного отклика в зависимости от места в пределах области прослушивания может минимизироваться.[0054] There are many advantages to using bass management. The multiple speakers used to play the main channels (without the LF audio component) can be smaller, easier to install, less intrusive and less expensive. Using subwoofers or other LFC speakers can also provide better bass control. LF audio can be processed independently of the rest of the program, and one or more LFC speakers can be placed in locations that are optimal for bass reproduction, in some cases independent of the main speakers. For example, variation in frequency response depending on location within the listening area can be minimized.

[0055] Регулятор переходов, электрическая схема или цифровой аудиоалгоритм может использоваться для того, чтобы разбивать аудиосигнал на два (или более, если комбинируются несколько регуляторов переходов) аудиосигнала, каждый из которых покрывает полосу частот. Регулятор переходов типично реализуется посредством параллельного применения входного сигнала к фильтру низких частот и к фильтру верхних частот. Границы полос частот или частоты перехода представляют собой один параметр проектного решения по регулятору переходов. Полное разделение на дискретные полосы частот является невозможным на практике; между полосами частот существует некоторое перекрытие. Величина и характер перекрытия представляют собой другой параметр проектного решения по регулятору переходов. Общая частота перехода для систем управления низкими звуковыми частотами составляет 80 Гц, хотя более низкие и более высокие частоты зачастую используются на основе системных компонентов и проектных целей.[0055] A transition controller, circuitry, or digital audio algorithm may be used to split an audio signal into two (or more if multiple transition controllers are combined) audio signals, each of which covers a frequency band. The transition controller is typically implemented by applying an input signal to a low pass filter and a high pass filter in parallel. Bandwidth limits or crossover frequencies are one parameter of the crossover control design decision. Complete separation into discrete frequency bands is not possible in practice; there is some overlap between the frequency bands. The amount and nature of the overlap is another design consideration for the transition controller. The common crossover frequency for bass management systems is 80 Hz, although lower and higher frequencies are often used based on system components and design goals.

[0056] Пространственные аудиопрограммы могут создаваться посредством панорамирования и микширования нескольких источников звука. Как отмечено выше, отдельные источники звука (например, голос, труба, вертолет и т.д.) в этом контексте могут упоминаться как «аудиообъекты». В традиционных канально-ориентированных аудиопрограммах объемного звучания, информация панорамирования и микширования применяется к аудиообъектам для того, чтобы создавать канальные сигналы для конкретной конфигурации каналов (например, 5.1) до распределения.[0056] Spatial audio programs can be created by panning and mixing multiple audio sources. As noted above, individual sound sources (eg, voice, trumpet, helicopter, etc.) may be referred to as "audio objects" in this context. In traditional channel-based surround audio programs, panning and mixing information is applied to audio objects in order to create channel signals for a particular channel configuration (eg 5.1) prior to distribution.

[0057] За счет объектно-ориентированных аудиопрограмм, аудиосцена может задаваться посредством отдельных аудиообъектов, вместе с ассоциированной информацией панорамирования и микширования для каждого объекта. Объектно-ориентированная программа затем может распределяться и подвергаться рендерингу (преобразовываться в канальные сигналы) в местоназначении, на основе информации панорамирования и микширования, конфигурации оборудования для воспроизведения (наушники, стерео, 5.1, 7.1 и т.д.) и потенциально средств управления конечного пользователя (например, предпочитаемого диалогового уровня) в окружении воспроизведения.[0057] Through object-oriented audio programs, an audio scene can be defined by individual audio objects, along with associated panning and mixing information for each object. The object-oriented program can then be distributed and rendered (converted to channel signals) at the destination, based on panning and mixing information, playback hardware configuration (headphones, stereo, 5.1, 7.1, etc.) and potentially end user controls (eg preferred dialog level) in the playback environment.

[0058] Объектно-ориентированные программы могут обеспечивать дополнительное управление для систем управления низкими звуковыми частотами. Аудиообъекты, например, могут обрабатываться отдельно до формирования канально-ориентированного микширования.[0058] Object-oriented programs may provide additional control for bass control systems. The audio objects, for example, may be processed separately to form a channel-oriented mix.

[0059] Ранее реализованные способы управления низкими звуковыми частотами имеют недостатки. Одна типичная проблема заключает в себе нарастание низких звуковых частот, которое также упоминается как связь аудиосигналов. Многоканальные программы (канально-ориентированное распределение или объектно-ориентированное распределение после рендеринга в каналы) затрагиваются посредством электрических (аналоговая обработка) или математических (цифровая обработка) взаимодействий нескольких аудиосигналов до трансдукции в звук. Типичные системы управления низкими звуковыми частотами (системы, которые имеют большее число исходных основных громкоговорителей, чем сабвуферы) при необходимости комбинируют несколько низкочастотных аудиосигналов, чтобы формировать аудиосигнал(ы) сабвуфера для воспроизведения. При комбинировании канальных сигналов для воспроизведения через один громкоговоритель, зачастую предполагается, что входные каналы являются независимыми, и степенной закон (2-норма) применяется для того, чтобы моделировать акустическую связь, которая должна возникать, если сигналы воспроизводятся через разнесенные громкоговорители. Канально-ориентированные системы управления низкими звуковыми частотами типично придерживаются этого соглашения при создании низкочастотного сигнала из множественных входных каналов.[0059] Previously implemented methods for managing low audio frequencies have disadvantages. One typical problem involves the build-up of low audio frequencies, which is also referred to as audio coupling. Multi-channel programs (channel-based distribution or object-oriented distribution after rendering to channels) are affected by electrical (analog processing) or mathematical (digital processing) interactions of multiple audio signals prior to transduction to sound. Typical bass management systems (systems that have more original main speakers than subwoofers) combine multiple bass audio signals as needed to generate subwoofer audio signal(s) for playback. When channel signals are combined for playback through a single loudspeaker, it is often assumed that the input channels are independent and a power law (2-norm) is applied to model the acoustic coupling that must occur if the signals are reproduced through loudspeaker diversity. Channel based bass management systems typically follow this convention when creating a low frequency signal from multiple input channels.

[0060] Однако, если аудиосигналы не являются независимыми (другими словами, если аудиосигналы являются полностью или частично когерентными) и суммированными (линейная связь), результирующий уровень является более высоким (громким), чем если сигналы воспроизводятся по дискретным разнесенным громкоговорителям. В случае управления низкими звуковыми частотами, когерентные сигналы, воспроизводимые по основным разнесенным громкоговорителям, должны стремиться иметь акустическую связь по степенному закону, тогда как низкие частоты, которые сводятся (электрически или математически), должны иметь линейную связь. Это может приводить к «нарастанию низких звуковых частот» вследствие связи аудиосигналов.[0060] However, if the audio signals are not independent (in other words, if the audio signals are fully or partially coherent) and summed (linear), the resulting level is higher (louder) than if the signals are reproduced over discrete speaker diversity. In the case of bass management, the coherent signals reproduced through the main speaker diversity should tend to be power law acoustically coupled, while the low frequencies that are mixed (either electrically or mathematically) should be linearly coupled. This can result in "bass boost" due to the coupling of the audio signals.

[0061] Нарастание низких звуковых частот также может вызываться посредством акустической связи. Системы воспроизведения звука с несколькими громкоговорителями затрагиваются посредством взаимодействия нескольких источников звука в акустическом пространстве окружения воспроизведения. Кумулятивный отклик для некогерентных аудиосигналов, воспроизведенных посредством различных громкоговорителей, часто аппроксимируется с использованием степенной суммы (2-нормы), которая является независимой от частоты. Кумулятивный отклик для когерентных аудиосигналов, воспроизведенных посредством различных громкоговорителей, является более сложным, Если громкоговорители являются широко разнесенными и находятся в свободном поле (в крупном нереверберационном помещении или на открытом воздухе), аппроксимация по степенной сумме действует хорошо. В противном случае (для близкорасположенных громкоговорителей, для меньшего или реверберационного помещения и т.д.), по мере того, как когерентные звуковые волны из двух или более громкоговорителей перекрываются и связываются, конструктивные и деструктивные помехи должны возникать таким способом, который зависит от относительной позиции источников звука, звуковой частоты и местоположения в звуковом поле. Аналогично связи аудиосигналов, акустические конструктивные помехи (которые возникают в большей степени для низких частот и близкорасположенных громкоговорителей) стремятся к линейной сумме (1-норме) источников, а не к степенной сумме. Это может приводить к акустическому «нарастанию низких звуковых частот» в помещении. Канально-ориентированные способы управления низкими звуковыми частотами ограничены в своей способности компенсировать этот эффект. Типично этот эффект игнорируется посредством систем управления низкими звуковыми частотами.[0061] An increase in low audio frequencies can also be caused by acoustic coupling. Multi-speaker audio playback systems are affected by the interaction of multiple audio sources in the acoustic space of the playback environment. The cumulative response for incoherent audio signals reproduced through different speakers is often approximated using a power sum (2-norm) that is independent of frequency. The cumulative response for coherent audio signals reproduced by different loudspeakers is more complex. If the loudspeakers are widely spaced and in a free field (in a large non-reverberant room or outdoors), the power-sum approximation works well. Otherwise (for closely spaced loudspeakers, for a smaller or reverberant room, etc.), as coherent sound waves from two or more loudspeakers overlap and couple, constructive and destructive interference must occur in a manner that depends on the relative positions of sound sources, sound frequency and location in the sound field. Similar to audio signal coupling, acoustic design noise (which occurs more for low frequencies and closely spaced loudspeakers) tends to be a linear sum (1-norm) of the sources rather than a power sum. This can lead to acoustic "bass build-up" in the room. Channel-based bass management methods are limited in their ability to compensate for this effect. Typically this effect is ignored by bass management systems.

[0062] Системы управления низкими звуковыми частотами, в общем, основываются на ограничениях слуховой системы, чтобы эффективно различать пространственную информацию (например, местоположение, ширину и/или диффузия) при очень низких частотах. По мере того как аудиочастота увеличивается, потери пространственной информации становятся все более очевидными, и артефакты становятся более заметными и недопустимыми.[0062] Bass control systems generally rely on the limitations of the auditory system to effectively discriminate spatial information (eg, location, width, and/or diffusion) at very low frequencies. As the audio frequency increases, the loss of spatial information becomes more apparent and artifacts become more visible and unacceptable.

[0063] Различные раскрытые реализации разработаны с учетом вышеприведенных проблем. Некоторые раскрытые примеры могут предоставлять способы многополосного управления низкими звуковыми частотами. Некоторые такие примеры могут заключать в себе применение нескольких частот фильтра верхних частот и низких частот для целей управления низкими звуковыми частотами. Некоторые реализации также могут заключать в себе применение одного или более полосовых фильтров для того, чтобы предоставлять сигналы прямой подачи звука в средние LF-динамики для «средних сабвуферов», для вуферов или для несабвуферных динамиков, которые допускают воспроизведение звука в среднем LF-диапазоне. Средний LF-диапазон или средние LF-диапазоны могут варьироваться согласно конкретной реализации. В некоторых примерах, средний LF-диапазон, пропускаемый посредством полосового фильтра, может составлять приблизительно 60-140 Гц, 70-140 Гц, 80-140 Гц, 60-150 Гц, 70-150 Гц, 80-150 Гц, 60-160 Гц, 70-160 Гц, 80-160 Гц, 60-170 Гц, 70-170 Гц, 80-170 Гц и т.д. Различные характеристики основных громкоговорителей (например, потолочных громкоговорителей с более низкой максимальной шумовой мощностью по сравнению с боковыми громкоговорителями объемного звучания с более высокими характеристиками), различные характеристики целевых сабвуферов (например, сабвуфера, используемого для воспроизведения по LFE-каналам по сравнению с сабвуферами объемного звучания), акустика помещений и другие системные характеристики могут затрагивать оптимальные частоты фильтра в пределах системы. Некоторые раскрытые способы многополосного управления низкими звуковыми частотами могут разрешать некоторые или все эти характеристики и свойства, например, посредством предоставления одного или более фильтров низких частот, полосовых фильтров и фильтров верхних частот, которые соответствуют характеристикам громкоговорителей в окружении воспроизведения.[0063] Various disclosed implementations have been developed in view of the above issues. Some of the disclosed examples may provide methods for multi-band audio bass management. Some such examples may include the use of multiple high-pass and low-pass filter frequencies for audio bass management purposes. Some implementations may also involve the use of one or more bandpass filters to provide mid-LF speaker feed-forward signals for "mid-subwoofers", for woofers, or for non-subwoofer speakers that are capable of audio reproduction in the mid-LF range. The average LF range or average LF ranges may vary according to a specific implementation. In some examples, the average LF range passed by the band pass filter may be approximately 60-140 Hz, 70-140 Hz, 80-140 Hz, 60-150 Hz, 70-150 Hz, 80-150 Hz, 60-160 Hz, 70-160Hz, 80-160Hz, 60-170Hz, 70-170Hz, 80-170Hz, etc. Different characteristics of the main speakers (e.g. ceiling speakers with lower maximum noise power vs. higher-performing side surround speakers), different characteristics of target subwoofers (e.g. a subwoofer used for LFE playback vs. surround subwoofers) ), room acoustics, and other system characteristics can affect the optimum filter frequencies within the system. Some of the disclosed multiband bass management techniques may resolve some or all of these characteristics and properties, for example, by providing one or more low pass filters, band pass filters, and high pass filters that match the characteristics of the loudspeakers in the playback environment.

[0064] Согласно некоторым примерам, способ многополосного управления низкими звуковыми частотами может заключать в себе использование другой конфигурации громкоговорителей управления низкими звуковыми частотами для каждой из множества полос частот. Например, если число доступных целевых увеличений громкоговорителей для каждой полосы частот управления низкими звуковыми частотами, то пространственное разрешение сигнала может увеличиваться с частотой, за счет этого минимизируя введение воспринимаемых пространственных артефактов.[0064] According to some examples, a multiband bass control method may involve using a different bass control speaker configuration for each of the plurality of frequency bands. For example, if the number of target speaker gains available for each bass control band, then the spatial resolution of the signal can increase with frequency, thereby minimizing the introduction of perceptual spatial artifacts.

[0065] Некоторые реализации могут заключать в себе использование различного способа обработки управления низкими звуковыми частотами для каждой из множества полос частот. Например, некоторые способы могут использовать различную экспоненту (p-норму) для нормализации уровня в каждой полосе частот для того, чтобы обеспечивать лучшее согласование с акустической связью, которая должна возникать без управления низкими звуковыми частотами. Для наименьших частот, при которых акустическая связь стремится к линейному суммированию, может использоваться экспонента в или около 1,0 (1-норма). При средних низких частотах, при которых акустическая связь стремится к степенному суммированию, может использоваться экспонента в или около 2,0 (2-норма). Альтернативно или дополнительно, усиления громкоговорителя могут выбираться таким образом, чтобы оптимизировать в отношении равномерного покрытия при наименьших частотах и оптимизировать в отношении пространственного разрешения при более высоких частотах.[0065] Some implementations may involve using a different bass control processing method for each of the plurality of frequency bands. For example, some methods may use a different exponential (p-norm) to normalize the level in each frequency band in order to provide a better match to the acoustic coupling that should occur without audio bass management. For the lowest frequencies at which the acoustic coupling tends to linear summation, an exponent at or near 1.0 (1-norm) can be used. At mid low frequencies, at which the acoustic coupling tends to power summation, an exponent at or near 2.0 (2-norm) can be used. Alternatively or additionally, speaker gains may be chosen to optimize for uniform coverage at lower frequencies and optimize for spatial resolution at higher frequencies.

[0066] В некоторых реализациях полосы частот управления низкими звуковыми частотами могут динамически предоставляться на основе уровней сигнала. Например, по мере того, как уровень сигнала увеличивается, число используемых полос частот также может увеличиваться.[0066] In some implementations, bass control bandwidths may be dynamically allocated based on signal levels. For example, as the signal strength increases, the number of usable frequency bands may also increase.

[0067] В некоторых случаях программа может содержать как аудиообъекты, так и каналы. Согласно некоторым примерам, различные способы управления низкими звуковыми частотами могут использоваться для программных каналов и аудиообъектов. Например, традиционные канально-ориентированные способы могут применяться к каналам, тогда как один или более аудиообъектно-ориентированных способов, раскрытых в данном документе, могут применяться к аудиообъектам.[0067] In some cases, a program may contain both audio objects and channels. According to some examples, various methods of managing low audio frequencies can be used for program channels and audio objects. For example, traditional channel-oriented methods may be applied to channels, while one or more of the audio object-oriented methods disclosed herein may be applied to audio objects.

[0068] Некоторые раскрытые способы могут трактовать, по меньшей мере, некоторые LF-сигналы в качестве аудиообъектов, которые могут панорамироваться. Как отмечено выше, по мере того, как аудиочастота увеличивается, потери пространственной информации становятся все более очевидными, и артефакты, вызываемые посредством традиционных способов управления низкими звуковыми частотами, становятся более заметными и недопустимыми. Способы многополосного управления низкими звуковыми частотами могут уменьшать такие артефакты. Трактовка LF-сигналов, в частности, средних LF-сигналов, в качестве объектов, которые могут панорамироваться, также позволяет уменьшать такие артефакты. Соответственно, может быть преимущественным комбинировать способы многополосного управления низкими звуковыми частотами со способами, которые заключают в себе панорамирование, по меньшей мере, некоторых LF-сигналов. Тем не менее, некоторые реализации могут заключать в себе панорамирование, по меньшей мере, некоторых LF-сигналов или способов многополосного управления низкими звуковыми частотами, но не низкочастотное панорамирование объектов и многополосное управление низкими звуковыми частотами.[0068] Some disclosed methods may treat at least some of the LF signals as audio objects that can be panned. As noted above, as the audio frequency increases, the loss of spatial information becomes more apparent, and the artifacts caused by traditional low frequency audio manipulation methods become more noticeable and unacceptable. Multiband bass management techniques can reduce such artifacts. Treating LF signals, in particular middle LF signals, as objects that can be panned also makes it possible to reduce such artifacts. Accordingly, it may be advantageous to combine multiband bass steering techniques with techniques that involve panning at least some of the LF signals. However, some implementations may include panning at least some of the LF signals or multiband bass steering techniques, but not low frequency object panning and multiband bass steering.

[0069] Как отмечено выше, традиционные подходы к управлению низкими звуковыми частотами, за счет которых фильтрация применяется к прямым подачам звука в громкоговорители, зачастую не могут быть оптимальными, поскольку законы панорамирования зачастую предполагают акустическую степенную сумму в позиции слушателя. С другой стороны, управление низкими звуковыми частотами нескольких громкоговорителей в идентичный сабвуфер формирует электрическую амплитудную сумму, приводя к электрическому нарастанию низких звуковых частот. Некоторые раскрытые способы обходят эту потенциальную проблему посредством отдельного панорамирования низких и высоких частот. После рендеринга верхних частот, «аудит» мощности может определять низкочастотный «дефицит», который должен воспроизводиться посредством сабвуферов или других громкоговорителей с поддержкой низких частот (LFC).[0069] As noted above, traditional bass management approaches that apply filtering to direct speaker feeds are often not optimal because panning laws often assume an acoustic power sum at the listening position. On the other hand, driving the low audio frequencies of multiple speakers into an identical subwoofer generates an electrical amplitude sum, resulting in an electrical build-up of low audio frequencies. Some of the methods disclosed circumvent this potential problem by panning bass and treble separately. After rendering the high frequencies, a power "audit" can identify a low frequency "deficit" that should be reproduced by subwoofers or other low frequency capable (LFC) loudspeakers.

[0070] Соответственно, некоторые раскрытые способы управления низкими звуковыми частотами могут заключать в себе вычисление коэффициентов фильтра низких частот (LPF) и/или коэффициентов полосового фильтра для средней LF на основе низкочастотного дефицита мощности, вызываемого посредством управления низкими звуковыми частотами. Ниже подробно описываются различные примеры. Способы управления низкими звуковыми частотами, которые заключают в себе вычисление коэффициентов фильтра низких частот и/или коэффициентов полосового фильтра для средней LF на основе низкочастотного дефицита мощности, могут уменьшать нарастание низких звуковых частот. Такие способы могут реализовываться или могут не реализовываться в комбинации со способами многополосного управления низкими звуковыми частотами и/или панорамированием, по меньшей мере, некоторых LF-сигналов, в зависимости от конкретной реализации. Тем не менее может быть преимущественным комбинировать способы, заключающие в себе вычисление коэффициентов фильтра низких частот (и/или коэффициентов полосового фильтра для средней LF) на основе низкочастотного дефицита мощности, с другими способами управления низкими звуковыми частотами, раскрытыми в данном документе.[0070] Accordingly, some disclosed methods for managing low audio frequencies may include calculating low pass filter (LPF) coefficients and/or band pass filter coefficients for the middle LF based on the low frequency power deficit caused by the low audio frequency management. Various examples are described in detail below. Low frequency audio frequency management techniques that include calculating low pass filter coefficients and/or mid LF bandpass filter coefficients based on low frequency power deficits can reduce the rise in low audio frequencies. Such techniques may or may not be implemented in combination with multiband bass control and/or panning techniques for at least some of the LF signals, depending on the particular implementation. However, it may be advantageous to combine techniques involving calculating low pass filter coefficients (and/or mid LF band pass filter coefficients) based on low frequency power deficit with other audio bass management techniques disclosed herein.

[0071] Фиг. 6 является блок-схемой последовательности операций, которая показывает этапы способа управления низкими звуковыми частотами согласно одному примеру. Способ 600, например, может реализовываться посредством системы управления (такой как система 15 управления), которая включает в себя один или более процессоров и одно или более энергонезависимых запоминающих устройств. Аналогично другим раскрытым способам, не все этапы способа 600 обязательно выполняются в порядке, показанном на фиг. 6. Кроме того, альтернативные способы могут включать в себя большее или меньшее число этапов.[0071] FIG. 6 is a flowchart that shows the steps of a bass control method according to one example. Method 600, for example, may be implemented by a control system (such as control system 15) that includes one or more processors and one or more nonvolatile storage devices. Similar to other disclosed methods, not all steps of method 600 are necessarily performed in the order shown in FIG. 6. In addition, alternative methods may include more or fewer steps.

[0072] В этом примере способ 600 заключает в себе панорамирование LF-аудиосигналов, которые соответствуют аудиообъектам. Фильтрация, панорамирование и другие процессы, которые работают для аудиосигналов, соответствующих аудиообъектам, для простоты могут упоминаться в данном документе как управление аудиообъектами. Например, процесс применения фильтра к аудиоданным аудиообъекта может описываться в данном документе в качестве применения фильтра к аудиообъекту. Процесс панорамирования аудиоданных аудиообъекта может описываться в данном документе в качестве панорамирования аудиообъекта.[0072] In this example, method 600 includes panning LF audio signals that correspond to audio objects. Filtering, panning, and other processes that operate on audio signals corresponding to audio objects may be referred to herein as audio object management for simplicity. For example, the process of applying a filter to the audio data of an audio object may be described herein as applying a filter to an audio object. The process of panning the audio data of an audio object may be described herein as panning an audio object.

[0073] Согласно этому примеру, этап 605 заключает в себе прием аудиоданных, которые включают в себя множество аудиообъектов. Аудиообъекты включают в себя аудиоданные (которые могут представлять собой монофонические аудиосигналы) и ассоциированные метаданные. В этом примере, метаданные включают в себя данные позиций аудиообъектов.[0073] According to this example, step 605 includes receiving audio data that includes a plurality of audio objects. Audio objects include audio data (which may be mono audio signals) and associated metadata. In this example, the metadata includes audio object position data.

[0074] Здесь этап 610 заключает в себе прием данных схемы размещения динамиков воспроизведения, которые включают в себя индикатор одного или более динамиков воспроизведения в окружении воспроизведения и индикатор местоположения одного или более динамиков воспроизведения в окружении воспроизведения. В некоторых примерах, местоположение может задаваться относительно местоположения одного более других динамиков воспроизведения местоположения в окружении воспроизведения, например, «центральный», «передний левый», «передний правый», «левый объемного звучания», «правый объемного звучания» и т.д. Согласно некоторым примерам, данные схемы размещения динамиков воспроизведения могут включать в себя индикатор одного или более динамиков воспроизведения в окружении воспроизведения, таком как окружение воспроизведения, показанное на фиг. 1-3 или 4B, и индикатор местоположения (такой как относительное местоположение) одного или более динамиков воспроизведения в окружении воспроизведения. Согласно некоторым реализациям, данные схемы размещения динамиков воспроизведения могут включать в себя индикатор местоположения (который может представлять собой относительное местоположение) одной или более групп динамиков воспроизведения в окружении воспроизведения. В этом примере, данные схемы размещения динамиков воспроизведения включают в себя данные местоположений громкоговорителей с поддержкой низких частот (LFC), соответствующие одному или более LFC-динамиков воспроизведения из окружения воспроизведения.[0074] Here, step 610 includes receiving speaker layout data that includes an indicator of one or more playback speakers in the playback environment and an indicator of the location of one or more playback speakers in the playback environment. In some examples, the location may be relative to the location of one more other playback speaker location in the playback environment, such as "center", "front left", "front right", "surround left", "surround right", etc. . According to some examples, the speaker layout data may include an indicator of one or more playback speakers in a playback environment, such as the playback environment shown in FIG. 1-3 or 4B and a location indicator (such as relative location) of one or more playback speakers in the playback environment. According to some implementations, the speaker layout data may include a location indicator (which may be a relative location) of one or more groups of playback speakers in the playback environment. In this example, the playback speaker layout data includes bass-supported (LFC) speaker location data corresponding to one or more playback LFC speakers from the playback environment.

[0075] В некоторых примерах, LFC-динамики воспроизведения могут включать в себя один или более типов сабвуферов. Альтернативно или дополнительно, окружение воспроизведения может включать в себя LFC-динамики воспроизведения, которые могут включать в себя один или более типов широкодиапазонных и/или полнодиапазонных громкоговорителей, которые допускают удовлетворительное воспроизведение LF-аудиоданных. Например, некоторые такие LFC-динамики воспроизведения могут допускать воспроизведение средних LF-аудиоданных (например, аудиоданных в диапазоне в 80-150 Гц) без нежелательных уровней искажения, также при способности воспроизведения аудиоданных в диапазоне верхних частот. В некоторых случаях, такие полнодиапазонные LFC-динамики воспроизведения могут допускать воспроизведение большей части или всего диапазона частот, который является слышимым для людей. Некоторые такие полнодиапазонные LFC-динамики воспроизведения могут быть подходящими для воспроизведения аудиоданных в 60 Гц или более, 70 Гц или более, 80 Гц или более, 90 Гц или более, 100 Гц или более и т.д.[0075] In some examples, LFC playback speakers may include one or more types of subwoofers. Alternatively or additionally, the playback environment may include LFC playback speakers, which may include one or more types of wide range and/or full range speakers that allow satisfactory reproduction of LF audio data. For example, some such LFC playback speakers may be capable of reproducing medium LF audio data (eg, audio data in the range of 80-150 Hz) without undesirable levels of distortion while also being capable of reproducing audio data in the high frequency range. In some cases, such full range LFC playback speakers may be capable of reproducing most or all of the frequency range that is audible to humans. Some such full-range playback LFC speakers may be suitable for reproducing audio data at 60 Hz or more, 70 Hz or more, 80 Hz or more, 90 Hz or more, 100 Hz or more, etc.

[0076] Соответственно, некоторые LFC-динамики воспроизведения из окружения воспроизведения могут представлять собой выделенные сабвуферы, и некоторые LFC-динамики воспроизведения из окружения воспроизведения могут использоваться для воспроизведения как LF-аудиоданных, так и не-LF-аудиоданных. LFC-динамики воспроизведения, в некоторых примерах, могут включать в себя передние динамики, центральные динамики и/или динамики объемного звучания, такие как настенные динамики объемного звучания и/или задние динамики объемного звучания. Например, ссылаясь на фиг. 4B, некоторые LFC-динамики воспроизведения из окружения воспроизведения (такие как сабвуферы, показанные впереди и сзади относительно окружения 450 воспроизведения) могут представлять собой выделенные сабвуферы, и некоторые LFC-динамики воспроизведения из окружения воспроизведения (такие как динамики объемного звучания, показанные по бокам и сзади относительно окружения 450 воспроизведения) могут использоваться для воспроизведения как LF-аудиоданных, так и не-LF-аудиоданных.[0076] Accordingly, some LFC playback speakers from the playback environment may be dedicated subwoofers, and some playback LFC speakers from the playback environment can be used to play both LF audio data and non-LF audio data. LFC playback speakers, in some examples, may include front speakers, center speakers, and/or surround speakers such as wall-mounted surround speakers and/or rear surround speakers. For example, referring to FIG. 4B, some playback environment LFC speakers (such as subwoofers shown in front and behind playback environment 450) may be dedicated subwoofers, and some playback environment LFC speakers (such as surround speakers shown on the sides and behind the playback environment 450) can be used to play both LF audio data and non-LF audio data.

[0077] В этом примере, данные схемы размещения динамиков воспроизведения также включают в себя данные местоположений основных громкоговорителей, соответствующие одному или более основных динамиков воспроизведения из окружения воспроизведения. Основные динамики воспроизведения могут включать в себя относительно меньшие динамики, по сравнению с LFC-динамиками воспроизведения. Основные динамики воспроизведения могут быть подходящими для воспроизведения аудиоданных в 100 Гц или более, 120 Гц или более, 150 Гц или более, 180 Гц или более, 200 Гц или более и т.д., в зависимости от конкретной реализации. Основные динамики воспроизведения, в некоторых примерах, могут включать в себя потолочные динамики и/или настенные динамики. Снова ссылаясь на фиг 4B, в некоторых реализациях большая часть или все потолочные динамики и некоторые боковые динамики могут представлять собой основные динамики воспроизведения.[0077] In this example, the playback speaker layout data also includes main speaker location data corresponding to one or more main playback speakers from the playback environment. The main playback speakers may include relatively smaller speakers compared to the LFC playback speakers. The main playback speakers may be suitable for reproducing audio data at 100 Hz or more, 120 Hz or more, 150 Hz or more, 180 Hz or more, 200 Hz or more, etc., depending on the particular implementation. The main playback speakers, in some examples, may include ceiling speakers and/or wall speakers. Referring again to FIG. 4B, in some implementations, most or all of the ceiling speakers and some of the side speakers may be the primary playback speakers.

[0078] Возвращаясь к фиг 6, в этом примере этап 615 заключает в себе рендеринг аудиообъектов в сигналы прямой подачи звука в динамики, по меньшей мере, частично на основе ассоциированных метаданных и данных схемы размещения динамиков воспроизведения. Здесь, каждый сигнал прямой подачи звука в динамики соответствует одному или более динамиков воспроизведения в окружении воспроизведения.[0078] Returning to FIG. 6, in this example, step 615 involves rendering audio objects to direct speaker signals based at least in part on associated metadata and playback speaker layout data. Here, each speaker direct signal corresponds to one or more playback speakers in the playback environment.

[0079] Согласно этому примеру, этап 620 заключает в себе применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики для того, чтобы формировать фильтрованные по верхним частотам сигналы прямой подачи звука в динамики. В некоторых случаях, этап 620 может заключать в себе применение первого фильтра верхних частот к первому множеству сигналов прямой подачи звука в динамики для того, чтобы формировать первые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, и применение второго фильтра верхних частот ко второму множеству сигналов прямой подачи звука в динамики для того, чтобы формировать вторые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики. Первый фильтр верхних частот, например, может быть выполнен с возможностью пропускать более низкий диапазон частот, чем второй фильтр верхних частот. Согласно некоторым примерам, этап 620 может заключать в себе применение двух или более разных фильтров верхних частот для того, чтобы формировать фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, имеющие два или более различных частотных диапазона. Ниже описываются некоторые примеры.[0079] According to this example, step 620 includes applying a high-pass filter to at least some of the direct-to-speaker signals in order to generate high-pass-filtered direct-to-speaker signals. In some cases, step 620 may comprise applying a first high-pass filter to a first plurality of direct-to-speaker signals to generate first high-pass-filtered direct-to-speaker signals, and applying a second high-pass filter to a second set of direct-to-speaker signals to generate second high-pass-filtered direct-to-speaker signals. The first high pass filter, for example, may be configured to pass a lower frequency range than the second high pass filter. According to some examples, step 620 may include applying two or more different high pass filters to generate high pass filtered feed forward signals to speakers having two or more different frequency ranges. Some examples are described below.

[0080] Фильтр(ы) верхних частот, которые применяются на этапе 620, может соответствовать характеристикам динамиков воспроизведения в окружении воспроизведения. Некоторые реализации способа 600 могут заключать в себе прием информации производительности динамиков воспроизведения относительно одного или более типов основных динамиков воспроизведения в окружении воспроизведения.[0080] The high pass filter(s) that are applied at step 620 may correspond to the characteristics of the playback speakers in the playback environment. Some implementations of method 600 may include receiving playback speaker performance information regarding one or more types of primary playback speakers in a playback environment.

[0081] Некоторые такие реализации могут заключать в себе прием первой информации производительности динамиков воспроизведения относительно первого набора основных динамиков воспроизведения и прием второй информации производительности динамиков воспроизведения относительно второго набора основных динамиков воспроизведения. Первый фильтр верхних частот, который применяется на этапе 620, может соответствовать первой информации производительности динамиков воспроизведения, и второй фильтр верхних частот, который применяется на этапе 620, может соответствовать второй информации производительности динамиков воспроизведения. Такие реализации могут заключать в себе предоставление первых фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в первый набор основных динамиков воспроизведения и предоставление вторых фильтрованных по верхним частотам сигналов прямой подачи звука в динамики во второй набор основных динамиков воспроизведения.[0081] Some such implementations may include receiving first playback speaker performance information regarding the first set of primary playback speakers and receiving second playback speaker performance information regarding the second set of primary playback speakers. The first high pass filter that is applied at 620 may correspond to the first playback speaker performance information, and the second high pass filter that is applied at 620 may correspond to the second playback speaker performance information. Such implementations may include providing the first high pass filtered feed forward signals to the first set of main playback speakers and providing the second high pass filtered feed forward signals to the second set of main playback speakers.

[0082] В некоторых примерах, фильтр(ы) верхних частот, которые применяются на этапе 620, могут быть основаны, по меньшей мере, частично, на метаданных, ассоциированных с аудиообъектом. Метаданные, например, могут включать в себя индикатор того, следует или нет применять фильтр верхних частот к сигналам прямой подачи звука в динамики, соответствующим конкретному аудиообъекту из аудиообъектов, которые принимаются на этапе 605.[0082] In some examples, the high pass filter(s) that are applied at step 620 may be based at least in part on the metadata associated with the audio object. The metadata, for example, may include an indicator of whether or not to apply a high-pass filter to direct-to-speaker signals corresponding to a particular audio object of the audio objects that are received at step 605.

[0083] В этом примере этап 625 заключает в себе применение фильтра низких частот к каждому из множества аудиообъектов для того, чтобы формировать низкочастотные (LF) аудиообъекты. Как упомянуто выше, операции, выполняемые для аудиоданных аудиообъекта, могут упоминаться в данном документе как выполняемые для аудиообъекта. Соответственно, в этом примере, этап 625 заключает в себе применение фильтра низких частот к аудиоданным каждого из множества аудиообъектов. В некоторых примерах, этап 625 может заключать в себе применение двух или более разных фильтров. Как подробнее описано ниже, фильтры, применяемые на этапе 625, могут включать в себя фильтры низких частот, полосовые фильтры и/или фильтры верхних частот.[0083] In this example, step 625 includes applying a low pass filter to each of the plurality of audio objects in order to generate low frequency (LF) audio objects. As mentioned above, operations performed on the audio data of an audio object may be referred to herein as being performed on an audio object. Accordingly, in this example, step 625 includes applying a low pass filter to the audio data of each of the plurality of audio objects. In some examples, step 625 may involve applying two or more different filters. As described in more detail below, the filters applied at 625 may include low pass filters, band pass filters, and/or high pass filters.

[0084] Некоторые реализации могут заключать в себе применение способов управления низкими звуковыми частотами только для аудиосигналов, которые находятся на или выше порогового уровня. Пороговый уровень, в некоторых случаях, может варьироваться согласно характеристикам одного или более типов основных динамиков воспроизведения из окружения воспроизведения. Согласно некоторым таким примерам, способ 600 может заключать в себе определение уровня сигнала аудиоданных одного или более аудиообъектов. Такие примеры могут заключать в себе сравнение уровня сигнала с пороговым уровнем сигнала. Некоторые такие примеры могут заключать в себе применение одного или более фильтров низких частот только к аудиообъектам, для которых уровень сигнала аудиоданных превышает или равен пороговому уровню сигнала.[0084] Some implementations may involve applying bass management techniques only to audio signals that are at or above a threshold level. The threshold level, in some cases, may vary according to the characteristics of one or more types of main playback speakers from the playback environment. According to some such examples, method 600 may include determining the level of an audio data signal of one or more audio objects. Such examples may include comparing the signal level with a threshold signal level. Some such examples may include applying one or more low pass filters only to audio objects for which the audio data signal level is greater than or equal to a signal threshold level.

[0085] В примере, показанном на фиг. 6, этап 630 заключает в себе панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики. Здесь, необязательный этап 635 заключает в себе вывод сигналов прямой подачи звука в LFC-динамики в один или более LFC-громкоговорителей окружения воспроизведения. Необязательный этап 640 заключает в себе предоставление фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в один или более основных динамиков воспроизведения из окружения воспроизведения.[0085] In the example shown in FIG. 6, step 630 includes panning LF audio objects based at least in part on LFC speaker location data in order to generate feed-forward signals to the LFC speakers. Here, an optional step 635 includes outputting LFC speaker direct signals to one or more playback environment LFC speakers. An optional step 640 includes providing high pass filtered direct speaker signals to one or more main playback speakers from the playback environment.

[0086] В некоторых реализациях этап 630 может заключать в себе формирование более чем одного типа сигналов прямой подачи звука в LFC-динамики. Например, этап 630 может заключать в себе формирование сигналов прямой подачи звука в LFC-динамики, которые имеют различные частотные диапазоны. Различные частотные диапазоны могут соответствовать характеристикам различных LFC-громкоговорителей окружения воспроизведения.[0086] In some implementations, step 630 may include generating more than one type of direct audio signal to the LFC speakers. For example, step 630 may include generating direct audio signals to LFC speakers that have different frequency ranges. Different frequency ranges may correspond to the characteristics of different LFC speakers in the playback environment.

[0087] Согласно некоторым таким примерам, этап 625 может заключать в себе применение фильтра низких частот, по меньшей мере, к некоторым аудиообъектам для того, чтобы формировать первые LF-аудиообъекты. Фильтр низких частот может быть выполнен с возможностью пропускать первый диапазон частот. Первый диапазон частот может варьироваться согласно конкретной реализации. В некоторых примерах, фильтр низких частот может быть выполнен с возможностью пропускать частоты ниже 60 Гц, частоты ниже 80 Гц, частоты ниже 100 Гц, частоты ниже 120 Гц, частоты ниже 150 Гц и т.д.[0087] According to some such examples, step 625 may include applying a low pass filter to at least some of the audio objects in order to generate the first LF audio objects. The low pass filter may be configured to pass the first frequency band. The first frequency range may vary according to a particular implementation. In some examples, the low pass filter may be configured to pass frequencies below 60 Hz, frequencies below 80 Hz, frequencies below 100 Hz, frequencies below 120 Hz, frequencies below 150 Hz, and so on.

[0088] В некоторых таких реализациях, этап 625 может заключать в себе применение фильтра верхних частот к первым LF-аудиообъектам для того, чтобы формировать вторые LF-аудиообъекты. Фильтр верхних частот может быть выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот. Например, фильтр верхних частот может быть выполнен с возможностью пропускать частоты в диапазоне от 80 до 150 Гц, в диапазоне от 60 до 150 Гц, в диапазоне от 60 до 120 Гц, в диапазоне от 80 до 120 Гц, в диапазоне от 100 до 150 Гц, в диапазоне от 60 до 150 Гц и т.д.[0088] In some such implementations, step 625 may comprise applying a high pass filter to the first LF audio objects in order to generate second LF audio objects. The high pass filter may be configured to pass a second frequency band, which is the middle LF frequency band. For example, the high pass filter may be configured to pass frequencies in the range of 80 to 150 Hz, in the range of 60 to 150 Hz, in the range of 60 to 120 Hz, in the range of 80 to 120 Hz, in the range of 100 to 150 Hz, in the range from 60 to 150 Hz, etc.

[0089] В альтернативных реализациях, этап 625 может заключать в себе применение полосового фильтра ко второму множеству аудиообъектов для того, чтобы формировать вторые LF-аудиообъекты. Полосовой фильтр может быть выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот. Например, полосовой фильтр может быть выполнен с возможностью пропускать частоты в диапазоне от 80 до 150 Гц, в диапазоне от 60 до 150 Гц, в диапазоне от 60 до 120 Гц, в диапазоне от 80 до 120 Гц, в диапазоне от 100 до 150 Гц, в диапазоне от 60 до 150 Гц и т.д.[0089] In alternative implementations, step 625 may comprise applying a band pass filter to the second set of audio objects in order to generate second LF audio objects. The bandpass filter may be configured to pass a second frequency band, which is the middle LF frequency band. For example, a band pass filter may be configured to pass frequencies in the range of 80 to 150 Hz, in the range of 60 to 150 Hz, in the range of 60 to 120 Hz, in the range of 80 to 120 Hz, in the range of 100 to 150 Hz , in the range from 60 to 150 Hz, etc.

[0090] Согласно некоторым таким реализациям, этап 630 может заключать в себе формирование первых сигналов прямой подачи звука в LFC-динамики посредством панорамирования первых LF-аудиообъектов и формирование вторых сигналов прямой подачи звука в LFC-динамики посредством панорамирования вторых LF-аудиообъектов. Первые и вторые сигналы прямой подачи звука в LFC-динамики могут предоставляться в различные типы LFC-громкоговорителей окружения воспроизведения. Например, снова ссылаясь на фиг 4B, некоторые LFC-динамики воспроизведения (такие как сабвуферы, показанные впереди и сзади относительно окружения 450 воспроизведения) могут представлять собой выделенные сабвуферы, и некоторые LFC-динамики воспроизведения (такие как динамики объемного звучания, показанные по бокам и сзади относительно окружения 450 воспроизведения) могут представлять собой несабвуферные громкоговорители, которые могут использоваться для воспроизведения как LF-аудиоданных, так и не-LF-аудиоданных.[0090] According to some such implementations, step 630 may include generating first LFC speaker feeds by panning the first LF audio objects and generating second LFC speaker feeds by panning the second LF audio objects. The first and second direct LFC speaker signals may be provided to various types of LFC speakers in the playback environment. For example, referring again to FIG. 4B, some LFC playback speakers (such as the subwoofers shown front and back of the playback environment 450) may be dedicated subwoofers, and some LFC playback speakers (such as the surround speakers shown on the sides and behind the playback environment 450) can be non-subwoofer speakers that can be used to play both LF audio data and non-LF audio data.

[0091] В некоторых таких примерах, прием данных местоположений LFC-громкоговорителей на этапе 610 может заключать в себе прием данных местоположений несабвуферов, указывающих относительное местоположение каждого из множества несабвуферных динамиков воспроизведения, которые допускают воспроизведение аудиоданных во втором диапазоне (среднем LF-диапазоне) частот. Согласно некоторым таким реализациям, этап 630 может заключать в себе формирование вторых сигналов прямой подачи звука в LFC-динамики посредством панорамирования, по меньшей мере, некоторых вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений несабвуферов для того, чтобы формировать сигналы прямой подачи звука в несабвуферные динамики. Такие реализации также могут заключать в себе предоставление, на этапе 635, сигналов прямой подачи звука в несабвуферные динамики в один или более из множества несабвуферных динамиков воспроизведения из окружения воспроизведения.[0091] In some such examples, receiving LFC speaker location data in step 610 may include receiving non-subwoofer location data indicative of the relative location of each of the plurality of non-subwoofer playback speakers that are capable of reproducing audio data in the second (middle LF band) frequencies. . According to some such implementations, step 630 may include generating second LFC speaker feed signals by panning at least some second LF audio objects based at least in part on non-subwoofer location data in order to generate signals direct sound to non-subwoofer speakers. Such implementations may also include providing, at 635, non-subwoofer speaker direct feed signals to one or more of the plurality of non-subwoofer playback speakers from the playback environment.

[0092] Альтернативно или дополнительно, некоторые выделенные сабвуферы окружения воспроизведения могут допускать воспроизведение аудиосигналов в нижнем диапазоне, по сравнению с другими выделенными сабвуферами окружения воспроизведения. Последние иногда могут упоминаться в данном документе как «средние сабвуферы».[0092] Alternatively or additionally, some dedicated playback environment subwoofers may be capable of reproducing audio signals in a lower range, compared to other dedicated playback environment subwoofers. The latter may sometimes be referred to in this document as "mid-range subwoofers".

[0093] В некоторых таких примерах, прием данных местоположений LFC-громкоговорителей на этапе 610 может заключать в себе прием данных местоположений средних сабвуферов, указывающих относительное местоположение каждого из множества средних сабвуферных динамиков воспроизведения, которые допускают воспроизведение аудиоданных во втором диапазоне частот. Согласно некоторым таким реализациям, этап 630 может заключать в себе формирование вторых сигналов прямой подачи звука в LFC-динамики посредством панорамирования, по меньшей мере, некоторых вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений средних сабвуферов для того, чтобы формировать сигналы прямой подачи звука в средние сабвуферные динамики. Такие реализации также могут заключать в себе предоставление, на этапе 635, сигналов прямой подачи звука в средние сабвуферные динамики в один или более из множества средних сабвуферных динамиков воспроизведения из окружения воспроизведения.[0093] In some such examples, receiving LFC speaker location data in step 610 may include receiving mid-range subwoofer location data indicative of the relative location of each of the plurality of mid-range subwoofer playback speakers that are capable of reproducing audio data in the second frequency band. According to some such implementations, step 630 may include generating second feed-forward signals to the LFC speakers by panning at least some of the second LF audio objects based at least in part on data from mid-subwoofer locations in order to generate direct audio signals to medium subwoofer speakers. Such implementations may also include providing, at 635, mid-subwoofer speaker feed-forward signals to one or more of the plurality of playback mid-subwoofer speakers from the playback environment.

[0094] Фиг. 7 показывает этапы способа управления низкими звуковыми частотами согласно одному раскрытому примеру. Согласно этому примеру, аудиообъекты принимаются на этапе 705. Способ 700 также заключает в себе прием данных схемы размещения динамиков воспроизведения или извлечение данных схемы размещения динамиков воспроизведения из запоминающего устройства. В этом примере, данные схемы размещения динамиков воспроизведения включают в себя данные местоположений LFC-громкоговорителей, соответствующие LFC-динамикам воспроизведения из окружения воспроизведения. Один пример показывается в схеме 730b размещения LFC-динамиков воспроизведения, которая указывает LFC-динамик воспроизведения впереди относительно окружения воспроизведения, другой LFC-динамик воспроизведения слева сзади относительно окружения воспроизведения и другой LFC-динамик воспроизведения справа сзади относительно окружения воспроизведения. Тем не менее, альтернативные примеры могут включать в себя большее число LFC-динамиков воспроизведения, меньшее число LFC-динамиков воспроизведения и/или LFC-динамики воспроизведения в других местоположениях.[0094] FIG. 7 shows the steps of a method for managing low audio frequencies according to one disclosed example. According to this example, audio objects are received at step 705. Method 700 also includes receiving speaker layout data or retrieving playback speaker layout data from a storage device. In this example, the playback speaker layout data includes LFC speaker location data corresponding to playback LFC speakers from the playback environment. One example is shown in the playback LFC speaker layout 730b, which indicates a playback LFC speaker in front of the playback environment, another playback LFC speaker in the left rear of the playback environment, and another playback LFC speaker in the right rear of the playback environment. However, alternative examples may include more playback LFC speakers, fewer playback LFC speakers, and/or playback LFC speakers at other locations.

[0095] В этом примере данные схемы размещения динамиков воспроизведения включают в себя данные местоположений основных громкоговорителей, соответствующие основным динамикам воспроизведения из окружения воспроизведения. Один пример показывается в схеме 730a размещения основных динамиков воспроизведения, которая указывает местоположения основных динамиков воспроизведения по бокам, на потолке и впереди относительно окружения воспроизведения. Тем не менее, альтернативные примеры могут включать в себя большее число основных динамиков воспроизведения, меньшее число основных динамиков воспроизведения и/или основные динамики воспроизведения в других местоположениях. Например, некоторые окружения воспроизведения могут не включать в себя основные динамики воспроизведения впереди относительно окружения воспроизведения.[0095] In this example, the playback speaker layout data includes the main speaker location data corresponding to the main playback speakers from the playback environment. One example is shown in the main playback speaker layout 730a, which indicates the locations of the main playback speakers on the sides, on the ceiling, and in front of the playback environment. However, alternative examples may include more primary playback speakers, fewer primary playback speakers, and/or primary playback speakers at other locations. For example, some playback environments may not include primary playback speakers ahead of the playback environment.

[0096] В этой реализации фильтр перехода реализуется посредством применения входных аудиосигналов, соответствующих принимаемым аудиообъектам, параллельно к фильтру низких частот (этап 715) и к фильтру верхних частот (этап 710). Фильтр перехода, например, может реализовываться посредством системы управления, такой как система 15 управления по фиг. 5A. В этом примере, частота перехода составляет 80 Гц, но в альтернативе, способы управления низкими звуковыми частотами могут применять фильтры перехода, имеющие более низкие или более высокие частоты. Частота перехода может выбираться согласно системным компонентам (таким как характеристики громкоговорителей воспроизведения из окружения воспроизведения) и проектным целям.[0096] In this implementation, the transition filter is implemented by applying input audio signals corresponding to the received audio objects in parallel to the low pass filter (block 715) and to the high pass filter (block 710). The transition filter, for example, may be implemented by a control system, such as the control system 15 of FIG. 5A. In this example, the crossover frequency is 80 Hz, but in the alternative, bass control methods may apply crossover filters having lower or higher frequencies. The crossover frequency may be selected according to system components (such as playback speaker characteristics from the playback environment) and design goals.

[0097] Согласно этой реализации, фильтрованные по верхним частотам аудиообъекты, которые формируются на этапе 710, панорамируются в сигналы прямой подачи звука в динамики на этапе 720, по меньшей мере, частично на основе метаданных, ассоциированных с аудиообъектами, и на основе данных местоположений основных громкоговорителей. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более основных динамиков воспроизведения в окружении воспроизведения.[0097] According to this implementation, the high-pass filtered audio objects that are generated in step 710 are panned into direct-to-speaker signals in step 720 based at least in part on the metadata associated with the audio objects and based on the location data of the main loudspeakers. Each direct speaker signal may correspond to one or more main playback speakers in the playback environment.

[0098] В этом примере LF-аудиообъекты, которые формируются на этапе 715, панорамируются в сигналы прямой подачи звука в динамики на этапе 725, по меньшей мере, частично на основе метаданных, ассоциированных с аудиообъектами, и на основе данных местоположений LFC-громкоговорителей. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более LFC-динамиков воспроизведения в окружении воспроизведения. В некоторых примерах, управляемый по низким звуковым частотам аудиообъект может выражаться так, как описано ниже со ссылкой на уравнение 13.[0098] In this example, the LF audio objects that are generated in step 715 are panned into direct speaker signals in step 725 based at least in part on the metadata associated with the audio objects and based on the LFC speaker location data. Each speaker direct signal may correspond to one or more playback LFC speakers in the playback environment. In some examples, the bass-driven audio object may be expressed as described below with reference to Equation 13.

[0099] Если доступно более одного LFC-динамика воспроизведения, управляемый по низким звуковым частотам аудиообъект может панорамироваться согласно геометрии LFC-динамиков воспроизведения с использованием, например, двухбалансного амплитудного панорамирования.[0099] If more than one playback LFC speaker is available, the bass-driven audio object can be panned according to the geometry of the playback LFC speakers using, for example, bi-balanced amplitude panning.

[00100] В примере, показанном на фиг. 7, необязательный этап 735 заключает в себе применение коэффициента низкочастотного дефицита к LF-аудиообъектам, которые формируются на этапе 715, до времени, когда LF-аудиообъекты панорамируются в сигналы прямой подачи звука в динамики на этапе 725. Коэффициент низкочастотного дефицита может применяться, чтобы компенсировать, по меньшей мере, частично, «дефицит мощности», вызываемый посредством применения фильтра верхних частот на этапе 710. После фильтрации и/или рендеринга верхних частот, «аудит» мощности может определять коэффициент низкочастотного дефицита, который должен воспроизводиться посредством LFC-динамиков воспроизведения. Коэффициент низкочастотного дефицита может быть основан на мощности фильтрованных по верхним частотам сигналов прямой подачи звука в динамики и на форме фильтра верхних частот, который применяется на этапе 710.[00100] In the example shown in FIG. 7, an optional step 735 comprises applying a low frequency deficit factor to the LF audio objects that are generated in step 715 up to the time that the LF audio objects are panned into the direct feed signals to the speakers in step 725. The low frequency deficit factor may be applied to compensate for , at least in part, the "power deficit" caused by applying the high pass filter at 710. After filtering and/or rendering the high frequencies, the power "audit" may determine the low frequency deficit ratio to be reproduced by the playback LFC speakers. The low-pass ratio may be based on the power of the high-pass filtered direct-to-speaker signals and on the shape of the high-pass filter that is applied at 710.

[00101] Тем не менее в некоторых альтернативных примерах, один или более фильтров, которые используются для того, чтобы формировать LF-аудиообъекты, могут быть основаны, по меньшей мере, частично, на дефиците мощности. Например, ссылаясь на фиг. 6, один или более фильтров, которые применяются на этапе 625, могут быть основаны, по меньшей мере, частично, на дефиците мощности. В некоторых таких примерах, способ 600 может заключать в себе вычисление дефицита мощности, по меньшей мере, частично на основе фильтрованных по верхним частотам сигналов прямой подачи звука в динамики, которые формируются на этапе 620. Согласно некоторым таким примерам, характеристики одного или более фильтров низких частот, которые применяются на этапе 625, могут определяться, по меньшей мере, частично на основе дефицита мощности. Дефицит мощности может быть основан, по меньшей мере, частично, на мощности фильтрованных по верхним частотам сигналов прямой подачи звука в динамики и на форме фильтра(ов) верхних частот, которые применяются на этапе 620.[00101] However, in some alternative examples, one or more filters that are used to generate LF audio objects may be based at least in part on power deficiency. For example, referring to FIG. 6, one or more filters that are applied at step 625 may be based at least in part on power deficiency. In some such examples, method 600 may include calculating a power deficit based at least in part on high-pass filtered direct-to-speaker signals that are generated at 620. In some such examples, the characteristics of one or more low-pass filters the frequencies that are applied at 625 may be determined based at least in part on the power deficit. The power deficit may be based at least in part on the power of the high-pass filtered direct-to-speaker signals and on the shape of the high-pass filter(s) that are applied at 620.

[00102] Пусть

представляет собой панорамирующее усиление объекта для громкоговорителя

, где М является общим числом полнодиапазонных громкоговорителей. В этом примере, панорамированный аудиообъект сначала фильтруется по верхним частотам на частоте

отсечки с помощью фильтра, имеющего передаточную функцию

. В примерном случае фильтра Баттеруорта, отклик абсолютной величины передаточной функции может выражаться следующим образом:[00102] Let

represents the object panning gain for the loudspeaker

where M is the total number of full range loudspeakers. In this example, the panned audio object is first high pass filtered at the frequency

cutoff using a filter having a transfer function

. In the exemplary case of a Butterworth filter, the absolute magnitude response of the transfer function can be expressed as:

уравнение 2

equation 2

[00103] В уравнении 2, n представляет число полюсов в фильтре. В некоторых примерах, n может быть равным 4. Тем не менее n может составлять больше или меньше 4 в альтернативных реализациях. При условии степенного суммирования по всему частотному диапазону, мощность

, принимаемая из управляемых по низким звуковым частотам полнодиапазонных громкоговорителей в позиции слушателя, может выражаться следующим образом:[00103] In Equation 2, n represents the number of poles in the filter. In some examples, n may be equal to 4. However, n may be greater than or less than 4 in alternative implementations. Under the condition of power summation over the entire frequency range, the power

, received from bass-driven full-range loudspeakers at the listening position, can be expressed as:

уравнение 3

equation 3

[00104] Дефицит мощности в силу этого может выражаться следующим образом:[00104] The power shortage due to this can be expressed as:

уравнение 4

equation 4

[00105] Спектр, воспроизведенный посредством идеального LFC-динамика воспроизведения, в силу этого может выражаться следующим образом:[00105] The spectrum reproduced by the ideal LFC playback speaker can therefore be expressed as:

уравнение 5

equation 5

[00106] В уравнении 5, c представляет спектр идеального сабвуфера. Согласно этой реализации, низкочастотная фильтрация применяется с использованием фильтров Баттеруорта формы, идентичной форме тракта верхних частот. К сожалению, спектр идеального LFC-динамика воспроизведения не может точно согласовываться посредством линейной комбинации (взвешенной суммы) фильтров Баттеруорта низких частот. Это утверждение лучше понимается, когда задача согласования записывается явно:[00106] In Equation 5, c represents the spectrum of an ideal subwoofer. According to this implementation, low pass filtering is applied using Butterworth filters of the same shape as the high pass path. Unfortunately, the spectrum of an ideal LFC playback driver cannot be exactly matched by a linear combination (weighted sum) of the Butterworth low pass filters. This statement is better understood when the matching problem is written explicitly:

уравнение 6

equation 6

[00107] В уравнении 6,

представляет весовые коэффициенты, которые должны вычисляться и применяться. Если фильтр Баттеруорта с абсолютной величиной

передаточной функции низких частот используется для того, чтобы формировать низкочастотную прямую подачу звука, абсолютная величина передаточной функции низких частот может выражаться следующим образом:[00107] In equation 6,

represents the weights to be calculated and applied. If a Butterworth filter with an absolute value

low-frequency transfer function is used to generate a low-frequency forward sound, the absolute value of the low-frequency transfer function can be expressed as follows:

уравнение 7

equation 7

[00108] Оптимальное, приближенное решение может извлекаться посредством дискретизации спектров

при дискретных частотах

,

и нахождения ограниченного решения методом наименьших квадратов для весовых коэффициентов

. Из переменных, заданных выше, можно извлекать следующие векторы и матрицы:[00108] The optimal, approximate solution can be extracted by discretizing the spectra

at discrete frequencies

,

and finding a limited solution by the least squares method for weight coefficients

. From the variables defined above, the following vectors and matrices can be extracted:

уравнение 8

equation 8

уравнение 9

equation 9

уравнение 10

equation 10

уравнение 11,

equation 11,

так что

.so

.

[00109] В уравнении 10, c представляет векторную форму спектра сабвуфера, и

представляют спектр сабвуфера, оцененный в наборе дискретных частот. Выбор полных частот K является произвольным. Тем не менее, эмпирически обнаружено, что дискретизация на частотах

,

и

приводит к приемлемым результатам. При ограничении весовых коэффициентов таким образом, что они являются неотрицательными, проблема оптимизации может утверждаться следующим образом:[00109] In Equation 10, c represents the vector shape of the subwoofer spectrum, and

represent the subwoofer spectrum estimated at a set of discrete frequencies. The choice of total frequencies K is arbitrary. However, it has been empirically found that sampling at frequencies

,

and

leads to acceptable results. By restricting the weighting factors such that they are non-negative, the optimization problem can be stated as follows:

уравнение 12

equation 12

[00110] Пусть

представляют собой оптимальные весовые коэффициенты для объекта

, и уникальный индекс

частоты отсечки. В некоторых реализациях, управляемый по низким звуковым частотам аудиообъект может выражаться следующим образом:[00110] Let

are the optimal weighting factors for the object

, and a unique index

cutoff frequency. In some implementations, a bass-driven audio object may be expressed as follows:

уравнение 13

equation 13

[00111] В уравнении 13, * представляет линейную свертку, и

представляет импульсный отклик фильтра низких частот при индексе j частоты отсечки.[00111] In Equation 13, * represents a linear convolution, and

represents the impulse response of the low pass filter at cutoff frequency index j.

[00112] Конечная проблема возникает с фазовыми откликами фильтров Баттеруорта, которые составляют 180° при частоте отсечки для фильтра четвертого порядка. Суммирование фильтров, в которых переходная полоса частот перекрывает полосу пропускания, вызывает откат, когда два отклика фильтра являются несинфазными. Посредством задержки фильтров с высокой частотой отсечки таким образом, что их групповая DC-задержка совпадает с групповой задержкой фильтра с наименьшей частотой отсечки, точка, в которой фильтры являются несинфазными на 180°, может проталкиваться в полосу задерживания, в которой она имеет меньший эффект.[00112] The ultimate problem arises with the phase responses of Butterworth filters, which are 180° at the cutoff frequency for a 4th order filter. The summation of filters in which the transition band overlaps the passband causes backlash when the two filter responses are out of phase. By delaying filters with a high cutoff frequency such that their DC group delay matches that of the filter with the lowest cutoff frequency, the point at which the filters are 180° out of phase can be pushed into a stopband where it has less effect.

[00113] Фиг. 8 показывает этапы альтернативного способа управления низкими звуковыми частотами согласно одному раскрытому примеру. Согласно этому примеру, аудиообъекты принимаются на этапе 805. Способ 800 также заключает в себе прием данных схемы размещения динамиков воспроизведения (или извлечение данных схемы размещения динамиков воспроизведения из запоминающего устройства), включающих в себя данные местоположений основных громкоговорителей, соответствующие основным динамикам воспроизведения из окружения воспроизведения. Один пример показывается в схеме 830a размещения основных динамиков воспроизведения, которая указывает местоположения основных динамиков воспроизведения по бокам, на потолке и впереди относительно окружения воспроизведения. Тем не менее альтернативные примеры могут включать в себя большее число основных динамиков воспроизведения, меньшее число основных динамиков воспроизведения и/или основные динамики воспроизведения в других местоположениях. Например, некоторые окружения воспроизведения могут не включать в себя основные динамики воспроизведения впереди относительно окружения воспроизведения.[00113] FIG. 8 shows the steps of an alternative bass control method according to one disclosed example. According to this example, audio objects are received at step 805. The method 800 also includes receiving playback speaker layout data (or retrieving playback speaker layout data from a storage device) including main speaker location data corresponding to the main playback speakers from the playback environment. . One example is shown in the main playback speaker layout 830a, which indicates the locations of the main playback speakers on the sides, on the ceiling, and in front of the playback environment. However, alternative examples may include more primary playback speakers, fewer primary playback speakers, and/or primary playback speakers at other locations. For example, some playback environments may not include primary playback speakers ahead of the playback environment.

[00114] В этом примере данные схемы размещения динамиков воспроизведения также включают в себя данные местоположений LFC-громкоговорителей, соответствующие LFC-динамикам воспроизведения из окружения воспроизведения. Один пример показывается в схеме 830b размещения LFC-динамиков воспроизведения. Тем не менее, альтернативные примеры могут включать в себя большее число LFC-динамиков воспроизведения, меньшее число LFC-динамиков воспроизведения и/или LFC-динамики воспроизведения в других местоположениях.[00114] In this example, the playback speaker layout data also includes LFC speaker location data corresponding to playback LFC speakers from the playback environment. One example is shown in the playback LFC speaker layout 830b. However, alternative examples may include more playback LFC speakers, fewer playback LFC speakers, and/or playback LFC speakers at other locations.

[00115] Согласно этой реализации, по меньшей мере, некоторые аудиообъекты панорамируются в сигналы прямой подачи звука в динамики перед фильтрацией верхних частот. Здесь, управляемые по низким звуковым частотам аудиообъекты панорамируются в сигналы прямой подачи звука в динамики на этапе 810 до того, как применяются какие-либо фильтры верхних частот. Процесс панорамирования этапа 810 может быть основан, по меньшей мере, частично, на метаданных, ассоциированных с аудиообъектами, и на данных местоположений основных громкоговорителей. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более основных динамиков воспроизведения в окружении воспроизведения.[00115] According to this implementation, at least some of the audio objects are panned into direct-to-speaker signals before high-pass filtering. Here, bass-driven audio objects are panned into direct-to-speaker signals at 810 before any high-pass filters are applied. The panning process of step 810 may be based at least in part on the metadata associated with the audio objects and on the location data of the main speakers. Each direct speaker signal may correspond to one or more main playback speakers in the playback environment.

[00116] В этой реализации, первый фильтр верхних частот применяется на этапе 820, и второй фильтр верхних частот применяется на этапе 822. Другие реализации могут заключать в себе применение трех или более разных фильтров верхних частот. Согласно этому примеру, первый фильтр верхних частот представляет собой фильтр верхних частот на 60 Гц, и второй фильтр верхних частот представляет собой фильтр верхних частот на 150 Гц. В этом примере, первый фильтр верхних частот соответствует характеристикам динамиков воспроизведения по бокам относительно окружения воспроизведения, и второй фильтр верхних частот соответствует характеристикам динамиков воспроизведения на потолке относительно окружения воспроизведения. Первый фильтр верхних частот и второй фильтр верхних частот, например, могут определяться посредством системы управления, по меньшей мере, частично на основе сохраненной или принимаемой информации производительности динамиков воспроизведения.[00116] In this implementation, a first high pass filter is applied at 820 and a second high pass filter is applied at 822. Other implementations may involve applying three or more different high pass filters. According to this example, the first high pass filter is a 60 Hz high pass filter and the second high pass filter is a 150 Hz high pass filter. In this example, the first high-pass filter corresponds to the characteristics of the playback speakers on the sides with respect to the playback environment, and the second high-pass filter corresponds to the characteristics of the playback speakers on the ceiling with respect to the playback environment. The first high pass filter and the second high pass filter, for example, may be determined by the control system based at least in part on stored or received playback speaker performance information.

[00117] В примере, показанном на фиг. 8, один или более фильтров, которые использованы для того, чтобы формировать LF-аудиообъекты на этапе 815, основаны, по меньшей мере, частично, на дефиците мощности. В некоторых таких примерах, способ 800 может заключать в себе вычисление дефицита мощности, по меньшей мере, частично на основе фильтрованных по верхним частотам сигналов прямой подачи звука в динамики, которые формируются на этапах 820 и 822. Дефицит мощности может быть основан, по меньшей мере, частично, на мощности фильтрованных по верхним частотам сигналов прямой подачи звука в динамики и на форме фильтров верхних частот, которые применяются на этапах 820 и 822.[00117] In the example shown in FIG. 8, one or more filters that are used to generate the LF audio objects in step 815 are based at least in part on power deficiency. In some such examples, method 800 may include calculating a power deficit based at least in part on the high-pass filtered direct-to-speaker signals that are generated in steps 820 and 822. The power deficit may be based at least , in part, on the power of the high-pass-filtered direct-to-speaker signals and on the shape of the high-pass filters that are applied in steps 820 and 822.

[00118] В этом примере, LF-аудиообъекты, которые формируются на этапе 815, панорамируются в сигналы прямой подачи звука в динамики на этапе 825, по меньшей мере, частично на основе метаданных, ассоциированных с аудиообъектами, и на основе данных местоположений LFC-громкоговорителей. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более LFC-динамиков воспроизведения в окружении воспроизведения.[00118] In this example, the LF audio objects that are generated in step 815 are panned into direct speaker signals in step 825 based at least in part on the metadata associated with the audio objects and based on the LFC speaker location data. . Each speaker direct signal may correspond to one or more playback LFC speakers in the playback environment.

[00119] Фиг. 9 показывает этапы другого способа управления низкими звуковыми частотами согласно одному раскрытому примеру. Согласно этому примеру, аудиообъекты принимаются на этапе 905. Способ 900 также заключает в себе прием данных схемы размещения динамиков воспроизведения (или извлечение данных схемы размещения динамиков воспроизведения из запоминающего устройства), включающих в себя данные местоположений основных громкоговорителей, соответствующие основным динамикам воспроизведения из окружения воспроизведения. Один пример показывается в схеме 930a размещения основных динамиков воспроизведения, которая указывает местоположения основных динамиков воспроизведения по бокам, на потолке и впереди относительно окружения воспроизведения. Тем не менее, альтернативные примеры могут включать в себя большее число основных динамиков воспроизведения, меньшее число основных динамиков воспроизведения и/или основные динамики воспроизведения в других местоположениях. Например, некоторые окружения воспроизведения могут не включать в себя основные динамики воспроизведения впереди относительно окружения воспроизведения.[00119] FIG. 9 shows the steps of another bass control method according to one disclosed example. According to this example, audio objects are received at step 905. The method 900 also includes receiving playback speaker layout data (or retrieving playback speaker layout data from a storage device) including main speaker location data corresponding to the main playback speakers from the playback environment. . One example is shown in the main playback speaker layout 930a, which indicates the locations of the main playback speakers on the sides, on the ceiling, and in front of the playback environment. However, alternative examples may include more primary playback speakers, fewer primary playback speakers, and/or primary playback speakers at other locations. For example, some playback environments may not include primary playback speakers ahead of the playback environment.

[00120] В этом примере данные схемы размещения динамиков воспроизведения также включают в себя данные местоположений LFC-громкоговорителей, соответствующие LFC-динамикам воспроизведения из окружения воспроизведения. Примеры показаны в схемах 930b и 930c размещения LFC-динамиков воспроизведения. Тем не менее, альтернативные примеры могут включать в себя большее число LFC-динамиков воспроизведения, меньшее число LFC-динамиков воспроизведения и/или LFC-динамики воспроизведения в других местоположениях. В этих примерах, темные окружности в схеме 930b размещения динамиков воспроизведения указывают местоположения LFC-динамиков воспроизведения, которые допускают воспроизведение аудиоданных в диапазоне приблизительно в 60 Гц или меньше, тогда как темные окружности в схеме 930c размещения динамиков воспроизведения указывают местоположения LFC-динамиков воспроизведения, которые допускают воспроизведение аудиоданных в диапазоне приблизительно в 60-150 Гц. Согласно этому примеру, схема 930b размещения динамиков воспроизведения указывает местоположения выделенных сабвуферов, тогда как схема 930c размещения динамиков воспроизведения указывает местоположения широкодиапазонных и/или полнодиапазонных громкоговорителей, которые допускают удовлетворительное воспроизведение LF-аудиоданных. Например, LFC-динамики воспроизведения, показанные в схеме 930c размещения динамиков воспроизведения, могут допускать воспроизведение средних LF-аудиоданных (например, аудиоданных в диапазоне в 80-150 Гц) без нежелательных уровней искажения, также при способности воспроизведения аудиоданных в диапазоне верхних частот. В некоторых случаях, LFC-динамики воспроизведения, показанные в схеме 930c размещения динамиков воспроизведения, могут допускать воспроизведение большей части или всего диапазона частот, который является слышимым для людей.[00120] In this example, the playback speaker layout data also includes LFC speaker location data corresponding to playback LFC speakers from the playback environment. Examples are shown in LFC playback speaker layouts 930b and 930c. However, alternative examples may include more playback LFC speakers, fewer playback LFC speakers, and/or playback LFC speakers at other locations. In these examples, the dark circles in the playback speaker layout 930b indicate the locations of the playback LFC speakers that are capable of reproducing audio data in the range of approximately 60 Hz or less, while the dark circles in the playback speaker layout 930c indicate the locations of the playback LFC speakers that are allow reproduction of audio data in the range of approximately 60-150 Hz. According to this example, the playback speaker layout 930b indicates the locations of dedicated subwoofers, while the playback speaker layout 930c indicates the locations of wide range and/or full range speakers that allow satisfactory reproduction of LF audio data. For example, LFC playback speakers shown in playback speaker layout 930c may be capable of reproducing medium LF audio data (eg, audio data in the 80-150 Hz range) without unwanted levels of distortion, while also being capable of reproducing audio data in the high frequency range. In some cases, the LFC playback speakers shown in playback speaker layout 930c may be capable of reproducing most or all of the frequency range that is audible to humans.

[00121] Согласно этой реализации, управляемые по низким звуковым частотам аудиообъекты панорамируются в сигналы прямой подачи звука в динамики на этапе 910 до того, как применяются какие-либо фильтры верхних частот. Процесс панорамирования этапа 910 может быть основан, по меньшей мере, частично, на метаданных, ассоциированных с аудиообъектами, и на данных местоположений основных громкоговорителей. Каждый сигнал прямой подачи звука в динамики может соответствовать одному или более основных динамиков воспроизведения в окружении воспроизведения.[00121] According to this implementation, bass-driven audio objects are panned into direct-to-speaker signals at 910 before any high-pass filters are applied. The panning process of step 910 may be based at least in part on the metadata associated with the audio objects and on the location data of the main speakers. Each direct speaker signal may correspond to one or more main playback speakers in the playback environment.

[00122] В этой реализации первый фильтр верхних частот применяется на этапе 920, и второй фильтр верхних частот применяется на этапе 922. Другие реализации могут заключать в себе применение трех или более разных фильтров верхних частот. Согласно этому примеру, первый фильтр верхних частот представляет собой фильтр верхних частот на 60 Гц, и второй фильтр верхних частот представляет собой фильтр верхних частот на 150 Гц. В этом примере, первый фильтр верхних частот соответствует характеристикам динамиков воспроизведения по бокам относительно окружения воспроизведения, и второй фильтр верхних частот соответствует характеристикам динамиков воспроизведения на потолке относительно окружения воспроизведения. Первый фильтр верхних частот и второй фильтр верхних частот, например, могут определяться посредством системы управления, по меньшей мере, частично на основе сохраненной или принимаемой информации производительности динамиков воспроизведения.[00122] In this implementation, a first high pass filter is applied at 920 and a second high pass filter is applied at 922. Other implementations may involve applying three or more different high pass filters. According to this example, the first high pass filter is a 60 Hz high pass filter and the second high pass filter is a 150 Hz high pass filter. In this example, the first high-pass filter corresponds to the characteristics of the playback speakers on the sides with respect to the playback environment, and the second high-pass filter corresponds to the characteristics of the playback speakers on the ceiling with respect to the playback environment. The first high pass filter and the second high pass filter, for example, may be determined by the control system based at least in part on stored or received playback speaker performance information.

[00123] В примере, показанном на фиг. 9, один или более фильтров, которые использованы для того, чтобы формировать LF-аудиообъекты на этапах 915 и 935, основаны, по меньшей мере, частично, на дефиците мощности. В некоторых таких примерах, способ 900 может заключать в себе вычисление дефицита мощности, по меньшей мере, частично на основе фильтрованных по верхним частотам сигналов прямой подачи звука в динамики, которые формируются на этапах 920 и 922. Дефицит мощности может быть основан, по меньшей мере, частично, на мощности фильтрованных по верхним частотам сигналов прямой подачи звука в динамики и на форме фильтров верхних частот, которые применяются на этапах 920 и 922.[00123] In the example shown in FIG. 9, one or more filters that are used to generate the LF audio objects in steps 915 and 935 are based at least in part on power deficiency. In some such examples, method 900 may include calculating a power deficit based at least in part on the high pass filtered direct speaker signals that are generated in steps 920 and 922. The power deficit may be based at least , in part, on the power of the high-pass-filtered direct-to-speaker signals and on the form of the high-pass filters that are applied in steps 920 and 922.

[00124] В этом примере, LF-аудиообъекты, которые формируются на этапе 915, панорамируются в сигналы прямой подачи звука в динамики на этапе 925, по меньшей мере, частично на основе метаданных, ассоциированных с аудиообъектами, и на основе данных местоположений LFC-громкоговорителей, которые соответствуют схеме 930b размещения динамиков воспроизведения. Согласно этому примеру, средние LF-аудиообъекты, которые формируются на этапе 935, панорамируются в сигналы прямой подачи звука в динамики на этапе 940, по меньшей мере, частично на основе метаданных, ассоциированных с аудиообъектами, и на основе данных местоположений LFC-громкоговорителей, которые соответствуют схеме 930c размещения динамиков воспроизведения.[00124] In this example, the LF audio objects that are generated in step 915 are panned into direct speaker signals in step 925 based at least in part on the metadata associated with the audio objects and based on the LFC speaker location data. , which correspond to the playback speaker layout 930b. According to this example, the middle LF audio objects that are generated in step 935 are panned into direct speaker feed signals in step 940 based at least in part on the metadata associated with the audio objects and based on the LFC speaker location data that correspond to the playback speaker layout 930c.

[00125] Фиг. 10 является функциональной блок-схемой, которая иллюстрирует другой раскрытый способ управления низкими звуковыми частотами. По меньшей мере, некоторые этапы, показанные на фиг. 10, в некоторых примерах, могут реализовываться посредством системы управления, такой как система 15 управления, которая показана на фиг 5A. В этом примере, поток 1005 битов аудиоданных, который включает в себя аудиообъекты и аудиосигналы 1045 с низкочастотным эффектом (LFE), принимается посредством синтаксического анализатора 1010 потоков битов. Согласно этому примеру, синтаксический анализатор 1010 потоков битов выполнен с возможностью предоставлять принимаемые аудиообъекты в панорамирующие регуляторы 1015 и в фильтры 1035 низких частот. В этом примере, синтаксический анализатор 1010 потоков битов выполнен с возможностью предоставлять LFE-аудиосигналы 1045 в блок 1047 суммирования.[00125] FIG. 10 is a functional block diagram that illustrates another disclosed bass control method. At least some of the steps shown in FIG. 10, in some examples, may be implemented by a control system, such as the control system 15 shown in FIG. 5A. In this example, an audio data bit stream 1005 that includes audio objects and low frequency effect (LFE) audio signals 1045 is received by a bitstream parser 1010 . According to this example, the bitstream parser 1010 is configured to provide received audio objects to panners 1015 and to low pass filters 1035. In this example, the bitstream parser 1010 is configured to provide LFE audio signals 1045 to the adder 1047 .

[00126] Согласно этому примеру, сигналы 1020 прямой подачи звука в динамики, выводимые посредством панорамирующих регуляторов 1015, предоставляются во множество фильтров 1025 верхних частот. Каждый из фильтров 1025 верхних частот, в некоторых реализациях, может соответствовать характеристикам основных динамиков воспроизведения из окружения 1060 воспроизведения.[00126] According to this example, the direct speaker signals 1020 output by the panning controls 1015 are provided to a plurality of high pass filters 1025. Each of the high pass filters 1025, in some implementations, may correspond to the characteristics of the main playback speakers from the playback environment 1060.

[00127] Согласно этому примеру, модуль 1030 расчета проектных решений для фильтров выполнен с возможностью определять характеристики фильтров 1035, по меньшей мере, частично на основе вычисленного дефицита мощности, который получается в результате управления низкими звуковыми частотами. В этом примере модуль 1030 расчета проектных решений для фильтров выполнен с возможностью определять характеристики фильтров 1035 низких частот, по меньшей мере, частично на основе информации усиления, принимаемой из панорамирующих регуляторов 1015, и на основе характеристик фильтра верхних частот, включающих в себя частоты фильтра верхних частот, принимаемые из фильтров 1025 верхних частот. В некоторых реализациях, фильтры 1035 также могут включать в себя полосовые фильтры, такие как полосовые фильтры, которые выполнены с возможностью пропускать средние LF-аудиосигналы. В некоторых примерах, фильтры 1035 также могут включать в себя фильтры верхних частот, такие как фильтры верхних частот, которые выполнены с возможностью управлять фильтрованными по низким частотам аудиосигналами таким образом, чтобы формировать средние LF-аудиосигналы. Согласно некоторым таким реализациям, модуль 1030 расчета проектных решений для фильтров может быть выполнен с возможностью определять характеристики полосовых фильтров и/или фильтров верхних частот, по меньшей мере, частично на основе вычисленного дефицита мощности, который получается в результате управления низкими звуковыми частотами.[00127] According to this example, the filter design calculation module 1030 is configured to determine the characteristics of the filters 1035 based at least in part on the calculated power deficit that results from the bass management. In this example, the filter design calculation module 1030 is configured to determine the characteristics of the low pass filters 1035 based at least in part on the gain information received from the pan controls 1015 and on the basis of the high pass filter characteristics including the high pass filter frequencies. frequencies received from the high pass filters 1025 . In some implementations, filters 1035 may also include bandpass filters, such as bandpass filters that are configured to pass average LF audio signals. In some examples, filters 1035 may also include high-pass filters, such as high-pass filters, that are configured to manipulate low-pass filtered audio signals so as to generate mid-LF audio signals. According to some such implementations, the filter design calculation module 1030 can be configured to determine the characteristics of the band pass filters and/or high pass filters based at least in part on the calculated power deficit that results from the low audio frequency control.

[00128] Согласно этому примеру, LF-аудиообъекты, выводимые из фильтров 1035, предоставляются в панорамирующие регуляторы 1040, которые выводят сигналы 1042 прямой подачи звука в LF-динамики. В этой реализации, блок 1047 суммирования суммирует сигналы 1042 прямой подачи звука в LF-динамики и LFE-аудиосигналы 1045 и предоставляет результат (LF-сигналы 1049) в блок 1055 частотной коррекции. В этом примере, блок 1055 частотной коррекции выполнен с возможностью частотно корректировать LF-сигналы 1049 и также может быть выполнен с возможностью применять один или более типов усилений, задержек и т.д. В этой реализации, блок 1055 частотной коррекции выполнен с возможностью выводить результирующие сигналы 1057 прямой подачи звука в LF-динамики в LFC-динамики воспроизведения из окружения 1060 воспроизведения.[00128] According to this example, the LF audio objects output from the filters 1035 are provided to the panners 1040, which output the direct feed signals 1042 to the LF speakers. In this implementation, summing block 1047 sums LF speaker direct feed signals 1042 and LFE audio signals 1045 and provides the result (LF signals 1049) to equalizer 1055 . In this example, equalizer 1055 is configured to equalize LF signals 1049 and may also be configured to apply one or more types of gains, delays, and so on. In this implementation, the frequency equalizer 1055 is configured to output the resultant LF speaker direct feed signals 1057 to the playback LFC speakers from the playback environment 1060 .

[00129] Согласно этому примеру, фильтрованные по верхним частотам аудиосигналы 1027 из фильтров 1025 верхних частот предоставляются в блок 1050 частотной коррекции. В этом примере, блок 1050 частотной коррекции выполнен с возможностью частотно корректировать фильтрованные по верхним частотам аудиосигналы 1027 и также может быть выполнен с возможностью применять один или более типов усилений, задержек и т.д. Здесь блок 1050 частотной коррекции выводит результирующие фильтрованные по верхним частотам сигналы прямой подачи звука в динамики 1052 в основные динамики воспроизведения из окружения 1060 воспроизведения.[00129] According to this example, the high-pass filtered audio signals 1027 from the high-pass filters 1025 are provided to the frequency equalizer 1050. In this example, the frequency equalizer 1050 is configured to frequency equalize the high-filtered audio signals 1027 and may also be configured to apply one or more types of gains, delays, and so on. Here, the frequency equalization block 1050 outputs the resulting high-pass filtered direct feed signals to the speakers 1052 to the main playback speakers from the playback environment 1060.

[00130] Некоторые альтернативные реализации могут не заключать в себе панорамирование LF-аудиообъектов. Некоторые такие альтернативные реализации могут заключать в себе равномерное панорамирование низкой звуковой частоты во все сабвуферы. Такие реализации обеспечивают возможность осуществления суммирования аудиообъектов до фильтрации, за счет этого снижая вычислительную сложность. В некоторых таких примерах, управляемый по низким звуковым частотам сигнал может выражаться следующим образом:[00130] Some alternative implementations may not include panning of LF audio objects. Some such alternative implementations may include even panning of the low audio frequency to all subwoofers. Such implementations allow summing of audio objects prior to filtering, thereby reducing computational complexity. In some such examples, the bass-driven signal may be expressed as:

, уравнение 14

, Equation 14

[00131] В уравнении 14, N представляет число аудиообъектов, и J представляет число частот отсечки. В некоторых реализациях, результирующий

может подаваться одинаково во все LFC-динамики воспроизведения или во все сабвуферы на уровне, который сохраняет воспринимаемую амплитуду низких звуковых частот в позиции прослушивания.[00131] In equation 14, N represents the number of audio objects, and J represents the number of cutoff frequencies. In some implementations, the resulting

can be fed equally to all LFC playback speakers or to all subwoofers at a level that preserves perceived bass amplitude at the listening position.

[00132] Фиг. 11 является функциональной блок-схемой, которая показывает один пример равномерной реализации низких звуковых частот. Блок 1115 представляет панорамирующий регулятор, который нацелен на основные громкоговорители (панорамирующий регулятор высоких частот в предыдущих примерах), и после него идет фильтр верхних частот, уникально применяемый к каждому сигналу основного громкоговорителя. Блок 1130 заменяет функциональные блоки низкочастотного панорамирования и фильтрации предыдущих примеров. Замена обработки панорамированной низкой звуковой частоты простым суммированием для каждой уникальной частоты перехода уменьшает требуемые вычисления; в дополнение к устранению необходимости вычислять низкочастотное панорамирование сигналов, уравнения могут перекомпоновываться таким образом, что только J фильтров низких частот должны выполняться в реальном времени. Для панорамированной низкой звуковой частоты, требуются JN фильтров, что может быть недопустимым для реализации в реальном времени. Этот пример является наиболее подходящим для систем с относительно низкой частотой перехода и меньшей потребностью в пространственной LF-точности.[00132] FIG. 11 is a functional block diagram that shows one example of uniform realization of low audio frequencies. Block 1115 represents a pan control that targets the main speakers (the treble pan control in the previous examples) and is followed by a high pass filter that is uniquely applied to each main speaker signal. Block 1130 replaces the low-frequency panning and filtering function blocks of the previous examples. Replacing panned low audio frequency processing with a simple summation for each unique transition frequency reduces the required calculations; in addition to eliminating the need to calculate the low-pass panning of the signals, the equations can be rearranged such that only J low-pass filters need to be executed in real time. For panned low frequency audio, JN filters are required, which may be unacceptable for a real-time implementation. This example is most suitable for systems with a relatively low transition frequency and less need for LF spatial accuracy.

[00133] По мере того, как частота перехода увеличивается за пределы приблизительно 150 Гц, значительный сдвиг в кажущемся акустическом изображении может возникать, когда громкоговоритель управляется по низким звуковым частотам для удаленных сабвуферов. Проблема хорошо поддается прореживанию, поскольку частоты LFC-динамиков воспроизведения, в общем, являются очень низкими по сравнению с частотой дискретизации. Цель состоит в том, чтобы уменьшать вычислительные затраты операций фильтрации, чтобы обеспечивать возможность независимой обработки каждого аудиообъекта без значительной нагрузки на CPU.[00133] As the crossover frequency increases beyond about 150 Hz, a significant shift in the apparent acoustic image can occur when the loudspeaker is driven for low audio frequencies for remote subwoofers. The problem lends itself well to decimation because the frequencies of playback LFC speakers are generally very low compared to the sample rate. The goal is to reduce the computational cost of filtering operations to allow each audio object to be processed independently without significant CPU overhead.

[00134] Фиг. 12 является функциональной блок-схемой, которая предоставляет пример прореживания согласно одному раскрытому способу управления низкими звуковыми частотами. Согласно этому примеру, блоки 1205 панорамирующего регулятора и верхних частот сначала применяют амплитудный панорамирующий регулятор согласно данным позиций аудиообъектов и данным схемы размещения основных громкоговорителей, затем применяют фильтр верхних частот для каждого из активных каналов, как показано на графике 1210. В некоторых примерах, фильтры верхних частот могут представлять собой фильтры Баттеруорта. Это является эквивалентным тракту верхних частот, который описывается выше со ссылкой на уравнения 7 и 8.[00134] FIG. 12 is a functional block diagram that provides an example of decimation according to one disclosed bass control method. According to this example, pan and treble blocks 1205 first apply an amplitude pan according to audio object position data and main speaker layout data, then apply a high pass filter for each of the active channels, as shown in plot 1210. In some examples, the high pass filters frequencies can be Butterworth filters. This is equivalent to the high pass path described above with reference to Equations 7 and 8.

[00135] Согласно этому примеру, блоки 1215 прореживания выполнены с возможностью прореживать аудиосигналы входных аудиообъектов. В этом примере, блоки 1215 прореживания представляют собой блоки 64-кратного прореживания. В некоторых таких примерах, блоки 1215 прореживания могут представлять собой 6-каксадный модуль 1/2-прореживания с использованием предварительно вычисленных полуполосовых фильтров. В некоторых примерах, полуполосовые фильтры могут иметь режекцию полосы задерживания в 80 дБ. В других примерах, блоки 1215 прореживания могут прореживать аудиоданные в другой степени и/или могут использовать другие типы фильтров и связанные процессы.[00135] According to this example, decimators 1215 are configured to decimate audio signals of input audio objects. In this example, decimation blocks 1215 are 64x decimation blocks. In some such examples, decimation units 1215 may be a 6-cascade 1/2-decimation module using precomputed half-band filters. In some examples, half-band filters may have a stopband notch of 80 dB. In other examples, decimators 1215 may decimate the audio data to a different degree and/or may use other filter types and associated processes.

[00136] Полуполосовые фильтры имеют следующие свойства:[00136] Half-band filters have the following properties:

1. Приблизительно половина коэффициентов равны нулю.1. Approximately half of the coefficients are equal to zero.

2. Ненулевые коэффициенты являются симметричными (линейная фаза, разделенные на два кратные).2. Non-zero coefficients are symmetrical (linear phase divided by two multiples).

3. Переходная полоса частот является симметричной относительно 1/4 от частоты дискретизации, которая формирует наложение спектров к вершине полосы частот после каждого каскада прореживания. По этой причине, некоторые реализации используют более длинный конечный фильтр для того, чтобы удалять остаточное наложение спектров.3. The transition bandwidth is symmetrical about 1/4 of the sampling rate, which forms the aliasing towards the top of the bandwidth after each decimation stage. For this reason, some implementations use a longer final filter in order to remove residual aliasing.

[00137] Относительно свойства 3, в случае прямых подач звука в сабвуферы, может быть приемлемым обеспечивать возможность постоянного размещения наложения спектров выше приблизительно 300 Гц. Например, если задается максимальная частота отсечки в 150 Гц, прямая подача звука в сабвуферы составляет, по меньшей мере, -24 дБ на 300 Гц, так что целесообразно предполагать, что наложение спектров на этих частотах должно маскироваться посредством прямых подач звука в полнодиапазонные громкоговорители.[00137] With respect to feature 3, in the case of direct subwoofer feeds, it may be acceptable to allow the aliasing to be permanently placed above about 300 Hz. For example, if the maximum cutoff frequency is set to 150 Hz, the direct feed to subwoofers is at least -24 dB at 300 Hz, so it is reasonable to assume that aliasing at these frequencies should be masked by direct feeds to full-range loudspeakers.

[00138] При частоте дискретизации в 48 кГц, эффективная частота дискретизации в конечном каскаде составляет 750 Гц, приводя к частоте Найквиста в 375 Гц. Соответственно, в некоторых реализациях можно задавать 300 Гц в качестве минимальной частоты, для которой могут допускаться компоненты наложения спектров.[00138] At a sampling rate of 48 kHz, the effective sampling rate in the final stage is 750 Hz, resulting in a Nyquist frequency of 375 Hz. Accordingly, in some implementations, 300 Hz may be specified as the minimum frequency for which aliasing components may be allowed.

[00139] Согласно этому примеру, модули 1220 LP-фильтрации выполнены с возможностью проектировать и применять фильтры для формирования LF-аудиоданных. Как описано в другом месте в данном документе, фильтры, применяемые для формирования LF-аудиоданных, также могут включать в себя полосовые фильтры и фильтры верхних частот в некоторых реализациях. В этой реализации, модули 1220 LP-фильтрации выполнены с возможностью проектировать фильтры, по меньшей мере, частично на основе прореженных аудиоданных, принимаемых из блоков 1215 прореживания, а также на основе дефицита мощности низких звуковых частот (как проиллюстрировано на графиках 1225). Модули 1220 LP-фильтрации могут быть выполнены с возможностью определять дефицит мощности согласно одному или более способов, описанных выше.[00139] According to this example, LP filtering modules 1220 are configured to design and apply filters to generate LF audio data. As described elsewhere in this document, the filters used to generate LF audio data may also include band pass filters and high pass filters in some implementations. In this implementation, the LP filter modules 1220 are configured to design filters based at least in part on the decimated audio data received from the decimators 1215 as well as the low audio power deficit (as illustrated in graphs 1225). The LP filtering modules 1220 may be configured to determine a power deficit according to one or more of the methods described above.

[00140] Например, при комбинировании аналитического спектра абсолютной величины фильтра верхних частот Баттеруорта с вышеприведенным уравнением дефицита (уравнением 5), спектр прямой подачи звука в LFC-динамики воспроизведения может выражаться следующим образом:[00140] For example, when combining the analytical absolute value spectrum of the Butterworth high-pass filter with the deficit equation above (Equation 5), the direct sound delivery spectrum of the LFC playback speakers can be expressed as:

уравнение 15

equation 15

[00141] Фильтр

может проектироваться, например, в качестве фильтра с конечным импульсным откликом (FIR) и применяться при 64-кратной частоте прореживания.[00141] Filter

can be designed, for example, as a finite impulse response (FIR) filter and applied at 64 times the decimation frequency.

[00142] В этом примере модули 1220 LP-фильтрации также выполнены с возможностью панорамировать LF-аудиоданные, сформированные посредством спроектированных фильтров. Согласно этому примеру, сигналы прямой подачи звука в LF-динамики, сформированные посредством модулей 1220 LP-фильтрации, предоставляются в блок 1230 суммирования. Суммированные сигналы прямой подачи звука в LF-динамики, сформированные посредством блока 1230 суммирования, предоставляются в интерполяционный блок 1235, который выполнен с возможностью выводить сигналы прямой подачи звука в LF-динамики на исходной входной частоте дискретизации. Результирующие сигналы 1237 прямой подачи звука в LF-динамики могут предоставляться в LFC-динамики 1240 воспроизведения из окружения воспроизведения.[00142] In this example, the LP filter modules 1220 are also configured to pan the LF audio data generated by the designed filters. According to this example, the LF speaker direct feed signals generated by the LP filter modules 1220 are provided to a summation block 1230 . The summed LF direct feed signals generated by the summing block 1230 are provided to an interpolation block 1235, which is configured to output the LF direct feed signals at the original input sampling frequency. The resulting LF speaker direct feed signals 1237 may be provided to playback LFC speakers 1240 from the playback environment.

[00143] В этом примере сигналы прямой подачи звука в динамики на основе верхних частот, сформированные посредством блоков 1205 панорамирующего регулятора и верхних частот, предоставляются в блок 1250 суммирования. Суммированные сигналы 1255 прямой подачи звука в динамики на основе верхних частот, сформированные посредством блока 1250 суммирования, предоставляются в основные динамики 1260 воспроизведения из окружения воспроизведения.[00143] In this example, treble-based direct speaker signals generated by panner and treble blocks 1205 are provided to a summing block 1250. The treble-based direct-to-speaker summed signals 1255 generated by the summing unit 1250 are provided to the main playback speakers 1260 from the playback environment.

[00144] Различные модификации реализаций, описанных в этом раскрытии сущности, могут быть очевидными для специалистов в данной области техники. Общие принципы, заданные в данном документе, могут применяться к другим реализациям без отступления от сущности или объема этого раскрытия сущности. Таким образом, формула изобретения не имеет намерение быть ограниченной показанными в данном документе реализациями, а должна удовлетворять самому широкому объему в соответствии с этим раскрытием сущности, принципами и новыми функциями, раскрытыми в данном документе.[00144] Various modifications to the implementations described in this disclosure may be apparent to those skilled in the art. The general principles given in this document may apply to other implementations without departing from the spirit or scope of this disclosure. Thus, the claims are not intended to be limited to the implementations shown herein, but are intended to satisfy the broadest scope consistent with this disclosure, principles, and novel features disclosed herein.

Claims (38)

1. Способ аудиообработки, содержащий этапы, на которых:1. An audio processing method, comprising the steps of: - принимают аудиоданные, причем аудиоданные содержат множество аудиообъектов, причем аудиообъекты включают в себя аудиоданные и ассоциированные метаданные, причем метаданные включают в себя данные позиций аудиообъектов;receiving audio data, the audio data comprising a plurality of audio objects, the audio objects including audio data and associated metadata, the metadata including audio object position data; - принимают данные схемы размещения динамиков воспроизведения, содержащие индикатор одного или более динамиков воспроизведения в окружении воспроизведения и индикатор местоположения одного или более динамиков воспроизведения в окружении воспроизведения, при этом данные схемы размещения динамиков воспроизведения включают в себя данные местоположений громкоговорителей с поддержкой низких частот (LFC), соответствующие одному или более LFC-динамиков воспроизведения из окружения воспроизведения, и данные местоположений основных громкоговорителей, соответствующие одному или более основных динамиков воспроизведения из окружения воспроизведения;receiving speaker layout data comprising an indicator of one or more playback speakers in the playback environment and an indicator of the location of one or more playback speakers in the playback environment, wherein the playback speaker layout data includes bass-enabled (LFC) speaker location data , corresponding to one or more LFC playback speakers from the playback environment, and main speaker location data corresponding to one or more main playback speakers from the playback environment; - выполняют рендеринг аудиообъектов в сигналы прямой подачи звука в динамики, по меньшей мере, частично на основе ассоциированных метаданных и данных схемы размещения динамиков воспроизведения, при этом каждый сигнал прямой подачи звука в динамики соответствует одному или более динамиков воспроизведения в окружении воспроизведения;rendering audio objects into direct-to-speaker signals based at least in part on associated metadata and playback speaker layout data, with each direct-to-speaker signal corresponding to one or more playback speakers in the playback environment; - применяют фильтр верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики для того, чтобы формировать фильтрованные по верхним частотам сигналы прямой подачи звука в динамики;applying a high-pass filter to at least some of the direct-to-speaker signals in order to generate high-pass-filtered direct-to-speaker signals; - вычисляют дефицит мощности, по меньшей мере, частично на основе усиления и характеристик фильтра(ов) верхних частот;- calculate the power deficit based at least in part on the gain and characteristics of the high pass filter(s); - определяют фильтр низких частот, по меньшей мере, частично на основе дефицита мощности; - determine the low-pass filter, at least in part on the basis of the power deficit; - применяют фильтр низких частот к аудиоданным каждого из множества аудиообъектов для того, чтобы формировать низкочастотные (LF) аудиообъекты;applying a low pass filter to the audio data of each of the plurality of audio objects in order to generate low frequency (LF) audio objects; - панорамируют LF-аудиообъекты, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики;panning the LF audio objects based at least in part on the location data of the LFC speakers in order to generate direct audio signals to the LFC speakers; - выводят сигналы прямой подачи звука в LFC-динамики в один или более LFC-громкоговорителей окружения воспроизведения; иoutputting direct LFC speaker signals to one or more LFC speakers of the playback environment; and - предоставляют фильтрованные по верхним частотам сигналы прямой подачи звука в динамики в один или более основных динамиков воспроизведения из окружения воспроизведения.- provide high-pass filtered direct speaker signals to one or more main playback speakers from the playback environment. 2. Способ по п.1, дополнительно содержащий этап, на котором прореживают аудиоданные одного или более аудиообъектов до или в качестве части применения фильтра низких частот к аудиоданным каждого из множества аудиообъектов.2. The method of claim 1, further comprising decimating the audio data of one or more audio objects before or as part of applying a low pass filter to the audio data of each of the plurality of audio objects. 3. Способ по п.1 или 2, дополнительно содержащий этап, на котором определяют уровень сигнала аудиоданных аудиообъектов, сравнивают уровень сигнала с пороговым уровнем сигнала и применяют один или более фильтров низких частот только к аудиообъектам, для которых уровень сигнала аудиоданных превышает или равен пороговому уровню сигнала.3. The method according to claim 1 or 2, further comprising determining the signal level of the audio data of the audio objects, comparing the signal level with a threshold signal level, and applying one or more low pass filters only to audio objects for which the signal level of the audio data is greater than or equal to the threshold signal level. 4. Способ по любому из пп.1-3, в котором применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики содержит этап, на котором применяют два или более разных фильтров верхних частот.4. A method according to any one of claims 1 to 3, wherein applying a high pass filter to at least some of the direct speaker signals comprises applying two or more different high pass filters. 5. Способ по любому из пп.1-4, в котором применение фильтра верхних частот, по меньшей мере, к некоторым сигналам прямой подачи звука в динамики содержит этап, на котором применяют первый фильтр верхних частот к первому множеству сигналов прямой подачи звука в динамики для того, чтобы формировать первые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, и применяют второй фильтр верхних частот ко второму множеству сигналов прямой подачи звука в динамики для того, чтобы формировать вторые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики, причем первый фильтр верхних частот выполнен с возможностью пропускать более низкий диапазон частот, чем второй фильтр верхних частот.5. A method according to any one of claims 1 to 4, wherein applying a high pass filter to at least some of the direct speaker signals comprises applying a first high pass filter to a first plurality of direct speaker signals. to generate first high-pass filtered direct-to-speaker signals, and applying a second high-pass filter to the second plurality of direct-to-speaker signals to generate second high-pass-filtered direct-to-speaker signals, wherein the first high pass filter is configured to pass a lower frequency range than the second high pass filter. 6. Способ по п.5, дополнительно содержащий этап, на котором принимают первую информацию производительности динамиков воспроизведения относительно первого набора основных динамиков воспроизведения и принимают вторую информацию производительности динамиков воспроизведения относительно второго набора основных динамиков воспроизведения, при этом:6. The method according to claim 5, further comprising receiving first playback speaker performance information regarding the first set of primary playback speakers, and receiving second playback speaker performance information regarding the second set of primary playback speakers, wherein: - первый фильтр верхних частот соответствует первой информации производительности динамиков воспроизведения;- the first high-pass filter corresponds to the first playback speaker performance information; - второй фильтр верхних частот соответствует второй информации производительности динамиков воспроизведения; и- the second high-pass filter corresponds to the second playback speaker performance information; and - предоставление фильтрованных по верхним частотам сигналов прямой подачи звука в динамики в один или более основных динамиков воспроизведения содержит этап, на котором предоставляют первые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики в первый набор основных динамиков воспроизведения и предоставляют вторые фильтрованные по верхним частотам сигналы прямой подачи звука в динамики во второй набор основных динамиков воспроизведения.- providing high-pass filtered direct-to-speaker signals to one or more main playback speakers comprising providing first high-pass filtered direct-to-speaker signals to a first set of main playback speakers and providing second high-pass filtered signals direct speaker sound to the second set of main playback speakers. 7. Способ по любому из пп.1-6, в котором метаданные включают в себя индикатор того, следует или нет применять фильтр верхних частот к сигналам прямой подачи звука в динамики, соответствующим конкретному аудиообъекту из упомянутых аудиообъектов.7. A method according to any one of claims 1 to 6, wherein the metadata includes an indicator of whether or not to apply a high pass filter to direct speaker signals corresponding to a particular audio object of said audio objects. 8. Способ по любому из пп.1-7, в котором формирование LF-аудиообъектов содержит этап, на котором применяют два или более разных фильтров.8. The method according to any one of claims 1 to 7, wherein generating the LF audio objects comprises applying two or more different filters. 9. Способ по любому из пп.1-8, в котором формирование LF-аудиообъектов содержит этапы, на которых:9. The method according to any one of claims 1 to 8, wherein generating LF audio objects comprises the steps of: - применяют фильтр низких частот, по меньшей мере, к некоторым аудиообъектам для того, чтобы формировать первые LF-аудиообъекты, причем фильтр низких частот выполнен с возможностью пропускать первый диапазон частот; иapplying a low pass filter to at least some of the audio objects in order to generate first LF audio objects, the low pass filter being configured to pass the first frequency range; and - применяют фильтр верхних частот к первым LF-аудиообъектам для того, чтобы формировать вторые LF-аудиообъекты, причем фильтр верхних частот выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот; иapplying a high-pass filter to the first LF audio objects in order to generate second LF audio objects, the high-pass filter being configured to pass a second frequency range, which is the middle LF frequency range; and - при этом панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики, содержит этапы, на которых:wherein panning the LF audio objects based at least in part on the location data of the LFC loudspeakers in order to generate direct sound feed signals to the LFC loudspeakers comprises the steps of: - формируют первые сигналы прямой подачи звука в LFC-динамики посредством панорамирования первых LF-аудиообъектов; и- form the first signals direct sound in LFC-speakers by panning the first LF-audio objects; and - формируют вторые сигналы прямой подачи звука в LFC-динамики посредством панорамирования вторых LF-аудиообъектов.- form the second direct sound feed signals to the LFC speakers by panning the second LF audio objects. 10. Способ по любому из пп.1-8, в котором формирование LF-аудиообъектов содержит этапы, на которых:10. The method according to any one of claims 1 to 8, wherein generating the LF audio objects comprises the steps of: - применяют фильтр низких частот к первому множеству аудиообъектов для того, чтобы формировать первые LF-аудиообъекты, причем фильтр низких частот выполнен с возможностью пропускать первый диапазон частот; иapplying a low pass filter to the first plurality of audio objects to generate first LF audio objects, the low pass filter being configured to pass the first frequency range; and - применяют полосовой фильтр ко второму множеству аудиообъектов для того, чтобы формировать вторые LF-аудиообъекты, причем полосовой фильтр выполнен с возможностью пропускать второй диапазон частот, который представляет собой средний LF-диапазон частот; иapplying a band pass filter to the second plurality of audio objects in order to generate second LF audio objects, the band pass filter being configured to pass a second frequency range, which is the middle LF frequency range; and - при этом панорамирование LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений LFC-громкоговорителей для того, чтобы формировать сигналы прямой подачи звука в LFC-динамики, содержит этапы, на которых:wherein panning the LF audio objects based at least in part on the location data of the LFC loudspeakers in order to generate direct sound feed signals to the LFC loudspeakers comprises the steps of: - формируют первые сигналы прямой подачи звука в LFC-динамики посредством панорамирования первых LF-аудиообъектов; и- form the first signals direct sound in LFC-speakers by panning the first LF-audio objects; and - формируют вторые сигналы прямой подачи звука в LFC-динамики посредством панорамирования вторых LF-аудиообъектов.- form the second direct sound feed signals to the LFC speakers by panning the second LF audio objects. 11. Способ по п.9 или 10, в котором прием данных местоположений LFC-громкоговорителей содержит этап, на котором принимают данные местоположений несабвуферов, указывающие местоположение каждого из множества несабвуферных динамиков воспроизведения, способных воспроизводить аудиоданные во втором диапазоне частот, при этом формирование вторых сигналов прямой подачи звука в LFC-динамики содержит этап, на котором панорамируют, по меньшей мере, некоторые из вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений несабвуферов для того, чтобы формировать сигналы прямой подачи звука в несабвуферные динамики, причем способ дополнительно содержит этап, на котором предоставляют сигналы прямой подачи звука в несабвуферные динамики в один или более из множества несабвуферных динамиков воспроизведения из окружения воспроизведения.11. The method according to claim 9 or 10, wherein receiving the LFC speaker location data comprises receiving non-subwoofer location data indicating the location of each of the plurality of non-subwoofer playback speakers capable of reproducing audio data in the second frequency band, while generating the second signals LFC speaker feed-forward comprises panning at least some of the second LF audio objects based at least in part on non-subwoofer location data in order to generate non-subwoofer feed-forward signals, the method further comprising providing non-subwoofer speaker direct feed signals to one or more of the plurality of non-subwoofer playback speakers from the playback environment. 12. Способ по п.9 или 10, в котором прием данных местоположений LFC-громкоговорителей содержит этап, на котором принимают данные местоположений средних сабвуферов, указывающие местоположение каждого из множества средних сабвуферных динамиков воспроизведения, способных воспроизводить аудиоданные во втором диапазоне частот, при этом формирование вторых сигналов прямой подачи звука в LFC-динамики содержит этап, на котором панорамируют, по меньшей мере, некоторые из вторых LF-аудиообъектов, по меньшей мере, частично на основе данных местоположений средних сабвуферов для того, чтобы формировать сигналы прямой подачи звука в средние сабвуферные динамики, причем способ дополнительно содержит этап, на котором предоставляют сигналы прямой подачи звука в средние сабвуферные динамики в один или более из множества средних сабвуферных динамиков воспроизведения из окружения воспроизведения.12. The method according to claim 9 or 10, wherein receiving the LFC speaker location data comprises receiving mid-range subwoofer location data indicating the location of each of the plurality of mid-range subwoofer playback speakers capable of reproducing audio data in the second frequency band, while generating of the second feed-forward signals to the LFC speakers comprises the step of panning at least some of the second LF audio objects based at least in part on the mid-subwoofer location data in order to generate feed-forward signals to the mid-subwoofer speakers, the method further comprising providing mid-subwoofer speaker feed-forward signals to one or more of the plurality of playback mid-subwoofer speakers from the playback environment. 13. Способ по любому из пп.1-12, в котором данные схемы размещения динамиков воспроизведения включают в себя индикатор местоположения одной или более групп динамиков воспроизведения в окружении воспроизведения.13. The method according to any one of claims 1 to 12, wherein the playback speaker layout data includes an indicator of the location of one or more playback speaker groups in the playback environment. 14. Оборудование для управления низкими звуковыми частотами, содержащее интерфейсную систему и систему управления, выполненные с возможностью осуществлять способ по любому из пп.1-13.14. Equipment for managing low audio frequencies, comprising an interface system and a control system configured to carry out the method according to any one of claims 1-13. 15. Энергонезависимый носитель, сохраняющий программное обеспечение, причем программное обеспечение включает в себя инструкции для управления одним или более устройств, чтобы осуществлять способ по любому из пп.1-13.15. A non-volatile medium storing software, the software including instructions for controlling one or more devices to carry out the method of any one of claims 1-13.

Images