RU2701055C2 - Способ декодирования и декодер для усиления диалога - Google Patents

Abstract

Изобретение относится к средствам для кодирования аудио. Технический результат заключается в повышении эффективности усиления диалога в аудиосистемах. Принимают ряд сигналов понижающего микширования. Принимают параметры для усиления диалога, причем эти параметры определены в отношении подмножества ряда каналов, включающего каналы, содержащие диалог, причем это подмножество ряда каналов подвергнуто понижающему микшированию в подмножество ряда сигналов понижающего микширования. Принимают параметры восстановления, предоставляющие возможность параметрического восстановления каналов, подвергнутых понижающему микшированию в подмножество ряда сигналов понижающего микширования. Применяют усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом. 3 н. и 26 з.п. ф-лы, 14 ил.

Description

Область техники, к которой относится изобретение

Раскрываемое в данном документе изобретение относится к кодированию звука. В частности оно относится к способам и устройствам для выполнения усиления диалога в аудиосистемах на основе каналов.

Предпосылки создания изобретения

Усиление диалога заключается в выполнении усиления диалога относительно другого звукового содержимого. Оно может применяться, например, для того, чтобы позволить лицам с нарушениями слуха следить за диалогом в кинофильме. Для звукового содержимого на основе каналов диалог, как правило, присутствует в нескольких каналах, а также является микшированным с другим звуковым содержимым. Поэтому усиление диалога представляет собой нетривиальную задачу.

Известно несколько способов выполнения усиления диалога в декодере. В соответствии с некоторыми из этих способов, вначале декодируют полное содержимое каналов, т. е. полную конфигурацию каналов, а затем используют принятые параметры усиления диалога для предсказания диалога на основе этого полного содержимого каналов. Предсказанный диалог затем используют для усиления диалога в соответствующих каналах. Однако такие способы декодирования полагаются на декодер, способный декодировать полную конфигурацию каналов.

Однако декодеры с низкой сложностью, как правило, не рассчитаны на декодирование полной конфигурации каналов. Вместо этого декодер с низкой сложностью может декодировать и выводить меньшее количество каналов, представляющих подвергнутую понижающему микшированию версию полной конфигурации каналов. Соответственно, в декодере с низкой сложностью полная конфигурация каналов недоступна. Так как параметры усиления диалога определены в отношении каналов из полной конфигурации каналов (или, по меньшей мере, в отношении некоторых из каналов полной конфигурации каналов), известные способы усиления диалога не могут быть напрямую применены декодером с низкой сложностью. В частности, это объясняется тем, что каналы, в отношении которых применимы параметры усиления диалога, могут по-прежнему быть микшированными с другими каналами.

Таким образом, имеется пространство для усовершенствований, позволяющих применять декодер с низкой сложностью для усиления диалога без необходимости в декодировании полной конфигурации каналов.

Краткое описание графических материалов

В дальнейшем приведенные для примера варианты осуществления будут описаны более подробно со ссылкой на сопроводительные графические материалы, на которых:

фиг. 1а — схематическая иллюстрация конфигурации каналов 7.1+4, подвергаемой понижающему микшированию в конфигурацию понижающего микширования 5.1 в соответствии с первой схемой понижающего микширования;

фиг. 1b — схематическая иллюстрация конфигурации каналов 7.1+4, подвергаемой понижающему микшированию в конфигурацию 5.1 понижающего микширования в соответствии со второй схемой понижающего микширования;

фиг. 2 — схематическая иллюстрация декодера на известном уровне техники для выполнения усиления диалога на полностью декодированной конфигурации каналов;

фиг. 3 — схематическая иллюстрация усиления диалога в соответствии с первым способом;

фиг. 4 — схематическая иллюстрация усиления диалога в соответствии со вторым способом;

фиг. 5 — схематическая иллюстрация декодера в соответствии с приведенными для примера вариантами осуществления;

фиг. 6 — схематическая иллюстрация декодера в соответствии с приведенными для примера вариантами осуществления;

фиг. 7 — схематическая иллюстрация декодера в соответствии с приведенными для примера вариантами осуществления;

фиг. 8 — схематическая иллюстрация кодера, соответствующего любому из декодеров, представленных на фиг. 2, фиг. 5, фиг. 6 и фиг. 7;

фиг. 9 — схемы способов вычисления операции ВА объединенной обработки данных, состоящей из двух подопераций А и В, на основе параметров, управляющих каждой из этих подопераций.

Все фигуры являются схематическими и в целом показывают только элементы, являющиеся необходимыми для иллюстрации настоящего изобретения, тогда как другие элементы могут быть опущены или могут являться лишь предполагаемыми.

Подробное описание

В виду вышесказанного целью является предоставление декодера и связанных способов, позволяющих применять усиление диалога без необходимости в декодировании полной конфигурации каналов.

I. Обзор

В соответствии с первой особенностью приведенные для примера варианты осуществления предусматривают способ усиления диалога в декодере аудиосистемы. Этот способ включает этапы:

приема ряда сигналов понижающего микширования, представляющих собой результат понижающего микширования большего количества каналов;

приема параметров для усиления диалога, причем эти параметры определены в отношении подмножества ряда каналов, включающего каналы, содержащие диалог, причем это подмножество ряда каналов подвергнуто понижающему микшированию в подмножество ряда сигналов понижающего микширования;

приема параметров восстановления, предоставляющих возможность параметрического восстановления каналов, подвергнутых понижающему микшированию в подмножество ряда сигналов понижающего микширования;

параметрического повышающего микширования подмножества ряда сигналов понижающего микширования на основе параметров восстановления с целью восстановления подмножества ряда каналов, в отношении которого определены параметры для усиления диалога;

применения усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом; и

выполнения микширования по меньшей мере одного сигнала с усиленным диалогом с целью предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования.

При такой схеме декодеру не приходится восстанавливать полную конфигурацию каналов для выполнения усиления диалога, благодаря чему снижается сложность. Вместо этого декодер восстанавливает те каналы, которые требуются для применения усиления диалога. Это включает, в частности, подмножество ряда каналов, в отношении которого определены принятые параметры для усиления диалога. После выполнения усиления диалога, т. е. когда по меньшей мере один сигнал с усиленным диалогом был определен на основе параметров для усиления диалога и подмножества ряда каналов, в отношении которого определены эти параметры, версии с усиленным диалогом принятых сигналов понижающего микширования определяют путем обработки сигнала (сигналов) с усиленным диалогом процедурой микширования. В результате получают версии с усиленным диалогом сигналов понижающего микширования для последующего воспроизведения аудиосистемой.

В приведенных для примера вариантах осуществления операция повышающего микширования может быть полной (восстанавливающей полный набор кодированных каналов) или частичной (восстанавливающей подмножество каналов).

В рамках настоящего документа сигнал понижающего микширования относится к сигналу, представляющему собой комбинацию одного или более сигналов/каналов.

В рамках настоящего документа параметрическое повышающее микширование относится к восстановлению одного или более сигналов/каналов из сигнала понижающего микширования посредством параметрических методик. Следует подчеркнуть, что приведенные для примера варианты осуществления, раскрытые в настоящем документе, не ограничены содержимым на основе каналов (в смысле звуковых сигналов, связанных с неизменными или предварительно определенными направлениями, углами и/или положениями в пространстве), но также распространяются на содержимое на основе объектов.

В соответствии с приведенными для примера вариантами осуществления на этапе параметрического повышающего микширования подмножества ряда сигналов понижающего микширования декоррелированные сигналы не используют с целью восстановления подмножества ряда каналов, в отношении которого определены параметры для усиления диалога.

Это является преимущественным в том, что снижается вычислительная сложность, и в то же время повышается качество получаемых в результате версий с усиленным диалогом сигналов понижающего микширования (т. е. качество на выходе). Более подробно, преимущества, получаемые путем использования декоррелированных сигналов при повышающем микшировании, уменьшаются при последующем микшировании, которому подвергают сигнал с усиленным диалогом. Поэтому использование декоррелированных сигналов преимущественно можно опустить, тем самым уменьшая сложность вычислений. Фактически, использование при повышающем микшировании декоррелированных сигналов в сочетании с усилением диалога могло бы в результате приводить к худшему качеству, поскольку это могло бы привести к реверберации декоррелятора на усиленном диалоге.

В соответствии с приведенными для примера вариантами осуществления микширование осуществляют в соответствии с параметрами микширования, описывающими вклад по меньшей мере одного сигнала с усиленным диалогом в версии с усиленным диалогом подмножества ряда сигналов понижающего микширования. Поэтому могут существовать некоторые параметры микширования, описывающие то, каким образом следует микшировать по меньшей мере один сигнал с усиленным диалогом с целью предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования. Например, параметры микширования могут иметь форму весовых коэффициентов, описывающих то, насколько по меньшей мере один сигнал с усиленным диалогом следует микшировать в каждый из сигналов понижающего микширования в подмножестве ряда сигналов понижающего микширования для получения версий с усиленным диалогом подмножества ряда сигналов понижающего микширования. Такие весовые коэффициенты могут, например, иметь форму параметров представления, служащих признаком пространственных положений, связанных с по меньшей мере одним сигналом с усиленным диалогом относительно пространственных положений, связанных с рядом каналов, и, таким образом, с соответствующим подмножеством сигналов понижающего микширования. В соответствии с другими примерами параметры микширования могут указывать, должен или не должен по меньшей мере один сигнал с усиленным диалогом вносить вклад, например, быть включенным, в одну конкретную из версий с усиленным диалогом подмножества сигналов понижающего микширования. Например, «1» может указывать, что сигнал с усиленным диалогом следует включать при формировании одной конкретной из версий с усиленным диалогом сигналов понижающего микширования, а «0» может указывать на то, что включать его не следует.

На этапе выполнения микширования по меньшей мере одного сигнала с усиленным диалогом с целью предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования сигналы с усиленным диалогом могут быть микшированы с другими сигналами/каналами.

В соответствии с приведенными для примера вариантами осуществления по меньшей мере один сигнал с усиленным диалогом микшируют с каналами, восстанавливаемыми на этапе повышающего микширования, но которые не были подвергнуты усилению диалога. Более подробно, этап параметрического повышающего микширования подмножества ряда сигналов понижающего микширования может включать восстановление по меньшей мере одного дополнительного канала помимо ряда каналов, в отношении которых определены параметры для усиления диалога, и при этом микширование включает микширование по меньшей мере одного дополнительного канала вместе с по меньшей мере одним сигналом с усиленным диалогом. Например, могут быть восстановлены и включены в микширование все каналы, подвергнутые понижающему микшированию в подмножество ряда сигналов понижающего микширования. В таких вариантах осуществления, как правило, имеется прямое соответствие между каждым сигналом с усиленным диалогом и каналом.

В соответствии с другими приведенными для примера вариантами осуществления по меньшей мере один сигнал с усиленным диалогом микшируют с подмножеством ряда сигналов понижающего микширования. Более подробно, этап параметрического повышающего микширования подмножества ряда сигналов понижающего микширования может включать восстановление только подмножества ряда каналов, в отношении которого определены параметры для усиления диалога, и этап применения усиления диалога может включать предсказывание и усиление диалоговой составляющей из подмножества ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога, чтобы предоставлять по меньшей мере один сигнал с усиленным диалогом, и микширование может включать микширование по меньшей мере одного сигнала с усиленным диалогом с подмножеством ряда сигналов понижающего микширования. Таким образом, такие варианты осуществления служат для предсказания и усиления диалогового содержимого и его микширования в подмножество ряда сигналов понижающего микширования.

В целом следует отметить, что канал может содержать диалоговое содержимое, микшированное с содержимым, не относящимся к диалогу. Кроме того, диалоговое содержимое, соответствующее одному диалогу, может быть микшировано в несколько каналов. Под предсказанием диалоговой составляющей из подмножества ряда каналов, в отношении которого определены параметры для усиления диалога, обычно подразумевают то, что диалоговое содержимое извлекают, т. е. выделяют, из каналов и комбинируют с целью восстановления диалога.

Качество усиления диалога можно дополнительно повысить посредством приема и использования звукового сигнала, представляющего диалог. Например, звуковой сигнал, представляющий диалог, может быть закодирован с низкой битовой скоростью, что вызывает хорошо слышимые явления при его отдельном прослушивании. Однако при использовании совместно с параметрическим усилением диалога, т. е. при использовании параметров для усиления диалога на этапе применения усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, получающееся в результате усиление диалога может быть улучшено, например, что касается качества звука. Более конкретно, способ может дополнительно включать прием звукового сигнала, представляющего диалог, при этом этап применения усиления диалога включает применение усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с дополнительным использованием звукового сигнала, представляющего диалог.

В некоторых вариантах осуществления параметры микширования могут быть уже доступными в декодере, например, они могут быть жестко запрограммированы. В частности, это может иметь место тогда, когда по меньшей мере один сигнал с усиленным диалогом всегда микшируют одинаковым образом, например, если его всегда микшируют с одними и теми же восстановленными каналами. В других вариантах осуществления способ включает прием параметров микширования для этапа выполнения микширования по меньшей мере одного сигнала с усиленным диалогом. Например, параметры микширования могут образовывать часть параметров усиления диалога.

В соответствии с приведенными для примера вариантами осуществления способ включает прием параметров микширования, описывающих схему понижающего микширования, описывающую, в какой сигнал понижающего микширования микширован каждый из ряда каналов. Например, если каждый сигнал с усиленным диалогом соответствует каналу, который, в свою очередь, является микшированным с другими восстановленными каналами, то микширование осуществляют в соответствии со схемой понижающего микширования так, что каждый канал микшируют в правильный сигнал понижающего микширования.

Схема понижающего микширования может изменяться со временем, т. е. она может быть динамической, таким образом повышая гибкость системы.

Способ может также включать прием данных, идентифицирующих подмножество ряда каналов, в отношении которого определены параметры для усиления диалога. Например, данные, идентифицирующие подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, могут быть включены в параметры для усиления диалога. Таким образом декодеру может быть передан сигнал о том, для каких каналов следует осуществить усиление диалога. Альтернативно такая информация может быть доступна в декодере, например, она может быть жестко запрограммирована, что означает, что параметры для усиления диалога всегда определены в отношении одних и тех же каналов. В частности, способ может также включать прием информации, указывающей, какие сигналы из сигналов с усиленным диалогом следует подвергнуть микшированию. Например, способ в соответствии с этим вариантом может быть осуществлен системой декодирования, работающей в определенном режиме, в котором сигналы с усиленным диалогом не микшируют обратно в полностью идентичный набор сигналов понижающего микширования, который был использован для предоставления сигналов с усиленным диалогом. Таким образом, операция микширования на практике может быть ограничена неполным выбором (одного или более сигналов) из подмножества ряда сигналов понижающего микширования. Другие сигналы с усиленным диалогом добавляют к несколько отличающимся сигналам понижающего микширования, таким как сигналы понижающего микширования, прошедшие преобразование формата. Как только становятся известными данные, идентифицирующие подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, и схема понижающего микширования, можно найти подмножество ряда сигналов понижающего микширования, в которое произведено понижающее микширование подмножества ряда каналов, в отношении которого определены параметры для усиления диалога. Более подробно, данные, идентифицирующие подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, можно использовать вместе со схемой понижающего микширования для нахождения подмножества ряда сигналов понижающего микширования, в которое произведено понижающее микширование подмножества ряда каналов, в отношении которого определены параметры для усиления диалога.

Этапы повышающего микширования подмножества ряда сигналов понижающего микширования, применения усиления диалога и микширования могут быть выполнены как матричные операции, определяемые, соответственно, параметрами восстановления, параметрами для усиления диалога и параметрами микширования. Это является преимущественным в том, что способ можно эффективным образом реализовать путем выполнения матричного умножения.

Более того, способ может включать объединение при помощи матричного умножения матричных операций, соответствующих этапам повышающего микширования подмножества ряда сигналов понижающего микширования, применения усиления диалога и микширования, в единую матричную операцию перед применением к подмножеству ряда сигналов понижающего микширования. Таким образом, разные матричные операции могут быть объединены в единую матричную операцию, таким образом дополнительно повышая эффективность и снижая вычислительную сложность способа.

Параметры усиления диалога и/или параметры восстановления могут зависеть от частоты, таким образом давая возможность указанным параметрам быть разными для разных полос частот. Таким образом усиление диалога и восстановление можно оптимизировать в разных полосах частот, тем самым повышая качество звука на выходе.

Более подробно, параметры для усиления диалога могут быть определены относительно первого набора полос частот, а параметры восстановления могут быть определены относительно второго набора полос частот, при этом второй набор полос частот отличается от первого набора полос частот. Это может быть преимущественным при уменьшении битовой скорости для передачи параметров для усиления диалога и параметров восстановления в битовом потоке, когда, например, процесс восстановления требует параметров с более высоким разрешением по частоте, чем процесс усиления диалога, и/или когда, например, процесс усиления диалога выполняют на меньшей полосе пропускания, чем процесс восстановления.

В соответствии с приведенными для примера вариантами осуществления (предпочтительно, дискретные) значения параметров для усиления диалога могут быть приняты неоднократно и связаны с первым набором моментов времени, в которые соответствующие значения применимы точно. В настоящем раскрытии утверждение о том, что значение применимо, или известно, «точно» в определенный момент времени, должно означать, что это значение было принято декодером, как правило, наряду с явным или неявным указанием момента времени, в который оно применимо. Напротив, значение, которое интерполировано или предсказано для определенного момента времени, в этом смысле не является применимым «точно» в указанный момент времени, но представляет собой оценку на стороне декодера. «Точно» не предполагает, что данное значение достигает точного восстановления звукового сигнала. Меду последовательными моментами времени в наборе может быть установлена предопределенная первая схема интерполяции. Схема интерполяции, определяющая то, каким образом следует оценивать приблизительное значение параметра в некоторый момент времени, расположенный между двумя граничными моментами времени в наборе, в которые значения параметра известны, может представлять собой, например, линейную или кусочно-постоянную интерполяцию. Если момент времени предсказания расположен на некотором расстоянии от одного из граничных моментов времени, линейная схема интерполяции основывается на предположении о том, что значение параметра в момент времени предсказания линейно зависит от указанного расстояния, тогда как кусочно-постоянная схема интерполяции гарантирует, что значение параметра не изменяется между каждым известным и следующим значениями. Также могут иметь место и другие возможные схемы интерполяции, в том числе, например, схемы, в которых для оценивания значения параметра в данный момент времени предсказания используют многочлены со степенью больше единицы, сплайны, рациональные функции, гауссовы процессы, тригонометрические многочлены, вейвлеты или их сочетание. Набор моментов времени может не быть передан или заявлен в явном виде, но вместо этого он может подразумеваться схемой интерполяции, например, начальной точкой или конечной точкой интервала линейной интерполяции, которые могут быть неявно привязаны к границам кадра алгоритма обработки звука. Параметры восстановления могут быть получены аналогичным образом: (предпочтительно, дискретные) значения параметров восстановления могут быть связаны со вторым набором моментов времени, и между последовательными моментами времени может быть выполнена вторая схема интерполяции.

Способ может также включать выбор типа параметров, причем параметры данного типа представляют собой либо параметры для усиления диалога, либо параметры восстановления, таким образом, что набор моментов времени, связанных с выбранным типом, содержит по меньшей мере один момент предсказания, представляющий собой момент времени, отсутствующий в наборе, связанном с невыбранным типом. Например, если набор моментов времени, с которым связаны параметры восстановления, содержит определенный момент времени, отсутствующий в наборе моментов времени, с которым связаны параметры для усиления диалога, то этот определенный момент времени будет моментом времени предсказания, если параметрами выбранного типа являются параметры восстановления, а параметрами невыбранного типа — параметры для усиления диалога. Аналогичным образом в другой ситуации момент предсказания может вместо этого быть найден в наборе моментов времени, с которым связаны параметры для усиления диалога, и тогда выбранный и невыбранный типы поменяются местами. Предпочтительно выбранный тип параметров представляет собой тип, имеющий наибольшую плотность моментов времени со связанными значениями параметров; в данном случае использования это может сократить общее количество необходимых операций предсказания.

Значения параметров невыбранного типа в момент предсказания могут быть предсказаны. Предсказание можно выполнить с использованием подходящего способа предсказания, такого как интерполяция или экстраполяция, и с учетом предварительно определенной схемы интерполяции для типов параметров.

Способ может включать этап вычисления на основе по меньшей мере одного предсказанного значения параметров невыбранного типа и принятого значения параметров выбранного типа объединенной операции обработки, представляющей по меньшей мере повышающее микширование подмножества сигналов понижающего микширования с последующим усилением диалога в момент предсказания. В дополнение к значениям параметров восстановления и параметрам для усиления диалога, вычисление может быть основано и на других значениях, таких как значения параметров для микширования, и объединенная операция обработки может представлять также этап микширования сигнала с усиленным диалогом обратно в сигнал понижающего микширования.

Способ может включать этап вычисления на основе по меньшей мере (принятого или предсказанного) значения параметров выбранного типа и по меньшей мере (принятого или предсказанного) значения параметров невыбранного типа, причем по меньшей мере одно из указанных значений представляет собой принятое значение, объединенной операции обработки в смежный момент времени в наборе, связанном с выбранным или невыбранным типом. Смежный момент времени может быть либо более ранним, либо более поздним, чем момент предсказания, и требование того, чтобы этот смежный момент времени был ближайшим соседом в плане расстояния, не является существенным.

В данном способе этапы повышающего микширования подмножества ряда сигналов понижающего микширования и применения усиления диалога могут быть выполнены между моментом предсказания и смежным моментом времени посредством интерполированного значения вычисленной объединенной операции обработки. При помощи интерполяции вычисленной объединенной операции обработки может быть достигнуто снижение вычислительной сложности. Благодаря тому, что оба типа параметров не интерполируют по отдельности, и благодаря тому, что не формируют произведение (т. е. объединенную операцию обработки), в каждой точке интерполяции, для достижения в равной мере полезного результата в плане воспринимаемого качества прослушивания может потребоваться меньшее количество математических операций сложения и умножения.

В соответствии с дополнительными приведенными для примера вариантами осуществления объединенная операция обработки в смежный момент времени может быть вычислена на основе принятого значения параметров выбранного типа и предсказанного значения параметров невыбранного типа. Также возможна и обратная ситуация, в которой объединенная операция обработки в смежный момент времени может быть вычислена на основе предсказанного значения параметров выбранного типа и принятого значения параметров невыбранного типа. Ситуации, в которых значение параметров одного и того же типа является принятым значением в момент предсказания и предсказанным значением в смежный момент времени, могут возникать, если, например, моменты времени в наборе, с которым связаны параметры выбранного типа, расположены строго между моментами времени в наборе, с которым связаны параметры невыбранного типа.

В соответствии с приведенными для примера вариантами осуществления объединенную операцию обработки в смежный момент времени можно вычислить на основе принятого значения параметров выбранного типа параметров и принятого значения параметров невыбранного типа параметров. Такие ситуации могут возникать, например, тогда, когда точные значения параметров обоих типов приняты для границ кадра, но также — для выбранного типа — для момента времени посередине между границами. Тогда смежный момент времени представляет собой момент времени, связанный с границей кадра, а момент времени предсказания расположен посередине между границами кадра.

В соответствии с дополнительными приведенными для примера вариантами осуществления способ может также включать выбор на основании первой и второй схем интерполяции объединенной схемы интерполяции в соответствии с предварительно определенным правилом выбора, при этом интерполяция соответствующих вычисленных объединенных операций обработки соответствует объединенной схеме интерполяции. Предварительно определенное правило выбора может быть определено для случая, в котором первая и вторая схемы интерполяции равны, а также может быть определено для случая, в котором первая и вторая схемы интерполяции отличаются. В качестве примера, если первая схема интерполяции является линейной (и, предпочтительно, если имеется линейная взаимосвязь между параметрами и количественными свойствами операции усиления диалога), а вторая схема интерполяции является кусочно-постоянной, то объединенная схема интерполяции может быть выбрана линейной.

В соответствии с приведенными для примера вариантами осуществления предсказание значения параметров невыбранного типа в момент предсказания осуществляют в соответствии со схемой интерполяции для параметров невыбранного типа. Это может включать использование точного значения параметра невыбранного типа в момент времени в наборе, связанном с невыбранным типом, являющийся смежным с моментом предсказания.

В соответствии с приведенными для примера вариантами осуществления объединенную операцию обработки вычисляют как единую матричную операцию и затем применяют к подмножеству ряда сигналов понижающего микширования. Предпочтительно этапы повышающего микширования и применения усиления диалога выполняют как матричные операции, определяемые параметрами восстановления и параметрами для усиления диалога. В качестве объединенной схемы интерполяции может быть выбрана линейная схема интерполяции, и интерполированное значение соответствующих вычисленных объединенных операций обработки может быть вычислено при помощи линейной матричной интерполяции. Для снижения вычислительной сложности интерполяция может быть ограничена такими матричными элементами, которые изменяются между моментом предсказания и смежным моментом времени.

В соответствии с приведенными для примера вариантами осуществления принятые сигналы понижающего микширования могут быть разбиты на временные кадры, и способ в установившемся режиме работы может включать этап приема по меньшей мере одного значения параметров соответствующих типов, точно применимого в некоторый момент времени в каждом временном кадре. В рамках настоящего документа «установившийся режим» относится к работе, не включающей наличия начальной и конечной частей, например, песни, и работу, не включающую внутренние переходные состояния, делающие необходимым подразбиение кадра.

В соответствии со второй особенностью предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель с командами для выполнения способа согласно первой особенности. Машиночитаемый носитель может представлять собой постоянный машиночитаемый носитель или устройство.

В соответствии с третьей особенностью предусмотрен декодер для усиления диалога в аудиосистеме, указанный декодер содержит:

компонент приема, выполненный с возможностью приема:

ряда сигналов понижающего микширования, представляющих собой результат понижающего микширования большего количества каналов,

параметров для усиления диалога, причем эти параметры определены в отношении подмножества ряда каналов, включающего каналы, содержащие диалог, при этом подмножество ряда каналов подвергнуто понижающему микшированию в подмножество ряда сигналов понижающего микширования, и

параметров восстановления, предоставляющих возможность параметрического восстановления каналов, подвергнутых понижающему микшированию в подмножество ряда сигналов понижающего микширования;

компонент повышающего микширования, выполненный с возможностью параметрического повышающего микширования подмножества ряда сигналов понижающего микширования на основе параметров восстановления с целью восстановления подмножества ряда каналов, в отношении которого определены параметры для усиления диалога; и

компонент усиления диалога, выполненный с возможностью применения усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом; и

компонент микширования, выполненный с возможностью выполнения микширования по меньшей мере одного сигнала с усиленным диалогом с целью предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования.

В целом, вторая и третья особенности могут иметь такие же признаки и преимущества, как первая особенность.

II. Примерные варианты осуществления

На фиг. 1а и фиг. 1b схематически представлена конфигурация каналов 7.1+4 (соответствующая конфигурации динамиков 7.1+4) с тремя передними каналами, L, C, R, двумя окружающими каналами, LS, RS, двумя задними каналами, LB, RB, четырьмя высотными каналами TFL, TFR, TBL, TBR, и каналом LFE низкочастотных эффектов. В процессе кодирования конфигурации каналов 7.1+4 каналы, как правило, подвергают понижающему микшированию, т.е. объединяют в меньшее количество сигналов, именуемых сигналами понижающего микширования. В процессе понижающего микширования каналы могут быть объединены разными способами для образования разных конфигураций понижающего микширования. На фиг. 1а представлена первая конфигурация 100а понижающего микширования 5.1 с сигналами понижающего микширования l, c, r, ls, rs, lfe. Круги на фигуре указывают, какие каналы подвергнуты понижающему микшированию в какие сигналы понижающего микширования. На фиг. 1b представлена вторая конфигурация 100b понижающего микширования 5.1 с сигналами понижающего микширования l, c, r, tl, tr, lfe. Вторая конфигурация 100b понижающего микширования 5.1 отличается от первой конфигурации 100а понижающего микширования 5.1 тем, что каналы объединены иным образом. Например, в первой конфигурации 100а понижающего микширования каналы L и TFL подвергнуты понижающему микшированию в сигнал l понижающего микширования, тогда как во второй конфигурации 100b понижающего микширования понижающему микшированию в сигнал l понижающего микширования подвергнуты каналы L, LS, LB. Конфигурация понижающего микширования в настоящем документе иногда именуется схемой понижающего микширования, описывающей, какие каналы подвергают понижающему микшированию в какие сигналы понижающего микширования. Конфигурация понижающего микширования, или схема понижающего микширования, может быть динамической в том, что она может отличаться между временными кадрами системы кодирования звука. Например, в некоторых временных кадрах может использоваться первая схема 100а понижающего микширования, тогда как в других временных кадрах может использоваться вторая схема 100b понижающего микширования. В случае динамического изменения схемы понижающего микширования кодер может отправлять в декодер данные, указывающие, какая схема понижающего микширования была использована при кодировании каналов.

На фиг. 2 представлен декодер 200 для усиления диалога на известном уровне техники. Этот декодер содержит три основных компонента: компонент 202 приема, компонент 204 повышающего микширования, или восстановления, и компонент 206 усиления диалога (DE). Декодер 200 относится к типу, который принимает ряд сигналов 212 понижающего микширования, восстанавливает полную конфигурацию 218 каналов на основании принятых сигналов 212 понижающего микширования, выполняет усиление диалога в отношении полной конфигурации 218 каналов или, по меньшей мере, ее подмножества, и выводит полную конфигурацию каналов 220 с усиленным диалогом.

Более подробно, компонент 202 приема выполнен с возможностью приема из кодера потока 210 данных (иногда именуемого битовым потоком). Поток 210 данных может содержать данные различных типов, и компонент 202 приема может декодировать принятый поток 210 данных в данные различных типов. В данном случае поток данных содержит ряд сигналов 212 понижающего микширования, параметры 214 восстановления и параметры 216 для усиления диалога.

Компонент 204 повышающего микширования затем восстанавливает полную конфигурацию каналов на основании ряда сигналов 212 понижающего микширования и параметров 214 восстановления. Иными словами, компонент 204 повышающего микширования восстанавливает все каналы 218, которые были подвергнуты понижающему микшированию в сигналы 212 понижающего микширования. Например, компонент 204 повышающего микширования на основании параметров 214 восстановления может параметрически восстанавливать полную конфигурацию каналов.

В представленном примере сигналы 212 понижающего микширования соответствуют сигналам понижающего микширования одной из конфигураций понижающего микширования 5.1, представленных на фиг. 1а и 1b, а каналы 218 соответствуют каналам конфигурации каналов 7.1+4, представленной на фиг. 1а и 1b. Однако принципы декодера 200, разумеется, применимы и к другим конфигурациям каналов/конфигурациям понижающего микширования.

Восстановленные каналы 218 или по меньшей мере подмножество восстановленных каналов 218 затем подвергают усилению диалога посредством компонента 206 усиления диалога. Например, компонент 206 усиления диалога может выполнять на восстановленных каналах 218 или на по меньшей мере подмножестве восстановленных каналов 218 некоторую матричную операцию с целью вывода каналов с усиленным диалогом. Такая матричная операция, как правило, определяется параметрами 216 усиления диалога.

Например, компонент 206 усиления диалога может подвергать усилению диалога каналы C, L, R с целью создания каналов C_DE, L_DE, R_DE с усиленным диалогом, тогда как другие каналы просто пропускают, как указано на фиг. 2 пунктирными линиями. В такой ситуации параметры усиления диалога определены только в отношении каналов C, L, R, т. е. в отношении подмножества ряда каналов 218. Например, параметры 216 усиления диалога могут определять матрицу 3×3, которая может быть применена к каналам C, L, R.

В качестве альтернативы, каналы, не вовлеченные в усиление диалога, могут быть пропущены при помощи матрицы усиления диалога с «1» в соответствующих диагональных положениях и «0» во всех остальных элементах соответствующих строк и столбцов.

Компонент 206 усиления диалога может осуществлять усиление диалога в соответствии с различными способами. Первый способ, именуемый в настоящем документе не зависящим от каналов параметрическим усилением, представлен на фиг. 3. Усиление диалога осуществляется в отношении по меньшей мере подмножества восстановленных каналов 218, как правило, каналов, содержащих диалог, здесь — каналов L, R, C. Параметры 216 для усиления диалога включают параметры для каждого из каналов, подлежащих усилению. В проиллюстрированном примере наборы параметров представлены параметрами p₁, p₂, p₃, относящимися, соответственно, к каналам L, R, C. В принципе, параметры, передаваемые в данном способе, представляют относительный вклад диалога в энергию микширования для частотно-временной мозаики в канале. Кроме того, в процессе усиления диалога имеется коэффициент g усиления. Коэффициент g усиления можно выразить как:

где G — коэффициент усиления при усилении диалога, выраженный в дБ. Коэффициент G усиления при усилении диалога может, например, быть введен пользователем, и поэтому он, как правило, не включен в поток 210 данных, представленный на фиг. 2.

В способе не зависящего от каналов параметрического усиления компонент 206 усиления диалога умножает каждый канал на соответствующий ему параметр p_i и на коэффициент g усиления, а затем складывает результат с каналом, генерируя каналы 220 с усиленным диалогом, здесь — L_DE, R_DE, C_DE. С использованием матричного представления это можно записать следующим образом:

где X — матрица, содержащая в качестве строк каналы 218 (L, R, C), X_e — матрица, содержащая в качестве строк каналы 220 с усиленным диалогом, p — вектор-строка с элементами, соответствующими параметрам усиления диалога p₁, p₂, p₃ для каждого канала, и diag(p) — диагональная матрица, содержащая на диагонали элементы p.

Второй способ усиления диалога, именуемый в настоящем документе многоканальным предсказанием диалога, представлен на фиг. 4. В этом способе компонент 206 усиления диалога объединяет несколько каналов 218 в линейную комбинацию для предсказания сигнала 419 диалога. Помимо когерентного добавления присутствия диалога в нескольких каналах этот подход может получать выгоду от вычитания фонового шума в канале, содержащем диалог, с использованием другого канала без диалога. С этой целью параметры 216 усиления диалога содержат для каждого канала 218 параметр, определяющий коэффициент соответствующего канала при формировании линейной комбинации. В представленном примере параметры 216 усиления диалога содержат параметры p₁, p₂, p₃, относящиеся, соответственно, к каналам L, R, C. Как правило, для генерирования параметров предсказания на стороне кодера используют алгоритмы оптимизации минимальной среднеквадратической ошибки (MMSE).

Компонент 206 усиления диалога может затем усиливать, т. е. увеличивать, предсказанный сигнал 419 диалога путем применения коэффициента g усиления и добавлять сигнал с усиленным диалогом к каналам 218 с целью получения каналов 220 с усиленным диалогом. Для добавления сигнала с усиленным диалогом к правильным каналам в правильном пространственном положении (иначе он не будет усиливать диалог с ожидаемым усилением) панорамирование между тремя каналами передают посредством коэффициентов представления, здесь — r₁, r₂, r₃. При условии, что коэффициенты представления являются сохраняющими энергию, т. е.

третий коэффициент r₃ представления можно определить из первых двух коэффициентов так, что:

С использованием матричного представления усиление диалога, осуществляемое компонентом 206 усиления диалога в способе многоканального предсказания диалога, можно записать следующим образом:

или

где I — матрица тождественного преобразования, X — матрица, содержащая в качестве строк каналы 218 (L, R, C), X_e — матрица, содержащая в качестве строк каналы 220 с усиленным диалогом, P — вектор-строка с элементами, соответствующими параметрам p₁, p₂, p₃ усиления диалога для каждого канала, H — вектор-столбец, содержащий в качестве элементов коэффициенты r₁, r₂, r₃ представления, и g — коэффициент усиления, причем

В соответствии с третьим способом, именуемым в настоящем документе сигнально-параметрическим гибридом, компонент 206 усиления диалога может сочетать любой из первого и второго способов с передачей дополнительного звукового сигнала (волнового сигнала), представляющего диалог. Последний, как правило, кодируют с низкой битовой скоростью, что вызывает хорошо слышимые явления при его отдельном прослушивании. В зависимости от свойств сигналов каналов 218 и диалога, и от битовой скорости передачи данных, назначенной для кодирования волнового сигнала диалога, кодер также определяет параметр смешивания,

, указывающий, как следует разделять вклады усиления между параметрическим вкладом (из первого или второго способа) и дополнительным звуковым сигналом, представляющим диалог.

В сочетании со вторым способом усиление диалога в третьем способе можно записать следующим образом:

или

где d_c — это дополнительный звуковой сигнал, представляющий диалог, причем

Для комбинации с не зависящим от каналов усилением (первым способом) звуковой сигнал d_c,i, представляющий диалог, принимают для каждого канала 218. В записи

усиление диалога можно записать следующим образом:

На фиг. 5 представлен декодер 500 в соответствии с приведенными для примера вариантами осуществления. Декодер 500 относится к типу, декодирующему ряд сигналов понижающего микширования, представляющих собой результат понижающего микширования большего количества каналов, с целью последующего воспроизведения. Иными словами, декодер 500 отличается от декодера, представленного на фиг. 2, тем, что он не выполнен с возможностью восстановления полной конфигурации каналов.

Декодер 500 содержит компонент 502 приема и блок 503 усиления диалога, содержащий компонент 504 повышающего микширования, компонент 506 усиления диалога и компонент 508 микширования.

Как разъяснено со ссылкой на фиг. 2, компонент 502 приема принимает поток 510 данных и декодирует его на его составляющие, в данном случае — в ряд сигналов 512 понижающего микширования, представляющий собой результат понижающего микширования большего количества каналов (ср. фиг. 1а и 1b), и параметры для усиления 516 диалога. В некоторых случаях поток 510 данных также содержит данные, отражающие параметры 522 микширования. Например, параметры микширования могут образовывать часть параметров для усиления диалога. В других случаях параметры 522 микширования уже являются доступными в декодере 500, например, они могут быть жестко запрограммированы в декодере 500. В других случаях параметры 522 микширования доступны для нескольких наборов параметров микширования, и данные в потоке 510 данных предоставляют указание на то, какой набор из этих нескольких наборов параметров микширования используется.

Эти параметры для усиления 516 диалога, как правило, определены в отношении некоторого подмножества ряда каналов. Данные, идентифицирующие подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, могут быть включены в принятый поток 510 данных, например, как часть параметров для усиления 516 диалога. В качестве альтернативы, подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, может быть жестко запрограммировано в декодере 500. Например, со ссылкой на фиг. 1а, параметры для усиления 516 диалога могут быть определены в отношении каналов L, TFL, подвергнутых понижающему микшированию в сигнал l понижающего микширования, канала С, содержащегося в сигнале с понижающего микширования c, и каналов R, TFR, подвергнутых понижающему микшированию в сигнал понижающего микширования r. В целях иллюстрации предположим, что диалог присутствует только в каналах L, C и R. Следует отметить, что параметры для усиления 516 диалога могут быть определены в отношении каналов, содержащих диалог, таких как каналы L, C, R, но могут быть определены и в отношении каналов, не содержащих диалог, таких как, в данном примере, каналы TFL, TFR. Таким образом, фоновый шум в канале, содержащем диалог, можно, например, вычесть, используя другой канал без диалога.

Подмножество каналов, в отношении которого определены параметры для усиления 516 диалога, подвергают понижающему микшированию в подмножество 512а ряда сигналов 512 понижающего микширования. В представленном примере подмножество 512а сигналов понижающего микширования содержит сигналы понижающего микширования c, l и r. Это подмножество сигналов 512а понижающего микширования подают в блок 503 усиления диалога. Соответствующее подмножество 512а сигналов понижающего микширования может быть найдено, например, на основе знания подмножества ряда каналов, в отношении которого определены параметры для усиления диалога, и схемы понижающего микширования.

Компонент 514 повышающего микширования использует для восстановления каналов, подвергнутых понижающему микшированию в подмножество сигналов 512а понижающего микширования, параметрические методики, известные в данной области техники. Восстановление основывается на параметрах 514 восстановления. В частности, компонент 504 повышающего микширования восстанавливает подмножество ряда каналов, в отношении которого определены параметры для усиления 516 диалога. В некоторых вариантах осуществления компонент 504 повышающего микширования восстанавливает только подмножество ряда каналов, в отношении которого определены параметры для усиления 516 диалога. Эти приведенные для примера варианты осуществления будут описаны со ссылкой на фиг. 7. В других вариантах осуществления компонент 504 повышающего микширования в дополнение к подмножеству ряда каналов, в отношении которого определены параметры для усиления 516 диалога, восстанавливает еще по меньшей мере один канал. Эти приведенные для примера варианты осуществления будут описаны со ссылкой на фиг. 6.

Параметры восстановления могут быть не только переменными во времени, но могут быть и зависящими от частоты. Например, параметры восстановления могут принимать разные значения для разных полос частот. Это, как правило, повышает качество восстановленных каналов.

Как известно в данной области техники, параметрическое повышающее микширование, как правило, может включать формирование декоррелированных сигналов из входных сигналов, подвергнутых повышающему микшированию, и параметрически восстанавливает сигналы на основе входных сигналов и декоррелированных сигналов. См., например, книгу «Spatial Audio Processing: MPEG Surround and Other Applications» авторов Jeroen Breebaart и Christof Faller, ISBN:978-9-470-03350-0. Однако компонент 504 повышающего микширования предпочтительно выполняет параметрическое повышающее микширование без использования каких-либо таких декоррелированных сигналов. Преимущества, получаемые при использовании декоррелированных сигналов, в данном случае уменьшаются при последующем понижающем микшировании, выполняемом компонентом 508 микширования. Поэтому использование декоррелированных сигналов преимущественно может быть опущено компонентом 504 повышающего микширования, благодаря чему сокращается сложность вычислений. Фактически, использование при повышающем микшировании декоррелированных сигналов в сочетании с усилением диалога приводило бы к худшему качеству, поскольку оно могло бы привести к реверберации декоррелятора на диалоге.

Компонент 506 усиления диалога затем применяет усиление диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления 516 диалога, с целью получения по меньшей мере одного сигнала с усиленным диалогом. В некоторых вариантах осуществления сигнал с усиленным диалогом соответствует версиям с усиленным диалогом подмножества ряда каналов, в отношении которого определены параметры для усиления 516 диалога. Это будет более подробно разъяснено ниже со ссылкой на фиг. 6. В других вариантах осуществления сигнал с усиленным диалогом соответствует предсказанной и усиленной диалоговой составляющей из подмножества ряда каналов, в отношении которого определены параметры для усиления 516 диалога. Это будет более подробно разъяснено ниже со ссылкой на фиг. 7.

Аналогично параметрам восстановления параметры для усиления диалога могут быть переменными во времени, а также по частоте. Более подробно, параметры для усиления диалога могут принимать разные значения для разных полос частот. Набор полос частот, в отношении которого определены параметры восстановления, может отличаться от набора полос частот, в отношении которого определены параметры усиления диалога.

Компонент 508 микширования затем выполняет микширование на основе по меньшей мере одного сигнала с усиленным диалогом с целью предоставления версий 520 с усиленным диалогом подмножества 512а сигналов понижающего микширования. В представленном примере версии 520 с усиленным диалогом подмножества 512а сигналов понижающего микширования имеют вид c_DE, l_DE, r_DE и относятся, соответственно, к сигналам c, l, r понижающего микширования.

Микширование может быть осуществлено в соответствии с параметрами 522 микширования, описывающими вклад по меньшей мере одного сигнала с усиленным диалогом в версии 520 с усиленным диалогом подмножества сигналов 512а понижающего микширования. В некоторых вариантах осуществления, см. фиг. 6, указанный по меньшей мере один сигнал с усиленным диалогом микшируют вместе с каналами, которые были восстановлены компонентом 504 повышающего микширования. В этих случаях параметры 522 микширования могут соответствовать схеме понижающего микширования, см. фиг. 1а и 1b, описывающей, в какие из сигналов 520 понижающего микширования с усиленным диалогом следует микшировать каждый канал. В других вариантах осуществления, см. фиг. 7, указанный по меньшей мере один сигнал с усиленным диалогом микшируют вместе с подмножеством 512а сигналов понижающего микширования. В этом случае параметры 522 микширования могут соответствовать весовым коэффициентам, описывающим, как в подмножестве 512а сигналов понижающего микширования следует взвешивать по меньшей мере один сигнал с усиленным диалогом.

Операция повышающего микширования, выполняемая компонентом 504 повышающего микширования, операция усиления диалога, выполняемая компонентом 506 усиления диалога, и операция микширования, выполняемая компонентом 508 микширования, как правило, представляют собой линейные операции, каждую из которых можно определить посредством матричной операции, т. е. посредством произведения матрицы и вектора. Это истинно, по меньшей мере, если в операции повышающего микширования опущены сигналы декоррелятора. В частности, матрица, связанная с операцией (U) повышающего микширования, определяется/может быть получена из параметров 514 восстановления. В этом отношении следует отметить, что использование сигналов декоррелятора в операции повышающего микширования по-прежнему является возможным, однако создание декоррелированных сигналов тогда не является частью матричной операции для повышающего микширования. Операцию повышающего микширования с декорреляторами можно рассматривать как двухэтапный подход. На первом этапе входные сигналы понижающего микширования подают на матрицу предварительного декоррелятора, и каждый из выходных сигналов после применения матрицы предварительного декоррелятора подают на декоррелятор. На втором этапе входные сигналы понижающего микширования и выходные сигналы из декорреляторов подают на матрицу повышающего микширования, где коэффициенты матрицы повышающего микширования, соответствующие входным сигналам понижающего микширования, образуют то, что называют «матрицей сухого повышающего микширования», а коэффициенты, соответствующие выходным сигналам из декорреляторов, образуют то, что называют «матрицей влажного повышающего микширования». Каждая подматрица отображается в конфигурацию каналов повышающего микширования. Когда сигналы декоррелятора не используют, матрица, связанная с операцией повышающего микширования, выполнена с возможностью действия только в отношении входных сигналов 512а, а столбцы, относящиеся к декоррелированным сигналам (матрице влажного повышающего микширования), в матрицу не включают. Иными словами, матрица повышающего микширования в этом случае соответствует матрице сухого повышающего микширования. Однако, как отмечено выше, использование сигналов декоррелятора в этом случае будет, как правило, приводить к худшему качеству.

Матрица, связанная с операцией (M) усиления диалога, определяется/может быть получена из параметров для усиления 516 диалога, а матрица, связанная с операцией (C) микширования, определяется/может быть получена из параметров 522 микширования.

Поскольку операция повышающего микширования, операция усиления диалога и операция микширования все являются линейными операциями, соответствующие матрицы могут быть объединены, посредством матричного умножения, в единую матрицу E (тогда X_DE = E · X, причем E = C · M · U). Здесь X — вектор-столбец сигналов 512а понижающего микширования, и X_DE — вектор-столбец сигналов 520 понижающего микширования с усилением диалога. Таким образом, весь блок 503 усиления диалога может соответствовать единственной матричной операции, применяемой к подмножеству 512а сигналов понижающего микширования с целью получения версий 520 с усиленным диалогом указанного подмножества 512а сигналов понижающего микширования. Соответственно, способы, описанные в настоящем документе, можно реализовать чрезвычайно эффективным образом.

На фиг. 6 представлен декодер 600, соответствующий одному из приведенных для примера вариантов осуществления декодера 500, представленного на фиг. 5. Декодер 600 содержит компонент 602 приема, компонент 604 повышающего микширования, компонент 606 усиления диалога и компонент 608 микширования.

Аналогично декодеру 500, представленному на фиг. 5, компонент 602 приема принимает поток 610 данных и декодирует его в ряд сигналов 612 понижающего микширования, параметры 614 восстановления и параметры для усиления 616 диалога.

Компонент 604 повышающего микширования принимает подмножество 612а (соответствующее подмножеству 512а) ряда сигналов 612 понижающего микширования. Для каждого из сигналов понижающего микширования в подмножестве 612а компонент 604 повышающего микширования восстанавливает все каналы, которые были подвергнуты понижающему микшированию в этот сигнал понижающего микширования (X_u = U · X). Это включает каналы 618а, в отношении которых определены параметры для усиления диалога, и каналы 618b, которые не нужно привлекать к усилению диалога. Со ссылкой на фиг. 1b, каналы 618а, в отношении которых определены параметры для усиления диалога, могут, например, соответствовать каналам L, LS, C, R, RS, а каналы 618b, которые не нужно привлекать к усилению диалога, могут соответствовать каналам LB, RB.

Каналы 618а, в отношении которых определены параметры для усиления диалога (X^′ _u), затем подвергают усилению диалога посредством компонента 606 усиления диалога (X_e = M · X^′ _u), тогда как каналы 618b, которые не нужно привлекать к усилению диалога (X^′′ _u), обходят компонент 606 усиления диалога.

Компонент 606 усиления диалога может применять любой из первого, второго и третьего способов усиления диалога, описанных выше. В случае применения третьего способа поток 610 данных может, как разъяснено выше, содержать звуковой сигнал, представляющий диалог (т. е. кодированный волновой сигнал, представляющий диалог), подлежащий применению при усилении диалога вместе с подмножеством 618а ряда каналов, в отношении которого определены параметры для усиления диалога

В результате компонент 606 усиления диалога выводит сигналы 619 с усиленным диалогом, которые в данном случае соответствуют версиям с усиленным диалогом подмножества 618а каналов, в отношении которого определены параметры для усиления диалога. Например, сигналы 619 с усиленным диалогом могут соответствовать версиям с усиленным диалогом каналов L, LS, C, R, RS, представленных на фиг. 1b.

Компонент 608 микширования затем микширует сигналы 619 с усиленным диалогом вместе с каналами 618b, которые не были привлечены к усилению диалога

, с целью получения версий 620 с усиленным диалогом подмножества 612а сигналов понижающего микширования. Компонент 608 микширования осуществляет микширование в соответствии с текущей схемой понижающего микширования, такой как схема понижающего микширования, представленная на фиг. 1b. В этом случае параметры 622 микширования, таким образом, соответствуют схеме понижающего микширования, описывающей, в какой сигнал 620 понижающего микширования следует микшировать каждый канал 619, 618b. Схема понижающего микширования может быть статической и поэтому известной декодеру 600, что означает, что всегда применяется одна и та же схема понижающего микширования, или схема понижающего микширования может быть динамической, что означает, что она может изменяться от кадра к кадру, или она может представлять собой одну из нескольких схем, известных в декодере. В последнем случае в поток 610 данных включают указание относительно схемы понижающего микширования.

На фиг. 6 декодер оснащен необязательным компонентом 630 переключения. Компонент 630 переключения может быть использован для перехода между разными схемами понижающего микширования, например, для перехода от схемы 100b к схеме 100а. Следует отметить, что компонент 630 переключения, как правило, оставляет без изменения сигналы c и lfe, т. е. в отношении этих сигналов он действует как транзитный компонент. Компонент 630 переключения может выполнять прием и действовать (не показано) на основе различных параметров, таких как, например, параметры 614 восстановления и параметры для усиления 616 диалога.

На фиг. 7 представлен декодер 700, соответствующий одному из приведенных для примера вариантов осуществления декодера 500, представленного на фиг. 5. Декодер 700 содержит компонент 702 приема, компонент 704 повышающего микширования, компонент 706 усиления диалога и компонент 708 микширования.

Аналогично декодеру 500, представленному на фиг. 5, компонент 702 приема принимает поток 710 данных и декодирует его в ряд сигналов 712 понижающего микширования, параметры 714 восстановления и параметры для усиления 716 диалога.

Компонент 704 повышающего микширования принимает подмножество 712а (соответствующее подмножеству 512а) ряда сигналов 712 понижающего микширования. В отличие от варианта осуществления, описанного в отношении фиг. 6, компонент 704 повышающего микширования восстанавливает только подмножество 718а ряда каналов, в отношении которого определены параметры для усиления 716 диалога (X^′ _u = U^′ · X). Со ссылкой на фиг. 1b, каналы 718а, в отношении которых определены параметры для усиления диалога, могут, например, соответствовать каналам C, L, LS, R, RS.

Компонент 706 усиления диалога затем выполняет усиление диалога на каналах 718а, в отношении которых определены параметры для усиления диалога (X_d = M_d · X^′ _u). В этом случае компонент 706 усиления диалога приступает к предсказанию диалоговой составляющей на основе каналов 718а путем формирования линейной комбинации каналов 718а в соответствии со вторым способом усиления диалога. Коэффициенты, используемые при формировании этой линейной комбинации, обозначенные на фиг. 7 как p₁—p₅, содержатся в параметрах для усиления 716 диалога. Предсказанную диалоговую составляющую затем подвергают усилению путем умножения на коэффициент g усиления для получения сигнала 719 с усиленным диалогом. Коэффициент g усиления можно выразить как:

где G — коэффициент усиления при усилении диалога, выраженный в дБ. Коэффициент G усиления при усилении диалога может, например, быть введен пользователем, и поэтому он, как правило, не включен в поток 710 данных. Следует отметить, что в случае, когда имеется несколько диалоговых составляющих, вышеописанная процедура предсказания и усиления может быть применена один раз для каждой диалоговой составляющей.

Предсказанный сигнал 719 с усиленным диалогом (т. е. предсказанные и подвергнутые усилению диалоговые составляющие) затем микшируют в подмножество 712а сигналов понижающего микширования с целью получения версий 720 с усиленным диалогом подмножества 712а сигналов понижающего микширования

. Микширование осуществляют в соответствии с параметрами 722 микширования, описывающими вклад сигнала 719 с усиленным диалогом в версии 720 с усиленным диалогом подмножества сигналов понижающего микширования. Параметры микширования, как правило, содержатся в потоке 710 данных. В этом случае параметры 722 микширования соответствуют весовым коэффициентам r₁, r₂, r₃, описывающим, как в подмножестве 712а сигналов понижающего микширования следует взвешивать по меньшей мере один сигнал 719 с усиленным диалогом:

Более подробно, весовые коэффициенты могут соответствовать коэффициентам представления, описывающим панорамирование по меньшей мере одного сигнала 719 с усиленным диалогом относительно подмножества 712а сигналов понижающего микширования, так что сигнал 719 с усиленным диалогом добавляют к сигналам 712а понижающего микширования в правильных пространственных положениях.

Коэффициенты представления (параметры 722 микширования) в потоке 710 данных могут соответствовать каналам 718а, подвергнутым повышающему микшированию. В представленном примере имеется пять каналов 718а, подвергнутых повышающему микшированию, и, таким образом, может быть пять соответствующих коэффициентов представления rc1, rc2, …, rc5. Значения r1, r2, r3 (что соответствует сигналам 712а понижающего микширования) могут затем быть вычислены из rc1, rc2, …, rc5 в сочетании со схемой понижающего микширования. Если одному и тому же сигналу 712а понижающего микширования соответствует несколько каналов 718а, то коэффициенты представления диалога могут быть просуммированы. Например, в представленном примере получается, что r1=rc1, r2=rc2+rc3, и r3=rc4+rc5. В случае, если понижающее микширование каналов было выполнено с использованием коэффициентов понижающего микширования, это также может быть взвешенное суммирование.

Следует отметить, что в данном случае компонент 706 усиления диалога может также использовать дополнительно принятый звуковой сигнал, представляющий диалог. В таком случае предсказанный сигнал 719 с усиленным диалогом может быть взвешен вместе со звуковым сигналом, представляющим диалог, перед введением в компонент 708 микширования (X_d = (1 - α_c) · M_d · X^′ _u + α_c · g · D_c). Соответствующее взвешивание обеспечивается параметром α_c смешивания, включенным в параметры для усиления 716 диалога. Параметр α_c смешивания указывает, как следует разделить вклады усиления между предсказанной диалоговой составляющей 719 (описанной выше) и дополнительным звуковым сигналом, представляющим диалог D_c. Это аналогично тому, что было описано в отношении третьего способа усиления диалога при его сочетании со вторым способом усиления диалога.

На фиг. 7 декодер оснащен необязательным компонентом 730 переключения. Компонент 730 переключения может быть использован для перехода между разными схемами понижающего микширования, например, для перехода от схемы 100b к схеме 100а. Следует отметить, что компонент 730 переключения, как правило, оставляет без изменения сигналы c и lfe, т. е. в отношении этих сигналов он действует как транзитный компонент. Компонент 730 переключения может выполнять прием и действовать (не показано) на основе различных параметров, таких как, например, параметры 714 восстановления и параметры для усиления 716 диалога.

Вышеописанное было главным образом разъяснено в отношении конфигурации каналов 7.1+4 и конфигурации понижающего микширования 5.1. Однако следует понимать, что принципы декодеров и способов декодирования, описанные в настоящем документе, в равной мере применимы и к другим конфигурациям каналов и понижающего микширования.

Фиг. 8 представляет собой иллюстрацию кодера 800, который может быть использован для кодирования ряда каналов 818, некоторые из которых содержат диалог, с целью получения потока 810 данных для передачи в декодер. Кодер 800 можно использовать с любым из декодеров 200, 500, 600, 700. Кодер 800 содержит компонент 805 понижающего микширования, компонент 806 кодирования усиления диалога, компонент 804 параметрического кодирования и компонент 802 передачи.

Кодер 800 принимает ряд каналов 818, например, каналы из конфигураций 100а, 100b каналов, представленных на фиг. 1а и 1b.

Компонент 805 понижающего микширования выполняет понижающее микширование ряда каналов 818 в ряд сигналов 812 понижающего микширования, которые затем подают в компонент 802 передачи для включения в поток 810 данных. Ряд каналов 818 может, например, быть подвергнут понижающему микшированию в соответствии со схемой понижающего микширования, такой как схема, представленная на фиг. 1а или на фиг. 1b.

Ряд каналов 818 и сигналы 812 понижающего микширования вводят в компонент 804 параметрического кодирования. На основании своих входных сигналов компонент 804 параметрического кодирования вычисляет параметры 814 восстановления, дающие возможность восстановления каналов 818 из сигналов 812 понижающего микширования. Параметры 814 восстановления могут быть вычислены, например, с использованием алгоритмов оптимизации минимальной среднеквадратической ошибки (MMSE), как известно в данной области техники. Параметры 814 восстановления затем подают в компонент 802 передачи для включения в поток 810 данных.

Компонент 806 кодирования усиления диалога вычисляет параметры для усиления 816 диалога на основе одного или более из ряда каналов 818 и одного или более сигналов 813 диалога. Сигналы 813 диалога представляют диалог в чистом виде. В частности, диалог является уже микшированным в один или более каналов 818. В каналах 818, таким образом, может быть одна или более диалоговых составляющих, соответствующих сигналам 813 диалога. Как правило, компонент 806 кодирования усиления диалога вычисляет параметры для усиления 816 диалога с использованием алгоритмов оптимизации минимальной среднеквадратической ошибки (MMSE). Эти алгоритмы могут предоставить параметры, позволяющие предсказывать сигналы 813 диалога исходя из некоторых из ряда каналов 818. Эти параметры для усиления 816 диалога могут, таким образом, быть определены относительно подмножества ряда каналов 818, а именно относительно тех, из которых сигналы 813 диалога могут быть предсказаны. Параметры для предсказания 816 диалога подают в компонент 802 передачи для включения в поток 810 данных.

В заключение, поток 810 данных, таким образом, по меньшей мере содержит ряд сигналов 812 понижающего микширования, параметры 814 восстановления и параметры для усиления 816 диалога.

В ходе нормальной работы декодера значения параметров разных типов (таких как параметры для усиления диалога или параметры восстановления) неоднократно принимаются декодером с определенными частотами. Если частоты, с которыми принимают значения разных параметров, ниже частоты, с которой требуется вычислять вывод из декодера, то значения параметров может быть необходимо интерполировать. Если значение обобщенного параметра p известно в точках t₁ и t₂ во времени как составляющее, соответственно, p(t₁) и p(t₂), то значение p(t) этого параметра в промежуточный момент времени t₁ ≤ t < t₂ можно вычислить, используя различные схемы интерполяции. Один пример такой схемы, именуемый в настоящем документе линейной схемой интерполяции, может вычислять промежуточное значение с использованием линейной интерполяции, например p(t) = p(t₁)+[p(t₂)-p(t₁)](t-t₁)/(t₂-t₁). Другая схема, именуемая в настоящем документе кусочно-постоянной схемой интерполяции, может вместо этого включать поддержание значения параметра привязанным к одному из известных значений в течение всего временного интервала, например, p(t) = p(t₁) или p(t) = p(t₂), или к комбинации известных значений, такой как, например, среднее значение p(t) = [p(t₁)+p(t₂)]/2. Информация о том, какая из схем интерполяции должна быть использована для определенного типа параметров в течение определенного промежутка времени, может быть встроена в декодер или предоставлена в декодер различным способами, как, например, вместе с самими параметрами или в качестве дополнительной информации, содержащейся в принятом сигнале.

В одном из иллюстративных примеров декодер принимает значения параметров для параметров первого и второго типа. Принятые значения параметров каждого типа являются точно применимыми, соответственно, в первом (T1={t11, t12, t13, ...}) и втором (T2={t21, t22, t23, ...}) множествах моментов времени, и декодер также имеет доступ к информации о том, как следует интерполировать значения параметров каждого типа в случае, когда значение необходимо оценить в момент времени, отсутствующий в соответствующем множестве. Значения параметров управляют количественными свойствами математических операций над сигналами, и эти операции могут, например, быть представлены в виде матриц. В следующем примере предполагается, что операция, управляемая параметрами первого типа, представлена первой матрицей А, операция, управляемая параметрами второго типа, представлена второй матрицей В, и в данном примере термины «операция» и «матрица» могут быть использованы взаимозаменяемо. В момент времени, в который нужно рассчитать выходное значение из декодера, необходимо вычислить объединенную операцию обработки данных, соответствующую композиции обеих операций. Также предполагается, что матрица А представляет собой операцию повышающего микширования (управляемую параметрами восстановления), и что матрица В представляет собой операцию применения усиления диалога (управляемую параметрами для усиления диалога), и тогда, следовательно, объединенная операция обработки повышающего микширования с последующим усилением диалога представляется матричным произведением BA.

Способы вычисления объединенных операций обработки представлены на фиг. 9a—9e, где время проходит вдоль горизонтальной оси, а деления оси указывают моменты времени, в которые необходимо вычислить объединенную операцию обработки (моменты времени вывода). На фигурах треугольники соответствуют матрице А (представляющей операцию повышающего микширования), круги — матрице В (представляющей операцию применения усиления диалога), а квадраты — матрице ВА объединенной операции (представляющей объединенную операцию повышающего микширования с последующим усилением диалога). Закрашенные треугольники и круги указывают на то, что соответствующая матрица известна точно (т. е. что точно известны параметры, управляющие операцией, которую представляет матрица) в соответствующий момент времени, тогда как незакрашенные треугольники и круги указывают на то, что значение соответствующей матрицы является предсказанным, или интерполированным (например, с использованием любой из вышеописанных схем интерполяции). Закрашенный квадрат указывает на то, что матрица ВА объединенной операции были вычислена, в соответствующий момент времени, например, матричным произведением матриц А и В, а незакрашенный квадрат указывает на то, что значение ВА было интерполировано из более раннего момента времени. Кроме того, пунктирные стрелки указывают, между какими моментами времени выполняется интерполяция. Наконец, сплошная горизонтальная линия, соединяющая моменты времени, указывает, что значение матрицы в данном интервале предполагается кусочно-постоянным.

На фиг. 9а представлен способ вычисления объединенной операции ВА обработки, не использующий настоящее изобретение. Принятые значения для операций А и В точно применимы в моменты времени, соответственно, t11, t21 и t12, t22, и для вычисления матрицы объединенной операции обработки в каждый момент времени вывода этот способ интерполирует каждую из матриц по отдельности. Для выполнения каждого шага вперед по времени матрицу, представляющую объединенную операцию обработки, вычисляют как произведение предсказанных значений А и В. Здесь предполагается, что каждая матрица подлежит интерполяции с использованием линейной схемы интерполяции. Если матрица А содержит N′ строк и N столбцов, а матрица В содержит M строк и N′ столбцов, то каждый шаг вперед по времени потребовал бы O(MN′N) операций умножения на каждый набор параметров (для выполнения матричного умножения, необходимого для вычисления матрицы ВА объединенной обработки). Поэтому высокая плотность моментов времени вывода и/или большое количество наборов параметров создает риск (по причине относительно высокой вычислительной сложности операции умножения по сравнению с операцией сложения) предъявления высоких требований к вычислительным ресурсам. Для снижения вычислительной сложности можно использовать альтернативный способ, представленный на фиг. 9b. Путем вычисления объединенной операции обработки (например, выполнения матричного умножения) только в те моменты времени, когда значения параметров изменяются (т. е. когда принятые значения применимы точно, в t11, t21 и t12, t22), вместо интерполяции матриц А и В по отдельности можно интерполировать непосредственно матрицу ВА объединенной операции обработки. Таким образом, если операции представлены матрицами, то каждый шаг вперед по времени (между моментами времени, в которые изменяются точные значения параметров) потребует лишь O(NM) операций (для сложения матриц) на каждый набор параметров, и уменьшенная вычислительная сложность будет предъявлять к вычислительным ресурсам меньшие требования. Также, если матрицы А и В таковы, что N′ > N×M / (N+M), то матрица, представляющая объединенную операцию ВА обработки, будет содержать меньше элементов, чем их находится в отдельных матрицах А и В вместе. Способ интерполяции матрицы ВА прямо, однако, будет требовать, чтобы как А, так и В были известны в одни и те же моменты времени. Если моменты времени, для которых определена А, (по меньшей мере частично) отличаются от моментов времени, для которых определена В, то требуется усовершенствованный способ интерполяции. Такой усовершенствованный способ в соответствии с приведенными для примера вариантами осуществления настоящего изобретения представлен на фиг. 9c—9e. В связи с обсуждением фиг. 9a—9e, для простоты предполагается, что матрица ВА объединенной операции обработки вычисляется как произведение отдельных матриц А и В, каждая из которых была сгенерирована на основе (принятых или предсказанных/интерполированных) значений параметров. В других ситуациях может быть в равной мере или более преимущественным вычисление операции, представляемой матрицей ВА, непосредственно из значений параметров без прохождения через представление в виде двух матричных множителей. В комбинации с любой из методик, представленных на фиг. 9c—9e, каждый из этих подходов попадает в объем настоящего изобретения.

На фиг. 9с представлена ситуация, в которой набор Т1 моментов времени для параметра, соответствующего матрице А, включает значение t12 времени, отсутствующее в наборе Т2 (моменты времени для параметра, соответствующего матрице В). Обе матрицы необходимо интерполировать с использованием линейной схемы интерполяции, и данный способ определяет момент t_p=t12 предсказания, для которого необходимо предсказать значение матрицы В (например, с использованием интерполяции). После того, как это значение было найдено, путем умножения А и В можно вычислить значение матрицы ВА объединенной операции обработки в момент t_p. В продолжение способ вычисляет значение ВА в смежный момент времени t_a=t11, а затем интерполирует ВА между t_a и t_p. Способ также может в случае надобности вычислить значение ВА в другой смежный момент времени t_a=t13 и интерполировать ВА от t_p до t_a. И хотя требуется дополнительное матричное умножение (в момент t_p=t12), способ позволяет интерполировать матрицу ВА объединенной операции обработки прямо, все же уменьшая вычислительную сложность по сравнению, например, со способом, представленным на фиг. 9а. Как заявлено выше, объединенная операция обработки альтернативно может быть вычислена непосредственно из (принятых или предсказанных/интерполированных) значений параметров, а не как произведение двух матриц в явном виде, которые, в свою очередь, зависят от значений соответствующих параметров.

В предыдущем случае только тип параметров, соответствующий А, имел моменты времени, не содержащиеся среди моментов времени типа параметров, соответствующего В. На фиг. 9d представлена другая ситуация, в которой момент t12 времени отсутствует в наборе T2, и в которой момент времени t22 отсутствует в наборе Т1. Если значение ВА нужно вычислить в промежуточный момент времени t’ между t12 и t22, то способ может предсказывать как значение В в момент t_p = t12, так и значение А в момент t_a = t22. После вычисления матрицы ВА объединенной операции обработки в оба момента времени, ВА может быть интерполирована для нахождения ее значения в момент t’. В целом, способ выполняет умножения матриц только в моменты времени, когда изменяются значения параметров (т. е. в моменты времени в наборах Т1 и Т2, когда принятые значения являются точно применимыми). В промежутках интерполяция объединенной операции обработки требует лишь матричных сложений, имеющих меньшую вычислительную сложность, чем умножения.

В приведенных выше примерах все схемы интерполяции предполагались линейными. На фиг. 9е представлен способ интерполяции, в котором параметры первоначально необходимо интерполировать с использованием других схем. На этой фигуре значения параметра, соответствующего матрице А, поддерживаются как кусочно-постоянные до момента времени t12, в котором значения резко изменяются. Если значения параметров принимают на покадровой основе, то каждый кадр может нести сигналы, указывающие момент времени, в который принятое значение применимо точно. В этом примере параметр, соответствующий В, принял только значения, применимые точно в моменты t21 и t22, и способ может сначала предсказать значение В в момент времени t_p, непосредственно предшествующий моменту t12. После вычисления матрицы ВА объединенной операции обработки в моменты t_p и t_a = t11 матрица ВА может быть интерполирована между t_a и t_p. Затем способ может предсказать значение В в новый момент t_p = t12 предсказания, вычислить значения BA в моменты t_p и t_a = t22 и интерполировать ВА непосредственно между t_p и t_a. И снова операция ВА объединенной обработки была интерполирована по всему интервалу, и ее значение было найдено во все моменты времени вывода. В сравнении с более ранней ситуацией, представленной на фиг. 9а, где А и В были бы интерполированы по отдельности, а ВА вычислена путем умножения А и В в каждый момент времени вывода, требуется меньшее количество матричных умножений, и вычислительная сложность снижается.

Эквиваленты, расширения, альтернативы и прочее

Дополнительные варианты осуществления настоящего раскрытия будут очевидны для специалиста в данной области техники после изучения описания, приведенного выше. Несмотря на то, что настоящее описание и графические материалы раскрывают варианты осуществления и примеры, раскрытие не ограничивается данными конкретными примерами. Возможны многочисленные модификации и изменения в пределах объема настоящего раскрытия, определенного прилагаемой формулой изобретения. Любые ссылочные позиции, встречающиеся в формуле изобретения, не должны рассматриваться как ограничивающие ее объем.

Кроме того, после изучения графических материалов, описания и прилагаемой формулы изобретения специалисту могут быть понятными изменения раскрытых вариантов осуществления и могут использоваться им при практической реализации раскрытия. В формуле изобретения слово «содержащий» не исключает другие элементы или этапы, и единственное число не исключает множественное. Сам факт, что некоторые признаки упоминаются во взаимно отличных зависимых пунктах формулы изобретения, не говорит о том, что не может быть использована с выгодой комбинация этих признаков.

Системы и способы, раскрытые выше, могут быть осуществлены в виде программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения или их комбинации. При осуществлении в виде аппаратного обеспечения разделение задач между функциональными узлами, о которых говорилось в вышеприведенном описании, не обязательно соответствует разделению на физические узлы; наоборот, один физический компонент может выполнять несколько функций, а одно задание может выполняться несколькими физическими компонентами во взаимодействии. Некоторые компоненты или все компоненты могут быть осуществлены в виде программного обеспечения, выполняемого процессором цифровых сигналов или микропроцессором, или быть осуществлены в виде аппаратного обеспечения или в виде зависимой от приложения интегральной микросхемы. Такое программное обеспечение может распространяться на машиночитаемых носителях, которые могут содержать компьютерные носители информации (или постоянные носители) и средства коммуникации (или временные носители). Как хорошо известно специалисту в данной области техники, термин «компьютерные носители информации» включает энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители информации включают, но не ограничиваются этим, ОЗУ, ПЗУ, ЭСППЗУ, флеш-память или другую технологию памяти, компакт-диски, универсальные цифровые диски (DVD) или другие оптические диски для хранения информации, магнитные кассеты, магнитную ленту, магнитный диск для хранения информации или другие магнитные устройства для хранения информации, или любой другой носитель, который может быть использован для хранения желаемой информации и который может быть доступным с помощью компьютера. Кроме того, как хорошо известно специалисту в данной области техники, средства связи, как правило, воплощают машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи данных, и включают любые средства доставки информации.

Claims (60)

1. Способ усиления диалога в декодере аудиосистемы, включающий этапы:

приема ряда сигналов понижающего микширования, представляющих собой результат понижающего микширования большего количества каналов;

приема параметров для усиления диалога, причем эти параметры определены в отношении подмножества ряда каналов, включающего каналы, содержащие диалог, причем это подмножество ряда каналов подвергнуто понижающему микшированию в подмножество ряда сигналов понижающего микширования;

приема параметров восстановления, предоставляющих возможность параметрического восстановления каналов, подвергнутых понижающему микшированию в подмножество ряда сигналов понижающего микширования;

параметрического повышающего микширования только подмножества ряда сигналов понижающего микширования на основе параметров восстановления с целью восстановления только подмножества ряда каналов, содержащего подмножество ряда каналов, в отношении которого определены параметры для усиления диалога;

применения усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом; и

предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования посредством микширования по меньшей мере одного сигнала с усиленным диалогом с по меньшей мере одним другим сигналом.

2. Способ по п. 1, отличающийся тем, что на этапе параметрического повышающего микширования только подмножества ряда сигналов понижающего микширования сигналы декорреляции не используют с целью восстановления только подмножества ряда каналов, содержащего подмножество ряда каналов, в отношении которого определены параметры для усиления диалога.

3. Способ по п. 1, отличающийся тем, что микширование осуществляют в соответствии с параметрами микширования, описывающими вклад по меньшей мере одного сигнала с усиленным диалогом в версии с усиленным диалогом подмножества ряда сигналов понижающего микширования.

4. Способ по любому из пп. 1-3, отличающийся тем, что этап параметрического повышающего микширования только подмножества ряда сигналов понижающего микширования включает восстановление по меньшей мере одного дополнительного канала помимо ряда каналов, в отношении которых определены параметры для усиления диалога, и причем микширование включает микширование по меньшей мере одного дополнительного канала вместе с по меньшей мере одним сигналом с усиленным диалогом.

5. Способ по любому из пп. 1-3, отличающийся тем, что этап параметрического повышающего микширования только подмножества ряда сигналов понижающего микширования включает восстановление только подмножества ряда каналов, в отношении которого определены параметры для усиления диалога,

причем этап применения усиления диалога включает предсказание и усиление диалоговой составляющей из подмножества ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом, и

причем микширование включает микширование по меньшей мере одного сигнала с усиленным диалогом с подмножеством ряда сигналов понижающего микширования.

6. Способ по любому из пп. 1-3, отличающийся тем, что дополнительно включает прием звукового сигнала, представляющего диалог, при этом этап применения усиления диалога включает применение усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с дополнительным использованием звукового сигнала, представляющего диалог.

7. Способ по любому из пп. 1-3, отличающийся тем, что дополнительно включает прием параметров микширования для микширования по меньшей мере одного сигнала с усиленным диалогом с по меньшей мере одним другим сигналом.

8. Способ по п. 1, отличающийся тем, что включает прием параметров микширования, описывающих схему понижающего микширования, описывающую то, в какой сигнал понижающего микширования микширован каждый из ряда каналов.

9. Способ по п. 8, отличающийся тем, что схема понижающего микширования изменяется со временем.

10. Способ по п. 8 или  9, отличающийся тем, что дополнительно включает прием данных, идентифицирующих подмножество ряда каналов, в отношении которого определены параметры для усиления диалога.

11. Способ по п. 10, отличающийся тем, что данные, идентифицирующие подмножество ряда каналов, в отношении которого определены параметры для усиления диалога, используют совместно со схемой понижающего микширования для нахождения подмножества ряда сигналов понижающего микширования, в которое произведено понижающее микширование подмножества ряда каналов, в отношении которого определены параметры для усиления диалога.

12. Способ по любому из пп. 1-3, 8, 9, 11, отличающийся тем, что этапы повышающего микширования только подмножества ряда сигналов понижающего микширования, применения усиления диалога и микширования выполняют как матричные операции, определяемые, соответственно, параметрами восстановления, параметрами для усиления диалога и параметрами микширования.

13. Способ по п. 12, отличающийся тем, что дополнительно включает объединение посредством матричного умножения матричных операций, соответствующих этапам повышающего микширования только подмножества ряда сигналов понижающего микширования, применения усиления диалога и микширования в единую матричную операцию перед применением к подмножеству ряда сигналов понижающего микширования.

14. Способ по любому из пп. 1-3, 8, 9, 11, 13, отличающийся тем, что параметры усиления диалога и параметры восстановления являются зависящими от частоты.

15. Способ по п. 14, отличающийся тем, что параметры для усиления диалога определены в отношении первого набора полос частот, а параметры восстановления определены в отношении второго набора полос частот, при этом второй набор полос частот отличается от первого набора полос частот.

16. Способ по любому из пп. 1-3, 8, 9, 11, 13, 15, отличающийся тем, что

значения параметров для усиления диалога принимают неоднократно и связывают их с первым набором моментов времени (T1 = {t11, t12, t13, …}), в которых соответствующие значения применимы, и причем между последовательными моментами времени необходимо выполнять предварительно определенную первую схему интерполяции (I1); и

значения параметров восстановления принимают неоднократно и связывают их со вторым набором моментов времени (T2 = {t21, t22, t23, …}), в которых соответствующие значения применимы, причем между последовательными моментами времени необходимо выполнять предварительно определенную вторую схему интерполяции (I2),

при этом способ дополнительно включает:

выбор типа параметров, представляющих собой либо параметры для усиления диалога, либо параметры восстановления, таким образом, что набор моментов времени, связанный с выбранным типом, содержит по меньшей мере один момент предсказания, представляющий собой момент времени (t_p), отсутствующий в наборе, связанном с невыбранным типом;

предсказывание значения параметров невыбранного типа в момент (t_p) предсказания;

вычисление на основе по меньшей мере предсказанного значения параметров невыбранного типа и принятого значения параметров выбранного типа объединенной операции обработки, представляющей по меньшей мере повышающее микширование только подмножества сигналов понижающего микширования с последующим усилением диалога в момент (t_p) предсказания; и

вычисление на основе по меньшей мере значения параметров выбранного типа и значения параметров невыбранного типа, по меньшей мере одно из которых является принятым значением, указанной объединенной операции обработки в смежный момент времени (t_a) в наборе, связанном с выбранным или невыбранным типом,

причем указанные этапы повышающего микширования только подмножества ряда сигналов понижающего микширования и применения усиления диалога выполняют между моментом (t_p) предсказания и смежным моментом времени (t_a) посредством интерполированного значения вычисленной объединенной операции обработки.

17. Способ по п. 16, отличающийся тем, что параметрами выбранного типа являются параметры восстановления.

18. Способ по п. 17, отличающийся тем, что справедливо одно из следующего:

указанную объединенную операцию обработки в смежный момент времени (t_a) вычисляют на основе принятого значения параметров выбранного типа и предсказанного значения параметров невыбранного типа;

указанную объединенную операцию обработки в смежный момент времени (t_a) вычисляют на основе предсказанного значения параметров выбранного типа и принятого значения параметров невыбранного типа.

19. Способ по п. 17, отличающийся тем, что указанную объединенную операцию обработки в смежный момент времени (t_a) вычисляют на основе принятого значения параметров выбранного типа и принятого значения параметров невыбранного типа.

20. Способ по любому из пп. 17-19,

отличающийся тем, что дополнительно включает выбор на основе первой и второй схем интерполяции объединенной схемы (I3) интерполяции в соответствии с предварительно определенным правилом выбора,

причем указанная интерполяция соответствующих вычисленных объединенных операций обработки соответствует объединенной схеме интерполяции.

21. Способ по п. 20, отличающийся тем, что предварительно определенное правило выбора определено для случая, в котором первая и вторая схемы интерполяции отличаются.

22. Способ по п. 21, отличающийся тем, что, в ответ на то, что первая схема (I1) интерполяции, является линейной, а вторая схема (I2) интерполяции является кусочно-постоянной, в качестве объединенной схемы интерполяции выбирают линейную интерполяцию.

23. Способ по любому из пп. 17-19, 21, 22, отличающийся тем, что предсказание значения параметров невыбранного типа в момент (t_p) предсказания осуществляют в соответствии со схемой интерполяции для параметров невыбранного типа.

24. Способ по любому из пп. 17-19, 21, 22, отличающийся тем, что объединенную операцию обработки вычисляют как единую матричную операцию перед ее применением к подмножеству ряда сигналов понижающего микширования.

25. Способ по п. 24, отличающийся тем, что:

в качестве объединенной схемы интерполяции выбирают линейную интерполяцию; и

интерполированное значение соответствующих вычисленных объединенных операций обработки вычисляют при помощи линейной матричной интерполяции.

26. Способ по любому из пп. 17-19, 21, 22, 25,

отличающийся тем, что указанные принятые сигналы понижающего микширования разбиты на временные кадры,

в установившемся режиме работы способ включает прием по меньшей мере одного значения параметров соответствующих типов, точно применимого в момент времени в каждом временном кадре.

27. Способ по любому из пп. 1-3, 8, 9, 11, 13, 15, 17-19, 21, 22, 25, отличающийся тем, что микширование по меньшей мере одного сигнала с усиленным диалогом с по меньшей мере одним другим сигналом ограничено неполным выбором ряда сигналов понижающего микширования.

28. Машиночитаемый носитель с командами для выполнения способа по любому из пп. 1-27.

29. Декодер для усиления диалога в аудиосистеме, содержащий:

компонент приема, выполненный с возможностью приема:

ряда сигналов понижающего микширования, представляющих собой результат понижающего микширования большего количества каналов,

параметров для усиления диалога, причем эти параметры определены в отношении подмножества ряда каналов, включающего каналы, содержащие диалог, при этом подмножество ряда каналов подвергнуто понижающему микшированию в подмножество ряда сигналов понижающего микширования, и

параметров восстановления, предоставляющих возможность параметрического восстановления каналов, подвергнутых понижающему микшированию в подмножество ряда сигналов понижающего микширования;

компонент повышающего микширования, выполненный с возможностью параметрического повышающего микширования только подмножества ряда сигналов понижающего микширования на основе параметров восстановления с целью восстановления только подмножества ряда каналов, содержащего подмножество ряда каналов, в отношении которого определены параметры для усиления диалога; и

компонент усиления диалога, выполненный с возможностью применения усиления диалога к подмножеству ряда каналов, в отношении которого определены параметры для усиления диалога, с использованием параметров для усиления диалога с целью предоставления по меньшей мере одного сигнала с усиленным диалогом; и

компонент микширования, выполненный с возможностью предоставления версий с усиленным диалогом подмножества ряда сигналов понижающего микширования посредством микширования по меньшей мере одного сигнала с усиленным диалогом с по меньшей мере одним другим сигналом.

Images