BR112016001143B1 - Codificador de áudio para codificar dados de entrada de áudio para obter dados de saída de áudio, decodificador de áudio para decodificar dados de áudio codificados e método de codificação de dados de entrada de áudio para obter dados de saída de áudio - Google Patents

Abstract

conceito para codificação e decodificação de áudio para canais de áudio e objetos de áudio. trata-se de um codificador de áudio para codificar dados de entrada de áudio (101) para obter dados de saída de áudio (501) que compreende uma interface de entrada (100) para receber uma pluralidade de canais de áudio, uma pluralidade de objetos de áudio e metadados relacionados a um ou mais dentre a pluralidade de objetos de áudio; um misturador (200) para misturar a pluralidade de objetos e a pluralidade de canais para obter uma pluralidade de canais pré-misturados, em que cada canal pré-misturado compreende dados de áudio de um canal e dados de áudio de pelo menos um objeto; um codificador de núcleo (300) para codificar por núcleo dados de entrada de codificador de núcleo; e um compactador de metadados (400) para compactar os metadados relacionados ao um ou mais dentre a pluralidade de objetos de áudio, em que o codificador de áudio está configurado para operar em pelo menos um modo do grupo de dois modos que compreende um primeiro modo, no qual o codificador de núcleo está configurado para codificar a pluralidade de canais de áudio e a pluralidade de objetos de áudio recebida pela interface de entrada como dados de entrada de codificador de núcleo, e um segundo modo, no qual o codificador de núcleo (300) está configurado para receber, como os dados de entrada de codificador de núcleo, a pluralidade de canais pré-misturados gerada pelo misturador (200). fig. 1

Description

[001] A presente invenção refere-se à codificação/decodificação de áudio e, em particular, à codificação de áudio espacial e à codificação de objeto áudio espacial.

[002] As ferramentas de codificação de áudio espacial são bem conhecidas na técnica e são, por exemplo, padronizadas no padrão de MPEG-surround. A codificação de áudio espacial começa de canais de entrada original como cinco ou sete canais que são identificados por sua colocação em uma definição de reprodução, isto é, um canal esquerdo, um canal central, um canal direito, um canal surround esquerdo, um canal surround direito e um canal de intensificação de baixa frequência. Um codificador de áudio espacial tipicamente deriva um ou mais canais de mistura descendente dos canais originais e, adicionalmente, deriva dados paramétricos relacionados a pistas espaciais como diferenças de nível entre canais nos valores de coerência de canal, diferenças de fase entre canais, diferenças de tempo entre canais, etc. O um ou mais canais de mistura descendente são transmitidos junto com as informações de lado paramétrico indicando as pistas espaciais para um decodificador de áudio espacial que decodifica o canal de mistura descendente e os dados paramétricos associado a sim de obter, finalmente, canais de saída que são uma versão aproximada dos canais de entrada original. A colocação dos canais na definição de saída é tipicamente fixa e é, por exemplo, um formato 5.1, um formato 7.1, etc.

[003] Adicionalmente, as ferramentas de codificação de objeto áudio espacial são bem conhecidas na técnica e são padronizadas no padrão MPEG SAOC (SAOC = codificação de objeto áudio espacial). Ao contrário da codificação de áudio espacial que inicia de canais originais, a codificação de objeto áudio espacial inicia de objetos de áudio que não são automaticamente dedicados para certa definição de reprodução de renderização. Em vez disso, a colocação dos objetos de áudio na cena de reprodução é flexível e pode ser determinada pelo usuário mediante a inserção de certas informações de renderização em um decodificador de codificação de objeto áudio espacial. Alternativa ou adicionalmente, as informações de renderização, isto é, informações em qual posição na definição de reprodução um certo objeto de áudio deve ser colocado tipicamente ao longo do tempo podem ser transmitidas como metadados ou informações de lado adicionais. A fim de obter uma certa compactação de dados, inúmeros objetos de áudio são codificados por um codificador de SAOC que calcula, a partir dos objetos de entrada, um ou mais canais de transporte mediante a mistura descendente dos objetos de acordo com certas informações de mistura descendente. Ademais, o codificador de SAOC calcula informações de lado paramétrico que representam pistas entre objetos como diferenças de nível de objeto (OLD), valores de coerência de objeto, etc. Como na SAC (SAC = Codificação de Áudio Espacial), os dados paramétricos entre objetos são calculados para recortes de tempo/frequência individuais, isto é, para um certo quadro do sinal de áudio que compreende, por exemplo, 1.024 ou 2.048 amostras, 24, 32 ou 64, etc., bandas de frequência são consideradas de modo que, no final, os dados paramétricos saiam existam para cada quadro e cada banda de frequência. Como um exemplo, quando uma parte de áudio tem 20 quadros e quando cada quadro é subdividido em 32 bandas de frequência, então o número de recortes de tempo/frequência é 640.

[004] Até o presente momento, não existe tecnologia flexível que combina codificação de canal, por um lado, e codificação de objeto, por outro lado, de modo que sejam obtidas qualidades de áudio aceitáveis em baixas taxas de bit.

[005] É um objetivo da presente invenção fornecer um conceito aprimorado para codificação de áudio e decodificação de áudio.

[006] Esse objetivo é alcançado por um codificador de áudio da reivindicação 1, um decodificador de áudio da reivindicação 8, um método de codificação de áudio da reivindicação 22, um método de decodificação de áudio da reivindicação 23 ou um programa de computador da reivindicação 24.

[007] A presente invenção se baseia na constatação que, para um sistema ideal flexível por um lado e que fornece uma boa eficiência de compactação em uma boa qualidade de áudio, por outro lado, é alcançado mediante a combinação de codificação de áudio espacial, isto é, codificação de áudio baseada em canal com codificação de objeto áudio espacial, isto é, codificação baseada em objeto. Em particular, o fornecimento de um misturador para misturar os objetos e os canais que já estão no lado de codificador fornece uma boa flexibilidade, particularmente para aplicações de baixa taxa de bit, visto que qualquer transmissão de objeto pode ser, então, desnecessária ou o número de objetos a ser transmitido pode ser reduzido. Por outro lado, é exigida flexibilidade de modo que o codificador de áudio possa ser controlado em dois modos diferentes, isto é, no modo no qual os objetos são misturados com os canais antes de serem codificados em núcleo, enquanto, no outro modo, os dados de objeto, por um lado, e os dados de canal, por outro lado, são diretamente codificados em núcleo sem nenhuma mistura entre os mesmos.

[008] Isso assegura que o usuário pode separar os objetos e canais processados no lado de codificador de modo que uma flexibilidade completa esteja disponível no lado de decodificador mas, no preço de uma taxa de bit intensificada. Por outro lado, quando os requisitos de taxa de bit são mais exigentes, então a presente invenção já permite realizar uma mistura/pré- renderização no lado de codificador, isto é, que parte ou todos os objetos de áudio já são misturados com os canais de modo que o codificador de núcleo codifique apenas dados de canal e nenhum bit seja exigido para transmitir dados de objeto de áudio sob a forma de uma mistura descendente ou sob a forma de dados entre objetos paramétricos não são exigidos.

[009] No lado de decodificador, o usuário tem, novamente, alta flexibilidade devido ao fato de que o mesmo decodificador de áudio permite a operação em dois modos diferentes, isto é, o primeiro modo em que a codificação de canal e objeto individual ou separada ocorre e o decodificador tem a flexibilidade completa para renderizar os objetos e misturar com os dados de canal. Por outro lado, quando uma mistura/pré-renderização já ocorre no lado de codificador, o decodificador está configurado para realizar um pós-processamento sem nenhum processamento de objeto intermediário. Por outro lado, o pós- processamento também pode ser aplicado aos dados no outro modo, isto é, quando a renderização/mistura de objeto ocorre no lado de decodificador. Dessa forma, a presente invenção permite um quadro de tarefas de processamento que permite uma enorme reutilização de recursos não apenas no lado de codificador, mas também no lado de decodificador. O pós-processamento pode se referir à mistura descendente e à binauralização ou qualquer outro processamento para obter um cenário de canal final como um plano de reprodução pretendido.

[010] Ademais, no caso de requisitos de taxa de bit muito baixa, a presente invenção fornece ao usuário flexibilidade suficiente para reagir aos requisitos de baixa taxa de bit, isto é, mediante a pré-renderização no lado de codificador de modo que, pelo preço de alguma flexibilidade, todavia, é obtida qualidade de áudio muito boa no lado de decodificador devido ao fato de que os bits que foram salvos pelo não fornecimento de dados de objeto do codificador para o decodificador podem ser usados para melhor codificação dos dados de canal como por meio de quantização mais fina dos dados de canal ou por outro meio para aprimorar a qualidade ou para reduzir a perda de codificação quando estão disponíveis bits suficientes.

[011] Em uma modalidade preferencial da presente invenção, o codificador compreende adicionalmente um codificador de SAOC e, ademais, permite não apenas codificar objetos inseridos no codificador, mas também codificar por SAOC dados de canal a fim de obter uma boa qualidade de áudio em taxas de bit exigidas ainda menores. As modalidades adicionais da presente invenção permitem uma funcionalidade de pós-processamento que compreende um renderizador binaural e/ou um conversor de formato. Ademais, é preferencial que todo o processamento no lado de decodificador já ocorra para um certo número de alto-falantes como uma definição de alto-falantes de 22 ou 32 canais. No entanto, então o conversor de formato, por exemplo, determina que é exigida apenas um saída de 5.1, isto é, uma saída para um plano de reprodução que tem um número inferior ao número máximo de canais, então é preferencial que o conversor de formato controle o decodificador de USAC ou o decodificador de SAOC ou ambos os dispositivos pra restringir a operação de decodificação de núcleo e a operação de decodificação de SAOC de modo que quaisquer canais que são, no final, todavia, misturado de maneira descendente em uma conversão de formato não são gerados na decodificação. Tipicamente, a geração de canais misturados de modo ascendente exige processamento de descorrelação e cada processamento de descorrelação introduz algum nível de artefatos. Portanto, mediante o controle do decodificador de núcleo e/ou o decodificador de SAOC pelo formato de saída finalmente exigido, economiza-se uma grande quantidade de processamento de descorrelação adicional em comparação com uma situação quando essa interação não existe que não apenas resulta em uma qualidade de áudio aprimorada, mas também resulta em uma complexidade reduzida do decodificador e, no final, em um consumo de energia reduzido que é particularmente útil para dispositivos móveis que alojam o codificador da invenção ou o decodificador da invenção. Os codificadores/decodificadores da invenção, no entanto, não pode apenas ser introduzidos em dispositivos móveis como telefones móveis, smartphones, computadores tipo notebook ou dispositivos de navegação, mas também podem ser usados em computadores tipo desktop diretos ou qualquer outro utensílio não móvel.

[012] A implantação acima, isto é, não gerar alguns canais, pode ser não ideal, visto que algumas informações podem ser perdidas (como a diferença de nível entre os canais que serão misturados de modo descendente). Essas informações de diferença de nível podem não ser importantes, mas podem resultar em um sinal de saída de mistura descendente diferente, se a mistura descendente aplicar diferentes ganhos de mistura descendente aos canais misturados de modo ascendente. Uma solução aprimorada apenas desliga a descorrelação no upmix, mas ainda gera todos os canais de upmix com diferenças de nível corretas (conforme sinalizado pelo SAC paramétrico). A segunda solução resulta em uma melhor qualidade de áudio, mas a primeira solução resulta em maior redução de complexidade.

[013] As modalidades preferenciais são subsequentemente discutidas em relação aos desenhos anexos, em que:

[014] A Figura 1 ilustra uma primeira modalidade de um codificador;

[015] A Figura 2 ilustra uma primeira modalidade de um decodificador;

[016] A Figura 3 ilustra uma segunda modalidade de um codificador;

[017] A Figura 4 ilustra uma segunda modalidade de um decodificador;

[018] A Figura 5 ilustra uma terceira modalidade de um codificador;

[019] A Figura 6 ilustra uma terceira modalidade de um decodificador;

[020] A Figura 7 ilustra um mapa indicando modos individuais em que os codificadores/decodificadores de acordo com modalidades da presente invenção podem ser operados;

[021] A Figura 8 formato;

[022] A Figura 9 binaural;

[023] A Figura 10 de núcleo; e

[024] A Figura 11 ilustra uma implantação específica do conversor de ilustra uma implantação específica do conversor ilustra uma implantação específica do decodificador ilustra uma implantação específica de um codificador para processar um elemento de canal quádruplo (QCE) e o decodificador de QCE correspondente.

[025] A Figura 1 ilustra um codificador de acordo com uma modalidade da presente invenção. O codificador está configurado para codificar dados de entrada de áudio 101 para obter dados de saída de áudio 501. O codificador compreende uma interface de entrada para receber uma pluralidade de canais de áudio indicada por CH e uma pluralidade de objetos de áudio indicada por OBJ. Ademais, conforme ilustrado na Figura 1, a interface de entrada 100 recebe adicionalmente metadados relacionados a um ou mais dentre a pluralidade de objetos de áudio OBJ. Ademais, o codificador compreende um misturador 200 para misturar a pluralidade de objetos e a pluralidade de canais para obter uma pluralidade de canais pré-misturados, em que cada canal pré-misturado compreende dados de áudio de um canal e dados de áudio de pelo menos um objeto.

[026] Ademais, o codificador compreende um codificador de núcleo 300 para codificar por núcleo dados de entrada de codificador de núcleo, um compactador de metadados 400 para compactar os metadados relacionados ao um ou mais dentre a pluralidade de objetos de áudio. Ademais, o codificador pode compreender um controlador de modo 600 para controlar o misturador, o codificador de núcleo e/ou uma interface de saída 500 em um dentre diversos modos de operação, em que, no primeiro modo, o codificador de núcleo está configurado para codificar a pluralidade de canais de áudio e a pluralidade de objetos de áudio recebida pela interface de entrada 100 sem nenhuma interação pelo misturador, isto é, sem nenhuma mistura pelo misturador 200. Em um segundo modo, no entanto, em que o misturador 200 estava ativo, o codificador de núcleo codifica a pluralidade de canais misturados, isto é, a saída gerada pelo bloco 200. No último caso, é preferencial não codificar quaisquer dados de objeto. Ao invés disso, os metadados que indicam posições dos objetos de áudio já são usados pelo misturador 200 para renderizar os objetos nos canais conforme indicado pelos metadados. Em outras palavras, o misturador 200 usa os metadados relacionados à pluralidade de objetos de áudio para pré-renderizar os objetos de áudio e, então, os objetos de áudio pré-renderizados são misturados com os canais para obter canais misturados na saída do misturador. Nessa modalidade, quaisquer objetos podem não ser necessariamente transmitidos e isso também se aplica para metadados compactados como saída pelo bloco 400. No entanto, se nem todos os objetos inseridos na interface 100 são misturados, mas apenas uma certa quantidade de objetos é misturada, então apenas os objetos não misturados restantes e os metadados associados são, todavia, transmitidos para o codificador de núcleo 300 ou para o compactador de metadados 400, respectivamente.

[027] A Figura 3 ilustra uma modalidade adicional de um codificador que compreende, adicionalmente, um codificador de SAOC 800. O codificador de SAOC 800 está configurado para gerar um ou mais canais de transporte e dados paramétricos de dados de entrada de codificador de objeto de áudio espacial. Conforme ilustrado na Figura 3, os dados de entrada de codificador de objeto de áudio espacial são objetos que não foram processados pelo pré- renderizador/misturador. Alternativamente, visto que o pré- renderizador/misturador foi ignorado como no modo um em que uma codificação de canal/objeto individual está ativa, todos os objetos inseridos na interface de entrada 100 são codificados pelo codificador de SAOC 800.

[028] Ademais, conforme ilustrado na Figura 3, o codificador de núcleo 300 é, de preferência, implantado como um codificador de USAC, isto é, como um codificador conforme definido e padronizado no padrão MPEG-USAC (USAC = codificação de fala e áudio unificados). A saída de todo o codificador ilustrado na Figura 3 é uma corrente de dados de MPEG 4 que tem as estruturas tipo recipiente para tipos de dados individuais. Ademais, os metadados são indicados como dados “OAM” e o compactador de metadados 400 na Figura 1 corresponde ao codificador de OAM 400 para obter dados OAM compactados que são inseridos no codificador de USAC 300 que, conforme pode ser visto na Figura 3, compreende adicionalmente a interface de saída para obter a corrente de dados de saída de MP4 não tendo apenas os dados de canal/objeto codificados, também tendo os dados OAM compactados.

[029] A Figura 5 ilustra uma modalidade adicional do codificador, em que, ao contrário da Figura 3, o codificador de SAOC pode ser configurado para codificar, com o algoritmo de codificação de SAOC, os canais fornecidos no pré- renderizador/misturador 200 que não estão ativos nesse modo ou, alternativamente, para codificar por SAOC os canais pré-renderizados mais objetos. Dessa forma, na Figura 5, o codificador de SAOC 800 pode operar em três tipos diferentes de dados de entrada, isto é, canais sem nenhum objeto pré- renderizado, canais e objetos ou objetos pré-renderizados sozinhos. Ademais, é preferencial fornecer um decodificador de OAM adicional 420 na Figura 5 de modo que o codificador de SAOC 800 use, para seu processamento, os mesmos dados que no lado de decodificador, isto é, dados obtidos por uma compactação com perdas ao invés dos dados OAM originais.

[030] O codificador da Figura 5 pode operar em diversos modos individuais.

[031] Além do primeiro e do segundo modos conforme discutido no contexto da Figura 1, o codificador da Figura 5 pode operar adicionalmente em um terceiro modo em que o codificador de núcleo gera os um ou mais canais de transporte dos objetos individuais quando o pré-renderizador/misturador 200 não está ativo. Alternativa ou adicionalmente, nesse terceiro modo, o codificador de SAOC 800 pode gerar um ou mais canais de transporte alternativos ou adicionais dos canais originais, isto é, novamente quando o pré-renderizador/misturador 200 que corresponde ao misturador 200 da Figura 1 não estava ativo.

[032] Finalmente, o codificador de SAOC 800 pode codificar, quando o codificador está configurado no quarto modo, os canais mais objetos pré- renderizados conforme gerado pelo pré-renderizador/misturador. Dessa forma, no quarto modo, as aplicações de taxa de bit mais baixa irão fornecer boa qualidade devido ao fato de que os canais e objetos foram completamente transformados em canais de transporte de SAOC individuais e informações de lado associadas conforme indicado nas Figuras 3 e 5 como “SAOC-SI” e, adicionalmente, quaisquer metadados compactados não devem ser transmitidos nesse quarto modo.

[033] A Figura 2 ilustra um decodificador de acordo com uma modalidade da presente invenção. O decodificador recebe, como uma entrada, os dados de áudio codificados, isto é, os dados 501 da Figura 1.

[034] O decodificador compreende um descompactador de metadados 1400, um decodificador de núcleo 1300, um processador de objetos 1200, um controlador de modo 1600 e um pós-processador 1700.

[035] Especificamente, o decodificador de áudio está configurado para decodificar dados de áudio codificados e a interface de entrada é configurada para receber os dados de áudio codificados, em que os dados de áudio codificados compreendem uma pluralidade de canais codificados e a pluralidade de objetos codificados e metadados compactados relacionados à pluralidade de objetos em um certo modo.

[036] Ademais, o decodificador de núcleo 1300 está configurado para decodificar a pluralidade de canais codificados e a pluralidade de objetos codificados e, adicionalmente, o descompactador de metadados está configurado para descompactar os metadados compactados.

[037] Ademais, o processador de objetos 1200 está configurado para processar a pluralidade de objetos decodificados conforme gerado pelo decodificador de núcleo 1300 com o uso dos metadados descompactados para obter um número predeterminado de canais de saída que compreendem dados de objeto e os canais decodificados. Esses canais de saída conforme indicado em 1205 são, então, inseridos em um pós-processador 1700. O pós-processador 1700 está configurado para converter o número de canais de saída 1205 em um certo formato de saída que pode ser um formato de saída binaural ou um formato de saída de alto-falante como um formato de saída 5.1, 7.1, etc.

[038] De preferência, o decodificador compreende um controlador de modo 1600 que está configurado para analisar os dados codificados para detectar uma indicação de modo. Portanto, o controlador de modo 1600 é conectado à interface de entrada 1100 na Figura 2. No entanto, alternativamente, o controlador de modo não precisa necessariamente estar lá. Ao invés disso, o decodificador flexível pode ser pré-ajustado por qualquer outro tipo de dados de controle como uma entrada de usuário ou qualquer outro controle. O decodificador de áudio na Figura 2 e, de preferência, controlado pelo controlador de modo 1600, está configurado para ignorar o processador de objetos e para alimentar a pluralidade de canais decodificados no pós-processador 1700. Essa é a operação no modo 2, isto é, em que apenas os canais pré-renderizados são recebidos, isto é, quando o modo 2 foi aplicado no codificador da Figura 1. Alternativamente, quando o modo 1 foi aplicado no codificador, isto é, quando o codificador realizou a codificação de canal/objeto individual, então o processador de objetos 1200 não é ignorado, mas a pluralidade de canais decodificados e a pluralidade de objetos decodificados são alimentadas no processador de objetos 1200 junto com os metadados descompactados gerados pelo descompactador de metadados 1400.

[039] De preferência, a indicação se o modo 1 ou o modo 2 deve ser aplicado é incluída nos dados de áudio codificados e, então, o controlador de modo 1600 analisa os dados codificados para detectar uma indicação de modo. O modo 1 é usado quando a indicação de modo indicar que os dados de áudio codificados compreendem canais codificados e objetos codificados e o modo 2 é aplicado quando a indicação de modo indicar que os dados de áudio codificados não contêm nenhum objeto de áudio, isto é, contêm apenas canais pré-renderizados obtidos pelo modo 2 do codificador da Figura 1.

[040] A Figura 4 ilustra uma modalidade preferencial em comparação com o decodificador da Figura 2 e a modalidade da Figura 4 corresponde ao codificador da Figura 3. Além da implantação de decodificador da Figura 2, o decodificador na Figura 4 compreende um decodificador de SAOC 1800. Ademais, o processador de objetos 1200 da Figura 2 é implantado como um renderizador de objetos separado 1210 e o misturador 1220 enquanto, dependendo do modo, a funcionalidade do renderizador de objetos 1210 também pode ser implantada pelo decodificador de SAOC 1800.

[041] Ademais, o pós-processador 1700 pode ser implantado como um renderizador binaural 1710 ou um conversor de formato 1720. Alternativamente, uma saída direta de dados 1205 da Figura 2 também pode ser implantada conforme ilustrado por 1730. Portanto, é preferencial realizar o processamento no decodificador no maior número de canais como 22.2 ou 32 a fim de ter flexibilidade e, então, pré-processar se for exigido um menor formato. No entanto, quando fica evidente a partir do início que apenas é exigido pequeno formato como um formato 5.1, então é preferencial, conforme indicado pela Figura 2 ou 6 pelo atalho 1727, que um certo controlo sobre o decodificador de SAOC e/ou o decodificador de USAC pode ser aplicado a fim de evitar operações de upmix desnecessárias e operações de mistura descendente subsequentes.

[042] Em uma modalidade preferencial da presente invenção, o processador de objetos 1200 compreende o decodificador de SAOC 1800 e o decodificador de SAOC está configurado para decodificar um ou mais canais de transporte emitidos pelo decodificador de núcleo e dados paramétricos associados e com o uso de metadados descompactados para obter a pluralidade de objetos de áudio renderizados. Para isso, a saída de OAM é conectada à caixa 1800.

[043] Ademais, o processador de objetos 1200 está configurado para render objetos decodificados emitidos pelo decodificador de núcleo que não são codificados em canais de transporte de SAOC, mas que são individualmente codificados em elementos canalizados tipicamente simples conforme indicado pelo renderizador de objetos 1210. Ademais, o decodificador compreende uma interface de saída que corresponde à saída 1730 para emitir uma saída do misturador para os alto-falantes.

[044] Em uma modalidade adicional, o processador de objetos 1200 compreende um decodificador de codificação de objeto áudio espacial 1800 para decodificar um ou mais canais de transporte e informações de lado paramétrico associadas que representam objetos de áudio codificados ou canais de áudio codificados, em que o decodificador de codificação de objeto áudio espacial está configurado para transcodificar as informações paramétricas associadas e os metadados descompactados formando informações de lado paramétrico transcodificadas úteis para renderizar diretamente o formato de saída, como, por exemplo, definido em uma versão anterior de SAOC. O pós-processador 1700 está configurado para calcular canais de áudio do formato de saída com o uso dos canais de transporte decodificados e das informações de lado paramétrico transcodificadas. O processamento realizado pelo pós-processador pode ser similar ao processamento de MPEG Surround ou pode ser qualquer outro processamento como um processamento de BCC ou similar.

[045] Em uma modalidade adicional, o processador de objetos 1200 compreende um decodificador de codificação de objeto áudio espacial 1800 configurado para misturar de modo ascendente diretamente e renderizar sinais de canal para o formato de saída com o uso dos canais de transporte decodificados (pelo decodificador de núcleo) e das informações de lado paramétrico

[046] Ademais, e de maneira importante, o processador de objetos 1200 da Figura 2 compreende adicionalmente o misturador 1220 que recebe, como uma entrada, dados emitidos pelo decodificador de USAC 1300 diretamente quando existem objetos pré-renderizados misturados com canais, isto é, quando o misturador 200 da Figura 1 está ativo. Adicionalmente, o misturador 1220 recebe dados do renderizador de objetos que realiza renderização de objeto sem decodificação de SAOC. Ademais, o misturador recebe dados de saída de decodificador de SAOC, isto é, objetos renderizados por SAOC.

[047] O misturador 1220 é conectado à interface de saída 1730, ao renderizador binaural 1710 e ao conversor de formato 1720. O renderizador binaural 1710 está configurado para renderizar os canais de saída em dois canais binaurais com o uso de funções de transferência relacionadas à cabeça ou respostas de impulso de ambiente binaural (BRIR). O conversor de formato 1720 está configurado para converter os canais de saída em um formato de saída que tem um número menor de canais que os canais de saída 1205 do misturador e o conversor de formato 1720 exige informações sobre o plano de reprodução como alto-falantes 5.1 ou similares.

[048] O decodificador da Figura 6 é do decodificador da Figura 4 visto que o decodificador de SAOC não pode apenas gerar objetos renderizados, mas também canais renderizados e esse é o caso quando o codificador da Figura 5 foi usado e a conexão 900 entre os canais/objetos pré-renderizados e a interface de entrada de codificador de SAOC 800 está ativa.

[049] Ademais, está configurado um estágio de regulagem de amplitude de base de vetor (VBAP) 1810 que recebe, do decodificador de SAOC, informações sobre o plano de reprodução e que emite uma matriz de renderização para o decodificador de SAOC de modo que o decodificador de SAOC pudesse, no final, fornecer canais renderizados sem nenhuma operação adicional do misturador no formato de canal alto de 1205, isto é, 32 alto-falantes.

[050] O bloco de VBAP recebe, de preferência, os dados OAM decodificados para derivar as matrizes de renderização. De modo mais geral, o mesmo exige, de preferência, informações geométricas não apenas do plano de reprodução, mas também das posições em que os sinais de entrada deveriam ser renderizados no plano de reprodução. Esses dados de entrada geométrica podem ser dados OAM para objetos ou informações de posição de canal para canais que foram transmitidos com o uso de SAOC.

[051] No entanto, se apenas uma interface de saída específica é exigida, então o estado de VBAP 1810 já pode fornecer a matriz de renderização exigida para, por exemplo, a saída de 5.1. O decodificador de SAOC 1800 realiza, então, uma renderização direta dos canais de transporte de SAOC, dos dados paramétricos associados e de metadados descompactados, uma renderização direta no formato de saída exigido sem nenhuma interação do misturador 1220. No entanto, quando uma certa mistura entre modos é aplicada, isto é, onde diversos canais são codificados por SAOC, mas nem todos os are codificados por SAOC ou onde diversos objetos são codificados por SAOC, mas nem todos os objetos são codificados por SAOC ou quanto apenas uma certa quantidade de objetos pré-renderizados com canais é decodificada por SAOC e os canais restantes não são processados por SAOC, então o misturador irá juntar os dados das porções de entrada individuais, isto é, diretamente do decodificador de núcleo 1300, do renderizador de objetos 1210 e do decodificador de SAOC 1800.

[052] Subsequentemente, a Figura 7 é discutida para indicar certos modos de codificador/decodificador que podem ser aplicados pelo conceito de codificador de áudio/decodificador altamente flexível e de alta qualidade da invenção.

[053] De acordo com o primeiro modo de codificação, o misturador 200 no codificador da Figura 1 é ignorado e, portanto, o processador de objetos no decodificador da Figura 2 não é ignorado.

[054] No segundo modo, o misturador 200 na Figura 1 é ativo e o processador de objetos na Figura 2 é ignorado.

[055] Então, no terceiro modo de codificação, o codificador de SAOC da Figura 3 é ativo, mas apenas codifica por SAOC os objetos ao invés dos canais ou canais como emitido pelo misturador. Portanto, o modo 3 exige que, no lado de decodificador ilustrado na Figura 4, o decodificador de SAOC é apenas ativo para objetos e gera objetos renderizados.

[056] Em um quarto modo de codificação conforme ilustrado na Figura 5, o codificador de SAOC está configurado para codificar por SAOC canais pré- renderizados, isto é, o misturador é ativo como no segundo modo. No lado de decodificador, a decodificação por SAOC é realizada para objetos pré- renderizados de modo que o processador de objetos seja ignorado como no segundo modo de codificação.

[057] Ademais, existe um quinto modo de codificação que pode ser qualquer mistura de modos 1 a 4. Em particular, um modo de codificação de mistura irá existir quando o misturador 1220 na Figura 6 receber canais diretamente do decodificador de USAC e, adicionalmente, receber canais com objetos pré-renderizados do decodificador de USAC. Ademais, nesse modo de codificação misturado, os objetos são codificados diretamente com o uso de, de preferência, um único elemento de canal do decodificador de USAC. Nesse contexto, o renderizador de objetos 1210 irá, então, renderizar esses objetos decodificados e encaminhar os mesmos para o misturador 1220. Ademais, diversos objetos são adicionalmente codificados por um codificador de SAOC de modo que o decodificador de SAOC emita objetos renderizados para os misturador e/ou canais renderizados quando existirem diversos canais codificados por meio de tecnologia de SAOC.

[058] Cada porção de entrada do misturador 1220 pode, então, de modo exemplificador, ter pelo menos um potencial para receber o número de canais como 32 conforme indicado em 1205. Dessa forma, basicamente, o misturador receberia 32 canais do decodificador de USAC e, adicionalmente, 32 canais pré- renderizados/misturados do decodificador de USAC e, adicionalmente, 32 “canais” do renderizador de objetos e, adicionalmente, 32 “canais” do decodificador de SAOC, em que cada “canal” entre os blocos 1210 e 1218, por um lado, e o bloco 1220, por outro lado, tem uma contribuição dos objetos correspondentes em um canal de alto-falante correspondente e, então, o misturador 1220 mistura, isto é, adiciona as contribuições individuais para cada canal de alto-falante.

[059] Em uma modalidade preferencial da presente invenção, o sistema de codificação/decodificação é baseado em um codec de MPEG-D USAC para codificar sinais de canal e objeto. Para aumentar a eficiência a fim de codificar uma grande quantidade de objetos, foi adaptada tecnologia MPEG SAOC. Três tipos de renderizadores realizam a tarefa de renderização de objetos para canais, renderização de canais para fones de ouvido ou renderização de canais para uma definição de alto-falante diferente. Quando sinais de objeto são explicitamente transmitidos ou parametricamente codificados com o uso de SAOC, as informações de metadados de objeto correspondentes são compactadas e multiplexadas nos dados de saída codificados.

[060] Em uma modalidade, o pré-renderizador/misturador 200 é usado para conversor uma cena de entrada de objeto mais canal em uma cena de canal antes da codificação. Funcionalmente, o mesmo é idêntico a uma combinação de renderizador/misturador de objetos no lado de decodificador conforme ilustrado na Figura 4 ou 6 e conforme indicado pelo processador de objetos 1200 da Figura 2. A pré-renderização de objetos assegura uma entropia de sinal determinística na entrada de codificador que é basicamente independente do número de sinais de objeto simultaneamente ativos. Com a pré-renderização de objetos, não é exigida transmissão de metadados de objeto. Os sinais de objeto distintos são renderizados no plano de canal que o codificador está configurado para usar. Os pesos dos objetos para cada canal são obtidos juntos aos metadados de objeto associado OAM conforme indicado pela seta 402.

[061] Como um núcleo/codificador/decodificador para sinais de canal de alto-falante, os sinais de objeto distintos, sinais de mistura descendente de objeto e sinais pré-renderizados, é preferencial uma tecnologia de USAC. O mesmo manuseia a codificação da multitude de sinais mediante a criação de informações de mapeamento de canal e objeto (informações geométricas e semânticas da atribuição de canal e objeto da entrada). Essas informações de mapeamento descrevem como canais e objetos de entrada são mapeados para elementos de canal de USAC conforme ilustrado na Figura 10, isto é, elementos de par de canais (CPEs), elementos de canal simples (SCEs), elementos quádruplos de canal (QCEs) e as informações correspondentes são transmitidas para o decodificador de núcleo do codificador de núcleo. Todas as cargas adicionais como dados de SAOC ou metadados de objeto atravessaram elementos de extensão e foram consideradas no controle de taxa de codificadores.

[062] A codificação de objetos é possível de formas diferentes, dependendo dos requisitos de distorção/taxa e nos requisitos de interatividade para o renderizador. As seguintes variantes de codificação de objeto são possíveis:

[063] Objetos pré-renderizados: Os sinais de objeto são pré-renderizados e misturados para os sinais de canal de 22.2 antes da codificação. A cadeia de codificação subsequente nota sinais de canal de 22.2.

[064] Formas de onda de objeto distinto: Os objetos são supridos como formas de onda monofônica para o codificador. O codificador usa elementos de canal simples SCEs para transmitir os objetos além dos sinais de canal. Os objetos decodificados são renderizados e misturado no lado de receptor. As informações de metadados de objeto compactadas são transmitidas para o receptor/renderizador em conjunto.

[065] Formas de onda de objeto paramétrico: propriedades de objeto e sua relação entre si são descritas por meio de parâmetros de SAOC. A mistura descendente dos sinais de objeto é codificada com USAC. As informações paramétricas são transmitidas em conjunto. O número de canais de mistura descendente é escolhido dependendo do número de objetos e da taxa de dados geral. As informações de metadados de objeto compactadas são transmitidas para o renderizador de SAOC.

[066] O codificador de SAOC e o decodificador para sinais de objeto são baseados em tecnologia MPEG SAOC. O sistema tem a capacidade de recriar, modificar e renderizar inúmeros objetos de áudio com base em um número menor de canais transmitidos e dados paramétricos adicionais (OLDs, IOCs (Coerência Entre Objetos), DMGs (Ganhos de Mistura Descendente)). Os dados paramétricos adicionais exibem uma taxa de dados significativamente inferior do que é exigido para transmitir todos os objetos individualmente, tornando a codificação muito eficiente.

[067] O codificador de SAOC toma, como entrada, os sinais de objeto/canal como formas de onda monofônica e emite as informações paramétricas (que são empacotadas na corrente de bits de áudio 3D) e os canais de transporte de SAOC (que são codificados com o uso de elementos de canal simples e transmitidos).

[068] O decodificador de SAOC reconstrói os sinais de objeto/canal dos canais de transporte de SAOC decodificados e informações paramétricas e gera a cena de áudio de saída com base no plano de reprodução, as informações de metadados de objeto descompactadas e, opcionalmente, nas informações de interação de usuário.

[069] Para cada objeto, os metadados associados que especificam a posição geométrica e o volume do objeto no espaço 3D são codificados de modo eficiente por meio de quantização das propriedades de objeto no tempo e espaço. Os metadados de objeto compactados cOAM são transmitidos para o receptor como informações de lado. O volume do objeto pode compreender informações em uma extensão espacial e/ou informações do nível de sinal do sinal de áudio desse objeto de áudio.

[070] O renderizador de objetos utiliza os metadados de objeto compactados para gerar formas de onda de objeto de acordo com o dado formato de reprodução. Cada objeto é renderizado para certos canais de saída de acordo com seus metadados. A saída desse bloco resulta da soma dos resultados parciais.

[071] Se o conteúdo baseado em canal bem como objetos paramétricos/distintos é decodificado, as formas de onda baseadas em canal e as formas de onda de objeto renderizado são misturadas antes da emissão das formas de onda resultantes (ou antes da alimentação das mesmas para um módulo de pós-processador como o renderizador binaural ou o módulo de renderizador de alto-falante).

[072] O módulo de renderizador binaural produz uma mistura descendente binaural do material de áudio de múltiplos canais, de modo que cada canal de entrada seja representada por uma fonte de sim virtual. O processamento é conduzido ao longo do quadro em domínio de QMF (Banco de Filtro de Espelho de Quadratura).

[073] A binauralização é baseada em respostas de impulso de ambiente binaural medido.

[074] A Figura 8 ilustra uma modalidade preferencial do conversor de formato 1720. O renderizador de alto-falante ou conversor de formato converte entre a configuração de canal de transmissor e o formato de reprodução desejado. Esse conversor de formato realiza conversões em número inferior de canais de saída, isto é, cria misturas descendentes. Para isso, um downmixer 1722 que opera, de preferência, no domínio de QMF, recebe sinais de saída de misturador 1205 e emite sinais de alto-falante. De preferência, é fornecido um controlador 1724 para configurar o downmixer 1722 que recebe, como uma entrada de controle, um plano de saída de misturador, isto é, o plano para o qual dados data 1205 são determinados e um plano de reprodução desejado é tipicamente inserido no bloco de conversão de formato 1720 ilustrado na Figura 6. Com base nessas informações, o controlador 1724 gera, de preferência, automaticamente matrizes de mistura descendente otimizadas para a dada combinação de formatos de entrada e saída e aplica essas matrizes no bloco do downmixer 1722 no processo de mistura descendente. O conversor de formato permite configurações de alto-falante padrão bem como configurações aleatórias com posições de alto-falante não padrão.

[075] Conforme ilustrado no contexto da Figura 6, o decodificador de SAOC é projetado para renderizar para o plano de canal predefinido como 22.2 com uma conversão de formato subsequente para o plano de reprodução alvo. Alternativamente, no entanto, o decodificador de SAOC é implantado para suportar o modo de “baixa potência”, em que o decodificador de SAOC está configurado para decodificar para o plano de reprodução diretamente sem a conversão de formato subsequente. Nessa implantação, o decodificador de SAOC 1800 emite diretamente o sinal de alto-falante como os sinais de alto- falante 5.1 e o decodificador de SAOC 1800 exige que as informações de plano de reprodução e a matriz de renderização de modo que a regulagem de amplitude de base de vetor ou qualquer outro tipo de processor para gerar informações de mistura descendente pode operar.

[076] A Figura 9 ilustra uma modalidade adicional do renderizador binaural 1710 da Figura 6. Especificamente, para dispositivos móveis, a renderização binaural é exigida para fones de ouvido presos a tais dispositivos móveis ou para alto-falantes diretamente presos a dispositivos móveis tipicamente pequenos. Para tais dispositivos móveis, podem existir restrições para limitar a complexidade de renderização e decodificador. Além da omissão de descorrelação em tais cenários de processamento, é preferencial misturar de modo descendente, em primeiro lugar, o downmixer 1712 a uma mistura descendente intermediária, isto é, a um número inferior de canais de saída que resulta, então, em um número inferior de canal de entrada para o conversor binaural 1714. De modo exemplificador, o material de canal de 22.2 é misturado de modo descendente pelo downmixer 1712 para uma mistura descendente intermediária de 5.1 ou, alternativamente, a mistura descendente intermediária é diretamente calculada pelo decodificador de SAOC 1800 da Figura 6 em um tipo de modo de “atalho”. Então, a renderização binaural deve apenas aplicar dez HRTFs (Funções de Transferência Relacionada à Cabeça) ou funções de BRIR para renderizar os cinco canais individuais em diferentes posições ao contrário de aplicar 44 HRTF para funções de BRIR se os canais de entrada de 22.2 já teriam sido diretamente renderizados. Especificamente, as operações de convolução necessárias para a renderização binaural exigem muita potência de processamento e, portanto, a redução essa potência de processamento enquanto ainda obtém uma qualidade de áudio aceitável é, particularmente, útil para dispositivos móveis.

[077] De preferência, o “atalho” conforme ilustrado pela linha de controle 1727 compreende controlar o decodificador 1300 para decodificar para um número inferior de canais, isto é, pular o bloco de processamento de OTT completa no decodificador ou uma conversão de formato em um número inferior de canais e, conforme ilustrado na Figura 9, a renderização binaural é realizada para o número inferior de canais. O mesmo processamento pode ser aplicado não apenas para processamento binaural, mas também para uma conversão de formato conforme ilustrado pela linha 1727 na Figura 6.

[078] Em uma modalidade adicional, é exigida uma interface eficiente entre blocos de processamento. Particularmente na Figura 6, é relatada a trajetória de sinal de áudio entre os diferentes blocos de processamento. O renderizador binaural 1710, o conversor de formato 1720, o decodificador de SAOC 1800 e o decodificador de USAC 1300, no cso e ser aplicada SBR (replicação de banda espectral), todos operam em um domínio de QMF ou de QMF híbrido. De acordo com uma modalidade, todos esses blocos de processamento fornecem uma interface de QMF ou uma interface de QMF híbrida para permitir a passagem de sinais de áudio entre si no domínio de QMF de maneira eficiente. Adicionalmente, é preferencial implantar o módulo de misturador e o módulo de renderizador de objetos para trabalhar no domínio de QMF ou domínio de QMF híbrido. Como consequência, os estágios de análise e síntese de QMF separado ou QMF híbrido podem ser evitados, o que resulta em economia de complexidade considerável e, então, é exigido apenas um estágio de síntese de QMF final para gerar os alto-falantes indicado em 1730 ou para gerar os dados binaural na saída do bloco 1710 ou para gerar os sinais de alto-falante de plano de reprodução na saída do bloco 1720.

[079] Subsequente, faz-se referência à Figura 11 a fim de explicar elementos de canal quádruplo (QCE). Ao contrário de um elemento de par de canais conforme definido no padrão USAC-MPEG, um elemento de canal quádruplo exige quatro canais de entrada 90 e emite um elemento de QCE codificado 91. Em uma modalidade, uma hierarquia de duas caixas de MPEG Surround em Modo 2-1-2 ou duas caixas de TTO (TTO = Dois Para Um) e ferramentas de codificação de estéreo em conjunto adicionais (por exemplo, MS- Stereo) conforme definido em MPEG USAC ou MPEG surround são fornecidos e o elemento de QCE não compreende apenas dois canais de mistura descendente de estéreo codificados em conjunto e, opcionalmente, dois canais residuais d estéreo codificados em conjunto e, adicionalmente, dados paramétricos derivados, por exemplo, das duas caixas de TTO. No lado de decodificador, é aplicada uma estrutura onde a decodificação de estéreo em conjunto dos dois canais de mistura descendente e, opcionalmente, dos dois canais residuais é aplicada e, em um segundo estágio com duas caixas de OTT, a mistura descendente e canais residuais opcionais são misturados de modo ascendente para os quatro canais de saída. No entanto, podem ser aplicadas operações de processamento alternativas para um codificador de QCE ao invés da operação hierárquica. Dessa forma, além da codificação de canal em conjunto de um grupo de dois canais, o codificador/decodificador de núcleo usa adicionalmente uma codificação de canal em conjunto de um grupo de quatro canais.

[080] Ademais, é preferencial realizar um procedimento de carregamento de ruído melhorado para permitir codificação de banda completa não comprometida (18 kHz) a 1.200 kbps.

[081] O codificador foi operado de forma de ‘taxa constante com reservatório de bit’, com o uso de um máximo de 6.144 bits por canal como armazenamento temporário de taxa para os dados dinâmicos.

[082] Todas as cargas adicionais como dados de SAOC ou metadados de objeto atravessaram elementos de extensão e foram consideradas no controle de taxa de codificadores.

[083] A fim de tirar vantagem das funcionalidades de SAOC também para conteúdo de áudio 3D, as seguintes extensões para MPEG SAOC foram implantadas:

[084] misturar de modo descendente para número arbitrário de canais de transporte de SAOC.

[085] renderizar, de modo melhorado, para configurações de saída com alto número de alto-falantes (até 22.2).

[086] O módulo de renderizador binaural produz uma mistura descendente binaural do material de áudio de múltiplos canais, de modo que cada canal de entrada (excluindo os canais de LFE) seja representada por uma fonte de sim virtual. O processamento é conduzido ao longo do quadro em domínio de QMF.

[087] A binauralização é baseada em respostas de impulso de ambiente binaural medido. O som direto e reflexões precoces são impressos no material de áudio através de uma abordagem convencional em um a pseudodomínio de FFT com o uso de uma convolução rápida no topo do domínio de QMF.

[088] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que esses aspectos também representam uma descrição do método correspondente, em que um bloco ou dispositivo corresponde a uma etapa de método ou a um recurso de uma etapa de método. De maneira análoga, os aspectos descritos no contexto de uma etapa de método também representam uma descrição de um bloco ou item ou recurso de um aparelho correspondente. Parte ou a totalidade das etapas de método pode ser executada por (ou com o uso de) um aparelho de hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas modalidades, um ou mais dentre as etapas de método mais importantes podem ser executadas por tal aparelho.

[089] Dependendo de certos requisitos de implantação, as modalidades da invenção podem ser implantadas em hardware ou em software. A implantação pode ser realizada com o uso de um mio de armazenamento não transitório como um meio de armazenamento digital, por exemplo, um disquete, um DVD, um Blu- Ray, um CD, uma ROM, uma PROM, e EPROM, uma EEPROM ou uma memória FLASH, que tem sinais de controle eletronicamente legíveis armazenados no mesmo, que cooperam (ou têm a capacidade de cooperar) com um sistema de computador programável de modo que o respectivo método seja realizado. Portanto, o meio de armazenamento digital pode ser legível por computador.

[090] Algumas modalidades de acordo com a invenção compreendem um suporte de dados que tem sinais de controle eletronicamente legíveis, que têm a capacidade de cooperar com um sistema de computador programável, de modo que um dos métodos descritos no presente documento seja realizado.

[091] De modo geral, as modalidades da presente invenção podem ser implantadas como um produto de programa de computador com um código de programa, em que o código de programa é operativo para realizar um dos métodos quando o produto de programa de computador for executado em um computador. O código de programa pode ser, por exemplo, armazenado em um suporte legível por máquina.

[092] Outras modalidades compreendem o programa de computador para realizar um dos métodos descritos no presente documento, armazenado em um suporte legível por máquina.

[093] Em outras palavras, uma modalidade do método da invenção é, portanto, um programa de computador que tem um código de programa para realizar um dos métodos descritos no presente documento, quando o programa de computador é executado em um computador.

[094] Uma modalidade adicional do método da invenção é, portanto, um suporte de dados (ou um meio de armazenamento digital, ou um meio legível por computador) que compreende, gravado no mesmo, o programa de computador para realizar um dos métodos descritos no presente documento. O suporte de dados, o meio de armazenamento digital ou o meio gravado é tipicamente tangível e/ou não transitório.

[095] Uma modalidade adicional do método da invenção é, portanto, uma corrente de dados ou uma sequência de sinais que representa o programa de computador para realizar um dos métodos descritos no presente documento. A corrente de dados ou a sequência de sinais pode ser, por exemplo, configurada para ser transferida através de uma conexão de comunicação de dados, por exemplo, através da Internet.

[096] Uma modalidade adicional compreende um meio de processamento, por exemplo, um computador, ou um dispositivo de lógica programável, configurado para ou adaptado para realizar um dos métodos descritos no presente documento.

[097] Uma modalidade adicional compreende um computador que tem instalado no mesmo, o programa de computador para realizar um dos métodos descritos no presente documento.

[098] Uma modalidade adicional de acordo com a invenção compreende um aparelho ou um sistema configurado para transferir (por exemplo, eletrônica ou opticamente) um programa de computador para realizar um dos métodos descritos no presente documento para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou similares. O aparelho ou sistema pode, por exemplo, compreender um servidor de arquivo para transferir o programa de computador para o receptor.

[099] Em algumas modalidades, um dispositivo de lógica programável (por exemplo, um arranjo de porta programável em campo) pode ser usado para realizar parte ou a totalidade das funcionalidades dos métodos descritos no presente documento. Em algumas modalidades, um arranjo de porta programável em campo pode cooperar com um microprocessador a fim de realizar um dos métodos descritos no presente documento. De modo geral, os métodos são, de preferência, realizados por qualquer aparelho de hardware.

[100] As modalidades descritas acima são meramente ilustrativas para os princípios da presente invenção. Entende-se que modificações e variações das disposições e os detalhes descritos no presente documento se tornarão evidentes para os versados na técnica. Portanto, é previsto que a mesmas sejam limitadas apenas pelo escopo das reivindicações de patente iminente e não pelos detalhes específicos apresentados a título de descrição e explicação das modalidades no presente documento.

Claims (24)

1. Codificador de áudio para codificar dados de entrada de áudio (101) para obter dados de saída de áudio (501) caracterizado por compreender: uma interface de entrada (100) para receber uma pluralidade de canais de áudio, uma pluralidade de objetos de áudio e metadados relacionados a um ou mais dentre a pluralidade de objetos de áudio; um misturador (200) configurado para misturar a pluralidade de objetos de áudio e a pluralidade de canais de áudio para obter uma pluralidade de canais de áudio pré-misturados, em que cada canal de áudio pré-misturado compreende dados de áudio de um canal de áudio e dados de áudio de pelo menos um objeto de áudio; um codificador de núcleo (300) para codificar por núcleo dados de entrada de codificador de núcleo; e um compactador de metadados (400) configurado para compactar os metadados relacionados ao um ou mais dentre a pluralidade de objetos de áudio, em que o codificador de áudio está configurado para operar em ambos os modos de um grupo de pelo menos dois modos que compreende um primeiro modo, no qual o codificador de núcleo está configurado para codificar a pluralidade de canais de áudio e a pluralidade de objetos de áudio recebida pela interface de entrada como dados de entrada de codificador de núcleo, e um segundo modo, no qual o codificador de núcleo (300) está configurado para receber, como dados de entrada de codificador de núcleo, a pluralidade de canais de áudio pré-misturados gerados pelo misturador (200) e para codificar a pluralidade de canais de áudio pré-misturados.

2. Codificador de áudio, de acordo com a reivindicação 1, caracterizado por compreender: um codificador de objeto de áudio espacial (800) para gerar um ou mais canais de áudio de transporte e dados paramétricos de dados de entrada de codificador de objeto de áudio espacial, em que o codificador de áudio está configurado para operar em um terceiro modo diferente do primeiro modo e do segundo modo, quando o codificador de áudio não está operando no primeiro modo nem no segundo modo, em que, no terceiro modo, o codificador de núcleo (300) codifica o um ou mais canais de áudio de transporte derivados dos dados de entrada de codificador de objeto de áudio espacial, os dados de entrada de codificador de objeto de áudio espacial compreendendo a pluralidade de objetos de áudio ou a pluralidade de canais de áudio.

3. Codificador de áudio, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente: um codificador de objeto de áudio espacial (800) para gerar um ou mais canais de áudio de transporte e dados paramétricos de dados de entrada de codificador de objeto de áudio espacial, em que o codificador de áudio está configurado para operar adicionalmente em um quarto modo diferente do primeiro modo e do segundo modo, quando o codificador de áudio não está operando em o primeiro modo nem no segundo modo, em que, no quarto modo o codificador de núcleo codifica núcleo de canais de áudio de transporte derivados pelo codificador de objeto de áudio espacial (800) dos canais de áudio pré-misturados como os dados de entrada de codificador de objeto de áudio espacial.

4. Codificador de áudio, de acordo com a reivindicação 2, caracterizado por o codificador de áudio ser configurado para operar adicionalmente em um quarto modo diferente do primeiro modo e do segundo modo e do terceiro modo, quando o codificador de áudio está operando em nenhum do primeiro modo, do segundo modo e do terceiro modo, no quarto modo o codificador de núcleo codifica o núcleo dos canais de áudio de transporte derivados pelo codificador de objeto de áudio espacial (800) dos canais de áudio pré-misturados como os dados de entrada do codificador de objeto de áudio espacial.

5. Codificador de áudio, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por compreender adicionalmente um conector para conectar uma saída da interface de entrada (100) a uma entrada do codificador de núcleo (300) no primeiro modo e para conectar a saída da interface de entrada (100) a uma entrada do misturador (200) e para conectar uma saída do misturador (200) à entrada do codificador de núcleo (300) no segundo modo, e um controlador de modo (600) para controlar o conector de acordo com uma indicação de modo recebida de uma interface de usuário ou que é extraída dos dados de entrada de áudio (101) recebidos pela interface de entrada.

6. Codificador de áudio, de acordo com a reivindicação 4, caracterizado por compreender adicionalmente: uma interface de saída (500) para fornecer um sinal de saída como os dados de saída de áudio (501), em que o sinal de saída compreende, no primeiro modo, uma saída do codificador de núcleo (300) e metadados compactados, e que compreende, no segundo modo, uma saída do codificador de núcleo (300) sem quaisquer metadados, e que compreende, no terceiro modo, uma saída do codificador de núcleo (300), informações de lado de SAOC e dos metadados compactados e que compreende, no quarto modo, uma saída do codificador de núcleo (300) e informações de lado de SAOC.

7. Codificador de áudio, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado por o misturador (200) estar configurado para pré- renderizar a pluralidade de objetos de áudio com o uso dos metadados e uma indicação da posição de cada canal de áudio em uma definição de nova reprodução, a qual a pluralidade de canais de áudio está associada, e em que o misturador (200) está configurado para misturar um objeto de áudio com pelo menos dois canais de áudio e, com isso, então, o número total de canais de áudio, quando o objeto de áudio deve ser colocado entre os pelo menos dois canais de áudio na definição de nova reprodução, conforme determinado pelos metadados.

8. Codificador de áudio, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado por compreender adicionalmente um descompactador de metadados (420) para descompactar metadados compactados emitidos pelo compactador de metadados (400), e em que o misturador (200) está configurado para misturar a pluralidade de objetos de acordo com metadados descompactados, em que uma operação de compactação realizada pelo compactador de metadados (400) é uma operação de compactação com perda que compreende uma etapa de quantização.

9. Decodificador de áudio para decodificar dados de áudio codificados caracterizado por compreender: uma interface de entrada (1100) configurada para receber os dados de áudio codificados; um decodificador de núcleo (1300) configurado para decodificar uma pluralidade de canais de áudio codificados e uma pluralidade de objetos de áudio codificados para obter uma pluralidade de canais de áudio decodificados e uma pluralidade de objetos de áudio decodificados, quando os dados de áudio codificados compreendem a pluralidade de canais de áudio codificados e a pluralidade de objetos de áudio codificados, e configurados para decodificar a pluralidade de canais de áudio codificados para obter a pluralidade de canais de áudio decodificados, quando os dados de áudio codificados não contêm nenhum objeto de áudio codificado; um descompactador de metadados (1400) configurado para descompactar os metadados compactados relacionados à pluralidade de objetos de áudio codificados para obter metadados descompactados, quando os dados de áudio codificados compreendem os metadados compactados, um processador de objetos (1200) configurado para processar a pluralidade de objetos de áudio decodificados com o uso dos metadados descompactados para obter um número de canais de áudio de saída (1205) que compreendem dados de áudio dos objetos de áudio decodificados e dos canais decodificados; e um pós-processador (1700) configurado para converter o número de canais de áudio de saída (1205) em um formato de saída, em que o decodificador de áudio está configurado para ignorar o processador de objetos e para alimentar uma pluralidade de canais de áudio decodificados no pós-processador (1700), quando os dados de áudio codificados não contêm quaisquer objetos de áudio codificados, e para alimentar a pluralidade de objetos de áudio decodificados e a pluralidade de canais de áudio decodificados no processador de objetos (1200), quando os dados de áudio codificados compreendem canais de áudio codificados e objetos de áudio codificados.

10. Decodificador de áudio, de acordo com a reivindicação 9, caracterizado por o pós-processador (1700) estar configurado para converter o número de canais de saída (1205) em uma representação binaural ou em um formato de reprodução que tem um número de canais de áudio menor que o número de canais de áudio de saída, em que o decodificador de áudio está configurado para controlar o pós-processador (1700) de acordo com entrada de controle derivada da interface de usuário ou extraída do dado de áudio codificado recebido pela interface de entrada.

11. Decodificador de áudio, de acordo com a reivindicação 9 ou 10, caracterizado por o processador de objetos compreender: um renderizador de objetos para renderizar objetos de áudio decodificados com o uso de metadados descompactados; e um misturador (1220) para misturar objetos de áudio renderizados e canais decodificados para obter o número de canais de áudio de saída (1205).

12. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 11, caracterizado por o processador de objetos (1200) compreender: um decodificador de codificação de objeto de áudio espacial para decodificar um ou mais canais de áudio de transporte e informações de lado paramétrico associadas que representam objetos de áudio codificados, em que o decodificador de codificação de objeto de áudio espacial está configurado para renderizar os objetos de áudio decodificados de acordo com informações de renderização relacionadas a uma colocação dos objetos de áudio e para controlar o processador de objetos para misturar os objetos de áudio renderizados e os canais de áudio decodificados para obter o número de canais de áudio de saída (1205).

13. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 11, caracterizado por o processador de objetos (1200) compreender um decodificador de codificação de objeto de áudio espacial (1800) para decodificar um ou mais canais de áudio de transporte e informações de lado paramétrico associadas que representam objetos de áudio codificados e canais de áudio codificados, em que o decodificador de codificação de objeto de áudio espacial está configurado para decodificar os objetos de áudio codificados e os canais de áudio codificados com o uso do um ou mais canais de áudio de transporte e das informações de lado paramétrico para obter objetos de áudio decodificados e canais de áudio decodificado, e em que o processador de objetos está configurado para renderizar os objetos de áudio decodificados com o uso dos metadados descompactados e para misturar os canais de áudio decodificados com os objetos de áudio renderizados para obter o número de canais de áudio de saída (1205).

14. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 11, caracterizado por o processador de objetos (1200) compreender um decodificador de codificação de objeto de áudio espacial (1800) para decodificar um ou mais canais de áudio de transporte e informações de lado paramétrico associadas que representam objetos de áudio codificados ou canais de áudio codificados para obter canais de áudio de transporte decodificados, em que o decodificador de codificação de objeto áudio espacial está configurado para transcodificar as informações paramétricas associadas e os metadados descompactados em informações de lado paramétrico transcodificadas utilizadas para renderizar diretamente o formato de saída, e em que o pós-processador (1700) está configurado para calcular canais de áudio do formato de saída com o uso dos canais de áudio de transporte decodificados e das informações de lado paramétrico transcodificadas, ou em que o decodificador de codificação de objeto áudio espacial está configurado para efetuar diretamente o upmix e renderizar sinais de canal de áudio para o formato de saída com o uso dos canais de áudio de transporte decodificados e das informações de lado paramétrico

15. Decodificador de áudio, de acordo com a reivindicação 11, caracterizado por o processador de objetos (1200) compreender um decodificador de codificação de objeto de áudio espacial para decodificar um ou mais canais de áudio de transporte emitidos pelo decodificador de núcleo (1300) e dados paramétricos associados e metadados descompactados para obter uma pluralidade de objetos de áudio renderizados, em que o processador de objetos (1200) está adicionalmente configurado para renderizar objetos de áudio emitidos pelo decodificador de núcleo (1300); em que o processador de objetos (1200) está adicionalmente configurado para misturar objetos de áudio decodificados renderizados com canais de áudio decodificados, o decodificador de áudio compreende adicionalmente uma interface de saída (1730) para emitir uma saída do misturador (1220) para alto-falantes, e o pós-processador compreende adicionalmente: um renderizador binaural para renderizar os canais de saída em dois canais de áudio binaurais com o uso de funções de transferência relacionadas à cabeça ou respostas de impulso binaural, e um conversor de formato (1720) configurado para converter os canais de áudio de saída em um formato de saída que tem um número menor de canais de áudio que os canais de áudio de saída do misturador (1220) com o uso de informações sobre um plano de reprodução.

16. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 15, caracterizado por a pluralidade de canais de áudio codificados ou a pluralidade de objetos de áudio codificados serem codificadas como elementos de par de canais de áudio, elementos de canal de áudio simples, elementos de baixa frequência ou elementos de canal de áudio quádruplo, em que um elemento de canal de áudio quádruplo compreende quatro canais de áudio ou objetos de áudio originais, e em que o decodificador de núcleo (1300) está configurado para decodificar os elementos par de canais de áudio, elementos de canal de áudio simples, elementos de baixa frequência ou elementos de canal de áudio quádruplo de acordo com informações de lado incluídas nos dados de áudio codificados indicando um elemento par de canal de áudio, um elemento de canal de áudio único, um elemento de baixa frequência ou um elemento de canal de áudio quádruplo.

17. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 16, caracterizado por o decodificador de núcleo (1300) estar configurado para aplicar operação de decodificação de banda completa com o uso de uma operação de preenchimento de ruído sem uma operação de replicação de banda espectral.

18. Decodificador de áudio, de acordo com a reivindicação 15, caracterizado por certos elementos compreenderem o renderizador binaural (1710), o conversor de formato (1720), um misturador (1220), um decodificador de codificação de objeto de áudio espacial de SAOC (1800), o decodificador de núcleo (1300) e um renderizador de objetos (1210) que operam em um domínio de banco de filtro de espelho de quadratura (AMF) e em que o domínio de banco de filtro de espelho de quadratura é transmitido de um dos certos elementos para outro dentre os certos elementos sem nenhum banco de filtro de síntese e processamento de análise de banco de filtro subsequente.

19. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 18, caracterizado por o pós-processador (1700) estar configurado para efetuar o downmix dos canais de áudio emitidos pelo processador de objetos (1200) para um formato que tem três ou mais canais de áudio e que tem menos canais de áudio que o número de canais de áudio de saída (1205) do processador de objetos (1200) para obter um downmix intermediário, e o pós- processador (1700) é configurado para renderizar binauralmente (1210) os canais do downmix intermediário em um sinal de saída binaural de dois canais.

20. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 16, caracterizado por o pós-processador (1700) compreender: um downmixer controlado (1722) para aplicar uma matriz de downmix; e um controlador (1724) para determinar uma matriz de downmix específica com o uso de informações em uma configuração de canal de uma saída do processador de objetos (1200) e de informações sobre um plano de reprodução pretendido.

21. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 20, caracterizado por o decodificador de núcleo (1300) ou o processador de objetos (1200) serem controláveis, e o pós-processador (1700) está configurado para controlar o decodificador de núcleo (1300) ou o processador de objetos (1200) de acordo com informações sobre o formato de saída de modo que um processamento de descorrelação incidente de renderização de objetos de áudio ou canais de áudio que não ocorrem como canais de áudio separados no formato de saída seja reduzido ou eliminado, ou de modo que, para objetos de áudio ou canais de áudio que não ocorrem como os canais de áudio separados no formato de saída, sejam realizadas operações de upmix ou decodificação como se os objetos de áudio ou canais de áudio ocorressem como canais de áudio separados no formato de saída, exceto que todo processamento de descorrelação para os objetos de áudio ou canais de áudio que não ocorrem como canais de áudio separados no formato de saída é desativado.

22. Decodificador de áudio, de acordo com qualquer uma das reivindicações 9 a 21, caracterizado por o decodificador de núcleo (1300) estar configurado para realizar decodificação por transformada e uma decodificação de replicação de banda espectral para um único elemento de canal de áudio, e para realizar decodificação por transformada, decodificação de estéreo paramétrico e decodificação de reprodução de banda espectral para elementos par de canais de áudio e elementos de canal de áudio quádruplo.

23. Método de codificação de dados de entrada de áudio (101) para obter dados de saída de áudio (501) caracterizado por compreender: receber (100) uma pluralidade de canais de áudio, uma pluralidade de objetos de áudio e metadados relacionados a um ou mais dentre a pluralidade de objetos de áudio; misturar (200) a pluralidade de objetos de áudio e a pluralidade de canais de áudio para obter uma pluralidade de canais de áudio pré-misturados, cada canal de áudio pré-misturado compreendendo dados de áudio de um canal de áudio e dados de áudio de pelo menos um objeto de áudio; codificar por núcleo (300) dados de entrada de codificador de núcleo; e compactar (400) os metadados relacionados ao um ou mais dentre a pluralidade de objetos de áudio, em que o método de codificação de dados de entrada de áudio opera em qualquer um dos modos de um grupo de dois ou mais modos que compreende um primeiro modo, no qual a codificação por núcleo codifica a pluralidade de canais de áudio e a pluralidade de objetos de áudio recebida como dados de entrada de codificação de núcleo, e um segundo modo, no qual a codificação de núcleo (300) recebe, como os dados de entrada de codificação de núcleo, a pluralidade de canais de áudio pré-misturados gerada pela mistura (200) e codifica por núcleo a pluralidade de canais pré-misturados.

24. Método de decodificação de dados de áudio codificados caracterizado por compreender: receber (1100) os dados de áudio codificados; decodificar por núcleo (1300) uma pluralidade de canais de áudio codificados e uma pluralidade de objetos de áudio codificados para obter uma pluralidade de canais de áudio decodificados e uma pluralidade de objetos de áudio decodificados, quando os dados de áudio codificados compreendem a pluralidade de canais de áudio codificados e a pluralidade de objetos de áudio codificados, e decodificando por núcleo a pluralidade de canais de áudio codificados para obter a pluralidade de canais de áudio decodificados, quando os dados de áudio codificados não contém nenhum objeto de áudio codificado; descompactar (1400) os metadados compactados relacionados à pluralidade de objetos de áudio codificados para obter metadados descompactados, quando os dados de áudio codificados compreendem os metadados compactados, processar (1200) a pluralidade de objetos de áudio decodificados com o uso dos metadados descompactados para obter um número de canais de áudio de saída (1205) que compreendem dados de áudio dos objetos de áudio decodificados e dos canais de áudio decodificados; e converter (1700) o número de canais de áudio de saída (1205) em um formato de saída, em que, no método de decodificação dos dados de áudio codificados, o processamento (1200) da pluralidade de objetos de áudio decodificados é ignorado e uma pluralidade de canais de áudio decodificados é alimentada no conversor (1700), quando os dados de áudio codificados não contêm quaisquer objetos de áudio codificados, e a pluralidade de objetos de áudio decodificados e a pluralidade de canais de áudio decodificados são alimentadas no processamento (1200) da pluralidade de objetos de áudio decodificados, quando os dados de áudio codificados compreendem canais codificados e objetos de áudio codificados.

Images