ES2727300T3 - Procesamiento de señales de audio durante la reconstrucción de alta frecuencia - Google Patents

Procesamiento de señales de audio durante la reconstrucción de alta frecuencia Download PDF

Info

Publication number
ES2727300T3
ES2727300T3 ES17188331T ES17188331T ES2727300T3 ES 2727300 T3 ES2727300 T3 ES 2727300T3 ES 17188331 T ES17188331 T ES 17188331T ES 17188331 T ES17188331 T ES 17188331T ES 2727300 T3 ES2727300 T3 ES 2727300T3
Authority
ES
Spain
Prior art keywords
high frequency
subband signals
signal
frequency subband
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17188331T
Other languages
English (en)
Inventor
Kristofer Kjoerling
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44514661&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2727300(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Dolby International AB filed Critical Dolby International AB
Application granted granted Critical
Publication of ES2727300T3 publication Critical patent/ES2727300T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

Un sistema (601, 703) configurado para generar una pluralidad de señales de subbanda de audio de alta frecuencia (604) que cubren un intervalo de alta frecuencia desde una pluralidad de señales de subbanda de baja frecuencia (602), el sistema (601, 703) comprende: - medios para recibir la pluralidad de señales de subbanda de baja frecuencia (602); - menos para recibir un conjunto de energías objetivo, cada energía objetivo cubre un intervalo objetivo diferente (130) dentro del intervalo de alta frecuencia y que es indicativo de la energía deseada de una o más señales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo (130); - medios para generar la pluralidad de señales de subbanda de alta frecuencia (604) a partir de la pluralidad de señales de subbanda de baja frecuencia (602) y a partir de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de señales de subbanda de baja frecuencia (602), respectivamente; y - medios para ajustar la energía (203) de la pluralidad de señales de subbanda de alta frecuencia (604) utilizando el conjunto de energías objetivo, en donde los medios para ajustar comprenden medios para limitar el ajuste de la energía de las señales de subbanda de alta frecuencia (604) que se encuentran en el intervalo limitador (135).

Description

DESCRIPCIÓN
Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
Campo técnico
La solicitud se refiere a la HFR (regeneración/reconstrucción de alta frecuencia o «High Frequency Reconstruction/Regeneration») de señales de audio. En particular, la solicitud se refiere a un método y un sistema para realizar la HFR de señales de audio que tienen grandes variaciones en los niveles de energía a través del intervalo de baja frecuencia, que se utiliza para reconstruir las altas frecuencias de la señal de audio.
Antecedentes de la invención
Las tecnologías HFR, tales como la tecnología de replicación de la banda espectral (SBR, «Spectral Band Replication»), permiten mejorar significativamente la eficiencia de codificación de los códecs de audio perceptuales tradicionales. En combinación con la codificación de audio avanzada (AAC, «Advanced Audio Coding») MPEG-4, HFR forma un códec de audio muy eficaz, que ya está en uso en el sistema de radio por satélite XM y en Digital Radio Mondiale, y también estandarizado dentro del foro 3GPP, DVD y otros. La combinación de AAC y SBR se denomina aacPlus. Forma parte de la norma MPEG-4, en la que se denomina perfil AAC de alta eficiencia (HE-AAC, «High Efficiency AAC Profile»). En general, la tecnología de HFR se puede combinar con cualquier códec de audio perceptual de una manera compatible en ambos sentidos, ofreciendo de esta manera la posibilidad de mejorar los sistemas de difusión ya establecidos, como el MPEG capa 2 utilizado en el sistema Eureka DAB. Los métodos HFR también se pueden combinar con códecs de voz para permitir la transmisión de voz de banda ancha a tasas de bits ultrabajas.
La idea básica en la que se basa la HFR es la observación de que normalmente existe una fuerte correlación entre las características del intervalo de alta frecuencia de una señal y las características del intervalo de baja frecuencia de la misma señal. De esta manera, se puede lograr una buena aproximación para la representación del intervalo de alta frecuencia de entrada original de una señal mediante una transposición de la señal desde el intervalo de baja frecuencia hasta el intervalo de alta frecuencia.
Este concepto de transposición se estableció en el documento WO 98/57436 como método para recrear una banda de alta frecuencia a partir de una banda de menor frecuencia de una señal de audio. Al utilizar este concepto en la codificación de audio y/o en la codificación de voz se puede obtener un ahorro substancial en términos de la tasa de bits. A continuación, se hará referencia a la codificación de audio, pero cabe señalar que los métodos y sistemas descritos son igualmente aplicables a la codificación de voz y codificación unificada de voz y audio (USAC, «Unified Speech and Audio Coding»).El documento WO 02/41301 A1 describe un descodificador de audio con blanqueo espectral basado en una predicción lineal después de reconstrucción de alta frecuencia y antes de ajuste de envolvente.
La reconstrucción de alta frecuencia se puede realizar en el dominio del tiempo o en el dominio de la frecuencia, utilizando un banco de filtros o una transformación elegida. El proceso normalmente implica varias etapas, en donde las dos operaciones principales consisten en primer lugar en crear una señal de excitación de alta frecuencia y, posteriormente, conformar la señal de excitación de alta frecuencia para aproximarse a la envolvente espectral del espectro de alta frecuencia original. La etapa de creación de una señal de excitación de alta frecuencia se puede basar, por ejemplo, en la modulación de banda lateral única (SSB, «Single SideBand»), en donde una sinusoide con frecuencia w se asigna a una sinusoide con frecuencia w Aw, en donde Aw es un desplazamiento de frecuencia fijo. En otras palabras, la señal de alta frecuencia puede ser generada a partir de la señal de baja frecuencia mediante una operación de «copia» de subbandas de baja frecuencia a subbandas de alta frecuencia. Un planteamiento adicional de cara a la creación de una señal de excitación de alta frecuencia puede involucrar la transposición armónica de subbandas de baja frecuencia. La transposición armónica de orden T se diseña típicamente para asignar una sinusoide con frecuencia w de la señal de baja frecuencia a una sinusoide con frecuencia Tw, con T > 1, de la señal de alta frecuencia.
La tecnología HFR se puede usar como parte de los sistemas de codificación de fuente, en los que una variedad de información de control destinada a guiar el proceso HFR desde un codificador hasta un descodificador junto con una representación de la señal de banda estrecha/baja frecuencia. En el caso de los sistemas en los que no se pueda transmitir ninguna señal de control adicional, el proceso se puede aplicar en el lado de descodificador con los datos de control adecuados estimados a partir de la información disponible en el lado de descodificador.
El ajuste de envolvente mencionado anteriormente de la señal de excitación de alta frecuencia tiene como objetivo lograr una forma espectral que se asemeje a la forma espectral de la banda alta original. Para ello, es necesario modificar la forma espectral de la señal de alta frecuencia. Dicho de manera diferente, el ajuste que se ha de aplicar a la banda alta es una función de la envolvente espectral existente y de la envolvente espectral objetivo deseada.
En el caso de los sistemas que operan en el dominio de la frecuencia, por ejemplo, sistemas HFR implementados en un banco de filtros seudo-QMF, los métodos de la técnica anterior son subóptimos a este respecto, ya que la creación de la señal de banda alta, mediante la combinación de varias contribuciones desde el intervalo de frecuencia de fuente, introduce una envolvente espectral artificial en la banda alta que debe ser ajustada por envolvente. En otras palabras, la señal de alta frecuencia o de banda alta generada a partir de la señal de baja frecuencia durante el proceso HFR muestra típicamente una envolvente espectral artificial (que típicamente comprende discontinuidades espectrales). Esto plantea dificultades para el ajustador de envolvente espectral, ya que el ajustador no solo debe tener la capacidad de aplicar la envolvente espectral deseada con una resolución adecuada de tiempo y de frecuencia, sino que el ajustador también debe tener la capacidad de deshacer las características espectrales introducidas artificialmente por el generador de señal HFR. Esto plantea complejas restricciones de diseño del ajustador de envolvente. Como resultado, estas dificultades tienden a llevar a una pérdida percibida de la energía de alta frecuencia, y discontinuidades audibles en la forma espectral en la señal de banda alta, particularmente en el caso de señales de tipo voz. En otras palabras, los generadores de señales HFR convencionales tienden a introducir discontinuidades y variaciones de nivel en la señal de banda alta para señales que tienen grandes variaciones de nivel en el intervalo de banda baja, por ejemplo sibilancias. Cuando posteriormente el ajustador de envolvente se expone a esta señal de banda alta, el ajustador de envolvente no puede separar, de manera razonable y consistente, la discontinuidad recientemente introducida de cualquier característica espectral natural de la señal de banda baja.
El presente documento describe una solución al problema mencionado anteriormente, lo que tiene como resultado una mayor calidad de audio percibida. En particular, el presente documento describe una solución al problema de generar una señal de banda alta a partir de una señal de banda baja, en donde la envolvente espectral de la señal de banda alta se ajusta de manera efectiva con el fin de que se asemeje a la envolvente espectral original en la banda alta sin introducir artefactos no deseados.
Compendio de la invención
Según la invención, se proporciona un sistema como se presenta en la reivindicación 1, un método como se presenta en la reivindicación 2, un medio de almacenamiento como se presenta en la reivindicación 3, y un producto de programa informático como se presenta en la reivindicación 4.
El presente documento propone una etapa de corrección adicional como parte de la generación de señal de reconstrucción de alta frecuencia. Como resultado de la etapa de corrección adicional, se mejora la calidad de audio del componente de alta frecuencia o de la señal de banda alta. La etapa de corrección adicional se puede aplicar a todos los sistemas de codificación de fuente que utilicen técnicas de reconstrucción de alta frecuencia, así como a cualquier método o sistema de posprocesamiento de un solo extremo que tenga como objetivo recrear las altas frecuencias de una señal de audio.
De acuerdo con un aspecto, se describe un sistema configurado para generar una pluralidad de señales de subbanda de alta frecuencia que cubran un intervalo de alta frecuencia. El sistema puede estar configurado para generar la pluralidad de señales de subbanda de alta frecuencia a partir de una pluralidad de señales de subbanda de baja frecuencia. La pluralidad de señales de subbanda de baja frecuencia pueden ser señales de subbanda de una señal de audio de banda baja o banda estrecha, que se puede determinar utilizando una transformada o un banco de filtros de análisis. En particular, la pluralidad de señales de subbanda de baja frecuencia se puede determinar a partir de una señal en el dominio del tiempo de banda baja utilizando un banco de filtros de análisis QMF (filtro espejo en cuadratura, «Quadrature Mirror Filter») o una FFT (transformada rápida de Fourier, «Fast Fourier Transform»). La pluralidad de señales de subbanda de alta frecuencia generada puede corresponder a una aproximación de las señales de subbanda de alta frecuencia de una señal de audio original a partir de la cual se ha derivado la pluralidad de señales de subbanda de baja frecuencia. En particular, la pluralidad de señales de subbanda de baja frecuencia y la pluralidad de señales de subbanda de alta frecuencia (re)generadas puede corresponder a las subbandas de un banco de filtros QMF y/o de una transformada FFT.
El sistema puede comprender medios para recibir la pluralidad de señales de subbanda de baja frecuencia. Como tal, el sistema se puede colocar después de la transformada o del banco de filtros de análisis que genera la pluralidad de señales de subbanda de baja frecuencia a partir de una señal de banda baja. La señal de banda baja puede ser una señal de audio que se ha descodificado en un descodificador central a partir de un flujo de bits recibido. El flujo de bits se puede almacenar en un soporte de almacenamiento, por ejemplo, un disco compacto o un DVD, o el flujo de bits puede ser recibido en el descodificador a través de un medio de transmisión, por ejemplo, un medio de transmisión de radio u óptico.
El sistema puede comprender medios para recibir un conjunto de energías objetivo, que también se pueden denominar energías de factor de escala. Cada energía objetivo puede cubrir un intervalo objetivo diferente, que también se puede denominar una banda de factor de escala, dentro del intervalo de alta frecuencia. Típicamente, el conjunto de intervalos objetivo que corresponde al conjunto de energías objetivo cubre el intervalo de alta frecuencia completo. Una energía objetivo del conjunto de energías objetivo es normalmente indicativa de la energía deseada de una o más señales de subbanda de alta frecuencia dispuestas dentro del intervalo objetivo correspondiente. En particular, la energía objetivo puede corresponder a la energía deseada media de la una o más señales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo correspondiente. La energía objetivo de un intervalo objetivo se deriva típicamente de la energía de la señal de banda alta de la señal de audio original dentro del intervalo objetivo. En otras palabras, el conjunto de energías objetivo describe típicamente la envolvente espectral de la zona de banda alta de la señal de audio original.
El sistema puede comprender medios para generar la pluralidad de señales de subbanda de alta frecuencia a partir de la pluralidad de señales de subbanda de baja frecuencia. Para este propósito, los medios para generar la pluralidad de señales de subbanda de alta frecuencia pueden estar configurados para realizar una transposición de copia de la pluralidad de señales de subbanda de baja frecuencia y/o realizar una transposición armónica de la pluralidad de señales de subbanda de baja frecuencia.
Además, los medios para generar la pluralidad de señales de subbanda de alta frecuencia pueden tener en cuenta una pluralidad de coeficientes de ganancia espectral durante el proceso de generación de la pluralidad de señales de subbanda de alta frecuencia. La pluralidad de coeficientes de ganancia espectral puede estar asociada con la pluralidad de señales de subbanda de baja frecuencia, respectivamente. En otras palabras, cada señal de subbanda de baja frecuencia de la pluralidad de señales de subbanda de baja frecuencia puede tener un coeficiente de ganancia espectral correspondiente a partir de la pluralidad de coeficientes de ganancia espectral. Un coeficiente de ganancia espectral de la pluralidad de coeficientes de ganancia espectral se puede aplicar a la señal de subbanda de baja frecuencia correspondiente.
La pluralidad de coeficientes de ganancia espectral se puede asociar con la energía de la respectiva pluralidad de señales de subbanda de baja frecuencia. En particular, cada coeficiente de ganancia espectral se puede asociar con la energía de su señal de subbanda de baja frecuencia correspondiente. En una realización, se determina un coeficiente de ganancia espectral sobre la base de la energía de la señal de subbanda de baja frecuencia correspondiente. Para este propósito, se puede determinar una curva dependiente de la frecuencia sobre la base de la pluralidad de valores de energía de la pluralidad de señales de subbanda de baja frecuencia. En este caso, un método para determinar la pluralidad de coeficientes de ganancia puede estar basado en la curva dependiente de la frecuencia que se determina a partir de una representación (por ejemplo, logarítmica) de las energías de la pluralidad de señales de subbanda de baja frecuencia.
En otras palabras, la pluralidad de coeficientes de ganancia espectral se puede derivar de una curva dependiente de la frecuencia ajustada a la energía de la pluralidad de señales de subbanda de baja frecuencia. En particular, la curva dependiente de la frecuencia puede ser un polinomio de un orden/grado predeterminado. De manera alternativa o además, la curva dependiente de la frecuencia puede comprender diferentes segmentos de curva, en donde los diferentes segmentos de curva están ajustados a la energía de la pluralidad de señales de subbanda de baja frecuencia en diferentes intervalos de frecuencia. Los diferentes segmentos de curva pueden ser diferentes polinomios de un orden predeterminado. En una realización, los diferentes segmentos de curva son polinomios de orden cero, de modo que los segmentos de curva representan los valores de energía media de la energía de la pluralidad de señales de subbanda de baja frecuencia dentro del intervalo de frecuencia correspondiente.
En una realización adicional, la curva dependiente de la frecuencia se ajusta a la energía de la pluralidad de señales de subbanda de baja frecuencia al realizar una operación de filtrado de media móvil sobre los diferentes intervalos de frecuencia.
En una realización, un coeficiente de ganancia de la pluralidad de coeficientes de ganancia se deriva de la diferencia de la energía media de la pluralidad de señales de subbanda de baja frecuencia y de un valor correspondiente de la curva dependiente de la frecuencia. El valor correspondiente de la curva dependiente de la frecuencia puede ser un valor de la curva a una frecuencia que se encuentra dentro del intervalo de frecuencia de la señal de subbanda de baja frecuencia a la cual corresponde el coeficiente de ganancia.
Típicamente, la energía de la pluralidad de señales de subbanda de baja frecuencia se determina en una determinada cuadrícula de tiempo, por ejemplo, trama a trama, es decir, la energía de una señal de subbanda de baja frecuencia dentro de un intervalo de tiempo definido por la cuadrícula de tiempo corresponde a la energía media de las muestras de la señal de subbanda de baja frecuencia dentro del intervalo de tiempo, por ejemplo, dentro de un trama. Como tal, se puede determinar una diferente pluralidad de coeficientes de ganancia espectral en la cuadrícula de tiempo elegida, por ejemplo, se puede determinar una diferente pluralidad de coeficientes de ganancia espectral para cada trama de la señal de audio. En una realización, la pluralidad de coeficientes de ganancia espectral se puede determinar muestra por muestra, por ejemplo, determinando la energía de la pluralidad de subbandas de baja frecuencia utilizando una ventana flotante a través de las muestras de cada señal de subbanda de baja frecuencia. Cabe señalar que el sistema puede comprender medios para determinar la pluralidad de coeficientes de ganancia espectral a partir de una pluralidad de señales de subbanda de baja frecuencia. Estos medios pueden estar configurados para realizar los métodos mencionados anteriormente con el fin de determinar la pluralidad de coeficientes de ganancia espectral.
Los medios para generar la pluralidad de señales subbanda de alta frecuencia pueden estar configurados para amplificar la pluralidad de señales de subbanda de baja frecuencia utilizando la respectiva pluralidad de coeficientes de ganancia espectral. Aunque en lo sucesivo se hace referencia a «amplificar» o «amplificación», la operación de «amplificación» se puede reemplazar por otras operaciones, tales como una operación de «multiplicación», una operación de «reajuste de escala» o una operación de «ajuste». La amplificación se puede realizar multiplicando una muestra de una señal de subbanda de baja frecuencia por su correspondiente coeficiente de ganancia espectral. En particular, los medios para generar la pluralidad de señales de subbanda de alta frecuencia se pueden configurar para determinar una muestra de una señal de subbanda de alta frecuencia en un instante de tiempo determinado a partir de muestras de una señal de subbanda de baja frecuencia en el instante de tiempo determinado y en al menos un instante de tiempo anterior. Además, las muestras de una señal de subbanda de baja frecuencia pueden estar amplificadas por el respectivo coeficiente de ganancia espectral de la pluralidad de coeficientes de ganancia espectral. En una realización, los medios para generar la pluralidad de señales de subbanda de alta frecuencia están configurados para generar la pluralidad de señales de subbanda de alta frecuencia a partir de la pluralidad de señales de subbanda de baja frecuencia, de acuerdo con el algoritmo de «copia» especificado en MPEG-4 SBR. La pluralidad de señales de subbanda de baja frecuencia usada en este algoritmo de «copia» se puede haber amplificado utilizando la pluralidad de coeficientes de ganancia espectral, en donde la operación de «amplificación» se puede haber realizado según se describió anteriormente.
El sistema puede comprender medios para ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia utilizando el conjunto de energías objetivo. Esta operación se denomina típicamente ajuste de envolvente espectral. El ajuste de envolvente espectral se puede realizar ajustando la energía de la pluralidad de señales de subbanda de alta frecuencia de tal manera que la energía media de la pluralidad de señales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo corresponda con la energía objetivo correspondiente. Esto se puede lograr determinando un valor de ajuste de envolvente a partir de los valores de energía de la pluralidad de señales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo y la energía objetivo correspondiente. En particular, el valor de ajuste de envolvente se puede determinar a partir de una proporción entre la energía objetivo y los valores de energía de la pluralidad de señales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo correspondiente. Este valor de ajuste de envolvente se puede usar para ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia.
Según la invención, los medios para ajustar la energía comprenden medios para limitar el ajuste de la energía de las señales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador. Típicamente, el intervalo limitador cubre más de un intervalo objetivo. Los medios para limitar se usan para evitar una amplificación del ruido no deseable dentro de ciertas señales de subbanda de alta frecuencia. Por ejemplo, los medios para limitar pueden estar configurados para determinar un valor de ajuste de envolvente medio de los valores de ajuste de envolvente que corresponden a los intervalos objetivo cubiertos o que se encuentran dentro del intervalo limitador. Además, los medios para limitar se pueden configurar de manera que limiten el ajuste de la energía de las señales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador a un valor que es proporcional al valor de ajuste de envolvente medio.
Además, los medios para ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia pueden comprender medios para asegurar que las señales de subbanda de alta frecuencia ajustadas que se encuentran dentro del intervalo objetivo particular tengan la misma energía. Estos últimos medios se denominan con frecuencia medios de «interpolación». En otras palabras, los medios de «interpolación» aseguran que la energía de cada una de las señales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo particular corresponda a la energía objetivo. Los medios de «interpolación» se pueden implementar ajustando cada señal de subbanda de alta frecuencia dentro del intervalo objetivo particular por separado, de manera tal que la energía de la señal de subbanda de alta frecuencia ajustada corresponda con la energía objetivo asociada con el intervalo objetivo particular. Esto se puede lograr determinando un valor de ajuste de envolvente diferente para cada señal de subbanda de alta frecuencia dentro del intervalo objetivo particular. Se puede determinar un valor de ajuste de envolvente diferente sobre la base de la energía de la señal de subbanda de alta frecuencia particular y la energía objetivo correspondiente al intervalo objetivo particular. En una realización, el valor de ajuste de envolvente para una señal de subbanda de alta frecuencia particular se determina sobre la base de la proporción entre la energía objetivo y la energía de la señal de subbanda de alta frecuencia particular.
El sistema además puede comprender medios para recibir datos de control. Los datos de control pueden ser indicativos de si se aplica la pluralidad de coeficientes de ganancia espectral para generar la pluralidad de señales de subbanda de alta frecuencia. En otras palabras, los datos de control pueden ser indicativos de si se debe realizar o no el ajuste de ganancia adicional de las señales de subbanda de baja frecuencia. De manera alternativa o además, los datos de control pueden ser indicativos de un método que se utiliza para determinar la pluralidad de coeficientes de ganancia espectral. A modo de ejemplo, los datos de control pueden ser indicativos del orden predeterminado del polinomio que se ha de utilizar para determinar la curva dependiente de la frecuencia ajustada a las energías de la pluralidad de señales de subbanda de baja frecuencia. Los datos de control se reciben típicamente desde un codificador correspondiente que analiza la señal de audio original e informa al correspondiente descodificador o sistema HFR sobre cómo descodificar el flujo de bits.
De acuerdo con otro aspecto, se describe un método para generar una pluralidad de señales de subbanda de alta frecuencia que cubren un intervalo de alta frecuencia desde una pluralidad de señales de subbanda de baja frecuencia. El método puede comprender las etapas de recibir la pluralidad de señales de subbanda de baja frecuencia y/o recibir un conjunto de energías objetivo. Cada energía objetivo puede cubrir un intervalo objetivo diferente dentro del intervalo de alta frecuencia. Además, cada energía objetivo puede ser indicativa de la energía deseada de una o más señales de subbanda de alta frecuencia dispuestas dentro del intervalo objetivo. El método puede comprender la etapa de generar la pluralidad de señales de subbanda de alta frecuencia a partir de la pluralidad de señales de subbanda de baja frecuencia y a partir de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de señales de subbanda de baja frecuencia, respectivamente. De manera alternativa o además, el método puede comprender la etapa de ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia utilizando el conjunto de energías objetivo. La etapa de ajustar la energía puede comprender la etapa de limitar el ajuste de la energía de las señales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador. Típicamente, el intervalo limitador cubre más de un intervalo objetivo.
De acuerdo con otro aspecto, se describe un soporte de almacenamiento. El soporte de almacenamiento puede comprender un programa de software adaptado para su ejecución en un procesador y para realizar las etapas del método descritas en el presente documento cuando se ejecuta en un dispositivo informático.
De acuerdo con un aspecto adicional, se describe un producto de programa informático. El programa informático puede comprender instrucciones ejecutables para realizar las etapas del método descritas en el presente documento cuando se ejecutan en un ordenador.
Cabe señalar que los métodos y los sistemas, incluidas sus realizaciones preferentes como se describe en la presente solicitud de patente, se pueden usar de manera independiente o en combinación con los demás métodos y sistemas descritos en este documento. Además, todos los aspectos de los métodos y sistemas descritos en la presente solicitud de patente se pueden combinar de manera arbitraria. En particular, las características de las reivindicaciones se pueden combinar entre sí de manera arbitraria.
Breve descripción de los dibujos
La invención se explica a continuación por medio de ejemplos ilustrativos, haciendo referencia a los dibujos que se acompañan, en donde
la figura 1a ilustra el espectro absoluto de un ejemplo de señal de banda alta antes del ajuste de envolvente espectral; la figura 1b ilustra un ejemplo de relación entre tramas de tiempo de los datos de audio y bordes de tiempo de envolvente en las envolventes espectrales;
la figura 1c ilustra el espectro absoluto de un ejemplo de señal de banda alta antes del ajuste de envolvente espectral, y las bandas de factor de escala, las bandas limitadoras y los parches HF (alta frecuencia, «High Frequency») correspondientes;
la figura 2 ilustra una realización de un sistema HFR en el que el proceso de copia se complementa con una etapa de ajuste de ganancia adicional;
la figura 3 ilustra una aproximación de la envolvente espectral bruta de un ejemplo de señal de banda baja;
la figura 4 ilustra una realización de un ajustador de ganancia adicional que opera con datos de control opcionales, las muestras de subbandas QMF, y envía como salida una curva de ganancia;
la figura 5 ilustra una realización más detallada del ajustador de ganancia adicional de la figura 4;
la figura 6 ilustra una realización de un sistema HFR con una señal de banda estrecha como entrada y una señal de banda ancha como salida;
la figura 7 ilustra una realización de un sistema HFR incorporado en el módulo SBR de un descodificador de audio; la figura 8 ilustra una realización del módulo de reconstrucción de alta frecuencia de un ejemplo de descodificador de audio;
la figura 9 ilustra una realización de un ejemplo de codificador;
la figura 10a ilustra el espectrograma de un ejemplo de segmento vocal que se ha descodificado utilizando un descodificador convencional;
la figura 10b ilustra el espectrograma del segmento vocal de la figura 10a, que se ha descodificado utilizando un descodificador que aplica el procesamiento de ajuste de ganancia adicional; y
la figura 10c ilustra el espectrograma del segmento vocal de la figura 10a para la señal no codificada original.
Descripción de realizaciones preferidas
Las realizaciones descritas a continuación son meramente ilustrativas de los principios de la presente invención, PROCESAMIENTO DE SEÑALES DE AUDIO DURANTE LA RECONSTRUCCIÓN DE ALTA FRECUENCIA. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en esta invención resultarán evidentes para otros expertos en la materia. Por consiguiente, la intención es limitar la invención únicamente por el alcance de las reivindicaciones de patente pendientes y no por los detalles específicos presentados a modo de descripción y explicación de las realizaciones de esta invención.
Como se describió anteriormente, los descodificadores de audio que utilizan técnicas HFR comprenden típicamente una unidad HFR para generar una señal de audio de alta frecuencia y una posterior unidad de ajuste de envolvente espectral para ajustar la envolvente espectral de la señal de audio de alta frecuencia. Cuando se ajusta la envolvente espectral de la señal de audio, esto se realiza típicamente mediante la implementación de un banco de filtros, o mediante un filtrado en el dominio del tiempo. El ajuste puede tratar de realizar una corrección de la envolvente espectral absoluta o se puede realizar mediante un filtrado que también corrija las características de fase. De cualquier manera, el ajuste es típicamente una combinación de dos etapas, la eliminación de la envolvente espectral actual y la aplicación de la envolvente espectral objetivo.
Es importante señalar que los métodos y los sistemas descritos en el presente documento no están meramente dirigidos a la eliminación de la envolvente espectral de la señal de audio. Los métodos y sistemas tratan de realizar una corrección espectral adecuada de la envolvente espectral de la señal de banda baja como parte de la etapa de regeneración de alta frecuencia, con el fin de no introducir discontinuidades de la envolvente espectral del espectro de alta frecuencia creadas al combinar diferentes segmentos de la banda baja, es decir, la señal de baja frecuencia, desplazados o transpuestos a intervalos de frecuencia diferentes de la banda alta, es decir, la señal de alta frecuencia.
En la figura 1a se muestra un espectro de dibujo estilizado 100, 110 de la salida de una unidad HFR antes de pasar al ajustador de envolvente. En el panel superior, se usa un método de copia (con dos parches) para generar una señal de banda alta 105 a partir de la señal de banda baja 101, por ejemplo, el método de copia utilizado en la MPEG-4 SBR (replicación de banda espectral, «Spectral Band Replication») que se describe en la norma «ISO/IEC 14496-3 Tecnología de la información - Codificación de objetos audiovisuales - Parte 3: Audio». El método de copia traduce partes de las frecuencias inferiores 101 a frecuencias superiores 105. En el panel inferior, se usa un método de transposición armónica (con dos parches) para generar la señal de banda alta 115 a partir de la señal de banda baja 111, por ejemplo, el método de transposición armónica de MPEG-D USAC, que se describe en la norma «MPEG-D USa C: ISO/IEC 23003-3 - Codificación unificada de voz y audio».
En la posterior fase de ajuste de envolvente, se aplica una envolvente espectral objetivo sobre los componentes de alta frecuencia 105, 115. Como se puede ver en el espectro 105, 115 que se dirige al ajustador de envolvente, se pueden observar discontinuidades (de manera notable en los bordes del parche) en la forma espectral de la señal de excitación de banda alta 105, 115, es decir, de la señal de banda alta que entra al ajustador de envolvente. Estas discontinuidades tienen su origen en el hecho de que se usan varias contribuciones de las bajas frecuencias 101, 111 con el fin de generar la banda alta 105, 115. Como se puede observar, la forma espectral de la señal de banda alta 105, 115 está relacionada con la forma espectral de la señal de banda baja 101, 111. En consecuencia, las formas espectrales particulares de la señal de banda baja 101, 111, por ejemplo, una forma de gradiente ilustrada en la figura 1a, pueden llevar a discontinuidades en el espectro total 100, 110.
Además del espectro 100, 110, la figura 1a ilustra ejemplos de bandas de frecuencia 130 de los datos de envolvente espectral que representan la envolvente espectral objetivo. Estas bandas de frecuencia 130 se denominan bandas de factor de escala o intervalos objetivo. Típicamente, se especifica un valor de energía objetivo, es decir, una energía de factor de escala, para cada intervalo objetivo, es decir, banda de factor escala. En otras palabras, las bandas de factor de escala definen la resolución de frecuencia efectiva de la envolvente espectral objetivo, ya que típicamente solo hay un único valor de energía objetivo por intervalo objetivo. Utilizando los factores de escala o energías objetivo especificados para las bandas de factor de escala, el posterior ajustador de envolvente trata de ajustar la señal de banda alta de manera tal que la energía de la señal de banda alta dentro de las bandas de factor de escala sea igual a la energía de los datos de envolvente espectral recibidos, es decir, la energía objetivo, para las bandas de factor de escala respectivas.
En la figura 1c se proporciona una descripción más detallada utilizando un ejemplo de señal de audio. En el gráfico se ilustra el espectro de una señal de audio del mundo real 121 que se dirige al ajustador de envolvente, así como la señal original correspondiente 120. En este ejemplo particular, el intervalo SBR, es decir, el intervalo de la señal de alta frecuencia, empieza en 6,4 kHz y consiste en tres replicaciones diferentes del intervalo de frecuencia de banda baja. Los intervalos de frecuencia de las diferentes replicaciones vienen indicados por «parche 1», «parche 2» y «parche 3». Queda claro a partir del espectrograma que los parches introducen discontinuidades en la envolvente espectral alrededor de 6,4 kHz, 7,4 kHz, y 10,8 kHz. En el presente ejemplo, estas frecuencias corresponden a bordes de parche.
La figura 1c ilustra además las bandas de factor de escala 130 así como las bandas limitadoras 135, cuya función se describirá con más detalle a continuación. En la realización ilustrada, se utiliza el ajustador de envolvente de MPEG-4 SBR. Este ajustador de envolvente opera utilizando un banco de filtros QMF. Los aspectos principales de la operación de un ajustador de envolvente de este tipo son:
• calcular la energía media a través de una banda de factor de escala 130 de la señal de entrada al ajustador de envolvente, es decir, la señal que sale de la unidad HFR; en otras palabras, la energía media de la señal de banda alta regenerada se calcula dentro de cada intervalo objetivo/banda de factor de escala 130;
• determinar un valor de ganancia, también denominado valor de ajuste de envolvente, para cada banda de factor de escala 130, en donde el valor de ajuste de envolvente es la raíz cuadrada de la proporción de energía entre la energía objetivo (es decir, el objetivo de energía recibido de un codificador) y la energía media de la señal de banda alta regenerada 121 dentro de la banda de factor de escala respectiva 130;
• aplicar el respectivo valor de ajuste de envolvente a la banda de frecuencia de la señal de banda alta regenerada 121, en donde la banda de frecuencia corresponde a la respectiva banda de factor de escala 130.
Además, el ajustador de envolvente puede comprender etapas y variaciones adicionales, en particular:
• una función limitadora, que limita el valor de ajuste de envolvente máximo permitido que se aplicará sobre una cierta banda de frecuencia, es decir, sobre una banda limitadora 135. El valor de ajuste de envolvente máximo permitido es una función de los valores de ajuste de envolvente determinados para las diferentes bandas de factor de escala 130 que caen dentro de una banda limitadora 135. En particular, el valor de ajuste de envolvente máximo permitido es una función de la media de los valores de ajuste de envolvente determinados para las diferentes bandas de factor de escala 130 que caen dentro de una banda limitadora 135. A modo de ejemplo, el valor de ajuste de envolvente máximo permitido puede ser el valor medio de los valores de ajuste de la envolvente relevantes multiplicado por un factor limitador (tal como 1,5). La funcionalidad limitadora se aplica típicamente con el fin de limitar la introducción de ruido en la señal de banda alta regenerada 121. Esto es particularmente relevante en el caso de señales de audio que comprendan sinusoides prominentes, es decir, señales de audio que tengan un espectro con picos inequívocos a ciertas frecuencias. Sin el uso de la funcionalidad limitadora, se determinarían valores de ajuste de envolvente significativos para las bandas de factor de escala 130 para las cuales la señal de audio original comprende estos picos inequívocos. Como resultado, se ajustará el espectro de la banda de factor de escala completa 130 (y no solo el pico inequívoco), introduciendo de esta manera ruido.
• una funcionalidad de interpolación, que permite calcular los valores de ajuste de envolvente para cada subbanda QMF individual dentro de una banda de factor de escala, en lugar de calcular un único valor de ajuste de envolvente para toda la banda de factor de escala. Ya que las bandas de factor de escala comprenden típicamente más de una subbanda QMF, un valor de ajuste de envolvente se puede calcular como la proporción de la energía de una subbanda QMF particular dentro de la banda de factor de escala y la energía objetivo que se recibe del codificador, en lugar de calcular la proporción de la energía media de todas las subbandas QMF dentro de la banda de factor de escala y la energía objetivo que se recibe del codificador. Como tal, se puede determinar un valor de ajuste de envolvente diferente para cada subbanda QMF dentro de una banda de factor de escala. Cabe señalar que el valor de energía objetivo recibido para una banda de factor de escala corresponde típicamente a la energía media de este intervalo de frecuencia dentro de la señal original. La manera de aplicar la energía objetivo media recibida a la banda de frecuencia correspondiente de la señal de banda alta regenerada depende del funcionamiento del descodificador. Esto se puede realizar aplicando un valor de ajuste de envolvente total a las subbandas QMF dentro de una banda de factor de escala de la señal de banda alta regenerada o aplicando un valor de ajuste de envolvente individual a cada subbanda QMF. Se puede considerar que este último planteamiento es como si la información de envolvente recibida (es decir, una energía objetivo por banda de factor escala) se «interpolase» a lo largo de las subbandas QMF dentro de una banda de factor de escala, con el fin de obtener una resolución de frecuencia superior. Por consiguiente, este planteamiento se denomina «interpolación» en MPEG-4 SBR.
Volviendo a la figura 1c, se puede ver que el ajustador de envolvente deberá aplicar valores de ajuste de envolvente elevados con el fin de hacer coincidir el espectro 121 de la señal que se dirige al ajustador de envolvente con el espectro 120 de la señal original. También se puede ver que, debido a las discontinuidades, se producen grandes variaciones de los valores de ajuste de envolvente dentro de las bandas limitadoras 135. Como resultado de estas grandes variaciones, los valores de ajuste de envolvente que corresponden a los mínimos locales del espectro regenerado 121 estarán limitados por la función limitadora del ajustador de envolvente. En consecuencia, las discontinuidades dentro del espectro regenerado 121 permanecerán, incluso después de realizar la operación de ajuste de envolvente. Por otra parte, si no se usa una funcionalidad limitadora, se podría introducir ruido no deseado, como se describió anteriormente.
Por lo tanto, ocurre un problema para la regeneración de una señal de banda alta para cualquier señal que tenga grandes variaciones de nivel a lo largo del intervalo de banda baja. Este problema se debe a las discontinuidades que se introducen durante la regeneración de alta frecuencia de la banda alta. Cuando posteriormente el ajustador de envolvente se expone a esta señal regenerada, no se puede separar, de manera razonable y consistente, la discontinuidad recientemente introducida de cualquier característica espectral del «mundo real» de la señal de banda baja. Los efectos de este problema son dobles. En primer lugar, las formas espectrales se introducen en la señal de banda alta que el ajustador de envolvente no puede compensar. En consecuencia, la salida tiene una forma espectral errónea. En segundo lugar, se percibe un efecto de inestabilidad, debido al hecho de que este efecto va y viene como función de las características espectrales de banda baja.
El presente documento aborda el problema mencionado anteriormente al describir un método y un sistema que proporcionan una señal de banda alta HFR en la entrada del ajustador de envolvente que no muestra discontinuidades espectrales. Para este propósito, se propone el retirar o reducir la envolvente espectral de la señal de banda baja al realizar la regeneración de alta frecuencia. Al hacer esto, se evita introducir cualesquiera discontinuidades espectrales en la señal de banda alta antes de realizar el ajuste de envolvente. Como resultado, el ajustador de envolvente no tendrá que gestionar estas discontinuidades espectrales. En particular, se puede usar un ajustador de envolvente convencional, en donde la función limitadora del ajustador de envolvente se utiliza para evitar la introducción de ruido en la señal de banda alta regenerada. En otras palabras, el método y el sistema descritos se pueden usar para regenerar una señal de banda alta HFR que tenga pocas o ningunas discontinuidades espectrales y un bajo nivel de ruido.
Cabe señalar que la resolución en el tiempo del ajustador de envolvente puede ser diferente de la resolución en el tiempo del procesamiento propuesto de la envolvente espectral durante la generación de señal de banda alta. Como se indicó anteriormente, se pretende que el procesamiento de la envolvente espectral durante la regeneración de la señal de banda alta modifique la envolvente espectral de la señal de banda baja, con el fin de aliviar el procesamiento dentro del posterior ajustador de envolvente. Este procesamiento, es decir, la modificación de la envolvente espectral de la señal de banda baja, se puede realizar, por ejemplo, una vez por trama de audio, en donde el ajustador de envolvente puede ajustar la envolvente espectral a lo largo de varios intervalos de tiempo, es decir, utilizando varias envolventes espectrales recibidas. Esto se describe en la figura 1b, en la que la cuadrícula de tiempo 150 de los datos de envolvente espectral se representa en el panel superior, y la cuadrícula de tiempo 155 para el procesamiento de la envolvente espectral de la señal de banda baja durante la regeneración de la señal de banda alta se representa en el panel inferior. Como se puede ver en el ejemplo de la figura 1b, los bordes de tiempo de los datos de envolvente espectral varían con el tiempo, mientras que el procesamiento de la envolvente espectral de la señal de banda baja opera en una cuadrícula de tiempo fija. También se puede ver que se podrían realizar varios ciclos de ajuste de envolvente (representados por bordes de tiempo 150) durante un ciclo de procesamiento de la envolvente espectral de la señal de banda baja. En el ejemplo ilustrado, el procesamiento de la envolvente espectral de la señal de banda baja opera trama por trama, lo que significa que se determina una pluralidad diferente de coeficientes de ganancia espectral para cada trama de la señal. Cabe señalar que el procesamiento de la señal de banda baja puede operar en cualquier cuadrícula de tiempo y que la cuadrícula de tiempo de este procesamiento no tiene que coincidir con la cuadrícula de tiempo de los datos de la envolvente espectral.
En la figura 2, se representa un sistema HFR basado en banco de filtros 200. El sistema HFR 200 opera utilizando un banco de filtros seudo-QMF y el sistema 200 se puede usar para producir la señal de banda alta y banda baja 100 ilustrada en el panel superior de la figura 1a. Sin embargo, se ha añadido una etapa adicional de ajuste de ganancia como parte del proceso de generación de alta frecuencia, que en el ejemplo ilustrado es un proceso de copia. La señal de entrada de baja frecuencia es analizada por un QMF de 32 subbandas 201, con el fin de generar una pluralidad de señales de subbanda de baja frecuencia. A algunas o todas las señales de subbanda de baja frecuencia se les aplican parches en ubicaciones de frecuencia superior de acuerdo con un algoritmo de generación de HF (alta frecuencia, «High Frequency»). Adicionalmente, la pluralidad de subbandas de baja frecuencia se envía directamente al banco de filtros de síntesis 202. El banco de filtros de síntesis mencionado anteriormente 202 es un QMF inverso de 64 subbandas 202. En el caso de la implementación particular ilustrada en la figura 2, el uso de un banco de filtros de análisis QMF de 32 subbandas 201 y el uso de un banco de filtros de síntesis QMF de 64 subbandas 202 dará lugar a una tasa de muestreo de salida de la señal de salida del doble de la tasa de muestreo de entrada de la señal de entrada. Sin embargo, cabe señalar que los sistemas descritos en el presente documento no se limitan a sistemas con diferentes tasas de muestreo de entrada y salida. Los expertos en la técnica podrán contemplar una multitud de diferentes relaciones de tasas de muestreo.
Como se describió en la figura 2, las subbandas de las frecuencias inferiores son asignadas a subbandas de frecuencias superiores. Como parte de este proceso de copia se introduce una fase de ajuste de ganancia 204. La señal de alta frecuencia creada, es decir, la pluralidad generada de señales de subbanda de alta frecuencia, se envía al ajustador de envolvente 203 (que posiblemente comprende una funcionalidad de interpolación y/o limitadora), antes de su combinación con la pluralidad de señales de subbanda de baja frecuencia en el banco de filtros de síntesis 202. Al utilizar tal sistema HFR 200, y en particular al utilizar una fase de ajuste de ganancia 204, es posible evitar la introducción de las discontinuidades de envolvente espectral, como se ilustra en la figura 1. Para este propósito, la fase de ajuste de ganancia 204 modifica la envolvente espectral de la señal de banda baja, es decir, la envolvente espectral de la pluralidad de señales de subbanda de baja frecuencia, de tal manera que la señal de banda baja modificada se puede utilizar para generar una señal de banda alta, es decir, una pluralidad de señales de subbanda de alta frecuencia, que no muestran discontinuidades, en particular discontinuidades en los bordes de parche. Haciendo referencia a la figura 1c, la fase de ajuste de ganancia adicional 204 asegura que la envolvente espectral 101, 111 de la señal de banda baja se modifique de tal manera que no haya discontinuidades en la señal de banda alta generada 105, 115, o que estas sean limitadas.
La modificación de la envolvente espectral de la señal de banda baja se puede lograr aplicando una curva de ganancia a la envolvente espectral de la señal de banda baja. Esta curva de ganancia puede ser determinada por una unidad de determinación de curva de ganancia 400 ilustrada en la figura 4. El módulo 400 toma como entrada los datos QMF 402 correspondientes al intervalo de frecuencia de la señal de banda baja utilizados para recrear la señal de banda alta. En otras palabras, la pluralidad de señales de subbanda de baja frecuencia se envía a la unidad de determinación de curva de ganancia 400. Como ya se indicó, solo se puede utilizar un subconjunto de las subbandas QMF disponibles de la señal de banda baja para generar la señal de banda alta, es decir, solo se puede enviar un subconjunto de las subbandas QMF disponibles a la unidad de determinación de curva de ganancia 400. Además, el módulo 400 puede recibir datos de control opcionales 404, por ejemplo, datos de control enviados desde un codificador correspondiente. El módulo 400 enviará como salida una curva de ganancia 403 que se aplicará durante el proceso de regeneración de alta frecuencia. En una realización, la curva de ganancia 403 se aplica a las subbandas QMF de la señal de banda baja, que se usan para generar la señal de banda alta. Es decir, la curva de ganancia 403 se puede usar dentro del proceso de copia del proceso HFR.
Los datos de control opcional 404 pueden comprender información de la resolución de la envolvente espectral bruta, que se estimará en el módulo 400, y/o información sobre la conveniencia de aplicar el proceso de ajuste de ganancia. Así pues, los datos de control 404 pueden controlar la cantidad de procesamiento adicional involucrado durante el proceso de ajuste de ganancia. Los datos de control 404 también pueden activar una derivación del procesamiento de ajuste de ganancia adicional, si se producen señales que no permitan fácilmente realizar la estimación de envolvente espectral bruta, por ejemplo, señales que comprendan sinusoides sencillas.
En la figura 5 se muestra una vista más detallada del módulo 400 de la figura 4. Los datos QMF 402 de la señal de banda baja se envían a la unidad de estimación de envolvente 501 que estima la envolvente espectral, por ejemplo, en una escala de energía logarítmica. La envolvente espectral posteriormente se envía al módulo 502 que estima la envolvente espectral bruta de la envolvente espectral de alta resolución (frecuencia) que se recibe de la unidad de estimación de envolvente 501. En una realización, esto se realiza ajustando un polinomio de orden bajo a los datos de envolvente espectral, es decir, un polinomio de un orden en el intervalo, por ejemplo, de 1, 2, 3 o 4. La envolvente espectral bruta también se puede determinar realizando una operación de media móvil de la envolvente espectral de alta resolución a lo largo del eje de frecuencia. En la figura 3 se ilustra la determinación de una envolvente espectral bruta 301 de una señal de banda baja. Se puede ver que el espectro absoluto 302 de la señal de banda baja, es decir, la energía de las bandas QMF 302, se aproxima mediante una envolvente espectral bruta 301, es decir, mediante una curva dependiente de la frecuencia ajustada a la envolvente espectral de la pluralidad de señales de subbanda de baja frecuencia. Además, se muestra que solo se usan 20 señales de subbanda QMF para generar las señales de banda alta, es decir, solo una parte de las 32 señales de subbanda QMF se usan dentro del proceso HFR.
Figure imgf000010_0001
El método usado para determinar la envolvente espectral bruta de la envolvente espectral de alta resolución, y en particular el orden del polinomio que se adapta o se ajusta a la envolvente espectral de alta resolución, puede estar controlado por los datos de control opcional 404. El orden del polinomio puede ser una función del tamaño del intervalo de frecuencia 302 de la señal de banda baja, para la cual se ha de determinar una envolvente espectral bruta 301 y/o puede ser una función de otros parámetros relevantes para la forma espectral bruta total del intervalo de frecuencia relevante 302 de la señal de banda baja. El ajuste polinómico calcula un polinomio que aproxima los datos en un sentido de error de mínimos cuadrados. A continuación se establece una realización preferente, mediante código Matlab:
En el código anterior, la entrada es la envolvente espectral (LowEnv) de la señal de banda baja que se obtiene al promediar muestras de subbanda QMF sobre la base de subbandas a lo largo de un intervalo de tiempo correspondiente a la trama de tiempo actual de datos operado por el ajustador de envolvente subsecuente. Como se indicó anteriormente, el procesamiento de ajuste de ganancia de la señal de banda baja se puede realizar en diversas otras cuadrículas de tiempo. En el ejemplo anterior, la envolvente espectral absoluta estimada se expresa en un dominio logarítmico. Un polinomio de bajo orden, en el ejemplo anterior un polinomio de orden 3, se ajusta a los datos. Una vez hallado el polinomio, se calcula una curva de ganancia (GainVec) a partir de la diferencia en energía media de la señal de banda baja y la curva (lowBandEnvSlope) que se obtiene del polinomio ajustado a los datos.
En el ejemplo anterior, la operación de determinar la curva de ganancia se realiza en el dominio logarítmico.
El cálculo de curva de ganancia es realizado por la unidad de cálculo de la curva de ganancia 503. Como se indicó anteriormente, la curva de ganancia se puede determinar a partir de la energía media de la parte de la señal de banda baja usada para regenerar la señal de banda alta, y de la envolvente espectral de la parte de la señal de banda baja usada para regenerar la señal de banda alta. En particular, la curva de ganancia se puede determinar a partir de la diferencia entre la energía media y la envolvente espectral bruta, representada, por ejemplo, por un polinomio. Es decir, el polinomio calculado se puede usar para determinar una curva de ganancia que comprende un valor de ganancia separado, también denominado coeficiente de ganancia espectral, para cada subbanda QMF relevante de la señal de banda baja. Esta curva de ganancia que comprende los valores de ganancia se usa posteriormente en el proceso HFR.
Como ejemplo, a continuación se describirá un proceso de generación de HFR de acuerdo con MPEG-4 SBR. La señal generada HF se puede derivar de la siguiente fórmula (véase el documento MPEG-4 Parte 3 (ISO/IEC 14496­ 3), subparte 4, sección 4.6.18.6.2):
■^Higk ^ ,1 tHFAdj ) — X,„1(. i^p,l tHFAdj ) bwArray (g(/c)) • a 0 (p ) • X f(m, ( p j 1 + tH F .ii lj )
[bw A rray(g(/í))] •«, ( p ) - X raw( p , l - 2 Ihfj¡]j),
en donde p es el índice de subbanda de la señal de banda baja, es decir, p identifica una de la pluralidad de señales de subbanda de baja frecuencia. La fórmula de generación de HF anterior se puede reemplazar por la siguiente fórmula, que realiza de manera combinada un ajuste de ganancia y una generación de HF:
x h;sI, (M Ihfmj ) = p re G a in {p ) • ( x /(>w (/;,/ t HFMj) bwArray( g { k )) • a 0 (y?) • X /nw ( p , l - 1 l HFMj )
Figure imgf000011_0001
en donde la curva de ganancia se denomina preGain(p).
En el documento mencionado anteriormente MPEG-4, Parte 3, se ofrecen más detalles del proceso de copia, por ejemplo, respecto a la relación entre p y k. En la fórmula anterior, Xi_0w(p,l) indica una muestra en la instancia de tiempo l de la señal de subbanda de baja frecuencia que tiene un índice de subbanda p. Esta muestra en combinación con muestras anteriores se usa para generar una muestra de la señal de subbanda de alta frecuencia XHigh(k,l) que tiene un índice de subbanda k.
Cabe señalar que el aspecto del ajuste de ganancia se puede usar en cualquier sistema de reconstrucción de alta frecuencia basado en banco de filtros. Esto se ilustra en la figura 6, en donde la presente invención es parte de una unidad HFR 601 independiente, que opera en una señal de banda estrecha o banda baja 602 y envía como salida una señal de banda ancha o banda alta 604. El módulo 601 puede recibir datos de control adicional 603 como entrada, en donde los datos de control 603 pueden especificar, entre otras cosas, la cantidad de procesamiento usado para el ajuste de ganancia descrito, así como, por ejemplo, información de la envolvente espectral objetiva de la señal de banda alta. Sin embargo, estos parámetros son solo ejemplos de datos de control opcionales 603. En una realización, también se puede derivar información relevante de la señal de banda estrecha 602 que se introduce en el módulo 601, o por otros medios. Es decir, los datos de control 603 se pueden determinar dentro del módulo 601 sobre la base de la información disponible en el módulo 601. Cabe señalar que la unidad HFR 601 independiente podría recibir la pluralidad de señales de subbanda de baja frecuencia y podría enviar como salida la pluralidad de señales de subbanda de alta frecuencia, es decir, las transformadas o los bancos de filtros para síntesis/análisis podrían colocarse fuera de la unidad HFR 601.
Como ya se indicó anteriormente, puede resultar beneficioso señalar la activación del procesamiento de ajuste de ganancia en el flujo de bits desde un codificador hasta un descodificador. En el caso de ciertos tipos de señal, por ejemplo, una sinusoide sencilla, el procesamiento de ajuste de ganancia puede no ser relevante y, por consiguiente, resultar beneficiosa de cara a permitir que el sistema de codificador/descodificador desactive el procesamiento adicional con el fin de no introducir un comportamiento no deseado para estas señales de caso límite. Para este propósito, el codificador puede estar configurado para analizar las señales de audio y generar datos de control que activan y desactivan el procesamiento de ajuste de ganancia en el descodificador.
En la figura 7, la fase de ajuste de ganancia propuesta se incluye en una unidad de reconstrucción de alta frecuencia 703 que es parte de un códec de audio. Un ejemplo de esta unidad HFR 703 es la herramienta de replicación de la banda espectral MPEG-4 usada como parte del códec AAC de alta eficiencia o el MPEG-D USAC (códec de audio y voz unificado, «Unified Speech and Audio Codec»). En esta realización, se recibe un flujo de bits 704 en un descodificador de audio 700. El flujo de bits 704 se desmultiplexa en el desmultiplexor 701. La parte relevante SBR del flujo de bits 708 se envía al módulo SBR o la unidad HFR 703, y el flujo de bits relevante de descodificador central 707, por ejemplo, datos AAC o datos de descodificador central USAC, se envían al módulo codificador central 702. Además, la señal de banda baja o banda estrecha 706 se pasa desde el descodificador central 702 a la unidad HFR 703. La presente invención se incorpora como parte del proceso SBR en la unidad HFR 703, por ejemplo, de acuerdo con el sistema descrito en la figura 2. La unidad HFR 703 envía como salida una señal de banda ancha o banda alta 705 utilizando el procesamiento descrito en el presente documento.
En la figura 8, se describe con más detalle una realización del módulo de reconstrucción de alta frecuencia 703. La figura 8 ilustra que la generación de señal HF (alta frecuencia, «High Frequency») se puede derivar de diferentes módulos de generación de HF en diferentes instantes en el tiempo. La generación de HF se puede basar en un transpondedor de copia basado en QMF 803, o bien la generación de HF se puede basar en un transpondedor armónico basado en FfT 804. En el caso de ambos módulos de generación de señales HF, la señal de banda baja se procesa 801, 802 como parte de la generación de HF con el fin de determinar una curva de ganancia que se utiliza en el proceso de copia 803 o de transposición armónica 804. Las salidas de los dos transpondedores se envían selectivamente al ajustador de la envolvente 805. La decisión de qué señal de transpondedor se va a usar está controlada por el flujo de bits 704 o 708. Cabe señalar que, debido a la naturaleza de copia del transpondedor basado en QMF, la forma de la envolvente espectral de la señal de banda baja se mantiene más claramente que cuando se utiliza un transpondedor armónico. Esto típicamente dará como resultado discontinuidades más claras de la envolvente espectral de la señal de banda alta cuando se usen transpondedores de copia. Esto se ilustra en los paneles superior e inferior de la figura 1a. En consecuencia, puede ser suficiente con solo incorporar el ajuste de ganancia para el método de copia basado en QMF realizado en el módulo 803. No obstante, la aplicación del ajuste de ganancia para la transposición armónica realizada en el módulo 804 también puede resultar beneficiosa.
En la figura 9 se describe un módulo descodificador correspondiente. El codificador 901 puede estar configurado para analizar la señal de entrada particular 903 y determinar la cantidad de procesamiento de ajuste de ganancia que resulta adecuada para el tipo particular de señal de entrada 903. En particular, el codificador 901 puede determinar el grado de discontinuidad en la señal de subbanda de alta frecuencia que será provocada por la unidad HFR 703 en el descodificador. Para este propósito, el codificador 901 puede comprender una unidad HFR 703, o al menos partes relevantes de la unidad HFR 703. Sobre la base del análisis de la señal de entrada 903, se pueden generar los datos de control 905 para el descodificador correspondiente. La información 905, que se refiere al ajuste de ganancia que se ha de realizar en el descodificador, se combina en el multiplexor 902 con un flujo de bits de audio 906, formando de esta manera el flujo de bits completo 904 que se transmite al descodificador correspondiente.
En la figura 10, se muestran los espectros de salida de una señal del mundo real. En la figura 10a, se representa la salida de un descodificador MPEG USAC que descodifica un flujo de bits mono de 12 kbps. La sección de la señal de mundo real es una parte vocal de una grabación a capela. La abscisa corresponde al eje del tiempo, mientras que la ordenada corresponde al eje de la frecuencia. Comparando el espectrograma de la figura 10a con la figura 10c, que muestra el espectrograma correspondiente de la señal original, queda claro que aparecen espacios vacíos (véanse los números de referencia 1001, 1002) en el espectro correspondientes a las partes fricativas del segmento vocal. En la figura 10b se representa el espectrograma de la salida del descodificador MPEG USAC que incluye la presente invención. Se puede ver en el espectrograma que los espacios vacíos en el espectro han desaparecido (véanse los números de referencia 1003, 1004 correspondientes a los números de referencia 1001, 1002).
La complejidad del algoritmo de ajuste de ganancia propuesto se calculó como MOPS ponderados, en donde las funciones como POW/DIV/TRIG se ponderan como 25 operaciones, y todas las demás operaciones se ponderan como una operación. Dadas estas suposiciones, la complejidad calculada representa aproximadamente 0,1 WMOPS y un uso de RAM/ROM insignificante.
En otras palabras, el procesamiento de ajuste de ganancia propuesto requiere una baja capacidad de procesamiento y de memoria.
En el presente documento se han descrito un método y sistema para generar una señal de banda alta a partir de una señal de banda baja. El método y el sistema se adaptan para generar una señal de banda alta con pocas o ninguna discontinuidades espectrales, mejorando de esta manera el rendimiento perceptual de los métodos y sistemas de reconstrucción de alta frecuencia. El método y el sistema se pueden incorporar fácilmente en sistemas de codificación/descodificación de audio existentes. En particular, el método y el sistema se pueden incorporar sin necesidad de modificar el procesamiento de ajuste de envolvente de los sistemas de codificación/descodificación de audio existentes. De manera notable, esto se aplica a la funcionalidad de interpolación y limitación del procesamiento de ajuste de envolvente que puede realizar sus tareas previstas. Como tal, el método y el sistema descritos se pueden usar para regenerar señales de banda alta que tengan pocas o ninguna discontinuidades espectrales y un bajo nivel de ruido. Además, se ha descrito el uso de datos de control, en donde los datos de control se pueden usar para adaptar los parámetros del método y el sistema descritos (y la complejidad computacional) al tipo de señal de audio.
Los métodos y sistemas descritos en el presente documento pueden estar implementados como software, firmware y/o hardware. Ciertos componentes pueden, por ejemplo, estar implementados como software que se ejecuta en un procesador o microprocesador de señales digitales. Otros componentes pueden, por ejemplo, estar implementados como hardware y/o como circuitos integrados específicos de aplicación. Las señales que se encuentran en los métodos y sistemas descritos se pueden almacenar en soportes tales como memoria de acceso aleatorio o soportes de almacenamiento óptico. Estos pueden ser transferidos a través de redes, tales como redes de radio, redes de satélite, redes inalámbricas o redes por cable, por ejemplo, internet. Los dispositivos típicos que utilizan los métodos y sistemas descritos en el presente documento son dispositivos electrónicos portátiles u otros equipos de consumo que se utilizan para almacenar y/o procesar señales de audio. Los métodos y sistemas también se pueden usar en sistemas informáticos, por ejemplo, servidores web de internet, que almacenan y proporcionan señales de audio, por ejemplo, señales musicales, para su descarga.

Claims (4)

REIVINDICACIONES
1. Un sistema (601, 703) configurado para generar una pluralidad de señales de subbanda de audio de alta frecuencia (604) que cubren un intervalo de alta frecuencia desde una pluralidad de señales de subbanda de baja frecuencia (602), el sistema (601, 703) comprende:
- medios para recibir la pluralidad de señales de subbanda de baja frecuencia (602);
- menos para recibir un conjunto de energías objetivo, cada energía objetivo cubre un intervalo objetivo diferente (130) dentro del intervalo de alta frecuencia y que es indicativo de la energía deseada de una o más señales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo (130);
- medios para generar la pluralidad de señales de subbanda de alta frecuencia (604) a partir de la pluralidad de señales de subbanda de baja frecuencia (602) y a partir de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de señales de subbanda de baja frecuencia (602), respectivamente; y
- medios para ajustar la energía (203) de la pluralidad de señales de subbanda de alta frecuencia (604) utilizando el conjunto de energías objetivo, en donde los medios para ajustar comprenden medios para limitar el ajuste de la energía de las señales de subbanda de alta frecuencia (604) que se encuentran en el intervalo limitador (135).
2. Un método para generar una pluralidad de señales de subbanda de alta frecuencia (604) que cubren un intervalo de alta frecuencia desde una pluralidad de señales de subbanda de audio de baja frecuencia (602), el método comprende:
- recibir la pluralidad de señales de subbanda de baja frecuencia (602);
- recibir un conjunto de energías objetivo, cada energía objetivo cubre un intervalo objetivo diferente (130) dentro del intervalo de alta frecuencia y que es indicativo de la energía deseada de una o más señales de subbanda de alta frecuencia (604) que se encuentran dentro del intervalo objetivo (130);
- generar la pluralidad de señales de subbanda de alta frecuencia (604) a partir de la pluralidad de señales de subbanda de baja frecuencia (602) y a partir de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de señales de subbanda de baja frecuencia (602), respectivamente; y
- ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia (604) utilizando el conjunto de energías objetivo, en donde ajustar la energía de la pluralidad de señales de subbanda de alta frecuencia comprende limitar el ajuste de la energía de las señales de subbanda de alta frecuencia (604) que se encuentran en el intervalo limitador (135).
3. Un soporte de almacenamiento que comprende un programa de software adaptado para su ejecución en un procesador y para realizar las etapas del método de la reivindicación 2 cuando se ejecuta en un dispositivo informático.
4. Un producto de programa informático que comprende instrucciones ejecutables para realizar el método de la reivindicación 2 cuando se ejecuta en un ordenador.
ES17188331T 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia Active ES2727300T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US36551810P 2010-07-19 2010-07-19
US38672510P 2010-09-27 2010-09-27

Publications (1)

Publication Number Publication Date
ES2727300T3 true ES2727300T3 (es) 2019-10-15

Family

ID=44514661

Family Applications (10)

Application Number Title Priority Date Filing Date
ES19169481T Active ES2801324T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES17188331T Active ES2727300T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES14164770.1T Active ES2644974T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES19169479T Active ES2807248T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES11745509.7T Active ES2484795T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES22151584T Active ES2942867T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES17188329T Active ES2712304T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES17188330T Active ES2727460T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES20172244T Active ES2908348T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES19169480T Active ES2798144T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES19169481T Active ES2801324T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia

Family Applications After (8)

Application Number Title Priority Date Filing Date
ES14164770.1T Active ES2644974T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES19169479T Active ES2807248T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES11745509.7T Active ES2484795T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES22151584T Active ES2942867T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES17188329T Active ES2712304T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES17188330T Active ES2727460T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES20172244T Active ES2908348T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
ES19169480T Active ES2798144T3 (es) 2010-07-19 2011-07-14 Procesamiento de señales de audio durante la reconstrucción de alta frecuencia

Country Status (19)

Country Link
US (6) US9117459B2 (es)
EP (11) EP4016527B1 (es)
JP (10) JP5753893B2 (es)
KR (12) KR20240023667A (es)
CN (2) CN103155033B (es)
AU (8) AU2011281735B2 (es)
BR (2) BR112012024360B1 (es)
CA (11) CA3163657C (es)
CL (1) CL2012002699A1 (es)
DK (2) DK2596497T3 (es)
ES (10) ES2801324T3 (es)
HK (3) HK1199973A1 (es)
MX (1) MX2012010854A (es)
MY (2) MY177748A (es)
NO (1) NO2765572T3 (es)
PL (10) PL2596497T3 (es)
RU (3) RU2530254C2 (es)
SG (3) SG183501A1 (es)
WO (1) WO2012010494A1 (es)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014060204A1 (en) * 2012-10-15 2014-04-24 Dolby International Ab System and method for reducing latency in transposer-based virtual bass systems
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
BR112012024360B1 (pt) 2010-07-19 2020-11-03 Dolby International Ab sistema configurado para gerar uma pluralidade de sinais de áudio de sub-banda de alta frequência, decodificador de áudio, codificador, método para gerar uma pluralidade de sinais de sub-banda de alta frequência, método para decodificar um fluxo de bits, método para gerar dados de controle a partir de um sinal de áudio e meio de armazenamento
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
TWI591620B (zh) * 2012-03-21 2017-07-11 三星電子股份有限公司 產生高頻雜訊的方法
US9173041B2 (en) * 2012-05-31 2015-10-27 Purdue Research Foundation Enhancing perception of frequency-lowered speech
KR101632238B1 (ko) * 2013-04-05 2016-06-21 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
MY170179A (en) * 2013-06-10 2019-07-09 Fraunhofer Ges Forschung Apparatus and method for audio signal envelope encoding, processing and decoding by splitting the audio signal envelope employing distribution quantization and coding
AU2014280258B9 (en) 2013-06-10 2017-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding
BR112015029574B1 (pt) * 2013-06-11 2021-12-21 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método de decodificação de sinal de áudio.
BR112015031605B1 (pt) * 2013-06-21 2022-03-29 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de áudio tendo um módulo de extensão de largura de banda com um módulo de ajuste de energia
TWI557726B (zh) * 2013-08-29 2016-11-11 杜比國際公司 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
CA3162763A1 (en) 2013-12-27 2015-07-02 Sony Corporation Decoding apparatus and method, and program
US20150194157A1 (en) * 2014-01-06 2015-07-09 Nvidia Corporation System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
CN105096957B (zh) 2014-04-29 2016-09-14 华为技术有限公司 处理信号的方法及设备
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
TW202242853A (zh) * 2015-03-13 2022-11-01 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI807562B (zh) 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
CN110945494B (zh) * 2017-07-28 2024-06-21 杜比实验室特许公司 向客户端提供媒体内容的方法和***
BR112020012648A2 (pt) 2017-12-19 2020-12-01 Dolby International Ab métodos e sistemas de aparelhos para aprimoramentos de decodificação de fala e áudio unificados
TWI809289B (zh) 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
JP7381483B2 (ja) * 2018-04-04 2023-11-15 ハーマン インターナショナル インダストリーズ インコーポレイテッド 自然な空間多様性をシミュレートするための動的オーディオアップミキサのパラメータ
BR112020021832A2 (pt) * 2018-04-25 2021-02-23 Dolby International Ab integração de técnicas de reconstrução de alta frequência
WO2019210068A1 (en) 2018-04-25 2019-10-31 Dolby Laboratories Licensing Corporation Integration of high frequency reconstruction techniques with reduced post-processing delay
CN117079657B (zh) * 2023-10-16 2024-01-26 中国铁塔股份有限公司 压限处理方法、装置、电子设备及可读存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0208712B1 (en) 1984-12-20 1993-04-07 Gte Laboratories Incorporated Adaptive method and apparatus for coding speech
DE3943880B4 (de) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US6385573B1 (en) 1998-08-24 2002-05-07 Conexant Systems, Inc. Adaptive tilt compensation for synthesized speech residual
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
JP4842483B2 (ja) 1999-12-24 2011-12-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャネルオーディオ信号処理装置及び方法
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
SE0004818D0 (sv) 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US7469206B2 (en) * 2001-11-29 2008-12-23 Coding Technologies Ab Methods for improving high frequency reconstruction
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP2004010415A (ja) 2002-06-06 2004-01-15 Kawasaki Refract Co Ltd マグクロ質吹き付け補修材
CN1328707C (zh) 2002-07-19 2007-07-25 日本电气株式会社 音频解码设备以及解码方法
JP4313993B2 (ja) 2002-07-19 2009-08-12 パナソニック株式会社 オーディオ復号化装置およびオーディオ復号化方法
EP1543307B1 (en) 2002-09-19 2006-02-22 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method
ATE381092T1 (de) * 2002-11-29 2007-12-15 Koninkl Philips Electronics Nv Audiodekodierung
KR100524065B1 (ko) 2002-12-23 2005-10-26 삼성전자주식회사 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
JP2005040749A (ja) 2003-07-25 2005-02-17 Toyo Ink Mfg Co Ltd 紫外線硬化型塗料組成物の硬化方法
EP2221808B1 (en) 2003-10-23 2012-07-11 Panasonic Corporation Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof
KR101106026B1 (ko) * 2003-10-30 2012-01-17 돌비 인터네셔널 에이비 오디오 신호 인코딩 또는 디코딩
RU2323551C1 (ru) 2004-03-04 2008-04-27 Эйджир Системс Инк. Частотно-ориентированное кодирование каналов в параметрических системах многоканального кодирования
ES2295837T3 (es) * 2004-03-12 2008-04-16 Nokia Corporation Sistesis de una señal de audio monofonica sobre la base de una señal de audio multicanal codificada.
WO2006003813A1 (ja) 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
US8396717B2 (en) 2005-09-30 2013-03-12 Panasonic Corporation Speech encoding apparatus and speech encoding method
US20080071550A1 (en) * 2006-09-18 2008-03-20 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode audio signal by using bandwidth extension technique
PT2109098T (pt) 2006-10-25 2020-12-18 Fraunhofer Ges Forschung Aparelho e método para gerar amostras de áudio de domínio de tempo
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US8189812B2 (en) * 2007-03-01 2012-05-29 Microsoft Corporation Bass boost filtering techniques
KR101355376B1 (ko) * 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
CN101790756B (zh) 2007-08-27 2012-09-05 爱立信电话股份有限公司 瞬态检测器以及用于支持音频信号的编码的方法
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
DE602007008429D1 (de) * 2007-10-01 2010-09-23 Harman Becker Automotive Sys Effiziente Audiosignalverarbeitung im Subbandbereich, Verfahren, Vorrichtung und dazugehöriges Computerprogramm
US8504377B2 (en) * 2007-11-21 2013-08-06 Lg Electronics Inc. Method and an apparatus for processing a signal using length-adjusted window
CN101458930B (zh) 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
EP2229677B1 (en) * 2007-12-18 2015-09-16 LG Electronics Inc. A method and an apparatus for processing an audio signal
EP2077551B1 (en) * 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
KR101413968B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
MY163454A (en) * 2008-07-11 2017-09-15 Frauenhofer-Gesellschaft Zur Apparatus or method for generating a bandwidth extended signal
BRPI0917953B1 (pt) * 2008-08-08 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho de atenuação de espectro, aparelho de codificação, aparelho terminal de comunicação, aparelho de estação base e método de atenuação de espectro.
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
BR122019023704B1 (pt) * 2009-01-16 2020-05-05 Dolby Int Ab sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequência alta
DK2211339T3 (en) * 2009-01-23 2017-08-28 Oticon As listening System
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
TWI643187B (zh) * 2009-05-27 2018-12-01 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
JP5844266B2 (ja) * 2009-10-21 2016-01-13 ドルビー・インターナショナル・アクチボラゲットＤｏｌｂｙ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｂ 適応オーバーサンプリングを用いる高周波数オーディオ信号を発生させるための装置および方法
EP3998606B8 (en) * 2009-10-21 2022-12-07 Dolby International AB Oversampling in a combined transposer filter bank
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
BR112012024360B1 (pt) 2010-07-19 2020-11-03 Dolby International Ab sistema configurado para gerar uma pluralidade de sinais de áudio de sub-banda de alta frequência, decodificador de áudio, codificador, método para gerar uma pluralidade de sinais de sub-banda de alta frequência, método para decodificar um fluxo de bits, método para gerar dados de controle a partir de um sinal de áudio e meio de armazenamento

Also Published As

Publication number Publication date
AU2023202541A1 (en) 2023-05-11
PL2596497T3 (pl) 2014-10-31
PL2765572T3 (pl) 2018-01-31
KR20190034361A (ko) 2019-04-01
AU2014203424B2 (en) 2016-02-11
ES2798144T3 (es) 2020-12-09
US9117459B2 (en) 2015-08-25
EP4016527B1 (en) 2023-02-22
EP3285258A1 (en) 2018-02-21
EP4210051A1 (en) 2023-07-12
AU2018214048B2 (en) 2020-07-30
JP5753893B2 (ja) 2015-07-22
SG10202107800UA (en) 2021-09-29
PL3544008T3 (pl) 2020-08-24
RU2018120544A (ru) 2019-12-04
RU2758466C2 (ru) 2021-10-28
ES2484795T3 (es) 2014-08-12
CA2920930A1 (en) 2012-01-26
JP6523234B2 (ja) 2019-05-29
MX2012010854A (es) 2012-10-15
KR20200110478A (ko) 2020-09-23
NO2765572T3 (es) 2018-01-27
JP6993523B2 (ja) 2022-01-13
EP3544008B1 (en) 2020-05-20
KR101964180B1 (ko) 2019-04-01
BR112012024360B1 (pt) 2020-11-03
AU2020233759A1 (en) 2020-10-08
AU2016202767A1 (en) 2016-05-19
AU2022215250A1 (en) 2022-09-01
JP6845962B2 (ja) 2021-03-24
CN103155033A (zh) 2013-06-12
PL3288032T3 (pl) 2019-08-30
US11568880B2 (en) 2023-01-31
CN103155033B (zh) 2014-10-22
EP3291230B1 (en) 2019-04-17
BR122019024695B1 (pt) 2024-02-20
ES2644974T3 (es) 2017-12-01
JP2023162400A (ja) 2023-11-08
KR102632248B1 (ko) 2024-02-02
KR20240023667A (ko) 2024-02-22
US20170178665A1 (en) 2017-06-22
AU2021277643A1 (en) 2021-12-23
KR20220123333A (ko) 2022-09-06
EP3544008A1 (en) 2019-09-25
EP3723089B1 (en) 2022-01-19
CN104575517A (zh) 2015-04-29
AU2011281735B2 (en) 2014-07-24
CA3027803A1 (en) 2012-01-26
US20210366494A1 (en) 2021-11-25
HK1199973A1 (en) 2015-07-24
US20180144753A1 (en) 2018-05-24
CA2920930C (en) 2019-01-29
AU2014203424A1 (en) 2014-07-10
EP3544009A1 (en) 2019-09-25
KR20170020555A (ko) 2017-02-22
CA3209829A1 (en) 2012-01-26
JP2023053242A (ja) 2023-04-12
CA3072785A1 (en) 2012-01-26
RU2018120544A3 (es) 2021-08-17
DK2765572T3 (da) 2017-11-06
CA3027803C (en) 2020-04-07
CA3087957A1 (en) 2012-01-26
CA2792011A1 (en) 2012-01-26
CA2792011C (en) 2016-04-26
JP2022031889A (ja) 2022-02-22
MY154277A (en) 2015-05-29
JP2021092811A (ja) 2021-06-17
EP3288032B1 (en) 2019-04-17
KR20120123720A (ko) 2012-11-09
EP3285258B1 (en) 2018-12-19
SG183501A1 (en) 2012-09-27
SG10201505469SA (en) 2015-08-28
CL2012002699A1 (es) 2012-12-14
AU2021277643B2 (en) 2022-05-12
PL3544009T3 (pl) 2020-10-19
EP2765572B1 (en) 2017-08-30
CA3203400C (en) 2023-09-26
PL3723089T3 (pl) 2022-04-25
KR102159194B1 (ko) 2020-09-23
EP2596497B1 (en) 2014-05-28
ES2942867T3 (es) 2023-06-07
CA3146617C (en) 2022-08-02
JP2020170186A (ja) 2020-10-15
CA3203400A1 (en) 2012-01-26
EP4016527A1 (en) 2022-06-22
PL3291230T3 (pl) 2019-08-30
ES2908348T3 (es) 2022-04-28
PL3544007T3 (pl) 2020-11-02
BR112012024360A2 (pt) 2016-05-24
EP3288032A1 (en) 2018-02-28
CA3146617A1 (en) 2012-01-26
PL4016527T3 (pl) 2023-05-22
JP7228737B2 (ja) 2023-02-24
RU2014127177A (ru) 2016-02-10
EP3544007B1 (en) 2020-06-17
US20150317986A1 (en) 2015-11-05
KR102095385B1 (ko) 2020-03-31
JP6727374B2 (ja) 2020-07-22
ES2727460T3 (es) 2019-10-16
MY177748A (en) 2020-09-23
RU2012141098A (ru) 2014-05-10
HK1249798B (zh) 2020-04-24
US10283122B2 (en) 2019-05-07
EP3544007A1 (en) 2019-09-25
KR20180108871A (ko) 2018-10-04
JP7345694B2 (ja) 2023-09-15
CA3209829C (en) 2024-05-21
US20190221220A1 (en) 2019-07-18
HK1249653B (zh) 2020-01-03
RU2530254C2 (ru) 2014-10-10
CA3163657A1 (en) 2012-01-26
KR102304093B1 (ko) 2021-09-23
JP6035356B2 (ja) 2016-11-30
KR20190112824A (ko) 2019-10-07
KR101709095B1 (ko) 2017-03-08
US9640184B2 (en) 2017-05-02
WO2012010494A1 (en) 2012-01-26
CA3239820A1 (en) 2012-01-26
US20120328124A1 (en) 2012-12-27
RU2659487C2 (ru) 2018-07-02
PL3285258T3 (pl) 2019-05-31
KR101803849B1 (ko) 2017-12-04
AU2011281735A1 (en) 2012-09-13
EP3291230A1 (en) 2018-03-07
CA3072785C (en) 2020-09-01
JP2022141919A (ja) 2022-09-29
AU2016202767B2 (en) 2018-05-17
KR102026677B1 (ko) 2019-09-30
JP2017062483A (ja) 2017-03-30
EP2596497A1 (en) 2013-05-29
KR101907017B1 (ko) 2018-12-05
JP2013531265A (ja) 2013-08-01
DK2596497T3 (da) 2014-07-21
EP2765572A1 (en) 2014-08-13
AU2023202541B2 (en) 2024-06-06
CA3087957C (en) 2022-03-22
EP3544009B1 (en) 2020-05-27
KR20210118205A (ko) 2021-09-29
CA3163657C (en) 2023-08-15
ES2712304T3 (es) 2019-05-10
KR20200035175A (ko) 2020-04-01
ES2807248T3 (es) 2021-02-22
CN104575517B (zh) 2018-06-01
JP7114791B2 (ja) 2022-08-08
AU2022215250B2 (en) 2023-02-02
JP2019144584A (ja) 2019-08-29
US11031019B2 (en) 2021-06-08
EP3723089A1 (en) 2020-10-14
KR20170130627A (ko) 2017-11-28
US9911431B2 (en) 2018-03-06
ES2801324T3 (es) 2021-01-11
JP2015111277A (ja) 2015-06-18
KR101478506B1 (ko) 2015-01-06
KR102438565B1 (ko) 2022-08-30
KR20130127552A (ko) 2013-11-22
CA3234274A1 (en) 2012-01-26
JP7477700B2 (ja) 2024-05-01
AU2020233759B2 (en) 2021-09-16
AU2018214048A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
ES2727300T3 (es) Procesamiento de señales de audio durante la reconstrucción de alta frecuencia