ES2644974T3 - Procesamiento de señales de audio durante la reconstrucción de alta frecuencia - Google Patents
Procesamiento de señales de audio durante la reconstrucción de alta frecuencia Download PDFInfo
- Publication number
- ES2644974T3 ES2644974T3 ES14164770.1T ES14164770T ES2644974T3 ES 2644974 T3 ES2644974 T3 ES 2644974T3 ES 14164770 T ES14164770 T ES 14164770T ES 2644974 T3 ES2644974 T3 ES 2644974T3
- Authority
- ES
- Spain
- Prior art keywords
- high frequency
- subband signals
- frequency subband
- low frequency
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 title description 27
- 230000003595 spectral effect Effects 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 30
- 230000008929 regeneration Effects 0.000 claims abstract description 14
- 238000011069 regeneration method Methods 0.000 claims abstract description 14
- 230000010076 replication Effects 0.000 claims abstract description 9
- 230000001419 dependent effect Effects 0.000 claims description 12
- 230000017105 transposition Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 230000005284 excitation Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000007993 MOPS buffer Substances 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 206010047924 Wheezing Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereo-Broadcasting Methods (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Radar Systems Or Details Thereof (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
Un codificador (901) configurado para generar datos de control (905) de una señal de audio (903), el codificador de audio (901) que corresponde a: - un sistema de reconstrucción de alta frecuencia, referida como HFR, (601, 703) configurado para realizar un proceso de HFR para generar un componente de alta frecuencia de la señal de audio (903) de varias replicaciones de una pluralidad de señales de subbanda de baja frecuencia (602) de la señal de audio (903), - medios configurados para determinar un grado de discontinuidades del envolvente espectral introducidas al generar el componente de alta frecuencia de la señal de audio (903) dentro del sistema HFR (601, 703); y - medios configurados para generar datos de control (905) para controlar una regeneración del componente de alta frecuencia en el descodificador (700) en base al grado de discontinuidades.
Description
5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Procesamiento de senales de audio durante la reconstruccion de alta frecuencia Campo tecnico
La solicitud se refiere a la HFR (regeneracion/reconstruccion de alta frecuencia o «High Frequency Reconstruction/Regeneration») de senales de audio. En particular, la solicitud se refiere a un metodo y sistema para realizar la HFR de senales de audio que tienen grandes variaciones en los niveles de energfa a traves del intervalo de baja frecuencia, que se utiliza para reconstruir las altas frecuencias de la senal de audio.
Antecedentes de la invencion
Las tecnologfas HFR, tales como la tecnologfa de replicacion de la banda espectral (SBR, «Spectral Band Replication»), permiten mejorar significativamente la eficiencia de codificacion de los codecs de audio perceptuales tradicionales. En combinacion con la codificacion de audio avanzada (ACC, «Advanced Audio Coding») MPEG-4, HFR forma un codec de audio muy eficaz, que ya esta en uso en el sistema de radio por satelite XM y en Digital Radio Mondiale, y tambien estandardizado dentro del foro 3GPP, DVD y otros. La combinacion de AAC y SBR se denomina aacPlus. Forma parte de la norma MPEG-4, en la que se denomina perfil AAC de alta eficiencia (HE-AAC, «High Efficiency AAC Profile»). En general, la tecnologfa de HFR se puede combinar con cualquier codec de audio perceptual de una manera compatible en ambos sentidos, ofreciendo de esta manera la posibilidad de mejorar los sistemas de difusion ya establecidos, como el MPEG capa 2 utilizado en el sistema Eureka DAB. Los metodos HFR tambien se pueden combinar con codecs de voz para permitir la transmision de voz de banda ancha a tasas de bits ultrabajas.
La idea basica en la que se basa la HFR es la observacion de que normalmente existe una fuerte correlacion entre las caractensticas del intervalo de alta frecuencia de una senal y las caractensticas del intervalo de baja frecuencia de la misma senal. De esta manera, se puede lograr una buena aproximacion para la representacion del intervalo de alta frecuencia de entrada original de una senal mediante una transposicion de la senal desde el intervalo de baja frecuencia hasta el intervalo de alta frecuencia.
Este concepto de transposicion se describio en el documento WO 98/57436 como metodo para recrear una banda de alta frecuencia a partir de una banda de menor frecuencia de una senal de audio. Al utilizar este concepto en la codificacion de audio y/o en la codificacion de voz se puede obtener un ahorro substancial en terminos de la tasa de bits. A continuacion, se hara referencia a la codificacion de audio, pero cabe indicar que los metodos y sistemas descritos son igualmente aplicables a la codificacion de voz y codificacion unificada de voz y audio (USAC, «Unified Speech and Audio Coding»).
El documento WO 02/41301 A1 da a conocer un codificador y un descodificador de audio con blanqueo espectral basado en una prediccion lineal despues de la reconstruccion de alta frecuencia y antes del ajuste de la envolvente.
La reconstruccion de alta frecuencia se puede realizar en el dominio del tiempo o en el dominio de la frecuencia, utilizando un banco de filtros o una transformacion elegida. El proceso normalmente implica varias etapas, en donde las dos operaciones principales consisten en primer lugar en crear una senal de excitacion de alta frecuencia y, posteriormente, conformar la senal de excitacion de alta frecuencia para aproximarse a la envolvente espectral del espectro de alta frecuencia original. La etapa de creacion de una senal de excitacion de alta frecuencia se puede basar, por ejemplo, en la modulacion de banda lateral unica (SSB, «Single SideBand»), en donde una sinusoide con frecuencia o se asigna a una sinusoide con frecuencia o + Ao, en donde Ao es un desplazamiento de frecuencia fijo. En otras palabras, la senal de alta frecuencia puede ser generada a partir de la senal de baja frecuencia mediante una operacion de «copia» de subbandas de baja frecuencia a subbandas de alta frecuencia. Un planteamiento adicional de cara a la creacion de una senal de excitacion de alta frecuencia puede involucrar la transposicion armonica de subbandas de baja frecuencia. La transposicion armonica de orden T se disena tfpicamente para asignar una sinusoide con frecuencia o de la senal de baja frecuencia a una sinusoide con frecuencia To, con T > 1, de la senal de alta frecuencia.
La tecnologfa HFR se puede usar como parte de los sistemas de codificacion de fuente, en los que una variedad de informacion de control destinada a guiar el proceso HFR desde un codificador hasta un descodificador junto con una representacion de la senal de banda estrecha/baja frecuencia. En el caso de los sistemas en los que no se pueda transmitir ninguna senal de control adicional, el proceso se puede aplicar en el lado de descodificador con los datos de control adecuados estimados a partir de la informacion disponible en el lado del descodificador.
El ajuste de la envolvente mencionado anteriormente de la senal de excitacion de alta frecuencia tiene como objetivo lograr una forma espectral que se asemeje a la forma espectral de la banda alta original. Para ello, es necesario modificar la forma espectral de la senal de alta frecuencia. Dicho de manera diferente, el ajuste que se ha de aplicar a la banda alta es una funcion de la envolvente espectral existente y de la envolvente espectral objetivo deseada.
5
10
15
20
25
30
35
40
45
50
55
60
65
En el caso de los sistemas que operan en el dominio de la frecuencia, por ejemplo, sistemas HFR implementados en un banco de filtros seudo-QMF, los metodos de la tecnica anterior son suboptimos a este respecto, ya que la creacion de la senal de banda alta, mediante la combinacion de varias contribuciones desde el intervalo de frecuencia de la fuente, introduce una envolvente espectral artificial en la banda alta que debe ser ajustada por la envolvente. En otras palabras, la senal de alta frecuencia o de banda alta generada a partir de la senal de baja frecuencia durante el proceso HFR muestra tipicamente una envolvente espectral artificial (que tipicamente comprende discontinuidades espectrales). Esto plantea dificultades para el ajustador de la envolvente espectral, ya que el ajustador no solo debe tener la capacidad de aplicar la envolvente espectral deseada con una resolucion adecuada del tiempo y de la frecuencia, sino que el ajustador tambien debe tener la capacidad de deshacer las caractensticas espectrales introducidas artificialmente por el generador de senal HFR. Esto plantea complejas restricciones de diseno del ajustador de la envolvente. Como resultado, estas dificultades tienden a llevar a una perdida percibida de energfa de alta frecuencia, y discontinuidades audibles en la forma espectral en la senal de banda alta, particularmente en el caso de senales de tipo voz. En otras palabras, los generadores de senales HFR convencionales tienden a introducir discontinuidades y variaciones de nivel en la senal de banda alta para senales que tienen grandes variaciones de nivel en el intervalo de banda baja, por ejemplo sibilancias. Cuando posteriormente el ajustador de la envolvente se expone a esta senal de banda alta, el ajustador de la envolvente no puede separar, de manera razonable y consistente, la discontinuidad recientemente introducida de cualquier caractenstica espectral natural de la senal de banda baja.
El presente documento describe una solucion al problema mencionado anteriormente, lo que tiene como resultado una mayor calidad de audio percibida. En particular, el presente documento describe una solucion al problema de generar una senal de banda alta a partir de una senal de banda baja, en donde la envolvente espectral de la senal de banda alta se ajusta de manera efectiva con el fin de que se asemeje a la envolvente espectral original en la banda alta sin introducir artefactos no deseados.
Sumario de la invencion
De acuerdo con la invencion, se dan a conocer un codificador tal como se expone en la reivindicacion 1, un descodificador tal como se expone en la reivindicacion 11, unos metodos tales como se exponen en la reivindicaciones 12 y 13, y un producto de programa informatico tal como se expone en la reivindicacion 14.
El presente documento propone una etapa de correccion adicional como parte de la generacion de la senal de reconstruccion de alta frecuencia. Como resultado de la etapa de correccion adicional, se mejora la calidad de audio del componente de alta frecuencia o de la senal de banda alta. La etapa de correccion adicional se puede aplicar a todos los sistemas de codificacion de fuente que utilicen tecnicas de reconstruccion de alta frecuencia, asf como a cualquier metodo o sistema de posprocesamiento de un solo extremo que tenga como objetivo recrear las altas frecuencias de una senal de audio.
De acuerdo con un aspecto, se describe un sistema configurado para generar una pluralidad de senales de subbanda de alta frecuencia que cubran un intervalo de alta frecuencia. El sistema puede estar configurado para generar la pluralidad de senales de subbanda de alta frecuencia a partir de una pluralidad de senales de subbanda de baja frecuencia. La pluralidad de senales de subbanda de baja frecuencia pueden ser senales de subbanda de una senal de audio de banda baja o banda estrecha, que se puede determinar utilizando una transformada o un banco de filtros de analisis. En particular, la pluralidad de senales de subbanda de baja frecuencia se puede determinar a partir de una senal en el dominio del tiempo de banda baja utilizando un banco de filtros de analisis QMF (filtro espejo en cuadratura, «Quadrature Mirror Filter») o una FFT (transformada rapida de Fourier, «Fast Fourier Transform»). La pluralidad de senales de subbanda de alta frecuencia generada puede corresponder a una aproximacion de las senales de subbanda de alta frecuencia de una senal de audio original a partir de la cual se ha derivado la pluralidad de senales de subbanda de baja frecuencia. En particular, la pluralidad de senales de subbanda de baja frecuencia y la pluralidad de senales de subbanda de alta frecuencia (re)generadas puede corresponder a las subbandas de un banco de filtros QMF y/o de una transformada FFT.
El sistema puede comprender medios para recibir la pluralidad de senales de subbanda de baja frecuencia. Como tal, el sistema se puede colocar despues de la transformada o del banco de filtros de analisis que genera la pluralidad de senales de subbanda de baja frecuencia a partir de una senal de banda baja. La senal de banda baja puede ser una senal de audio que se ha descodificado en un descodificador central a partir de un flujo de bits recibido. El flujo de bits se puede almacenar en un soporte de almacenamiento, por ejemplo, un disco compacto o un DVD, o el flujo de bits puede ser recibido en el descodificador a traves de un medio de transmision, por ejemplo, un medio de transmision de radio u optico.
El sistema puede comprender medios para recibir un conjunto de energfas objetivo, que tambien se pueden denominar energfas de factor de escala. Cada energfa objetivo puede cubrir un intervalo objetivo diferente, que tambien se puede denominar una banda de factor de escala, dentro del intervalo de alta frecuencia. Tfpicamente, el conjunto de intervalos objetivo que corresponde al conjunto de energfas objetivo cubre el intervalo de alta frecuencia completo. Una energfa objetivo del conjunto de energfas objetivo es normalmente indicativa de la energfa deseada de una o mas senales de subbanda de alta frecuencia dispuestas dentro del intervalo objetivo correspondiente. En
5
10
15
20
25
30
35
40
45
50
55
60
65
particular, la ene^a objetivo puede corresponder a la energfa deseada media de la una o mas senales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo correspondiente. La ene^a objetivo de un intervalo objetivo se deriva tfpicamente de la energfa de la senal de banda alta de la senal de audio original dentro del intervalo objetivo. En otras palabras, el conjunto de energfas objetivo describe tfpicamente la envolvente espectral de la parte de banda alta de la senal de audio original.
El sistema puede comprender medios para generar la pluralidad de senales de subbanda de alta frecuencia a partir de la pluralidad de senales de subbanda de baja frecuencia. Para este proposito, los medios para generar la pluralidad de senales de subbanda de alta frecuencia pueden estar configurados para realizar una transposicion de copia de la pluralidad de senales de subbanda de baja frecuencia y/o realizar una transposicion armonica de la pluralidad de senales de subbanda de baja frecuencia.
Ademas, los medios para generar la pluralidad de senales de subbanda de alta frecuencia pueden tener en cuenta una pluralidad de coeficientes de ganancia espectral durante el proceso de generacion de la pluralidad de senales de subbanda de alta frecuencia. La pluralidad de coeficientes de ganancia espectral puede estar asociada con la pluralidad de senales de subbanda de baja frecuencia, respectivamente. En otras palabras, cada senal de subbanda de baja frecuencia de la pluralidad de senales de subbanda de baja frecuencia puede tener un coeficiente de ganancia espectral correspondiente a partir de la pluralidad de coeficientes de ganancia espectral. Un coeficiente de ganancia espectral de la pluralidad de coeficientes de ganancia espectral se puede aplicar a la senal de subbanda de baja frecuencia correspondiente.
La pluralidad de coeficientes de ganancia espectral se puede asociar con la energfa de la respectiva pluralidad de senales de subbanda de baja frecuencia. En particular, cada coeficiente de ganancia espectral se puede asociar con la energfa de su senal de subbanda de baja frecuencia correspondiente. En una realizacion, se determina un coeficiente de ganancia espectral sobre la base de la energfa de la senal de subbanda de baja frecuencia correspondiente. Para este proposito, se puede determinar una curva dependiente de la frecuencia sobre la base de la pluralidad de valores de energfa de la pluralidad de senales de subbanda de baja frecuencia. En este caso, un metodo para determinar la pluralidad de coeficientes de ganancia puede estar basado en la curva dependiente de la frecuencia que se determina a partir de una representacion (por ejemplo, logantmica) de las energfas de la pluralidad de senales de subbanda de baja frecuencia.
En otras palabras, la pluralidad de coeficientes de ganancia espectral se puede derivar de una curva dependiente de la frecuencia ajustada a la energfa de la pluralidad de senales de subbanda de baja frecuencia. En particular, la curva dependiente de la frecuencia puede ser un polinomio de un orden/grado predeterminado. De manera alternativa o ademas, la curva dependiente de la frecuencia puede comprender diferentes segmentos de curva, en donde los diferentes segmentos de curva estan ajustados a la energfa de la pluralidad de senales de subbanda de baja frecuencia a diferentes intervalos de frecuencia. Los diferentes segmentos de curva pueden ser diferentes polinomios de un orden predeterminado. En una realizacion, los diferentes segmentos de curva son polinomios de orden cero, tales que los segmentos de curva representan los valores de energfa media de la energfa de la pluralidad de senales de subbanda de baja frecuencia dentro del intervalo de frecuencia correspondiente. En una realizacion adicional, la curva dependiente de la frecuencia se ajusta a la energfa de la pluralidad de senales de subbanda de baja frecuencia mediante una operacion de filtrado de media movil sobre los diferentes intervalos de frecuencia.
En una realizacion, un coeficiente de ganancia de la pluralidad de coeficientes de ganancia se deriva de la diferencia de la energfa media de la pluralidad de senales de subbanda de baja frecuencia y de un valor correspondiente de la curva dependiente de la frecuencia. El valor correspondiente de la curva dependiente de la frecuencia puede ser un valor de la curva a una frecuencia que se encuentra dentro del intervalo de frecuencia de la senal de subbanda de baja frecuencia a la cual corresponde el coeficiente de ganancia.
Tfpicamente, la energfa de la pluralidad de senales de subbanda de baja frecuencia se determina en una determinada cuadncula de tiempo, por ejemplo, en una base de cuadro por cuadro, es decir, la energfa de una senal de subbanda de baja frecuencia dentro de un intervalo de tiempo definido por la cuadncula de tiempo corresponde a la energfa media de las muestras de la senal de subbanda de baja frecuencia dentro del intervalo de tiempo, por ejemplo, dentro de un cuadro. Como tal, se puede determinar una diferente pluralidad de coeficientes de ganancia espectral en la cuadncula de tiempo elegida, por ejemplo, se puede determinar una diferente pluralidad de coeficientes de ganancia espectral para cada cuadro de la senal de audio. En una realizacion, la pluralidad de coeficientes de ganancia espectral se puede determinar muestra por muestra, por ejemplo, determinando la energfa de la pluralidad de subbandas de baja frecuencia utilizando una ventana flotante a traves de las muestras de cada senal de subbanda de baja frecuencia. Cabe destacar que el sistema puede comprender medios para determinar la pluralidad de coeficientes de ganancia espectral a partir de una pluralidad de senales de subbanda de baja frecuencia. Estos medios pueden estar configurados para realizar los metodos mencionados anteriormente con el fin de determinar la pluralidad de coeficientes de ganancia espectral.
Los medios para generar la pluralidad de senales subbanda de alta frecuencia pueden estar configurados para amplificar la pluralidad de senales de subbanda de baja frecuencia utilizando la respectiva pluralidad de coeficientes
5
10
15
20
25
30
35
40
45
50
55
60
65
de ganancia espectral. Aunque en lo sucesivo se hace referencia a «ampNficar» o «ampNficaci6n», la operacion de «amplificacion» se puede reemplazar por otras operaciones, tales como una operacion de «multiplicacion», una operacion de «reajuste de escala» o una operacion de «ajuste». La amplificacion se puede realizar multiplicando una muestra de una senal de subbanda de baja frecuencia por su correspondiente coeficiente de ganancia espectral. En particular, los medios para generar la pluralidad de senales de subbanda de alta frecuencia se pueden configurar para determinar una muestra de una senal de subbanda de alta frecuencia en un instante de tiempo determinado a partir de muestras de una senal de subbanda de baja frecuencia en el instante de tiempo determinado y en al menos un instante de tiempo anterior. Ademas, las muestras de una senal de subbanda de baja frecuencia pueden estar amplificadas por el respectivo coeficiente de ganancia espectral de la pluralidad de coeficientes de ganancia espectral. En una realizacion, los medios para generar la pluralidad de senales de subbanda de alta frecuencia estan configurados para generar la pluralidad de senales de subbanda de alta frecuencia a partir de la pluralidad de senales de subbanda de baja frecuencia, de acuerdo con el algoritmo de «copia» especificado en MPEG-4 SBR. La pluralidad de senales de subbanda de baja frecuencia usada en este algoritmo de «copia» se puede haber amplificado utilizando la pluralidad de coeficientes de ganancia espectral, en donde la operacion de «amplificacion» se puede haber realizado segun se describio anteriormente.
El sistema puede comprender medios para ajustar la energfa de la pluralidad de senales de subbanda de alta frecuencia utilizando el conjunto de energfas objetivo. Esta operacion se denomina tfpicamente un ajuste de la envolvente espectral. El ajuste de la envolvente espectral se puede realizar ajustando la energfa de la pluralidad de senales de subbanda de alta frecuencia de tal manera que la energfa media de la pluralidad de senales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo corresponda con la energfa objetivo correspondiente. Esto se puede lograr determinando un valor de ajuste de la envolvente a partir de los valores de energfa de la pluralidad de senales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo y la energfa objetivo correspondiente. En particular, el valor de ajuste de la envolvente se puede determinar a partir de una proporcion entre la energfa objetivo y los valores de energfa de la pluralidad de senales de subbanda de alta frecuencia que se encuentran dentro de un intervalo objetivo correspondiente. Este valor de ajuste de la envolvente se puede usar para ajustar la energfa de la pluralidad de senales de subbanda de alta frecuencia.
En una realizacion, los medios para ajustar la energfa comprenden medios para limitar el ajuste de la energfa de las senales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador. Tfpicamente, el intervalo limitador cubre mas de un intervalo objetivo. Los medios para limitar se usan para evitar una amplificacion del ruido no deseable dentro de ciertas senales de subbanda de alta frecuencia. Por ejemplo, los medios para limitar pueden estar configurados para determinar un valor de ajuste de la envolvente medio de los valores de ajuste de la envolvente que corresponden a los intervalos objetivo cubiertos por o que se encuentran dentro del intervalo limitador. Ademas, los medios para limitar se pueden configurar de manera que limiten el ajuste de la energfa de las senales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador a un valor que es proporcional al valor de ajuste de la envolvente medio.
De manera alternativa o ademas, los medios para ajustar la energfa de la pluralidad de senales de subbanda de alta frecuencia pueden comprender medios para asegurar que las senales de subbanda de alta frecuencia ajustadas que se encuentran dentro del intervalo objetivo particular tengan la misma energfa. Estos ultimos medios se denominan con frecuencia medios de «interpolacion». En otras palabras, los medios de «interpolacion» aseguran que la energfa de cada una de las senales de subbanda de alta frecuencia que se encuentran dentro del intervalo objetivo particular corresponda a la energfa objetivo. Los medios de «interpolacion» se pueden implementar ajustando cada senal de subbanda de alta frecuencia dentro del intervalo objetivo particular por separado, de manera tal que la energfa de la senal de subbanda de alta frecuencia ajustada corresponda con la energfa objetivo asociada con el intervalo objetivo particular. Esto se puede lograr determinando un valor de ajuste de la envolvente diferente para cada senal de subbanda de alta frecuencia dentro del intervalo objetivo particular. Se puede determinar un valor de ajuste de la envolvente diferente sobre la base de la energfa de la senal de subbanda de alta frecuencia particular y la energfa objetivo correspondiente al intervalo objetivo particular. En una realizacion, el valor de ajuste de la envolvente para una senal de subbanda de alta frecuencia particular se determina sobre la base de la proporcion entre la energfa objetivo y la energfa de la senal de subbanda de alta frecuencia particular.
El sistema ademas puede comprender medios para recibir datos de control. Los datos de control pueden ser indicativos de si se aplica la pluralidad de coeficientes de ganancia espectral para generar la pluralidad de senales de subbanda de alta frecuencia. En otras palabras, los datos de control pueden ser indicativos de si se debe realizar o no el ajuste de la ganancia adicional de las senales de subbanda de baja frecuencia. De manera alternativa o ademas, los datos de control pueden ser indicativos de un metodo que se utiliza para determinar la pluralidad de coeficientes de ganancia espectral. A tftulo de ejemplo, los datos de control pueden ser indicativos del orden predeterminado del polinomio que se ha de utilizar para determinar la curva dependiente de la frecuencia ajustada a las energfas de la pluralidad de senales de subbanda de baja frecuencia. Los datos de control se reciben tfpicamente desde un codificador correspondiente que analiza la senal de audio original e informa al correspondiente descodificador o sistema HFR sobre como descodificar el flujo de bits.
De acuerdo con otro aspecto, se describe un descodificador de audio configurado para descodificar un flujo de bits que comprende una senal de audio de baja frecuencia y que comprende un conjunto de energfas objetivo que
5
10
15
20
25
30
35
40
45
50
55
60
65
describe la envolvente espectral de una senal de audio de alta frecuencia. En otras palabras, se describe un descodificador de audio configurado para descodificar un flujo de bits representativo de una senal de audio de baja frecuencia y representativo de un conjunto de energfas objetivo que describe la envolvente espectral de una senal de audio de alta frecuencia. El descodificador de audio puede comprender una unidad de transformacion y/o descodificador central configurada para determinar una pluralidad de senales de subbanda de baja frecuencia asociadas con la senal de audio de baja frecuencia del flujo de bits. De manera alternativa o ademas, el descodificador de audio puede comprender una unidad de generacion de alta frecuencia de acuerdo con el sistema descrito en el presente documento, en donde el sistema puede estar configurado para determinar una pluralidad de senales de subbanda de alta frecuencia a partir de la pluralidad de senales de subbanda de baja frecuencia y el conjunto de energfas objetivo. De manera alternativa o ademas, el descodificador puede comprender una unidad de transformacion inversa y/o fusion configurada para generar una senal de audio a partir de la pluralidad de senales de subbanda de baja frecuencia y la pluralidad de senales de subbanda de alta frecuencia. La unidad de transformacion inversa y fusion puede comprender una transformada o un banco de filtros de analisis, por ejemplo, un banco de filtros QMF inverso o una FFT inversa.
De acuerdo con un aspecto adicional, se describe un codificador configurado para generar datos de control de una senal de audio. El codificador de audio puede comprender medios para analizar la forma espectral de la senal de audio y determinar un grado de discontinuidades de la envolvente espectral introducidas al regenerar un componente de alta frecuencia de la senal de audio a partir de un componente de baja frecuencia de la senal de audio. Como tal, el codificador puede comprender ciertos elementos de un descodificador correspondiente. En particular, el codificador puede comprender un sistema HFR como se describe en el presente documento. Esto permitira que el codificador determine el grado de discontinuidades en la envolvente espectral que podna introducirse al componente de alta frecuencia de la senal de audio en el lado del descodificador. De manera alternativa o ademas, el codificador puede comprender medios para generar datos de control para controlar la regeneracion del componente de alta frecuencia sobre la base del grado de discontinuidades. En particular, los datos de control pueden corresponder a los datos de control recibidos por el correspondiente descodificador o el sistema HFR. Los datos de control pueden ser indicativos de si se debe utilizar la pluralidad de coeficientes de ganancia espectral durante el proceso HFR y/o que orden polinomico predeterminado utilizar con el fin de determinar la pluralidad de coeficientes de ganancia espectral. Con el fin de determinar esta informacion, se podna determinar una proporcion de las partes seleccionadas del intervalo de baja frecuencia, es decir, el intervalo de frecuencia cubierto por la pluralidad de senales de subbanda de baja frecuencia. Esta informacion de proporcion se puede determinar, por ejemplo, estudiando las frecuencias mas bajas de la baja banda, y las frecuencias mas altas de la baja banda con el fin de estimar la variacion espectral de la senal de baja banda que se utilizara posteriormente en el codificador para la reconstruccion de alta frecuencia. Una alta proporcion podna indicar un mayor grado de discontinuidad. Los datos de control tambien se pueden determinar utilizando detectores de tipo senal. A tttulo de ejemplo, la deteccion de las senales de voz podna indicar un mayor grado de discontinuidad. Por otra parte, la deteccion de sinusoides prominentes en la senal de audio original podna llevar a datos de control que indique que la pluralidad de coeficientes de ganancia espectral no debena ser utilizada durante el proceso HFR.
De acuerdo con otro aspecto, se describe un metodo para generar una pluralidad de senales de subbanda de alta frecuencia que cubren un intervalo de alta frecuencia desde una pluralidad de senales de subbanda de baja frecuencia. El metodo puede comprender las etapas de recibir la pluralidad de senales de subbanda de baja frecuencia y/o recibir un conjunto de energfas objetivo. Cada energfa objetivo puede cubrir un intervalo objetivo diferente dentro del intervalo de alta frecuencia. Ademas, cada energfa objetivo puede ser indicativa de la energfa deseada de una o mas senales de subbanda de alta frecuencia dispuestas dentro del intervalo objetivo. El metodo puede comprender la etapa de generar la pluralidad de senales de subbanda de alta frecuencia a partir de la pluralidad de senales de subbanda de baja frecuencia y a partir de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de senales de subbanda de baja frecuencia, respectivamente. De manera alternativa o ademas, el metodo puede comprender la etapa de ajustar la energfa de la pluralidad de senales de subbanda de alta frecuencia utilizando el conjunto de energfas objetivo. La etapa de ajustar la energfa puede comprender la etapa de limitar el ajuste de la energfa de las senales de subbanda de alta frecuencia que se encuentran dentro del intervalo limitador. Tfpicamente, el intervalo limitador cubre mas de un intervalo objetivo.
De acuerdo con un aspecto adicional, se describe un metodo para descodificar un flujo de bits configurado para descodificar un flujo de bits representativo de o que comprende una senal de audio de baja frecuencia y un conjunto de energfas objetivo que describe la envolvente espectral de una correspondiente senal de audio de alta frecuencia. Tfpicamente, las senales de audio de baja frecuencia y de alta frecuencia corresponden a un componente de baja frecuencia y de alta frecuencia de la misma senal de audio original. El metodo puede comprender la etapa de determinar una pluralidad de senales de subbanda de baja frecuencia asociadas con la senal de audio de baja frecuencia del flujo de bits. De manera alternativa o ademas, el metodo puede comprender la etapa de determinar una pluralidad de senales de subbanda de alta frecuencia a partir de la pluralidad de senales de subbanda de baja frecuencia y el conjunto de energfas objetivo. Esta etapa se realiza tfpicamente de acuerdo con los metodos HFR descritos en el presente documento. A continuacion, el metodo puede comprender la etapa de generar una senal de audio a partir de la pluralidad de senales de subbanda de baja frecuencia y la pluralidad de senales de subbanda de alta frecuencia.
5
10
15
20
25
30
35
40
45
50
55
60
65
De acuerdo con otro aspecto, se describe un metodo para generar datos de control a partir de una senal de audio. El metodo puede comprender la etapa de analizar la forma espectral de la senal de audio con el fin de determinar un grado de discontinuidades introducidas al regenerar un componente de alta frecuencia de la senal de audio a partir de un componente de baja frecuencia de la senal de audio. Ademas, el metodo puede comprender la etapa de generar datos de control para controlar la regeneracion del componente de alta frecuencia sobre la base del grado de discontinuidades.
De acuerdo con un aspecto adicional, se describe un programa de software. El programa de software puede estar adaptado para su ejecucion en un procesador y para realizar las etapas del metodo descritas en el presente documento cuando se ejecuta en un dispositivo informatico.
De acuerdo con otro aspecto, se describe un soporte de almacenamiento. El soporte de almacenamiento puede comprender un programa de software adaptado para su ejecucion en un procesador y para realizar las etapas del metodo descritas en el presente documento cuando se ejecuta en un dispositivo informatico.
De acuerdo con un aspecto adicional, se describe un producto de programa informatico. El programa informatico puede comprender instrucciones ejecutables para realizar las etapas del metodo descritas en el presente documento cuando se ejecutan en un ordenador.
Cabe indicar que los metodos y sistemas, incluidas sus realizaciones preferentes como se describe en la presente solicitud de patente, se pueden de manera independiente o en combinacion con los demas metodos y sistemas descritos en este documento. Ademas, todos los aspectos de los metodos y sistemas descritos en la presente solicitud de patente se pueden combinar de manera arbitraria. En particular, las caractensticas de las reivindicaciones se pueden combinar entre sf de manera arbitraria.
Breve descripcion de los dibujos
La invencion se describe a continuacion a modo de ejemplos ilustrativos, haciendo referencia a los dibujos que se acompanan, en los que:
la figura 1a ilustra el espectro absoluto de un ejemplo de espectral;
la figura 1b ilustra un ejemplo de relacion entre cuadros envolvente en las envolvente espectrales;
la figura 1c ilustra el espectro absoluto de un ejemplo de espectral, y las bandas de factor de escala, las bandas Frequency») correspondientes;
la figura 2 ilustra una realizacion de un sistema HFR en el que el proceso de copia se complementa con una etapa de ajuste de la ganancia adicional;
la figura 3 ilustra una aproximacion de la envolvente espectral bruta de un ejemplo de senal de banda baja;
la figura 4 ilustra una realizacion de un ajustador de la ganancia adicional que opera con datos de control opcionales, las muestras de subbandas QMF, y envfa como salida una curva de ganancia;
la figura 5 ilustra una realizacion mas detallada del ajustador de la ganancia adicional de la figura 4;
la figura 6 ilustra una realizacion de un sistema HFR con una senal de banda estrecha como entrada y una senal de banda ancha como salida;
la figura 7 ilustra una realizacion de un sistema HFR incorporado en el modulo SBR de un descodificador de audio:
la figura 8 ilustra una realizacion del modulo de reconstruccion de alta frecuencia de un ejemplo de descodificador de audio;
la figura 9 ilustra una realizacion de un ejemplo de codificador;
la figura 10a ilustra el espectrograma de un ejemplo de segmento vocal que se ha descodificado utilizando un descodificador convencional;
la figura 10b ilustra el espectrograma del segmento vocal de la figura 10a, que se ha descodificado utilizando un descodificador aplicando el procesamiento de ajuste de la ganancia adicional; y
senal de banda alta antes del ajuste de la envolvente
de tiempo de datos de audio y bordes de tiempo de
senal de banda alta antes del ajuste de la envolvente limitadoras y los parches HF (alta frecuencia, «High
5
10
15
20
25
30
35
40
45
50
55
60
65
la figura 10c ilustra el espectrograma del segmento vocal de la figura 10a para la senal no codificada original. Descripcion de realizaciones preferidas
Las realizaciones descritas a continuacion son meramente ilustrativas de los principios de la presente invencion, PROCESAMIENTO DE SENALES DE AUDIO DURANTE LA RECONSTRUCCION DE ALTA FRECUENCIA. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en esta invencion resultaran evidentes para otros expertos en la materia. Por consiguiente, la intencion es limitar la invencion unicamente por el alcance de las reivindicaciones de patente pendientes y no por los detalles espedficos presentados a modo de descripcion y explicacion de las realizaciones de esta invencion.
Como se describio anteriormente, los descodificadores de audio que utilizan tecnicas HFR comprenden tfpicamente una unidad HFR para generar una senal de audio de alta frecuencia y una posterior unidad de ajuste de la envolvente espectral para ajustar la envolvente espectral de la senal de audio de alta frecuencia. Cuando se ajusta la envolvente espectral de la senal de audio, esto se realiza tfpicamente mediante la implementacion de un banco de filtros, o mediante un filtrado en el dominio del tiempo. El ajuste puede tratar de realizar una correccion de la envolvente espectral absoluta o se puede realizar mediante un filtrado que tambien corrija las caractensticas de fase. De cualquier manera, el ajuste es tfpicamente una combinacion de dos etapas, la eliminacion de la envolvente espectral actual y la aplicacion de la envolvente espectral objetivo.
Es importante indicar que los metodos y sistemas descritos en el presente documento no estan meramente dirigidos a la eliminacion de la envolvente espectral de la senal de audio. Los metodos y sistemas tratan de realizar una correccion espectral adecuada de la envolvente espectral de la senal de banda baja como parte de la etapa de regeneracion de alta frecuencia, con el fin de no introducir discontinuidades de la envolvente espectral del espectro de alta frecuencia creadas al combinar diferentes segmentos de la banda baja, es decir, la senal de baja frecuencia, desplazados o transpuestos a intervalos de frecuencia diferentes de la banda alta, es decir, la senal de alta frecuencia.
En la figura 1a se muestra un espectro de dibujo estilizado 100, 110 de la salida de una unidad HFR antes de pasar al ajustador de la envolvente. En el panel superior, se usa un metodo de copia (con dos parches) para generar una senal de banda alta 105 a partir de la senal de banda baja 101, por ejemplo, el metodo de copia utilizado en la MPEG-4 SBR (replicacion de banda espectral, «Spectral Band Replication») que se describe en la norma «ISO/lEC 14496-3 Tecnologfa de la informacion - Codificacion de objetos audiovisuales - Parte 3: Audio». El metodo de copia traduce partes de las frecuencias inferiores 101 a frecuencias superiores 105. En el panel inferior, se usa un metodo de transposicion armonica (con dos parches) para generar la senal de banda alta 115 a partir de la senal de banda baja 111, por ejemplo, el metodo de transposicion armonica de MPEG-D USAC, que se describe en la norma «MPEG-D USaC: ISO/IEC 23003-3 - Codificacion unificada de voz y audio».
En la posterior etapa de ajuste de la envolvente, se aplica una envolvente espectral objetivo sobre los componentes de alta frecuencia 105, 115. Como se puede ver en el espectro 105, 115 que se dirige al ajustador de la envolvente, se pueden observar discontinuidades (de manera notable en los bordes del parche) en la forma espectral de la senal de excitacion de banda alta 105, 115, es decir, de la senal de banda alta que entra al ajustador de la envolvente. Estas discontinuidades tienen su origen en el hecho de que se usan varias contribuciones de las bajas frecuencias 101, 111 con el fin de generar la banda alta 105, 115. Como se puede observar, la forma espectral de la senal de banda alta 105, 115 esta relacionada con la forma espectral de la senal de banda baja 101, 111. En consecuencia, las formas espectrales particulares de la senal de banda baja 101, 111, por ejemplo, una forma de gradiente ilustrada en la figura 1a, pueden llevar a discontinuidades en el espectro total 100, 110.
Ademas del espectro 100, 110, la figura 1a ilustra ejemplos de bandas de frecuencia 130 de los datos de la envolvente espectral que representan la envolvente espectral objetivo. Estas bandas de frecuencia 130 se denominan bandas de factor de escala o intervalos objetivo. Tfpicamente, se especifica un valor de energfa objetivo, es decir, una energfa de factor de escala, para cada intervalo objetivo, es decir, banda de factor escala. En otras palabras, las bandas de factor de escala definen la resolucion de frecuencia efectiva de la envolvente espectral objetivo, ya que tfpicamente solo hay un unico valor de energfa objetivo por intervalo objetivo. Utilizando los factores de escala o energfas objetivo especificados para las bandas de factor escala, el posterior ajustador de la envolvente trata de ajustar la senal de banda alta de manera tal que la energfa de la senal de banda alta dentro de las bandas de factor de escala sea igual a la energfa de los datos de la envolvente espectral recibidos, es decir, la energfa objetivo, para las bandas de factor de escala respectivas.
En la figura 1c se ofrece una descripcion mas detallada utilizando un ejemplo de senal de audio. En el grafico se ilustra el espectro de una senal de audio del mundo real 121 que se dirige al ajustador envolvente, asf como la senal original correspondiente 120. En este ejemplo particular, el intervalo SBR, es decir, el intervalo de la senal de alta frecuencia, empieza en 6,4 kHz y consiste en tres replicaciones diferentes del intervalo de frecuencia de banda baja. Los intervalos de frecuencia de las diferentes replicaciones vienen indicados por «parche 1», «parche 2» y «parche 3». Queda claro a partir del espectrograma que los parches introducen discontinuidades en la envolvente espectral alrededor de 6,4 kHz, 7,4 kHz, y 10,8 kHz. Eh el presente ejemplo, estas frecuencias corresponden a bordes de
5
10
15
20
25
30
35
40
45
50
55
60
65
parche.
La figura 1c ilustra ademas las bandas de factor de escala 130 asf como las bandas limitadoras 135, cuya funcion se describira con mas detalle a continuacion. En la realizacion ilustrada, se utiliza el ajustador de la envolvente de MPEG-4 SBR. Este ajustador de la envolvente opera utilizando un banco de filtros QMF. Los aspectos principales de la operacion de un ajustador de la envolvente de este tipo son:
• calcular la energfa media a traves de una banda de factor de escala 130 de la senal de entrada al ajustador de la envolvente, es decir, la senal que sale de la unidad HFR; en otras palabras, la energfa media de la senal de banda alta regenerada se calcula dentro de cada intervalo objetivo/banda de factor de escala 130;
• determinar un valor de ganancia, tambien denominado valor de ajuste de la envolvente, para cada banda de factor de escala 130, en donde el valor de ajuste de la envolvente es la rafz cuadrada de la relacion de energfa entre la energfa objetivo (es decir, el objetivo de energfa recibido de un codificador) y la energfa media de la senal de banda alta regenerada 121 dentro de la banda de factor de escala respectiva 130;
• aplicar el respectivo valor de ajuste de la envolvente a la banda de frecuencia de la senal de banda alta regenerada 121, en donde la banda de frecuencia corresponde a la respectiva banda de factor de escala 130.
Ademas, el ajustador de la envolvente puede comprender etapas y variaciones adicionales, en particular:
• una funcion limitadora, que limita el valor de ajuste de la envolvente maximo permitido que se aplicara sobre una cierta banda de frecuencia, es decir, sobre una banda limitadora 135. El valor de ajuste de la envolvente maximo permitido es una funcion de los valores de ajuste de la envolvente determinados para las diferentes bandas de factor de escala 130 que caen dentro de una banda limitadora 135. En particular, el valor de ajuste de la envolvente maximo permitido es una funcion de la media de los valores de ajuste de la envolvente determinados para las diferentes bandas de factor de escala 130 que caen dentro de una banda limitadora 135. A modo de ejemplo, el valor de ajuste de la envolvente maximo permitido puede ser el valor medio de los valores de ajuste de la envolvente relevantes multiplicado por un factor limitador (tal como 1,5). La funcion limitadora se aplica tfpicamente con el fin de limitar la introduccion de ruido en la senal de banda alta regenerada 121. Esto es particularmente relevante en el caso de senales de audio que comprendan sinusoides prominentes, es decir, senales de audio que tengan un espectro con picos ineqrnvocos a ciertas frecuencias. Sin el uso de la funcion limitadora, se determinanan valores de ajuste de la envolvente significativos para las bandas de factor de escala 130 para las cuales la senal de audio original comprende estos picos ineqrnvocos. Como resultado, se ajustara el espectro de la banda de factor de escala completa 130 (y no solo el pico inequvoco), introduciendo de esta manera ruido.
• una funcion de interpolacion, que permite calcular los valores de ajuste de la envolvente para cada subbanda QMF individual dentro de una banda de factor de escala, en lugar de calcular un valor de ajuste de la envolvente sencillo para toda la banda de factor de escala. Ya que las bandas de factor de escala comprenden tfpicamente mas de una subbanda QMF, un valor de ajuste de la envolvente se puede calcular como la proporcion de la energfa de una subbanda QMF particular dentro de la banda de factor de escala y la energfa objetivo que se recibe del codificador, en lugar de calcular la proporcion de la energfa media de todas las subbandas QMF dentro de la banda de factor de escala y la energfa objetivo que se recibe del codificador. Como tal, se puede determinar un valor de ajuste de la envolvente diferente para cada subbanda QMF dentro de una banda de factor de escala. Cabe senalar que el valor de energfa objetiva recibido para una banda de factor de escala corresponde tfpicamente a la energfa media de este intervalo de frecuencia dentro de la senal original. La manera de aplicar la energfa objetivo media recibida a la banda de frecuencia correspondiente de la senal de banda alta regenerada depende de la operacion del descodificador. Esto se puede realizar aplicando un valor de ajuste de la envolvente total a las subbandas QMF dentro de una banda de factor de escala de la senal de banda alta regenerada o aplicando un valor de ajuste de la envolvente individual a cada subbanda QMF. Se puede considerarse que este ultimo planteamiento es como si la informacion de la envolvente recibida (es decir, una energfa objetivo por banda de factor escala) se «interpolase» a lo largo de las subbandas QMF dentro de una banda de factor de escala, con el fin de obtener una resolucion de frecuencia superior. Por consiguiente, este planteamiento se denomina «interpolacion» en MPEG-4 SBR.
Volviendo a la figura 1c, se puede ver que el ajustador de la envolvente debera aplicar valores de ajuste de la envolvente elevados con el fin de ajustar el espectro 121 de la senal que se dirige al ajustador de la envolvente con el espectro 120 de la senal original. Tambien se puede ver que, debido a las discontinuidades, se producen grandes variaciones de los valores de ajuste de la envolvente dentro de las bandas limitadoras 135. Como resultado de estas grandes variaciones, los valores de ajuste de la envolvente que corresponden a los mmimos locales del espectro regenerado 121 estaran limitados por la funcion limitadora del ajustador de la envolvente. En consecuencia, las discontinuidades dentro del espectro regenerado 121 permaneceran, incluso despues de realizar la operacion de ajuste de la envolvente. Por otra parte, si no se usa una funcion limitadora, se podna introducir ruido no deseado, como se describio anteriormente.
Por lo tanto, existe un problema para la regeneracion de una senal de banda alta para cualquier senal que tenga grandes variaciones de nivel a lo largo del intervalo de banda baja. Este problema se debe a las discontinuidades
5
10
15
20
25
30
35
40
45
50
55
60
65
que se introducen durante la regeneracion de alta frecuencia de la banda alta. Cuando posteriormente el ajustador de la envolvente se expone a esta senal regenerada, no se puede separar, de manera razonable y consistente, la discontinuidad recientemente introducida de cualquier caractenstica espectral del «mundo real» de la senal de banda baja. Los efectos de este problema son dobles. En primer lugar, las formas espectrales se introducen en la senal de banda alta que el ajustador de la envolvente no puede compensar. En consecuencia, la salida tiene una forma espectral erronea. En segundo lugar, se percibe un efecto de inestabilidad, debido al hecho de que este efecto va y viene como funcion de las caractensticas espectrales de la banda baja.
El presente documento resuelve el problema mencionado anteriormente al describir un metodo y sistema que proporcionan una senal de banda alta HFR en la entrada del ajustador de la envolvente que no muestra discontinuidades espectrales. Para este proposito, se propone el retirar o reducir la envolvente espectral de la senal de banda baja al realizar la regeneracion de alta frecuencia. Al hacer esto, se evita introducir cualesquiera discontinuidades espectrales en la senal de banda alta antes de realizar el ajuste de la envolvente. Como resultado, el ajustador de la envolvente no tendra que gestionar estas discontinuidades espectrales. En particular, se puede usar un ajustador de la envolvente convencional, en el que la funcion limitadora del ajustador de la envolvente se utiliza para evitar la introduccion de ruido en la senal de banda alta regenerada. En otras palabras, el metodo y sistema descritos se pueden usar para regenerar una senal de banda alta HFR que tenga pocas o ninguna discontinuidades espectrales y un bajo nivel de ruido.
Cabe senalar que la resolucion en el tiempo del ajustador de la envolvente puede ser diferente de la resolucion en el tiempo del procesamiento propuesto de la envolvente espectral durante la generacion de senal de banda alta. Como se indico anteriormente, se pretende que el procesamiento de la envolvente espectral durante la regeneracion de la senal de banda alta modifique la envolvente espectral de la senal de banda baja, con el fin de aliviar el procesamiento dentro del posterior ajustador de la envolvente. Este procesamiento, es decir, la modificacion de la envolvente espectral de la senal de banda baja, se puede realizar, por ejemplo, una vez por cuadro de audio, caso en el que el ajustador de la envolvente puede ajustar la envolvente espectral a lo largo de varios intervalos de tiempo, es decir, utilizando varias envolventes espectrales recibidas. Esto se describe en la figura 1b, en la que la cuadncula de tiempo 150 de los datos de la envolvente espectral se ilustra en el panel superior, y la cuadncula de tiempo 155 para el procesamiento de la envolvente espectral de la senal de banda baja durante la regeneracion de la senal de banda alta se ilustra en el panel inferior. Como se puede ver en el ejemplo de la figura 1b, los bordes de tiempo de los datos de la envolvente espectral vanan con el tiempo, mientras que el procesamiento de la envolvente espectral de la senal de banda baja opera en una cuadncula de tiempo fija. Tambien se puede ver que se podnan realizar varios ciclos de ajuste de la envolvente (representados por bordes de tiempo 150) durante un ciclo de procesamiento de la envolvente espectral de la senal de banda baja. En el ejemplo ilustrado, el procesamiento de la envolvente espectral de la senal de banda baja opera en una base cuadro por cuadro, lo que significa que se determina una pluralidad diferente de coeficientes de ganancia espectral para cada cuadro de la senal. Cabe senalar que el procesamiento de la senal de banda baja puede operar en cualquier cuadncula de tiempo y que la cuadncula de tiempo de este procesamiento no tiene que coincidir con la cuadncula de tiempo de los datos de la envolvente espectral.
En la figura 2, se ilustra un sistema HFR basado en banco de filtros 200. El sistema HFR 200 opera utilizando un banco de filtros seudo-QMF y el sistema 200 se puede usar para producir la senal de banda alta y banda baja 100 ilustrada en el panel superior de la figura 1a. Sin embargo, se ha anadido una etapa adicional de ajuste de la ganancia como parte del proceso de generacion de alta frecuencia, que en el ejemplo ilustrado es un proceso de copia. La senal de entrada de baja frecuencia es analizada por un QMF de 32 subbandas 201, con el fin de generar una pluralidad de senales de subbanda de baja frecuencia. A algunas o todas las senales de subbanda de baja frecuencia se les aplican parches en ubicaciones de frecuencia superior de acuerdo con un algoritmo de generacion de HF (alta frecuencia, «High Frequency»). Adicionalmente, la pluralidad de subbandas de baja frecuencia se envfa directamente al banco de filtros de smtesis 202. El banco de filtros de smtesis mencionado anteriormente 202 es un QMF inverso de 64 subbandas 202. En el caso de la implementacion particular ilustrada en la figura 2, el uso de un banco de filtros de analisis QMF de 32 subbandas 201 y el uso de un banco de filtros de smtesis QMF de 64 subbandas 202 dara lugar a una frecuencia de muestreo de salida de la senal de salida del doble de la frecuencia de muestreo de entrada de la senal de entrada. No obstante, cabe senalar que los sistemas descritos en el presente documento no se limitan a sistemas con diferentes frecuencias de muestreo de entrada y salida. Los expertos en la materia podran contemplar una multitud de diferentes relaciones de frecuencia de muestreo.
Como se describio en la figura 2, las subbandas de las frecuencias inferiores son asignadas a subbandas de frecuencias superiores. Como parte de este proceso de copia se introduce una etapa de ajuste de la ganancia 204. La senal de alta frecuencia creada, es decir, la pluralidad generada de senales de subbanda de alta frecuencia, se envfa al ajustador de la envolvente 203 (que posiblemente comprende una funcion de interpolacion y/o limitadora), antes de su combinacion con la pluralidad de senales de subbanda de baja frecuencia en el banco de filtros de smtesis 202. Al utilizar tal sistema HFR 200, y en particular al utilizar una etapa de ajuste de la ganancia 204, es posible evitar la introduccion de las discontinuidades de la envolvente espectral, como se ilustra en la figura 1. Para este proposito, la etapa de ajuste de la ganancia 204 modifica la envolvente espectral de la senal de banda baja, es decir, la envolvente espectral de la pluralidad de senales de subbanda de baja frecuencia, de tal manera que la senal de banda baja modificada se puede utilizar para generar una senal de banda alta, es decir, una pluralidad de
5
10
15
20
25
30
35
40
45
50
senales de subbanda de baja frecuencia, que no muestran discontinuidades, en particular discontinuidades en los bordes de parche. Haciendo referencia a la figura 1c, la etapa de ajuste de ganancia adicional 204 asegura que la envolvente espectral 101, 111 de la senal de banda baja se modifique de tal manera que no haya discontinuidades en la senal de banda alta generada 105, 115, o que estas sean limitadas.
La modificacion de la envolvente espectral de la senal de banda baja se puede lograr aplicando una curva de ganancia a la envolvente espectral de la senal de banda baja. Esta curva de ganancia puede ser determinada por una unidad de determinacion de la curva de ganancia 400 ilustrada en la figura 4. El modulo 400 toma como entrada los datos QMF 402 correspondientes al intervalo de frecuencia de la senal de banda baja utilizados para recrear la senal de banda alta. En otras palabras, la pluralidad de senales de subbanda de baja frecuencia se envfa a la unidad de determinacion de la curva de ganancia 400. Como ya se indico, solo se puede utilizar un subconjunto de las subbandas QMF disponibles de la senal de banda baja para generar la senal de banda alta, es decir, solo se puede enviar un subconjunto de las subbandas QMF disponibles a la unidad de determinacion de la curva de ganancia 400. Ademas, el modulo 400 puede recibir datos de control opcionales 404, por ejemplo, datos de control enviados desde un codificador correspondiente. El modulo 400 enviara como salida una curva de ganancia 403 que se aplicara durante el proceso de regeneracion de alta frecuencia. En una realizacion, la curva de ganancia 403 se aplica a las subbandas QMF de la senal de banda baja, que se usan para generar la senal de banda alta. Es decir, la curva de ganancia 403 se puede usar dentro del proceso de copia del proceso HFR.
Los datos de control opcional 404 pueden comprender informacion de la resolucion de la envolvente espectral bruta, que se estimara en el modulo 400, y/o informacion sobre la conveniencia de aplicar el proceso de ajuste de la ganancia. Asf pues, los datos de control 404 pueden controlar la cantidad de procesamiento adicional involucrado durante el proceso de ajuste de la ganancia. Los datos de control 404 tambien pueden activar una derivacion del procesamiento de ajuste de la ganancia adicional, si se producen senales que no permitan facilmente realizar la estimacion de la envolvente espectral bruta, por ejemplo, senales que comprendan sinusoides sencillas.
En la figura 5 se muestra una vista mas detallada del modulo 400 de la figura 4. Los datos QMF 402 de la senal de banda baja se envfan a la unidad de estimacion de la envolvente 501 que estima la envolvente espectral, por ejemplo, en una escala de energfa logantmica. La envolvente espectral posteriormente se envfa al modulo 502 que estima la envolvente espectral bruta de la envolvente espectral de alta resolucion (frecuencia) que se recibe de la unidad de estimacion de la envolvente 501. En una realizacion, esto se realiza ajustando un polinomio de orden bajo a los datos de la envolvente espectral, es decir, un polinomio de un orden en el intervalo, por ejemplo, de 1, 2, 3 o 4. La envolvente espectral bruta tambien se puede determinar realizando una operacion de media movil de la envolvente espectral de alta resolucion a lo largo del eje de la frecuencia. En la figura 3 se ilustra la determinacion de una envolvente espectral bruta 301 de una senal de banda baja. Se puede ver que el espectro absoluto 302 de la senal de banda baja, es decir, la energfa de las bandas QMF 302, se aproxima mediante una envolvente espectral bruta 301, es decir, mediante una curva dependiente de la frecuencia ajustada a la envolvente espectral 20 de la pluralidad de senales de subbanda de baja frecuencia. Ademas, se muestra que solo se usan 20 senales de subbanda QMF para generar las senales de banda alta, es decir, solo una parte de las 32 senales de subbanda QMF se usan dentro del proceso HFR.
El metodo usado para determinar la envolvente espectral bruta de la envolvente espectral de alta resolucion, y en particular el orden del polinomio que se adapta o se ajusta a la envolvente espectral de alta resolucion, puede estar controlado por los datos de control opcional 404. El orden del polinomio puede ser una funcion del tamano del intervalo de frecuencia 302 de la senal de banda baja, para la cual se ha de determinar una envolvente espectral bruta 301 y/o puede ser una funcion de otros parametros relevantes para la forma espectral bruta total del intervalo de frecuencia relevante 302 de la senal de banda baja. El ajuste polinomico calcula un polinomio que aproxima los datos en un sentido de error de mmimos cuadrados. A continuacion se establece una realizacion preferente, mediante codigo Matlab:
function GainVec = calculateGainVec(LowEnv)
%% function GainVec = calculateGainVec(LowEnv)
% Input: Energfa de envolvente de banda baja en dB % Output: Vector de ganancia para su aplicacion a la banda baja % antes de una generacion de HF %
% La funcion hace un ajuste polinomico de orden bajo de la % envolvente espectral de banda baja, como representacion de la % pendiente espectral global de banda baja. La pendiente global de % acuerdo con esto se traduce seguidamente en un vector de ganancia % que se puede aplicar antes de una generacion de HF para quitar la % pendiente global (o forma espectral bruta).
%
% Esto impide que la generacion de HF introduzca discontinuidades % en la forma espectral, que senan “confusas” para el siguiente
5
10
15
20
25
30
35
40
% proceso de limitador y ajuste de envolvente. La “confusion” se
% produce cuando el limitador y ajustador de envolvente necesita
% tener en cuenta una discontinuidad grande, y de este modo un
% valor de ganancia elevado. Es muy dificil sintonizar y tener una
% operacion apropiada de estos modulos si tienen que tener en
% cuenta tanto variaciones “naturales” en la banda alta como las
% variaciones “artificiales” introducidas por el proceso de
% generacion de HF.
polyOrderWhite = 3;
x_lowBand = 1:length(LowEnv);
p=polyfit(x_lowBand,LowEnv,polyOrderWhite);
lowBandEnvSlope = zeros(size(x_lowBand));
for k=polyOrderWhite:-1:0
tmp = (x_lowBand.Ak).*p(polyOrderWhite - k + 1);
lowBandEnvSlope = lowBandEnvSlope + tmp;
end
GainVec = 10.A((mean(LowEnv) - lowBandEnvSlope)./20);
En el codigo anterior, la entrada es la envolvente espectral (LowEnv) de la senal de banda baja que se obtiene al promediar muestras de subbanda QMF sobre la base de subbandas a lo largo de un intervalo de tiempo correspondiente al cuadro de datos de tiempo actual operado por el ajustador de la envolvente subsecuente. Como se indico anteriormente, el procesamiento de ajuste de la ganancia de la senal de banda baja se puede realizar en diversas otras cuadnculas de tiempo. En el ejemplo anterior, la envolvente espectral absoluta estimada se expresa en un dominio logantmico. Un polinomio de bajo orden, en el ejemplo anterior un polinomio de orden 3, se ajusta a los datos. Una vez hallado el polinomio, se calcula una curva de ganancia (GainVec) a partir de la diferencia en energfa media de la senal de banda baja y la curva (lowBandEnvSlope) que se obtiene del polinomio ajustado a los datos. En el ejemplo anterior, la operacion de determinar la curva de ganancia se realiza en el dominio logantmico.
El calculo de la curva de ganancia es realizado por la unidad de calculo de la curva de ganancia 503. Como se indico anteriormente, la curva de ganancia se puede determinar a partir de la energfa media de la parte de la senal de banda baja usada para regenerar la senal de banda alta, y de la envolvente espectral de la parte de la senal de banda baja usada para regenerar la senal de banda alta. En particular, la curva de ganancia se puede determinar a partir de la diferencia entre la energfa media y la envolvente espectral bruta, representada, por ejemplo, por un polinomio. Es decir, el polinomio calculado se puede usar para determinar una curva de ganancia que comprende un valor de ganancia separado, tambien denominado coeficiente de ganancia espectral, para cada subbanda QMF relevante de la senal de banda baja. Esta curva de ganancia que comprende los valores de ganancia se usa posteriormente en el proceso HFR.
Como ejemplo, a continuacion se describira un proceso de generacion de HFR de acuerdo con MPEG-4 SBR. La senal generada HF se puede derivar de la siguiente formula (vease el documento MPEG-4 Parte 3 (ISO/lEC 144963), subparte 4, seccion 4.6.18.6.2):
xHigh (A,/+t/ffMj) = xkm (/*>/ + Wa#) + bwArray(^(i)),of0 (/>)■ 'H-Lm [p,l — 1 + +
[bwArray (s (*))]* -a, (p) • XLaw (p,l
en donde p es el mdice de subbanda de la senal de banda baja, es decir, p identifica una de la pluralidad de senales de subbanda de baja frecuencia. La formula de generacion de HF anterior se puede reemplazar por la siguiente formula, que realiza de manera combinada un ajuste de la ganancia y una generacion de HF:
(*> * + tnFAdj) = preGain(p) • (Xiou. (p, l + tHFAdJ))
+ bwArray (g(*)> aa (p) ■ Xu,r (p,l-1 +
+ [bwArray(g(kj)]2 ■ a,(p) • X-LoniPfl 2 + tHFAdi)
en donde la curva de ganancia se denomina preGain(p) .
En el documento mencionado anteriormente MPEG-4, Parte 3, se ofrecen mas detalles del proceso de copia, por ejemplo, respecto a la relacion entre p y k. En la formula anterior, Xi_0w(p,l) indica una muestra en la instancia de tiempo 1 de la senal de subbanda de baja frecuencia que tiene un mdice de subbanda p. Esta muestra en combinacion con muestras anteriores se usa para generar una muestra de la senal de subbanda de alta frecuencia XHigh(k,l) que tiene un mdice de subbanda k.
5
10
15
20
25
30
35
40
45
50
55
60
65
Cabe indicar que el aspecto del ajuste de la ganancia se puede usar en cualquier sistema de reconstruccion de alta frecuencia basado en banco de filtros. Esto se ilustra en la figura 6, en donde la presente invencion es parte de una unidad HFR 601 independiente, que opera en una senal de banda estrecha o banda baja 602 y envfa como salida una senal de banda ancha o banda alta 604. El modulo 601 puede recibir datos de control adicional 603 como entrada, en donde los datos de control 603 pueden especificar, entre otras cosas, la cantidad de procesamiento usado para el ajuste de la ganancia descrito, asf como, por ejemplo, informacion de la envolvente espectral objetiva de la senal de banda alta. No obstante, estos parametros son solo ejemplos de datos de control opcionales 603. En una realizacion, tambien se puede derivar informacion relevante de la senal de banda estrecha 602 que se introduce en el modulo 601, o por otros medios. Es decir, los datos de control 603 se pueden determinar dentro del modulo 601 sobre la base de la informacion disponible en el modulo 601. Cabe senalar que la unidad HFR 601 independiente podna recibir la pluralidad de senales de subbanda de baja frecuencia y podna enviar como salida la pluralidad de senales de subbanda de alta frecuencia, es decir, las transformadas o los bancos de filtros para smtesis/analisis podnan colocarse fuera de la unidad HFR 601.
Como ya se indico anteriormente, puede resultar beneficioso senalar la activacion del procesamiento de ajuste de la ganancia en el flujo de bits desde un codificador hasta un descodificador. En el caso de ciertos tipos de senal, por ejemplo, una sinusoide sencilla, el procesamiento de ajuste de la ganancia puede no ser relevante y, por consiguiente, resultar beneficiosa de cara a permitir que el sistema de codificador/descodificador desactive el procesamiento adicional con el fin de no introducir un comportamiento no deseado para estas senales de caso ifmite. Para este proposito, el codificador puede estar configurado para analizar las senales de audio y generar datos de control que activan y desactivan el procesamiento de ajuste de la ganancia en el descodificador.
En la figura 7, la etapa de ajuste de la ganancia propuesta se incluye en una unidad de reconstruccion de alta frecuencia 703 que es parte de un codec de audio. Un ejemplo de esta unidad HFR 703 es la herramienta de replicacion de la banda espectral MPEG-4 usada como parte del codec AAC de alta eficiencia o el MPEG-D USAC (codec de audio y voz unificado, «Unified Speech and Audio Codec»). En esta realizacion, se recibe un flujo de bits 7 en un descodificador de audio 700. El flujo de bits 7 se desmultiplexa en el desmultiplexor 701. La parte relevante SBR del flujo de bits 708 se envfa al modulo SBR o la unidad HFR 703, y el flujo de bits relevante del descodificador central 707, por ejemplo, datos AAC o datos de descodificador central USAc, se envfan al modulo codificador central 702. Ademas, la senal de banda baja o banda estrecha 706 se pasa desde el descodificador central 702 a la unidad HFR 703. La presente invencion se incorpora como parte del proceso SBR en la unidad HFR 703, por ejemplo, de acuerdo con el sistema descrito en la figura 2. La unidad HFR 703 envfa como salida una senal de banda ancha o banda alta 705 utilizando el procesamiento descrito en el presente documento.
En la figura 8, se describe con mas detalle una realizacion del modulo de reconstruccion de alta frecuencia 703. La figura 8 ilustra que la generacion de la senal HF (alta frecuencia, «High Frequency») se puede derivar de diferentes modulos de generacion de HF en diferentes instantes en el tiempo. La generacion de HF se puede basar en un transpondedor de copia basado en QMF 803, o bien la generacion de HF se puede basar en un transpondedor armonico basado en FFT 804 En el caso de ambos modulos de generacion de senales HF, la senal de banda baja se procesa 801, 802 como parte de la generacion de HF con el fin de determinar una curva de ganancia que se utiliza en el proceso de copia 803 o de transposicion armonica 804. Las salidas de los dos transpondedores se envfan selectivamente al ajustador de la envolvente 805. La decision de que senal de transpondedor se va a usar esta controlada por el flujo de bits 704 o 708. Cabe indicar que, debido a la naturaleza de copia del transpondedor basado en QMF, la forma de la envolvente espectral de la senal de banda baja se mantiene mas claramente que cuando se utiliza un transpondedor armonico. Esto se traducira tfpicamente en discontinuidades mas claras de la envolvente espectral de la senal de banda alta cuando se usen transpondedores de copia. Esto se ilustra en los paneles superior e inferior de la figura 1a. En consecuencia, puede ser suficiente son solo incorporar el ajuste de la ganancia para el metodo de copia basado en QMF realizado en el modulo 803. Sin embargo, la aplicacion del ajuste de la ganancia para la transposicion armonica realizada en el modulo 804 tambien puede resultar beneficiosa.
En la figura 9 se describe un modulo descodificador correspondiente. El codificador 901 puede estar configurado para analizar la senal de entrada particular 903 y determinar la cantidad de procesamiento de ajuste de la ganancia que resulta adecuada para el tipo particular de senal de entrada 903. En particular, el codificador 901 puede determinar el grado de discontinuidad en la senal de subbanda de alta frecuencia que sera causado por la unidad HFR 703 en el descodificador. Para este proposito, el codificador 901 puede comprender una unidad HFR 703, o al menos partes relevantes de la unidad HFR 703. Sobre la base del analisis de la senal de entrada 903, se pueden generar los datos de control 905 para el descodificador correspondiente. La informacion 905, que se refiere al ajuste de la ganancia que se ha de realizar en el descodificador, se combina en el multiplexor 902 con un flujo de bits de audio 906, formando de esta manera el flujo de bits completo 904 que se transmite al descodificador correspondiente.
En la figura 10, se muestran los espectros de salida de una senal del mundo real. En la figura 10a, se ilustra la salida de un descodificador MPEG USAC que descodifica un flujo de bits mono de 12 kbps. La seccion de la senal de mundo real es una parte vocal de una grabacion a capela. La abscisa corresponde al eje del tiempo, mientras que la ordenada corresponde al eje de la frecuencia. Comparando el espectrograma de la figura 10a con la figura 10c, que muestra el espectrograma correspondiente de la senal original, queda claro que aparecen espacios vacfos
5
10
15
20
25
30
35
(veanse los numeros de referencia 1001, 1002) en el espectro correspondientes a las partes fricativas del segmento vocal. En la figura 10b se ilustra el espectrograma de la salida del descodificador MPEG USAC que incluye la presente invencion. Se puede ver en el espectrograma que los espacios vados en el espectro han desaparecido (veanse los numeros de referencia 1003, 1004 correspondientes a los numeros de referencia 1001, 1002).
La complejidad del algoritmo de ajuste de la ganancia propuesto se calculo como MOPS ponderados, en donde las funciones como POW/DIV/TRIG se ponderan como 25 operaciones, y todas las demas operaciones se ponderan como una operacion. Dadas estas consideraciones, la complejidad calculada representa aproximadamente 0,1 WMOPS y un uso de RAM/ROM insignificante. En otras palabras, el procesamiento de ajuste de la ganancia propuesto requiere una baja capacidad de procesamiento y de memoria.
En el presente documento se han descrito un metodo y sistema para generar una senal de banda alta a partir de una senal de banda baja. El metodo y sistema se adaptan para generar una senal de banda alta con pocas o ninguna discontinuidades espectrales, mejorando de esta manera el rendimiento perceptual de los metodos y sistemas de reconstruccion de alta frecuencia. El metodo y sistema se pueden incorporar facilmente en sistemas de codificacion/descodificacion de audio existentes. En particular, el metodo y sistema se pueden incorporar sin necesidad de modificar el procesamiento de ajuste de la envolvente de los sistemas de codificacion/descodificacion de audio existentes. De manera notable, esto se aplica a la funcion de interpolacion y limitacion del procesamiento de ajuste de la envolvente que puede realizar sus tareas previstas. Como tal, el metodo y sistema descritos se pueden usar para regenerar senales de banda alta que tengan pocas o ninguna discontinuidades espectrales y un bajo nivel de ruido. Ademas, se ha descrito el uso de datos de control, en donde los datos de control se pueden usar para adaptar los parametros del metodo y sistema descritos (y la complejidad computacional) al tipo de senal de audio.
Los metodos y sistemas descritos en el presente documento pueden estar implementados como software, firmware y/o hardware. Ciertos componentes pueden, por ejemplo, estar implementados como un software que se ejecuta en un procesador o microprocesador de senales digitales. Otros componentes pueden, por ejemplo, estar implementados como hardware y/o como circuitos integrados espedficos de aplicacion. Las senales que se encuentran en los metodos y sistemas descritos se pueden almacenar en soportes tales como memoria de acceso aleatorio o soportes de almacenamiento optico. Estos pueden ser transferidos a traves de redes, tales como redes de radio, redes de satelite, redes inalambricas o redes por cable, por ejemplo, Internet. Los dispositivos tfpicos que utilizan los metodos y sistemas descritos en el presente documento son dispositivos electronicos portatiles u otros equipos de consumo que se utilizan para almacenar y/o procesar senales de audio. Los metodos y sistemas tambien se pueden usar en sistemas informaticos, por ejemplo, servidores web de Internet, que almacenan y proporcionan senales de audio, por ejemplo, senales musicales, para su descarga.
Claims (14)
- 5101520253035404550556065REIVINDICACIONES1. Un codificador (901) configurado para generar datos de control (905) de una senal de audio (903), el codificador de audio (901) que corresponde a:- un sistema de reconstruccion de alta frecuencia, referida como HFR, (601, 703) configurado para realizar un proceso de HFR para generar un componente de alta frecuencia de la senal de audio (903) de varias replicaciones de una pluralidad de senales de subbanda de baja frecuencia (602) de la senal de audio (903),- medios configurados para determinar un grado de discontinuidades del envolvente espectral introducidas al generar el componente de alta frecuencia de la senal de audio (903) dentro del sistema HFR (601, 703); y- medios configurados para generar datos de control (905) para controlar una regeneracion del componente de alta frecuencia en el descodificador (700) en base al grado de discontinuidades.
- 2. El codificador (901) de la reivindicacion 1, en donde- los datos de control (905) son indicativo de si utilizar una pluralidad de coeficientes durante el proceso HFR; y- la pluralidad de coeficientes de ganancia espectral se asocia con la energfa de la respectiva pluralidad de senales de subbanda de baja frecuencia (602).
- 3. El codificador (901) de la reivindicacion 2, en donde los datos de control (905) son indicativo de un orden polinomial para utilizar con el fin de determinar la pluralidad de coeficientes de ganancia espectral, oen donde los datos de control (905) son indicativo de un metodo para determinar la pluralidad de coeficientes de ganancia espectralen donde la pluralidad de coeficientes de ganancia espectral se deriva de una curva dependiente de la frecuencia (403) ajustada a la energfa de la pluralidad de senales de subbanda de baja frecuencia (602), y en donde la curva dependiente de la frecuencia (403) es un polinomio de un orden predeterminado indicado por los datos de control (905).
- 4. El codificador (901) de cualquier reivindicacion anterior, en donde el codificador (901) esta configurado para determinar un grado de variaciones de nivel de la pluralidad de senales de subbanda de baja frecuencia.
- 5. El codificador (901) de cualquier reivindicacion anterior, en donde los medios para generar los datos de control (905) comprenden un detector de tipo de senal configurado para determinar un tipo de una senal de audio (903).
- 6. El codificador (901) de cualquier reivindicacion anterior, en donde los datos de control (905) son indicativo de un ajuste de ganancia a ser realizado en un descodificador de audio correspondiente.
- 7. El codificador (901) de cualquier reivindicacion anterior, en donde los medios para determinar el grado de discontinuidades del envolvente espectral estan configurados para determinar una informacion de ratio estudiando las frecuencias mas bajas de la pluralidad de senales de subbanda de baja frecuencia y las frecuencias mas altas de la pluralidad de senales de subbanda de baja frecuencia para evaluar la variacion espectral de la pluralidad de senales de subbanda de baja frecuencia; yen donde un valor alto de la informacion de ratio determinado es indicativo de un grado alto de discontinuidades del envolvente espectral.
- 8. El codificador (901) de cualquiera de las reivindicaciones 2 a 7, en donde el sistema HFR comprende- medios para determinar un conjunto de energfas objetivo, cubriendo cada una de las energfas objetivo un intervalo objetivo (130) diferente dentro de un intervalo de alta frecuencia cubierto por el componente de alta frecuencia y siendo indicativo de la energfa deseada de una o mas senales de subbanda de alta frecuencia del componente de alta frecuencia cayendo dentro del intervalo objetivo (130);- medios para generar una pluralidad de senales de subbanda de alta frecuencia (604) del componente de alta frecuencia de una pluralidad de senales de subbanda de baja frecuencia (602) y de la pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de senales de subbanda de baja frecuencia (602), respectivamente, en el que los medios para generar la pluralidad de senales subbanda de alta frecuencia (604) estan configurados para amplificar la pluralidad de senales de subbanda de baja frecuencia (602) utilizando la respectiva pluralidad de coeficientes de ganancia espectral.
- 9. El codificador (901) de acuerdo con la reivindicacion 8, en el que los medios para generar la pluralidad de senales subbanda de alta frecuencia (604) estan configurados para:- realizar una transposicion de copia (803) de la pluralidad de senales de subbanda de baja frecuencia (602); y/o- realizar una transposicion armonica (804) de la pluralidad de senales de subbanda de baja frecuencia (602),y opcionalmente, en el que los medios para generar la pluralidad de senales subbanda de alta frecuencia (604) estan configurados para:- multiplicar las muestras de una senal de subbanda de baja frecuencia (602) con el respectivo coeficiente de ganancia espectral de la pluralidad de coeficientes de ganancia espectral, produciendo de esta manera muestras modificadas; y5101520253035404550- determinar una muestra de una correspondiente senal de subbanda de alta frecuencia (604) en un instante de tiempo particular a partir de muestras modificadas de la senal de subbanda de baja frecuencia (602) en el instante de tiempo particular y al menos en un instante de tiempo anterior.
- 10. El codificador (901) de cualquiera de las reivindicaciones 8 a 9. en donde la pluralidad de senales de subbanda de baja frecuencia (602) y la pluralidad de senales de subbanda de alta frecuencia (604) corresponden a subbandas de banco de filtros QMF y/o un FFT.
- 11. Un descodificador de audio (700) configurado para descodificar un flujo de bits (704) representativo de una senal de audio de baja frecuencia (707) y un conjunto de senales objetivo (708) que describen la envolvente espectral de una senal de audio de alta frecuencia correspondiente, en donde el flujo de bits (704) es ademas representativo de los datos control (905), comprendiendo el descodificador de audio (700):- medios para determinar una pluralidad de senales de subbanda de baja frecuencia (706) asociada con la senal de audio de baja frecuencia (707) de un flujo de bits (704);- una unidad de generacion de alta frecuencia (703) que comprende medios para generar una pluralidad de senales de subbanda de alta frecuencia de la pluralidad de senales de subbanda de baja frecuencia (602) y de una pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de senales de subbanda de baja frecuencia (602), respectivamente; en donde los datos de control (905) son indicativo de si utilizar la pluralidad de coeficientes de ganancia espectral para determinar la pluralidad de senales de subbanda de alta frecuencia; y que comprende medios para ajustar la energfa (203) de la pluralidad de senales de subbanda de alta frecuencia (604) utilizando el conjunto de energfas objetivo; ymedios para generar una senal de audio de banda ancha de la pluralidad de senales de subbanda de baja frecuencia y la pluralidad de senales de subbanda de alta frecuencia.
- 12. Un metodo para generar datos de control (905) de una senal de audio (903), comprendiendo el metodo:- realizar un proceso de reconstruccion de alta frecuencia (HFR) para generar un componente de alta frecuencia de la senal de audio (903) de varias replicaciones de una pluralidad de senales de subbanda de baja frecuencia (602) de la senal de audio (903);- determinar un grado de discontinuidades del envolvente espectral introducidas al generar el componente de alta frecuencia de la senal de audio (903) utilizando el proceso HFR; y- generar datos de control (905) para controlar la regeneracion del componente de alta frecuencia en base al grado de discontinuidades.
- 13. Un metodo para descodificar un flujo de bits (700) configurado para descodificar un flujo de bits (704) representativo de una senal de audio de baja frecuencia (707) y un conjunto de energfas objetivo (708) que describe la envolvente espectral de una correspondiente senal de audio de alta frecuencia, en donde el flujo de bits (704) es ademas representativo de datos de control (905) comprendiendo el metodo:- determinar una pluralidad de senales de subbanda de baja frecuencia (706) asociadas con la senal de audio de baja frecuencia (707) del flujo de bits (704);determinar una pluralidad de senales de subbanda de alta frecuencia de la pluralidad de senales de subbanda de baja frecuencia (602) y de la pluralidad de coeficientes de ganancia espectral asociados con la pluralidad de senales de subbanda de baja frecuencia (602), respectivamente; en donde los datos de control (905) son indicativo de si determinar tambien la pluralidad de senales de subbanda de alta frecuencia de la pluralidad de coeficientes de ganancia espectral;- ajustar la energfa (203) de la pluralidad de senales de subbanda de alta frecuencia (604) utilizando el conjunto de energfas objetivo; y- generar una senal de audio de banda ancha de la pluralidad de senales de subbanda de baja frecuencia y la pluralidad de senales de subbanda de alta frecuencia
- 14. Un producto de programa informatico que comprende instrucciones ejecutables para realizar el metodo de cualquiera de las reivindicaciones 12 a 13 cuando se ejecuta en un ordenador.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US36551810P | 2010-07-19 | 2010-07-19 | |
| US365518P | 2010-07-19 | ||
| US38672510P | 2010-09-27 | 2010-09-27 | |
| US386725P | 2010-09-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2644974T3 true ES2644974T3 (es) | 2017-12-01 |
Family
ID=44514661
Family Applications (10)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES14164770.1T Active ES2644974T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES19169479T Active ES2807248T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES19169481T Active ES2801324T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES11745509.7T Active ES2484795T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188330T Active ES2727460T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188331T Active ES2727300T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188329T Active ES2712304T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES22151584T Active ES2942867T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES19169480T Active ES2798144T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES20172244T Active ES2908348T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
Family Applications After (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES19169479T Active ES2807248T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES19169481T Active ES2801324T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES11745509.7T Active ES2484795T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188330T Active ES2727460T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188331T Active ES2727300T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES17188329T Active ES2712304T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES22151584T Active ES2942867T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES19169480T Active ES2798144T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| ES20172244T Active ES2908348T3 (es) | 2010-07-19 | 2011-07-14 | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
Country Status (19)
| Country | Link |
|---|---|
| US (6) | US9117459B2 (es) |
| EP (11) | EP3544008B1 (es) |
| JP (10) | JP5753893B2 (es) |
| KR (12) | KR102159194B1 (es) |
| CN (2) | CN103155033B (es) |
| AU (8) | AU2011281735B2 (es) |
| BR (2) | BR112012024360B1 (es) |
| CA (11) | CA3239820A1 (es) |
| CL (1) | CL2012002699A1 (es) |
| DK (2) | DK2765572T3 (es) |
| ES (10) | ES2644974T3 (es) |
| HK (3) | HK1199973A1 (es) |
| MX (1) | MX2012010854A (es) |
| MY (2) | MY154277A (es) |
| NO (1) | NO2765572T3 (es) |
| PL (10) | PL4016527T3 (es) |
| RU (3) | RU2530254C2 (es) |
| SG (3) | SG10201505469SA (es) |
| WO (1) | WO2012010494A1 (es) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971551B2 (en) | 2009-09-18 | 2015-03-03 | Dolby International Ab | Virtual bass synthesis using harmonic transposition |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| ES2644974T3 (es) | 2010-07-19 | 2017-12-01 | Dolby International Ab | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| TWI591620B (zh) * | 2012-03-21 | 2017-07-11 | 三星電子股份有限公司 | 產生高頻雜訊的方法 |
| US9173041B2 (en) * | 2012-05-31 | 2015-10-27 | Purdue Research Foundation | Enhancing perception of frequency-lowered speech |
| CN104704855B (zh) * | 2012-10-15 | 2016-08-24 | 杜比国际公司 | 用于减小基于换位器的虚拟低音***中的延迟的***及方法 |
| BR112015025022B1 (pt) * | 2013-04-05 | 2022-03-29 | Dolby International Ab | Método de decodificação, decodificador em um sistema de processamento de áudio, método de codificação, e codificador em um sistema de processamento de áudio |
| JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
| SG11201510164RA (en) | 2013-06-10 | 2016-01-28 | Fraunhofer Ges Forschung | Apparatus and method for audio signal envelope encoding, processing and decoding by splitting the audio signal envelope employing distribution quantization and coding |
| AU2014280258B9 (en) | 2013-06-10 | 2017-04-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding |
| WO2014199632A1 (ja) * | 2013-06-11 | 2014-12-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音響信号の帯域幅拡張を行う装置及び方法 |
| SG11201510458UA (en) * | 2013-06-21 | 2016-01-28 | Fraunhofer Ges Forschung | Audio decoder having a bandwidth extension module with an energy adjusting module |
| TWI557726B (zh) * | 2013-08-29 | 2016-11-11 | 杜比國際公司 | 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法 |
| US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
| EP3048609A4 (en) | 2013-09-19 | 2017-05-03 | Sony Corporation | Encoding device and method, decoding device and method, and program |
| US10163447B2 (en) * | 2013-12-16 | 2018-12-25 | Qualcomm Incorporated | High-band signal modeling |
| RU2667627C1 (ru) | 2013-12-27 | 2018-09-21 | Сони Корпорейшн | Устройство и способ декодирования и программа |
| US20150194157A1 (en) * | 2014-01-06 | 2015-07-09 | Nvidia Corporation | System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals |
| CN105096957B (zh) | 2014-04-29 | 2016-09-14 | 华为技术有限公司 | 处理信号的方法及设备 |
| EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| EP2980794A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
| TW202242853A (zh) * | 2015-03-13 | 2022-11-01 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| TW202341126A (zh) | 2017-03-23 | 2023-10-16 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
| WO2019023488A1 (en) * | 2017-07-28 | 2019-01-31 | Dolby Laboratories Licensing Corporation | METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER |
| WO2019121980A1 (en) | 2017-12-19 | 2019-06-27 | Dolby International Ab | Methods and apparatus systems for unified speech and audio decoding improvements |
| TWI809289B (zh) * | 2018-01-26 | 2023-07-21 | 瑞典商都比國際公司 | 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體 |
| CN111886879B (zh) * | 2018-04-04 | 2022-05-10 | 哈曼国际工业有限公司 | 一种用于在音频输出中产生自然空间变化的***和方法 |
| US11527256B2 (en) | 2018-04-25 | 2022-12-13 | Dolby International Ab | Integration of high frequency audio reconstruction techniques |
| BR112020021809A2 (pt) | 2018-04-25 | 2021-02-23 | Dolby International Ab | integração de técnicas de reconstrução de alta frequência com atraso de pós-processamento reduzido |
| CN117079657B (zh) * | 2023-10-16 | 2024-01-26 | 中国铁塔股份有限公司 | 压限处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0208712B1 (en) | 1984-12-20 | 1993-04-07 | Gte Laboratories Incorporated | Adaptive method and apparatus for coding speech |
| DE3943880B4 (de) * | 1989-04-17 | 2008-07-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Digitales Codierverfahren |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6385573B1 (en) * | 1998-08-24 | 2002-05-07 | Conexant Systems, Inc. | Adaptive tilt compensation for synthesized speech residual |
| SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| JP4842483B2 (ja) | 1999-12-24 | 2011-12-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチチャネルオーディオ信号処理装置及び方法 |
| SE0004163D0 (sv) | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| SE0004187D0 (sv) * | 2000-11-15 | 2000-11-15 | Coding Technologies Sweden Ab | Enhancing the performance of coding systems that use high frequency reconstruction methods |
| SE0004818D0 (sv) | 2000-12-22 | 2000-12-22 | Coding Technologies Sweden Ab | Enhancing source coding systems by adaptive transposition |
| KR100648760B1 (ko) * | 2001-11-29 | 2006-11-23 | 코딩 테크놀러지스 에이비 | 고주파 재생 기술 향상을 위한 방법들 및 그를 수행하는 프로그램이 저장된 컴퓨터 프로그램 기록매체 |
| US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| JP2004010415A (ja) | 2002-06-06 | 2004-01-15 | Kawasaki Refract Co Ltd | マグクロ質吹き付け補修材 |
| EP1439524B1 (en) * | 2002-07-19 | 2009-04-08 | NEC Corporation | Audio decoding device, decoding method, and program |
| JP4313993B2 (ja) | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | オーディオ復号化装置およびオーディオ復号化方法 |
| CA2469674C (en) | 2002-09-19 | 2012-04-24 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus and method |
| ES2298568T3 (es) * | 2002-11-29 | 2008-05-16 | Koninklijke Philips Electronics N.V. | Descodificacion de audio. |
| KR100524065B1 (ko) | 2002-12-23 | 2005-10-26 | 삼성전자주식회사 | 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치 |
| US7318035B2 (en) | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| JP2005040749A (ja) | 2003-07-25 | 2005-02-17 | Toyo Ink Mfg Co Ltd | 紫外線硬化型塗料組成物の硬化方法 |
| WO2005040749A1 (ja) | 2003-10-23 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | スペクトル符号化装置、スペクトル復号化装置、音響信号送信装置、音響信号受信装置、およびこれらの方法 |
| BR122018007834B1 (pt) * | 2003-10-30 | 2019-03-19 | Koninklijke Philips Electronics N.V. | Codificador e decodificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral, método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, sinal de áudio avançado codificado de estéreo paramétrico combinado e de replicação de banda espectral, método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, e, meio de armazenamento legível por computador |
| RU2323551C1 (ru) | 2004-03-04 | 2008-04-27 | Эйджир Системс Инк. | Частотно-ориентированное кодирование каналов в параметрических системах многоканального кодирования |
| WO2005093717A1 (en) * | 2004-03-12 | 2005-10-06 | Nokia Corporation | Synthesizing a mono audio signal based on an encoded miltichannel audio signal |
| WO2006003813A1 (ja) | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | オーディオ符号化及び復号化装置 |
| BRPI0616624A2 (pt) | 2005-09-30 | 2011-06-28 | Matsushita Electric Ind Co Ltd | aparelho de codificação de fala e método de codificação de fala |
| US20080071550A1 (en) * | 2006-09-18 | 2008-03-20 | Samsung Electronics Co., Ltd. | Method and apparatus to encode and decode audio signal by using bandwidth extension technique |
| EP3288027B1 (en) | 2006-10-25 | 2021-04-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating complex-valued audio subband values |
| US8295507B2 (en) * | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| US8189812B2 (en) * | 2007-03-01 | 2012-05-29 | Microsoft Corporation | Bass boost filtering techniques |
| KR101355376B1 (ko) * | 2007-04-30 | 2014-01-23 | 삼성전자주식회사 | 고주파수 영역 부호화 및 복호화 방법 및 장치 |
| ES2619277T3 (es) | 2007-08-27 | 2017-06-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Detector de transitorio y método para soportar la codificación de una señal de audio |
| JP5098530B2 (ja) | 2007-09-12 | 2012-12-12 | 富士通株式会社 | 復号化装置、復号化方法および復号化プログラム |
| ATE477572T1 (de) * | 2007-10-01 | 2010-08-15 | Harman Becker Automotive Sys | Effiziente audiosignalverarbeitung im subbandbereich, verfahren, vorrichtung und dazugehöriges computerprogramm |
| BRPI0820488A2 (pt) * | 2007-11-21 | 2017-05-23 | Lg Electronics Inc | método e equipamento para processar um sinal |
| CN101458930B (zh) * | 2007-12-12 | 2011-09-14 | 华为技术有限公司 | 带宽扩展中激励信号的生成及信号重建方法和装置 |
| WO2009078681A1 (en) * | 2007-12-18 | 2009-06-25 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
| KR101413968B1 (ko) * | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| CA2729474C (en) * | 2008-07-11 | 2015-09-01 | Frederik Nagel | Apparatus and method for generating a bandwidth extended signal |
| KR101576318B1 (ko) * | 2008-08-08 | 2015-12-09 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 스펙트럼 평활화 장치, 부호화 장치, 복호 장치, 통신 단말 장치, 기지국 장치 및 스펙트럼 평활화 방법 |
| JP2010079275A (ja) | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
| EP3598446B1 (en) * | 2009-01-16 | 2021-12-22 | Dolby International AB | Cross product enhanced harmonic transposition |
| EP2211339B1 (en) * | 2009-01-23 | 2017-05-31 | Oticon A/s | Listening system |
| KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
| JP4945586B2 (ja) * | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| CN101521014B (zh) * | 2009-04-08 | 2011-09-14 | 武汉大学 | 音频带宽扩展编解码装置 |
| TWI556227B (zh) * | 2009-05-27 | 2016-11-01 | 杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
| EP3998606B8 (en) * | 2009-10-21 | 2022-12-07 | Dolby International AB | Oversampling in a combined transposer filter bank |
| RU2547220C2 (ru) * | 2009-10-21 | 2015-04-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и способ для генерирования высокочастотного аудиосигнала с применением адаптивной избыточной дискретизации |
| ES2644974T3 (es) | 2010-07-19 | 2017-12-01 | Dolby International Ab | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
-
2011
- 2011-07-14 ES ES14164770.1T patent/ES2644974T3/es active Active
- 2011-07-14 SG SG10201505469SA patent/SG10201505469SA/en unknown
- 2011-07-14 ES ES19169479T patent/ES2807248T3/es active Active
- 2011-07-14 BR BR112012024360-8A patent/BR112012024360B1/pt active IP Right Grant
- 2011-07-14 ES ES19169481T patent/ES2801324T3/es active Active
- 2011-07-14 SG SG2012063293A patent/SG183501A1/en unknown
- 2011-07-14 PL PL22151584.4T patent/PL4016527T3/pl unknown
- 2011-07-14 KR KR1020207008479A patent/KR102159194B1/ko active IP Right Grant
- 2011-07-14 CA CA3239820A patent/CA3239820A1/en active Pending
- 2011-07-14 MY MYPI2012004070A patent/MY154277A/en unknown
- 2011-07-14 EP EP19169480.1A patent/EP3544008B1/en active Active
- 2011-07-14 RU RU2012141098/08A patent/RU2530254C2/ru active
- 2011-07-14 EP EP14164770.1A patent/EP2765572B1/en active Active
- 2011-07-14 EP EP19169479.3A patent/EP3544007B1/en active Active
- 2011-07-14 CA CA3072785A patent/CA3072785C/en active Active
- 2011-07-14 ES ES11745509.7T patent/ES2484795T3/es active Active
- 2011-07-14 PL PL20172244T patent/PL3723089T3/pl unknown
- 2011-07-14 EP EP20172244.4A patent/EP3723089B1/en active Active
- 2011-07-14 PL PL11745509T patent/PL2596497T3/pl unknown
- 2011-07-14 KR KR1020177033403A patent/KR101907017B1/ko active IP Right Grant
- 2011-07-14 MX MX2012010854A patent/MX2012010854A/es active IP Right Grant
- 2011-07-14 ES ES17188330T patent/ES2727460T3/es active Active
- 2011-07-14 CN CN201180016982.8A patent/CN103155033B/zh active Active
- 2011-07-14 ES ES17188331T patent/ES2727300T3/es active Active
- 2011-07-14 DK DK14164770.1T patent/DK2765572T3/da active
- 2011-07-14 PL PL17188331T patent/PL3291230T3/pl unknown
- 2011-07-14 CA CA3146617A patent/CA3146617C/en active Active
- 2011-07-14 WO PCT/EP2011/062068 patent/WO2012010494A1/en active Application Filing
- 2011-07-14 BR BR122019024695-5A patent/BR122019024695B1/pt active IP Right Grant
- 2011-07-14 EP EP20110745509 patent/EP2596497B1/en active Active
- 2011-07-14 KR KR1020137028768A patent/KR101709095B1/ko active IP Right Grant
- 2011-07-14 SG SG10202107800UA patent/SG10202107800UA/en unknown
- 2011-07-14 KR KR1020217029381A patent/KR102438565B1/ko active IP Right Grant
- 2011-07-14 KR KR1020197027754A patent/KR102095385B1/ko active IP Right Grant
- 2011-07-14 KR KR1020127025034A patent/KR101478506B1/ko active IP Right Grant
- 2011-07-14 PL PL19169480T patent/PL3544008T3/pl unknown
- 2011-07-14 EP EP19169481.9A patent/EP3544009B1/en active Active
- 2011-07-14 NO NO14164770A patent/NO2765572T3/no unknown
- 2011-07-14 PL PL19169479T patent/PL3544007T3/pl unknown
- 2011-07-14 CA CA3209829A patent/CA3209829C/en active Active
- 2011-07-14 EP EP22151584.4A patent/EP4016527B1/en active Active
- 2011-07-14 KR KR1020247003321A patent/KR20240023667A/ko active Application Filing
- 2011-07-14 CA CA2792011A patent/CA2792011C/en active Active
- 2011-07-14 US US13/582,967 patent/US9117459B2/en active Active
- 2011-07-14 CA CA3234274A patent/CA3234274A1/en active Pending
- 2011-07-14 PL PL19169481T patent/PL3544009T3/pl unknown
- 2011-07-14 CA CA3163657A patent/CA3163657C/en active Active
- 2011-07-14 KR KR1020197008507A patent/KR102026677B1/ko active IP Right Grant
- 2011-07-14 PL PL17188330T patent/PL3288032T3/pl unknown
- 2011-07-14 CN CN201410643303.5A patent/CN104575517B/zh active Active
- 2011-07-14 MY MYPI2014003118A patent/MY177748A/en unknown
- 2011-07-14 ES ES17188329T patent/ES2712304T3/es active Active
- 2011-07-14 KR KR1020227029401A patent/KR102632248B1/ko active IP Right Grant
- 2011-07-14 KR KR1020177004170A patent/KR101803849B1/ko active IP Right Grant
- 2011-07-14 CA CA3203400A patent/CA3203400C/en active Active
- 2011-07-14 ES ES22151584T patent/ES2942867T3/es active Active
- 2011-07-14 PL PL17188329T patent/PL3285258T3/pl unknown
- 2011-07-14 ES ES19169480T patent/ES2798144T3/es active Active
- 2011-07-14 KR KR1020207026757A patent/KR102304093B1/ko active IP Right Grant
- 2011-07-14 DK DK11745509T patent/DK2596497T3/da active
- 2011-07-14 EP EP17188330.9A patent/EP3288032B1/en active Active
- 2011-07-14 EP EP17188331.7A patent/EP3291230B1/en active Active
- 2011-07-14 CA CA2920930A patent/CA2920930C/en active Active
- 2011-07-14 AU AU2011281735A patent/AU2011281735B2/en active Active
- 2011-07-14 JP JP2013500540A patent/JP5753893B2/ja active Active
- 2011-07-14 CA CA3027803A patent/CA3027803C/en active Active
- 2011-07-14 CA CA3087957A patent/CA3087957C/en active Active
- 2011-07-14 ES ES20172244T patent/ES2908348T3/es active Active
- 2011-07-14 KR KR1020187027314A patent/KR101964180B1/ko active IP Right Grant
- 2011-07-14 EP EP17188329.1A patent/EP3285258B1/en active Active
- 2011-07-14 EP EP23157011.0A patent/EP4210051A1/en active Pending
- 2011-07-14 PL PL14164770T patent/PL2765572T3/pl unknown
-
2012
- 2012-09-27 CL CL2012002699A patent/CL2012002699A1/es unknown
-
2014
- 2014-06-24 AU AU2014203424A patent/AU2014203424B2/en active Active
- 2014-07-03 RU RU2014127177A patent/RU2659487C2/ru active
-
2015
- 2015-01-13 HK HK15100338.4A patent/HK1199973A1/xx unknown
- 2015-01-15 JP JP2015005504A patent/JP6035356B2/ja active Active
- 2015-07-15 US US14/799,800 patent/US9640184B2/en active Active
-
2016
- 2016-04-29 AU AU2016202767A patent/AU2016202767B2/en active Active
- 2016-10-31 JP JP2016212503A patent/JP6523234B2/ja active Active
-
2017
- 2017-02-10 US US15/429,545 patent/US9911431B2/en active Active
-
2018
- 2018-01-16 US US15/872,836 patent/US10283122B2/en active Active
- 2018-06-04 RU RU2018120544A patent/RU2758466C2/ru active
- 2018-07-11 HK HK18108970.7A patent/HK1249653B/zh unknown
- 2018-07-17 HK HK18109191.8A patent/HK1249798B/zh unknown
- 2018-08-08 AU AU2018214048A patent/AU2018214048B2/en active Active
-
2019
- 2019-03-27 US US16/367,099 patent/US11031019B2/en active Active
- 2019-04-25 JP JP2019084106A patent/JP6727374B2/ja active Active
-
2020
- 2020-06-30 JP JP2020112669A patent/JP6845962B2/ja active Active
- 2020-09-18 AU AU2020233759A patent/AU2020233759B2/en active Active
-
2021
- 2021-02-26 JP JP2021029918A patent/JP6993523B2/ja active Active
- 2021-06-04 US US17/338,667 patent/US11568880B2/en active Active
- 2021-11-30 AU AU2021277643A patent/AU2021277643B2/en active Active
- 2021-12-09 JP JP2021199710A patent/JP7114791B2/ja active Active
-
2022
- 2022-07-27 JP JP2022119232A patent/JP7228737B2/ja active Active
- 2022-08-11 AU AU2022215250A patent/AU2022215250B2/en active Active
-
2023
- 2023-02-13 JP JP2023019752A patent/JP7345694B2/ja active Active
- 2023-04-27 AU AU2023202541A patent/AU2023202541B2/en active Active
- 2023-09-05 JP JP2023143457A patent/JP7477700B2/ja active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2644974T3 (es) | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |