EP2652735B1 - Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique - Google Patents

Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique Download PDF

Info

Publication number
EP2652735B1
EP2652735B1 EP11811097.2A EP11811097A EP2652735B1 EP 2652735 B1 EP2652735 B1 EP 2652735B1 EP 11811097 A EP11811097 A EP 11811097A EP 2652735 B1 EP2652735 B1 EP 2652735B1
Authority
EP
European Patent Office
Prior art keywords
stage
coding
signal
quantization
improvement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP11811097.2A
Other languages
German (de)
English (en)
Other versions
EP2652735A1 (fr
Inventor
Balazs Kovesi
Stéphane RAGOT
Alain Le Guyader
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP2652735A1 publication Critical patent/EP2652735A1/fr
Application granted granted Critical
Publication of EP2652735B1 publication Critical patent/EP2652735B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the present invention relates to the field of coding digital signals.
  • the coding according to the invention is particularly suitable for the transmission and / or storage of digital signals such as audio-frequency signals (speech, music or other).
  • the present invention relates more particularly to the coding of waveforms such as the coding MIC (for "Coded Pulse Modulation") said PCM (for "Pulse Code Modulation”) in English, or the adaptive coding of waveform of the ADPCM encoding type (for "Adaptive Differential Pulse Code Modulation” ) in which the invention relates in particular to embedded code coding for issuing indexes of Scalable bit stream quantization.
  • the coding MIC for "Coded Pulse Modulation”
  • PCM for "Pulse Code Modulation”
  • ADPCM encoding type for "Adaptive Differential Pulse Code Modulation”
  • ITU-T Recommendation G.722 or ITU-T G.727 The general principle of nested code ADPCM coding / decoding specified by ITU-T Recommendation G.722 or ITU-T G.727 is as described with reference to figures 1 and 2 .
  • the quantization index I B + K ( n ) of B + K bits at the output of the quantization module Q B + K is transmitted via the transmission channel 140 to the decoder as described with reference to FIG. figure 2 .
  • the dashed portion referenced 155 represents the low rate local decoder which contains the predictors 165 and 175 and the inverse quantizer 121.
  • This local decoder thus makes it possible to adapt the inverse quantizer at 170 from the low bit rate index I B ( n ) and to adapt the predictors 165 and 175 from the reconstructed low bit rate data.
  • the symbol "'" indicates a decoded value from the received bits, possibly different from that used by the encoder due to transmission errors.
  • the output signal r ' B ( n ) for B bits will be equal to the sum of the signal prediction and the output of the B-bit inverse quantizer.
  • This part 255 of the decoder is identical to the local low speed decoder 155 of the figure 1 .
  • the decoder can improve the restored signal.
  • the output will be equal to the sum of the prediction x P B not and from the output of the inverse quantizer 230 to B + 1 bits there I B + 1 'B + 1 not ⁇ V' not .
  • ITU-T G.722 nested code ADPCM (hereinafter referred to as G.722) coding broadband signals which are defined with a minimum bandwidth of [50-7000 Hz] and sampled at 16 kHz.
  • the G.722 encoding is an ADPCM coding of each of the two sub-bands of the signal [0-4000 Hz] and [4000-8000 Hz] obtained by decomposition of the signal by quadrature mirror filters.
  • the low band is coded by a 6, 5 and 4 bit nested code ADPCM coding while the high band is coded by a 2 bit ADPCM coder per sample.
  • the total bit rate will be 64, 56 or 48 bit / s depending on the number of bits used for decoding the low band.
  • This coding was first developed for use in ISDN (Digital Integrated Services Network). It has recently been deployed in high quality voice over IP telephony applications.
  • the quantization noise spectrum will be relatively flat.
  • the noise may have a comparable level or higher than the signal and is therefore not necessarily masked. It can then become audible in these regions.
  • Coding noise formatting is therefore necessary.
  • coding noise formatting suitable for nested code encoding is furthermore desirable.
  • the purpose of the formatting of the coding noise is to obtain a quantization noise whose spectral envelope follows the short-term masking threshold; this principle is often simplified so that the noise spectrum follows the signal spectrum approximately, providing a more homogeneous signal-to-noise ratio so that the noise remains inaudible even in the lower energy areas of the signal.
  • G.711.1 Wideband embedded extension for G.711 pulse code modulation
  • G.711.1 A wideband extension to ITU-T G.711.
  • This recommendation thus describes coding with coding noise formatting for heart rate coding.
  • a perceptual filter for shaping the coding noise is calculated based on the decoded past signals from a reverse core quantizer.
  • a local heart rate decoder thus makes it possible to calculate the noise shaping filter.
  • this noise shaping filter is possible to calculate from decoded heart rate signals.
  • a quantizer delivering improvement bits is used at the encoder.
  • the decoder receiving the core bit stream and the improvement bits, calculates the coding noise shaping filter in the same way as the coder from the decoded heart rate signal and applies this filter to the output signal of the decoder.
  • inverse quantizer of the enhancement bits the shaped high-speed signal being obtained by adding the filtered signal to the decoded heart signal.
  • the shaping of the noise thus improves the perceptual quality of the heart rate signal. It offers a limited improvement in quality for improvement bits. Indeed, the formatting of the coding noise is not carried out for the coding of the improvement bits, the input of the quantizer being the same for the quantization of the core as for the improved quantization.
  • the decoder must then remove a resulting parasitic component by a matched filtering, when the improvement bits are decoded in addition to the core bits.
  • quantization is performed by minimizing a quadratic error criterion in a perceptually filtered domain.
  • a coding noise shaping filter is defined and applied to a given error signal from at least one reconstructed signal of a preceding coding stage.
  • the method also requires the calculation of the reconstructed signal of the current improvement stage in anticipation of a next coding stage.
  • improvement terms are calculated and stored for the current improvement stage. This therefore brings significant complexity and significant storage enhancement terms or reconstructed signal samples of previous stages.
  • the present invention improves the situation.
  • the quantization of the improvement stage determines the quantization index bit or bits which are directly concatenated with the indices of the preceding stages. Unlike the state-of-the-art methods, there is no computation of an improvement signal or improvement terms.
  • the input signal of the quantization is either directly the input signal of the hierarchical coder, or the same input signal having directly undergone perceptual weighting processing. This is not a signal difference between the input signal and a reconstructed signal of the previous coding stages as in the techniques of the state of the art.
  • stored quantization values are not differential values. Thus, it is not useful to memorize the quantization values used for reconstruction in the previous stages to form a quantization dictionary of the improvement stage.
  • the invention avoids the duplication of the dictionaries that can be encountered in the methods of the state of the art where a differential dictionary is used at the encoder and an absolute dictionary at the decoder.
  • the memory required for the storage of the dictionaries and the quantification operations at the encoder and inverse quantization at the decoder is therefore reduced.
  • the input signal has undergone perceptual weighting processing using a predetermined weighting filter to provide a modified input signal, prior to the quantization step, and the method further includes a step of adapting the weighting filter memories from the quantized signal of the current enhancement coding stage.
  • This perceptual weighting processing applied directly to the input signal of the hierarchical coder for the enhancement coding of the stage k also reduces the complexity in terms of computational load compared to state-of-the-art techniques which performed this perceptual weighting processing on a difference signal between the input signal and a reconstructed signal of the previous coding stages.
  • the encoding method described also allows existing decoders to decode the signal without having to make any additional modifications or processing to be expected while benefiting from the improvement of the signal by formatting the effective coding noise.
  • the possible quantization values for the improvement stage k further contain a scale factor and a prediction value from the adaptive type core coding.
  • the modified input signal to be quantized at the improvement stage k is the perceptually weighted input signal from which a prediction value derived from the adaptive type core coding is subtracted.
  • the perceptual weighting treatment is performed by prediction filters forming an ARMA type filter.
  • the hierarchical coder further comprises a perceptual weighting pre-processing module using a predetermined weighting filter to give a modified input signal of the quantization module and a weighting filter memory adaptation module from the quantized signal. of the current improvement coding stage.
  • the hierarchical coder provides the same advantages as those of the method it implements.
  • It also relates to a computer program comprising code instructions for implementing the steps of the encoding method according to the invention, when these instructions are executed by a processor.
  • the invention finally relates to a storage means readable by a processor storing a computer program as described.
  • the improvement stage (of rank k) is presented as producing one additional bit per sample.
  • the coding in each improvement stage involves selecting one of two possible values.
  • the "absolute dictionary" - in terms of absolute levels (in the sense of "non-differential") - corresponding to all the quantization values that can be produced by the rank improvement stage k is of size 2 B + k , or sometimes slightly less than 2 B + k as for example in the G.722 coder which has only 60 possible levels instead of 64 in the quantizer of 6 bits of low band.
  • Hierarchical coding implies a binary tree structure of the "absolute dictionary", which explains why it suffices to have an improvement bit to perform the coding given the B + k-1 bits of the preceding stages.
  • the duplication of the reconstruction levels is in fact a consequence of the low band hierarchical coding constraint which is implemented in G.722 in the form of a scalar quantization dictionary (at 4, 5 or 6 bits per sample ) structured in a tree.
  • the coding of the improvement stage according to the invention is very easily generalizable for cases where the improvement stage adds several bits per sample.
  • the size of the dictionary D k (n) used in the improvement stage, as defined later, is simply 2 U where U> 1 is the number of bits per sample of the improvement stage.
  • the encoder as represented in figure 3 shows a nested coder or hierarchical coder in which a B-bit core coding and at least one rank improvement stage k is provided.
  • the core coding and the improvement stages preceding the coding of the improvement stage k as represented at 306, deliver scalar quantization indices which are concatenated to form the indices of the preceding nested encoder I B + k-1 ( not).
  • the figure 3 simply illustrates a PCM / ADPCM coding module 302 representing the nested coding preceding the enhancement coding at 306.
  • the core encoding of the preceding nested encoding can optionally be performed using the masking filter determined at 301 to format "core" coding noise.
  • An example of this type of core coding is described later with reference to the figure 8 .
  • This module 302 thus delivers the indices I B + k-1 (n) of the nested encoder as well as the prediction signal x P B not and the scale factor v (n) in the case where it is indeed a predictive coding ADPCM similar to that described with reference to the figure 1 .
  • the module 302 simply delivers the nested quantization indices I B + k-1 (n).
  • the "absolute dictionary” is a dictionary structured in tree. The index I B + k -1 conditions the different branches of the tree to be taken into account in order to determine the possible quantization values of the stage k (D k (n)).
  • the scaling factor v (n) is determined by the core stage of the ADPCM coding as illustrated in FIG. figure 1 , the improvement stage therefore uses this same scale factor to scale the codewords of the quantization dictionary.
  • the coder of the figure 3 does not include the modules 301 and 310, that is to say that there is no provision for encoding noise shaping processing. Thus, it is the input signal x (n) itself that is quantized by the quantization module 306.
  • the encoder further comprises a module 301 for calculating a masking filter and for determining the weighting filter W (z) or a predictive version W PRED (z) described later.
  • the masking or weighting filter is determined here from the input signal x (n) but could very well be determined from a decoded signal, for example from the decoded signal of the preceding nested encoder x B + k-1 ( n ) .
  • the masking filter can be determined or adapted sample by sample or by block of samples.
  • the encoder according to the invention performs a shaping of the coding noise of the improvement stage by using a quantization in the domain weighted by the filter W (z), that is to say by minimizing the quantization noise energy filtered by W (z).
  • This weighting filter is used at 311 by the filtering module and more generally by the perceptual weighting module 310 of the input signal x (n). This pretreatment is applied directly to the input signal x (n) and not to an error signal as could be the case in state-of-the-art techniques.
  • This pretreatment module 310 delivers a modified signal x '(n) at the input of the enhancement quantizer 307.
  • the quantization module 307 of the improvement stage k delivers a quantization index I in h B + k (n) which will be concatenated with the indices of the preceding nested encoding (I B + k-1 ) to form the nested encoding indices. current (I B + k ), by a module not shown here.
  • the quantization module 307 of the improvement stage k chooses between the two values d 1 B + k not and d 2 B + k not of the adaptive dictionary D k (n).
  • the module 308 gives the quantized value of the input signal by inverse quantization of the index I enh B + k not .
  • This quantized signal is used to update the memories of the weighting filter W (z) of the enhancement stage to obtain memories corresponding to an input x ( n ) -x B + k ( n ) .
  • W (z) weighting filter W (z) of the enhancement stage.
  • the quantization of the signal x (n) is done in the weighted domain, which means that we minimize the squared error between x ( n ) and x B + k ( n ) after filtering by the filter W ( z ).
  • the quantization noise of the enhancement stage is thus shaped by a 1 / W (z) filter to make this noise less audible. The energy of the weighted quantization noise is thus minimized.
  • the general embodiment of the block 310 given on the figure 3 shows the general case where W (z) is an infinite impulse response (IIR) filter or a finite impulse response (FIR) filter.
  • the signal x ' ( n ) is obtained by filtering x ( n ) by W ( z ) and then when the quantified value x B + k (n) is known, the memories of the filter W ( z ) are updated as if the filtering had been done on the signal x ( n ) -x B + k ( n ) .
  • the dotted arrow represents the update of the filter memories.
  • the input signal has undergone perceptual weighting processing by using a predetermined weighting filter at 301 to give a modified input signal x '(n), before the quantization step at 306.
  • the figure 3 also represents the step of adapting the weighting filter memories 311 to the quantized signal ( x B + k ( n )) of the current enhancement coding stage.
  • FIR finite impulse response
  • N D being the order of the perceptual filter W ( z ).
  • the input signal x ( n ) is encoded by the MIC / ADPCM coding module 302, with or without shaping the coding noise of the nested encoder B + k-1,
  • an adaptive dictionary D k is constructed according to the prediction values x P B not , the scaling factor v ( n ) of the heart stage in the case of an ADPCM type adaptive coding and I B + k-1 ( n ) coding indices as explained with reference to FIG. figure 3 .
  • H PRED (z) denotes a filter whose coefficient for its current input x ( n ) is zero.
  • All-pole recursive filters 1 B z or ARMA AT z B z are the so-called TIR filters for Infinite Impulse Response in English ( Infinite Impulse Response Filter).
  • figure 4 using the filtering of a filtering into innovation and predictive parts, the term whose energy is to be minimized is then: x not + x PRED not - x ⁇ B + k not + x ⁇ PRED B + k not
  • b w , PRED B + k not x PRED not - x ⁇ PRED B + k not .
  • This prediction b w , PRED B + k not is added to the input signal x ( n ) at 405 to obtain the modified input signal x ' ( n ) of the quantizer of the improvement stage k.
  • the quantization of x ' ( n ) is carried out at 306 by the quantization module of the improvement stage k, to give the quantization index I enh B + k not the improvement stage k and the decoded signal x B + k ( n ) of the stage k.
  • the module 307 gives the index of the code word I enh B + k not (1 bit in the illustrative example) of the adaptive dictionary D k which minimizes the quadratic error between x ' ( n ) and the quantization values d 1 B + k not and d 2 B + k not .
  • This index is to be concatenated with the index of the nested encoder preceding I B + k- 1 in order to obtain at the decoder the index of the codeword of the stage k I B + k .
  • the preprocessing operations of the block 310 thus make it possible to format the improvement coding noise of the stage k by performing a perceptual weighting of the input signal x (n). It is the input signal itself that is perceptually weighted and not an error signal as is the case in state-of-the-art methods.
  • a step of adding the prediction signal b w , pred B + k not to the signal x ( n ) is performed to give the modified signal x '( n ).
  • the quantification step of the modified signal x ' ( n ) is performed by the quantization module 306, in the same way as that explained with reference to the figures 3 and 4 .
  • the quantization of block 306 outputs the index I enh B + k not and the decoded signal at the stage k x B + k ( n ) .
  • a step of subtracting the reconstructed signal x B + k (n) from the signal x ( n ) is performed to give the reconstructed noise b B + k ( n ) .
  • a step of adding the prediction signal b w , pred B + k not at the signal b B + k ( n ) is performed to give the filtered reconstructed noise b w B + k not .
  • the figure 6 illustrates yet another embodiment of the pretreatment block 310 where here the difference lies in the way the filtered reconstructed signal b w B + k not is calculated.
  • Reconstructed noise filtered b w B + k not is obtained here by subtracting the reconstructed signal x B + k ( n ) from the signal x ' ( n ) at 614.
  • Module 707 gives the index of the code word I enh B + k not (1 bit in the illustrative example) of the adaptive dictionary D k ' which minimizes the squared error between x " ( n ) and the code words d 1 B + k ' not and d 2 B + k ' not .
  • This index is to be concatenated with the index of the preceding nested encoding I B + k -1 to obtain at the decoder the index of the current nested encoding I B + k comprising the stage k.
  • a step of updating the memories of the filter W ( z ) is performed at 311, to obtain memories that correspond to an input x ( n ) -x B + k ( n ) .
  • the solution on the figure 7 is equivalent in terms of quality and storage to that of the figure 3 but requires less computation in the case where the enhancement stage uses more than one bit. Instead of adding the predicted value x P B not to all code words (> 2) we only subtract before quantization and add to find the quantized value x B + k ( n ) . The complexity is reduced.
  • it is the prediction signal x P B not which is quantified by minimizing the quadratic error.
  • the figure 8 details a possible realization of a noise shaping at the heart coding.
  • the surrounding portion 807 can be seen and implemented as a noise shaping pretreatment that modifies the input of the standard encoder / decoder chain.
  • an encoder 900 as described according to the various embodiments above typically comprises a ⁇ P processor cooperating with a memory block BM including a storage and / or working memory, as well as 'a memory MEM buffer mentioned above as a means for storing, for example, a dictionary of quantization reconstruction levels or any other data necessary for the implementation of the coding method as described with reference to FIGS. figures 3 , 4 , 5 , 6 and 7 .
  • This encoder receives as input successive frames of the digital signal x (n) and delivers concatenated quantization indices I B + k .
  • the memory block BM may comprise a computer program comprising the code instructions for implementing the steps of the method according to the invention when these instructions are executed by a ⁇ P processor of the encoder and in particular the steps of obtaining possible values of quantification.
  • for the current improvement stage k by determining absolute reconstruction levels of the single current stage k from the indices of the preceding nested encoder, quantization of the input signal of the hierarchical coder which has or has not undergone perceptual weighting processing (x (n) or x '(n)), from said possible quantization values to form a quantization index of the stage k and a quantized signal corresponding to one of the possible quantization values.
  • a storage means readable by a computer or a processor, whether or not integrated into the encoder, possibly removable, stores a computer program implementing a coding method according to the invention.
  • the Figures 3 to 7 can for example illustrate the algorithm of such a computer program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • La présente invention concerne le domaine du codage des signaux numériques.
  • Le codage selon l'invention est adapté notamment pour la transmission et/ou le stockage de signaux numériques tels que des signaux audiofréquences (parole, musique ou autres).
  • La présente invention se rapporte plus particulièrement au codage de formes d'onde tel que le codage MIC (pour "Modulation par Impulsions Codées") dit PCM (pour "Pulse Code Modulation") en anglais, ou au codage adaptatif de forme d'onde de type codage MICDA (pour "Modulation par Impulsion et Codage Différentiel Adaptatif') dit "ADPCM" (pour "Adaptive Differential Pulse Code Modulation") en anglais. L'invention se rapporte notamment au codage à codes imbriqués permettant de délivrer des indices de quantification à train binaire scalable.
  • Le principe général du codage/décodage MICDA à codes imbriqués spécifié par la recommandation UIT-T G.722 ou UIT-T G.727 est tel que décrit en référence aux figures 1 et 2.
  • La figure 1 représente ainsi un codeur à codes imbriqués de type MICDA (ex : G.722 bande basse, G.727) fonctionnant entre B et B+K bits par échantillon ; à noter que le cas d'un codage MICDA non scalable (ex : G.726, G.722 bande haute) correspond à K=0, où B est une valeur fixe qui peut être choisie parmi différents débits possibles.
  • Il comporte:
    • un module de prédiction 110 permettant de donner la prédiction du signal x P B n
      Figure imgb0001
      à partir des échantillons précédents du signal d'erreur quantifié e Q B = y I B B v = n - 1 , , n - N Z
      Figure imgb0002
      ,v(n') est le facteur d'échelle de quantification, et du signal reconstitué rB (n') n' = n -1,...,n-Np où n est l'instant courant.
    • un module de soustraction 120 qui retranche du signal d'entrée x(n) sa prédiction x P B n
      Figure imgb0003
      (n) pour obtenir un signal d'erreur de prédiction noté e(n).
    • un module de quantification 130 QB+K du signal d'erreur qui reçoit en entrée le signal d'erreur e(n) pour donner des indices de quantification I B+ K (n) constitués de B+K bits. Le module de quantification Q B+K est à codes imbriqués c'est-à-dire qu'il comporte un quantificateur de « coeur » à B bits et des quantificateurs à B + k k =1,...,K bits qui sont imbriqués sur le quantificateur de « coeur ».
  • Dans le cas du codage de la bande basse de la norme UIT-T G.722 , les niveaux de décision et les niveaux de reconstruction des quantificateurs QB , Q B+1 , Q B+2 pour B = 4 et K = 0,1 ou 2 sont définis par les tableaux IV et VI de l'article de synthèse décrivant la norme G.722 de X. Maitre "7 kHz audio coding within 64 kbit/s." IEEE Journal on Selected Areas in Communication, Vol.6, no. 2, February 1988.
  • L'indice de quantification I B+K (n) de B+K bits en sortie du module de quantification Q B+K est transmis via le canal de transmission 140 au décodeur tel que décrit en référence à la figure 2.
  • Le codeur comporte également:
    • un module 150 de suppression des K bits de poids faible de l'indice I B+ K (n) pour donner un indice bas débit IB (n) sur B bits;
    • un module de quantification inverse 121 (QB )-1 pour donner en sortie un signal d'erreur quantifié e Q B = y I B B n v n
      Figure imgb0004
      sur B bits;
    • un module d'adaptation 170 QAdapt des quantificateurs et des quantificateurs inverses pour donner un paramètre de contrôle de niveau v(n) encore appelé facteur d'échelle, pour l'instant suivant;
    • un module d'addition 180 de la prédiction x P B n
      Figure imgb0005
      au signal d'erreur quantifié pour donner le signal reconstruit à bas débit rB (n) ;
    • un module d'adaptation 190 PAdapt du module de prédiction à partir du signal d'erreur quantifié sur B bits e Q B n
      Figure imgb0006
      et du signal e Q B n
      Figure imgb0007
      filtré par 1+Pz (z).
  • On peut remarquer que sur la figure 1 la partie en pointillés référencée 155 représente le décodeur local à bas débit qui contient les prédicteurs 165 et 175 et le quantificateur inverse 121. Ce décodeur local permet ainsi d'adapter le quantificateur inverse en 170 à partir de l'indice bas débit IB (n) et d'adapter les prédicteurs 165 et 175 à partir des données bas débit reconstruites.
  • Cette partie se retrouve à l'identique sur le décodeur MICDA à codes imbriqués tel que décrit en référence à la figure 2.
  • Le décodeur MICDA à codes imbriqués de la figure 2 reçoit en entrée les indices I 'B+K issu du canal de transmission 140, version de I B+K éventuellement perturbée par des erreurs binaires, et réalise une quantification inverse par le module de quantification inverse 210 (QB ) -1 de débit B bits par échantillon pour obtenir le signal e Q ʹB = y B ʹB n n .
    Figure imgb0008
    Le symbole " ' " indique une valeur décodée à partir des bits reçus, éventuellement différente de celle utilisée par le codeur du fait d'erreurs de transmission.
  • Le signal de sortie r'B (n) pour B bits sera égal à la somme de la prédiction du signal et de la sortie du quantificateur inverse à B bits. Cette partie 255 du décodeur est identique au décodeur local bas débit 155 de la figure 1.
  • Moyennant l'indicateur de débit mode et le sélecteur 220, le décodeur peut améliorer le signal restitué.
  • En effet si mode indique que B+1 bits ont été reçus, la sortie sera égale à la somme de la prédiction x P B n
    Figure imgb0009
    et de la sortie du quantificateur inverse 230 à B+1 bits y I B + 1 ʹB + 1 n n .
    Figure imgb0010
  • Si mode indique que B+2 bits ont été reçus alors la sortie sera égale à la somme de la prédiction x P B n
    Figure imgb0011
    et de la sortie du quantificateur inverse 240 à B+2 bits y I B + 2 ʹB + 2 n n .
    Figure imgb0012
  • En utilisant les notations de la transformée en z, on peut écrire que dans cette structure bouclée : R B + k z = X Z + Q B + k z
    Figure imgb0013

    en définissant le bruit de quantification à B+k bits Q B+ k (z) par : Q B + k z = E Q B + k z - E z
    Figure imgb0014
  • Le codage MICDA à codes imbriqués de la norme UIT-T G.722 (ci-après nommé G.722) réalise un codage des signaux en bande élargie qui sont définis avec une largeur de bande minimale de [50-7000 Hz] et échantillonnés à 16 kHz. Le codage G.722 est un codage MICDA de chacune des deux sous-bandes du signal [0-4000 Hz] et [4000-8000 Hz] obtenues par décomposition du signal par des filtres miroirs en quadrature. La bande basse est codée par un codage MICDA à codes imbriqués sur 6, 5 et 4 bits tandis que la bande haute est codée par un codeur MICDA de 2 bits par échantillon. Le débit total sera de 64, 56 ou 48 bit/s suivant le nombre de bits utilisé pour le décodage de la bande basse.
  • Ce codage a d'abord été développé pour utilisation dans le RNIS (Réseau Numérique à Intégration de Services). Il a été récemment déployé dans les applications de téléphonie de qualité améliorée dite "voix Haute Définition (HD)" sur réseau IP.
  • Pour un quantificateur à grand nombre de niveaux, le spectre du bruit de quantification sera relativement plat. Cependant, dans les zones fréquentielles où le signal a une faible énergie, le bruit peut avoir un niveau comparable voir supérieur au signal et n'est donc plus forcément masqué. Il peut alors devenir audible dans ces régions.
  • Une mise en forme du bruit de codage est donc nécessaire. Dans un codeur comme G.722, une mise en forme du bruit de codage adaptée à un codage à codes imbriqués est de plus souhaitable.
  • De façon générale, le but de la mise en forme du bruit de codage est d'obtenir un bruit de quantification dont l'enveloppe spectrale suit le seuil de masquage court-terme; ce principe est souvent simplifié de sorte que le spectre du bruit suive approximativement le spectre du signal, assurant un rapport signal à bruit plus homogène pour que le bruit reste inaudible même dans les zones de plus faible énergie du signal.
  • Une technique de mise en forme du bruit pour un codage de type MIC (pour "Modulation par Impulsions Codées") à codes imbriqués est décrite dans la recommandation UIT-T G.711.1 «Wideband embedded extension for G.711 pulse code modulation» ou « G.711.1: A wideband extension to ITU-T G.711 ». Y. Hiwasaki, S. Sasaki, H. Ohmuro, T. Mori, J. Seong, M. S. Lee, B. Kövesi, S. Ragot, J.-L. Garcia, C. Marro ,L. M., J. Xu, V. Malenovsky, J. Lapierre, R. Lefebvre. EUSIPCO, Lausanne, 2008.
  • Cette recommandation décrit ainsi un codage avec mise en forme du bruit de codage pour un codage de débit coeur. Un filtre perceptuel de mise en forme du bruit de codage est calculé sur la base des signaux décodés passés, issus d'un quantificateur coeur inverse. Un décodeur local de débit coeur permet donc de calculer le filtre de mise en forme du bruit. Ainsi, au décodeur, il est possible de calculer ce filtre de mise en forme du bruit à partir des signaux décodés de débit coeur.
  • Un quantificateur délivrant des bits d'amélioration est utilisé au codeur.
  • Le décodeur recevant le flux binaire coeur et les bits d'amélioration, calcule le filtre de mise en forme du bruit de codage de la même façon qu'au codeur à partir du signal décodé de débit coeur et applique ce filtre au signal de sortie du quantificateur inverse des bits d'amélioration, le signal haut débit mis en forme étant obtenu en ajoutant le signal filtré au signal décodé de coeur.
  • La mise en forme du bruit améliore ainsi la qualité perceptuelle du signal de débit coeur. Elle offre une amélioration limitée de la qualité pour les bits d'amélioration. En effet, la mise en forme du bruit de codage n'est pas effectuée pour le codage des bits d'amélioration, l'entrée du quantificateur étant la même pour la quantification de coeur que pour la quantification améliorée.
  • Le décodeur doit alors supprimer une composante parasite résultante par un filtrage adapté, lorsque les bits d'amélioration sont décodés en plus des bits coeur.
  • Le calcul supplémentaire d'un, filtre au décodeur augmente la complexité du décodeur.
  • Cette technique n'est pas utilisée dans les décodeurs scalables standards déjà existants de type décodeur G.722 ou G.727. Il existe donc un besoin d'amélioration de la qualité des signaux quelque soit le débit tout en restant compatible avec les décodeurs scalables standards existants.
  • Une solution ne nécessitant pas d'effectuer au décodeur, de traitement de signal complémentaire est décrite dans la demande de brevet WO 2010/058117 . Dans cette demande, le signal reçu au décodeur peut être décodé par un décodeur standard apte à décoder le signal de débit coeur et de débits imbriqués sans nécessiter de calcul de mise en forme du bruit ni de terme correctif.
  • Ce document décrit que pour un étage d'amélioration d'un codeur hiérarchique, la quantification s'effectue en minimisant un critère d'erreur quadratique dans un domaine perceptuellement filtré.
  • Pour cela, un filtre de mise en forme du bruit de codage est défini et appliqué à un signal d'erreur déterminé à partir au moins d'un signal reconstruit d'un étage de codage précédent. La méthode nécessite également le calcul du signal reconstruit de l'étage d'amélioration courant en prévision d'un étage de codage suivant.
  • De plus, des termes d'amélioration sont calculés et stockés pour l'étage courant d'amélioration. Ceci apporte donc une complexité importante et un stockage important de termes d'amélioration ou d'échantillons de signal reconstruits des étages précédents.
  • Cette solution n'est donc pas optimale d'un point de vue complexité.
  • Il existe donc un besoin d'améliorer les méthodes de l'état de l'art pour le codage et la mise en forme du bruit de codage d'amélioration, tout en restant compatible avec les décodeurs hiérarchiques existants.
  • La présente invention vient améliorer la situation.
  • Elle propose à cet effet, un procédé de codage d'un signal audio numérique d'entrée (x(n)) dans un codeur hiérarchique comprenant un étage de codage coeur à B bits et au moins un étage de codage d'amélioration courant k, le codage coeur et le codage des étages d'amélioration précédant l'étage courant k délivrant des indices de quantification qui sont concaténés pour former les indices du codeur imbriqué précédent (IB+k-1). Le procédé est tel qu'il comporte les étapes suivantes:
    • obtention de valeurs possibles de quantification pour l'étage d'amélioration courant k à partir des niveaux de reconstruction absolus du seul étage courant k et des indices du codeur imbriqué précédent;
    • quantification du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle, à partir des dites valeurs possibles de quantification pour former un indice de quantification de l'étage k et un signal quantifié correspondant à une des valeurs possibles de quantification.
  • Ainsi, la quantification de l'étage d'amélioration détermine le ou les bits d'indice de quantification qui sont directement concaténés aux indices des étages précédents. Il n'y a pas, contrairement aux méthodes de l'état de l'art, de calcul d'un signal d'amélioration ou de termes d'amélioration.
  • De plus, le signal en entrée de la quantification est soit directement le signal d'entrée du codeur hiérarchique, soit ce même signal d'entrée ayant directement subi un traitement de pondération perceptuelle. Il ne s'agit pas ici d'un signal différence entre le signal d'entrée et un signal reconstruit des étages de codage précédent comme dans les techniques de l'état de l'art.
  • La complexité en termes de charge de calcul en est donc réduite.
  • De plus, contrairement aux méthodes de l'état de l'art, les valeurs de quantification stockées ne sont pas des valeurs différentielles. Ainsi, il n'est pas utile de mémoriser les valeurs de quantification servant de reconstruction dans les étages précédents pour constituer un dictionnaire de quantification de l'étage d'amélioration.
  • D'autre part, contrairement aux méthodes de l'état de l'art, il n'est pas nécessaire de construire et de mémoriser un dictionnaire différentiel, car l'étage amélioration utilise directement des niveaux absolus stockés par l'encodeur et décodeur hiérarchique existant y i B + k n .
    Figure imgb0015
    Ainsi l'invention évite la duplication des dictionnaires que l'on peut rencontrer dans les méthodes de l'état de l'art où un dictionnaire différentiel est utilisé au codeur et un dictionnaire absolu au décodeur.
  • La mémoire requise pour le stockage des dictionnaires et les opérations de quantification au codeur et quantification inverse au décodeur est donc réduite.
  • Enfin, le fait d'obtenir directement les valeurs de quantification de l'étage d'amélioration sans effectuer de différence, apporte une précision supplémentaire entre les valeurs obtenues au codeur et celles obtenues au décodeur lorsque l'on travaille par exemple en précision finie.
  • Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé défini ci-dessus.
  • Dans un mode de réalisation particulier, le signal d'entrée a subi un traitement de pondération perceptuelle utilisant un filtre de pondération prédéterminé pour donner un signal d'entrée modifié, avant l'étape de quantification et le procédé comporte en outre une étape d'adaptation des mémoires du filtre de pondération à partir du signal quantifié de l'étage de codage d'amélioration courant.
  • Ce traitement de pondération perceptuelle appliquée directement sur le signal d'entrée du codeur hiérarchique pour le codage d'amélioration de l'étage k réduit également la complexité en terme de charge de calculs par rapport aux techniques de l'état de l'art qui effectuaient ce traitement de pondération perceptuelle sur un signal différence entre le signal d'entrée et un signal reconstruit des étages de codage précédent.
  • Ainsi, le procédé de codage décrit permet aussi aux décodeurs existants de décoder le signal sans avoir de modifications à apporter ou de traitement supplémentaires à prévoir tout en bénéficiant de l'amélioration du signal par une mise en forme du bruit de codage efficace.
  • Dans un mode particulier de réalisation, les valeurs possibles de quantification pour l'étage d'amélioration k contiennent en outre un facteur d'échelle et une valeur de prédiction provenant du codage coeur de type adaptatif.
  • Ceci permet d'adapter les valeurs de quantification par rapport aux valeurs définies au codage coeur.
  • Dans une alternative de réalisation, le signal d'entrée modifié à quantifier à l'étage d'amélioration k est le signal d'entrée pondéré perceptuellement auquel est soustrait une valeur de prédiction provenant du codage coeur de type adaptatif.
  • Ceci permet également d'adapter les valeurs de quantification par rapport aux valeurs définies au codage coeur mais en effectuant cette adaptation en entrée du quantificateur plutôt que sur chaque valeur de quantification. Ceci est avantageux dans le cas où l'amélioration s'effectue sur plusieurs bits.
  • De façon particulière, le traitement de pondération perceptuelle, s'effectue par des filtres de prédictions formant un filtre de type ARMA.
  • La mise en forme du bruit de codage d'amélioration est alors de bonne qualité.
  • La présente invention se rapporte également à un codeur hiérarchique d'un signal audio numérique d'entrée, comprenant un étage de codage coeur à B bits et au moins un étage de codage d'amélioration courant k, le codage coeur et le codage des étages d'amélioration précédant l'étage courant k délivrant des indices de quantification qui sont concaténés pour former les indices du codeur imbriqué précédent. Le codeur est tel qu'il comporte:
    • un module d'obtention de valeurs possibles de quantification pour l'étage d'amélioration courant k par la détermination de niveaux de reconstruction absolus du seul étage courant k à partir des indices du codeur imbriqué précédent;
    • un module de quantification du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle, à partir des dites valeurs possibles de quantification pour former un indice de quantification de l'étage k et un signal quantifié correspondant à une des valeurs possibles de quantification.
  • Le codeur hiérarchique comporte en outre un module de prétraitement de pondération perceptuelle utilisant un filtre de pondération prédéterminé pour donner un signal d'entrée modifié en entrée du module de quantification et un module d'adaptation des mémoires du filtre de pondération à partir du signal quantifié de l'étage de codage d'amélioration courant.
  • Le codeur hiérarchique apporte les mêmes avantages que ceux du procédé qu'il met en oeuvre.
  • Elle se rapporte aussi à un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de codage selon l'invention, lorsque ces instructions sont exécutées par un processeur.
  • L'invention se rapporte enfin à un moyen de stockage lisible par un processeur mémorisant un programme informatique tel que décrit.
  • D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels:
    • la figure 1 illustre un codeur de type MICDA à codes imbriqués selon l'état de l'art et tel que décrit précédemment;
    • la figure 2 illustre un décodeur de type MICDA à codes imbriqués selon l'état de l'art et tel que décrit précédemment;
    • la figure 3 illustre un mode de réalisation général du procédé de codage selon l'invention et d'un codeur selon l'invention;
    • la figure 4 illustre un premier mode de réalisation particulier du procédé de codage et d'un codeur selon l'invention;
    • la figure 5 illustre un deuxième mode de réalisation particulier du procédé de codage et d'un codeur selon l'invention;
    • la figure 6 illustre un troisième mode de réalisation particulier du procédé de codage et d'un codeur selon l'invention;
    • la figure 7 illustre une alternative de réalisation générale du procédé de codage et d'un codeur selon l'invention;
    • la figure 7b illustre une autre alternative de réalisation générale du procédé de codage et d'un codeur selon l'invention;
    • la figure 8 illustre un exemple de réalisation du codage coeur d'un codeur selon l'invention;
    • la figure 9 illustre un exemple de niveaux de reconstruction de quantification utilisés dans l'état de l'art; et
    • la figure 10 illustre un mode de réalisation matérielle d'un codeur selon l'invention.
  • En référence à la figure 3 , un codeur ainsi qu'un procédé de codage selon un mode de réalisation de l'invention est décrit.
  • On rappelle qu'on considère ici le cas d'un codeur à codes imbriqués ou codeur hiérarchique dans lequel un codage coeur à B bits et au moins un étage d'amélioration de rang k est prévu. Le codage coeur et les étages d'amélioration précédant le codage de l'étage d'amélioration k tel que représenté en 306, délivrent des indices de quantification scalaires multiplexés dans l'indice IB+k-1(n) de B+k-1 bits par échantillon.
  • Dans les exemples de réalisation décrits ci-après, par soucis de simplification de présentation, l'étage d'amélioration (de rang k) est présenté comme produisant un bit supplémentaire par échantillon. Dans ce cas, le codage dans chaque étage d'amélioration implique de sélectionner une valeur parmi deux possibles. Comme il apparaîtra par la suite, le "dictionnaire absolu" - en termes de niveaux absolus (au sens de « non-différentiels »)-correspondant à toutes les valeurs de quantification que peut produire l'étage d'amélioration de rang k, est de taille 2B+k, ou parfois légèrement inférieure à 2B+k comme par exemple dans le codeur G.722 qui n'a que 60 niveaux possibles au lieu de 64 dans le quantificateur de 6 bits de bande basse. Le codage hiérarchique implique une structure en arbre binaire du "dictionnaire absolu", ce qui explique qu'il suffit d'un bit d'amélioration pour effectuer le codage étant donnés les B+k-1 bits des étages précédents.
  • La figure 9 est un extrait du tableau VI de l'article précité X. Maitre et représente les 4 premiers niveaux du quantificateur de coeur à B bits pour B=4 bits et les niveaux des quantificateurs à B+1 et B+2 bits du codage de la bande basse d'un codeur G.722 ainsi que les valeurs de sortie du quantificateur d'amélioration de l'état de l'art pour B+2 bits.
  • Comme illustré sur cette figure, le quantificateur imbriqué à B+1=5 bits est obtenu en "dédoublant" les niveaux du quantificateur à B=4 bits. Le quantificateur imbriqué à B+2=6 bits est obtenu en "dédoublant" les niveaux du quantificateur à B+1=5 bits. Le dédoublement des niveaux de reconstruction est en fait une conséquence de la contrainte de codage hiérarchique de la bande basse qui est mis en oeuvre dans G.722 sous la forme d'un dictionnaire de quantification scalaire (à 4, 5 ou 6 bits par échantillon) structuré en arbre.
  • Dans l'état d'art, les valeurs enh 2 I B + k - 1 + j B + k
    Figure imgb0016
    désignant des niveaux de reconstructions de quantification pour un étage d'amélioration k sont définis par la différence entre
    • oles valeurs désignant les niveaux de reconstruction de la quantification d'un quantificateur imbriqué à B+k bits (B désignant le nombre de bits du codage coeur) et
    • o les valeurs désignant les niveaux de reconstruction de quantification d'un quantificateur imbriqué à B+k-1 bits, les niveaux de reconstruction du quantificateur imbriqué à B+k bits étant définis par dédoublement des niveaux de reconstruction du quantificateur imbriqué à B+k-1 bits.
    Avec l'invention les niveaux de reconstruction différentiels enh 2 I B + k - 1 + j B + k
    Figure imgb0017
    listés à droite et encadrés en pointillés n'ont pas à être calculés ni stockés. Selon l'invention seuls les niveaux de reconstruction absolus y i B + k
    Figure imgb0018
    de l'étage k sont calculés et stockés.
  • Ces niveaux de reconstruction absolus y i B + k
    Figure imgb0019
    de l'étage k sont utilisés au codeur de la même façon qu'au décodeur, dans le sens où le signal reconstruit peut être obtenu dans le cas général du codage MICDA à partir de ces niveaux de reconstruction absolus y i B + k
    Figure imgb0020
    par multiplication par le facteur d'échelle v(n) et ajout du signal de prédiction x P B n ,
    Figure imgb0021
    comme déjà présenté en référence à la description de la Figure 2 qui représente le décodeur MICDA standard à codes imbriqués. Ces niveaux étant déjà définis et stockés dans le décodeur, le codeur ne rajoute donc aucune table de quantification supplémentaire dans le codec (codeur + décodeur).
  • Le codage de l'étage d'amélioration selon l'invention est très facilement généralisable pour les cas où l'étage d'amélioration ajoute plusieurs bits par échantillon. Dans ce cas la taille du dictionnaire Dk(n) utilisé à l'étage d'amélioration, tel que défini ultérieurement, est simplement 2U où U>1 est le nombre de bits par échantillon de l'étage d'amélioration.
  • Le codeur tel que représenté en figure 3 montre un codeur à codes imbriqués ou codeur hiérarchique dans lequel un codage coeur à B bits et au moins un étage d'amélioration de rang k est prévu. Le codage coeur et les étages d'amélioration précédant le codage de l'étage d'amélioration k tel que représenté en 306, délivrent des indices de quantification scalaires qui sont concaténés pour former les indices du codeur imbriqué précédent IB+k-1(n).
  • La figure 3 illustre simplement un module de codage MIC/MICDA 302 représentant le codage imbriqué précédant le codage d'amélioration en 306.
  • Le codage coeur du codage imbriqué précédent peut éventuellement s'effectuer en utilisant le filtre de masquage déterminé en 301 pour mettre en forme du bruit de codage « coeur ». Un exemple de ce type de codage coeur est décrit ultérieurement en référence à la figure 8.
  • Ce module 302 délivre ainsi les indices IB+k-1(n) du codeur imbriqué ainsi que le signal de prédiction x P B n
    Figure imgb0022
    et le facteur d'échelle v(n) dans le cas où il s'agit bien d'un codage prédictif MICDA similaire à celui décrit en référence à la figure 1.
  • Dans le cas d'un codage MIC, le module 302 délivre simplement les indices de quantification imbriqués IB+k-1(n). Par ailleurs on peut remarquer que le codage MIC est un cas particulier du codage MICDA en prenant x P B n = 0
    Figure imgb0023
    et v(n) =1.
  • La connaissance des indices de quantification imbriqués IB+k-1(n) et des niveaux de reconstruction absolus y i B + k
    Figure imgb0024
    , ainsi que le cas échéant, le signal de prédiction et y i B + k
    Figure imgb0025
    le facteur d'échelle v(n) permettent de déterminer les valeurs de quantification Dk(n) = d 1 B + k n , d 2 B + k n
    Figure imgb0026
    pour l'étage d'amélioration courant k dans le module de construction du dictionnaire des valeurs de quantification 303. Ce dictionnaire Dk(n) est utilisé par le quantificateur qualifié ici de "quantificateur d'amélioration" pour l'étage d'amélioration de rang k.
  • Ainsi, selon le mode de réalisation privilégié, les valeurs de quantification du dictionnaire sont définies de la façon suivante, dans le cas du codage MICDA: d 1 B + k n = x P B n + y 2 I B + k - 1 B + k v n et d 2 B + k n = x P B n + y 2 I B + k - 1 + 1 B + k v n ,
    Figure imgb0027
    y 2 I B + k - 1 + j B + k ,
    Figure imgb0028
    avec j= 0 ou 1, représentent deux valeurs possibles de quantification d'un quantificateur imbriqués de B+k bits, prédéfinies et stockées au codeur et au décodeur. On peut voir les valeurs y i B + k
    Figure imgb0029
    comme issues d'un « dédoublement » du dictionnaire y i B + k - 1
    Figure imgb0030
    de l'étage précédent k-1.
  • On remarque que les deux éléments du dictionnaire Dk(n) dépendent de I B+k-1 . En fait, ce dictionnaire est un sous-ensemble du "dictionnaire absolu" défini comme: I B + k - 1 D k n = I B + k - 1 x P B n + y 2 I B + k - 1 B + k v n , x P B n + y 2 I B + k - 1 + 1 B + k v n
    Figure imgb0031
    Le "dictionnaire absolu" est un dictionnaire structuré en arbre. L'indice I B+k-1 conditionne les différentes branches de l'arbre à prendre en compte pour déterminer les valeurs de quantification possibles de l'étage k (Dk(n)).
  • Le facteur d'échelle v (n) est déterminé par l'étage coeur du codage MICDA comme illustré en figure 1, l'étage d'amélioration utilise donc ce même facteur d'échelle pour mettre à l'échelle les mots de code du dictionnaire de quantification.
  • Dans un mode de réalisation de l'invention, le codeur de la figure 3 ne comporte pas les modules 301 et 310, c'est-à-dire qu'il n'est pas prévu de traitement de mise en forme de bruit de codage. Ainsi, c'est le signal d'entrée x(n) lui-même qui est quantifié par le module de quantification 306.
  • Dans un mode particulier de réalisation, le codeur comporte en outre un module 301 de calcul d'un filtre de masquage et de détermination du filtre de pondération W(z) ou d'une version prédictive WPRED (z) décrite ultérieurement. Le filtre de masquage ou de pondération est déterminé ici à partir du signal d'entrée x(n) mais pourrait très bien être déterminé à partir d'un signal décodé, par exemple du signal décodé du codeur imbriqué précédent B+k-1(n). Le filtre de masquage peut être déterminé ou adapté échantillon par échantillon ou par bloc d'échantillons.
  • En effet, le codeur selon l'invention effectue une mise en forme du bruit de codage de l'étage d'amélioration en utilisant une quantification dans le domaine pondéré par le filtre W(z), c'est-à-dire en minimisant l'énergie du bruit de quantification filtré par W(z).
  • Ce filtre de pondération est utilisé en 311 par le module de filtrage et plus globalement par le module 310 de prétraitement de pondération perceptuelle du signal d'entrée x(n). Ce prétraitement est appliqué directement sur le signal d'entrée x(n) et non pas sur un signal d'erreur comme ceci pouvait être le cas dans les techniques de l'état de l'art.
  • Ce module 310 de prétraitement délivre un signal modifié x'(n) en entrée du quantificateur d'amélioration 307.
  • Le module de quantification 307 de l'étage d'amélioration k délivre un indice de quantification Ienh B+k(n) qui sera concaténé aux indices du codage imbriqué précédent (IB+k-1) pour former les indices du codage imbriqué courant (IB+k), par un module non représenté ici. Le module de quantification 307 de l'étage d'amélioration k choisit entre les deux valeurs d 1 B + k n
    Figure imgb0032
    et d 2 B + k n
    Figure imgb0033
    du dictionnaire adaptatif Dk(n).
  • Il reçoit en entrée le signal x'(n) et donne comme sortie, en passant par le module de décodage local 308, la valeur quantifiée B+k (n) (où B+k (n) est soit égale à d 1 B + k n
    Figure imgb0034
    soit à d 2 B + k n ) ,
    Figure imgb0035
    en minimisant l'erreur quadratique entre x'(n) et B+k (n). Le dictionnaire adaptatif Dk(n) contient donc directement la valeur quantifiée de sortie de l'étage k.
  • Le module 308 donne la valeur quantifiée du signal d'entrée par quantification inverse de l'indice I enh B + k n .
    Figure imgb0036
    Au décodeur la même valeur est obtenue simplement en utilisant directement le quantificateur inverse de l'étage k et l'indice concaténé : x ˜ B + k n = x P B n + y I B + k B + k v n .
    Figure imgb0037
  • Ce signal quantifié est utilisé pour mettre à jour les mémoires du filtre de pondération W(z) de l'étage d'amélioration pour obtenir des mémoires qui correspond à une entrée x(n)-x̃ B+k (n). Typiquement on soustrait de la mémoire (ou des mémoires dans le cas du filtre type ARMA) plus récente(s) la valeur actuelle du signal décodé B+k (n).
  • Ainsi, la quantification du signal x(n) se fait dans le domaine pondéré, ce qui veut dire qu'on minimise l'erreur quadratique entre x(n) et B+k (n) après filtrage par le filtre W(z). Le bruit de quantification de l'étage d'amélioration est donc mis en forme par un filtre 1/W(z) pour rendre ce bruit moins audible. L'énergie du bruit de quantification pondéré est ainsi minimisé.
  • Le mode de réalisation général du bloc 310 donné sur la figure 3 montre le cas général où W (z) est un filtre de réponse impulsionnelle infinie (IIR, infinite impulse response) ou un filtre de réponse impulsionnelle finie (FIR, finite impulse response). On obtient le signal x'(n) en filtrant x(n) par W(z) puis quand la valeur quantifiée B+ k (n) est connue, les mémoires du filtre W(z) sont mises à jour comme si le filtrage avait été effectué sur le signal x(n)-x̃ B+k (n).
  • La flèche en pointillés représente la mise à jour des mémoires du filtre.
  • Ainsi, les étapes mises en oeuvre dans le codeur tel que illustré en figure 3 sont également représentées. On y retrouve en effet, les étapes suivantes:
    • obtention en 303 de valeurs possibles de quantification d i B + k n
      Figure imgb0038
      pour l'étage d'amélioration courant k par la détermination de niveaux de reconstruction absolus du seul étage courant k à partir des indices du codeur imbriqué précédent (I B+k-1);
    • quantification en 306 du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle (x(n) ou x'(n)), à partir des dites valeurs possibles de quantification d i B + k n
      Figure imgb0039
      pour former un indice de quantification de l'étage k (Ienb B+k(n))
    et un signal quantifié ( B+k (n)) correspondant à une des valeurs possibles de quantification;
  • Dans le cas représenté en figure 3, le signal d'entrée a subi un traitement de pondération perceptuelle en 310 utilisant un filtre de pondération prédéterminé en 301 pour donner un signal d'entrée modifié x'(n), avant l'étape de quantification en 306. La figure 3 représente également l'étape d'adaptation en 311 des mémoires du filtre de pondération à partir du signal quantifié ( B+k (n)) de l'étage de codage d'amélioration courant.
  • Les figures 4, 5 et 6 décrivent à présent des modes de réalisation particuliers du bloc 310 de prétraitement.
  • Les blocs 301, 302, 303, 306, 307 et 308 restent alors identiques à ceux décrits en référence à la figure 3.
  • La figure 4 représente un premier mode de réalisation du bloc 310 de prétraitement avec un filtre W(z) = A'(z) à réponse impulsionnelle finie (FIR pour Finite impulse response en anglais).
  • Dans ce mode de réalisation, la mémoire du filtre contient uniquement les échantillons d'entrée passés du signal x(n)-x̃ B+k (n), notés: b B + k , = n - 1 , , n - N D .
    Figure imgb0040
    ND étant l'ordre du filtre perceptuel W(z).
  • En 302, le signal d'entrée x(n) est codé par le module de codage MIC/MICDA 302, avec ou sans mise en forme du bruit de codage du codeur imbriqué B+k-1,
  • En 303, un dictionnaire adaptatif Dk est construit en fonction des valeurs de prédiction x P B n ,
    Figure imgb0041
    du facteur d'échelle v(n) de l'étage coeur dans le cas d'un codage de type adaptatif MICDA et des indices de codage I B+k-1 (n) comme expliqué en référence à la figure 3. Le dictionnaire adaptatif Dk comporte dans le mode de réalisation particulier ou un seul bit d'amélioration est prévu dans l'étage d'amélioration k, les deux termes suivants: d 1 B + k n = x P B n + y I B + k - 1 B + k v n
    Figure imgb0042
    et d 2 B + k n = x P B n + y 2 I B + k - 1 + 1 B + k v n .
    Figure imgb0043
  • Dans ce mode de réalisation, on retrouve les étapes de calcul en 301 du filtre de masquage et de détermination du filtre de pondération W(z), ainsi que sa version prédictive WPRED (z) basée sur des prédictions, c'est-à-dire des calculs utilisant uniquement des échantillons passés.
  • Rappelons ici la définition d'un filtre prédictif:
    • Prenons comme exemple le cas d'un filtrage d'un signal x(n) par le filtre non récursif de fonction de transfert tout-zéro (aussi dit FIR pour Finite Impulse Response en anglais (Filtre à réponse impulsionnelle finie)) A(z) d'ordre 4, A z = 1 + i = 1 4 a i z - i ,
      Figure imgb0044
      donnant pour résultat un signal y(n). Dans le domaine de la transformée en z, l'équation Y z = A z X z
      Figure imgb0045

      correspond à l'équation aux différences y n = a 0 x n + a 1 x n - 1 + a 2 x n - 2 + a 3 x n - 3 + a 4 x n - 4
      Figure imgb0046
  • Cette expression de y(n) peut être divisée en deux parties :
    • la première ne dépend que de l'entrée présente x(n) : a 0 x(n). Le plus souvent et dans les cas qui nous intéressent dans ce document, a0 = 1 .
    • la seconde qui ne dépend que l'entrée passée x(n-i), i > 0: a 1 x(n-1)+a 2 x(n-2)+a 3 x(n-3)+a4x(n-4) qui sera donc considérée comme la partie prédictive du filtrage par analogie à la prédiction linéaire où elle représente la prédiction de x(n) à partir des échantillons précédents.
  • Cette seconde partie correspond pour l'instant d'échantillonnage n à la « réponse à l'entrée nulle », ou en anglais « zéro input reponse » (ZIR) ou encore « ringing » qui est en fait une prédiction généralisée. La transformée en z de cette composante est : YPRED (z) = (A(z) -1) X(z) = HA,PRED (z) X(z) avec HA,PRED (z) = A(z)-1
  • De façon similaire, pour le filtrage d'un signal x(n) par un filtre récursif tout-pôle d'ordre 4 avec B z = 1 + i = 1 4 b i z - i ,
    Figure imgb0047
    résultant en un signal y(n), la fonction de transfert donne : Y z = 1 B z X z
    Figure imgb0048

    avec comme équation aux différences : y n = x n - b 1 y n - 1 - b 2 y n - 2 - b 3 y n - 3 - b 4 y n - 4
    Figure imgb0049
  • La partie innovation est x(n), la partie prédictive est -b 1 y(n-1)-b 2 y(n-2)-b 3 y(n-3)-b 4 y(n-4), de transformée en z YPRED (z)=-(B(z)-1)Y(z)=(1-B(z))Y(z).
  • Il en est de même pour le cas où le filtre contient à la fois des zéros et des pôles (filtre ARMA pour AutoRegressive Moving Average) : Y z = A z B z X z
    Figure imgb0050

    avec comme équation aux différences (dans cet exemple A(z) et B(z) sont d'ordre 4) : y n = x n + i = 1 4 a i x n - i - i = 1 4 b i y n - i
    Figure imgb0051
  • La partie innovation est x(n), la partie prédictive est i = 1 4 a i x n - i - i = 1 4 b i y n - i ,
    Figure imgb0052
    de transformée en z YPRED (z)=(A(z)-1)X(z)-(B(z)-1)F(z), ou Y PREB z = A z - 1 B z X z = H AB , PRED z X z avec H AB , PRED z = A z - 1 B z .
    Figure imgb0053
  • Dans la suite, de façon générale HPRED (z) dénote un filtre dont le coefficient pour son entrée actuel x(n) est zéro.
  • Les filtres récursifs tout-pôle 1 B z
    Figure imgb0054
    ou ARMA A z B z
    Figure imgb0055
    sont les filtres dit TIR pour Infinite Impulse Response en anglais (Filtre à réponse impulsionnelle infinie).
  • Dans le cas présent, en figure 4, en utilisant le découpage d'un filtrage en parties innovation et prédictive, le terme dont l'énergie est à minimiser est alors: x n + x PRED n - x ˜ B + k n + x ˜ PRED B + k n
    Figure imgb0056
  • Le signal à quantifier par le quantificateur d'amélioration de l'étage k est donc n = x n + x PRED n - x ˜ PRED B + k n
    Figure imgb0057

    ou XPRED (n) et x ˜ PRED B + k n
    Figure imgb0058
    sont obtenus en filtrant x(n) et x ˜ B + k n
    Figure imgb0059
    par le filtre de prédiction WPRED (z). Ces deux filtrages peuvent être combinés en un seul, l'entrée du filtre commun WPRED (z) sera alors bB+k (n) = x(n) - x̃ B+k (n) (par exemple par la mise à jour des mémoire du filtre). En sortie du filtrage, on obtient alors: b w , PRED B + k n = x PRED n - x ˜ PRED B + k n .
    Figure imgb0060
  • Le module de prétraitement 310 met en oeuvre les étapes de calcul d'une prédiction b w , PRED B + k n
    Figure imgb0061
    en filtrant par WPRED (z) en 404, des échantillons passés du signal x(n) - x̃ B+k (n) = b B+k (n) n=-1, -2, ...-ND obtenus en 409.
  • Cette prédiction b w , PRED B + k n
    Figure imgb0062
    est ajoutée au signal d'entrée x(n) en 405 pour obtenir le signal d'entrée modifié x'(n) du quantificateur de l'étage d'amélioration k.
  • La quantification de x'(n) s'effectue en 306 par le module de quantification de l'étage d'amélioration k, pour donner l'indice de quantification I enh B + k n
    Figure imgb0063
    de l'étage d'amélioration k et le signal décodé B+k (n) de l'étage k. Le module 307 donne l'indice du mot de code I enh B + k n
    Figure imgb0064
    (1 bit dans l'exemple d'illustration) du dictionnaire adaptatif Dk qui minimise l'erreur quadratique entre x'(n) et les valeurs de quantification d 1 B + k n
    Figure imgb0065
    et d 2 B + k n .
    Figure imgb0066
    Cet indice est à concaténer à l'indice du codeur imbriqué précédent I B+k-1 pour obtenir au décodeur l'indice du mot code de l'étage k IB+k . Le module 308 donne la valeur quantifiée du signal d'entrée par quantification inverse de l'indice I enh B + k n ,
    Figure imgb0067
    x ˜ B + k n = d I enh 1 B + k B + k n .
    Figure imgb0068
  • Au décodeur la même valeur est obtenue simplement en utilisant directement la quantification inverse de l'étage k et l'indice concaténée pour obtenir : x ˜ B + k n = x P B n + y I B + k B + k v n .
    Figure imgb0069
  • En 409, une étape de calcul du bruit de codage bB+k (n) du codeur incluant l'étage k est effectuée par soustraction du signal d'entrée x(n) au signal synthétisé de l'étage k B+k (n) pour les échantillons présents (n=0).
  • Les opérations de prétraitement du bloc 310 permettent ainsi de mettre en forme le bruit de codage d'amélioration de l'étage k en effectuant une pondération perceptuelle du signal d'entrée x(n). C'est le signal d'entrée lui-même qui est pondéré perceptuellement et non pas un signal d'erreur comme c'est le cas dans les méthodes de l'état de l'art.
  • La figure 5 illustre un autre exemple de réalisation du module de prétraitement en utilisant dans ce mode de réalisation un filtrage de type ARMA (pour Auto Regressif à Moyenne Ajustée) de fonction de transfert : W z = 1 - P D z 1 - P N z
    Figure imgb0070
  • L'enchainement des opérations selon la figure 5 est le suivant :
    • Calcul en 301 du filtre de masquage et détermination du filtre de pondération W z = 1 - P D z 1 - P N z ;
      Figure imgb0071
    • Codage en 302 du signal d'entrée x(n) par un codeur imbriqué de type MIC/MICDA de B+k-1 bits, éventuellement avec mise en forme du bruit de codage en utilisant le filtre de masquage déterminé en 301 pour mettre en forme le bruit de codage;
    • Détermination en 303 du dictionnaire adaptatif Dk en fonction des valeurs de prédiction x P B n
      Figure imgb0072
      et de facteur d'échelle v(n) (dans le cas d'un codage MICDA) de l'étage coeur, et des indices de quantification I B+k-1(n) ( d 1 B + k n = x P B n + y 2 I B + k - 1 B + k v n
      Figure imgb0073
      et d 2 B + k n = x P B n + y 2 I B + k - 1 + 1 B + k v n ) ;
      Figure imgb0074
  • Ces étapes sont équivalentes à celle décrites en référence à la figure 3.
  • Le module de prétraitement 310 comporte une étape de calcul en 512 d'un signal de prédiction b w , pred B + k n
    Figure imgb0075
    du bruit de quantification filtré b w B + k n ,
    Figure imgb0076
    en ajoutant la prédiction calculée en 510 à partir des échantillons du bruit reconstitué filtré m = 1 N D p N m b w B + k n - m
    Figure imgb0077
    et en retranchant la prédiction calculée en 511 à partir du bruit reconstitué m = 1 N D p D m b B + k n - m .
    Figure imgb0078
  • En 505, une étape d'addition du signal de prédiction b w , pred B + k n
    Figure imgb0079
    au signal x(n) est effectuée pour donner le signal modifié x'(n).
  • L'étape de quantification du signal modifié x'(n) est effectuée par le module de quantification 306, de la même manière que celle expliqué en référence aux figures 3 et 4.
  • Ainsi, la quantification du bloc 306 donne en sortie l'indice I enh B + k n
    Figure imgb0080
    et le signal décodé à l'étage k B+k (n).
  • En 509, une étape de soustraction du signal reconstruit B+ k (n) au signal x(n) est effectué, pour donner le bruit reconstruit bB+k (n).
  • En 513, une étape d'addition du signal de prédiction b w , pred B + k n
    Figure imgb0081
    au signal bB+k (n) est effectué pour donner le bruit reconstruit filtré b w B + k n .
    Figure imgb0082
  • Toutes les étapes effectuées en 505, 509, 510, 511, 512 et 513 par les modules du bloc de prétraitement 310, permettent de mettre en forme le bruit de codage pour l'étage de codage d'amélioration k. Cette mise en forme du bruit est alors effectué par deux filtres de prédiction constituant ainsi un filtre ARMA qui apporte une meilleure précision de mise en forme du bruit.
  • La figure 6 illustre encore un autre mode de réalisation du bloc de prétraitement 310 où ici la différence réside dans la façon dont le signal reconstruit filtré b w B + k n
    Figure imgb0083
    est calculé. Le bruit reconstruit filtré b w B + k n
    Figure imgb0084
    est obtenu ici en soustrayant le signal reconstruit B+k (n) du signal x'(n) en 614.
  • Dans les figures 5 et 6 décrites ci-dessus, on peut parler également de mise à jour des mémoires des filtres de pondération à partir du signal de bruit reconstruit filtré b w B + k n
    Figure imgb0085
    pour les échantillons passés.
  • La figure 7 illustre une alternative de réalisation pour l'étape de quantification 306 du signal x'(n) en traitant différemment le signal prédit x P B n
    Figure imgb0086
    provenant du codage coeur. Ce mode de réalisation est présenté avec l'exemple de bloc de prétraitement 310 présenté à la figure 3, mais peut bien évidement s'intégrer avec des blocs de prétraitement décrits aux figures 4, 5 et 6. L'enchainement des opérations selon la figure 7 est le suivant :
    • Calcul en 301 du filtre de masquage et détermination du filtre de pondération W(z) ou de sa version prédictive WPRED (z).
    • Codage en 302 du signal d'entrée x(n), par un codeur imbriqué de type MIC/MICDA de B+k-1 bits, éventuellement avec mise en forme du bruit de codage en utilisant le filtre de masquage déterminé en 301 pour mettre en forme du bruit de codage;
    • Détermination en 701 du dictionnaire adaptatif Dk ' en fonction du facteur d'échelle v(n) de l'étage coeur (dans le cas d'un codage MICDA) et des indices de quantification I B+k-1(n) du codage imbriqué précédent l'étage k ( d 1 B + k ʹ n = y 2 I B + k - 1 B + k v n
      Figure imgb0087
      et d 2 B + k ʹ n = y 2 I B + k - 1 + 1 B + k v n ) ;
      Figure imgb0088
    • Filtrage du signal x(n) par W(z) en 311 pour obtenir le signal d'entrée modifié x'(n) du quantificateur d'amélioration avec pour mémoires du filtre W(z) des valeurs correspondant à un signal d'entrée x(n)-x̃ B+k (n);
    • Quantification de x'(n) en 706 pour donner l'indice I enh B + k n
      Figure imgb0089
      et le signal décodé à l' étage k B+k (n).
  • Dans ce mode de réalisation, le signal prédit x P B n
    Figure imgb0090
    de l'étage coeur est soustrait du signal x'(n) (module 702) pour obtenir le signal modifié x ʹ ʹ n = x ʹ n - x P B n .
    Figure imgb0091
  • Le module 707 donne l'indice du mot de code I enh B + k n
    Figure imgb0092
    (1 bit dans l'exemple d'illustration) du dictionnaire adaptatif Dk' qui minimise l'erreur quadratique entre x"(n) et les mots de code d 1 B + k ʹ n
    Figure imgb0093
    et d 2 B + k ʹ n .
    Figure imgb0094
    Cet indice est à concaténer à l'indice du codage imbriqué précédent I B+k-1 pour obtenir au décodeur l'indice du codage imbriqué courant I B+k comprenant l'étage k.
  • Le module 708 donne la valeur quantifiée du signal x"(n) par quantification inverse de l'indice I enh B + k n , x ˜ ʹ ʹ n = d I enh 1 B + k B + k ʹ n .
    Figure imgb0095
    Le module 703 calcule le signal quantifié de l'étage k en additionnant le signal prédit au signal de sortie du quantificateur x ˜ B + k n = x P B n + x ˜ ʹ ʹ n .
    Figure imgb0096
  • Enfin, une étape de mise à jour des mémoires du filtre W(z) est effectuée en 311, pour obtenir des mémoires qui correspondent à une entrée x(n)-x̃ B+k (n). Typiquement on soustrait de la mémoire (ou des mémoires dans le cas du filtre type ARMA) plus récente(s) la valeur actuelle du signal décodé B+k (n).
  • La solution sur la figure 7 est équivalente en termes de qualité et de stockage à celle de la figure 3, mais nécessite moins de calculs dans le cas où l'étage d'amélioration utilise plus qu'un bit. En effet, à la place d'additionner la valeur prédite x P B n
    Figure imgb0097
    à tous les mots de code (>2) on ne fait qu'une soustraction avant la quantification et qu'une addition pour retrouver la valeur quantifiée B+k (n). La complexité est donc réduite.
  • Une autre alternative de réalisation est illustrée en figure 7b . Ici, le dictionnaire adaptatif Dk "est construit en soustrayant les niveaux de reconstruction de l'étage k pondérés le cas échéant par le facteur d'échelle v(n), au signal d'entrée modifié ( d 1 B + k ʹ ʹ n = x ʹ n - y 2 I B + k - 1 B + k v n
    Figure imgb0098
    et d 1 B + k ʹ ʹ n = x ʹ n - y 2 I B + k - 1 + 1 B + k v n ) .
    Figure imgb0099
    Dans ce cas de figure, c'est le signal de prédiction x P B n
    Figure imgb0100
    qui est quantifié en minimisant l'erreur quadratique. Puis le signal décodé B+k (n) pour la mise à jour des mémoires est obtenu de la façon suivante: x ˜ B + k n = x ʹ n + x p B n - d I enh 1 B + k B + k ʹ ʹ n .
    Figure imgb0101
  • La figure 8 détaille une réalisation possible d'une mise en forme du bruit au codage coeur. Le module 801 calcule les coefficients du filtre de mise en forme de bruit P 1 z = 1 A z / γ ou P 2 z = A z / γ 1 A z / γ 2 .
    Figure imgb0102
    Le module 802 calcule l'erreur de codage qw (n)=(n)-x(n) des instants d'échantillonnage précédents, n-1, n-2, .... Cette erreur est filtrée par un filtre prédicteur HPRED (z) pour obtenir le signal de prédiction qw,pred (n).
    Le filtre H(z) correspondant à HPRED (z) peut être égal par exemple soit à H z = 1 P 1 z = A z / γ , soit à H z = 1 P 2 z = A z / γ 2 A z / γ 1 .
    Figure imgb0103
  • A l'instant n, cette valeur prédite sera soustraite du signal à coder pour obtenir le signal à coder modifié x'(n) = x(n) - qw,pred (n).
  • La différence entre l'entrée et la sortie de la chaîne codeur MIC/MICDA - décodeur MIC/MICDA, q(n) = (n) - x'(n), peut être considérée à court terme comme un bruit blanc quand ces codeurs utilisent un quantificateur à grand nombre de niveaux et en supposant le signal d'entrée stationnaire.
  • Prenons l'exemple où H z = 1 P 1 z = A z / γ .
    Figure imgb0104
    Le signal d'entrée de la chaîne de codage standard MIC/MICDA est modifié par la soustraction de la contribution (H(z)-1)((z)-X(z)). Il en résulte que le bruit de codage de la chaîne complète qG (n)=x̃(n)-x(n) sera mis en forme par le filtre 1 H z :
    Figure imgb0105
    : Q G z = Q z H z = 1 A z / γ = Q z ,
    Figure imgb0106
    voici la démonstration en équations : X ˜ z = z + Q z = X z - H z - 1 X ˜ z - X z + Q z = = X ˜ z - H z X ˜ z + H z X z + Q z
    Figure imgb0107

    d' où H z X ˜ z = H z X z + Q z et donc X ˜ z = H z + Q z H z
    Figure imgb0108
  • En fait, le filtre HPRED (z) = H(z)-1 a un coefficient nul en z0 (pour l'instant n), il s'agit donc d'un prédicteur agissant sur qw (n) = x̃(n)-x(n) qui, lui, n'est connu qu'en fin de traitement MIC/MICDA quand la valeur décodée (n) est connue.
  • La séquence d'opérations de la figure 8 est la suivante :
    • Calcul en 801 du filtre de masquage et détermination du filtre H(z). A noter que le filtre H(z) peut également être déterminé à partir du signal décodé (n);
    • Calcul en 803 de la prédiction qw,pred (n), ([H(z)-1]Qw (z)), à partir des valeurs qw (n) = x̃(n)-x(n) des instants d'échantillonnage précédents, n-1,n-2,... ;
    • Soustraction en 804 de la prédiction qw,pred (n) à x(n) pour obtenir le signal x'(n) modifié;
    • Codage/Décodage en 805-806 du signal modifié x'(n) par un codeur/décodeur MIC/MICDA standard. Le décodeur local peut être un décodeur local standard du type MIC/MICDA des normes G.711, G.721, G.726, G.722 ou encore G.727.
    • Calcul en 802 du bruit de codage filtré qw (n) par soustraction du signal d'entrée x(n) du signal de sortie (n)
  • Là partie entourée 807 peut être vue et implémentée comme un prétraitement de mise en forme de bruit qui modifie l'entrée de la chaîne codeur/décodeur standard.
  • Un exemple de réalisation d'un codeur selon l'invention est maintenant décrit en référence à la figure 10 .
  • Matériellement, un codeur 900 tel que décrit selon les différents modes de réalisation ci-dessus, au sens de l'invention, comporte typiquement, un processeur µP coopérant avec un bloc mémoire BM incluant une mémoire de stockage et/ou de travail, ainsi qu'une mémoire tampon MEM précitée en tant que moyen pour mémoriser par exemple un dictionnaire de niveaux de reconstructions de quantification ou toutes autres données nécessaire à la mise en oeuvre du procédé de codage tel que décrit en référence aux figures 3, 4, 5, 6 et 7. Ce codeur reçoit en entrée des trames successives du signal numérique x(n) et délivre des indices de quantification concaténés IB+k.
  • Le bloc mémoire BM peut comporter un programme informatique comportant les instructions de code pour la mise en oeuvre des étapes du procédé selon l'invention lorsque ces instructions sont exécutées par un processeur µP du codeur et notamment les étapes d'obtention de valeurs possibles de quantification pour l'étage d'amélioration courant k par la détermination de niveaux de reconstruction absolus du seul étage courant k à partir des indices du codeur imbriqué précédent, de quantification du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle (x(n) ou x'(n)), à partir des dites valeurs possibles de quantification pour former un indice de quantification de l'étage k et un signal quantifié correspondant à une des valeurs possibles de quantification.
  • De manière plus générale, un moyen de stockage, lisible par un ordinateur ou un processeur, intégré ou non au codeur, éventuellement amovible, mémorise un programme informatique mettant en oeuvre un procédé de codage selon l'invention.
  • Les figures 3 à 7 peuvent par exemple illustrer l'algorithme d'un tel programme informatique.

Claims (8)

  1. Procédé de codage d'un signal audio numérique d'entrée (x(n)) dans un codeur hiérarchique comprenant un étage de codage coeur à B bits et au moins un étage de codage d'amélioration courant k, le codage coeur et le codage des étages d'amélioration précédant l'étage courant k délivrant des indices de quantification qui sont concaténés pour former les indices du codeur imbriqué précédent (IB+k-1), le procédé étant caractérisé en ce qu'il comporte les étapes suivantes:
    - obtention (303) de valeurs possibles de quantification d i B + k n
    Figure imgb0109
    pour l'étage d'amélioration courant k à partir des niveaux de reconstruction absolus y i B + k
    Figure imgb0110
    du seul étage courant k et des indices du codeur imbriqué précédent (I B+k-1);
    - quantification (306) du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle (x(n) ou x'(n)), à partir des dites valeurs possibles de quantification d i B + k n
    Figure imgb0111
    pour former un indice de quantification de l'étage k (Ienh B+k(n)) et un signal quantifié (B+k (n)) correspondant à une des valeurs possibles de quantification.
  2. Procédé selon la revendication 1, caractérisé en ce que le signal d'entrée a subi un traitement de pondération perceptuelle utilisant un filtre de pondération prédéterminé pour donner un signal d'entrée modifié x'(n), avant l'étape de quantification (306) et en ce qu'il comporte en outre une étape d'adaptation (311) des mémoires du filtre de pondération à partir du signal quantifié (B+k (n)) de l'étage de codage d'amélioration courant.
  3. Procédé selon la revendication 1, caractérisé en ce que les valeurs possibles de quantification pour l'étage d'amélioration k contiennent en outre un facteur d'échelle et une valeur de prédiction provenant du codage coeur de type adaptatif.
  4. Procédé selon la revendication 2, caractérisé en ce que le signal d'entrée modifié (x"(n)) à quantifier à l'étage d'amélioration k est le signal d'entrée pondéré perceptuellement auquel est soustrait une valeur de prédiction provenant du codage coeur de type adaptatif.
  5. Procédé selon la revendication 1 à 4, caractérisé en ce que le traitement de pondération perceptuelle, s'effectue par des filtres de prédictions formant un filtre de type ARMA.
  6. Codeur hiérarchique d'un signal audio numérique d'entrée (x(n)), comprenant un étage de codage coeur à B bits et au moins un étage de codage d'amélioration courant k, le codage coeur et le codage des étages d'amélioration précédant l'étage courant k délivrant des indices de quantification qui sont concaténés pour former les indices,du codeur imbriqué précédent (IB+k-1), le codeur étant caractérisé en ce qu'il comporte:
    - un module d'obtention (303) de valeurs possibles de quantification d i B + k n
    Figure imgb0112
    pour l'étage d'amélioration courant k par la détermination de niveaux de reconstruction absolus du seul étage courant k à partir des indices du codeur imbriqué précédent
    - un module de quantification (306) du signal d'entrée du codeur hiérarchique ayant subi ou non un traitement de pondération perceptuelle (x(n) ou x'(n)), à partir des dites valeurs possibles de quantification d i B + k n
    Figure imgb0113
    pour former un indice de quantification de l'étage k (Ienh B+k(n)) et un signal quantifié (B+k (n)) correspondant à une des valeurs possibles de quantification;
  7. Codeur hiérarchique selon la revendication 6, caractérisé en ce qu'il comporte en outre un module de prétraitement (310) de pondération perceptuelle utilisant un filtre de pondération prédéterminé pour donner un signal d'entrée modifié (x'(n)) en entrée du module de quantification (306) et un module d'adaptation (311) des mémoires du filtre de pondération à partir du signal quantifié (B+k (n)) de l'étage de codage d'amélioration courant.
  8. Programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de codage selon l'une des revendications 1 à 5, lorsque ces instructions sont exécutées par un processeur.
EP11811097.2A 2010-12-16 2011-12-13 Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique Not-in-force EP2652735B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1060631A FR2969360A1 (fr) 2010-12-16 2010-12-16 Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique
PCT/FR2011/052959 WO2012080649A1 (fr) 2010-12-16 2011-12-13 Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique

Publications (2)

Publication Number Publication Date
EP2652735A1 EP2652735A1 (fr) 2013-10-23
EP2652735B1 true EP2652735B1 (fr) 2015-08-19

Family

ID=44356295

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11811097.2A Not-in-force EP2652735B1 (fr) 2010-12-16 2011-12-13 Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique

Country Status (7)

Country Link
US (1) US20130268268A1 (fr)
EP (1) EP2652735B1 (fr)
JP (1) JP5923517B2 (fr)
KR (1) KR20140005201A (fr)
CN (1) CN103370740B (fr)
FR (1) FR2969360A1 (fr)
WO (1) WO2012080649A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2938688A1 (fr) * 2008-11-18 2010-05-21 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
EP2980793A1 (fr) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur, décodeur, système et procédés de codage et de décodage
CN105679312B (zh) * 2016-03-04 2019-09-10 重庆邮电大学 一种噪声环境下声纹识别的语音特征处理方法
WO2020086067A1 (fr) * 2018-10-23 2020-04-30 Nine Energy Service Plate-forme mobile multi-service pour l'entretien de puits

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
EP1483759B1 (fr) * 2002-03-12 2006-09-06 Nokia Corporation Codage audio à echelle variable
ATE531037T1 (de) * 2006-02-14 2011-11-15 France Telecom Vorrichtung für wahrnehmungsgewichtung bei der tonkodierung/-dekodierung
WO2008151408A1 (fr) * 2007-06-14 2008-12-18 Voiceage Corporation Dispositif et procédé de masquage d'effacement de trame dans un codec mic, interopérables avec la recommandation uit-t g.711
EP2171713B1 (fr) * 2007-06-15 2011-03-16 France Telecom Codage de signaux audionumériques
ES2416056T3 (es) * 2007-07-06 2013-07-30 France Telecom Codificación jerárquica de señales digitales de audio
WO2010031003A1 (fr) * 2008-09-15 2010-03-18 Huawei Technologies Co., Ltd. Addition d'une seconde couche d'amélioration à une couche centrale basée sur une prédiction linéaire à excitation par code
FR2938688A1 (fr) * 2008-11-18 2010-05-21 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
CA2777601C (fr) * 2009-10-15 2016-06-21 Widex A/S Prothese auditive a codec audio et procede connexe
FR2960335A1 (fr) * 2010-05-18 2011-11-25 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
FR2981781A1 (fr) * 2011-10-19 2013-04-26 France Telecom Codage hierarchique perfectionne

Also Published As

Publication number Publication date
US20130268268A1 (en) 2013-10-10
JP2014501395A (ja) 2014-01-20
EP2652735A1 (fr) 2013-10-23
FR2969360A1 (fr) 2012-06-22
WO2012080649A1 (fr) 2012-06-21
CN103370740A (zh) 2013-10-23
KR20140005201A (ko) 2014-01-14
JP5923517B2 (ja) 2016-05-24
CN103370740B (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
EP2366177B1 (fr) Codage de signal audionumerique avec mise en forme du bruit dans un codeur hierarchique
EP2586133B1 (fr) Contrôle d'une boucle de rétroaction de mise en forme de bruit dans un codeur de signal audionumérique
EP1989706B1 (fr) Dispositif de ponderation perceptuelle en codage/decodage audio
EP1692689B1 (fr) Procede de codage multiple optimise
EP2277172A1 (fr) Dissimulation d'erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
EP2936488B1 (fr) Atténuation efficace de pré-échos dans un signal audionumérique
WO2013001226A1 (fr) Fenêtres de pondération en codage/décodage par transformée avec recouvrement, optimisées en retard
EP2652735B1 (fr) Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique
EP1692687A1 (fr) Transcodage entre indices de dictionnaires multi-impulsionnels utilises en codage en compression de signaux numeriques
WO2013057453A2 (fr) Codage hierarchique perfectionne
EP2005424A2 (fr) Procede de post-traitement d'un signal dans un decodeur audio
EP2347411A1 (fr) Attenuation de pre-echos dans un signal audionumerique
EP2171713B1 (fr) Codage de signaux audionumériques
WO2011144863A1 (fr) Codage avec mise en forme du bruit dans un codeur hierarchique
WO2009080982A2 (fr) Traitement d'erreurs binaires dans une trame binaire audionumerique
FR2980620A1 (fr) Traitement d'amelioration de la qualite des signaux audiofrequences decodes
FR2987931A1 (fr) Modification des caracteristiques spectrales d'un filtre de prediction lineaire d'un signal audionumerique represente par ses coefficients lsf ou isf.
FR3018942A1 (fr) Estimation d'un bruit de codage introduit par un codage en compression de type micda
WO2014199055A1 (fr) Controle du traitement d'attenuation d'un bruit de quantification introduit par un codage en compresssion

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130715

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 19/24 20130101ALI20150417BHEP

Ipc: G10L 19/02 20130101AFI20150417BHEP

INTG Intention to grant announced

Effective date: 20150507

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 744294

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150915

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602011019010

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 744294

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150819

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151119

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151120

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151219

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151221

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011019010

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20160520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151213

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151213

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20161128

Year of fee payment: 6

Ref country code: DE

Payment date: 20161121

Year of fee payment: 6

Ref country code: FR

Payment date: 20161121

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20111213

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602011019010

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20171213

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20180831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150819

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180703

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171213