EP1599868A1 - Method and device for the spectral reconstruction of an audio signal - Google Patents

Method and device for the spectral reconstruction of an audio signal

Info

Publication number
EP1599868A1
EP1599868A1 EP04716626A EP04716626A EP1599868A1 EP 1599868 A1 EP1599868 A1 EP 1599868A1 EP 04716626 A EP04716626 A EP 04716626A EP 04716626 A EP04716626 A EP 04716626A EP 1599868 A1 EP1599868 A1 EP 1599868A1
Authority
EP
European Patent Office
Prior art keywords
frequency
coded
core
audio signal
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04716626A
Other languages
German (de)
French (fr)
Other versions
EP1599868B1 (en
Inventor
Pierrick Philippe
Jean-Bernard Rault
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1599868A1 publication Critical patent/EP1599868A1/en
Application granted granted Critical
Publication of EP1599868B1 publication Critical patent/EP1599868B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the present invention relates to a method and a device for coding and decoding an audio signal using spectrum reconstruction techniques.
  • the invention lies in improving the decoding of an audio signal coded by an encoder with spectral band limitation, called the core coder.
  • an encoder with spectral band limitation called the core coder.
  • This coding can be a bit rate reduction coding.
  • Known rate reduction coders are, for example, transform type coders such as MPEG1, MPEG2 or MPEG4-GA coders, CELP type coders and even parametric type coders, such as a parametric MPEG4 type coder.
  • the audio signal In bit rate audio coding, the audio signal often has to undergo bandwidth limitation when the bit rate becomes low. This bandwidth limitation is necessary to avoid the introduction of audible quantization noise into the coded signal. It is therefore desirable to complete as far as possible the full spectral content of the original signal.
  • Bandwidth is known from the state of the art, such as, for example, the spectral widening method known as the HFR (High-Frequency Regeneration) method.
  • the decoded low-frequency, band-limited signal is subjected to a non-linear device to obtain a signal enriched in harmonics.
  • This signal after bleaching and shaping based on information describing the spectral envelope of the full band signal before coding, allows the generation of a high frequency signal corresponding to the high frequency content of the signal before coding.
  • the core encoder and the band extension encoder distribute the bandwidth according to the suitable cut-off frequency.
  • This type of system is particularly interesting for coding audio signals.
  • Certain communication networks such as the Internet, wireless communication networks and the like do not guarantee perfect routing of data between the sender and the recipient. Certain data may thus never arrive at the recipient or arrive too late. By arriving too late, the recipient considers them lost. In these networks, the bandwidth available to route data also varies continuously and significantly.
  • the invention attempts to solve the drawbacks of the prior art by proposing a method for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with a spectral band limiting coder known as the core coder and wherein the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that at least part of the spectrum coded with the core coder is also coded with the extension coder.
  • the invention proposes a device for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with an encoder with limitation of spectral band called core coder and in which the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that it comprises means for coding at least part of the spectrum coded with the core coder with the extension coder.
  • the cut-off frequency of the core encoder can be adapted to the operating conditions of the core encoder. More particularly; the coded digital signal is transferred over a network and the or each determined frequency is transferred with the coded digital signal.
  • the decoder can process this information quickly by reading it in the coded digital signal.
  • the core coder is a hierarchical coder and for each coding layer, at least one cutoff frequency of each coding layer is determined.
  • the cut-off frequency of the core coder can be adapted to the operating conditions of the core coder. More precisely, from each coding layer of the coded digital signal is transferred over a network and the or each frequency determined for the layer is transferred with said layer.
  • the decoder has all of the information quickly. No particular processing of the decoded signal is then necessary. More precisely, the part of the spectrum coded with the core coder and the extension coder is determined.
  • the part of the audio signal coded by the two coders can change over time and take account, for example, of network conditions.
  • the part of the frequency spectrum of the audio signal coded with the core encoder is the lower part of the frequency spectrum of the audio signal.
  • the invention also relates to a method of spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension decoder, characterized in that the method comprises:
  • the invention provides a device for spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension encoder, characterized in that the device comprises:
  • the decoded signal will be of better quality, no spectral component of the signal is missing, the frequency spectrum decoded with the extension encoder being modified in accordance with the cut-off frequency of the signal decoded by the core encoder.
  • the part of the frequency spectrum of the audio signal decoded with a core decoder is the low part of the frequency spectrum of the audio signal.
  • the information representative of at least one cutoff frequency of the signal decoded by the core decoder is obtained by carrying out an estimation of the high cutoff frequency of the signal decoded by the core decoder.
  • the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
  • the information representative of at least one cut-off frequency of the signal decoded by the core decoder is obtained from information included in the data stream comprising the coded digital signal.
  • the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
  • the decoder can adapt the processing to each coding layer, the decoder has this information at each layer and can thus modify the frequency spectrum decoded with the extension decoder as a function of this information.
  • the invention proposes a data signal representative of an encoded audio signal, in which a part of the frequency spectrum of the audio signal is encoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the spectrum frequency of the audio signal is encoded with an extension encoder, characterized in that the signal comprises part of the spectrum encoded with the core encoder and with the extension encoder.
  • the signal also includes information representative of at least one cut-off frequency of the core encoder or of the extension encoder.
  • the invention also relates to the computer program stored on an information medium, said program comprising instructions making it possible to implement the processing method described above, when it is loaded and executed by a computer system.
  • Figs. la to ld represent the different frequency spectra of an audio signal coded with a core coder and an extension coder
  • Figs. the to lg represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder
  • Figs. 2a to 2e represent the different frequency spectra of an audio signal coded with a hierarchical core coder and an extension coder
  • Figs. la to ld represent the different frequency spectra of an audio signal coded with a core coder and an extension coder
  • Figs. the to lg represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder
  • Figs. 2a to 2e represent the different frequency spectra of an audio signal coded with a hierarchical core coder and an extension coder
  • 2f to 2i represent the different frequency spectra of an audio signal transmitted over a network and decoded with a hierarchical core decoder and an extension decoder;
  • Figs. 3a to 3c represent the different frequency spectra of an audio signal coded with a core coder and an extension coder according to the invention;
  • Figs. 3d to 3f represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder according to the invention;
  • Fig. 4a represents a block diagram describing the coding device according to the invention
  • Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder
  • - Fig. 5 represents a block diagram describing the decoding device according to the invention
  • Fig. 6 shows according to the invention, the algorithm performed at the level of the coder
  • Fig. 7 shows according to the invention, the algorithm performed at the decoder.
  • Fig. 1a represents a frequency spectrum of an audio signal to be coded.
  • the low frequencies of the spectrum (FIG. 1b) are coded by a core coder, while the high frequencies are coded by a d coder. 'extension. This part of the high frequencies is represented in FIG. the.
  • Fig. the represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and certain data 10 have been lost.
  • This type of loss is particularly troublesome for the information coded by the core coder.
  • the absence of the data 10 constitutes a hole in the spectrum of the decoded frequencies and this hole creates significant noise disturbances such as hissing at the restitution of the sound signal.
  • the information encoded by the extension encoder is much more limited in number.
  • the frequency spectrum of an audio signal transmitted over a network and decoded with an extension decoder is considered to be correct. This is shown in Fig. If.
  • the reconstruction of the audio signal respectively by the core decoder and the extension decoder shows in FIG. lg a frequency spectrum comprising frequency components 10 which have disappeared. These disappeared frequency components 10 significantly tarnish the quality of reproduction of the audio signal.
  • Fig. 2a represents the frequency spectrum of the total audio signal to be coded by a hierarchical core coder and an extension coder.
  • a hierarchical core encoder will successively encode different sub-portions of the frequency spectrum of the audio signal to be encoded.
  • a first part of the spectrum for example the part containing the lowest frequency components, such as the spectrum shown in FIG. 2b, will be coded.
  • the first layer This is called the first layer.
  • Another part containing additional frequency components will be coded. It is the second layer, it is represented in FIG. 2c.
  • the information representative of the lowest frequencies is generally transmitted in the first layers.
  • the other layers are, for example, then transmitted in an order depending on the frequencies of the spectrum they represent.
  • some of the layers among the transmitted layers have a higher priority than others.
  • the layers comprising the lowest frequencies are regarded as priority
  • the layers comprising the highest frequencies are regarded as least priority.
  • the layers comprising the lowest frequencies are associated with high-performance error correcting codes, ensuring good decoding, therefore no transmission losses.
  • Fig. 2d represents the part of the spectrum allocated to the band extension coder, it is identical to that described in FIG. the.
  • FIG. 2e The cumulation of the three spectra of Figs. 2b, 2c and 2d then gives a total spectrum shown in FIG. 2e which is identical if not similar to the spectrum of FIG. 2a.
  • Figs. 2f and 2g represent the frequency spectra of an audio signal decoded with a hierarchical core decoder comprising two layers of hierarchy, the coded audio signal having been transmitted over a network and some of whose layers have been lost. During the transmission of the first layer, the spectrum equivalent to this layer was not marred by transmission errors, as shown in FIG. 2 F.
  • the spectrum equivalent to this layer comprises frequency components, 25 in FIG. 2g, absent.
  • the part of the spectrum allocated to the band extension coder is identical to that described in FIG. the. It is shown in Fig 2h.
  • the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 2i a frequency spectrum comprising frequency components 25 having disappeared.
  • Fig. 3a represents the frequency spectrum of the total audio signal to be coded by a core coder and an extension coder according to the invention.
  • the core encoder codes the low frequency components of the frequency spectrum of the audio signal, this is shown in FIG. 3b.
  • the extension decoder encodes not only the high frequency components of the frequency spectrum of the audio signal to be coded but also a part of the low frequency components which the core coder codes . These components are shown in Fig. 3c.
  • Fig. 3d represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and of which certain layers 31 have been lost.
  • An estimation of the bandwidth of the audio signal decoded by the core decoder is carried out, if it is different from that expected, the core decoder informs the decoder of extension of the missing bandwidth.
  • the extension decoder adapts the decoding so that the decoding also applies to the missing bandwidth.
  • the frequency spectrum equivalent to the coded information received by the extension decoder is shown. This spectrum is composed of the components 32, 33 and 34. If no transmission error linked to the variation in network bandwidth or transmission errors has occurred, the information corresponding to component 34 is sufficient for decoding.
  • the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 3f a frequency spectrum no longer comprising missing frequency components.
  • the decoded audio signal remains of quality.
  • Fig. 4a represents a block diagram describing the coding device according to the invention.
  • the coding device consists of an analog to digital converter 400 which converts the analog signal to be coded into a digital signal.
  • an analog to digital converter 400 which converts the analog signal to be coded into a digital signal.
  • the analog to digital converter is not necessary.
  • the digital signal is delivered to the core encoder which encodes this signal.
  • the core encoder is for example a bit rate reduction encoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type encoder, a hierarchical encoder, or even a parametric MPEG4 encoder.
  • the output of the core encoder represents the signal data covering the frequency spectrum such as that shown in FIG. 3b.
  • the band extension encoder is for example an HFR (High Frequency) type encoder
  • the output of the band extension encoder represents the data of the signal envelope covering the frequency spectrum such as that shown in FIG. 3c.
  • a cutoff frequency adjustment module 402 is connected to the band extension coder 403 and to the core coder 401.
  • This module 402 defines the frequency spectrum that the extension coder takes into account for coding. This module 402 determines this spectrum as a function of the high cut-off frequency of the core encoder 401, and of a variable frequency band which allows the decoder according to the invention to be able to compensate for possible transmission losses.
  • variable frequency band is adjusted so as to guarantee the good signal redialing for layers without a robust error correction code.
  • the frequency spectrum of the core encoder 401 can be adjusted from the frequency spectrum of the extension encoder 403.
  • the module 402 defines the frequency spectrum as the core encoder
  • the coding device also comprises a multiplexer 404 which multiplexes the audio signals coded by the core coder 401 and by the extension coder 403.
  • the module 402 transfers to the multiplexer 404 the information representative of the passband of the core encoder 401 or its cut-off frequencies, or even of the low cut-off frequency of the extension encoder 403 so that these these are included in the transmitted data.
  • the inclusion is carried out in the case of a hierarchical coder for each coding layer.
  • Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder.
  • This hierarchical encoder can replace the encoder 401 previously described with reference to FIG. 4a.
  • a hierarchical core encoder usually subdivides the frequency spectrum to be encoded into different layers.
  • a layer represents a frequency band of the spectrum to be coded. The number of layers is variable and allows progressive transmission of the coded signal.
  • the coder is made up of a first coder 410 which codes the lowest part of the frequency spectrum of the original signal.
  • the coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
  • module 402 transfers to the multiplexer 404 the information representative of the bandwidth of the core encoder 410 so that it is included in the data stream associated with this layer.
  • the coded information is also transferred to a decoder 411. This decoder decodes this information to then transmit it to a subtraction circuit 413 which will subtract from the original signal the decoded signal.
  • the original signal was previously delayed by a delay equal to the coding time of the encoder 410 and to the decoding time of the decoder 411.
  • the signal obtained at the output of the subtractor circuit is then the original signal in which the previously coded low frequency components have been removed to the nearest coding residue.
  • This signal is again encoded by an encoder 415 which can be of the same type as the encoder 410.
  • the frequency components of the signal are encoded greater than those encoded by the encoder 410.
  • the coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
  • the module 402 transfers to the multiplexer 404 the information representative of the passband of the core coder 415 so that it is included in the data stream associated with this layer. It can also transfer the total number of coding layers, the high or low cut-off frequency of the 415 core encoder.
  • each encoder can be variable.
  • the invention is applicable for audio signals of monophonic, stereophonic or multichannel type.
  • the bandwidth information transmitted by the encoder can be transmitted in a conjugate manner or in a preferential mode, the bandwidth of each of the channels can be deduced from the other channels by differential coding.
  • Fig. 5 shows a block diagram describing the decoding device according to the invention.
  • the decoding device consists of a demultiplexer 510 which separates the signals received via the network 405 into data intended for the core decoder 511 and in data intended for the extension decoder 512. It also extracts received signals, the information representative of the bandwidth of the core coder 401 of the coding device, of the coders 410 and 415 if the signal has been coded with a hierarchical coder, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the fields transmitted.
  • the core decoder 511 decodes the data to provide a decoded signal such as the signal shown in FIG. 3d.
  • the core decoder 511 is for example a decoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type decoder, a hierarchical decoder, or even a parametric MPEG4 decoder.
  • the core decoder 511 comprises a module 511b for obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by it.
  • the module 511b achieves this for example by carrying out a time-frequency transformation on the decoded signal and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model.
  • the decoder 511 more precisely its module 511b then transfers information representative of the cut-off frequency or of the bandwidth to the extension decoder 512.
  • the extension decoder 512 selects, from the representative information transmitted by the decoder 511, from the coded data which it has received from the multiplexer 510, the data corresponding to a representation of the spectral envelope greater than the determined frequency by the encoder 511. In this way, the losses linked to the transmission of the coded signal are compensated.
  • the core decoder 511 more precisely the module 511b for obtaining information representative of at least one cutoff frequency obtains from the demultiplexer 510, according to a second embodiment, the information representative of the passband of the core encoder 401 or of the coders 410 and 415 of the coding device, or even the number of layers of the coded signal, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the transmitted data.
  • the module 511b checks, if it is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth of one or more lost layers to the extension decoder 512.
  • the extension decoder 512 selects, from the representative information transmitted by the module 511b, from the coded data received from the multiplexer 510, the data corresponding to the signal envelope corresponding to a representation of the frequency spectral envelope higher than the lowest frequency corresponding to the lost frequency bands.
  • the extension decoder corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
  • the band extension decoder 512 is for example an HFR (High Frequency Regeneration) type decoder, for example an SBR (Spectral Band Replication) type decoder as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th AES convention by Mr. Martin Dietz. It should be noted that, as a variant, the extension decoder 512 decodes all of the information received. A selection from the decoded data is made so as to keep only those corresponding to a representation of the spectral envelope greater than the frequency determined by the coder 511.
  • HFR High Frequency Regeneration
  • SBR Spectral Band Replication
  • the envelope decoded by the extension decoder 512 or selected is transferred to a gain control module 515.
  • the signal decoded by the core decoder 511 is sent to a transposition module 513 which generates a signal in the high frequencies of the spectrum from the decoded low frequency signal.
  • This signal is introduced into the gain control module 515 in order to allow the adjustment of the high frequency signal envelope.
  • the adjusted envelope signal is then added to the signal decoded by the core decoder 511 with an adder 516.
  • the adder 516 can in a preferred mode favor certain frequency components by multiplying for example certain components by coefficients. It should be noted that the signal decoded by the core decoder 511 was previously delayed by a delay equal to the difference in processing time between the added signals. This delay is effected by the delay circuit 514.
  • the frequency spectrum of the signal obtained is thus similar to that of FIG. 3f.
  • the summation signal can then be converted into analog form using a digital to analog converter 517.
  • Fig. 6 shows the algorithm performed according to the invention at the level of the coder.
  • the invention as described with reference to Figs. above is also achievable in software form in which a processor executes the executable code associated with steps E1 to E7 of the algorithm of FIG. 6.
  • the processor When the coding device is switched on, and more particularly when a computer is used as a coding device, the processor reads from the computer's read-only memory or from a storage medium. information such as a CD-ROM compact disc, the program instructions corresponding to steps E1 to E7 of FIG. 6 and loads them into RAM memory to execute them.
  • step E1 on receiving audio data to be coded, the processor determines the bandwidth of the core coder or at least one cutoff frequency.
  • the bandwidth of the core encoder may or may not be variable over time depending for example on the load of the core encoder.
  • the processor codes the data according to a so-called core coding algorithm conforming to one of the MPEG1, MPEG2 or MPEG4-GA standards, or of CELP type, of hierarchical type, or even of parametric MPEG4 type.
  • Step E2 consists in checking whether, and in the case of a hierarchical coding, all the layers have been coded or not. If not, and if the core coding is a hierarchical coding, the processor repeats step E1 for each layer of the coded audio signal.
  • step E3 the processor determines a frequency margin.
  • This margin can be predetermined and stored in a register or be in the form of a variable. This variable depends for example on the type of error correction that will be applied to the coded data during their transmission over the network.
  • step E4 the processor determines in step E4, from the margin and the high cutoff frequency of the core encoder, the low cutoff frequency of the extension encoder.
  • the processor transfers this information to the extension coding subroutine in step E5.
  • the processor stores this information.
  • the processor in step E7, performs extension coding by encoding the data whose spectrum is greater than the information transferred in step E5.
  • the band extension coding is for example an HFR (High Frequency Regeneration) type coding, for example SBR (Spectral Band Replication) as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th convention. AES by Mr Martin Dietz.
  • step E7 which consists in multiplexing the audio signals coded in step E1 and the audio signals coded in step E7 to form a stream of coded data transmitted over a network.
  • the processor inserts into the stream of coded and transmitted data, the information stored in step E6 or inserts one or more of the following information: bandwidth of the core encoder, bandwidth of the encoder extension, low and high frequency of each coding layer, number of coding layers if a hierarchical coder is used.
  • the insertion is carried out in the case of a hierarchical coder for each coding layer.
  • step E1 awaiting new audio data to be coded.
  • Fig. 7 shows the algorithm performed according to the invention at the level of the decoder.
  • the invention as described with reference to Figs. above is also achievable in software form in which a processor executes the code associated with steps El 0 to El 5 of the algorithm of FIG. 7.
  • the processor When the receiving device is switched on, and more particularly when a computer is used as a receiving device, the processor reads from the computer's read-only memory or from an information medium. such as a compact disc CD-ROM, the program instructions corresponding to the steps
  • the processor on receiving audio data to be decoded, separates the signals received via the network 405 into data intended for the core decoder and data intended for the extension decoder. It also extracts from the signals received, the information representative of the bandwidth or of at least one cutoff frequency of the core coder having coded the audio signal, or of coders having coded the audio signal if the signal has been coded with an coder hierarchical, or even the low cut-off frequency of the extension coder that coded the audio signal if these have been included in the transmitted data.
  • step El i the processor then proceeds to decode this data.
  • the processor proceeds to the decoding of the data according to a decoding algorithm called core decoding algorithm such as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or of CELP type, a hierarchical decoding, or even a decoding of parametric MPEG4 type .
  • core decoding algorithm such as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or of CELP type, a hierarchical decoding, or even a decoding of parametric MPEG4 type .
  • step E12 is a step of obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by him. This is achieved for example by carrying out a time-frequency transformation on the signal decoded in step El i and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model.
  • the processor obtains the information extracted in step E1 and checks, in the case where this is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth one or more layers lost to the extension decoder.
  • step El 3 consists in adapting the low cut-off frequency of the extension decoder so that it compensates for the losses due to the network.
  • the adaptation is carried out on the basis of the information representative of the cut-off frequency or of the bandwidth obtained in step E12 or if the decoding of step El i is a hierarchical decoding of the information representative of the band frequency or cutoff frequency of one or more lost layers.
  • step El 4 decodes, according to a so-called extension decoding algorithm, the data corresponding to the frequencies above this low cut-off frequency previously determined.
  • the processor selects, from the adapted frequency, from the data separated in step E1 and intended for extension decoding, the data corresponding to the signal envelope corresponding to a representation of the spectral envelope of the frequencies greater than the lowest frequency corresponding to the lost frequency bands.
  • the extension decoding corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
  • Extension decoding is a band extension decoding algorithm, for example HFR (High Frequency Regeneration) type decoding, for example SBR (Spectral Band Replication) type decoding as described in the document.
  • HFR High Frequency Regeneration
  • SBR Spectrum Band Replication
  • step El 5 the data decoded by the core decoder and the extension decoder are added to form the audio signal decoded in step El 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

The method involves coding a part of a frequency spectrum of an audio signal with a core coder. A complementary part of the frequency spectrum of the audio signal is coded with an extension coder. A part of the spectrum coded with the core encoder is also encoded with the extension encoder. A cut-off frequency of the core coder is determined and is transferred with a coded digital signal on a network. Independent claims are also included for the following: (a) a method of spectral reconstruction of a coded audio signal (b) a device for coding an audio signal (c) a device for spectral reconstruction of a coded audio signal (d) a data signal representing a coded audio signal (e) a computer program stored on a computer medium comprising instruction enabling to implement coding method (f) a computer program stored on a computer medium comprising instruction enabling to implement a spectral reconstruction method.

Description

Procédé et dispositif de reconstruction spectrale d'un signal audio Method and device for spectral reconstruction of an audio signal
La présente invention concerne un procédé et un dispositif de codage et de décodage d'un signal audio employant des techniques de reconstruction de spectre.The present invention relates to a method and a device for coding and decoding an audio signal using spectrum reconstruction techniques.
Plus particulièrement, l'invention se situe dans l'amélioration du décodage d'un signal audio codé par un codeur à limitation de bande spectrale, dit codeur cœur. Dans l'état de la technique de la transmission de signaux audio, il est bien connu de procéder, avant la transmission, à une opération de codage d'un signal original. Le signal reçu subit quant à lui une opération inverse de décodage. Ce codage peut être un codage à réduction de débit. Des codeurs à réduction de débit connus sont par exemple les codeurs de type par transformée tels que les codeurs MPEG1, MPEG2 ou MPEG4-GA, les codeurs de type CELP et même des codeurs de type paramétrique, comme un codeur de type MPEG4 paramétrique.More particularly, the invention lies in improving the decoding of an audio signal coded by an encoder with spectral band limitation, called the core coder. In the state of the art of transmitting audio signals, it is well known to carry out, before transmission, an operation of coding an original signal. The received signal undergoes a reverse decoding operation. This coding can be a bit rate reduction coding. Known rate reduction coders are, for example, transform type coders such as MPEG1, MPEG2 or MPEG4-GA coders, CELP type coders and even parametric type coders, such as a parametric MPEG4 type coder.
En codage audio à réduction de débit, le signal audio doit souvent subir une limitation de bande passante lorsque le débit binaire devient faible. Cette limitation de bande passante est nécessaire pour éviter l'introduction de bruit de quantification audible dans le signal codé. Il est alors souhaitable de compléter dans la mesure du possible le contenu spectral complet du signal original. In bit rate audio coding, the audio signal often has to undergo bandwidth limitation when the bit rate becomes low. This bandwidth limitation is necessary to avoid the introduction of audible quantization noise into the coded signal. It is therefore desirable to complete as far as possible the full spectral content of the original signal.
L'élargissement de bande est connu de l'état de la technique, comme par exemple, la méthode d'élargissement spectral connue sous le nom de méthode HFR (High-Frequency Régénération). Le signal basse fréquence décodé, à bande limitée, est soumis à un dispositif non linéaire pour obtenir un signal enrichi en harmoniques. Ce signal, après blanchiment et mise en forme fondée sur une information décrivant l'enveloppe spectrale du signal pleine bande avant codage, permet la génération d'un signal haute fréquence correspondant au contenu haute fréquence du signal avant codage.Bandwidth is known from the state of the art, such as, for example, the spectral widening method known as the HFR (High-Frequency Regeneration) method. The decoded low-frequency, band-limited signal is subjected to a non-linear device to obtain a signal enriched in harmonics. This signal, after bleaching and shaping based on information describing the spectral envelope of the full band signal before coding, allows the generation of a high frequency signal corresponding to the high frequency content of the signal before coding.
Sont aussi connus les systèmes de codage audio numérique qui utilisent des techniques de reconstruction de spectre hautes fréquences au niveau du codeur ainsi qu'au niveau du décodeur.Also known are digital audio coding systems which use high frequency spectrum reconstruction techniques at the coder as well as at the decoder level.
Ces systèmes effectuent une adaptation dans le temps de la fréquence de coupure entre la bande de fréquence basse codée par un codeur, dit codeur cœur, et la bande de fréquence haute codée par un système HFR, dit codeur d'extension de bande.These systems carry out an adaptation over time of the cutoff frequency between the low frequency band coded by an encoder, called the core coder, and the high frequency band coded by an HFR system, called the band extension coder.
Dans ce cas, le codeur cœur et le codeur d'extension de bande se répartissent la bande passante en fonction de la fréquence de coupure adaptée.In this case, the core encoder and the band extension encoder distribute the bandwidth according to the suitable cut-off frequency.
Ce type de système est particulièrement intéressant pour le codage des signaux audio. Certains réseaux de communication tels que le réseau Internet, les réseaux de communication sans fils et autres ne garantissent pas un parfait acheminement des données entre l'émetteur et le destinataire. Certaines données peuvent ainsi ne jamais arriver au destinataire ou arriver trop tard à celui-ci. En arrivant trop tard, le destinataire les considère comme perdues. Dans ces réseaux, la bande passante disponible pour acheminer les données varie aussi en permanence et de façon importante.This type of system is particularly interesting for coding audio signals. Certain communication networks such as the Internet, wireless communication networks and the like do not guarantee perfect routing of data between the sender and the recipient. Certain data may thus never arrive at the recipient or arrive too late. By arriving too late, the recipient considers them lost. In these networks, the bandwidth available to route data also varies continuously and significantly.
Dans d'autres réseaux, tels que les réseaux hertziens, certaines des données parmi les données transmises ont un caractère plus prioritaire que d'autres. A celles-ci sont associés des codes correcteurs d'erreurs performants, assurant un bon décodage, donc pas de pertes de transmission. D'autres par contre, sont moins importantes et des codes correcteurs d'erreurs moins performants, voire pas, leur sont associés. Ces dernières sont soumises aux aléas du réseau et le décodage risque de ne pas être réalisable.In other networks, such as wireless networks, some of the data among the transmitted data has a higher priority than others. To these are associated high-performance error correcting codes, ensuring good decoding, therefore no transmission losses. Others, on the other hand, are less important and error correction codes that are less efficient or not, are associated with them. These are subject to the vagaries of the network and decoding may not be possible.
Dans certains systèmes de codage tels que ceux utilisés dans la norme MPEG4, il se peut, suite à des erreurs de transmission, que l'on ne puisse plus décoder le signal d'une certaine bande de fréquence du spectre du signal codé, ces composantes fréquentielles sont alors perdues.In certain coding systems such as those used in the MPEG4 standard, it is possible, as a result of transmission errors, that it is no longer possible to decode the signal of a certain frequency band of the spectrum of the coded signal, these components frequencies are then lost.
Ainsi, même si le codage du signal audio a été effectué de la meilleure façon, le décodage de signaux transmis sur de tels réseaux comporte un certain nombre de défauts liés à ces réseaux.Thus, even if the coding of the audio signal has been carried out in the best way, the decoding of signals transmitted over such networks has a certain number of faults linked to these networks.
L'invention tente de résoudre les inconvénients de l'art antérieur en proposant un procédé de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'au moins une partie du spectre codé avec le codeur cœur est aussi codée avec le codeur d'extension.The invention attempts to solve the drawbacks of the prior art by proposing a method for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with a spectral band limiting coder known as the core coder and wherein the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that at least part of the spectrum coded with the core coder is also coded with the extension coder.
Ainsi, au moins une partie du signal audio est codée par les deux codeurs, ce qui garantit une bonne réception du signal, même si celui-ci transite à travers un réseau dans lequel certaines données peuvent être perdues ou peuvent être erronées. Corrélativement, l'invention propose un dispositif de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'il comporte des moyens pour coder au moins une partie du spectre codée avec le codeur cœur avec le codeur d'extension.Thus, at least part of the audio signal is coded by the two coders, which guarantees good reception of the signal, even if it passes through a network in which certain data may be lost or may be erroneous. Correlatively, the invention proposes a device for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with an encoder with limitation of spectral band called core coder and in which the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that it comprises means for coding at least part of the spectrum coded with the core coder with the extension coder.
Plus précisément, une détermination d'au moins une fréquence de coupure du codeur cœur est effectuée.More specifically, a determination of at least one cutoff frequency of the core encoder is carried out.
Ainsi, la fréquence de coupure du codeur cœur peut être adaptée aux conditions de fonctionnement du codeur cœur. Plus particulièrement;, le signal numérique codé est transféré sur un réseau et la ou chaque fréquence déterminée est transférée avec le signal numérique codé.Thus, the cut-off frequency of the core encoder can be adapted to the operating conditions of the core encoder. More particularly; the coded digital signal is transferred over a network and the or each determined frequency is transferred with the coded digital signal.
Ainsi, le décodeur peut traiter cette information rapidement en la lisant dans le signal numérique codé. Plus particulièrement, le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.Thus, the decoder can process this information quickly by reading it in the coded digital signal. More particularly, the core coder is a hierarchical coder and for each coding layer, at least one cutoff frequency of each coding layer is determined.
Ainsi, pour chaque couche de codage du codeur cœur, la fréquence de coupure du codeur cœur peut être adaptée aux conditions de fonctionnement du codeur cœur. Plus précisément, de chaque couche de codage du signal numérique codé est transférée sur un réseau et la ou chaque fréquence déterminée pour la couche est transférée avec ladite couche.Thus, for each coding layer of the core coder, the cut-off frequency of the core coder can be adapted to the operating conditions of the core coder. More precisely, from each coding layer of the coded digital signal is transferred over a network and the or each frequency determined for the layer is transferred with said layer.
Ainsi, le décodeur dispose de la totalité des informations de façon rapide. Aucun traitement particulier du signal décodé n'est alors nécessaire. Plus précisément, on détermine la partie du spectre codée avec le codeur cœur et le codeur d'extension.Thus, the decoder has all of the information quickly. No particular processing of the decoded signal is then necessary. More precisely, the part of the spectrum coded with the core coder and the extension coder is determined.
Ainsi, la partie du signal audio codée par les deux codeurs peut évoluer dans le temps et tenir par exemple compte des conditions du réseau.Thus, the part of the audio signal coded by the two coders can change over time and take account, for example, of network conditions.
Plus précisément, la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio.More precisely, the part of the frequency spectrum of the audio signal coded with the core encoder is the lower part of the frequency spectrum of the audio signal.
L'invention concerne aussi un procédé de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signai audio est décodée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un décodeur d'extension, caractérisé en ce que le procédé comporte :The invention also relates to a method of spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension decoder, characterized in that the method comprises:
- une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,a step of obtaining information representative of at least one cut-off frequency of the signal decoded by the core decoder,
- une étape de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues. Corrélativement, l'invention propose un dispositif de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un codeur d'extension, caractérisé en ce que le dispositif comporte :a step of selecting, from the data to be decoded or decoded with the extension decoder, data relevant for decoding as a function of the information obtained. Correlatively, the invention provides a device for spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension encoder, characterized in that the device comprises:
- des moyens d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,means for obtaining information representative of at least one cut-off frequency of the signal decoded by the core decoder,
- des moyens de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.means for selecting, from the data to be decoded or decoded with the extension decoder, data relevant for decoding as a function of the information obtained.
Ainsi, le signal décodé va être de meilleure qualité, aucune composante spectrale du signal ne manque, le spectre en fréquence décodé avec le codeur d'extension étant modifié conformément à la fréquence de coupure du signal décodé par le codeur cœur.Thus, the decoded signal will be of better quality, no spectral component of the signal is missing, the frequency spectrum decoded with the extension encoder being modified in accordance with the cut-off frequency of the signal decoded by the core encoder.
Plus particulièrement, la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.More particularly, the part of the frequency spectrum of the audio signal decoded with a core decoder is the low part of the frequency spectrum of the audio signal.
Avantageusement, les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation de la fréquence de coupure haute du signal décodé par le décodeur cœur.Advantageously, the information representative of at least one cutoff frequency of the signal decoded by the core decoder is obtained by carrying out an estimation of the high cutoff frequency of the signal decoded by the core decoder.
Ainsi, il n'est pas nécessaire d'inclure d'informations supplémentaires dans le signal codé et transmis, moins d'informations transitent sur le réseau.Thus, it is not necessary to include additional information in the coded and transmitted signal, less information passes through the network.
Plus particulièrement, le décodeur cœur est un décodeur hiérarchique et on obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé.More particularly, the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
Avantageusement, les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.Advantageously, the information representative of at least one cut-off frequency of the signal decoded by the core decoder is obtained from information included in the data stream comprising the coded digital signal.
Ainsi, la rapidité de traitement au niveau du décodeur est augmentée, tout en simplifiant celui-ci. Plus particulièrement, le décodeur cœur est un décodeur hiérarchique et on obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé.Thus, the processing speed at the level of the decoder is increased, while simplifying the latter. More particularly, the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
Ainsi, le décodeur peut adapter le traitement à chaque couche de codage, le décodeur dispose de cette information à chaque couche et peut ainsi modifier le spectre en fréquence décodé avec le décodeur d'extension en fonction de ces informations.Thus, the decoder can adapt the processing to each coding layer, the decoder has this information at each layer and can thus modify the frequency spectrum decoded with the extension decoder as a function of this information.
Corrélativement, l'invention propose un signal de données représentatives d'un signal audio codé, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce que le signal comporte une partie du spectre codée avec le codeur cœur et avec le codeur d'extension.Correlatively, the invention proposes a data signal representative of an encoded audio signal, in which a part of the frequency spectrum of the audio signal is encoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the spectrum frequency of the audio signal is encoded with an extension encoder, characterized in that the signal comprises part of the spectrum encoded with the core encoder and with the extension encoder.
Avantageusement, le signal comporte en outre une information représentative d'au moins une fréquence de coupure du codeur cœur ou du codeur d'extension.Advantageously, the signal also includes information representative of at least one cut-off frequency of the core encoder or of the extension encoder.
L'invention concerne aussi le programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en œuvre le procédé de traitement précédemment décrit, lorsqu'il est chargé et exécuté par un système informatique.The invention also relates to the computer program stored on an information medium, said program comprising instructions making it possible to implement the processing method described above, when it is loaded and executed by a computer system.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels: - les Figs. la à ld représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur et un codeur d'extension ; les Figs. le à lg représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur et un décodeur d'extension ; les Figs. 2a à 2e représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur hiérarchique et un codeur d'extension ; les Figs. 2f à 2i représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur hiérarchique et un décodeur d'extension ; les Figs. 3a à 3c représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur et un codeur d'extension selon l'invention; les Figs. 3d à 3f représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur et un décodeur d'extension selon l'invention;The characteristics of the invention mentioned above, as well as others, will appear more clearly on reading the following description of an exemplary embodiment, said description being made in relation to the accompanying drawings, among which: Figs. la to ld represent the different frequency spectra of an audio signal coded with a core coder and an extension coder; Figs. the to lg represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder; Figs. 2a to 2e represent the different frequency spectra of an audio signal coded with a hierarchical core coder and an extension coder; Figs. 2f to 2i represent the different frequency spectra of an audio signal transmitted over a network and decoded with a hierarchical core decoder and an extension decoder; Figs. 3a to 3c represent the different frequency spectra of an audio signal coded with a core coder and an extension coder according to the invention; Figs. 3d to 3f represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder according to the invention;
La Fig. 4a représente un schéma bloc décrivant le dispositif de codage selon l'invention ; la Fig. 4b représente un schéma bloc décrivant les principaux éléments d'un codeur hiérarchique cœur ; - La Fig. 5 représente un schéma bloc décrivant le dispositif de décodage selon l'invention,Fig. 4a represents a block diagram describing the coding device according to the invention; Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder; - Fig. 5 represents a block diagram describing the decoding device according to the invention,
La Fig. 6 représente selon l'invention, l'algorithme effectué au niveau du codeur ;Fig. 6 shows according to the invention, the algorithm performed at the level of the coder;
La Fig. 7 représente selon l'invention, l'algorithme effectué au niveau du décodeur.Fig. 7 shows according to the invention, the algorithm performed at the decoder.
La Fig. la représente un spectre en fréquence d'un signal audio devant être codé. Conformément aux codeurs utilisant des combinaisons de codeurs tels que l'association codeur cœur/codeur d'extension, les fréquences basses du spectre (Fig. lb), sont codées par un codeur cœur, tandis que les fréquences hautes sont codées par un codeur d'extension. Cette partie des fréquences hautes est représentée en Fig. le.Fig. 1a represents a frequency spectrum of an audio signal to be coded. In accordance with coders using combinations of coders such as the core coder / extension coder association, the low frequencies of the spectrum (FIG. 1b) are coded by a core coder, while the high frequencies are coded by a d coder. 'extension. This part of the high frequencies is represented in FIG. the.
Le cumul des fréquences hautes et basses donne alors un spectre total représenté en Fig. ld qui est identique sinon similaire au spectre de la Fig. la. Lorsqu'un tel signal audio codé est transmis sur un réseau, certaines domiées parmi l'ensemble des données transmises sont perdues.The cumulation of the high and low frequencies then gives a total spectrum represented in FIG. ld which is identical if not similar to the spectrum of FIG. the. When such an encoded audio signal is transmitted over a network, some of the dominated among all the transmitted data are lost.
Ce qui est par exemple le cas de certains systèmes de codage tels que ceux utilisés dans la norme MPEG4. Suite à des erreurs de transmission, il n'est plus possible de décoder le signal à partir d'une certaine fréquence du spectre du signal codé. Les informations représentatives des composantes du spectre en fréquence supérieur à cette fréquence sont alors considérées comme perdues.This is for example the case of certain coding systems such as those used in the MPEG4 standard. Due to transmission errors, it is no longer possible to decode the signal from a certain frequency on the spectrum of the coded signal. The information representative of the components of the frequency spectrum higher than this frequency are then considered as lost.
La Fig. le représente le spectre en fréquence d'un signal audio décodé avec un décodeur cœur, le signal audio codé ayant été transmis sur un réseau et certaines données 10 ont été perdues.Fig. the represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and certain data 10 have been lost.
Ce type de perte est particulièrement gênant pour les informations codées par le codeur cœur. L 'absence des données 10 constitue un trou dans le spectre des fréquences décodées et ce trou crée des nuisances sonores importantes telles que des sifflements à de la restitution du signal sonore. Les informations codées par le codeur d'extension sont beaucoup plus limitées quant à leur nombre.This type of loss is particularly troublesome for the information coded by the core coder. The absence of the data 10 constitutes a hole in the spectrum of the decoded frequencies and this hole creates significant noise disturbances such as hissing at the restitution of the sound signal. The information encoded by the extension encoder is much more limited in number.
Elles sont soit incluses avec les données codées par le codeur cœur, soit transmises de manière indépendante.They are either included with the data coded by the core coder, or transmitted independently.
Dans notre exemple, le spectre en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur d'extension est considéré comme correct. Ceci est représenté à la Fig. If.In our example, the frequency spectrum of an audio signal transmitted over a network and decoded with an extension decoder is considered to be correct. This is shown in Fig. If.
La reconstruction du signal audio respectivement par le décodeur cœur et le décodeur d'extension fait apparaître en Fig. lg un spectre en fréquence comportant des composantes fréquentielles 10 ayant disparues. Ces composantes fréquentielles disparues 10 entachent de façon importante la qualité de reproduction du signal audio.The reconstruction of the audio signal respectively by the core decoder and the extension decoder shows in FIG. lg a frequency spectrum comprising frequency components 10 which have disappeared. These disappeared frequency components 10 significantly tarnish the quality of reproduction of the audio signal.
La Fig. 2a représente le spectre en fréquence du signal audio total devant être codé par un codeur cœur hiérarchique et un codeur d'extension.Fig. 2a represents the frequency spectrum of the total audio signal to be coded by a hierarchical core coder and an extension coder.
Un codeur cœur hiérarchique va coder successivement différentes sous-parties du spectre en fréquence du signal audio à coder. Une première partie du spectre, par exemple la partie contenant les composantes fréquentielles les plus basses, telle que le spectre représenté en Fig. 2b, va être codée.A hierarchical core encoder will successively encode different sub-portions of the frequency spectrum of the audio signal to be encoded. A first part of the spectrum, for example the part containing the lowest frequency components, such as the spectrum shown in FIG. 2b, will be coded.
Celle-ci est appelée la première couche. Ensuite, une autre partie contenant des composantes fréquentielles additionnelles va être codée. C'est la seconde couche, elle est représentée à la Fig. 2c.This is called the first layer. Then, another part containing additional frequency components will be coded. It is the second layer, it is represented in FIG. 2c.
Ainsi, dans de tels systèmes de transmission de données audio, les informations représentatives des fréquences les plus basses sont généralement transmises dans les premières couches. Les autres couches sont, par exemple, transmises alors dans un ordre fonction des fréquences du spectre qu'elles représentent. Dans les réseaux de diffusion de données de type hertzien, certaines des couches parmi les couches transmises ont un caractère plus prioritaire que d'autres. En général, les couches comportant les fréquences les plus basses sont considérées comme prioritaires, les couches comportant les fréquences les plus hautes sont considérées comme les moins prioritaires. Aux couches comportant les fréquences les plus basses, sont associés des codes correcteurs d'erreurs performants, assurant un bon décodage, donc pas de pertes de transmission.Thus, in such audio data transmission systems, the information representative of the lowest frequencies is generally transmitted in the first layers. The other layers are, for example, then transmitted in an order depending on the frequencies of the spectrum they represent. In radio broadcast data networks, some of the layers among the transmitted layers have a higher priority than others. In general, the layers comprising the lowest frequencies are regarded as priority, the layers comprising the highest frequencies are regarded as least priority. The layers comprising the lowest frequencies are associated with high-performance error correcting codes, ensuring good decoding, therefore no transmission losses.
Des codes correcteurs d'erreurs moins performants sont associés aux couches comportant les fréquences les plus hautes. Ces dernières sont soumises aux aléas du réseau et le décodage risque de ne pas être réalisable.Less efficient error correcting codes are associated with the layers having the highest frequencies. These are subject to the vagaries of the network and decoding may not be possible.
La Fig. 2d représente la partie du spectre allouée au codeur d'extension de bande, elle est identique à celle décrite en Fig. le.Fig. 2d represents the part of the spectrum allocated to the band extension coder, it is identical to that described in FIG. the.
Le cumul des trois spectres des Figs. 2b, 2c et 2d donne alors un spectre total représenté en Fig. 2e qui est identique sinon similaire au spectre de la Fig. 2a. Les Figs. 2f et 2g représentent les spectres en fréquence d'un signal audio décodé avec un décodeur cœur hiérarchique comportant deux couches de hiérarchie, le signal audio codé ayant été transmis sur un réseau et dont certaines couches ont été perdues. Lors de la transmission de la première couche, le spectre équivalent à cette couche n'a pas été entaché d'erreurs de transmission, comme cela est représenté à la Fig. 2f.The cumulation of the three spectra of Figs. 2b, 2c and 2d then gives a total spectrum shown in FIG. 2e which is identical if not similar to the spectrum of FIG. 2a. Figs. 2f and 2g represent the frequency spectra of an audio signal decoded with a hierarchical core decoder comprising two layers of hierarchy, the coded audio signal having been transmitted over a network and some of whose layers have been lost. During the transmission of the first layer, the spectrum equivalent to this layer was not marred by transmission errors, as shown in FIG. 2 F.
Des données ont été perdues lors de la transmission de la seconde couche, le spectre équivalent à cette couche comporte des composantes fréquentielles, 25 à la Fig. 2g, absentes.Data was lost during the transmission of the second layer, the spectrum equivalent to this layer comprises frequency components, 25 in FIG. 2g, absent.
La partie du spectre allouée au codeur d'extension de bande est identique à celle décrite en Fig. le. Elle est représentée à la Fig 2h.The part of the spectrum allocated to the band extension coder is identical to that described in FIG. the. It is shown in Fig 2h.
Ainsi, la reconstruction du signal audio respectivement par le décodeur hiérarchique cœur et le décodeur d'extension fait apparaître en Fig. 2i un spectre en fréquence comportant des composantes fréquentielles 25 ayant disparues.Thus, the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 2i a frequency spectrum comprising frequency components 25 having disappeared.
La Fig. 3a représente le spectre en fréquence du signal audio total devant être codé par un codeur cœur et un codeur d'extension selon l'invention.Fig. 3a represents the frequency spectrum of the total audio signal to be coded by a core coder and an extension coder according to the invention.
Le codeur cœur code les composantes basses fréquences du spectre en fréquence du signal audio, ceci est représenté à la Fig. 3b.The core encoder codes the low frequency components of the frequency spectrum of the audio signal, this is shown in FIG. 3b.
Contrairement à l'état de la technique, et selon l'invention, le décodeur d'extension code non seulement les composantes hautes fréquences du spectre en fréquence du signal audio à coder mais aussi une partie 30 des composantes basses fréquences que le codeur cœur code. Ces composantes sont représentées à la Fig. 3c. La Fig. 3d représente le spectre en fréquence d'un signal audio décodé avec un décodeur cœur, le signal audio codé ayant été transmis sur un réseau et dont certaines couches 31 ont été perdues.Contrary to the state of the art, and according to the invention, the extension decoder encodes not only the high frequency components of the frequency spectrum of the audio signal to be coded but also a part of the low frequency components which the core coder codes . These components are shown in Fig. 3c. Fig. 3d represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and of which certain layers 31 have been lost.
Une estimation de la bande passante du signal audio décodé par le décodeur cœur est effectuée, s'il celle-ci est différente de celle attendue, le décodeur cœur informe le décodeur d'extension de la bande passante manquante .An estimation of the bandwidth of the audio signal decoded by the core decoder is carried out, if it is different from that expected, the core decoder informs the decoder of extension of the missing bandwidth.
Le décodeur d'extension, avec cette information, adapte le décodage de manière à ce que le décodage s'applique aussi à la bande passante manquante.The extension decoder, with this information, adapts the decoding so that the decoding also applies to the missing bandwidth.
En Fig 3 e, est représenté le spectre en fréquence équivalent aux informations codées reçues par le décodeur d'extension. Ce spectre est composé des composantes 32, 33 et 34. Si aucune erreur de transmission liée à la variation de bande passante du réseau ou d'erreurs de transmission n'est arrivée, les informations correspondant à la composante 34 suffisent au décodage.In FIG. 3 e, the frequency spectrum equivalent to the coded information received by the extension decoder is shown. This spectrum is composed of the components 32, 33 and 34. If no transmission error linked to the variation in network bandwidth or transmission errors has occurred, the information corresponding to component 34 is sufficient for decoding.
Si la bande passante du réseau a varié ou des erreurs de transmission sont arrivées de façon telle que la composante 31 de la Fig. 3d est perdue, les informations correspondant aux composantes 33 et 34 sont nécessaires au décodage.If the network bandwidth has varied or transmission errors have occurred such that component 31 in FIG. 3d is lost, the information corresponding to components 33 and 34 are necessary for decoding.
Ainsi, la reconstruction du signal audio respectivement par le décodeur hiérarchique cœur et le décodeur d'extension fait apparaître en Fig. 3f un spectre en fréquence ne comportant plus de composantes fréquentielles manquantes. Ainsi, même lorsque le réseau comporte des variations importantes de bande passante, le signal audio décodé reste de qualité.Thus, the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 3f a frequency spectrum no longer comprising missing frequency components. Thus, even when the network has significant variations in bandwidth, the decoded audio signal remains of quality.
La Fig. 4a représente un schéma bloc décrivant le dispositif de codage selon l'invention.Fig. 4a represents a block diagram describing the coding device according to the invention.
Le dispositif de codage est constitué d'un convertisseur analogique numérique 400 qui convertit le signal analogique à coder en un signal numérique. Bien entendu, si les données sont déjà sous forme numérique, le convertisseur analogique numérique n'est pas nécessaire.The coding device consists of an analog to digital converter 400 which converts the analog signal to be coded into a digital signal. Of course, if the data is already in digital form, the analog to digital converter is not necessary.
Le signal numérique est délivré au codeur cœur qui encode ce signal. Le codeur cœur est par exemple un codeur à réduction de débit tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou un codeur de type CELP, un codeur hiérarchique, voire même un codeur MPEG4 paramétrique.The digital signal is delivered to the core encoder which encodes this signal. The core encoder is for example a bit rate reduction encoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type encoder, a hierarchical encoder, or even a parametric MPEG4 encoder.
La sortie du codeur cœur représente les données du signal couvrant le spectre en fréquence tel que celui représenté en Fig. 3b.The output of the core encoder represents the signal data covering the frequency spectrum such as that shown in FIG. 3b.
Ce même signal numérique est délivré au codeur d'extension de bande 403. Le codeur d'extension de bande est par exemple un codeur de type HFR (High FrequencyThis same digital signal is delivered to the band extension encoder 403. The band extension encoder is for example an HFR (High Frequency) type encoder
Régénération), par exemple SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à laRegeneration), for example SBR (Spectral Band Replication) as described in the document “Audio Engineering Society, convention paper 5553”, presented to the
112ieme convention AES par Mr Martin Dietz.112th AES convention by Mr Martin Dietz.
La sortie du codeur d'extension de bande représente les données de l'enveloppe du signal couvrant le spectre en fréquence tel que celui représenté en Fig. 3c. Un module d'ajustement de fréquence de coupure 402 est relié au codeur d'extension de bande 403 et au codeur cœur 401.The output of the band extension encoder represents the data of the signal envelope covering the frequency spectrum such as that shown in FIG. 3c. A cutoff frequency adjustment module 402 is connected to the band extension coder 403 and to the core coder 401.
Ce module 402 définit le spectre en fréquence que le codeur d'extension prend en compte pour le codage. Ce module 402 détermine ce spectre en fonction de la fréquence de coupure haute du codeur cœur 401, et d'une bande de fréquence variable qui permet au décodeur selon l'invention de pouvoir palier aux possibles pertes de transmission.This module 402 defines the frequency spectrum that the extension coder takes into account for coding. This module 402 determines this spectrum as a function of the high cut-off frequency of the core encoder 401, and of a variable frequency band which allows the decoder according to the invention to be able to compensate for possible transmission losses.
Par exemple, dans le cas de l'utilisation d'un codeur hiérarchique et d'une transmission avec des codes correcteurs d'erreurs dont la robustesse est variable selon les couches transmises, la bande de fréquence variable est ajustée de manière à garantir la bonne recomposition du signal pour les couches ne disposant pas d'un code correcteur d'erreurs robuste.For example, in the case of the use of a hierarchical encoder and of a transmission with error correcting codes whose robustness is variable according to the layers transmitted, the variable frequency band is adjusted so as to guarantee the good signal redialing for layers without a robust error correction code.
Il est à remarquer que dans une variante, le spectre en fréquence du codeur cœur 401 peut être ajusté à partir du spectre en fréquence du codeur d'extension 403. Dans ce cas, le module 402 définit le spectre en fréquence que le codeur cœurIt should be noted that in a variant, the frequency spectrum of the core encoder 401 can be adjusted from the frequency spectrum of the extension encoder 403. In this case, the module 402 defines the frequency spectrum as the core encoder
401 prend en compte pour le codage. Ce module 402 définit ce spectre en fonction de la fréquence de coupure basse du codeur d'extension 403 et d'une bande de fréquence variable qui permet au décodeur selon l'invention de pouvoir pallier aux possibles pertes de transmission. Le dispositif de codage comporte aussi un multiplexeur 404 qui multiplexe les signaux audio codés par le codeur cœur 401 et par le codeur d'extension 403.401 takes into account for coding. This module 402 defines this spectrum as a function of the low cut-off frequency of the extension encoder 403 and of a variable frequency band which allows the decoder according to the invention to be able to compensate for possible transmission losses. The coding device also comprises a multiplexer 404 which multiplexes the audio signals coded by the core coder 401 and by the extension coder 403.
Selon une variante de l'invention, le module 402 transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 401 ou ses fréquences de coupures, voire même de la fréquence de coupure basse du codeur d'extension 403 pour que celles-ci soient inclues dans les données transmises.According to a variant of the invention, the module 402 transfers to the multiplexer 404 the information representative of the passband of the core encoder 401 or its cut-off frequencies, or even of the low cut-off frequency of the extension encoder 403 so that these these are included in the transmitted data.
L'inclusion est effectuée dans le cas d'un codeur hiérarchique pour chaque couche de codage.The inclusion is carried out in the case of a hierarchical coder for each coding layer.
Les données multiplexées sont alors transférées à un module de transmission réseau qui, par exemple dans le cas d'une transmission hertzienne, applique des codes correcteurs d'erreurs aux données multiplexées et transmet celles-ci sur le réseau 405. La Fig. 4b représente un schéma bloc décrivant les principaux éléments d'un codeur hiérarchique cœur.The multiplexed data are then transferred to a network transmission module which, for example in the case of a radio transmission, applies error correcting codes to the multiplexed data and transmits these over the network 405. Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder.
Ce codeur hiérarchique peut remplacer le codeur 401 précédemment décrit en référence à la Fig. 4a. Un codeur hiérarchique cœur subdivise habituellement le spectre de fréquence à coder en différentes couches. Une couche représente une bande de fréquence du spectre à coder. Le nombre de couches est variable et permet une transmission progressive du signal codé.This hierarchical encoder can replace the encoder 401 previously described with reference to FIG. 4a. A hierarchical core encoder usually subdivides the frequency spectrum to be encoded into different layers. A layer represents a frequency band of the spectrum to be coded. The number of layers is variable and allows progressive transmission of the coded signal.
Dans un souci de simplicité, seulement deux couches sont représentées ici. Le codeur est constimé d'un premier codeur 410 qui code la partie la plus basse du spectre en fréquence du signal original.For simplicity, only two layers are shown here. The coder is made up of a first coder 410 which codes the lowest part of the frequency spectrum of the original signal.
Les informations codées sont transférées à un multiplexeur 416 qui transfère ces données au multiplexeur 404.The coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
Il est à remarquer que le module 402 précédemment décrit transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 410 pour que celles-ci soient inclues dans le flot de données associé à cette couche.It should be noted that the module 402 previously described transfers to the multiplexer 404 the information representative of the bandwidth of the core encoder 410 so that it is included in the data stream associated with this layer.
Ceci constitue alors la première couche du signal codé.This then constitutes the first layer of the coded signal.
Les informations codées sont aussi transférées à un décodeur 411. Ce décodeur décode ces informations pour ensuite les transmettre à un circuit de soustraction 413 qui va soustraire du signal original le signal décodé.The coded information is also transferred to a decoder 411. This decoder decodes this information to then transmit it to a subtraction circuit 413 which will subtract from the original signal the decoded signal.
Il est à remarquer que le signal original a été précédemment retardé d'un délai égal au temps de codage du codeur 410 et au temps de décodage du décodeur 411.It should be noted that the original signal was previously delayed by a delay equal to the coding time of the encoder 410 and to the decoding time of the decoder 411.
Le signal obtenu en sortie du circuit soustracteur est alors le signal original dans lequel les composantes basses fréquences précédemment codées ont été enlevées au résidu de codage près.The signal obtained at the output of the subtractor circuit is then the original signal in which the previously coded low frequency components have been removed to the nearest coding residue.
Ce signal est de nouveau codé par un codeur 415 pouvant être de même type que le codeur 410. Ici, sont codées les composantes fréquentielles du signal supérieures à celles codées par le codeur 410. Les informations codées sont transférées à un multiplexeur 416 qui transfère ces données au multiplexeur 404.This signal is again encoded by an encoder 415 which can be of the same type as the encoder 410. Here, the frequency components of the signal are encoded greater than those encoded by the encoder 410. The coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
Il est à remarquer que le module 402 précédemment décrit transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 415 pour que celles-ci soient incluses dans le flot de données associé à cette couche. Il peut aussi transférer le nombre total de couches de codage, la fréquence de coupure haute ou basse du codeur cœur 415.It should be noted that the module 402 previously described transfers to the multiplexer 404 the information representative of the passband of the core coder 415 so that it is included in the data stream associated with this layer. It can also transfer the total number of coding layers, the high or low cut-off frequency of the 415 core encoder.
Ceci constitue alors la seconde couche du signal codé.This then constitutes the second layer of the coded signal.
Il est à remarquer que si l'on désire augmenter le nombre de couches, les éléments 410, 411, 413 et 414 devront être dupliqués pour chaque couche supplémentaire.Note that if you want to increase the number of layers, elements 410, 411, 413 and 414 will have to be duplicated for each additional layer.
Il est aussi à remarquer que le spectre de fréquence traité par chaque codeur peut être variable.It should also be noted that the frequency spectrum processed by each encoder can be variable.
Il est à remarquer aussi que l'invention est applicable pour les signaux audio de type monophonique, stéréophonique ou multivoie.It should also be noted that the invention is applicable for audio signals of monophonic, stereophonic or multichannel type.
Dans le cas de signaux multivoie, les informations de bande passante transmises par le codeur peuvent être transmises de manière conjuguée ou dans un mode préférentiel, la bande passante de chacune des voies peut être déduite des autres voies par un codage différentiel. La Fig. 5 représente un schéma bloc décrivant le dispositif de décodage selon l'invention.In the case of multi-channel signals, the bandwidth information transmitted by the encoder can be transmitted in a conjugate manner or in a preferential mode, the bandwidth of each of the channels can be deduced from the other channels by differential coding. Fig. 5 shows a block diagram describing the decoding device according to the invention.
Le dispositif de décodage est constitué d'un démultiplexeur 510 qui sépare les signaux reçus par l'intermédiaire du réseau 405 en données destinées au décodeur cœur 511 et en données destinées au décodeur d'extension 512. Il extrait en outre des signaux reçus, les informations représentatives de la bande passante du codeur cœur 401 du dispositif de codage, des codeurs 410 et 415 si le signal a été codé avec un codeur hiérarchique, voire même de la fréquence de coupure basse du codeur d'extension 403 du dispositif de codage si celles-ci ont été incluses dans les dom ées transmises. Le décodeur cœur 511 décode les données pour fournir un signal décodé tel que le signal représenté à la Fig. 3d.The decoding device consists of a demultiplexer 510 which separates the signals received via the network 405 into data intended for the core decoder 511 and in data intended for the extension decoder 512. It also extracts received signals, the information representative of the bandwidth of the core coder 401 of the coding device, of the coders 410 and 415 if the signal has been coded with a hierarchical coder, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the fields transmitted. The core decoder 511 decodes the data to provide a decoded signal such as the signal shown in FIG. 3d.
Le décodeur cœur 511 est par exemple un décodeur tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou un décodeur de type CELP, un décodeur hiérarchique, voire même un décodeur MPEG4 paramétrique.The core decoder 511 is for example a decoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type decoder, a hierarchical decoder, or even a parametric MPEG4 decoder.
Le décodeur cœur 511 comporte un module 511b d'obtention d'informations représentatives d'au moins une fréquence de coupure qui estime, selon un premier mode de réalisation, le spectre en fréquence du signal reçu par celui-ci. Le module 511b le réalise par exemple en effectuant une transformation temps fréquence sur le signal décodé et en déterminant la fréquence à partir de laquelle l'énergie du signal devient négligeable. Préférablement, ceci peut s'effectuer avec l'assistance d'un modèle de perception.The core decoder 511 comprises a module 511b for obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by it. The module 511b achieves this for example by carrying out a time-frequency transformation on the decoded signal and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model.
Le décodeur 511, plus précisément son module 511b transfère ensuite une information représentative de la fréquence de coupure ou de la bande passante au décodeur d'extension 512.The decoder 511, more precisely its module 511b then transfers information representative of the cut-off frequency or of the bandwidth to the extension decoder 512.
Le décodeur d'extension 512 sélectionne, à partir de l'information représentative transmise par le décodeur 511, parmi les données codées qu'il a reçues du multiplexeur 510, les données correspondant à une représentation de l'enveloppe spectrale supérieure à la fréquence déterminée par le codeur 511. De cette façon, les pertes liées à la transmission du signal codé sont compensées.The extension decoder 512 selects, from the representative information transmitted by the decoder 511, from the coded data which it has received from the multiplexer 510, the data corresponding to a representation of the spectral envelope greater than the determined frequency by the encoder 511. In this way, the losses linked to the transmission of the coded signal are compensated.
Le décodeur cœur 511, plus précisément le module 511b d'obtention d'informations représentatives d'au moins une fréquence de coupure obtient du démultiplexeur 510, selon un second mode de réalisation, les informations représentatives de la bande passante du codeur cœur 401 ou des codeurs 410 et 415 du dispositif de codage, voire le nombre de couches du signal codé, voire même de la fréquence de coupure basse du codeur d'extension 403 du dispositif de codage si celles-ci ont été incluses dans les données transmises.The core decoder 511, more precisely the module 511b for obtaining information representative of at least one cutoff frequency obtains from the demultiplexer 510, according to a second embodiment, the information representative of the passband of the core encoder 401 or of the coders 410 and 415 of the coding device, or even the number of layers of the coded signal, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the transmitted data.
A partir de ces données obtenues, le module 511b vérifie, dans le cas où celui-ci est un décodeur hiérarchique, si chaque couche est bien reçue et dans la négative transfère une information représentative de la bande passante d'une ou des couches perdues au décodeur d'extension 512.From this data obtained, the module 511b checks, if it is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth of one or more lost layers to the extension decoder 512.
Le décodeur d'extension 512 sélectionne, à partir de l'information représentative transmise par le module 511b, parmi les données codées reçues du multiplexeur 510, les données correspondant à l'enveloppe du signal correspondant à une représentation de l'enveloppe spectrale des fréquences supérieures à la fréquence la plus basse correspondant aux bandes de fréquences perdues.The extension decoder 512 selects, from the representative information transmitted by the module 511b, from the coded data received from the multiplexer 510, the data corresponding to the signal envelope corresponding to a representation of the frequency spectral envelope higher than the lowest frequency corresponding to the lost frequency bands.
Ainsi, le décodeur d'extension corrige les pertes dues au réseau que ce soit sur des pertes affectant les dernières couches reçues ou des pertes affectant une couche intermédiaire.Thus, the extension decoder corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
Le décodeur d'extension de bande 512 est par exemple un décodeur de type HFR (High Frequency Régénération), par exemple un décodeur de type SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz. II est à remarquer qu'en variante, le décodeur d'extension 512 décode la totalité des informations reçues. Une sélection parmi les données décodées est effectuée de manière à ne garder que celles correspondant à une représentation de l'enveloppe spectrale supérieure à la fréquence déterminée par le codeur 511.The band extension decoder 512 is for example an HFR (High Frequency Regeneration) type decoder, for example an SBR (Spectral Band Replication) type decoder as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th AES convention by Mr. Martin Dietz. It should be noted that, as a variant, the extension decoder 512 decodes all of the information received. A selection from the decoded data is made so as to keep only those corresponding to a representation of the spectral envelope greater than the frequency determined by the coder 511.
L'enveloppe décodée par le décodeur d'extension 512 ou sélectionnée est transférée à un module de contrôle de gain 515.The envelope decoded by the extension decoder 512 or selected is transferred to a gain control module 515.
Le signal décodé par le décodeur cœur 511 est envoyé à un module de transposition 513 qui génère un signal dans les hautes fréquences du spectre à partir du signal décodé basse fréquence.The signal decoded by the core decoder 511 is sent to a transposition module 513 which generates a signal in the high frequencies of the spectrum from the decoded low frequency signal.
Ce signal est introduit dans le module de contrôle de gain 515 afin de permettre l'ajustement de l'enveloppe de signal haute fréquence.This signal is introduced into the gain control module 515 in order to allow the adjustment of the high frequency signal envelope.
Le signal d'enveloppe ajusté est ensuite additionné au signal décodé par le décodeur cœur 511 avec un additionneur 516.The adjusted envelope signal is then added to the signal decoded by the core decoder 511 with an adder 516.
L'additionneur 516 peut dans un mode préféré favoriser certaines composantes fréquences en multipliant par exemple certaines composantes par des coefficients. Il est à remarquer que le signal décodé par le décodeur cœur 511 a été préalablement retardé d'un délai égal à la différence de temps de traitement entre les signaux additionnés. Ce retard est effectué par le circuit de retard 514.The adder 516 can in a preferred mode favor certain frequency components by multiplying for example certain components by coefficients. It should be noted that the signal decoded by the core decoder 511 was previously delayed by a delay equal to the difference in processing time between the added signals. This delay is effected by the delay circuit 514.
Le spectre en fréquence du signal obtenu est ainsi similaire à celui de la Fig. 3f. Le signal de sommation peut être ensuite converti sous forme analogique à l'aide d'un convertisseur numérique analogique 517.The frequency spectrum of the signal obtained is thus similar to that of FIG. 3f. The summation signal can then be converted into analog form using a digital to analog converter 517.
La Fig. 6 représente l'algorithme effectué selon l'invention au niveau du codeur. L'invention telle que décrite en référence aux Figs. précédentes est aussi réalisable sous forme logicielle dans laquelle un processeur exécute le code exécutable associé aux étapes El à E7 de l'algorithme de la Fig. 6.Fig. 6 shows the algorithm performed according to the invention at the level of the coder. The invention as described with reference to Figs. above is also achievable in software form in which a processor executes the executable code associated with steps E1 to E7 of the algorithm of FIG. 6.
A la mise sous tension du dispositif de codage, et plus particulièrement dans le cas d'une utilisation d'un ordinateur comme dispositif de codage, le processeur, lit à partir de la mémoire morte de l'ordinateur ou d'un support d'informations tel qu'un disque compact CD-ROM, les instructions du programme correspondant aux étapes El à E7 de la Fig. 6 et les charge en mémoire vive RAM pour les exécuter.When the coding device is switched on, and more particularly when a computer is used as a coding device, the processor reads from the computer's read-only memory or from a storage medium. information such as a CD-ROM compact disc, the program instructions corresponding to steps E1 to E7 of FIG. 6 and loads them into RAM memory to execute them.
A l'étape El, à la réception de données audio à coder, le processeur détermine la bande passante du codeur cœur ou au moins une fréquence de coupure.In step E1, on receiving audio data to be coded, the processor determines the bandwidth of the core coder or at least one cutoff frequency.
Il est à remarquer que la bande passante du codeur cœur peut ou pas être variable dans le temps en fonction par exemple de la charge du codeur cœur. A cette même étape, le processeur code les données selon un algorithme dit de codage cœur conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou de type CELP, de type hiérarchique, voire même de type MPEG4 paramétrique.It should be noted that the bandwidth of the core encoder may or may not be variable over time depending for example on the load of the core encoder. At this same stage, the processor codes the data according to a so-called core coding algorithm conforming to one of the MPEG1, MPEG2 or MPEG4-GA standards, or of CELP type, of hierarchical type, or even of parametric MPEG4 type.
L'étape E2 consiste à vérifier si, et dans le cas d'un codage hiérarchique, toutes les couches ont été codées ou non. Dans la négative, et si le codage cœur est un codage hiérarchique, le processeur réitère l'étape El pour chaque couche du signal audio codé.Step E2 consists in checking whether, and in the case of a hierarchical coding, all the layers have been coded or not. If not, and if the core coding is a hierarchical coding, the processor repeats step E1 for each layer of the coded audio signal.
Si la totalité des couches ont été codées, ou que le codage n'est pas un codage hiérarchique, l'algorithme passe à l'étape suivante E3.If all the layers have been coded, or if the coding is not a hierarchical coding, the algorithm proceeds to the next step E3.
A l'étape E3, le processeur détermine une marge de fréquence. Cette marge peut être prédéterminée et mémorisée dans un registre ou être sous forme d'une variable. Cette variable dépend par exemple du type de correction d'erreurs que l'on va appliquer aux données codées lors de leur transmission sur le réseau.In step E3, the processor determines a frequency margin. This margin can be predetermined and stored in a register or be in the form of a variable. This variable depends for example on the type of error correction that will be applied to the coded data during their transmission over the network.
Cette marge déterminée, le processeur détermine à l'étape E4, à partir de la marge et de la fréquence de coupure haute du codeur cœur, la fréquence de coupure basse du codeur d'extension.This margin determined, the processor determines in step E4, from the margin and the high cutoff frequency of the core encoder, the low cutoff frequency of the extension encoder.
Cette opération réalisée, le processeur transfert cette information au sous- programme de codage d'extension à l'étape E5.Once this operation has been completed, the processor transfers this information to the extension coding subroutine in step E5.
Enfin, selon un mode particulier de l'invention, à l'étape E6, le processeur mémorise cette information. Le processeur, à l'étape E7, exécute le codage d'extension en codant les données dont le spectre est supérieur à l'information transférée à l'étape E5. Le codage d'extension de bande est par exemple un codage de type HFR (High Frequency Régénération), par exemple SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz.Finally, according to a particular embodiment of the invention, in step E6, the processor stores this information. The processor, in step E7, performs extension coding by encoding the data whose spectrum is greater than the information transferred in step E5. The band extension coding is for example an HFR (High Frequency Regeneration) type coding, for example SBR (Spectral Band Replication) as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th convention. AES by Mr Martin Dietz.
Cette opération effectuée, le processeur passe à l'étape E7 qui consiste à multiplexer les signaux audio codés à l'étape El et les signaux audio codés à l'étape E7 pour former un flot de données codées et transmises sur un réseau.This operation carried out, the processor goes to step E7 which consists in multiplexing the audio signals coded in step E1 and the audio signals coded in step E7 to form a stream of coded data transmitted over a network.
Selon une variante de l'invention, le processeur insère dans le flot de données codées et transmises, l'information mémorisée à l'étape E6 ou insère une ou plusieurs des informations suivantes : bande passante du codeur cœur, bande passante du codeur d'extension, fréquence basse et haute de chaque couche de codage, nombre de couches de codage si un codeur hiérarchique est utilisé.According to a variant of the invention, the processor inserts into the stream of coded and transmitted data, the information stored in step E6 or inserts one or more of the following information: bandwidth of the core encoder, bandwidth of the encoder extension, low and high frequency of each coding layer, number of coding layers if a hierarchical coder is used.
L'insertion est effectuée dans le cas d'un codeur hiérarchique pour chaque couche de codage.The insertion is carried out in the case of a hierarchical coder for each coding layer.
Ces opérations effectuées, le processeur retourne à l'étape El en attente de nouvelles données audio à coder.These operations carried out, the processor returns to step E1 awaiting new audio data to be coded.
La Fig. 7 représente l'algorithme effectué selon l'invention au niveau du décodeur. L'invention telle que décrite en référence aux Figs. précédentes est aussi réalisable sous forme logicielle dans laquelle un processeur exécute le code associé aux étapes El 0 à El 5 de l'algorithme de la Fig. 7.Fig. 7 shows the algorithm performed according to the invention at the level of the decoder. The invention as described with reference to Figs. above is also achievable in software form in which a processor executes the code associated with steps El 0 to El 5 of the algorithm of FIG. 7.
A la mise sous tension du dispositif de réception, et plus particulièrement dans le cas d'une utilisation d'un ordinateur comme dispositif de réception, le processeur lit à partir de la mémoire morte de l'ordinateur ou d'un support d'informations tel qu'un disque compact CD-ROM, les instructions du programme correspondant aux étapesWhen the receiving device is switched on, and more particularly when a computer is used as a receiving device, the processor reads from the computer's read-only memory or from an information medium. such as a compact disc CD-ROM, the program instructions corresponding to the steps
E10 à E15 de la Fig. 7 et les charge en mémoire vive RAM pour les exécuter.E10 to E15 of FIG. 7 and loads them into RAM memory to execute them.
A l'étape E10, le processeur, à la réception de données audio à décoder, sépare les signaux reçus par l'intermédiaire du réseau 405 en données destinées au décodeur cœur et en données destinées au décodeur d'extension. Il extrait en outre des signaux reçus, les informations représentatives de la bande passante ou d'au moins une fréquence de coupure du codeur cœur ayant codé le signal audio, ou des codeurs ayant codé le signal audio si le signal a été codé avec un codeur hiérarchique, voire même la fréquence de coupure basse du codeur d'extension ayant codé le signal audio si celles- ci ont été incluses dans les données transmises.In step E10, the processor, on receiving audio data to be decoded, separates the signals received via the network 405 into data intended for the core decoder and data intended for the extension decoder. It also extracts from the signals received, the information representative of the bandwidth or of at least one cutoff frequency of the core coder having coded the audio signal, or of coders having coded the audio signal if the signal has been coded with an coder hierarchical, or even the low cut-off frequency of the extension coder that coded the audio signal if these have been included in the transmitted data.
Cette opération effectuée, le processeur passe à l'étape El i. Le processeur procède alors au décodage de ces données.This operation carried out, the processor goes to step El i. The processor then proceeds to decode this data.
Le processeur procède au décodage des données selon un algorithme de décodage dit de décodage cœur tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou de type CELP, un décodage hiérarchique, voire même un décodage de type MPEG4 paramétrique.The processor proceeds to the decoding of the data according to a decoding algorithm called core decoding algorithm such as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or of CELP type, a hierarchical decoding, or even a decoding of parametric MPEG4 type .
Cette étape de décodage cœur effectuée, le processeur passe à l'étape E12 qui est une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure qui estime, selon un premier mode de réalisation, le spectre en fréquence du signal reçu par celui-ci. Ceci est réalisé par exemple en effectuant une transformation temps fréquence sur le signal décodé à l'étape El i et en déterminant la fréquence à partir de laquelle l'énergie du signal devient négligeable. Préférablement, ceci peut s'effectuer avec l'assistance d'un modèle de perception. Selon un autre mode de réalisation, le processeur obtient les informations extraites à l'étape El et vérifie dans le cas où celui-ci est un décodeur hiérarchique, si chaque couche est bien reçue et dans la négative transfère une infonnation représentative de la bande passante d'une ou des couches perdues au décodeur d'extension.This core decoding step carried out, the processor proceeds to step E12 which is a step of obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by him. This is achieved for example by carrying out a time-frequency transformation on the signal decoded in step El i and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model. According to another embodiment, the processor obtains the information extracted in step E1 and checks, in the case where this is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth one or more layers lost to the extension decoder.
Cette opération effectuée, l'étape El 3 consiste en une adaptation de la fréquence de coupure basse du décodeur d'extension de manière à ce que celui-ci compense les pertes dues au réseau. L'adaptation est effectuée à partir de l'information représentative de la fréquence de coupure ou de la bande passante obtenue à l'étape E12 ou si le décodage de l'étape El i est un décodage hiérarchique de l'information représentative de la bande passante ou d'une fréquence de coupure d'une ou des couches perdues.This operation carried out, step El 3 consists in adapting the low cut-off frequency of the extension decoder so that it compensates for the losses due to the network. The adaptation is carried out on the basis of the information representative of the cut-off frequency or of the bandwidth obtained in step E12 or if the decoding of step El i is a hierarchical decoding of the information representative of the band frequency or cutoff frequency of one or more lost layers.
Cette opération effectuée, le processeur passe à l'étape El 4 et décode selon un algorithme de décodage dit d'extension les données correspondant aux fréquences supérieures à cette fréquence de coupure basse précédemment déterminée.Once this operation has been carried out, the processor goes to step El 4 and decodes, according to a so-called extension decoding algorithm, the data corresponding to the frequencies above this low cut-off frequency previously determined.
Le processeur sélectionne, à partir de la fréquence adaptée, parmi les données séparées à l'étape El et destinées au décodage d'extension, les données correspondant à l'enveloppe du signal correspondant à une représentation de l'enveloppe spectrale des fréquences supérieures à la fréquence la plus basse correspondant aux bandes de fréquences perdues.The processor selects, from the adapted frequency, from the data separated in step E1 and intended for extension decoding, the data corresponding to the signal envelope corresponding to a representation of the spectral envelope of the frequencies greater than the lowest frequency corresponding to the lost frequency bands.
Ainsi, le décodage d'extension corrige les pertes dues au réseau que ce soit sur des pertes affectant les dernières couches reçues ou des pertes affectant une couche intermédiaire.Thus, the extension decoding corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
Le décodage d'extension est un algorithme de décodage d'extension de bande par exemple un décodage de type HFR (High Frequency Régénération), par exemple un décodage de type SBR (Spectral Band Replication) tel que décrit dans le documentExtension decoding is a band extension decoding algorithm, for example HFR (High Frequency Regeneration) type decoding, for example SBR (Spectral Band Replication) type decoding as described in the document.
« Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz."Audio Engineering Society, convention paper 5553", presented at the 112th AES convention by Mr. Martin Dietz.
Enfin, les données décodées par le décodeur cœur et le décodeur d'extension sont additionnées pour former le signal audio décodé à l'étape El 5. Ces opérations effectuées, le processeur retourne à l'étape ElO dans l'attente de nouvelles dom ées audio à décoder. Finally, the data decoded by the core decoder and the extension decoder are added to form the audio signal decoded in step El 5. Once these operations have been carried out, the processor returns to step ElO while awaiting new audio domains to be decoded.

Claims

REVENDICATIONS
1) Procédé de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'au moins une partie du spectre codé avec le codeur cœur est aussi codée avec le codeur d'extension et le procédé comporte les étapes de :1) Method for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with a spectral band limiting coder called a core coder and in which the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that at least part of the spectrum coded with the core coder is also coded with the extension coder and the method comprises the steps of:
- de détermination d'au moins une fréquence de coupure du codeur cœur,- determining at least one cut-off frequency of the core encoder,
- de détermination de la partie du spectre codée avec le codeur cœur et le codeur d'extension à partir de la fréquence de coupure déterminée.- determination of the part of the spectrum coded with the core coder and the extension coder from the determined cut-off frequency.
2) Procédé selon la revendication 1, caractérisé en ce que le procédé comporte une étape de transfert du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée est transférée avec le signal numérique codé.2) Method according to claim 1, characterized in that the method comprises a step of transferring the coded digital signal over a network and in that the or each determined frequency is transferred with the coded digital signal.
3) Procédé selon la revendication 1, caractérisé en ce que le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.3) Method according to claim 1, characterized in that the core coder is a hierarchical coder and for each coding layer, at least one cut-off frequency of each coding layer is determined.
4) Procédé selon la revendication 3, caractérisé en ce que le procédé comporte une étape de transfert de chaque couche de codage du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée pour la couche est transférée avec ladite couche.4) Method according to claim 3, characterized in that the method comprises a step of transferring each coding layer of the digital signal coded on a network and in that the or each frequency determined for the layer is transferred with said layer.
5) Procédé selon l'un quelconques des revendications 1 à 4, caractérisé en ce que la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio. 6) Procédé de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un décodeur à limitation de bande spectrale dit décodeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un décodeur d'extension, caractérisé en ce que le procédé comporte :5) Method according to any one of claims 1 to 4, characterized in that the part of the frequency spectrum of the audio signal coded with the core encoder is the lower part of the frequency spectrum of the audio signal. 6) Method of spectral reconstruction of an audio signal coded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with a decoder with limitation of spectral band called core decoder and in which the complementary part of the spectrum frequency of the audio signal is decoded with an extension decoder, characterized in that the method comprises:
- une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,a step of obtaining information representative of at least one cut-off frequency of the signal decoded by the core decoder,
- une étape de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.a step of selecting, from the data to be decoded or decoded with the extension decoder, data relevant for decoding as a function of the information obtained.
7) Procédé selon la revendication 6, caractérisé en ce que la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.7) Method according to claim 6, characterized in that the part of the frequency spectrum of the audio signal decoded with a core decoder is the low part of the frequency spectrum of the audio signal.
8) Procédé selon la revendication 6 ou 7, caractérisé en ce que les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation de la fréquence de coupure haute du signal décodé par le décodeur cœur.8) Method according to claim 6 or 7, characterized in that the information representative of at least one cutoff frequency of the signal decoded by the core decoder is obtained by carrying out an estimation of the high cutoff frequency of the signal decoded by the decoder heart.
9) Procédé selon la revendication 6 ou 7, caractérisé en ce que les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.9) Method according to claim 6 or 7, characterized in that the information representative of at least one cutoff frequency of the signal decoded by the core decoder is obtained from information included in the data stream comprising the coded digital signal .
10) Procédé selon la revendication 8 ou 9, caractérisé en ce que le décodeur cœur est un décodeur hiérarchique et en ce que le procédé obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé. 11) Dispositif de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'il comporte : - des moyens de détermination d'au moins une fréquence de coupure du codeur cœur,10) Method according to claim 8 or 9, characterized in that the core decoder is a hierarchical decoder and in that the method obtains information representative of the bandwidth of the signal decoded by the core decoder for each layer of the decoded signal. 11) Device for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with a coder with spectral band limitation called the core coder and in which the complementary part of the frequency spectrum of the audio signal is coded with an extension encoder, characterized in that it comprises: - means for determining at least one cut-off frequency of the core encoder,
- des moyens de détermination de la partie du spectre codée avec le codeur cœur et le codeur d'extension à partir de la fréquence de coupure déterminée,means for determining the part of the spectrum coded with the core coder and the extension coder from the determined cut-off frequency,
- des moyens pour coder au moins une partie du spectre codée avec le codeur cœur avec le codeur d'extension.means for coding at least part of the spectrum coded with the core coder with the extension coder.
12) Dispositif selon la revendication 11, caractérisé en ce que le dispositif comporte des moyens de transfert du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée est transférée avec le signal numérique codé.12) Device according to claim 11, characterized in that the device comprises means for transferring the coded digital signal over a network and in that the or each determined frequency is transferred with the coded digital signal.
13) Dispositif selon la revendication 11, caractérisé en ce que le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.13) Device according to claim 11, characterized in that the core coder is a hierarchical coder and for each coding layer, at least one cutoff frequency of each coding layer is determined.
14) Dispositif selon la revendication 14, caractérisé en ce que le dispositif comporte des moyens de transfert de chaque couche du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée pour la couche de codage est transférée avec ladite couche de codage.14) Device according to claim 14, characterized in that the device comprises means for transferring each layer of the coded digital signal over a network and in that the or each frequency determined for the coding layer is transferred with said coding layer .
15) Dispositif selon l'un quelconques des revendications 11 à 14, caractérisé en ce que la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio.15) Device according to any one of claims 11 to 14, characterized in that the part of the frequency spectrum of the audio signal coded with the core encoder is the lower part of the frequency spectrum of the audio signal.
16) Dispositif de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un décodeur à limitation de bande spectrale dit décodeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un codeur d'extension, caractérisé en ce que le dispositif comporte :16) Device for spectral reconstruction of an audio signal coded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with a decoder with spectral band limitation called core decoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension coder, characterized in that the device comprises:
- des moyens d'obtention d'informations représentatives d'au moins une 5 fréquence de coupure du signal décodé par le décodeur cœur,means for obtaining information representative of at least one cutoff frequency of the signal decoded by the core decoder,
- des moyens de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.means for selecting, from the data to be decoded or decoded with the extension decoder, data relevant for decoding as a function of the information obtained.
10 17) Dispositif selon la revendication 16, caractérisé en ce que la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.17) Device according to claim 16, characterized in that the part of the frequency spectrum of the audio signal decoded with a core decoder is the low part of the frequency spectrum of the audio signal.
18) Dispositif selon la revendication 16 ou 17, caractérisé en ce que les 15 informations représentatives de la bande passante du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation d'au moins une fréquence de coupure du signal décodé par le décodeur cœur.18) Device according to claim 16 or 17, characterized in that the information representative of the bandwidth of the signal decoded by the core decoder is obtained by carrying out an estimation of at least one cutoff frequency of the signal decoded by the core decoder .
19) Dispositif selon la revendication 16 ou 17, caractérisé en ce que les 20 informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.19) Device according to claim 16 or 17, characterized in that the information representative of at least one cut-off frequency of the signal decoded by the core decoder is obtained from information included in the data stream comprising the digital signal coded.
20) Dispositif selon la revendication 19, caractérisé en ce que le décodeur cœur 25 est un décodeur hiérarchique et en ce que le dispositif va obtenir des informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur pour chaque couche du signal décodé.20) Device according to claim 19, characterized in that the core decoder 25 is a hierarchical decoder and in that the device will obtain information representative of at least one cutoff frequency of the signal decoded by the core decoder for each layer of the decoded signal.
21) Programme d'ordinateur stocké sur un support d'informations, ledit mctTTintîr σ Ac mαl+fα c-n nomn-û !___. «_.Λ fιΛ_ Λ A codage selon l'une quelconque des revendications 1 à 5, lorsqu'il est chargé et exécuté par un système informatique.21) Computer program stored on an information medium, said program mctTTintîr σ Ac mαl + fα cn nomn-û! ___. "_. Λ f ιΛ_ Λ A coding according to any one of claims 1 to 5, when it is loaded and executed by a computer system.
22) Programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en œuvre le procédé de reconstruction d'un signal audio selon l'une quelconque des revendications 6 à 10, lorsqu'il est chargé et exécuté par un système informatique. 22) Computer program stored on an information medium, said program comprising instructions making it possible to implement the method for reconstructing an audio signal according to any one of claims 6 to 10, when it is loaded and executed by a computer system.
EP04716626A 2003-03-04 2004-03-03 Method and device for the spectral reconstruction of an audio signal Expired - Lifetime EP1599868B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0302730A FR2852172A1 (en) 2003-03-04 2003-03-04 Audio signal coding method, involves coding one part of audio signal frequency spectrum with core coder and another part with extension coder, where part of spectrum is coded with both core coder and extension coder
FR0302730 2003-03-04
PCT/FR2004/000488 WO2004081918A1 (en) 2003-03-04 2004-03-03 Method and device for the spectral reconstruction of an audio signal

Publications (2)

Publication Number Publication Date
EP1599868A1 true EP1599868A1 (en) 2005-11-30
EP1599868B1 EP1599868B1 (en) 2010-05-19

Family

ID=32865273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04716626A Expired - Lifetime EP1599868B1 (en) 2003-03-04 2004-03-03 Method and device for the spectral reconstruction of an audio signal

Country Status (9)

Country Link
US (1) US7720676B2 (en)
EP (1) EP1599868B1 (en)
JP (1) JP4660470B2 (en)
KR (1) KR101091593B1 (en)
AT (1) ATE468584T1 (en)
DE (1) DE602004027219D1 (en)
ES (1) ES2345489T3 (en)
FR (1) FR2852172A1 (en)
WO (1) WO2004081918A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
SE0202159D0 (en) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
DE60202881T2 (en) 2001-11-29 2006-01-19 Coding Technologies Ab RECONSTRUCTION OF HIGH-FREQUENCY COMPONENTS
SE0202770D0 (en) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method of reduction of aliasing is introduced by spectral envelope adjustment in real-valued filterbanks
US8010349B2 (en) * 2004-10-13 2011-08-30 Panasonic Corporation Scalable encoder, scalable decoder, and scalable encoding method
WO2006049204A1 (en) * 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. Encoder, decoder, encoding method, and decoding method
KR100818268B1 (en) 2005-04-14 2008-04-02 삼성전자주식회사 Apparatus and method for audio encoding/decoding with scalability
RU2418385C2 (en) * 2005-07-14 2011-05-10 Конинклейке Филипс Электроникс Н.В. Coding and decoding of sound
US8626503B2 (en) * 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
WO2007119368A1 (en) * 2006-03-17 2007-10-25 Matsushita Electric Industrial Co., Ltd. Scalable encoding device and scalable encoding method
US7461106B2 (en) * 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
JP4918841B2 (en) * 2006-10-23 2012-04-18 富士通株式会社 Encoding system
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
WO2008084688A1 (en) * 2006-12-27 2008-07-17 Panasonic Corporation Encoding device, decoding device, and method thereof
JP4708446B2 (en) 2007-03-02 2011-06-22 パナソニック株式会社 Encoding device, decoding device and methods thereof
GB0705328D0 (en) * 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
BRPI0815972B1 (en) * 2007-08-27 2020-02-04 Ericsson Telefon Ab L M method for spectrum recovery in spectral decoding of an audio signal, method for use in spectral encoding of an audio signal, decoder, and encoder
DK2186089T3 (en) * 2007-08-27 2019-01-07 Ericsson Telefon Ab L M Method and apparatus for perceptual spectral decoding of an audio signal including filling in spectral holes
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US20090234642A1 (en) * 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
FR2929466A1 (en) * 2008-03-28 2009-10-02 France Telecom DISSIMULATION OF TRANSMISSION ERROR IN A DIGITAL SIGNAL IN A HIERARCHICAL DECODING STRUCTURE
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
EP2313885B1 (en) * 2008-06-24 2013-02-27 Telefonaktiebolaget L M Ericsson (PUBL) Multi-mode scheme for improved coding of audio
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
CN102208188B (en) 2011-07-13 2013-04-17 华为技术有限公司 Audio signal encoding-decoding method and device
WO2013142650A1 (en) 2012-03-23 2013-09-26 Dolby International Ab Enabling sampling rate diversity in a voice communication system
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
US20150170655A1 (en) * 2013-12-15 2015-06-18 Qualcomm Incorporated Systems and methods of blind bandwidth extension
EP3107096A1 (en) 2015-06-16 2016-12-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downscaled decoding
MY191093A (en) * 2016-02-17 2022-05-30 Fraunhofer Ges Forschung Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
WO2017153006A1 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs
US20240212704A1 (en) * 2021-09-22 2024-06-27 Boe Technology Group Co., Ltd. Audio adjusting method, device and apparatus, and storage medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495552A (en) * 1992-04-20 1996-02-27 Mitsubishi Denki Kabushiki Kaisha Methods of efficiently recording an audio signal in semiconductor memory
FR2729030B1 (en) * 1994-12-30 1997-03-28 France Telecom METHOD FOR DYNAMICALLY RECONFIGURING A SIGNAL HAVING A TIME INTERLACEMENT, CORRESPONDING RECEIVER AND SIGNAL
JP3344944B2 (en) * 1997-05-15 2002-11-18 松下電器産業株式会社 Audio signal encoding device, audio signal decoding device, audio signal encoding method, and audio signal decoding method
US6023233A (en) * 1998-03-20 2000-02-08 Craven; Peter G. Data rate control for variable rate compression systems
FR2791167B1 (en) * 1999-03-17 2003-01-10 Matra Nortel Communications AUDIO ENCODING, DECODING AND TRANSCODING METHODS
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US6704703B2 (en) * 2000-02-04 2004-03-09 Scansoft, Inc. Recursively excited linear prediction speech coder
FI119576B (en) * 2000-03-07 2008-12-31 Nokia Corp Speech processing device and procedure for speech processing, as well as a digital radio telephone
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
FI109393B (en) * 2000-07-14 2002-07-15 Nokia Corp Method for encoding media stream, a scalable and a terminal
EP1199812A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Perceptually improved encoding of acoustic signals
SE0004187D0 (en) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
DE60202881T2 (en) * 2001-11-29 2006-01-19 Coding Technologies Ab RECONSTRUCTION OF HIGH-FREQUENCY COMPONENTS
KR100636145B1 (en) * 2004-06-04 2006-10-18 삼성전자주식회사 Exednded high resolution audio signal encoder and decoder thereof
EP1987513B1 (en) * 2006-02-06 2009-09-09 France Telecom Method and device for the hierarchical coding of a source audio signal and corresponding decoding method and device, programs and signal
FR2898443A1 (en) * 2006-03-13 2007-09-14 France Telecom AUDIO SOURCE SIGNAL ENCODING METHOD, ENCODING DEVICE, DECODING METHOD, DECODING DEVICE, SIGNAL, CORRESPONDING COMPUTER PROGRAM PRODUCTS

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004081918A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them

Also Published As

Publication number Publication date
KR20060007371A (en) 2006-01-24
JP4660470B2 (en) 2011-03-30
US7720676B2 (en) 2010-05-18
FR2852172A1 (en) 2004-09-10
ES2345489T3 (en) 2010-09-24
KR101091593B1 (en) 2011-12-13
EP1599868B1 (en) 2010-05-19
WO2004081918A1 (en) 2004-09-23
DE602004027219D1 (en) 2010-07-01
JP2006520487A (en) 2006-09-07
ATE468584T1 (en) 2010-06-15
US20060265087A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
EP1599868B1 (en) Method and device for the spectral reconstruction of an audio signal
US7668723B2 (en) Scalable lossless audio codec and authoring tool
US8374858B2 (en) Scalable lossless audio codec and authoring tool
EP1581930B1 (en) Method for encoding and decoding audio at a variable rate
FR2761801A1 (en) AUDIO CODING METHOD AND DEVICE
WO2007010158A2 (en) Method for switching rate- and bandwidth-scalable audio decoding rate
EP1794748A1 (en) Data processing method by passage between different sub-band domains
EP0111612A1 (en) Speech signal coding method and apparatus
FR2929466A1 (en) DISSIMULATION OF TRANSMISSION ERROR IN A DIGITAL SIGNAL IN A HIERARCHICAL DECODING STRUCTURE
EP2228791B1 (en) Scalable lossless audio codec and authoring tool
EP1037196B1 (en) Method for coding, decoding and transcoding an audio signal
EP1356455B1 (en) Method and device for processing numerous audio binary streams
WO2011086253A2 (en) Improved method for encoding/decoding a stereo digital stream and associated encoding/decoding device
WO2008080609A1 (en) Audio encoding method and device
FR2759510A1 (en) AUDIO CODING METHOD AND DEVICE
FR2796785A1 (en) COMMUNICATION SYSTEM, RECEIVER, DEVICE AND METHOD FOR CORRECTING CHANNEL ERRORS
CA2300646A1 (en) Coding, decoding and transcoding procedures
FR2914480A1 (en) Digital audio stream transmitting device for e.g. internet network, has selection unit for selecting two digital audio streams based on selection signal, and transmission unit for transmitting selected digital audio stream
FR2911738A1 (en) TRANSCODING METHOD AND DEVICE IMPLEMENTING SAID METHOD.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050823

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20081023

RTI1 Title (correction)

Free format text: METHOD AND DEVICE FOR THE SPECTRAL RECONSTRUCTION OF AN AUDIO SIGNAL

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 602004027219

Country of ref document: DE

Date of ref document: 20100701

Kind code of ref document: P

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20100519

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2345489

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100820

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100920

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20110222

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602004027219

Country of ref document: DE

Effective date: 20110221

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110303

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100819

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230222

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230221

Year of fee payment: 20

Ref country code: GB

Payment date: 20230221

Year of fee payment: 20

Ref country code: DE

Payment date: 20230221

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230403

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 602004027219

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20240302

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20240402

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240304

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240302