EP2036400B1 - Generation of decorrelated signals - Google Patents

Generation of decorrelated signals Download PDF

Info

Publication number
EP2036400B1
EP2036400B1 EP08735224A EP08735224A EP2036400B1 EP 2036400 B1 EP2036400 B1 EP 2036400B1 EP 08735224 A EP08735224 A EP 08735224A EP 08735224 A EP08735224 A EP 08735224A EP 2036400 B1 EP2036400 B1 EP 2036400B1
Authority
EP
European Patent Office
Prior art keywords
audio input
input signal
signal
output signal
decorrelator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP08735224A
Other languages
German (de)
French (fr)
Other versions
EP2036400A1 (en
Inventor
Jürgen HERRE
Karsten Linzmeier
Harald Popp
Jan Plogsties
Harald Mundt
Sascha Disch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP2036400A1 publication Critical patent/EP2036400A1/en
Application granted granted Critical
Publication of EP2036400B1 publication Critical patent/EP2036400B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation

Definitions

  • the present invention relates to an apparatus and a method for generating decorrelated signals, and more particularly to how decorrelated signals from a signal containing transients can be derived such that in the reconstruction of a multi-channel audio signal or a subsequent combination of the decorrelated signal and the transient signal will result in no audible signal degradation.
  • stereo-up mix of a mono signal the multichannel up-mix based on a mono or stereo signal, called artificial reverb generation or broadening the stereo base.
  • FIGS. 7 and 8 To illustrate the problem show the FIGS. 7 and 8 the use of decorrelators in signal processing. It should first briefly on the in Fig. 7 received mono-to-stereo decoder will be received.
  • the mono-to-stereo decoder serves to fed mono signal 14 into a stereo signal 16, consisting of a left channel 16a and a right channel 16b to transform. From the fed mono signal 14, the standard decorrelator 10 generates a decorrelated signal 18 (D), which is applied to the inputs of the mix matrix 12 together with the fed-in mono signal 14.
  • the untreated mono signal is often referred to as a "dry” signal, whereas the decorrelated signal D is called a "wet" signal.
  • the mix matrix 12 combines the decorrelated signal 18 and the injected mono signal 14 to produce the stereo signal 16.
  • the coefficients of the mix matrix 12 (H) can be fixed, signal-dependent or even dependent on a user input.
  • this mixing process performed by the mix matrix 12 may also be frequency selective. That is, different mixing operations or matrix coefficients can be applied for different frequency ranges (frequency bands).
  • the fed-in mono signal 14 can be pre-processed by a filter bank, so that this is present together with the decorrelated signal 18 in a filter bank representation in which the signal components belonging to different frequency bands are processed separately.
  • the control of the up-mix process can be done through user interaction via a mix control 20.
  • the coefficients of the mix matrix 12 (H) can also be effected by so-called "side information", which are transmitted together with the fed-in mono signal 14 (the downmix).
  • the page information contains a parametric description of how the generated multichannel signal is to be generated from the injected mono signal 14 (the transmitted signal). This spatial page information is usually provided by an encoder before the actual down-mix, ie the generation of the injected mono signal 14, generated.
  • FIG. 8 A typical example of a parametric stereo decoder is in Fig. 8 shown.
  • the Fig. 7 is shown in FIG Fig. 8 1
  • an analysis filter bank 30 and a synthesis filter bank 32 have been shown. This is the case, since decorrelation is performed frequency-dependent (in the spectral domain). Therefore, first of all, the fed-in mono signal 14 is split by the analysis filter bank 30 into signal components for different frequency ranges. That is, for each frequency band, a separate decorrelated signal is generated analogously to the example described above.
  • spatial parameters 34 are transmitted which serve to determine or vary the matrix elements of the mix matrix 12 in order to generate a mixed signal which is transformed back into the time domain by means of the synthesis filter bank 32 to form the stereo signal 16.
  • the spatial parameters 34 can optionally be changed via a parameter control 36 in order to generate the up-mix or the stereo signal 16 differently for different reproduction scenarios or to adapt the quality of reproduction optimally to the respective scenario.
  • the spatial parameters 34 can be combined with parameters of the binaural filters in order to form the parameters controlling the mix matrix 12.
  • the parameters may be changed by direct user interaction or other tools or algorithms (see for example: Breebart, Jeroen; Herre, Jurgen; Jin, Craig; Kjörling, Kristofer; Koppens, Jeroen; Plogisties, Jan; Villemoes, Lars: Multi-Channel Goes Mobile: MPEG Surround Binaural Rendering. AES 29th International Conference, Seoul, Korea, 2006 September 2 - 4 ).
  • the proportion of the decorrelated signal 18 (D) contained in the output signal is set in the mix matrix 12.
  • the mixing ratio is temporally varied based on the transmitted spatial parameters 34.
  • These parameters can be, for example, parameters which describe the correlation between two original signals (parameters of this type are used, for example, in MPEG surround coding, where they are referred to inter alia as ICC).
  • parameters may be transmitted which transmit the energy relationships between two originally present channels contained in the fed mono signal 14 (ICLD or ICD in MPEG surround).
  • the matrix elements can be varied by direct user input.
  • Parametric Stereo and MPEG Surround use all-pass filters, which are filters that allow the entire spectral range to pass, but have a spectral-dependent filter characteristic.
  • Binaural Cue Coding BCC, Faller and Baumgarte, see for example: C. Faller: "Parametric Coding Of Spatial Audio", Ph.D. thesis, EPFL, 2004 ) a "group delay" is proposed for decorrelation. For this, a frequency-dependent group delay is applied to the signal by changing the phases in the DFT spectrum of the signal. So different frequency ranges are delayed for different lengths. Such a method generally falls under the generic term of phase manipulations.
  • the US Patent Application 2006/0053018 describes a synthesizer for generating a decorrelated signal using a plurality of subband signals to produce a decorrelated signal.
  • Each subband signal is filtered with a Hall filter.
  • the Hall-filtered sub-signals are combined to form a decorrelation signal.
  • the decorrelated signals are thus carried out by signal manipulation on a plurality of subband signals.
  • the international patent application WO2005 / 086139 describes the decoding of a mono downmix signal obtained from a multi-channel signal.
  • Decorrelated signals used for reconstruction are obtained by dividing the down-mix signal (mixing signal) with a filter bank into subband signals which are subjected to variable phase angles.
  • transient detection is performed to otherwise produce the decorrelated signals in the presence of transient signals.
  • the object of the present invention is to provide an apparatus and a method for decorrelating signals, which improves the signal quality in the presence of transient signals.
  • the present invention is based on the finding that decorrelated output signals can be generated for transient audio input signals by mixing the audio input signal with a delayed representation of the audio input signal by a delay time such that a first output signal is output in a first time interval the audio input signal and a second output signal of the delayed representation of the audio input signal, wherein in a second time interval, the first output signal of the delayed representation of the audio input signal and the second output signal corresponds to the audio input signal.
  • two mutually decorrelated signals are derived from an audio input signal such that a time-delayed copy of the audio input signal is first generated. Then, the two output signals are generated by mutually using the audio input signal and the delayed representation of the audio input signal for the two output signals.
  • a time delay is used which is frequency-independent and therefore does not blur the attacks of the gossip noise over time.
  • a time delay chain which has a small number of memory elements is a good compromise between the achievable spatial width of a reconstructed signal and the additional memory requirement.
  • the selected delay time is preferably less than 50 ms, particularly preferably less than or equal to 30 ms.
  • the problem of precedence is solved by making the audio input signal directly the left channel in a first time interval, while in the subsequent second time interval the delayed representation of the audio input signal is used as the left channel. For the right channel, the procedure applies accordingly.
  • the switching time between the individual transposition operations is chosen to be greater than the duration of a transient event typically occurring in the signal.
  • the decorrelators of the invention use only an extremely small number of arithmetic operations. In particular, only a single time delay and a small number of multiplications are required to produce decorrelated signals according to the invention.
  • the exchange of individual channels is a simple copy operation, so requires no additional computational effort.
  • Optional signal conditioning or post-processing techniques also require only addition or subtraction, that is, operations that typically can be taken over from existing hardware. Thus, only a small amount of additional memory for the implementation of the delay device or the delay line is required. This exists in many systems and can be shared if necessary.
  • Fig. 1 shows an example of a decorrelator according to the invention for generating a first output signal 50 (L ') and a second output signal 52 (R') based on an audio input signal 54 (M).
  • the decorrelator further includes a delay 56 to produce a delayed representation of the audio input signal 58 (M_d).
  • the decorrelator further includes a mixer 60 for combining the delayed representation of the audio input signal 58 with the audio input signal 54; to obtain the first output signal 50 and the second output signal 52.
  • the mixer 60 is formed by the two switches shown schematically, by means of which alternately the audio input signal 54 is switched to the left output signal 50 or the right output signal 52. The same also applies to the delayed representation of the audio input signal 58.
  • the mixer 60 of the decorrelator thus functions so that in a first time interval the first output signal 50 corresponds to the audio input signal 54 and the second output signal corresponds to the delayed representation of the audio input signal 58, wherein in a second time interval the first output signal 50 corresponds to the delayed representation of the audio input signal and the second output signal 52 corresponds to the audio input signal 54.
  • a decorrelation is achieved by making a time-delayed copy of the audio input channel 54 and then alternately using the audio input signal 54 and the delayed representation of the audio input signal 58 as output channels.
  • the components forming the output signals are interchanged in a clocked manner.
  • the length of the time interval, for each of which is reversed or for each of which corresponds to an input signal to the output signal variable.
  • the time intervals for which the individual components are exchanged can have different lengths. That is, the ratio of those times in which the first output signal 50 consists of the audio input signal 54 and the delayed representation of the audio input signal 58 is variably adjustable.
  • the duration of the time intervals is greater than the average duration of transient components included in the audio input signal 54 in order to obtain a good reproduction of the signal.
  • Suitable durations are in the time interval between 10 ms and 200 ms, with a typical period of time being 100 ms, for example.
  • the duration of the time delay can be adapted to the events of the signal or even be time-variable.
  • the delay times are preferably in an interval of 2 ms to 50 ms. Examples of suitable delay times are 3, 6, 9, 12, 15 or 30 ms.
  • the decorrelator according to the invention can be applied both for continuous audio signals as well as for sampled audio signals, that is, for signals that are present as a result of discrete samples.
  • Fig. 2 shows on the basis of such a signal present in discrete samples the operation of the decorrelator of Fig. 1 ,
  • the audio input signal 54 consisting of a sequence of discrete sample values and the delayed representation of the audio input signal 58 are considered.
  • the mixer 60 is shown here only schematically as two possible connection paths between the audio input signal 54 and the delayed representation of the audio input signal 58 and the two output signals 50 and 52.
  • a first time interval 70 is shown, in which the first output signal 50 corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58.
  • the first output signal 50 of the delayed representation of the audio input signal 58 and the second output signal 52 correspond to the audio input signal 54.
  • the time duration of the first time interval 70 and the second time interval 72 is identical, although this is not a prerequisite, as already mentioned above.
  • the inventive concept for decorrelating signals can be applied in the time domain, ie with the temporal resolution that is given by the sample frequency.
  • FIG. 12 shows another embodiment in which the mixer 60 is arranged such that, in a first time interval, the first output signal 50 results in a portion X (t) of the audio input signal 54 and a portion (1-X (t)) of the delayed representation of the audio input signal 58 is formed. Accordingly, in the first time interval, the second output signal 52 is formed into a portion X (t) of the delayed representation of the audio input signal 58 and a portion (1-X (t)) of the audio input signal 54.
  • Possible implementation of the function X (t) which could also be called a crossfade function, is in Fig. 2b shown.
  • the mixer 60 functions to combine a delay-delayed representation of the audio input signal 58 with the audio input signal 54 to provide the first output signal 50 and the second output signal 52 with time varying portions of the audio Input signal 54 and the delayed representation of the audio input signal 58.
  • the first output signal 50 to a more than 50% proportion of the audio input signal 54 and the second output signal 52 to a more than 50% share of the delayed representation of the audio input signal 58 is formed.
  • the first output signal 50 is off a more than 50% proportion of the delayed representation of the audio input signal 58 and the second output signal 52 are formed from a more than 50% proportion of the audio input signal.
  • Fig. 2b shows possible control functions for the mixer 60, as shown in Fig. 2a is shown.
  • Plotted on the x-axis is the time t in arbitrary units and on the y-axis the function X (t), which has possible function values from zero to one.
  • other functions X (t) can also be used, which also need not necessarily have a value range of 0 to 1.
  • Other ranges of values for example from 0 to 10, are conceivable.
  • a first function 66 which is box-shaped, corresponds to that in FIG Fig. 2 described case of exchanging the channels, or the fade-free switching, the schematically au ch in Fig. 1 is shown.
  • the first output signal 50 of FIG Fig. 2a this is completely formed by the audio input signal 54 in the first time interval 62, while in the first time interval 62 the second output signal 52 is completely formed by the delayed representation of the audio input signal 58.
  • the second time interval 64 the same applies vice versa, wherein the length of the time intervals does not necessarily have to be identical.
  • a second, dashed, function 58 does not completely switch the signals or generate first and second output signals 50 and 52 which at no time are formed entirely from the audio input signal 54 or the delayed representation of the audio input signal 58 , However, in the first time interval 62, the first output signal 50 is in a more than 50% proportion formed from the audio input signal 54, which also applies to the second output signal 52 accordingly.
  • a third function 69 is implemented to provide fade timings 69a-69c corresponding to the transition timings between the first time interval 62 and the second time interval 64, thus marking those times at which the audio output signals are varied this achieves a crossfade effect. That is, in a start interval and in an end interval at the beginning and end of the first time interval 62, the first output signal 50 and the second output signal 52 contain both portions of the audio input signal 58 and the delayed representation of the audio input signal.
  • the first output signal 50 corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58.
  • the steepness of the function 69 at the fade times 69a to 69c can be varied within wide limits be adapted to the perceived reproduction quality of the audio signal to the circumstances.
  • the first output signal 50 contains more than 50% of the audio input signal 54 and the second output signal 52 contains more than 50% of the delayed representation of the audio input signal 58 and that in a second time interval 64, the first output signal 50 includes a greater than 50% portion of the delayed representation of the audio input signal 58 and the second output signal 52 contains greater than 50% proportion of the audio input signal.
  • Fig. 3 shows a further embodiment of a decorrelator implementing the inventive concept.
  • the in Fig. 3 shown decorrelator differs from the in Fig. 1 schematically illustrated decorrelator in that the audio input signal 54 and the delayed representation of the audio input signal 58 can be scaled by means of an optional scaling device 74 before they are supplied to the mixer 60.
  • the optional scaler 74 includes a first scaler 76a and a second scaler 76b, wherein the first scaler 76a may scale the audio input 54 and the second scaler 76b may scale the delayed representation of the audio input 58.
  • the delay 56 is fed by the audio input (monophonic) 54.
  • the first scaler 76a and the second scaler 76b may optionally vary the intensity of the audio input signal and the delayed representation of the audio input signal.
  • the intensity of the temporally following signal (G_lagging), ie the delayed representation of the audio input signal 58, is increased and / or the intensity of the leading signal (G_leading), ie the audio input signal 54, is lowered.
  • the amplification factors can be chosen so that the total energy is obtained.
  • the gain factors can be defined so that they change signal-dependent.
  • the amplification factors can also be dependent on the side information, so that these are varied depending on the acoustic scenario to be reconstructed.
  • the precedence effect (the effect resulting from the time-delayed repetition of the same signal) can be compensated by varying the intensity of the direct component with respect to the delayed component so as to amplify delayed components and / or attenuate the non-delayed component.
  • the precedence effect caused by the introduced delay can thus be partially compensated for by volume adjustments (intensity adjustments) which are important for spatial hearing.
  • the time interval of the exchange is preferably an integer multiple of the frame length.
  • An example of a typical Interchange time or permutation period is 100 ms.
  • the first output signal 50 and the second output signal 52 may be output directly as an output signal, as in FIG Fig. 1 shown.
  • the decorrelator in Fig. 3 additionally has an optional post-processor 80 which combines the first output signal 50 and the second output signal 52 to provide at its output a post-processed output signal 82 and a second post-processed output signal 84, the post-processor may have several beneficial effects.
  • it can serve to reprocess the signal for further method steps, for example a subsequent up-mix in a multi-channel reconstruction, so that an already existing decorrelator can be replaced by the decorrelator according to the invention without having to modify the rest of the signal processing chain.
  • FIGS. 1 and 2 show the decorrelators or the standard decorrelators 10 corresponding to the prior art FIGS. 7 and 8 completely replace, whereby the advantages of Dekorrelatoren invention can be easily integrated into existing decoder set-ups.
  • the post-processor 80 is used to reduce the degree of mixing of the direct signal and the delayed signal.
  • the normal combination represented by the above formula can be modified so that, for example, substantially the first output signal 50 is scaled and used as the first post-processed output signal 82, while the second output signal 52 is used as the basis for the second post-processed output signal 84.
  • the post-processor or the mix-matrix describing the post-processor can either be completely bypassed or the matrix coefficients controlling the combination of the signals in the post-processor 80 can be varied such that little or no additional mixing of the signals occurs.
  • Fig. 4 shows another way to avoid the precedence effect by using a suitable correlator.
  • the im Fig. 3 shown first and second scaler units 76a and 76b compulsory, where, however, the mixer 60 can be omitted.
  • either the audio input signal 54 and / or the delayed representation of the audio input signal 58 is changed or varied in its intensity.
  • the intensity is preferably changed as a function of the delay time of the delay device 56, so that with a shorter delay time a greater reduction the intensity of the audio input signal 54 is achieved.
  • the scaled signals can then be mixed arbitrarily, for example by means of a mid-side coder described above or one of the other blending algorithms described above.
  • Fig. 5 12 schematically illustrates an example of a method according to the invention for generating output signals based on an audio input signal 54.
  • a delay-delayed representation of the audio input signal 54 is combined with the audio input signal 54 to produce a first output signal 52 and obtaining a second output signal 54, wherein in a first time interval the first output signal 52 corresponds to the audio input signal 54 and the second output signal corresponds to the delayed representation of the audio input signal and wherein in a second time interval the first output signal 52 of the delayed representation of the audio input signal input signal and the second output signal 54 corresponds to the audio input signal.
  • An audio decoder 100 includes a standard decorrelator 102 and a decorrelator 104 that corresponds to one of the above-described decorrelators of the invention.
  • the audio decoder 100 is used to generate a multi-channel output signal 106, which in the case shown has two channels by way of example.
  • the multi-channel output is generated based on an audio input signal 108, which may be a mono signal as shown.
  • the standard decorrelator 102 corresponds to the prior art known decorrelators, and the audio decoder is arranged to use the standard decorrelator 102 in a standard mode of operation to alternately supply the decorrelator 104 to a transient audio input signal 108 use.
  • the multichannel representation generated by the audio decoder becomes possible even in the presence of transient input signals or transient downmix signals with good quality.
  • the basic intention is therefore to apply decorrelators according to the invention, if highly decorrelated and transient signals are to be processed. If it is possible to detect transient signals, the decorrelator according to the invention can be used as an alternative to a standard decorrelator.
  • decorrelation information for example, an ICC parameter describing the correlation between two output signals of a multichannel update mix in the MPEG-Surround standard
  • it may additionally be used as a decision criterion to decide which decorrelator to use.
  • outputs of the decorrelators according to the invention for example, the decorrelator of the Fig. 1 and 3
  • standard decorrelators are used to ensure the best possible reproduction quality at all times.
  • the application of the decorrelators according to the invention in the audio decoder 100 is thus signal-dependent.
  • transient signal components for example LPC prediction in the signal spectrum or a comparison of the energies contained in the signal in the low-frequency spectral range with those in the high-frequency spectral range.
  • these detection mechanisms already exist or can be easily implemented.
  • An example of already existing indicators are the above-mentioned correlation or coherence parameters of a signal.
  • these parameters can be used to control the amount of decorrelation of the output channels produced.
  • Examples of the use of existing transient signal detection algorithms are MPEG-Surround, where the control information of the STP tool is suitable for detection and the inter-channel coherence parameters (ICC) can be used.
  • the detection can be done both on the encoder and on the decoder side. In the former case, a signal flag or bit should be transmitted which is evaluated by the audio decoder 100 to switch between the various decorrelators. If the signal processing scheme of the audio decoder 100 is based on overlapping windows for reconstruction of the final audio signal and the overlap of the adjacent windows (frames) is large enough, a simple switch between different decorrelators can be made without introducing audible artifacts.
  • a cross-fading technique can be used in which initially both decorrelators are used in parallel.
  • the signal of the standard decorrelator 102 is then faded out in intensity during the transition to the Dekorrealator 104, while the signal of the decorrelator 104 is simultaneously displayed.
  • hysteresis switching curves can be used in the switching back and forth, which ensure that after switching to a decorrelator this is used for a predetermined minimum time to prevent multiple immediate switching back and forth between the different decorrelators.
  • the decorrelators according to the invention can produce a particularly "wide" sound field.
  • a certain amount of a decorrelated signal is added to a direct signal.
  • the quantity of the decorrelated signal or the dominance of the decorrelated signal in the generated output signal usually determines the width of the perceived sound field.
  • the matrix coefficients of this mixed matrix (mix matrix) are usually controlled by the above-mentioned transmitted correlation parameters or other spatial parameters. Therefore, before switching to a decorrelator according to the invention, the width of the sound field can be first artificially increased by the coefficients of the mix matrix are changed so that the broad sound impression slowly arises before switching to the decorrelators according to the invention. In the other case of switching from the decorrelator according to the invention In the same way, the width of the sound impression can be reduced before the actual switchover takes place.
  • the decorrelators according to the invention have a number of advantages over the prior art, which come into play particularly in the reconstruction of applause-like signals, that is to say of signals which have a high transient signal component.
  • an extremely wide sound field is generated without introducing additional artifacts, which is a great advantage, in particular in the case of transient, applause-like signals.
  • the decorrelators according to the invention can be easily integrated into already existing reproduction chains or decoders and even controlled by parameters which already exist within these decoders in order to achieve the best possible reproduction of a signal. Examples of integration into such existing decoder structures have previously been called Parametric Stereo and MPEG-Surround.
  • the concept according to the invention makes it possible to provide decorrelators which only make extraordinarily small demands on the available computing power, so that on the one hand no expensive investment in hardware is required and, on the other hand, the additional energy consumption of the decorrelators according to the invention is negligible.
  • the first and second time intervals are temporally adjacent and follow each other.
  • the scaler 74 is configured to scale the intensity of the audio input signal 54 as a function of the delay time such that a shorter delay time achieves a greater reduction in the intensity of the audio input signal 54.
  • the mixer 60 is configured to use a delayed representation of the audio input signal 58 whose delay time is greater than 2 ms and less than 50 ms.
  • the delay time is 3, 6, 9, 12, 15 or 30 ms.
  • the mixer 60 is configured to combine the audio input signal 54 and the delayed representation of the audio input signal 58 such that the first and second time intervals are the same length.
  • the mixer 60 is configured to perform the combination such that the time duration of the time intervals in a first pair of first 70 and second 72 time intervals is determined by the sequence of time intervals of a time period of the time intervals in a second pair of first and second time intervals a second time interval.
  • the duration of the first 70 and second 72 time intervals is greater than that twice the average time duration of transient signal components contained in the audio input signal 54.
  • the duration of the first 70 and the second 72 time intervals is greater than 10 ms and less than 200 ms.
  • the first output signal corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58
  • the first output signal 50 corresponds to the delayed representation of the audio input signal 58 and the second output signal 52 corresponds to the audio input signal 54.
  • the first output signal and the second output signal 52 include portions of the audio input signal 58 and the delayed representation of the input audio signal 58, respectively, in an intermediate interval the first interval corresponds to the first input signal to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58, the start interval and the end interval of the first time interval; and wherein in a start interval and in an end interval at the beginning and end of the second time interval 70, the first output signal and the second output signal 52 include portions of the audio input signal 58 and the delayed representation of the audio input signal 58, respectively, at an intermediate interval between the start interval and the end interval of the second time interval corresponds to the first output signal of the delayed representation of the audio input signal 58 and the second output signal 52 corresponds to the audio input signal 54.
  • the inventive method generating output signals can be implemented in hardware or in software.
  • the implementation can be carried out on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the inventive method of generating output signals is executed.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Detergent Compositions (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

In a case of transient audio input signals, in a multi-channel audio reconstruction, uncorrelated output signals are generated from an audio input signal in that the audio input signal is mixed with a representation of the audio input signal delayed by a delay time such that, in a first time interval, a first output signal corresponds to the audio input signal, and a second output signal corresponds to the delayed representation of the audio input signal, wherein, in a second time interval, the first output signal corresponds to the delayed representation of the audio input signal, and the second output signal corresponds to the audio input signal.

Description

Die vorliegende Erfindung befasst sich mit einer Vorrichtung und einem Verfahren zum Erzeugen von dekorrelierten Signalen und insbesondere damit, wie dekorrelierte Signale von einem Signal, das Transienten enthält, derart abgeleitet werden können, dass sich bei der Rekonstruktion eines Vielkanal-Audio-Signals bzw. einer späteren Kombination des dekorrelierten Signals und des Transientensignals keine hörbare Signalverschlechterung ergibt.The present invention relates to an apparatus and a method for generating decorrelated signals, and more particularly to how decorrelated signals from a signal containing transients can be derived such that in the reconstruction of a multi-channel audio signal or a subsequent combination of the decorrelated signal and the transient signal will result in no audible signal degradation.

Viele Anwendungen im Bereich der Audiosignal-Verarbeitung erfordern das Erzeugen eines dekorrelierten Signals basierend auf einem bereitgestellten Audio-Eingangssignal. Als Beispiele seien hier der Stereo-Up-Mix eines Monosignals, der Vielkanal-Up-Mix basierend auf einem Mono oder Stereo-Signal, die künstliche Hallerzeugung oder das Verbreitern der Stereo-Basis genannt.Many audio signal processing applications require the generation of a decorrelated signal based on a provided audio input signal. Examples include the stereo-up mix of a mono signal, the multichannel up-mix based on a mono or stereo signal, called artificial reverb generation or broadening the stereo base.

Aktuelle Verfahren bzw. Systeme leiden unter einer starken Verschlechterung der Qualität bzw. des wahrnehmbaren Klangeindrucks, wenn sie mit einer speziellen Klasse von Signalen konfrontiert werden (applaus-ähnliche Signale). Dies ist insbesondere dann der Fall, wenn die Wiedergabe über Kopfhörer erfolgt. Darüber hinaus benutzen StandardDekorrelatoren Verfahren, die eine hohe Komplexität aufweisen, bzw. einen hohen Rechenaufwand erfordern.Current methods or systems suffer from a strong deterioration of the quality or the perceptible sound impression when they are confronted with a special class of signals (applause-like signals). This is especially the case when playing via headphones. In addition, standard decorrelators use methods that are highly complex or require a high computational effort.

Zur Verdeutlichung des Problems zeigen die Fig. 7 und 8 die Anwendung von Dekorrelatoren in der Signalbearbeitung. Dabei soll zunächst kurz auf den in Fig. 7 gezeigten Mono-zu-Stereo-Decoder eingegangen werden.To illustrate the problem show the FIGS. 7 and 8 the use of decorrelators in signal processing. It should first briefly on the in Fig. 7 received mono-to-stereo decoder will be received.

Dieser weist einen Standard-Dekorrelator 10 und eine Mix-Matrix 12 auf. Der Mono-zu-Stereo-Decoder dient dazu, ein eingespeistes Mono-Signal 14 in ein Stereo-Signal 16, bestehend aus einem linken Kanal 16a und einem rechten Kanal 16b zu verwandeln. Aus dem eingespeisten Mono-Signal 14 erzeugt der Standarddekorrelator 10 ein dekorreliertes Signal 18 (D), welches zusammen mit dem eingespeisten Mono-Signal 14 an die Eingänge der Mix-Matrix 12 angelegt wird. In diesem Zusammenhang wird das unbehandelte Mono-Signal oft auch als "trockenes" Signal bezeichnet, wo hingegen das dekorrelierte Signal D als "nasses" Signal bezeichnet wird.This has a standard decorrelator 10 and a mix matrix 12. The mono-to-stereo decoder serves to fed mono signal 14 into a stereo signal 16, consisting of a left channel 16a and a right channel 16b to transform. From the fed mono signal 14, the standard decorrelator 10 generates a decorrelated signal 18 (D), which is applied to the inputs of the mix matrix 12 together with the fed-in mono signal 14. In this context, the untreated mono signal is often referred to as a "dry" signal, whereas the decorrelated signal D is called a "wet" signal.

Die Mix-Matrix 12 kombiniert das dekorrelierte Signal 18 und das eingespeiste Mono-Signal 14, um das Stereosignal 16 zu erzeugen. Dabei können die Koeffizienten der Mix-Matrix 12 (H) sowohl fest vorgegeben, signalabhängig oder auch von einer Benutzereingabe abhängig sein. Darüber hinaus kann dieser Mixing-Prozess, der von der Mix-Matrix 12 durchgeführt wird, auch frequenzselektiv sein. Das heißt, unterschiedliche Misch-Operationen bzw. Matrix-Koeffizienten können für unterschiedliche Frequenzbereiche (Frequenzbänder) angewendet werden. Dazu kann das eingespeiste Mono-Signal 14 von einer Filterbank vorprozessiert sein, so dass dieses zusammen mit dem dekorrelierten Signal 18 in einer Filterbank-Repräsentation vorliegt, in der die zu verschiedenen Frequenzbändern gehörenden Signalanteile jeweils separat prozessiert werden.The mix matrix 12 combines the decorrelated signal 18 and the injected mono signal 14 to produce the stereo signal 16. The coefficients of the mix matrix 12 (H) can be fixed, signal-dependent or even dependent on a user input. Moreover, this mixing process performed by the mix matrix 12 may also be frequency selective. That is, different mixing operations or matrix coefficients can be applied for different frequency ranges (frequency bands). For this purpose, the fed-in mono signal 14 can be pre-processed by a filter bank, so that this is present together with the decorrelated signal 18 in a filter bank representation in which the signal components belonging to different frequency bands are processed separately.

Die Kontrolle des Up-Mix-Prozesses, also der Koeffizienten der Mix-Matrix 12, kann durch Benutzerinteraktion über eine Mix-Kontrolle 20 vorgenommen werden. Darüber hinaus können die Koeffizienten der Mix-Matrix 12 (H) auch durch sog. "Seiten-Information" (side information) erfolgen, die zusammen mit dem eingespeisten Monosignal 14 (dem Downmix) übertragen werden. Die Seiteninformation enthält dabei eine parametrische Beschreibung, wie das erzeugte MehrkanalSignal aus dem eingespeisten Mono-Signal 14 (dem übermittelten Signal) erzeugt werden soll. Diese räumliche Seiteninformation wird üblicherweise von einem Encoder vor dem eigentlichen Down-Mix, also dem Erzeugen des eingespeisten Mono-Signals 14, erzeugt.The control of the up-mix process, that is, the coefficients of the mix matrix 12, can be done through user interaction via a mix control 20. In addition, the coefficients of the mix matrix 12 (H) can also be effected by so-called "side information", which are transmitted together with the fed-in mono signal 14 (the downmix). The page information contains a parametric description of how the generated multichannel signal is to be generated from the injected mono signal 14 (the transmitted signal). This spatial page information is usually provided by an encoder before the actual down-mix, ie the generation of the injected mono signal 14, generated.

Oben beschriebenes Vorgehen wird normalerweise beim parametrischen (räumlichen) Audio-Kodieren angewendet (parametric spatial audio coding). Beispielsweise verwendet das sog. "parametric stereo"-Kodieren ( H. Purnhagen: "Low Complexity Parametric Stereo Coding in MPEG-4", 7th International Conference on Audio Effects (DAFX-04), Naples, I-taly, October 2004 ) und das MPEG-Surround-Verfahren ( L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, K. Kjörling: "MPEG Surround: The forthcoming ISO standard for spatial audio coding", AES 28th International Conference, Piteä, Sweden, 2006 ) ein solches Verfahren.The procedure described above is normally applied to parametric (spatial) audio coding (parametric spatial audio coding). For example, so-called "parametric stereo" coding ( H. Purnhagen: "Low Complexity Parametric Stereo Coding in MPEG-4", 7th International Conference on Audio Effects (DAFX-04), Naples, I-taly, October 2004 ) and the MPEG surround method ( L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, K. Kjörling: "MPEG Surround: The forthcoming ISO standard for spatial audio coding", AES 28th International Conference, Pitee, Sweden , 2006 ) such a procedure.

Ein typisches Beispiel eines parametrischen Stereo-Decoders ist in Fig. 8 gezeigt. Zusätzlich zum einfachen, nicht frequenz-selektiven Fall, der in Fig. 7 gezeigt ist, weist der in Fig. 8 gezeigte Decoder eine Analyse-Filterbank 30 und eine Synthese-Filterbank 32 auf. Dies ist der Fall, da hier das Dekorrelieren frequenzabhängig (in der spektralen Domäne) durchgeführt wird. Daher wird zunächst das eingespeiste Monosignal 14 von der Analyse-Filterbank 30 in Signalanteile für unterschiedliche Frequenzbereiche zerlegt. Das heißt, für jedes Frequenzband wird analog zum oben beschriebenen Beispiel ein eigenes dekorreliertes Signal erzeugt. Es werden zusätzlich zum eingespeisten Mono-Signal 14 räumliche Parameter 34 übertragen, die dazu dienen, die Matrixelemente der Mix-Matrix 12 zu bestimmen oder zu variieren, um ein gemischtes Signal zu erzeugen, welches mittels der Synthesefilterbank 32 in den Zeit-Bereich zurücktransformiert wird, um das Stereo-Signal 16 zu bilden.A typical example of a parametric stereo decoder is in Fig. 8 shown. In addition to the simple, non-frequency-selective case, the Fig. 7 is shown in FIG Fig. 8 1, an analysis filter bank 30 and a synthesis filter bank 32 have been shown. This is the case, since decorrelation is performed frequency-dependent (in the spectral domain). Therefore, first of all, the fed-in mono signal 14 is split by the analysis filter bank 30 into signal components for different frequency ranges. That is, for each frequency band, a separate decorrelated signal is generated analogously to the example described above. In addition to the fed-in mono signal 14, spatial parameters 34 are transmitted which serve to determine or vary the matrix elements of the mix matrix 12 in order to generate a mixed signal which is transformed back into the time domain by means of the synthesis filter bank 32 to form the stereo signal 16.

Zusätzlich können die räumlichen Parameter 34 optional über eine Parameterkontrolle 36 verändert werden, um den Up-Mix bzw. das Stereosignal 16 für verschiedene Wiedergabeszenarien unterschiedlich zu erzeugen bzw. die Wiederqualität optimal auf das jeweilige Szenario anzupassen. Werden beispielsweise die räumlichen Parameter 34 für binaurale Wiedergabe angepasst, können die räumlichen Parameter 34 mit Parametern der binauralen Filter kombiniert werden, um die die Mix-Matrix 12 steuernden Parameter zu bilden. Alternativ können die Parameter durch direkte Benutzerinteraktion oder andere Werkzeuge bzw. Algorithmen verändert werden (siehe beispielsweise: Breebart, Jeroen; Herre, Jurgen; Jin, Craig; Kjörling, Kristofer; Koppens, Jeroen; Plogisties, Jan; Villemoes, Lars: Multi-Channel Goes Mobile: MPEG Surround Binaural Rendering. AES 29th International Conference, Seoul, Korea, 2006 September 2 - 4 ).In addition, the spatial parameters 34 can optionally be changed via a parameter control 36 in order to generate the up-mix or the stereo signal 16 differently for different reproduction scenarios or to adapt the quality of reproduction optimally to the respective scenario. For example If the spatial parameters 34 are adapted for binaural reproduction, the spatial parameters 34 can be combined with parameters of the binaural filters in order to form the parameters controlling the mix matrix 12. Alternatively, the parameters may be changed by direct user interaction or other tools or algorithms (see for example: Breebart, Jeroen; Herre, Jurgen; Jin, Craig; Kjörling, Kristofer; Koppens, Jeroen; Plogisties, Jan; Villemoes, Lars: Multi-Channel Goes Mobile: MPEG Surround Binaural Rendering. AES 29th International Conference, Seoul, Korea, 2006 September 2 - 4 ).

Die Ausgabe der Kanäle L und R der Mix-Matrix 12 (H) wird aus dem eingespeisten Monosignal 14 (M) und dem dekorrelierten Signal 18 (D), beispielsweise wie folgt erzeugt: L R = h 11 h 12 h 21 h 22 ⁢ M D

Figure imgb0001
The output of the channels L and R of the mix matrix 12 (H) is generated from the injected mono signal 14 (M) and the decorrelated signal 18 (D), for example as follows: L R = H 11 H 12 H 21 H 22 ⁢ M D
Figure imgb0001

Es wird also in der Mix-Matrix 12 der Anteil des dekorrelierten Signals 18 (D), der im Ausgangssignal enthalten ist, eingestellt. Dabei wird das Mischverhältnis basierend auf den übertragenen räumlichen Parametern 34 zeitlich variiert. Diese Parameter können beispielsweise Parameter sein, die die Korrelation zwischen zwei ursprünglichen Signalen beschreiben (Parameter dieser Art werden beispielsweise beim MPEG-Surround Codieren verwendet und dort unter anderem mit ICC bezeichnet). Zusätzlich werden eventuell Parameter übertragen, die die Energieverhältnisse zwischen zwei ursprünglich vorhandenen Kanälen, die im eingespeisten Mono-Signal 14 enthalten sind, übertragen (ICLD bzw. ICD in MPEG-Surround). Alternativ oder zusätzlich können die Matrixelemente durch direkte Benutzer-Eingabe variiert werden.Thus, the proportion of the decorrelated signal 18 (D) contained in the output signal is set in the mix matrix 12. The mixing ratio is temporally varied based on the transmitted spatial parameters 34. These parameters can be, for example, parameters which describe the correlation between two original signals (parameters of this type are used, for example, in MPEG surround coding, where they are referred to inter alia as ICC). In addition, parameters may be transmitted which transmit the energy relationships between two originally present channels contained in the fed mono signal 14 (ICLD or ICD in MPEG surround). Alternatively or additionally, the matrix elements can be varied by direct user input.

Zum Erzeugen der dekorrelierten Signale werden bis dato eine Reihe unterschiedlicher Verfahren verwendet.To generate the decorrelated signals, a number of different methods have heretofore been used.

Parametric Stereo und MPEG Surround verwenden All-Pass-Filter, also Filter, die den gesamten Spektralbereich passieren lassen, jedoch eine spektral abhängige Filtercharakteristik aufweisen. In Binaural Cue Coding (BCC, Faller und Baumgarte, siehe beispielsweise: C. Faller: "Parametric Coding Of Spatial Audio", Ph.D. thesis, EPFL, 2004 ) wird eine "Gruppenverzögerung" zur Dekorrelation vorgeschlagen. Dazu wird eine frequenzabhängige Gruppenverzögerung auf das Signal angewendet, indem die Phasen in dem DFT-Spektrum des Signals verändert werden. Es werden also verschiedene Frequenzbereiche unterschiedlich lange verzögert. Ein solches Verfahren fällt allgemein unter den Oberbegriff der Phasen-Manipulationen.Parametric Stereo and MPEG Surround use all-pass filters, which are filters that allow the entire spectral range to pass, but have a spectral-dependent filter characteristic. In Binaural Cue Coding (BCC, Faller and Baumgarte, see for example: C. Faller: "Parametric Coding Of Spatial Audio", Ph.D. thesis, EPFL, 2004 ) a "group delay" is proposed for decorrelation. For this, a frequency-dependent group delay is applied to the signal by changing the phases in the DFT spectrum of the signal. So different frequency ranges are delayed for different lengths. Such a method generally falls under the generic term of phase manipulations.

Zusätzlich ist die Verwendung einfacher Delays, also fester Zeitverzögerungen, bekannt. Dieses Verfahren wird beispielsweise zum Erzeugen von Surround-Signalen für die hinteren Lautsprecher in Vielkanal-Konfigurationen angewendet, um diese wahrnehmungsmäßig von den Frontsignalen zu dekorrelieren. Ein typisches solches Matrix-Surround-System ist Dolby ProLogic II, welches eine Zeitverzögerung für die hinteren Audio-Kanäle zwischen 20 und 40 ms verwendet. Eine derart einfache Implementierung ist zur Erzeugung einer Dekorrelation zwischen vorderen und hinteren Lautsprechern möglich, da diese hinsichtlich des Hörerlebnisses wesentlich weniger kritisch ist als die Dekorrelation zwischen linken und rechten Kanälen. Diese hat eine wesentliche Bedeutung für die vom Hörer wahrgenommene "Breite" des rekonstruierten Signals (siehe dazu: J. Blauert: "Spatial hearing: The psychophysics of human sound localization"; MIT Press, Revised edition, 1997 ).In addition, the use of simple delays, so fixed time delays known. This method is used, for example, to generate surround signals for the rear speakers in multi-channel configurations to perceptually decorrelate them from the front signals. A typical such matrix surround system is Dolby ProLogic II, which uses a time delay for the rear audio channels between 20 and 40 ms. Such a simple implementation is possible for generating a decorrelation between front and rear speakers, as this is much less critical in terms of the listening experience than the decorrelation between left and right channels. This has an essential significance for the perceived "breadth" of the reconstructed signal (see: J. Blauert: "Spatial hearing: The psychophysics of human sound localization"; MIT Press, Revised edition, 1997 ).

Die gängigen Dekorrelationsverfahren, die vorhergehend beschrieben wurden, weisen die folgenden erheblichen Nachteile auf:

  • spektrale Einfärbung des Signals (Kammfiltereffekt)
  • reduzierte "Knackigkeit" des Signals
  • störende Echo- und Halleffekte
  • unzufriedenstellend wahrgenommene Dekorrelation bzw. unzufriedenstellende Breite der Audio-Abbildung
  • repetitiver Klangcharakter.
The common decorrelation methods previously described have the following significant disadvantages:
  • spectral coloring of the signal (comb filter effect)
  • reduced "crackling" of the signal
  • disturbing echo and reverb effects
  • unsatisfactorily perceived decorrelation or unsatisfactory width of the audio image
  • repetitive sound character.

Dabei hat die Erfahrung gezeigt, dass insbesondere Signale mit einer hohen zeitlichen Dichte und räumlichen Verteilung transienter Ereignisse, die zusammen mit einer breitbandigen rausch-artigen Signalkomponente übertragen werden, die für diese Art der Signalbearbeitung kritischsten Signale darstellen. Dies ist insbesondere für applaus-ähnliche Signale der Fall, die die vorgenannten Eigenschaften besitzen. Die Ursache dafür ist, dass durch die Dekorrelation jedes einzelne transiente Signal (Ereignis) zeitlich verschmiert werden kann, während gleichzeitig der rauschähnliche Hintergrund durch Kammfiltereffekte spektral verfärbt wird, was als Veränderung der Klangfärbung des Signals leicht wahrnehmbar ist.Experience has shown that, in particular, signals with a high temporal density and spatial distribution of transient events, which are transmitted together with a broadband noise-like signal component, represent the most critical signals for this type of signal processing. This is the case in particular for applause-like signals which have the aforementioned properties. The reason for this is that the decorrelation can blur each individual transient signal (event), while at the same time the noise-like background is spectrally discolored by comb filter effects, which is easily perceptible as a change in the tone coloration of the signal.

Zusammengefasst erzeugen die bekannten Dekorrelationsverfahren entweder die oben beschriebenen Artefakte oder sie sind nicht in der Lage, den erforderlichen Grad an Dekorrelation zu erzeugen.In summary, the known decorrelation methods either generate the artifacts described above or are unable to produce the required degree of decorrelation.

Dabei gilt es insbesondere zu beachten, dass das Abhören über Kopfhörer im Allgemeinen kritischer ist als das Abhören über Lautsprecher. Daher sind die oben beschriebenen Nachteile besonders für Applikationen relevant, die üblicherweise das Abhören mit einem Kopfhörer voraussetzen. Dies ist meist für portable Abspielgeräte der Fall, die darüber hinaus nur einen geringen Energievorrat zur Verfügung haben. In diesem Zusammenhang ist auch die Rechenkapazität, die für die Dekorrelation aufwendet werden muss, ein wichtiger Aspekt. Die meisten bekannten Dekorrelationsalgorithmen sind äußerst rechenintensiv. Daher erfordern sie bei einer Implementierung eine relativ hohe Anzahl von Rechenoperationen, was dazu führt, dass schnelle Prozessoren verwendet werden müssen, die unweigerlich viel Energie verbrauchen. Zusätzlich wird zur Implementierung solcher komplizierten Algorithmen eine große Menge an Speicher benötigt. Dies führt wiederum zur Erhöhung des Energiebedarfs.It is particularly important to note that listening to headphones is generally more critical than listening to loudspeakers. Therefore, the disadvantages described above are particularly relevant for applications that usually require listening to a headset. This is usually the case for portable players, which also have only a small amount of energy available. In this context, the computing capacity that needs to be spent on decorrelation is also an important issue. Most known decorrelation algorithms are extremely computationally intensive. Therefore, in one implementation, they require a relatively large number of arithmetic operations, resulting in the need to use fast processors that inevitably consume much energy consume. In addition, a large amount of memory is needed to implement such complicated algorithms. This in turn leads to an increase in energy consumption.

Insbesondere bei der Wiedergabe von binauralen Signalen (und dem Abhören über Kopfhörer) ergeben sich eine Reihe von speziellen Problemen, die die wahrgenommene Reproduktionsqualität des wiedergegebenen Signals betreffen. Zum einen ist es bei Applaussignalen besonders wichtig, den Anschlag eines jeden Klatsch-Ereignisses korrekt wiederzugeben, um das transiente Ereignis nicht zu verfälschen. Daher wird ein Dekorrelator benötigt, der den Anschlag nicht zeitlich verschmiert, der also keine zeitlich dispersive Charakteristik aufweist. Oben beschriebene Filter, die eine frequenzabhängige Gruppenverzögerung einführen, beziehungsweise All-Pass-Filter im Allgemeinen sind dafür nicht geeignet. Zusätzlich ist es erforderlich, einen repetitiven Klangeindruck zu vermeiden, wie er beispielsweise durch eine einfache Zeitverzögerung hervorgerufen wird. Sollte eine solche einfache Zeitverzögerung verwendet werden, um ein dekodiertes Signal zu erzeugen, welches daraufhin mit einer Mix-Matrix zum direkten Signal addiert wird, klingt das Ergebnis äußerst repetitiv und somit unnatürlich. Eine solche statische Verzögerung erzeugt darüber hinaus Kammfiltereffekte, also unerwünschte spektrale Verfärbungen im rekonstruierten Signal.In particular, when playing back binaural signals (and listening through headphones), there are a number of special problems relating to the perceived reproduction quality of the reproduced signal. Firstly, it is particularly important in applause signals to correctly reflect the attack of each gossip event so as not to falsify the transient event. Therefore, a decorrelator is needed, which does not smear the stop in time, which therefore has no time-dispersive characteristic. Above-described filters which introduce a frequency-dependent group delay or all-pass filters in general are not suitable for this purpose. In addition, it is necessary to avoid a repetitive sound impression, such as caused by a simple time delay. Should such a simple time delay be used to generate a decoded signal which is then added to the direct signal with a mix matrix, the result will sound extremely repetitive and thus unnatural. In addition, such a static delay produces comb filter effects, ie unwanted spectral discoloration in the reconstructed signal.

Bei Verwendung in einfachen Zeitverzögerungen kommt es darüber hinaus zum bekannten Präzedenzeffekt (siehe beispielsweise: J. Blauert: "Spatial hearing: The psychophysics of human sound localization"; MIT Press, Revised edition, 1997 ). Dieser rührt daher, dass es einen zeitlich führenden und einen zeitlich nachfolgenden Ausgabekanal gibt, wenn eine einfache Zeitverzögerung verwendet wird. Das menschliche Gehör nimmt den Ursprung eines Tons bzw. eines Klangs oder eines Objekts in derjenigen räumlichen Richtung wahr, aus der es das Geräusch zuerst hört. Die Signalquelle wird also in derjenigen Richtung wahrgenommen, in der zufällig der Signalanteil des zeitlich führenden Ausgabekanals (Leading-Signals) wiedergegeben wird, unabhängig davon, ob die eigentlich für die räumliche Zuordnung zuständigen räumlichen Parameter etwas anderes anzeigen.Moreover, when used in simple time delays, the known precedence effect occurs (see, for example: J. Blauert: "Spatial hearing: The psychophysics of human sound localization"; MIT Press, Revised edition, 1997 ). This is because there is a temporally leading and a temporally subsequent output channel when a simple time delay is used. The human ear perceives the origin of a sound or an object in the spatial direction from which it first hears the sound. The signal source is ie perceived in the direction in which the signal component of the time-leading output channel (leading signal) is randomly reproduced, irrespective of whether the spatial parameters actually responsible for the spatial allocation indicate otherwise.

Aus der WO 2005/091678 ist ein Dekorrelator bekannt, bei dem Verzögerungen des Eingangssignals verändert werden.From the WO 2005/091678 For example, a decorrelator is known in which delays of the input signal are changed.

Aus der US 2005/0047618 ist ein dynamischer Dekorrelator mit veränderlicher Phasenverschiebung bekannt.From the US 2005/0047618 is a dynamic decorrelator with variable phase shift known.

Weitere Dekorrelatoren sind aus der US 2006/165184 und aus der WO 2006/008697 bekannt.Further decorrelators are from the US 2006/165184 and from the WO 2006/008697 known.

Aus der US 2006/0239473 ist ein Dekorrelator mit einem Mischer zum Kombinieren einer verzögerten Darstellung eines Audio-Eingangssignals mit dem Audio-Eingangssignal bekannt.From the US 2006/0239473 For example, a decorrelator with a mixer for combining a delayed representation of an audio input signal with the audio input signal is known.

Die US-Patentanmeldung 2006/0053018 beschreibt einen Synthesizer zum Erzeugen eines dekorrelierten Signals, der eine Mehrzahl von Subband-Signalen verwendet, um ein dekorreliertes Signal zu erzeugen. Dabei wird jedes einzelne Subband-Signal mit einem Hall-Filter gefiltert. Die Hallgefilterten Teilsignale werden zu einem Dekorrelations-Signal zusammengefasst. Die dekorrelierten Signale werden also durch Signalmanipulation an einer Vielzahl von Subband-Signalen durchgeführt.The US Patent Application 2006/0053018 describes a synthesizer for generating a decorrelated signal using a plurality of subband signals to produce a decorrelated signal. Each subband signal is filtered with a Hall filter. The Hall-filtered sub-signals are combined to form a decorrelation signal. The decorrelated signals are thus carried out by signal manipulation on a plurality of subband signals.

Die internationale Patentanmeldung WO2005/086139 beschreibt die Dekodierung eines Mono-Downmix-Signals, das aus einem Vielkanal-Signal gewonnen wurde. Zur Rekonstruktion verwendete dekorrelierte Signale werden gewonnen, indem das Down-mix-Signal (Misch-Signal) mit einer Filterbank in Subband-Signale aufgeteilt werden, welche mit variablen Phasenwinkeln beaufschlagt werden. Zusätzlich wird eine Transienten-Erkennung durchgeführt, um beim Vorliegen transienter Signale die dekorrelierten Signale anders zu erzeugen.The international patent application WO2005 / 086139 describes the decoding of a mono downmix signal obtained from a multi-channel signal. Decorrelated signals used for reconstruction are obtained by dividing the down-mix signal (mixing signal) with a filter bank into subband signals which are subjected to variable phase angles. In addition, transient detection is performed to otherwise produce the decorrelated signals in the presence of transient signals.

Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung und ein Verfahren zum Dekorrelieren von Signalen zu schaffen, die die Signalqualität beim Vorliegen von transienten Signalen verbessert.The object of the present invention is to provide an apparatus and a method for decorrelating signals, which improves the signal quality in the presence of transient signals.

Diese Aufgabe wird durch einen Dekorrelator gemäß Patentanspruch 1 und durch ein Verfahren zum Erzeugen dekorrelierter Signale gemäß Patentanspruch 11 gelöst.This object is achieved by a decorrelator according to claim 1 and by a method for generating decorrelated signals according to claim 11.

Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass für transiente Audio-Eingangssignale dekorrelierte Ausgangssignale dadurch erzeugt werden können, dass das Audio-Eingangssignal mit einer um eine Verzögerungszeit verzögerten Repräsentation des Audio-Eingangssignals so gemischt wird, dass in einem ersten Zeitintervall ein erstes Ausgangssignal dem Audio-Eingangssignal und ein zweites Ausgangssignal der verzögerten Repräsentation des Audio-Eingangssignals entspricht, wobei in einem zweiten Zeitintervall das erste Ausgangssignal der verzögerten Repräsentation des Audio-Eingangssignals und das zweite Ausgangssignal dem Audio-Eingangssignal entspricht.The present invention is based on the finding that decorrelated output signals can be generated for transient audio input signals by mixing the audio input signal with a delayed representation of the audio input signal by a delay time such that a first output signal is output in a first time interval the audio input signal and a second output signal of the delayed representation of the audio input signal, wherein in a second time interval, the first output signal of the delayed representation of the audio input signal and the second output signal corresponds to the audio input signal.

Mit anderen Worten werden von einem Audio-Eingangssignal zwei voneinander dekorrelierte Signale so abgeleitet, dass zunächst eine zeitverzögerte Kopie des Audio-Eingangssignals erzeugt wird. Dann werden die beiden Ausgangssignale dadurch erzeugt, dass das Audio-Eingangssignal und die verzögerte Repräsentation des Audio-Eingangssignals wechselseitig für die beiden Ausgangssignale verwendet werden.In other words, two mutually decorrelated signals are derived from an audio input signal such that a time-delayed copy of the audio input signal is first generated. Then, the two output signals are generated by mutually using the audio input signal and the delayed representation of the audio input signal for the two output signals.

In einer zeitdiskreten Darstellung bedeutet dies, dass die Reihe von Sample-Werten der Ausgangssignale abwechselnd direkt vom Audio-Eingangssignal und von der verzögerten Repräsentation des Audio-Eingangssignals verwendet werden. Zum Erzeugen des dekorrelierten Signals wird dabei eine Zeitverzögerung verwendet, die frequenzunabhängig ist und daher die Anschläge der Klatschgeräusche zeitlich nicht verschmiert. Im Falle einer zeitdiskreten Darstellung ist dafür eine Zeitverzögerungskette, die eine geringe Anzahl von Speicherelementen aufweist, ein guter Kompromiss zwischen der erzielbaren räumlichen Breite eines rekonstruierten Signals und des zusätzlichen Speicherbedarfs. Die gewählte Verzögerungszeit ist bevorzugt kleiner als 50 ms, besonders bevorzugt kleiner oder gleich 30 ms.In a discrete-time representation, this means that the series of sample values of the output signals are used alternately directly from the audio input signal and from the delayed representation of the audio input signal. To generate the decorrelated signal, a time delay is used which is frequency-independent and therefore does not blur the attacks of the gossip noise over time. In the case of a discrete-time representation, a time delay chain which has a small number of memory elements is a good compromise between the achievable spatial width of a reconstructed signal and the additional memory requirement. The selected delay time is preferably less than 50 ms, particularly preferably less than or equal to 30 ms.

Somit wird das Problem der Präzedenz dadurch gelöst, dass in einem ersten Zeitintervall das Audio-Eingangssignal direkt den linken Kanal bildet, während im anschließenden zweiten Zeitintervall die verzögerte Repräsentation des Audio-Eingangssignals als linker Kanal verwendet wird. Für den rechten Kanal gilt das Vorgehen entsprechend.Thus, the problem of precedence is solved by making the audio input signal directly the left channel in a first time interval, while in the subsequent second time interval the delayed representation of the audio input signal is used as the left channel. For the right channel, the procedure applies accordingly.

Bei einem bevorzugten Ausführungsbeispiel ist die Umschaltzeit zwischen den einzelnen Vertauschungsvorgängen größer gewählt als die Dauer eines typischerweise im Signal auftretenden transienten Ereignisse. Werden also der führende und der folgende Kanal periodisch (oder zufällig) in Intervallen (beispielsweise 100 ms Länge) vertauscht, kann bei geeigneter Wahl der Intervalllänge eine Verfälschung der Richtungsortung durch die Trägheit des menschlichen Hörapparats unterdrückt werden.In a preferred embodiment, the switching time between the individual transposition operations is chosen to be greater than the duration of a transient event typically occurring in the signal. Thus, if the leading and following channels are periodically (or randomly) interchanged at intervals (for example, 100 ms in length), if the interval length is suitably selected, falsification of the directional location due to the inertia of the human hearing apparatus can be suppressed.

Erfindungsgemäß wird es somit also möglich, ein breites Klangfeld zu erzeugen, welches transiente Signale (beispielsweise Klatschen) nicht verfälscht und darüber hinaus nicht einen repetitiven Klangcharakter besitzt.Thus, according to the invention, it thus becomes possible to produce a broad sound field which does not distort transient signals (for example, clapping) and, moreover, does not have a repetitive sound character.

Die erfindungsgemäßen Dekorrelatoren verwenden lediglich eine extrem geringe Anzahl arithmetrischer Operationen. Insbesondere sind lediglich eine einzige Zeitverzögerung und eine geringe Anzahl von Multiplikationen erforderlich, um erfindungsgemäß dekorrelierte Signale zu erzeugen. Der Austausch einzelner Kanäle ist eine einfache Kopieroperation, erfordert also keinen zusätzlichen Rechenaufwand. Optionale Signalanpassungs- bzw. Nachprozessierverfahren erfordern ebenfalls lediglich eine Addition bzw. eine Subtraktion, also Operationen, die typischerweise von bereits existierender Hardware übernommen werden können. Somit ist lediglich eine geringe Menge an zusätzlichem Speicher für die Implementierung der Verzögerungseinrichtung bzw. der Delay-Line erforderlich. Diese existiert in vielen Systemen und kann ggf. mitbenutzt werden.The decorrelators of the invention use only an extremely small number of arithmetic operations. In particular, only a single time delay and a small number of multiplications are required to produce decorrelated signals according to the invention. The exchange of individual channels is a simple copy operation, so requires no additional computational effort. Optional signal conditioning or post-processing techniques also require only addition or subtraction, that is, operations that typically can be taken over from existing hardware. Thus, only a small amount of additional memory for the implementation of the delay device or the delay line is required. This exists in many systems and can be shared if necessary.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:

Fig. 1
Ein Ausführungsbeispiel eines erfindungsgemäßen Dekorrelators;
Fig. 2
eine Illustration der erfindungsgemäß erzeugten dekorrelierten Signale;
Fig. 2a
zeigt ein weiteres Ausführungsbeispiels eines er- findungsgemäßen Dekorrelators;
Fig. 2b
zeigt Ausführungsbeispiele möglicher Steuersigna- le für den Dekorrelator aus Fig. 2a;
Fig. 3
ein weiteres Ausführungsbeispiel eines erfin- dungsgemäßen Dekorrelators;
Fig. 4
ein Beispiel für eine Vorrichtung zum Erzeugen dekorrelierter Signale;
Fig. 5
ein Beispiel eines erfindungsgemäßen Verfahrens zum Erzeugen von Ausgangssignalen;
Fig. 6
ein Beispiel für einen erfindungsgemäßen Audiode- coder;
Fig. 7
ein Beispiel für einen dem Stand der Technik ent- sprechenden Up-Mixer; und
Fig. 8
ein weiteres Beispiel für einen dem Stand der Technik entsprechenden Up-Mixer/Dekoder.
Preferred embodiments of the present invention will be explained below in detail with reference to the accompanying drawings. Show it:
Fig. 1
An embodiment of a decorrelator according to the invention;
Fig. 2
an illustration of the inventively generated decorrelated signals;
Fig. 2a
shows a further embodiment of a decorrelator according to the invention;
Fig. 2b
shows exemplary embodiments of possible control signals for the decorrelator Fig. 2a ;
Fig. 3
a further embodiment of a decorrelator according to the invention;
Fig. 4
an example of a device for generating decorrelated signals;
Fig. 5
an example of a method according to the invention for generating output signals;
Fig. 6
an example of an audiode coder according to the invention;
Fig. 7
an example of a prior art up-mixer; and
Fig. 8
another example of a prior art up-mixer / decoder.

Fig. 1 zeigt ein Beispiel für einen erfindungsgemäßen Dekorrelator zum Erzeugen eines ersten Ausgangssignals 50 (L') und eines zweiten Ausgangssignals 52 (R'), basierend auf einem Audio-Eingangssignal 54 (M). Fig. 1 shows an example of a decorrelator according to the invention for generating a first output signal 50 (L ') and a second output signal 52 (R') based on an audio input signal 54 (M).

Der Dekorrelator enthält ferner eine Verzögerungseinrichtung 56, um eine verzögerte Repräsentation des Audio-Eingangssignals 58 (M_d) zu erzeugen. Der Dekorrelator weist ferner einen Mixer 60 zum Kombinieren der verzögerten Repräsentation des Audio-Eingangssignals 58 mit dem Audio-Eingangssignal 54 auf; um das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 zu erhalten. Der Mixer 60 wird dabei durch die beiden schematisch dargestellten Schalter gebildet, mittels derer abwechselnd das Audio-Eingangssignal 54 auf das linke Ausgangssignal 50 oder das rechte Ausgangssignal 52 geschalten wird. Selbiges gilt auch für die verzögerte Repräsentation des Audio-Eingangssignals 58. Der Mixer 60 des Dekorrelators funktioniert also so, dass in einem ersten Zeitintervall das erste Ausgangssignal 50 dem Audio-Eingangssignal 54 und das zweite Ausgangssignal der verzögerten Repräsentation des Audio-Eingangssignals 58 entspricht, wobei in einem zweiten Zeitintervall das erste Ausgangssignal 50 der verzögerten Repräsentation des Audio-Eingangssignals und das zweite Ausgangssignal 52 dem Audio-Eingangssignal 54 entspricht. Erfindungsgemäß wird eine Dekorrelation also dadurch erreicht, dass eine zeitverzögerte Kopie des Audio-Eingangskanals 54 angefertigt wird und dass daraufhin als Ausgangskanäle wechselseitig das Audio-Eingangssignal 54 und die verzögerte Repräsentation des Audio-Eingangssignals 58 verwendet werden. Es werden also die die Ausgangssignale bildenden Komponenten (Audio-Eingangssignal 54 und verzögerte Repräsentation des Audio-Eingangssignals 58) getaktet vertauscht. Dabei ist die Länge des Zeitintervalls, für die jeweils vertauscht wird bzw. für die jeweils ein Eingangssignal an dem Ausgangssignal entspricht, variabel. Darüber hinaus können die Zeitintervalle, für die die einzelnen Komponenten vertauscht werden, unterschiedliche Länge haben. Das heißt also, das Verhältnis derjenigen Zeiten, in welchen das erste Ausgangssignal 50 aus dem Audio-Eingangssignal 54 und der verzögerten Repräsentation des Audio-Eingangssignals 58 besteht, ist variabel einstellbar.The decorrelator further includes a delay 56 to produce a delayed representation of the audio input signal 58 (M_d). The decorrelator further includes a mixer 60 for combining the delayed representation of the audio input signal 58 with the audio input signal 54; to obtain the first output signal 50 and the second output signal 52. The mixer 60 is formed by the two switches shown schematically, by means of which alternately the audio input signal 54 is switched to the left output signal 50 or the right output signal 52. The same also applies to the delayed representation of the audio input signal 58. The mixer 60 of the decorrelator thus functions so that in a first time interval the first output signal 50 corresponds to the audio input signal 54 and the second output signal corresponds to the delayed representation of the audio input signal 58, wherein in a second time interval the first output signal 50 corresponds to the delayed representation of the audio input signal and the second output signal 52 corresponds to the audio input signal 54. Thus, according to the present invention, a decorrelation is achieved by making a time-delayed copy of the audio input channel 54 and then alternately using the audio input signal 54 and the delayed representation of the audio input signal 58 as output channels. Thus, the components forming the output signals (audio input signal 54 and delayed representation of the audio input signal 58) are interchanged in a clocked manner. In this case, the length of the time interval, for each of which is reversed or for each of which corresponds to an input signal to the output signal, variable. In addition, the time intervals for which the individual components are exchanged can have different lengths. That is, the ratio of those times in which the first output signal 50 consists of the audio input signal 54 and the delayed representation of the audio input signal 58 is variably adjustable.

Bevorzugt ist dabei die Dauer der Zeitintervalle größer als die mittlere Dauer von Transientenanteilen, die im Audio-Eingangssignal 54 enthalten sind, um eine gute Reproduktion des Signals zu erhalten.Preferably, the duration of the time intervals is greater than the average duration of transient components included in the audio input signal 54 in order to obtain a good reproduction of the signal.

Geeignete Zeitdauern liegen dabei im Zeitintervall zwischen 10 ms und 200 ms, wobei eine typische Zeitdauer beispielsweise 100 ms ist.Suitable durations are in the time interval between 10 ms and 200 ms, with a typical period of time being 100 ms, for example.

Zusätzlich zu den Schaltzeitintervallen kann die Dauer der Zeitverzögerung an die Begebenheiten des Signals angepasst werden oder sogar zeitlich variabel sein. Bevorzugt liegen die Verzögerungszeiten in einem Intervall von 2 ms bis 50 ms. Beispiele für geeignete Verzögerungszeiten sind 3, 6, 9, 12, 15 oder 30 ms.In addition to the switching time intervals, the duration of the time delay can be adapted to the events of the signal or even be time-variable. The delay times are preferably in an interval of 2 ms to 50 ms. Examples of suitable delay times are 3, 6, 9, 12, 15 or 30 ms.

Mit dem in Fig. 1 gezeigten erfindungsgemäßen Dekorrelator ist es zum Einen möglich, dekorrelierte Signale zu erzeugen, die den Anschlag, also den Beginn von transienten Signalen zeitlich nicht verschmieren und darüber hinaus eine sehr hohe Dekorrelation des Signals gewährleisten, was dazu führt, dass ein Hörer ein mit Hilfe eines solchen dekorrelierten Signals rekonstruiertes Mehrkanalsignal als besonders räumlich ausgedehntes Signal wahrnimmt.With the in Fig. 1 On the one hand, it is possible to generate decorrelated signals which do not blur the attack, ie the beginning of transient signals, and, moreover, one ensure very high decorrelation of the signal, resulting in a listener perceiving a multi-channel signal reconstructed using such a decorrelated signal as a particularly spatially extended signal.

Wie anhand von Fig. 1 zu sehen ist, kann dabei der erfindungsgemäße Dekorrelator sowohl für kontinuierliche Audio-signale als auch für gesampelte Audio-Signale, also für Signale, die als Folge diskreter Abtastwerte vorliegen, angewendet werden.As based on Fig. 1 can be seen, the decorrelator according to the invention can be applied both for continuous audio signals as well as for sampled audio signals, that is, for signals that are present as a result of discrete samples.

Fig. 2 zeigt anhand eines solchen in diskreten Abtastwerten vorliegenden Signals die Funktionsweise des Dekorrelators von Fig. 1. Fig. 2 shows on the basis of such a signal present in discrete samples the operation of the decorrelator of Fig. 1 ,

Dabei wird das aus einer Folge von diskreten Samplewerten vorliegende Audio-Eingangssignal 54 und die verzögerte Repräsentation des Audio-Eingangssignals 58 betrachtet. Der Mixer 60 ist hier nur schematisch als zwei mögliche Verbindungswege zwischen dem Audio-Eingangssignal 54 und der verzögerten Repräsentation des Audio-Eingangssignals 58 und den beiden Ausgangssignalen 50 und 52 dargestellt. Ferner ist ein erstes Zeitintervall 70 gezeigt, in dem das erste Ausgangssignal 50 dem Audio-Eingangssignal 54 und das zweite Ausgangssignal 52 der verzögerten Repräsentation des Audio-Eingangssignals 58 entspricht. Der Funktionsweise des Mixers entsprechend entspricht in einem zweiten Zeitintervall 72 das erste Ausgangssignal 50 der verzögerten Repräsentation des Audio-Eingangssignals 58 und das zweite Ausgangssignal 52 dem Audio-Eingangssignal 54.Here, the audio input signal 54 consisting of a sequence of discrete sample values and the delayed representation of the audio input signal 58 are considered. The mixer 60 is shown here only schematically as two possible connection paths between the audio input signal 54 and the delayed representation of the audio input signal 58 and the two output signals 50 and 52. Furthermore, a first time interval 70 is shown, in which the first output signal 50 corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58. In accordance with the operation of the mixer, in a second time interval 72, the first output signal 50 of the delayed representation of the audio input signal 58 and the second output signal 52 correspond to the audio input signal 54.

Im in Fig. 2 gezeigten Fall ist die Zeitdauer des ersten Zeitintervalls 70 und des zweiten Zeitintervalls 72 identisch, obwohl dies nicht Voraussetzung ist, wie bereits oben erwähnt.Im in Fig. 2 In the case shown, the time duration of the first time interval 70 and the second time interval 72 is identical, although this is not a prerequisite, as already mentioned above.

Sie beträgt im dargestellten Fall das zeitliche Äquivalent von vier Abtastwerten, so dass im Takt von vier Abtastwerten zwischen den beiden Signalen 54 und 58 umgeschalten wird, um das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 zu bilden.It is in the illustrated case, the temporal equivalent of four samples, so that in time with four samples is switched between the two signals 54 and 58 to form the first output signal 50 and the second output signal 52.

Das Erfindungsgemäße Konzept zum Dekorrelieren von Signalen kann im Zeitbereich, also mit der zeitlichen Auflösung, die durch die Samplefrequenz gegeben ist, angewendet werden. Genauso ist es möglich, das Konzept auf eine Filterbank-Repräsentation eines Signals anzuwenden, in der das Signal (Audio-Signal) in mehrere diskrete Frequenzbereiche zerlegt ist, wobei das Signal je Frequenzbereich üblicherweise mit verringerter Zeitauflösung vorliegt.The inventive concept for decorrelating signals can be applied in the time domain, ie with the temporal resolution that is given by the sample frequency. Similarly, it is possible to apply the concept to a filterbank representation of a signal in which the signal (audio signal) is split into a plurality of discrete frequency ranges, the signal per frequency range usually having a reduced time resolution.

Fig. 2a zeigt ein weiteres Ausführungsbeispiel, bei dem der Mixer 60 so ausgebildet ist, dass in einem ersten Zeitintervall das erste Ausgangssignal 50 zu einem Anteil X(t) aus dem Audioeingangssignal 54 und zu einem Anteil (1-X(t)) aus der verzögerten Repräsentation des Audio-Eingangssignals 58 gebildet wird. Dementsprechend wird im ersten Zeitintervall das zweite Ausgangssignal 52 zu einem Anteil X(t) von der verzögerten Repräsentation des Audio-Eingangssignals 58 und zu einem Anteil (1-X(t)) von dem Audio-Eingangssignal 54 gebildet. Mögliche Implementierung der Funktion X(t), die man auch als Überblend-Funktion bezeichnen könnte, sind in Fig. 2b gezeigt. Allgemein ist dabei allen Implementierungen, dass der Mixer 60 so funktioniert, dass dieser eine um eine Verzögerungszeit verzögerte Repräsentation des Audio-Eingangssignals 58 mit dem Audio-Eingangssignal 54 kombiniert, um das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 mit zeitlich variierenden Anteilen des Audio-Eingangssignals 54 und der verzögerten Repräsentation des Audio-Eingangssignals 58 zu erhalten. Dabei ist in einem ersten Zeitintervall das erste Ausgangssignal 50 zu einem mehr als 50%igen Anteil aus dem Audio-Eingangssignal 54 und das zweite Ausgangssignal 52 zu einem mehr als 50%igen Anteil aus der verzögerten Repräsentation des Audio-Eingangssignals 58 gebildet. In einem zweiten Zeitintervall ist das erste Ausgangssignal 50 aus einem mehr als 50%igen Anteil der verzögerten Repräsentation des Audio-Eingangssignals 58 und das zweite Ausgangssignal 52 aus einem mehr als 50%igen Anteil des Audio-Eingangssignals gebildet. Fig. 2a FIG. 12 shows another embodiment in which the mixer 60 is arranged such that, in a first time interval, the first output signal 50 results in a portion X (t) of the audio input signal 54 and a portion (1-X (t)) of the delayed representation of the audio input signal 58 is formed. Accordingly, in the first time interval, the second output signal 52 is formed into a portion X (t) of the delayed representation of the audio input signal 58 and a portion (1-X (t)) of the audio input signal 54. Possible implementation of the function X (t), which could also be called a crossfade function, is in Fig. 2b shown. In general, in all implementations, the mixer 60 functions to combine a delay-delayed representation of the audio input signal 58 with the audio input signal 54 to provide the first output signal 50 and the second output signal 52 with time varying portions of the audio Input signal 54 and the delayed representation of the audio input signal 58. In this case, in a first time interval, the first output signal 50 to a more than 50% proportion of the audio input signal 54 and the second output signal 52 to a more than 50% share of the delayed representation of the audio input signal 58 is formed. In a second time interval, the first output signal 50 is off a more than 50% proportion of the delayed representation of the audio input signal 58 and the second output signal 52 are formed from a more than 50% proportion of the audio input signal.

Fig. 2b zeigt mögliche Steuerfunktionen für den Mixer 60, wie er in Fig. 2a dargestellt ist. Aufgetragen ist auf der x-Achse die Zeit t in willkürlichen Einheiten sowie auf der y-Achse die Funktion X(t), die mögliche Funktionswerte von Null bis Eins aufweist. Dabei können andere Funktionen X(t) ebenfalls verwendet werden, die auch nicht notwendigerweise einen Wertebereich von 0 bis 1 aufweisen müssen. Auch andere Wertebereiche, beispielsweise von 0 bis 10, sind vorstellbar. Dargestellt sind drei Beispiele für Funktionen X(t), die die Ausgangssignale in dem ersten Zeitintervall 62 und dem zweiten Zeitintervall 64 bestimmen. Fig. 2b shows possible control functions for the mixer 60, as shown in Fig. 2a is shown. Plotted on the x-axis is the time t in arbitrary units and on the y-axis the function X (t), which has possible function values from zero to one. In this case, other functions X (t) can also be used, which also need not necessarily have a value range of 0 to 1. Other ranges of values, for example from 0 to 10, are conceivable. Shown are three examples of functions X (t) that determine the output signals in the first time interval 62 and the second time interval 64.

Eine erste Funktion 66, die kastenförmig dargestellt ist, entspricht dem in Fig. 2 beschriebenen Fall des Austauschens der Kanäle, bzw. des überblendfreien Umschaltens, das schematisch au ch in Fig. 1 dargestellt ist. Betrachtet man beispielsweise das erste Ausgangssignal 50 von Fig. 2a, so wird dieses im ersten Zeitintervall 62 vollständig vom Audio-Eingangssignal 54 gebildet, während im ersten Zeitintervall 62 das zweite Ausgangssignal 52 vollständig von der verzögerten Repräsentation des Audio-Eingangssignals 58 gebildet wird. Im zweiten Zeitintervall 64 gilt dasselbe umgekehrt, wobei die Länge der Zeitintervalle nicht zwingend identisch sein muss.A first function 66, which is box-shaped, corresponds to that in FIG Fig. 2 described case of exchanging the channels, or the fade-free switching, the schematically au ch in Fig. 1 is shown. For example, consider the first output signal 50 of FIG Fig. 2a , this is completely formed by the audio input signal 54 in the first time interval 62, while in the first time interval 62 the second output signal 52 is completely formed by the delayed representation of the audio input signal 58. In the second time interval 64, the same applies vice versa, wherein the length of the time intervals does not necessarily have to be identical.

Eine zweite, gestrichelt dargestellte, Funktion 58 schaltet die Signale nicht vollständig um, bzw. erzeugt ein erstes und ein zweites Ausgangssignal 50 und 52, die zu keinem Zeitpunkt vollständig aus dem Audio-Eingangssignal 54 oder der verzögerten Repräsentation des Audio-Eingangssignals 58 gebildet werden. Jedoch ist im ersten Zeitintervall 62 das erste Ausgangssignal 50 zu einem mehr als 50-%igen Anteil aus dem Audio-Eingangssignal 54 gebildet, was entsprechend auch für das zweite Ausgangssignal 52 gilt.A second, dashed, function 58 does not completely switch the signals or generate first and second output signals 50 and 52 which at no time are formed entirely from the audio input signal 54 or the delayed representation of the audio input signal 58 , However, in the first time interval 62, the first output signal 50 is in a more than 50% proportion formed from the audio input signal 54, which also applies to the second output signal 52 accordingly.

Eine dritte Funktion 69 ist so implementiert, dass sie zu Überblendzeitpunkten 69a bis 69c, die den Übergangszeitpunkten zwischen dem ersten Zeitintervall 62 und dem zweiten Zeitintervall 64 entsprechen, die also diejenigen Zeitpunkte markieren, an denen die Audio-Ausgangssignale variiert werden, so beschaffen, dass diese einen Überblend-Effekt erzielt. Das heißt also, dass in einem Beginnintervall und in einem Endintervall am Beginn und am Ende des ersten Zeitintervalls 62 das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 sowohl Anteile des Audio-Eingangssignals 58 als auch der verzögerten Repräsentation des Audio-Eingangssignals enthalten.A third function 69 is implemented to provide fade timings 69a-69c corresponding to the transition timings between the first time interval 62 and the second time interval 64, thus marking those times at which the audio output signals are varied this achieves a crossfade effect. That is, in a start interval and in an end interval at the beginning and end of the first time interval 62, the first output signal 50 and the second output signal 52 contain both portions of the audio input signal 58 and the delayed representation of the audio input signal.

In einem Zwischenzeitintervall 69 zwischen dem Beginnintervall und dem Endintervall entspricht das erste Ausgangssignal 50 dem Audio-Eingangssignal 54 und das zweite Ausgangssignal 52 der verzögerten Repräsentation des Audio-Eingangssignals 58. Die Steilheit der Funktion 69 an den Überblendzeitpunkt 69a bis 69c kann in weiten Grenzen variiert werden, um die wahrgenommene Reproduktionsqualität des Audiosignals an die Gegebenheiten anzupassen. Dabei ist jedoch in jedem Fall sichergestellt, dass in einem ersten Zeitintervall das erste Ausgangssignal 50 einen mehr als 50%igen Anteil des Audio-Eingangssignals 54 und das zweite Ausgangssignal 52 einem mehr als 50%igen Anteil der verzögerten Repräsentation des Audio-Eingangssignals 58 enthält, und dass in einem zweiten Zeitintervall 64 das erste Ausgangssignal 50 einen mehr als 50%igen Anteil der verzögerten Repräsentation des Audio-Eingangssignals 58 und das zweite Ausgangssignal 52 einen mehr als 50%igen Anteil des Audio-Eingangssignals 54 enthält.In an intermediate time interval 69 between the beginning interval and the end interval, the first output signal 50 corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58. The steepness of the function 69 at the fade times 69a to 69c can be varied within wide limits be adapted to the perceived reproduction quality of the audio signal to the circumstances. In each case, however, it is ensured that in a first time interval the first output signal 50 contains more than 50% of the audio input signal 54 and the second output signal 52 contains more than 50% of the delayed representation of the audio input signal 58 and that in a second time interval 64, the first output signal 50 includes a greater than 50% portion of the delayed representation of the audio input signal 58 and the second output signal 52 contains greater than 50% proportion of the audio input signal.

Fig. 3 zeigt ein weiteres Ausführungsbeispiel für einen Dekorrelator, der das erfindungsgemäße Konzept implementiert. Dabei sind funktionsidentische oder ähnliche Komponenten mit denselben Bezugszeichen wie in den vorhergehenden Beispielen bezeichnet. Fig. 3 shows a further embodiment of a decorrelator implementing the inventive concept. There are functionally identical or similar components denoted by the same reference numerals as in the preceding examples.

Allgemein gilt im Kontext der gesamten Anmeldung, dass funktionsidentische oder funktionsähnliche Komponenten mit denselben Bezugszeichen bezeichnet sind, so dass deren Beschreibung anhand der einzelnen Ausführungsbeispiele wechselseitig aufeinander anwendbar ist.Generally applies in the context of the entire application that functionally identical or functionally similar components are denoted by the same reference numerals, so that their description is mutually applicable to each other based on the individual embodiments.

Der in Fig. 3 gezeigte Dekorrelator unterscheidet sich vom in Fig. 1 schematisch dargestellten Dekorrelator dadurch, dass das Audio-Eingangssignal 54 und die verzögerte Repräsentation des Audio-Eingangssignals 58 mittels einer optionalen Skaliereinrichtung 74 skaliert werden können, bevor diese dem Mixer 60 zugeführt werden. Die optionale Skaliereinrichtung 74 weist dabei einen ersten Skalierer 76a und einen zweiten Skalierer 76b auf, wobei der erste Skalierer 76a das Audio-Eingangssignal 54 und der zweite Skalierer 76b die verzögerte Repräsentation des Audio-Eingangssignals 58 skalieren kann.The in Fig. 3 shown decorrelator differs from the in Fig. 1 schematically illustrated decorrelator in that the audio input signal 54 and the delayed representation of the audio input signal 58 can be scaled by means of an optional scaling device 74 before they are supplied to the mixer 60. The optional scaler 74 includes a first scaler 76a and a second scaler 76b, wherein the first scaler 76a may scale the audio input 54 and the second scaler 76b may scale the delayed representation of the audio input 58.

Die Verzögerungseinrichtung 56 wird von dem Audio-Eingangssignal (monophonisch) 54 gespeist. Der erste Skalierer 76a und der zweite Skalierer 76b können optional die Intensität des Audio-Eingangssignals und der verzögerten Repräsentation des Audio-Eingangssignals variieren. Bevorzugt wird dabei die Intensität des zeitlich folgenden Signals (G_lagging), also der verzögerten Repräsentation des Audio-Eingangssignals 58 erhöht und/oder die Intensität des führenden Signals (G_leading), also des Audio-Eingangssignals 54, erniedrigt. Die Änderung der Intensität kann dabei beispielsweise anhand der folgenden einfachen multiplikativen Operationen vorgenommen werden, bei denen ein geeignet gewählter Verstärkungsfaktor an die einzelnen Signalkomponenten multipliziert wird: Lʹ = M * G_leading

Figure imgb0002
Rʹ = M_d * G_lagging
Figure imgb0003
 The delay 56 is fed by the audio input (monophonic) 54. The first scaler 76a and the second scaler 76b may optionally vary the intensity of the audio input signal and the delayed representation of the audio input signal. Preferably, the intensity of the temporally following signal (G_lagging), ie the delayed representation of the audio input signal 58, is increased and / or the intensity of the leading signal (G_leading), ie the audio input signal 54, is lowered. The change in intensity can be carried out, for example, by means of the following simple multiplicative operations, in which a suitably chosen amplification factor is multiplied to the individual signal components: L' = M * G_leading
Figure imgb0002
 R ' = M_d * G_lagging
Figure imgb0003

Die Verstärkungsfaktoren können dabei so gewählt werden, dass die Gesamtenergie erhalten ist. Zusätzlich können die Verstärkungsfaktoren so definiert sein, dass diese sich signalabhängig verändern. Im Falle von zusätzlich übertragender Seiteninformation, also beispielsweise bei Vielkanal-Audiorekonstruktion, können die Verstärkungsfaktoren auch von der Seiteninformation abhängig sein, so dass diese abhängig von dem zu rekonstruierenden akustischen Szenario variiert werden.The amplification factors can be chosen so that the total energy is obtained. In addition, the gain factors can be defined so that they change signal-dependent. In the case of additionally transmitting side information, that is, for example, in multi-channel audio reconstruction, the amplification factors can also be dependent on the side information, so that these are varied depending on the acoustic scenario to be reconstructed.

Durch die Applikation von Gain-Faktoren bzw. Verstärkungsfaktoren und durch die Variation der Intensität des Audio-Eingangssignals 54 bzw. der verzögerten Repräsentation des Audio-Eingangssignals 58 kann der Präzedenzeffekt (der Effekt, der sich aus der zeitlich verzögerten Wiederholung desselben Signals ergibt) kompensiert werden, indem die Intensität der direkten Komponente bezüglich der verzögerten Komponente so verändert wird, dass verzögerte Komponenten verstärkt und/oder die nicht-verzögerte Komponente abgeschwächt wird. Der durch die eingeführte Verzögerung hervorgerufene Präzedenzeffekt kann also durch Lautstärkeanpassungen (Intensitätsanpassungen), die für das räumliche Hören wichtig sind, teilweise ausgeglichen werden.By applying gain factors and varying the intensity of the audio input signal 54 and the delayed representation of the audio input signal 58, the precedence effect (the effect resulting from the time-delayed repetition of the same signal) can be compensated by varying the intensity of the direct component with respect to the delayed component so as to amplify delayed components and / or attenuate the non-delayed component. The precedence effect caused by the introduced delay can thus be partially compensated for by volume adjustments (intensity adjustments) which are important for spatial hearing.

Wie im obigen Fall werden die verzögerte und die nicht-verzögerte Signalkomponente (das Audio-Eingangssignal 54 und die verzögerte Repräsentation des Audio-Eingangssignals 58) mit einer geeigneten Rate vertauscht, das heißt:

  • L' = M und R' = M_d in einem ersten Zeitintervall und
  • L' = M_d und R' = M in einem zweiten Zeitintervall.
As in the above case, the delayed and non-delayed signal components (the audio input signal 54 and the delayed representation of the audio input signal 58) are swapped at an appropriate rate, that is:
  • L '= M and R' = M_d in a first time interval and
  • L '= M_d and R' = M in a second time interval.

Wird das Signal in Frames, also in diskreten Zeitabschnitten konstanter Länge, verarbeitet, ist das Zeitintervall des Vertauschens (Vertauschungsrate) bevorzugt ein ganzzahliges Vielfaches der Frame-Länge. Ein Beispiel für eine typische Vertauschungszeit oder Vertauschungsperiode ist 100 ms.If the signal is processed in frames, ie in discrete time segments of constant length, the time interval of the exchange (exchange rate) is preferably an integer multiple of the frame length. An example of a typical Interchange time or permutation period is 100 ms.

Das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 können direkt als Ausgangssignal ausgegeben werden, wie in Fig. 1 gezeigt. Wenn die Dekorrelation auf Grundlage von transformierten Signalen stattfindet, ist nach der Dekorrelation selbstverständlich eine Rücktransformation erforderlich. Der Dekorrelator in Fig. 3 weist zusätzlich einen optionalen Nachprozessor 80 auf, der das erste Ausgangssignal 50 und das zweite Ausgangssignal 52 kombiniert, um an seinem Ausgang ein nachprozessiertes Ausgangssignal 82 und ein zweites nachprozessiertes Ausgangssignal 84 bereitzustellen, der Nachprozessor kann dabei mehrere vorteilhafte Wirkungen aufweisen. Zum einen kann er dazu dienen, dass Signal für weitere Verfahrensschritte, beispielsweise einen darauffolgenden Up-Mix in einer Mehrkanalrekonstruktion so aufzubereiten, dass ein bereits existierender Dekorrelator durch den erfindungsgemäßen Dekorrelator ersetzt werden kann, ohne den Rest der Signalverarbeitungskette verändern zu müssen.The first output signal 50 and the second output signal 52 may be output directly as an output signal, as in FIG Fig. 1 shown. Of course, if the decorrelation takes place based on transformed signals, after the decorrelation, an inverse transformation is required. The decorrelator in Fig. 3 additionally has an optional post-processor 80 which combines the first output signal 50 and the second output signal 52 to provide at its output a post-processed output signal 82 and a second post-processed output signal 84, the post-processor may have several beneficial effects. On the one hand, it can serve to reprocess the signal for further method steps, for example a subsequent up-mix in a multi-channel reconstruction, so that an already existing decorrelator can be replaced by the decorrelator according to the invention without having to modify the rest of the signal processing chain.

So kann beispielsweise der in Fig. 3 gezeigte Dekorrelator die dem Stand der Technik entsprechenden Dekorrelatoren bzw. die Standarddekorrelatoren 10 der Fig. 7 und 8 vollständig ersetzen, wodurch die Vorteile der erfindungsgemäßen Dekorrelatoren auf einfache Art und Weise in bereits existierende Dekoder-Set-ups integriert werden können.For example, the in Fig. 3 The decorrelators shown in FIGS. 1 and 2 show the decorrelators or the standard decorrelators 10 corresponding to the prior art FIGS. 7 and 8 completely replace, whereby the advantages of Dekorrelatoren invention can be easily integrated into existing decoder set-ups.

Ein Beispiel für eine Signalnachbearbeitung, wie sie durch den Nachprozessor 80 durchgeführt werden kann, ist anhand der folgenden Gleichungen gegeben, welche eine Mitte-Seite (MS)-Codierung beschreiben: M = 0.707 * Lʹ + Rʹ

Figure imgb0004
D = 0.707 * Lʹ - Rʹ
Figure imgb0005
 An example of signal postprocessing, as may be performed by the post-processor 80, is given by the following equations describing mid-page (MS) encoding: M = 0707 * L' + R '
Figure imgb0004
 D = 0707 * L' - R '
Figure imgb0005

In einem weiteren Ausführungsbeispiel wird der Nachprozessor 80 dazu verwendet, den Grad der Vermischung des direkten Signals und des verzögerten Signals zu verringern. Dabei kann die anhand der obigen Formel dargestellte normale Kombination modifiziert werden, so dass beispielsweise im Wesentlichen das erste Ausgangssignal 50 skaliert und als erstes nachprozessiertes Ausgangssignal 82 verwendet wird, während das zweite Ausgangssignal 52 als Grundlage für das zweite nachprozessierte Ausgangssignal 84 verwendet wird. Der Nachprozessor bzw. die den Nachprozessor beschreibende Mix-Matrix kann dabei entweder vollständig umgangen werden oder die Matrix-Koeffizienten, die die Kombination der Signale im Nachprozessor 80 steuern, können so variiert werden, dass nur wenig oder keine zusätzliche Mischung der Signale auftritt.In another embodiment, the post-processor 80 is used to reduce the degree of mixing of the direct signal and the delayed signal. In this case, the normal combination represented by the above formula can be modified so that, for example, substantially the first output signal 50 is scaled and used as the first post-processed output signal 82, while the second output signal 52 is used as the basis for the second post-processed output signal 84. The post-processor or the mix-matrix describing the post-processor can either be completely bypassed or the matrix coefficients controlling the combination of the signals in the post-processor 80 can be varied such that little or no additional mixing of the signals occurs.

Fig. 4 zeigt eine weitere Möglichkeit, den Präzedenz-Effekt durch eine geeignete Korrelator zu vermeiden. Dabei sind die im Fig. 3 gezeigten ersten und zweiten Skaliereinheiten 76a und 76b obligatorisch, wo hingegen der Mixer 60 entfallen kann. Fig. 4 shows another way to avoid the precedence effect by using a suitable correlator. Here are the im Fig. 3 shown first and second scaler units 76a and 76b compulsory, where, however, the mixer 60 can be omitted.

Dabei wird, in Analogie zum oben beschriebenen Fall entweder das Audio-Eingangssignal 54 und/oder die verzögerte Repräsentation des Audio-Eingangssignals 58 verändert bzw. in seiner Intensität variiert. Um den Präzedenz-Effekt zu verhindern, werden entweder die Intensität der verzögerten Repräsentation des Audio-Eingangssignals 58 erhöht und/oder die Intensität des Audio-Eingangssignals 54 erniedrigt, wie es den folgenden Gleichungen zu entnehmen ist: Lʹ = M * G_leading

Figure imgb0006
Rʹ = M_d * G_lagging
Figure imgb0007
 In this case, in analogy to the case described above, either the audio input signal 54 and / or the delayed representation of the audio input signal 58 is changed or varied in its intensity. In order to prevent the precedence effect, either the intensity of the delayed representation of the audio input signal 58 is increased and / or the intensity of the audio input signal 54 is lowered, as can be seen from the following equations: L' = M * G_leading
Figure imgb0006
 R ' = M_d * G_lagging
Figure imgb0007

Dabei wird die Intensität bevorzugt in Abhängigkeit von der Verzögerungszeit der Verzögerungseinrichtung 56 verändert, so dass bei kürzerer Verzögerungszeit eine größere Verringerung der Intensität des Audio-Eingangssignals 54 erreicht wird.In this case, the intensity is preferably changed as a function of the delay time of the delay device 56, so that with a shorter delay time a greater reduction the intensity of the audio input signal 54 is achieved.

Vorteilhafte Kombinationen von Verzögerungszeiten und dazugehörigen Verstärkungsfaktoren sind in der folgenden Tabelle zusammengefasst: Delay (ms) 3 6 9 12 15 30 Gain factor 0,5 0,65 0,65 0,7 0,8 0,9 Advantageous combinations of delay times and associated gain factors are summarized in the following table: Delay (ms) 3 6 9 12 15 30 Gain factor 0.5 0.65 0.65 0.7 0.8 0.9

Die skalierten Signale können dann beliebig gemischt werden, beispielsweise mittels eines oben beschriebenen Mitte-Seite-Codierers oder eines der anderen Misch-Algorithmen, die im Vorhergehenden beschrieben wurden.The scaled signals can then be mixed arbitrarily, for example by means of a mid-side coder described above or one of the other blending algorithms described above.

Durch die Skalierung des Signals wird also der Präzedenzeffekt vermieden, indem die zeitlich vorauseilende Komponente in der Intensität verringert wird. Daher kann mittels einer Mischung nun ein Signal erzeugt werden, welches die im Signal enthaltenden Transientenanteile nicht zeitlich verschmiert und darüber hinaus keine unerwünschte Verfälschung des Klangeindrucks durch den Präzedenz-Effekt hervorruft.By scaling the signal so the precedence effect is avoided by the time leading component is reduced in intensity. Therefore, by means of a mixture, a signal can now be generated which does not blur the transient components contained in the signal over time and moreover causes no undesired distortion of the sound impression by the precedence effect.

Fig. 5 zeigt schematisch ein Beispiel für ein erfindungsgemäßes Verfahren zum Erzeugen von Ausgangssignalen, basierend auf einem Audio-Eingangssignal 54. In einem Kombinationsschritt 90 wird eine um eine Verzögerungszeit verzögerte Repräsentation des Audio-Eingangssignals 54 mit dem Audio-Eingangssignal 54 kombiniert, um ein erstes Ausgangssignal 52 und ein zweites Ausgangssignal 54 zu erhalten, wobei in einem ersten Zeitintervall das erste Ausgangssignal 52 dem Audio-Eingangssignal 54 und das zweite Ausgangssignal der verzögerten Repräsentation des Audio-Eingangssignals entspricht und wobei in einem zweiten Zeitintervall das erste Ausgangssignal 52 der verzögerten Repräsentation des Audio-Eingangssignals und das zweite Ausgangssignal 54 dem Audio-Eingangssignal entspricht. Fig. 5 12 schematically illustrates an example of a method according to the invention for generating output signals based on an audio input signal 54. In a combining step 90, a delay-delayed representation of the audio input signal 54 is combined with the audio input signal 54 to produce a first output signal 52 and obtaining a second output signal 54, wherein in a first time interval the first output signal 52 corresponds to the audio input signal 54 and the second output signal corresponds to the delayed representation of the audio input signal and wherein in a second time interval the first output signal 52 of the delayed representation of the audio input signal input signal and the second output signal 54 corresponds to the audio input signal.

Fig. 6 zeigt die Anwendung des erfindungsgemäßen Konzepts in einem Audio-Decoder. Ein Audio-Decoder 100 umfasst einen Standard-Dekorrelator 102 und einen Dekorrelator 104, der einem der im Vorhergehenden beschriebenen erfindungsgemäßen Dekorrelatoren entspricht. Der Audiodecoder 100 dient dem Erzeugen eines mehrkanaligen Ausgangssignals 106, welches im gezeigten Fall beispielhaft zwei Kanäle aufweist. Das mehrkanalige Ausgangssignal wird basierend auf einem Audio-Eingangssignal 108 erzeugt, das, wie gezeigt, ein Mono-Signal sein kann. Der Standard-Dekorrelator 102 entspricht den im Stand der Technik bekanten Dekorrelatoren und der Audio-Decoder ist so beschaffen, dass dieser im einem Standardbetriebs-Modus den Standard-Dekorrelator 102 verwendet, um bei einem Transienten-Audio-Eingangssignal 108 den Dekorrelator 104 alternativ zu verwenden. So wird die vom Audio-Decoder erzeugte Mehrkanalrepräsentation auch bei Vorliegen von transienten Eingangssignalen bzw. transienten Downmix-Signalen mit guter Qualität möglich. Fig. 6 shows the application of the inventive concept in an audio decoder. An audio decoder 100 includes a standard decorrelator 102 and a decorrelator 104 that corresponds to one of the above-described decorrelators of the invention. The audio decoder 100 is used to generate a multi-channel output signal 106, which in the case shown has two channels by way of example. The multi-channel output is generated based on an audio input signal 108, which may be a mono signal as shown. The standard decorrelator 102 corresponds to the prior art known decorrelators, and the audio decoder is arranged to use the standard decorrelator 102 in a standard mode of operation to alternately supply the decorrelator 104 to a transient audio input signal 108 use. Thus, the multichannel representation generated by the audio decoder becomes possible even in the presence of transient input signals or transient downmix signals with good quality.

Die grundlegende Intention ist also, erfindungsgemäße Dekorrelatoren anzuwenden, wenn stark dekorrelierte und transiente Signale verarbeitet werden sollen. Wenn die Möglichkeit besteht, transiente Signale zu erkennen, kann der erfindungsgemäße Dekorrelator alternativ zu einem Standard-Dekorrelator eingesetzt werden.The basic intention is therefore to apply decorrelators according to the invention, if highly decorrelated and transient signals are to be processed. If it is possible to detect transient signals, the decorrelator according to the invention can be used as an alternative to a standard decorrelator.

Wenn zusätzlich Dekorrelationsinformation zur Verfügung steht (beispielsweise ein ICC-Parameter, der im MPEG-Surround-Standard die Korrelation zwischen zwei Ausgangssignalen eines Vielkanaldownmixes beschreibt), kann diese zusätzlich als Entscheidungskriterium verwendet werden, um zu entscheiden, welcher Dekorrelator verwendet werden soll. So können beispielsweise bei kleinen ICC-Werten (beispielsweise Werten kleiner 0,5) Ausgänge der erfindungsgemäßen Dekorrelatoren (beispielsweise des Dekorrelators der Fig. 1 und 3) verwendet werden. Für nicht-transiente Signale (beispielsweise tonale Signale) werden also StandardDekorrelatoren verwendet, um zu jeder Zeit die bestmögliche Reproduktionsqualität sicherzustellen.In addition, if decorrelation information is available (for example, an ICC parameter describing the correlation between two output signals of a multichannel update mix in the MPEG-Surround standard), it may additionally be used as a decision criterion to decide which decorrelator to use. Thus, for example, with small ICC values (for example, values less than 0.5), outputs of the decorrelators according to the invention (for example, the decorrelator of the Fig. 1 and 3 ) be used. For non-transient signals (eg, tonal signals), standard decorrelators are used to ensure the best possible reproduction quality at all times.

Die Anwendung der erfindungsgemäßen Dekorrelatoren im Audiodecoder 100 ist also signalabhängig. Wie oben erwähnt, existieren Möglichkeiten der Detektion von transienten Signalanteilen (beispielsweise LPC-Prädiktion im Signalspektrum oder ein Vergleich der Energien, die im niederfrequenten Spektralbereich im Signal enthalten sind mit denjenigen im hohen Spektralbereich). In vielen Decodier-Szenarien sind diese Detektionsmechanismen bereits vorhanden oder können einfach implementiert werden. Ein Beispiel für bereits vorhandene Indikatoren sind die oben erwähnten Korrelations- oder Kohärenzparameter eines Signals. Zusätzlich zur einfachen Erkennung des Vorhandenseins von transienten Signalanteilen können diese Parameter verwendet werden, um die Stärke der Dekorrelation der erzeugten Ausgangskanäle zu steuern.The application of the decorrelators according to the invention in the audio decoder 100 is thus signal-dependent. As mentioned above, there are possibilities of detecting transient signal components (for example LPC prediction in the signal spectrum or a comparison of the energies contained in the signal in the low-frequency spectral range with those in the high-frequency spectral range). In many decoding scenarios, these detection mechanisms already exist or can be easily implemented. An example of already existing indicators are the above-mentioned correlation or coherence parameters of a signal. In addition to simply detecting the presence of transient signal components, these parameters can be used to control the amount of decorrelation of the output channels produced.

Beispiele für die Verwendung bereits existierender Detektionsalgorithmen für transiente Signale sind MPEG-Surround, wo die Steuerinformation des STP-Werkzeuges zur Detektion geeignet ist und die Zwischen-Kanal-Kohärenz-Parameter (ICC) verwendet werden können. Die Detektion kann dabei sowohl auf der Encoder als auf der Decoderseite erfolgen. Im erstgenannten Fall wäre ein Signal-Flag oder Bit zu übermitteln, welches vom Audio-Decoder 100 ausgewertet wird, um zwischen den verschiedenen Dekorrelatoren hin und her zu schalten. Wenn das Signalverarbeitungsschema des Audiodecoders 100 auf überlappenden Fenstern zur Rekonstruktion des endgültigen Audiosignals basiert und die Überlappung der benachbarten Fenster (Frames) groß genug ist, kann eine einfache Umschaltung zwischen verschiedenen Dekorrelatoren erfolgen, ohne dass dies zur Einführung hörbarer Artefakte führt.Examples of the use of existing transient signal detection algorithms are MPEG-Surround, where the control information of the STP tool is suitable for detection and the inter-channel coherence parameters (ICC) can be used. The detection can be done both on the encoder and on the decoder side. In the former case, a signal flag or bit should be transmitted which is evaluated by the audio decoder 100 to switch between the various decorrelators. If the signal processing scheme of the audio decoder 100 is based on overlapping windows for reconstruction of the final audio signal and the overlap of the adjacent windows (frames) is large enough, a simple switch between different decorrelators can be made without introducing audible artifacts.

Ist dies nicht der Fall, können verschiedene Maßnahmen ergriffen werden, um einen annäherungsweise unhörbaren Übergang zwischen den unterschiedlichen Dekorrelatoren zu ermöglichen. Dabei kann zum einen eine Überblend-Technik verwendet werden, bei der zunächst beide Dekorrelatoren parallel verwendet werden. Das Signal des Standarddekorrelators 102 wird dann beim Übergang zum Dekorrealator 104 intensitätsmäßig langsam ausgeblendet, während das Signal des Dekorrelators 104 simultan eingeblendet wird. Darüber hinaus können beim hin- und herschalten Hystereseschaltkurven verwendet werden, die sicherstellen, dass nach erfolgter Umschaltung auf einen Dekorrelator dieser für eine vorbestimmte Mindestzeit verwendet wird, um mehrmaliges unmittelbares Hin- und Herschalten zwischen den verschiedenen Dekorrelatoren zu verhindern.If this is not the case, various measures can be taken to allow an approximately inaudible transition between the different decorrelators. In this case, on the one hand, a cross-fading technique can be used in which initially both decorrelators are used in parallel. The signal of the standard decorrelator 102 is then faded out in intensity during the transition to the Dekorrealator 104, while the signal of the decorrelator 104 is simultaneously displayed. In addition, hysteresis switching curves can be used in the switching back and forth, which ensure that after switching to a decorrelator this is used for a predetermined minimum time to prevent multiple immediate switching back and forth between the different decorrelators.

Zusätzlich zu Lautstärkeeffekten kann es zu anderen wahrnehmungspsychologischen Effekten kommen, wenn unterschiedliche Dekorrelatoren verwendet werden.In addition to volume effects, there may be other perceptual psychological effects when using different decorrelators.

Dies ist insbesondere der Fall, da die erfindungsgemäßen Dekorrelatoren einen besonders "breites" Klangfeld erzeugen können. In einer nachgeschalteten Mix-Matrix, wird bei der Vielkanal-Audio-Rekonstruktion einem direkten Signal eine bestimmte Menge eines dekorrelierten Signals zugemischt. Dabei bestimmt die Menge des dekorrelierten Signals bzw. die Dominanz des dekorrelierten Signals im erzeugten Ausgangssignal üblicherweise die Breite des wahrgenommenen Klangfelds. Die Matrixkoeffizienten dieser Misch-Matrix (Mix-Matrix) werden dabei üblicherweise von den oben erwähnten übertragenen Korrelationsparametern bzw. anderen räumlichen Parametern gesteuert. Daher kann vor dem Umschalten auf einen erfindungsgemäßen Dekorrelator die Breite des Klangfeldes zunächst künstlich erhöht werden, indem die Koeffizienten der Mix-Matrix so verändert werden, dass der breite Klangeindruck langsam entsteht, bevor auf die erfindungsgemäßen Dekorrelatoren umgeschalten wird. Im anderen Fall des Umschaltens vom erfindungsgemäßen Dekorrelator kann auf dieselbe Art und Weise die Breite des Klangeindrucks verringert werden, bevor die eigentliche Umschaltung erfolgt.This is particularly the case since the decorrelators according to the invention can produce a particularly "wide" sound field. In a downstream mix matrix, in multichannel audio reconstruction, a certain amount of a decorrelated signal is added to a direct signal. In this case, the quantity of the decorrelated signal or the dominance of the decorrelated signal in the generated output signal usually determines the width of the perceived sound field. The matrix coefficients of this mixed matrix (mix matrix) are usually controlled by the above-mentioned transmitted correlation parameters or other spatial parameters. Therefore, before switching to a decorrelator according to the invention, the width of the sound field can be first artificially increased by the coefficients of the mix matrix are changed so that the broad sound impression slowly arises before switching to the decorrelators according to the invention. In the other case of switching from the decorrelator according to the invention In the same way, the width of the sound impression can be reduced before the actual switchover takes place.

Natürlich können oben beschriebene Umschaltszenarien auch kombiniert werden, um einen besonders weichen Übergang zwischen verschiedenen Dekorrelatoren zu erzielen.Of course, switching scenarios described above can also be combined to achieve a particularly smooth transition between different decorrelators.

Zusammenfassend weisen die erfindungsgemäßen Dekorrelatoren gegenüber dem Stand der Technik eine Reihe von Vorteilen auf, die insbesondere bei der Rekonstruktion applausähnlicher Signale, also von Signalen, die einen hohen transienten Signalanteil aufweisen, zum Tragen kommen. So wird zum einen ein extrem breites Klangfeld erzeugt, ohne zusätzliche Artefakte einzuführen, was insbesondere im Fall von transienten, applausähnlichen Signalen ein großer Vorteil ist. Wie mehrfach gezeigt, können die erfindungsgemäßen Dekorrelatoren einfach in bereits existierende Wiedergabeketten bzw. Decoder integriert werden und sogar von Parametern, die innerhalb dieser Decoder schon vorhanden sind, gesteuert werden, um die bestmögliche Reproduktion eines Signals zu erzielen. Als Beispiele für die Integration in solche existierenden Decoder-Strukturen wurden vorher bereits Parametric Stereo und MPEG-Surround genannt. Darüber hinaus schafft es das erfindungsgemäße Konzept, Dekorrelatoren zur Verfügung zu stellen, die nur außerordentlich geringe Anforderungen an die verfügbare Rechenleistung stellen, so dass zum einen keine teure Investition in Hardware erforderlich ist und zum anderen der zusätzliche Energieverbrauch der erfindungsgemäßen Dekorrelatoren vernachlässigbar ist.In summary, the decorrelators according to the invention have a number of advantages over the prior art, which come into play particularly in the reconstruction of applause-like signals, that is to say of signals which have a high transient signal component. Thus, on the one hand, an extremely wide sound field is generated without introducing additional artifacts, which is a great advantage, in particular in the case of transient, applause-like signals. As shown several times, the decorrelators according to the invention can be easily integrated into already existing reproduction chains or decoders and even controlled by parameters which already exist within these decoders in order to achieve the best possible reproduction of a signal. Examples of integration into such existing decoder structures have previously been called Parametric Stereo and MPEG-Surround. In addition, the concept according to the invention makes it possible to provide decorrelators which only make extraordinarily small demands on the available computing power, so that on the one hand no expensive investment in hardware is required and, on the other hand, the additional energy consumption of the decorrelators according to the invention is negligible.

Obwohl im Vorhergehenden hauptsächlich anhand von diskreten Signalen, also Audio-Signalen, die durch eine Folge von diskreten Abtastwerten repräsentiert werden, argumentiert wurde, dient dies lediglich dem besseren Verständnis. Das erfindungsgemäße Konzept ist ebenso auf kontinuierliche Audiosignale anwendbar, so wie auf andere Darstellungen von Audiosignalen, beispielsweise von Parameterrepräsentationen in frequenztransformierten Darstellungsräumen.Although the foregoing has been argued mainly on the basis of discrete signals, ie audio signals represented by a sequence of discrete samples, this is for the better understanding only. The inventive concept is equally applicable to continuous audio signals, as well as other representations of Audio signals, for example of parameter representations in frequency transformed presentation spaces.

Vorzugsweise sind bei dem Dekorrelator das erste und das zweite Zeitintervall zeitlich benachbart und folgen aufeinander.Preferably, in the decorrelator, the first and second time intervals are temporally adjacent and follow each other.

Vorzugsweise ist bei dem Dekorrelator die Skaliereinrichtung 74 ausgebildet, um die Intensität des Audio-Eingangssignals 54 in Abhängigkeit der Verzögerungszeit so zu skalieren, dass bei kürzerer Verzögerungszeit eine größere Verringerung der Intensität des Audio-Eingangssignals 54 erreicht wird.Preferably, in the decorrelator, the scaler 74 is configured to scale the intensity of the audio input signal 54 as a function of the delay time such that a shorter delay time achieves a greater reduction in the intensity of the audio input signal 54.

Vorzugsweise ist bei dem Dekorrelator bei dem der Mixer 60 ausgebildet ist, eine verzögerte Repräsentation des Audio-Eingangssignals 58 zu verwenden, dessen Verzögerungszeit größer als 2 ms und kleiner als 50 ms.Preferably, in the decorrelator in which the mixer 60 is configured to use a delayed representation of the audio input signal 58 whose delay time is greater than 2 ms and less than 50 ms.

Vorzugsweise beträgt bei dem Dekorrelator die Verzögerungszeit 3, 6, 9, 12, 15 oder 30 ms beträgt.Preferably, in the decorrelator, the delay time is 3, 6, 9, 12, 15 or 30 ms.

Vorzugsweise ist beim dem Dekorrelator der Mixer 60 ausgebildet, das Audio-Eingangssignal 54 und die verzögerte Repräsentation des Audio-Eingangssignals 58 derart zu kombinieren, dass das erste und das zweite Zeitintervall die gleiche Länge besitzen.Preferably, in the decorrelator, the mixer 60 is configured to combine the audio input signal 54 and the delayed representation of the audio input signal 58 such that the first and second time intervals are the same length.

Vorzugsweise ist bei dem Dekorrelator der Mixer 60 ausgebildet, die Kombination derart vorzunehmen, dass sich die Zeitdauer der Zeitintervalle in einem ersten Paar eines ersten 70 und eines zweiten 72 Zeitintervalls aus der Folge von Zeitintervallen von einer Zeitdauer der Zeitintervalle in einem zweiten Paar eines ersten und eines zweiten Zeitintervalls unterscheidet.Preferably, in the decorrelator, the mixer 60 is configured to perform the combination such that the time duration of the time intervals in a first pair of first 70 and second 72 time intervals is determined by the sequence of time intervals of a time period of the time intervals in a second pair of first and second time intervals a second time interval.

Vorzugsweise ist bei dem Dekorrelator die Zeitdauer des ersten 70 und des zweiten 72 Zeitintervalls größer als die doppelte mittlere Zeitdauer von im Audio-Eingangssignal 54 enthaltenen transienten Signalanteilen.
Vorzugsweise ist bei dem Dekorrelator die Zeitdauer des ersten 70 und des zweiten 72 Zeitintervalls größer als 10 ms und kleiner als 200 ms.Preferably, in the decorrelator, the duration of the first 70 and second 72 time intervals is greater than that twice the average time duration of transient signal components contained in the audio input signal 54.
Preferably, in the decorrelator, the duration of the first 70 and the second 72 time intervals is greater than 10 ms and less than 200 ms.

Vorzugsweise entspricht bei dem Verfahren in dem ersten Zeitintervall 70 das erste Ausgangssignal dem Audio-Eingangssignal 54 und das zweite Ausgangssignal 52 der verzögerten Repräsentation des Audio-Eingangssignals 58, wobei in dem zweiten Zeitintervall 72 das erste Ausgangssignal 50 der verzögerten Repräsentation des Audio-Eingangssignals 58 und das zweite Ausgangssignal 52 dem Audio-Eingangssignal 54 entspricht.Preferably, in the method in the first time interval 70, the first output signal corresponds to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58, and in the second time interval 72 the first output signal 50 corresponds to the delayed representation of the audio input signal 58 and the second output signal 52 corresponds to the audio input signal 54.

Vorzugsweise enthält bei dem Verfahren in einem Beginnintervall und in einem Endintervall am Beginn und am Ende des ersten Zeitintervalls 70 das erste Ausgangssignal und das zweite Ausgangssignal 52 Anteile des Audio-Eingangssignals 58 und der verzögerten Repräsentation des Audio-Eingangssignals 58, wobei in einem Zwischenintervall zwischen dem Beginnintervall und dem Endintervall des ersten Zeitintervalls das erste Ausgangssignal dem Audio-Eingangssignal 54 und das zweite Ausgangssignal 52 der verzögerten Repräsentation des Audio-Eingangssignals 58 entspricht; und wobei in einem Beginnintervall und in einem Endintervall am Beginn und am Ende des zweiten Zeitintervalls 70 das erste Ausgangssignal und das zweite Ausgangssignal 52 Anteile des Audio-Eingangssignals 58 und der verzögerten Repräsentation des Audio-Eingangssignals 58 enthalten, wobei in einem Zwischenintervall zwischen dem Beginnintervall und dem Endintervall des zweiten Zeitintervalls das erste Ausgangssignal der verzögerten Repräsentation des Audio-Eingangssignals 58 und das zweite Ausgangssignal 52 dem Audio-Eingangssignal 54 entspricht.Preferably, in the method, in a start interval and in an end interval at the beginning and end of the first time interval 70, the first output signal and the second output signal 52 include portions of the audio input signal 58 and the delayed representation of the input audio signal 58, respectively, in an intermediate interval the first interval corresponds to the first input signal to the audio input signal 54 and the second output signal 52 corresponds to the delayed representation of the audio input signal 58, the start interval and the end interval of the first time interval; and wherein in a start interval and in an end interval at the beginning and end of the second time interval 70, the first output signal and the second output signal 52 include portions of the audio input signal 58 and the delayed representation of the audio input signal 58, respectively, at an intermediate interval between the start interval and the end interval of the second time interval corresponds to the first output signal of the delayed representation of the audio input signal 58 and the second output signal 52 corresponds to the audio input signal 54.

Vorzugsweise enthält das Verfahren folgenden zusätzlichen Schritt:

  • Verzögern des Audio-Eingangssignals 54 um die Verzögerungszeit, um die verzögerte Repräsentation des Audio-Eingangssignals 58 zu erhalten.
Preferably, the method includes the following additional step:
  • Delaying the audio input signal 54 by the delay time to obtain the delayed representation of the audio input signal 58.

Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren Erzeugen von Ausgangssignalen in Hardware oder in Software implementiert werden. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das erfindungsgemäße Verfahren Erzeugen von Ausgangssignalen ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.Depending on the circumstances, the inventive method generating output signals can be implemented in hardware or in software. The implementation can be carried out on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the inventive method of generating output signals is executed. In general, the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Claims (15)

  1. Decorrelator for generating output signals (50, 52) based on an audio input signal (54), comprising:
    a mixer (60) for combining a representation of the audio input signal delayed by a delay time (58) with the audio input signal (54) so as to obtain a first (50) and a second (52) output signal having time-varying portions of the audio input signal (54) and the delayed representation of the audio input signal (58), wherein
    in a first time interval (70), the first output signal (50) contains a proportion of more than 50 percent of the audio input signal (54) and the second output signal (52) contains a proportion of more than 50 percent of the delayed representation of the audio input signal (58), and wherein
    in a second time interval (72), the first output signal (50) contains a proportion of more than 50 percent of the delayed representation of the audio input signal (58), and the second output signal (52) contains a proportion of more than 50 percent of the audio input signal (54).
  2. Decorrelator of claim 1, wherein, in the first time interval (70) the first output signal corresponds to the audio input signal (54), and the second output signal (52) corresponds to the delayed representation of the audio input signal (58), wherein
    in the second time interval (72), the first output signal (50) corresponds to the delayed representation of the audio input signal (58) and the second output signal (52) corresponds to the audio input signal (54).
  3. Decorrelator of claim 1, wherein, in a begin interval and an end interval at the beginning and at the end of the first time interval (70), the first output signal and the second output signal (52) contain portions of the audio input signal (54) and the delayed representation of the audio input signal (58), wherein
    in an intermediate interval between the begin interval and the end interval of the first time interval, the first output signal corresponds to the audio input signal (54), and the second output signal (52) corresponds to the delayed representation of the audio input signal (58); and wherein
    in a begin interval and in an end interval at the beginning and at the end of the second time interval (70), the first output signal and the second output signal (52) contain portions of the audio input signal (54) and the delayed representation of the audio input signal (58), wherein
    in an intermediate interval between the begin interval and the end interval of the second time interval, the first output signal corresponds to the delayed representation of the audio input signal (58), and the second output signal (52) corresponds to the audio input signal (54).
  4. Decorrelator of any one of claims 1 to 3, further comprising a delaying means (56) so as to generate the delayed representation of the audio input signal (58) by time-delaying the audio input signal (54) by the delay time.
  5. Decorrelator of any one of claims 1 to 4, further comprising scaling means (74) so as to alter an intensity of the audio input signal (54) and/or the delayed representation of the audio input signal (58).
  6. Decorrelator of any one of the preceding claims, further comprising a post-processor (80) for combining the first (50) and the second output signal (52) so as to obtain a first (82) and a second (84) post-processed output signal, both the first (82) and the second (84) post-processed output signal comprising signal contributions from the first (50) and second (52) output signals.
  7. Decorrelator of claim 6, wherein the post-processor (80) is configured to form the first post-processed output signal M (82) and the second post-processed output signal D (84) from the first output signal L' (50) and the second output signal R' (52) such that the following conditions are met: M = 0.707 × Lʹ + Rʹ ,
    Figure imgb0010
    and D = 0.707 × Lʹ - Rʹ .
    Figure imgb0011
  8. Decorrelator of any one of the preceding claims, wherein the mixer (60) is configured to combine an audio input signal (54) consisting of discrete samples and a delayed representation of the audio input signal (58) consisting of discrete samples by swapping the samples of the audio input signal (54) and the samples of the delayed representation of the audio input signal (58).
  9. Decorrelator of any one of the preceding claims, wherein the mixer (60) is configured to perform the combination of the audio input signal (54) and the delayed representation of the audio input signal (58) for a sequence of pairs of temporally adjacent first (70) and second (72) time intervals.
  10. Decorrelator of claim 9, wherein the mixer (60) is configured to refrain, with a predetermined probability, for one pair of the sequence of pairs of temporally adjacent first (70) and second (72) time intervals, from the combination so that, in the pair in the first (70) and second (72) time intervals, the first output signal (50) corresponds to the audio input signal (54) and the second output signal (52) corresponds to the delayed representation of the audio input signal (58).
  11. Method of generating output signals (50, 52) based on an audio input signal (54), comprising:
    combining a representation of the audio input signal delayed by a delay time (58) with the audio signal (54) so as to obtain a first (50) and a second (52) output signal having time-varying portions of the audio input signal (54) and the delayed representation of the audio input signal (58), wherein
    in a first time interval (70), the first output signal (50) contains a proportion of more than 50 percent of the audio input signal (54), and the second output signal (52) contains a proportion of more than 50 percent of the delayed representation of the audio input signal (58), and wherein
    in a second time interval (72), the first output signal (50) contains a proportion of more than 50 percent of the delayed representation of the audio input signal (58), and the second output signal (52) contains a proportion of more than 50 percent of the audio input signal (54).
  12. Method of claim 11, additionally comprising:
    altering the intensity of the audio input signal (54) and/or the delayed representation of the audio input signal (58).
  13. Method of any one of claims 11 to 12, additionally comprising:
    combining the first (50) and the second (52) output signal so as to obtain a first (82) and a second (84) post-processed output signal, both the first (82) and the second (84) post-processed output signals containing contributions of the first and the second output signals.
  14. Audio decoder for generating a multi-channel output signal based on an audio input signal (54), comprising:
    a decorrelator of any one of claims 1 to 10; and
    a standard decorrelator, wherein
    the audio decoder is configured to use, in a standard mode of operation, the standard decorrelator, and to use, in the case of a transient audio input signal (54), the inventive decorrelator.
  15. Computer program with a program code for performing the method of any one of claims 11 to 13 when the program runs on a computer.
EP08735224A 2007-04-17 2008-04-14 Generation of decorrelated signals Active EP2036400B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007018032A DE102007018032B4 (en) 2007-04-17 2007-04-17 Generation of decorrelated signals
PCT/EP2008/002945 WO2008125322A1 (en) 2007-04-17 2008-04-14 Generation of decorrelated signals

Publications (2)

Publication Number Publication Date
EP2036400A1 EP2036400A1 (en) 2009-03-18
EP2036400B1 true EP2036400B1 (en) 2009-12-16

Family

ID=39643877

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08735224A Active EP2036400B1 (en) 2007-04-17 2008-04-14 Generation of decorrelated signals

Country Status (16)

Country Link
US (1) US8145499B2 (en)
EP (1) EP2036400B1 (en)
JP (1) JP4682262B2 (en)
KR (1) KR101104578B1 (en)
CN (1) CN101543098B (en)
AT (1) ATE452514T1 (en)
AU (1) AU2008238230B2 (en)
CA (1) CA2664312C (en)
DE (2) DE102007018032B4 (en)
HK (1) HK1124468A1 (en)
IL (1) IL196890A0 (en)
MY (1) MY145952A (en)
RU (1) RU2411693C2 (en)
TW (1) TWI388224B (en)
WO (1) WO2008125322A1 (en)
ZA (1) ZA200900801B (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0820488A2 (en) * 2007-11-21 2017-05-23 Lg Electronics Inc method and equipment for processing a signal
KR101342425B1 (en) * 2008-12-19 2013-12-17 돌비 인터네셔널 에이비 A method for applying reverb to a multi-channel downmixed audio input signal and a reverberator configured to apply reverb to an multi-channel downmixed audio input signal
EP3144932B1 (en) 2010-08-25 2018-11-07 Fraunhofer Gesellschaft zur Förderung der Angewand An apparatus for encoding an audio signal having a plurality of channels
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
CN105163398B (en) 2011-11-22 2019-01-18 华为技术有限公司 Connect method for building up and user equipment
US9424859B2 (en) * 2012-11-21 2016-08-23 Harman International Industries Canada Ltd. System to control audio effect parameters of vocal signals
US9830917B2 (en) 2013-02-14 2017-11-28 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618051B (en) 2013-02-14 2018-03-11 杜比實驗室特許公司 Audio signal processing method and apparatus for audio signal enhancement using estimated spatial parameters
TWI618050B (en) 2013-02-14 2018-03-11 杜比實驗室特許公司 Method and apparatus for signal decorrelation in an audio processing system
WO2014126689A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for controlling the inter-channel coherence of upmixed audio signals
CN105359448B (en) * 2013-02-19 2019-02-12 华为技术有限公司 A kind of application method and equipment of the frame structure of filter bank multi-carrier waveform
WO2014187987A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Methods for audio encoding and decoding, corresponding computer-readable media and corresponding audio encoder and decoder
JP6242489B2 (en) * 2013-07-29 2017-12-06 ドルビー ラボラトリーズ ライセンシング コーポレイション System and method for mitigating temporal artifacts for transient signals in a decorrelator
JP6479786B2 (en) * 2013-10-21 2019-03-06 ドルビー・インターナショナル・アーベー Parametric reconstruction of audio signals
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
WO2015173423A1 (en) * 2014-05-16 2015-11-19 Stormingswiss Sàrl Upmixing of audio signals with exact time delays
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
US10560661B2 (en) 2017-03-16 2020-02-11 Dolby Laboratories Licensing Corporation Detecting and mitigating audio-visual incongruence
CN110740404B (en) * 2019-09-27 2020-12-25 广州励丰文化科技股份有限公司 Audio correlation processing method and audio processing device
CN110740416B (en) * 2019-09-27 2021-04-06 广州励丰文化科技股份有限公司 Audio signal processing method and device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4792974A (en) * 1987-08-26 1988-12-20 Chace Frederic I Automated stereo synthesizer for audiovisual programs
US6526091B1 (en) * 1998-08-17 2003-02-25 Telefonaktiebolaget Lm Ericsson Communication methods and apparatus based on orthogonal hadamard-based sequences having selected correlation properties
US6175631B1 (en) * 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
AUPQ942400A0 (en) * 2000-08-15 2000-09-07 Lake Technology Limited Cinema audio processing system
US7107110B2 (en) * 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
SE0301273D0 (en) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex exponential-modulated filter bank and adaptive time signaling methods
KR101079066B1 (en) * 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 Multichannel audio coding
KR101097000B1 (en) * 2004-03-11 2011-12-20 피에스에스 벨기에 엔브이 A method and system for processing sound signals
WO2006008697A1 (en) * 2004-07-14 2006-01-26 Koninklijke Philips Electronics N.V. Audio channel conversion
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
TWI393121B (en) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp Method and apparatus for processing a set of n audio signals, and computer program associated therewith
EP1803115A2 (en) * 2004-10-15 2007-07-04 Koninklijke Philips Electronics N.V. A system and a method of processing audio data to generate reverberation
SE0402649D0 (en) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1829424B1 (en) 2005-04-15 2009-01-21 Dolby Sweden AB Temporal envelope shaping of decorrelated signals
JP2007065497A (en) * 2005-09-01 2007-03-15 Matsushita Electric Ind Co Ltd Signal processing apparatus

Also Published As

Publication number Publication date
TW200904229A (en) 2009-01-16
KR20090076939A (en) 2009-07-13
CN101543098B (en) 2012-09-05
ATE452514T1 (en) 2010-01-15
KR101104578B1 (en) 2012-01-11
US8145499B2 (en) 2012-03-27
US20090326959A1 (en) 2009-12-31
CA2664312A1 (en) 2008-10-23
CA2664312C (en) 2014-09-30
JP2010504715A (en) 2010-02-12
AU2008238230A1 (en) 2008-10-23
MY145952A (en) 2012-05-31
HK1124468A1 (en) 2009-07-10
WO2008125322A1 (en) 2008-10-23
DE502008000252D1 (en) 2010-01-28
DE102007018032A1 (en) 2008-10-23
JP4682262B2 (en) 2011-05-11
RU2009116268A (en) 2010-11-10
CN101543098A (en) 2009-09-23
RU2411693C2 (en) 2011-02-10
AU2008238230B2 (en) 2010-08-26
IL196890A0 (en) 2009-11-18
EP2036400A1 (en) 2009-03-18
TWI388224B (en) 2013-03-01
DE102007018032B4 (en) 2010-11-11
ZA200900801B (en) 2010-02-24

Similar Documents

Publication Publication Date Title
EP2036400B1 (en) Generation of decorrelated signals
DE102006050068B4 (en) Apparatus and method for generating an environmental signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program
EP2005421B1 (en) Apparatus and method for production of a surrounding-area signal
EP1854334B1 (en) Device and method for generating an encoded stereo signal of an audio piece or audio data stream
EP2206113B1 (en) Device and method for generating a multi-channel signal using voice signal processing
EP1687809B1 (en) Device and method for reconstruction a multichannel audio signal and for generating a parameter data record therefor
DE602004005020T2 (en) AUDIO SIGNAL SYNTHESIS
DE602004001868T2 (en) METHOD FOR PROCESSING COMPRESSED AUDIO DATA FOR SPATIAL PLAYBACK
DE602004005846T2 (en) AUDIO SIGNAL GENERATION
DE602005006385T2 (en) DEVICE AND METHOD FOR CONSTRUCTING A MULTI-CHANNEL OUTPUT SIGNAL OR FOR PRODUCING A DOWNMIX SIGNAL
DE69827775T2 (en) TONKANALSMISCHUNG
WO2015049334A1 (en) Method and apparatus for downmixing a multichannel signal and for upmixing a downmix signal
EP2917908A1 (en) Non-linear inverse coding of multichannel signals
DE102019135690B4 (en) Method and device for audio signal processing for binaural virtualization
EP1123638A2 (en) System and method for evaluating the quality of multi-channel audiosignals
WO2015128379A1 (en) Coding and decoding of a low frequency channel in an audio multi channel signal
EP2120486A1 (en) Method and device for creating surround sound
DE102017121876A1 (en) METHOD AND DEVICE FOR FORMATTING A MULTI-CHANNEL AUDIO SIGNAL

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1124468

Country of ref document: HK

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

RIN2 Information on inventor provided after grant (corrected)

Inventor name: POPP, HARALD

Inventor name: LINZMEIER, KARSTEN

Inventor name: HERRE, JUERGEN

Inventor name: MUNDT, HARALD

Inventor name: PLOGSTIES, JAN

Inventor name: DISCH, SASCHA

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 502008000252

Country of ref document: DE

Date of ref document: 20100128

Kind code of ref document: P

RIN2 Information on inventor provided after grant (corrected)

Inventor name: PLOGSTIES, JAN

Inventor name: DISCH, SASCHA

Inventor name: HERRE, JUERGEN

Inventor name: MUNDT, HARALD

Inventor name: LINZMEIER, KARSTEN

Inventor name: POPP, HARALD

RIN2 Information on inventor provided after grant (corrected)

Inventor name: MUNDT, HARALD

Inventor name: PLOGSTIES, JAN

Inventor name: LINZMEIER, KARSTEN

Inventor name: DISCH, SASCHA

Inventor name: POPP, HARALD

Inventor name: HERRE, JUERGEN

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100316

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1124468

Country of ref document: HK

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100416

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100327

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100316

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100317

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20100430

26N No opposition filed

Effective date: 20100917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100516

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100617

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100414

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091216

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120430

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 452514

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130414

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130414

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230512

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230417

Year of fee payment: 16

Ref country code: DE

Payment date: 20230418

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230420

Year of fee payment: 16