EP2402943B1 - Method and device for creating an environmental signal - Google Patents
Method and device for creating an environmental signal Download PDFInfo
- Publication number
- EP2402943B1 EP2402943B1 EP11182965.1A EP11182965A EP2402943B1 EP 2402943 B1 EP2402943 B1 EP 2402943B1 EP 11182965 A EP11182965 A EP 11182965A EP 2402943 B1 EP2402943 B1 EP 2402943B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- block
- transient
- synthesis
- examination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000007613 environmental effect Effects 0.000 title description 17
- 230000001052 transient effect Effects 0.000 claims description 165
- 230000015572 biosynthetic process Effects 0.000 claims description 98
- 238000003786 synthesis reaction Methods 0.000 claims description 98
- 230000003595 spectral effect Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 9
- 239000000523 sample Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001136792 Alle Species 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Definitions
- Multi-channel audio is becoming more and more popular.
- Such playback systems generally consist of three speakers L (left), C (center) and R (right), which are typically located in front of the user, and two speakers Ls and Rs located behind the user, and typically one of them LFE channel, which is also called low-frequency effect channel or subwoofer.
- LFE channel which is also called low-frequency effect channel or subwoofer.
- Such a channel scenario is in Fig. 10 and in Fig. 11 indicated. While the positioning of the speakers L, C, R, Ls, Rs, with respect to the user as in the FIGS.
- Such a multi-channel system provides several advantages over a typical stereo reproduction, which is a two-channel reproduction, such as in Fig. 9 is shown.
- Fig. 11 Another alternative concept, called in-the-band concept, is in Fig. 11 shown schematically.
- Each type of sound ie direct sound sources and ambient sounds, are all positioned around the listener.
- the position of a sound is independent of its characteristics (direct sound sources or ambient sounds) and depends only on the specific design of the algorithm, as described in eg Fig. 11 is shown. So was in Fig. 11 the upmix algorithm determines that the two instruments 1100 and 1102 are positioned laterally relative to the listener while the two instruments 1104 and 1106 are positioned in front of the user.
- the two rear speakers Ls, Rs now also contain portions of the two instruments 1100 and 1102 and no longer just ambient sounds, as in Fig. 10 was still the case where the same instruments were all positioned in front of the user.
- the extraction or partial extraction and partial synthesis of such ambient signals is one risky affair, as it would be annoying for a user to include information from sound sources in the surround channels which the user identifies as coming from the front, ie from the left channel, middle channel and right channel. For this reason, generating ambient signals would be very "defensive” to make sure that no user-perceived artifacts are generated.
- the other extreme case if one acts too defensively in the generation of the ambient signals, is that a very quiet, or barely perceptible ambient signal is extracted, or that the ambient signal has only noise, but no longer has any special information, so that the ambient signal contributes very little to the enjoyment of listening and could actually be left out altogether in this case.
- the U.S. Patent No. 4,076,969A discloses an impulse noise reduction system for detecting unwanted pop and click sound signals generated by mechanical defects on a recording medium.
- a few of fully or partially correlated signals are generated from the recorded sound information by means of a stereo recording device.
- the output signals of the stereo recording apparatus are combined so that desired sound signals generated by horizontal movement on the recording medium are subtracted and undesired signals generated by vertical movement on the recording medium are added.
- the resulting unwanted signal is detected as a noise signal.
- a control signal that starts before the leading edge of the detected unwanted sound signal and that has a width that is greater than the width of the detected unwanted sound signal is used in the system to eliminate the unwanted signals.
- the specialist publication " Restoration of Historical Recordings by Means of Digital Signal Processing” refers to improving the overall quality of the records that have been degraded by multiple glitches.
- impulsive noises generated by scratches and cracks in the splitting material are to be eliminated.
- the continuous broadband surface noise is to be reduced.
- the present invention is based on the recognition that the artifacts that are most negatively perceived by listeners in ambient signals are artifacts that cause the listener to think that a direct sound source is in the rear speaker, although he or she is Sound source perceives from the front.
- Characteristics for the perception of direct sound sources are transient processes, ie signal fine structures in the time signal, which concern a (fast) change over a change threshold from a quiet state to a loud state or from a loud state to a quiet state, or one (Strong) energy increase above a threshold of change in special bands and especially in the upper bands within a certain time.
- a transient period is thus detected in an examination signal, in which a transient region is present in the examination signal. Then, with the help of a synthesis signal generator, a synthesis signal generated for the transient period, which is configured to generate the synthesis signal to have a shallower time course than the examination signal in the transient region, wherein the synthesis signal generator is further configured to generate the synthesis signal so that it to its intensity of a preceding or succeeding portion of the examination signal by less than a predetermined threshold. This generated synthesis signal is then used by a signal substitutor instead of the examination signal in the transient period to obtain the ambient signal.
- the extraction of an ambient signal-like signal from a two-channel stereo input signal is improved, or a post-processing of an existing signal, e.g. already an extracted raw ambient signal is made.
- the examination signal is the actual two-channel stereo signal or respectively one channel of the two-channel signal, while in the second case the examination signal is already an extracted environment signal or a presynthesized environment signal.
- the inventive concept is particularly useful for the upmix concept, which has also been presented as a "direct ambience concept".
- the concept according to the invention can also be advantageous for the "in-the-band" concept, since it also leads to an improved environmental signal which, on the one hand, no longer has any interfering artifacts, but on the other hand still contains enough information for a user to benefit from the ambient signal.
- the inventive concept ensures that the surround signal is a continuous, uninterrupted, diffused sound signal, since intermittent ambient sound, which is obtained, for example, if transients were simply completely eliminated, would be considered uncomfortable by the user or even errors in the high-mix process would be perceived.
- an ambience-like signal for the rear channels is extracted from the stereo signal.
- the difference between the original right and left channels is simply used.
- the back channels are created in this way, they often have transient-like components of direct sound sources.
- These transients may be tones, such as, for example, musical beginnings or parts of percussive instruments.
- a transient perceived behind the listener while a direct sound source (to which the transient typically belongs) is positioned in front of the listener has a negative impact on the localization of the direct sound source.
- the direct sound source thus appears either wider than the original or, even more damaging, perceived as an independent direct sound source behind the user, both effects being very undesirable, especially for the direct ambience concept.
- this problem is addressed by suppressing transients in the ambient-like signal, and minimizing the effect of this suppression on the remaining signal, ie, preserving the continuity of the signal by providing only limited intensity variations be admitted for the transient period.
- the signal generated for the transient period, before being used by the signal substituter is mixed with the signal originally present in the transient period, which is achieved, for example, by overlapping processing.
- a cross-fading may be performed to slowly fade in a cross-fade range from the signal before the transient period to the signal in the transient period, or slowly out of the transient period hide.
- the blanking out of the transient period into the original signal when no more transient is detected is preferred for an artifact-free listening impression, since it is intended to ensure that when there is a non-artifact-related examination signal, the transition from the synthesis signal to the original one Examination signal no cracking or something similar arises.
- a manipulation of the signal in the transient period is performed in the frequency domain by randomizing signs of spectral values or, more generally, phases of spectral values, which inevitably results in a smoothing of the temporal fine structure of this frequency domain manipulated signal.
- Another spectral processing is to perform a prediction on the frequency of the spectral values and then use the prediction spectral values as spectral values of the synthesis signal, since the prediction over the frequency leads to a smoothing of the corresponding time signal.
- the intensity of the transient period is to limit the change of spectral values from one block to another, this limitation being global , ie for all spectral values equal or selective, ie only for certain spectral values, which have a particularly large change, can take place.
- Fig. 1 shows an inventive device for generating an ambient signal 10, which is suitable for broadcasting via speakers for which no separate speaker signal has been transmitted.
- Such speakers are typically the rear speakers or surround speakers, as in Ls, Rs in 10 and FIG. 11 For example, shown.
- the device shown comprises a transient detector 11 for detecting a transient period (at 20 in Fig. 2 shown) in which an examination signal has a transient region.
- a transient detector 11 for detecting a transient period (at 20 in Fig. 2 shown) in which an examination signal has a transient region.
- any other methods for transient detection can be used, such as those found in an MPEG4 audio encoder, in which is switched depending on a transient detection of short to long windows.
- transient detectors are used which can detect fast and strong changes in the envelope of a time signal.
- Exemplary magnitudes to be detected are changes in the envelope that affect changes equal to or greater than 100% of the amplitude of the envelope over a period of 1 ms.
- the transient detector 11 is coupled to a synthesis signal generator 12, which is designed to generate a synthesis signal 13 which satisfies the two conditions, on the one hand the transient condition and, on the other hand, the continuity condition.
- the transient condition is that the synthesis signal has a shallower time course than the examination signal in the transient region
- the continuity condition is that the intensity of the synthesis signal in the transient region is less than a preset one of an intensity of a preceding or succeeding portion of the examination signal Threshold deviates.
- the threshold can also be realized by a confidence interval of 80% or less, which is determined based on the historical values.
- Intensity measures that can be used for the present invention include the energy obtained by adding the sample squares or spectral value squares of a block, or a measure of performance that can be obtained considering the temporal block length, or a measure of weighting or unweighted adding up the magnitude of spectral values in a band, this particular measure, which is also an intensity, also being referred to as high frequency content if the band in which it is added is the upper frequency band of the examination signal, or generally higher frequencies versus lower Frequencies are more heavily weighted or have a greater impact on the end result.
- the synthesis signal generator then generates a synthesis signal that is used by a signal substituter 14 to use the synthesis signal instead of the corresponding portion of the original examination signal to finally provide the ambient signal 10.
- the signal substitute 14 thus receives in addition to the synthesis signal via the line 13 and the examination signal via a line 15, as in Fig. 1 is indicated.
- the transient detector 11 receives the examination signal via an input line 16 and provides via an output line 17 a transient information to the synthesis signal generator 12, so that this generates the synthesis signal using the examination signal, which is provided to him via a line 18.
- non-overlapping block processing as in FIG Fig. 2a represented or an overlapping block processing as in Fig. 2b shown used.
- an examination signal 21 is divided into preferably equal blocks of a specific block length.
- the transient detector detects a transient 22 in the transient period 20.
- the transient 22 is thus in the transient period 20 of FIG Fig. 2a , which causes the transient detector 11 to provide an output signal via its output line 17, which tells the synthesis signal generator 12 that it now has to start with signal synthesis.
- the block of the exam signal corresponding to the transient period 20 is now synthesized by the synthesis signal generator and then substituted by the signal substituter 14 of the original block of the examination signal in the ambient signal.
- a processing of the block of the examination signal is performed, which takes place in the frequency domain.
- the synthesis signal has a sample which may differ significantly from a sample which is the last sample of the preceding block in the examination signal.
- it is used in the art Fig. 2a it is preferred to superimpose a block before a transient period into the synthesis signal in the transient period, for example by adding the first sample of the generated synthesis signal to the eg last 10 samples of the previous block weighted according to the suppression function, for example according to FIG Fade in Fig.
- the last sample of the previous block is still in accordance with the blanking in Fig. 3 the first and the first sample samples of the synthesized block, respectively, weighted according to the fade-in function are added in the transient period to provide a fade.
- the rear Crossfade area so if the transient period back into the non-transient-afflicted block of the ambient signal, proceed.
- FIG. Fig. 2b To further reduce such block boundary artifacts, as shown in FIG Fig. 2b is shown, overlapping processing is preferred.
- the transient detector then detects at the in Fig. 2b shown embodiment block areas, which are shown with ringed numbers (1), (2), (3), (4), (5), (6).
- a transient is detected at 22. This causes it to be compared to Fig. 2a gives a larger transient period 20 since the transient at position 22 has been detected in both block 4 and block 5. Therefore, the synthesis signal generator 12 of Fig. 1 Generate synthesis signals for both block 4 and block 5.
- the regions A, B, C are signaled by the signal substituter 14 of FIG Fig. 1
- the section A is generated by the addition of the second half of the non-transient-related block 3 of the examination signal with the first half of the synthesis signal generated for the block 4.
- the second part B of the transient period 20 is provided by adding the second half of the synthesis signal generated for block 4 to the first half of the synthesis signal generated for block 5 and from the signal substituter as a corresponding portion of the environmental signal 10 substituted.
- the third portion C of the transient period 20 is generated by adding the second half of the synthesizer signal generator generated block # 5 to the first half of the block # 6, which is no longer transient, and written into the ambient signal by the signal substituter 14.
- this skip function can be used to provide soft block transition from a non-synthesized block to a synthesized block in block processing with non-overlapping blocks, and also to provide a smooth transition from a synthesized block back to a non-synthesized block .
- a corresponding cross-fade function can also be used to overshadow back to the original examination signal, in particular when a synthesis signal has been generated by a specific specified number of blocks. Given the likelihood that the synthesis signal has moved relatively far from the probe due to the extrapolation, an abrupt return to the probe would, in some cases, result in audible artifacts.
- a synthesis signal is generated, which consists of 90% of the last synthesized block and 10% of the current block of investigation. In the next block, the ratio could then be changed to 80%: 20%, until then after a certain number of blocks, the synthesis signal is completely hidden and the current non-transient-related examination signal is fully displayed again.
- the time signal which represents a block of the examination signal, is converted into a frequency domain representation or a subband representation by a converter 40, which may comprise a transformation or an analysis filter bank.
- the spectral representation in the form of spectral coefficients or the subband signals are then optionally information, as shown at 41 replaced by an extrapolated spectral representation or extrapolated subband signals, if it is a block of the time signal in which a transient has been detected.
- the spectral representation is then optionally supplied, using additional information due to extrapolation, to a smoother 42, which influences the spectral values in such a way that the temporal course of the underlying signal is smoothed.
- the smoother 42 will affect the subband signals so that the timing of the signal underlying the subband signals is smoother than before smoothing.
- an inverse conversion into the time domain takes place using either an inverse transformation or a synthesis filterbank to finally arrive at a timing signal 44 which is smoother than the timing signal at the input of the stage 40, however, has energy that has not been significantly affected by smoothing.
- the smoothing has been done so that the energy of the smoothed time signal 44 does not differ from the energy of the previous time signal any more than the threshold.
- an overall e-energy manipulation of the energy of the time signal may occur.
- the transient is attenuated while the tonal components continue to be synthesized or past, by synthesizing the signal in the transient period by a prediction using a non-transient signal from the past.
- the smoothing has caused the energy over the block to be more evenly distributed, thus producing a smoother timing, but without losing the block's energy Sampling of the examination signal considerably to change. This is sufficient in most cases and ensures that the user hears a test signal that always satisfies the continuity condition. Only when the transient leads to a considerable increase in energy on the entire block, the smoothing alone, so the more even distribution of energy over the block, will not be sufficient and then a controlled signal limitation can be made.
- matrix decoders such as Dolby Pro Logic II or Logic 7, have the ability to upmix non-preprocessed 2-channel stereo files in multichannel surround files, although they have not been designed immediately for this task. These matrix decoders are often incapable of rejecting transient tones in the back channels, resulting in a signal that does not meet the requirements for transient-free and amplitude-continuity.
- a transient suppression is produced without affecting the continuity of the synthesis signal or ambient signal.
- an input signal e.g. a high-mix signal as obtained by a matrix up-mixer for the back channels, or a signal with similar characteristics and a similar range of application is analyzed to detect if a transient is present.
- substitution signal When a transient is detected, the currently processed block is replaced with a substitution signal having a flat (non-transient) time envelope.
- This substitution signal is either generated from previous signal portions in which no transient was present, or is generated from the currently processed block by a processing step that flattens the temporal envelope of the signal, or is generated by a combination of both methods.
- substitution signal generated by previous sections is generated, for example, by extrapolating previous energy levels of the signal or by copying / repeating previous signal sections without a transient portion of the signal.
- flattening of the fine time structure or the fine timing signal on the basis of the currently processed block may be performed be, as described below with reference to the Figures 5a, 5b or 5c is shown.
- the absolute values of the spectral coefficients can be randomized within a limited range extending around the extrapolated spectral coefficients or amounts thereof, as will be described later Fig. 5c is pictured.
- the phases or signs of the spectral coefficients of the processed block in which the transient is located may be randomized by a randomizer 50.
- a short-time spectrum of the considered block of the examination signal is generated, and the complex spectral values obtained there are calculated in magnitude and phase, in order then to randomize the phases of the spectral values.
- the signs can also be randomized to obtain a short-term spectrum with randomized phases / signs, which has a has a flatter time course of the corresponding time signal.
- Fig. 5b An alternative implementation is in Fig. 5b represented by a predictor 51, which is designed to perform a prediction of the short-term spectrum over the frequency.
- a predictor 51 is designed to perform a prediction of the short-term spectrum over the frequency.
- Such a predictor is in J. Herre, JD Johnston: "Exploiting Both Time and Frequency Structure in a System that Uses presented to Analysis / Synthesis Filterbank with High Frequency Resolution", 103rd AES Convention, New York 1997, Preprint 4519 ,
- a short-term spectrum is generated which has a transient course in its assigned time signal.
- a current spectral value of the short-term spectrum is predicted using a previous or a plurality of previous spectral values, and then the predicted spectral value could be subtracted from the actual spectral value to obtain a residual spectral value.
- the residual spectral value of a typical prediction over frequency represents the value of interest and information-bearing information along with coefficients of a prediction filter
- a given prediction filter is preset and the spectral values of the short-term spectrum are replaced by the spectral values predicted using this prediction filter, while the prediction error signal is no longer used.
- a preferred simple embodiment of the prediction filter is simply that a value of a spectral line lower in the index is used as the prediction value for a current spectral line.
- the extrapolated signal may be blended with the original signal after a specified period of time rather than hard switching, to avoid long-term extrapolation artefacts.
- Fig. 6 it is preferred, as it is based on Fig. 6 is shown to detect tonal components / bands by a detector 60 and not to be influenced by the synthesis signal generator, but to combine in a mixer / combiner 61 with transient band synthesis signals to then, after a transformation into the time domain, the could take place in block 61, to obtain a time signal with a shallower time course, which still includes the tonal bands, that is, portions that were not transient, in an unchanged form.
- Fig. 5c an implementation of the present invention, which does not require an implicit and no longer explicit transient detector.
- a measure of the intensity of a processed signal block is, for example, the energy or radio frequency content (HFC) or other measure based on the spectral values, time samples, energy, power or other amplitude-related measure of the signal. It is then determined in a device 54 whether an intensity increases from one block to the next above a threshold.
- HFC radio frequency content
- the spectral values of the processed block are limited so that their intensity does not exceed the intensity of the previous signal block by more than the particular relative or exceeds absolute threshold such that at least the overall dominance of transients is reduced.
- This limitation takes place in a device 55 which is designed to, when a need for a limitation has been detected, ie when an implicit transient has been detected, either individually or globally limit spectral values.
- An individual limitation would be that an increase in energy is calculated for spectral values or for bands and the spectral values or the energy bands increase only up to a maximum energy increase and values exceeding this are cut off.
- the synthesis signal generator 12 is configured to randomize complex spectral values representing a short-term spectrum of the block comprising the transient period 20 with respect to their phase or their sign.
- the synthesis signal generator 12 is configured to perform prediction processing 51 over frequency to obtain a prediction spectrum whose associated time signal has a flatter timing than a time signal associated with a spectrum prior to prediction processing versus frequency.
- the transient detector 11 is configured to calculate a high-frequency content for a block of the examination signal 61, wherein the transient detector 11 is designed to be the weighted HF content with a moving average over a plurality of preceding or following Compare blocks without transient 73, wherein the transient detector 11 is adapted to detect a transient for a block when the RF content of a current block exceeds the moving average by more than a threshold c.
- the transient detector is configured to use a threshold that is selected depending on the manner of calculating the moving average and closer to unity when the moving average is more in the past and farther from one, when the past comparatively weakens in the moving average.
- the synthesis signal generator 12 is configured to calculate the synthesis signal from signal portions of the examination signal before or after the transient period, from the examination signal in the transient period after smoothing the time course thereof or from a combination of the signal portions of the examination signal and the examination signal after a smoothing.
- the synthesis signal generator 12 is configured to copy signal portions of the examination signal before or after the transient period.
- the synthesis signal generator 12 is configured to randomize extrapolated spectral values derived from the examination signal outside the transient period in a predetermined range.
- the synthesis signal generator 12 is configured to, when the transient period lasts longer than a predetermined time, mix synthesis signal values with signal values of the examination signal for times later than the predetermined period.
- the signal substitute 14 is configured to fade into a transient period from a portion prior to the transient period according to a fade function, or to fade from the transient period into a portion after the transient period according to a fade function.
- the synthesis signal generator 12 is configured to compute 40, 41, 42 a short-term spectrum of the synthesis signal to convert the short-term spectrum into a time representation 43 representing the synthesis signal 44.
- the synthesis signal generator 12 is configured to compute a short-term spectrum of the synthesis signal with subband signals 40, 41, 42, and to convert the short-term spectrum with subband signals into a timing representative of the synthesis signal 43.
- the synthesis signal generator 12 is configured to generate the synthesis signal such that the predetermined threshold is less than or equal to a factor of two.
- the synthesis signal generator 12 is configured to use a band-selective preset threshold or a single threshold for the entire spectrum.
- the apparatus further comprises extraction means for processing a left channel signal and a right channel signal to extract the examination signal.
- the present invention further relates to a method for generating an ambient signal suitable for transmission via loudspeakers Ls, Rs for which no suitable loudspeaker signal is present, comprising the following steps: Detecting 11 a transient period 20 in which an examination signal has a transient region 22 ; Generating 12 a synthesis signal for the transient period 20, wherein the synthesis signal generator 12 is adapted to generate a synthesis signal having a shallower time course than the examination signal in the transient period 20, and the intensity of an intensity of a preceding or succeeding portion of the examination signal deviates less than a predetermined threshold; and substituting 14 the examination signal in the transient period 20 by the synthesis signal to obtain the surrounding signal.
- the method according to the invention can be implemented in hardware or in software.
- the implementation may be on a digital storage medium, in particular a floppy disk or CD with electronic readable control signals that can interact with a programmable computer system such that the method is executed.
- the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer.
- the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
Die vorliegende Erfindung bezieht sich auf die Audiosignalverarbeitung und insbesondere auf Konzepte zum Erzeugen von Umgebungssignalen (Ambience-Signalen) für Lautsprecher in einem Multikanal-Szenario, für die kein eigenes Lautsprechersignal übertragen worden ist.The present invention relates to audio signal processing, and more particularly to concepts for generating ambient signals (ambience signals) for loudspeakers in a multi-channel scenario for which no dedicated loudspeaker signal has been transmitted.
Multikanal-Audiomaterial wird mehr und mehr populär. Dies hat dazu geführt, dass inzwischen auch viele Endbenutzer Multikanal-Wiedergabesysteme besitzen. Dies ist hauptsächlich darauf zurückzuführen, dass DVDs immer populärer werden, und dass daher auch viele Benutzer von DVDs inzwischen 5.1-Multikanal-Ausrüstungen haben. Solche Wiedergabesysteme bestehen im allgemeinen aus drei Lautsprechern L (Links), C (Center) und R (Rechts), die typischerweise vor dem Benutzer angeordnet sind, und zwei Lautsprechern Ls und Rs, die hinter dem Benutzer angeordnet sind, und typischerweise noch aus einem LFE-Kanal, der auch Niederfrequenz-Effekt-Kanal oder Subwoofer genannt wird. Ein solches Kanal-Szenario ist in
Ein solches Mehrkanalsystem erzeugt mehrere Vorteile gegenüber einer typischen Stereo-Reproduktion, die eine Zweikanal-Reproduktion ist, wie sie z.B. in
Auch außerhalb der optimalen mittigen Hörposition ergibt sich eine verbesserte Stabilität des vorderen Höreindrucks, der auch als "Front Image" bezeichnet wird, und zwar aufgrund des Mitten-Kanals. Es ergibt sich somit ein größerer "Sweet-Spot", wobei "Sweet Spot" für die optimale Hörposition steht.Even outside of the optimal central listening position results in improved stability of the front listening experience, which is also referred to as a "front image", due to the center channel. This results in a larger "sweet spot", where "sweet spot" stands for the optimal listening position.
Ferner hat der Zuhörer ein besseres Gefühl des "Eintauchens" in die Audioszene aufgrund der beiden hinteren Lautsprecher Ls und Rs.Further, the listener has a better feeling of "immersing" in the audio scene due to the two rear speakers Ls and Rs.
Dennoch existiert eine riesige Anzahl an im Besitz des Benutzers befindlichen oder allgemein verfügbaren Audiomaterials, das nur als Stereomaterial existiert, das also nur zwei Kanäle hat, nämlich den linken Kanal und den rechten Kanal. Typische Tonträger für solche Stereostücke sind Kompakt-Disks.However, there is a huge amount of user-owned or commonly available audio material that only exists as stereo material, so it only has two channels, the left channel and the right channel. Typical sound carriers for such stereo pieces are compact disks.
Um ein solches Stereomaterial über eine 5.1-Multikanal-Audioanlage abzuspielen, hat man zwei Optionen, die gemäß der ITU empfohlen werden.To play such a stereo material over a 5.1 multi-channel audio system, you have two options, which are recommended according to the ITU.
Die erste Option besteht darin, den linken und den rechten Kanal über den linken und den rechten Lautsprecher des Multikanal-Wiedergabesystems abzuspielen. Nachteilig an dieser Lösung ist jedoch, dass man die Vielzahl der bereits bestehenden Lautsprecher nicht ausnutzt, dass man also das Vorhandensein des Center-Lautsprechers und der beiden hinteren Lautsprecher nicht vorteilhaft ausnutzt.The first option is to play the left and right channels through the left and right speakers of the multi-channel playback system. A disadvantage of this solution, however, is that you do not exploit the variety of existing speakers, so that you do not take advantage of the presence of the center speaker and the two rear speakers advantageous.
Eine andere Option besteht darin, die zwei Kanäle in ein Multikanalsignal umzuwandeln. Dies kann während der Wiedergabe oder durch eine spezielle Vorverarbeitung geschehen, welche alle sechs Lautsprecher des beispielsweise vorhandenen 5.1- Wiedergabesystems vorteilhaft ausnutzt und damit zu einem verbesserten Höreindruck führt, wenn das Hochmischen oder der "Upmix" von zwei Kanälen auf 5 bzw. 6 Kanäle fehlerfrei durchgeführt wird.Another option is to convert the two channels into a multi-channel signal. This can be done during playback or by a special preprocessing, which advantageously takes advantage of all six speakers of the existing example 5.1 playback system and thus leads to an improved listening experience when the upmixing or the "Upmix" of two channels to 5 or 6 channels is performed without errors.
Nur dann hat die zweite Option, also die Verwendung sämtlicher Lautsprecher des Mehrkanalsystems einen Vorteil gegenüber der ersten Lösung, wenn man also keine Upmix-Fehler begeht. Solche Upmix-Fehler können insbesondere störend sein, wenn Signale für die hinteren Lautsprecher, welche auch als Ambience-Signale oder Umgebungssignale bekannt sind, nicht fehlerfrei erzeugt werden.Only then does the second option, ie the use of all the loudspeakers of the multichannel system, have an advantage over the first solution, if one commits no upmix errors. Such upmix errors can be especially troublesome when signals for the rear speakers, which are also known as ambience signals or ambient signals, are not generated without error.
Eine Möglichkeit, diesen sogenannten Upmix-Prozess durchzuführen, ist unter dem Stichwort "Direct Ambience-Konzept" bekannt. Die Direktschallquellen werden durch die drei vorderen Kanäle derart wiedergegeben, dass sie von dem Benutzer an der gleichen Position wie in der ursprünglichen Zweikanalversion wahrgenommen werden. Die ursprüngliche Zweikanalversion ist in
Ein weiteres Alternativkonzept, das als "In-the-Band"-Konzept bezeichnet ist, ist in
Die Fachveröffentlichung "
In der Fachveröffentlichung "
Die Fachveröffentlichung "
Alle bekannten Techniken versuchen auf verschiedene Arten und Weisen die Ambience-Signale bzw. Umgebungssignale aus dem ursprünglichen Stereosignal zu extrahieren oder sogar aus Rauschen bzw. weiteren Informationen zu synthetisieren, wobei zur Synthese der Ambience-Signale auch Informationen, welche nicht im Stereosignal sind, verwendet werden können. Letztendlich geht es jedoch immer darum, Informationen aus dem Stereosignal zu extrahieren bzw. Informationen in ein Wiedergabe-Szenario einzuspeisen, die nicht explizit vorliegen, da typischerweise nur ein Zweikanal-Stereosignal und gegebenenfalls irgendwelche Zusatzinformationen bzw. Metainformationen zur Verfügung stehen.All known techniques try in various ways to extract the ambience signals or ambient signals from the original stereo signal or even to synthesize from noise or other information, which also used for the synthesis of ambience signals, which are not in the stereo signal can be. Ultimately, however, it is always about extracting information from the stereo signal or feed information into a playback scenario, which are not explicitly available, since typically only a two-channel stereo signal and possibly any additional information or meta-information are available.
Insofern ist die Extraktion oder teilweise Extraktion und teilweise Synthetisierung von solchen Umgebungssignalen eine riskante Angelegenheit, da es ein Benutzer als störend empfinden würde, wenn in den Umgebungskanälen Informationen von Schallquellen enthalten sind, die der Benutzer als direkt von vorne kommend, also vom linken Kanal, mittleren Kanal und rechten Kanal kommend identifiziert. Aus diesem Grund würde man eine Erzeugung von Umgebungssignalen sehr "defensiv" machen, um ganz sicher zu gehen, dass keine vom Benutzer als störend empfundenen Artefakte erzeugt werden. Der andere Extremfall, wenn man zu defensiv bei der Erzeugung der Umgebungssignale agiert, besteht darin, dass ein sehr leises, bzw. kaum mehr wahrnehmbares Umgebungssignal extrahiert wird, oder dass das Umgebungssignal nur noch Rauschen hat, jedoch keine besonderen Informationen mehr hat, so dass das Umgebungssignal sehr wenig zum Hörgenuss beiträgt und eigentlich in diesem Fall ganz weggelassen werden könnte.In this respect, the extraction or partial extraction and partial synthesis of such ambient signals is one risky affair, as it would be annoying for a user to include information from sound sources in the surround channels which the user identifies as coming from the front, ie from the left channel, middle channel and right channel. For this reason, generating ambient signals would be very "defensive" to make sure that no user-perceived artifacts are generated. The other extreme case, if one acts too defensively in the generation of the ambient signals, is that a very quiet, or barely perceptible ambient signal is extracted, or that the ambient signal has only noise, but no longer has any special information, so that the ambient signal contributes very little to the enjoyment of listening and could actually be left out altogether in this case.
Problematisch bei der Erzeugung des Umgebungssignals ist somit, dass man einerseits ein Umgebungssignal erzeugt, das Informationen umfasst, die über normales Rauschen hinausgehen, das jedoch das Umgebungssignal nicht zu hörbaren Artefakten führt, dass also ein richtiges Maß zwischen Hörbarkeit und Informationsgehalt beibehalten wird.The problem with the generation of the ambient signal is thus that on the one hand generates an ambient signal that includes information that goes beyond normal noise, but that the ambient signal unobtainable artifacts leads, so that a proper measure between audibility and information content is maintained.
Die
Das
Die Fachveröffentlichung "
Die Fachveröffentlichung "
Die Fachveröffentlichung "
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Erzeugen eines Umgebungssignals zu schaffen, in dem hörbare Artefakte reduziert sind.The object of the present invention is to provide a concept for generating an environmental signal in which audible artifacts are reduced.
Diese Aufgabe wird durch eine Vorrichtung zum Erzeugen eines Umgebungssignals gemäß Patentanspruch 1, ein Verfahren zum Erzeugen eines Umgebungssignals gemäß Patentanspruch 10 oder ein Computer-Programm gemäß Patentanspruch 11 gelöst.This object is achieved by a device for generating an environmental signal according to
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass die Artefakte, die von Zuhörern bei Umgebungssignalen am negativsten empfunden werden, Artefakte sind, die dazu führen, dass der Zuhörer meint, dass im hinteren Lautsprecher eine direkte Schallquelle ist, obgleich er diese Schallquelle von vorne wahrnimmt. Charakteristika für das Empfinden von direkten Schallquellen sind transiente Vorgänge, also Signal-Feinstrukturen im Zeitsignal, die eine (schnelle) Änderung über einer Änderungsschwelle von einem leisen Zustand in einen lauten Zustand oder von einem lauten Zustand in einen leisen Zustand betreffen, bzw. die einen (starken) Energieanstieg über einer Änderungsschwelle in speziellen Bändern und insbesondere in den oberen Bändern innerhalb einer bestimmten Zeit betreffen.The present invention is based on the recognition that the artifacts that are most negatively perceived by listeners in ambient signals are artifacts that cause the listener to think that a direct sound source is in the rear speaker, although he or she is Sound source perceives from the front. Characteristics for the perception of direct sound sources are transient processes, ie signal fine structures in the time signal, which concern a (fast) change over a change threshold from a quiet state to a loud state or from a loud state to a quiet state, or one (Strong) energy increase above a threshold of change in special bands and especially in the upper bands within a certain time.
Solche transienten Vorgänge sind beispielsweise das Einsetzen eines Instruments oder der Anschlag eines Schlaginstruments, oder das Ende eines Tons, der nicht langsam ausklingt, sondern der abrupt beendet wird. Ein Zuhörer nimmt solche transienten Vorgänge als Kennzeichen von Direktschallquellen wahr, die erfindungsgemäß aus einem Umgebungssignal eliminiert werden, so dass den Umgebungslautsprechern ein erfindungsgemäß erzeugtes Umgebungssignal geliefert wird, das keine oder nur stark gedämpfte Transienten umfasst.Such transient events are, for example, the insertion of an instrument or the impact of a percussion instrument, or the end of a sound that does not fade away slowly, but ends abruptly. A listener perceives such transient events as characteristics of direct sound sources, which according to the invention are eliminated from an ambient signal, so that the ambient loudspeakers are supplied with an environmental signal generated according to the invention which comprises no or only strongly attenuated transients.
Erfindungsgemäß wird ferner sichergestellt, dass die Unterdrückung eines Transienten in dem Umgebungssignal nicht zu einer zu großen Amplitudenmodulation führt. Erfindungsgemäß wurde nämlich ferner herausgefunden, dass Variationen der Amplitude, also der Lautstärke, auch wenn sie nicht transient sind, also unter der Transientenschwelle liegen, wenn sie jedoch oberhalb einer bestimmten Variationsschwelle sind, vom Benutzer als störend und damit dann, wenn solche Amplitudenvariationen aufgrund einer einfachen Eliminierung eines Transienten in einem Umgebungssignal entstehen würden, vom Zuhörer als Artefakt oder Fehler erkannt werden würden.According to the invention, it is further ensured that the suppression of a transient in the ambient signal does not lead to an excessive amplitude modulation. In fact, according to the invention, it has also been found that variations in the amplitude, that is, the loudness, even if they are not transient, are below the transient threshold, but above a certain threshold of variation, are annoying to the user and therefore when such amplitude variations are due to a transient threshold simply eliminating a transient in an ambient signal would be detected by the listener as an artifact or error.
Erfindungsgemäß wird somit in einem Untersuchungssignal ein Transientenzeitraum detektiert, in dem ein transienter Bereich im Untersuchungssignal vorhanden ist. Hierauf wird mit Hilfe eines Synthesesignalgenerators ein Synthesesignal für den Transientenzeitraum erzeugt, der ausgebildet ist, um das Synthesesignal so zu erzeugen, dass es einen flacheren zeitlichen Verlauf als das Untersuchungssignal in dem transienten Bereich aufweist, wobei ferner der Synthesesignalgenerator ausgebildet ist, um das Synthesesignal so zu erzeugen, dass es sich im Hinblick auf seine Intensität eines vorangegangenen oder nachfolgenden Abschnitts des Untersuchungssignals um weniger als eine vorbestimmte Schwelle unterscheidet. Dieses erzeugte Synthesesignal wird dann mittels eines Signalsubstituierers anstatt des Untersuchungssignals im Transientenzeitraum verwendet, um das Umgebungssignal zu erhalten.According to the invention, a transient period is thus detected in an examination signal, in which a transient region is present in the examination signal. Then, with the help of a synthesis signal generator, a synthesis signal generated for the transient period, which is configured to generate the synthesis signal to have a shallower time course than the examination signal in the transient region, wherein the synthesis signal generator is further configured to generate the synthesis signal so that it to its intensity of a preceding or succeeding portion of the examination signal by less than a predetermined threshold. This generated synthesis signal is then used by a signal substitutor instead of the examination signal in the transient period to obtain the ambient signal.
Erfindungsgemäß wird somit die Extraktion eines Umgebungssignal-artigen Signals aus einem Zwei-Kanal-Stereoeingangssignal verbessert, oder es wird eine Nachverarbeitung eines existierenden Signals, das z.B. bereits ein extrahiertes Roh-Umgebungssignal ist, vorgenommen. Im ersten Fall ist das Untersuchungssignal das tatsächliche ZweiKanal-Stereosignal bzw. jeweils ein Kanal des Zwei-Kanal-Signals, während im zweiten Fall das Untersuchungssignal bereits ein extrahiertes Umgebungssignal oder ein vorsynthetisiertes Umgebungssignal ist. Damit ist das erfindungsgemäße Konzept besonders nützlich für das Upmix-Konzept, das auch als "Direct-Ambience-Konzept" dargestellt worden ist. Auch für das "In-the-Band"-Konzept kann das erfindungsgemäße Konzept vorteilhaft sein, da es auch dort zu einem verbesserten Umgebungssignal führt, das einerseits keine störenden Artefakte mehr hat, das jedoch andererseits noch genug Informationen umfasst, damit ein Benutzer einen Nutzen vom Umgebungssignal hat.Thus, according to the invention, the extraction of an ambient signal-like signal from a two-channel stereo input signal is improved, or a post-processing of an existing signal, e.g. already an extracted raw ambient signal is made. In the first case, the examination signal is the actual two-channel stereo signal or respectively one channel of the two-channel signal, while in the second case the examination signal is already an extracted environment signal or a presynthesized environment signal. Thus, the inventive concept is particularly useful for the upmix concept, which has also been presented as a "direct ambience concept". The concept according to the invention can also be advantageous for the "in-the-band" concept, since it also leads to an improved environmental signal which, on the one hand, no longer has any interfering artifacts, but on the other hand still contains enough information for a user to benefit from the ambient signal.
Die erfindungsgemäße Umgebungssignalerzeugung führt dazu, dass das Umgebungssignal keine relevanten Teile von Direktschallquellen hat, wobei insbesondere keine Transienten enthalten sind bzw. Transienten nur in sehr stark gedämpfter Form enthalten sind. Anderenfalls würde der Zuhörer Direktschallquellen hinter sich wahrnehmen, was im Konflikt zu der Erfahrung des Benutzers sein würde, der typischerweise Schallquellen nur von vorne wahrnimmt.The ambient signal generation according to the invention results in that the ambient signal has no relevant parts of direct sound sources, wherein in particular no transients are contained or transients are contained only in a very strongly attenuated form. Otherwise, the listener would perceive direct sound sources behind them, resulting in conflict to the experience of the user who typically perceives sound sources only from the front.
Ferner stellt das erfindungsgemäße Konzept sicher, dass das Umgebungssignal ein durchgehendes ununterbrochenes diffuses Tonsignal ist, da ein unterbrochener umgebungs-artiger Ton, der beispielsweise erhalten wird, wenn Transienten einfach komplett eliminiert werden würden, vom Benutzer als unangenehm oder sogar als Fehler im Hochmisch-Prozess wahrgenommen werden würde.Further, the inventive concept ensures that the surround signal is a continuous, uninterrupted, diffused sound signal, since intermittent ambient sound, which is obtained, for example, if transients were simply completely eliminated, would be considered uncomfortable by the user or even errors in the high-mix process would be perceived.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird, um einen Direkt-Ambience-Typ eines Upmix-Prozesses zu erreichen, ein ambience-artiges Signal für die hinteren Kanäle aus dem Stereosignal extrahiert. Um dies zu erreichen, wird beispielsweise nur auf die unkorrelierten Signalkomponenten oder als einfache Lösung einfach auf die Differenz zwischen dem ursprünglichen rechten und linken Kanal zurückgegriffen. Wenn die hinteren Kanäle derart erzeugt werden, haben sie oft transienten-artige Komponenten von Direktschallquellen. Diese Transienten können Töne sein, wie beispielsweise Notenanfänge oder Teile von perkussiven Instrumenten. Ein Transient, der hinter dem Zuhörer wahrgenommen wird, während eine Direktschallquelle (zu der der Transient typischerweise gehört) vor dem Zuhörer positioniert ist, hat eine negative Auswirkung auf die Lokalisierung der Direktschallquelle. Die Direktschallquelle erscheint somit entweder breiter als das Original oder wird, was noch schädlicher ist, als unabhängige Direktschallquelle hinter dem Benutzer wahrgenommen, wobei beide Effekte insbesondere für das Direkt-Ambience-Konzept sehr unerwünscht sind.In a preferred embodiment of the present invention, to achieve a direct ambience type of upmixing process, an ambience-like signal for the rear channels is extracted from the stereo signal. In order to achieve this, for example, only the uncorrelated signal components or, as a simple solution, the difference between the original right and left channels is simply used. When the back channels are created in this way, they often have transient-like components of direct sound sources. These transients may be tones, such as, for example, musical beginnings or parts of percussive instruments. A transient perceived behind the listener while a direct sound source (to which the transient typically belongs) is positioned in front of the listener has a negative impact on the localization of the direct sound source. The direct sound source thus appears either wider than the original or, even more damaging, perceived as an independent direct sound source behind the user, both effects being very undesirable, especially for the direct ambience concept.
Erfindungsgemäß wird diese Problematik dadurch angegangen, dass Transienten im umgebungsartigen Signal unterdrückt werden, und dass die Auswirkung dieser Unterdrückung auf das restliche Signal minimiert wird, d.h. dass die Kontinuität des Signals bewahrt wird, indem nur begrenzte Intensitäts-Variationen für den Transientenzeitraum zugelassen werden.According to the invention, this problem is addressed by suppressing transients in the ambient-like signal, and minimizing the effect of this suppression on the remaining signal, ie, preserving the continuity of the signal by providing only limited intensity variations be admitted for the transient period.
Beim bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird das für den Transientenzeitraum erzeugte Signal, bevor es durch den Signalsubstituierer verwendet wird, mit dem ursprünglich im Transientenzeitraum vorhandenen Signal gemischt, was beispielsweise durch eine überlappende Verarbeitung erreicht wird. Alternativ oder zusätzlich kann, um die Diskontinuitäten an den Rändern des Transientenzeitraums zu unterdrücken bzw. wenigstens zu reduzieren, ein Überblenden vorgenommen werden, um in einem Überblendbereich langsam von dem Signal vor dem Transientenzeitraum in das Signal im Transientenzeitraum überzublenden oder um aus dem Transientenzeitraum wieder langsam auszublenden.In the preferred embodiment of the present invention, the signal generated for the transient period, before being used by the signal substituter, is mixed with the signal originally present in the transient period, which is achieved, for example, by overlapping processing. Alternatively or additionally, in order to suppress or at least reduce the discontinuities at the edges of the transient period, a cross-fading may be performed to slowly fade in a cross-fade range from the signal before the transient period to the signal in the transient period, or slowly out of the transient period hide.
Insbesondere die Ausblendung vom Transientenzeitraum in das ursprüngliche Signal, wenn kein Transient mehr detektiert wird, ist für einen artefaktfreien Höreindruck bevorzugt, da sichergestellt werden soll, dass dann, wenn ein Nicht-Artefakt-behaftetes Untersuchungssignal vorliegt, durch den Übergang vom Synthesesignal in das ursprüngliche Untersuchungssignal kein Knacken oder etwas Ähnliches entsteht.In particular, the blanking out of the transient period into the original signal when no more transient is detected is preferred for an artifact-free listening impression, since it is intended to ensure that when there is a non-artifact-related examination signal, the transition from the synthesis signal to the original one Examination signal no cracking or something similar arises.
Bei weiteren bevorzugten Ausführungsbeispielen der vorliegenden Erfindung wird eine Manipulation des Signals im Transientenzeitraum im Frequenzbereich vorgenommen, indem Vorzeichen von Spektralwerten oder allgemeiner gesagt Phasen von Spektralwerten randomisiert werden, was unweigerlich zu einer Glättung der zeitlichen Feinstruktur dieses im Frequenzbereich manipulierten Signals führt. Eine weitere Spektralverarbeitung besteht darin, eine Prädiktion über der Frequenz der Spektralwerte durchzuführen und dann die Prädiktionsspektralwerte als Spektralwerte des Synthesesignals zu verwenden, da die Prädiktion über der Frequenz zu einer Glättung des korrespondierenden Zeitsignals führt.In further preferred embodiments of the present invention, a manipulation of the signal in the transient period is performed in the frequency domain by randomizing signs of spectral values or, more generally, phases of spectral values, which inevitably results in a smoothing of the temporal fine structure of this frequency domain manipulated signal. Another spectral processing is to perform a prediction on the frequency of the spectral values and then use the prediction spectral values as spectral values of the synthesis signal, since the prediction over the frequency leads to a smoothing of the corresponding time signal.
Zur Unterdrückung von Transienten bei gleichzeitiger Beibehaltung oder nur geringer Beeinflussung, es wird bevorzugt, die Intensität des Transientenzeitraums um höchstens plus oder minus 50% zu ändern, bestehen darin, die Änderung der Spektralwerte von einem Block zu einem nächsten zu limitieren, wobei diese Limitierung global, also für alle Spektralwerte gleich oder selektiv, also nur für bestimmte Spektralwerte, die eine besonders große Änderung haben, erfolgen kann.To suppress transients while maintaining or only slightly influencing, it is preferred to change the intensity of the transient period by at most plus or minus 50%, is to limit the change of spectral values from one block to another, this limitation being global , ie for all spectral values equal or selective, ie only for certain spectral values, which have a particularly large change, can take place.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
- Fig. 1
- ein Blockschaltbild der erfindungsgemäßen Vorrichtung zum Erzeugen eines Umgebungssignals;
- Fig. 2a
- eine schematische Darstellung der Blockverarbeitung bei nicht-überlappenden Blöcken, jedoch mit Überblendbereich;
- Fig. 2b
- eine schematische Darstellung der Synthesesignalerzeugung bei überlappenden Blöcken;
- Fig. 3
- eine spezielle Implementierung einer Überblendung mit einer Einblendfunktion und einer Ausblendfunktion, die für
Fig. 2a oderFig. 2b eingesetzt werden kann; - Fig. 4
- ein Blockschaltbild einer bevorzugten Implementierung mit einer Verarbeitung im Frequenzbereich;
- Fig. 5a
- eine alternative Implementierung der Frequenzbereichsverarbeitung;
- Fig. 5b
- eine wieder alternative Frequenzbereichsverarbeitung;
- Fig. 5c
- eine bevorzugte Implementierung einer Intensitäts-basierten Verarbeitung;
- Fig. 6
- eine Implementierung zur Erhaltung tonaler Bereiche im Synthesesignal;
- Fig. 7
- ein Blockschaltbild einer bevorzugten Ausführungsform basierend auf dem Hochfrequenzgehalt HFC;
- Fig. 8
- eine bevorzugte Implementierung der erfindungsgemäßen Vorrichtung mit zusätzlicher Funktionalität zum Erzeugen der Direktschallkanäle L, R, C;
- Fig. 9
- ein Stereo-Wiedergabe-Szenario;
- Fig. 10
- ein Multikanal-Wiedergabe-Szenario, bei dem alle Direktschallquellen durch die vorderen Kanäle wiedergegeben werden; und
- Fig. 11
- ein Multikanal-Wiedergabe-Szenario, bei dem Schallquellen auch durch hintere Kanäle wiedergebeben werden können.
- Fig. 1
- a block diagram of the device according to the invention for generating an environmental signal;
- Fig. 2a
- a schematic representation of the block processing in non-overlapping blocks, but with cross-fade area;
- Fig. 2b
- a schematic representation of the synthesis signal generation in overlapping blocks;
- Fig. 3
- a special implementation of a fade with a fade - in function and a fade - in function, which is used for
Fig. 2a orFig. 2b can be used; - Fig. 4
- a block diagram of a preferred implementation with a processing in the frequency domain;
- Fig. 5a
- an alternative implementation of frequency domain processing;
- Fig. 5b
- another alternative frequency domain processing;
- Fig. 5c
- a preferred implementation of intensity-based processing;
- Fig. 6
- an implementation for preserving tonal regions in the synthesis signal;
- Fig. 7
- a block diagram of a preferred embodiment based on the high frequency content HFC;
- Fig. 8
- a preferred implementation of the device according to the invention with additional functionality for generating the direct sound channels L, R, C;
- Fig. 9
- a stereo playback scenario;
- Fig. 10
- a multi-channel playback scenario in which all direct sound sources are played back through the front channels; and
- Fig. 11
- a multi-channel playback scenario in which sound sources can also be reproduced through rear channels.
Die in
Der Transienten-Detektor 11 ist mit einem Synthesesignalgenerator 12 gekoppelt, der ausgebildet ist, um ein Synthesesignal 13 zu erzeugen, das die beiden Bedingungen erfüllt, nämlich einerseits die Transientenbedingung und andererseits die Kontinuitätsbedingung. Die Transientenbedingung besteht darin, dass das Synthesesignal einen flacheren zeitlichen Verlauf als das Untersuchungssignal in dem transienten Bereich aufweist, während die Kontinuitätsbedingung darin besteht, dass die Intensität des Synthesesignals im transienten Bereich von einer Intensität eines vorhergehenden oder nachfolgenden Abschnitts des Untersuchungssignals um weniger als eine voreingestellte Schwelle abweicht. Vorzugsweise ist die Schwelle eine relative Schwelle und liegt bei einem Wert = 2,5, wobei Werte = 1,5 sogar bevorzugt werden. Dies bedeutet, dass die Intensität des Signals im transienten Bereich höchstens das 1,5-fache oder das 0,66-fache der Intensität eines vorausgehenden nicht-transienten Abschnitts oder nachfolgenden nicht-transienten Abschnitts des Untersuchungssignals ist. Damit wird sichergestellt, dass eine Transientenunterdrückung nicht zu einer störenden Amplituden-Variation bzw. Intensitätsvariation führen wird.The
Die Schwelle kann auch durch ein Vertrauensintervall von 80% oder weniger, das anhand der Vergangenheitswerte bestimmt wird, realisiert werden.The threshold can also be realized by a confidence interval of 80% or less, which is determined based on the historical values.
Intensitätsmaße, die für die vorliegende Erfindung eingesetzt werden können, umfassen die Energie, die durch Addition der Abtastwert-Quadrate oder Spektralwert-Quadrate eines Blocks erhalten wird, oder ein Leistungsmaß, das unter Berücksichtigung der zeitlichen Blocklänge erhalten werden kann, oder auch ein Maß, das Beträge von Spektralwerten in einem Band gewichtet oder ungewichtet aufaddiert, wobei dieses spezielle Maß, das ebenfalls eine Intensität darstellt, auch als Hochfrequenzgehalt bezeichnet wird, wenn das Band, in dem aufaddiert wird, das obere Frequenzband des Untersuchungssignals ist oder allgemein höhere Frequenzen gegenüber niedrigeren Frequenzen stärker gewichtet werden bzw. einen stärkeren Einfluss auf das Endergebnis haben.Intensity measures that can be used for the present invention include the energy obtained by adding the sample squares or spectral value squares of a block, or a measure of performance that can be obtained considering the temporal block length, or a measure of weighting or unweighted adding up the magnitude of spectral values in a band, this particular measure, which is also an intensity, also being referred to as high frequency content if the band in which it is added is the upper frequency band of the examination signal, or generally higher frequencies versus lower Frequencies are more heavily weighted or have a greater impact on the end result.
Der Synthesesignalgenerator erzeugt dann ein Synthesesignal, das von einem Signalsubstituierer 14 verwendet wird, um das Synthesesignal statt des entsprechenden Bereichs des ursprünglichen Untersuchungssignals zu verwenden, um schließlich das Umgebungssignal 10 zu liefern. Der Signalsubstituierer 14 erhält somit neben dem Synthesesignal über die Leitung 13 auch das Untersuchungssignal über eine Leitung 15, wie es in
Bei speziellen Ausführungsbeispielen der vorliegenden Erfindung wird eine nicht-überlappende Blockverarbeitung, wie in
Bei den bevorzugten Ausführungsbeispielen wird, wie es später noch dargestellt wird, eine Verarbeitung des Blocks des Untersuchungssignals vorgenommen, die im Frequenzbereich stattfindet. Dies führt dazu, dass an einer Blockgrenze das Synthesesignal einen Abtastwert hat, der sich von einem Abtastwert, der der letzte Abtastwert des vorausgehenden Blocks im Untersuchungssignal ist, deutlich unterscheiden kann. Um solche Blockgrenzen-Artefakte, die auftreten können, zu eliminieren, wird es bei dem in
Um solche Blockgrenzen-Artefakte noch weiter zu reduzieren, wird, wie es in
Die in
Nachfolgend wird eine bevorzugte Implementierung eines Teils des Synthesesignalgenerators 12 anhand von
So kann bei der vorliegenden Erfindung eine insgesamte E-nergiemanipulation der Energie des Zeitsignals zwar stattfinden. So wird jedoch lediglich der Transient gedämpft, während die tonalen Anteile weiterlaufen bzw. aus der Vergangenheit synthetisiert werden, indem das Signal im Transientenzeitraum durch eine Prädiktion unter Verwendung eines nicht transienten Signals aus der Vergangenheit synthetisiert wird.Thus, in the present invention, an overall e-energy manipulation of the energy of the time signal may occur. However, only the transient is attenuated while the tonal components continue to be synthesized or past, by synthesizing the signal in the transient period by a prediction using a non-transient signal from the past.
Wenn die Energie - wie bei der Randomisierung oder spektralen Prädiktion - jedoch nicht angetastet wird, hat die Glättung dazu geführt, dass die Energie über dem Block gleichmäßiger verteilt wird, so dass ein glatterer zeitlicher Verlauf erzeugt worden ist, ohne jedoch die Energie des Blocks von Abtastwerten des Untersuchungssignals erheblich zu ändern. Dies ist in den meisten Fällen ausreichend und stellt sicher, dass der Benutzer ein Untersuchungssignal hört, das die Kontinuitätsbedingung immer erfüllt. Erst wenn die Transiente zu einer erheblichen Energiezunahme auf den ganzen Block betrachtet führt, wird die Glättung allein, also die gleichmäßigere Verteilung der Energie über dem Block, nicht mehr ausreichend sein und es kann dann eine gesteuerte Signalbegrenzung vorgenommen werden.However, if the energy - as in randomization or spectral prediction - is not touched, the smoothing has caused the energy over the block to be more evenly distributed, thus producing a smoother timing, but without losing the block's energy Sampling of the examination signal considerably to change. This is sufficient in most cases and ensures that the user hears a test signal that always satisfies the continuity condition. Only when the transient leads to a considerable increase in energy on the entire block, the smoothing alone, so the more even distribution of energy over the block, will not be sufficient and then a controlled signal limitation can be made.
Bekannte Verfahren, die darin bestehen, eine Lokalisierung von Direktschallquellen in den hinteren Kanälen zu vermeiden, bestehen darin, die hinteren Kanäle ein paar Millisekunden zu verzögern. Diese Lösung führt zu keiner Transientenunterdrückung, versucht jedoch die Transienten durch Verwenden des Präzedenz-Effekts zu "maskieren". Der Präzedenz-Effekt besteht darin, dass das Ohr dort eine Schallquelle vermutet, wo es zuerst etwas von dieser Schallquelle hört, wobei das, was man dann von dieser Schallquelle hört, durchaus lauter oder von einer anderen Richtung kommen kann. Nachteilhaft an dieser Lösung ist jedoch, dass sehr kurze Schallereignisse mit scharfen Transienten oft immer noch hörbar sind und dann zweimal wahrgenommen werden, und zwar durch einen vorderen Lautsprecher und einige Millisekunden später durch die hinteren Kanäle, was einen unangenehmen Höreindruck bewirkt.Known methods, which are to avoid localization of direct sound sources in the back channels, are to delay the back channels a few milliseconds. This solution does not result in transient suppression, but attempts to "mask" the transients by using the precedence effect. The precedence effect is that the ear suspects a sound source where it first hears something from that sound source, and what you hear from that sound source can be louder or come from another direction. A disadvantage of this solution, however, is that very short sound events with sharp transients are often still audible and are then perceived twice, through a front loudspeaker and a few milliseconds later through the rear channels, which causes an unpleasant auditory impression.
Kommerziell verfügbare Matrix-Decodierer, wie beispielsweise Dolby Pro Logic II oder Logic 7 haben die Fähigkeit, nicht vorverarbeitete 2-Kanal-Stereo-Dateien in Multikanal-Surround-Dateien hochzumischen (upmixen), obwohl sie unmittelbar nicht für diese Aufgabe entworfen worden sind. Diese Matrix-Decodierer sind oft nicht in der Lage, transiente Töne in den hinteren Kanälen zu unterdrücken, was in einem Signal resultiert, das die Anforderungen nach Transientenfreiheit und Amplituden- bzw. Intensitäts-Kontinuität nicht erfüllt.Commercially available matrix decoders, such as Dolby Pro Logic II or Logic 7, have the ability to upmix non-preprocessed 2-channel stereo files in multichannel surround files, although they have not been designed immediately for this task. These matrix decoders are often incapable of rejecting transient tones in the back channels, resulting in a signal that does not meet the requirements for transient-free and amplitude-continuity.
Erfindungsgemäß werden dagegen Kanalbereiche, wo Transienten auftreten, erfasst und gedämpft. Eine einfache Dämpfung des gesamten Signals zu diesen Zeitbereichen würde jedoch in einer Amplitudenmodulation des Umgebungssignals resultieren und es würde als unangenehme oder sogar als Artefakt wahrgenommen werden. Dies würde daher das Qualitätsempfinden des extrahierten oder verarbeiteten Umgebungssignals verschlechtern. Um diesen unangenehmen Amplitudenmodulationseffekt zu überwinden, wird erfindungsgemäß eine Transientenunterdrückung ohne Beeinträchtigung der Kontinuität des Synthesesignals bzw. Umgebungssignals erzeugt. Hierzu wird ein Eingangssignal, das z.B. ein hochgemischtes Signal, wie es durch einen Matrix-Hochmischer erhalten wird, für die hinteren Kanäle, oder es wird ein Signal mit ähnlichen Charakteristika und einem ähnlichen Anwendungsbereich analysiert, um zu erfassen, ob eine Transiente vorhanden ist.In contrast, according to the invention, channel regions where transients occur are detected and attenuated. However, simply attenuating the entire signal at those time ranges would result in amplitude modulation of the environmental signal and would be perceived as an unpleasant or even artifact. This would therefore degrade the sense of quality of the extracted or processed environmental signal. In order to overcome this unpleasant amplitude modulation effect, according to the invention a transient suppression is produced without affecting the continuity of the synthesis signal or ambient signal. For this purpose, an input signal, e.g. a high-mix signal as obtained by a matrix up-mixer for the back channels, or a signal with similar characteristics and a similar range of application is analyzed to detect if a transient is present.
Wenn eine Transiente erfasst wird, wird der gegenwärtig verarbeitete Block durch ein Substitutionssignal ersetzt, das eine flache (nicht-transiente) zeitliche Hüllkurve hat. Dieses Substitutionssignal wird entweder von vorhergehenden Signalabschnitten, in denen keine Transiente vorhanden war, erzeugt oder wird von dem gegenwärtig verarbeiteten Block durch einen Verarbeitungsschritt erzeugt, der die zeitliche Hüllkurve bzw. Feinstruktur des Signals flacher macht oder wird von einer Kombination beider Verfahren erzeugt.When a transient is detected, the currently processed block is replaced with a substitution signal having a flat (non-transient) time envelope. This substitution signal is either generated from previous signal portions in which no transient was present, or is generated from the currently processed block by a processing step that flattens the temporal envelope of the signal, or is generated by a combination of both methods.
Das Substitutionssignal, das von vorhergehenden Abschnitten erzeugt wird, wird beispielsweise durch Extrapolation vorheriger Energiepegel des Signals oder durch Kopieren/Wiederholen von vorherigen Signalabschnitten ohne einen transienten Bereich des Signals erzeugt.The substitution signal generated by previous sections is generated, for example, by extrapolating previous energy levels of the signal or by copying / repeating previous signal sections without a transient portion of the signal.
Ein Abflachen oder "Flattening" der zeitlichen Feinstruktur oder des feinen Zeitsignals auf der Basis des gegenwärtig verarbeiteten Blocks kann beispielsweise derart durchgeführt werden, wie es nachfolgend bezugnehmend auf die
So können die Absolutwerte der Spektralkoeffizienten innerhalb eines begrenzten Bereichs, der sich um die extrapolierten Spektralkoeffizienten oder Beträge derselben erstreckt, randomisiert werden, wie es später noch in Verbindung mit
Alternativ oder zusätzlich können die Phasen bzw. Vorzeichen der Spektralkoeffizienten des verarbeiteten Blocks, in dem sich der Transient befindet, durch einen Randomisierer 50 randomisiert werden. Hierzu wird ein Kurzzeitspektrum des betrachteten Blocks des Untersuchungssignals erzeugt, und die dort erhaltenen komplexen Spektralwerte werden nach Betrag und Phase berechnet, um dann die Phasen der Spektralwerte zu randomisieren. Wird eine Transformation eingesetzt, die nur Phasen von +/-180° auflösen kann, die also Spektralwerte nur mit positiven und negativen Vorzeichen liefern kann, so können auch die Vorzeichen randomisiert werden, um ein Kurzzeitspektrum mit randomisierten Phasen/Vorzeichen zu erhalten, das einen flacheren zeitlichen Verlauf des korrespondierenden Zeitsignals hat.Alternatively or additionally, the phases or signs of the spectral coefficients of the processed block in which the transient is located may be randomized by a
Dieser Ansatz basiert darauf, dass eine schnelle Änderung in einem Zeitsignal nur dann möglich ist, wenn die Phasen der diesem transienten Bereich zugrunde liegenden Grundwelle und zugehörigen Oberwellen in einem ganz bestimmten Verhältnis sind. Wird eine Randomisierung der Phasen erreicht, so führt dies dazu, dass der transiente Bereich geglättet wird, da das genaue Zusammenspiel der Phasen der einzelnen Sinusschwingungen, die durch die Spektralwerte abgebildet werden, nicht mehr vorhanden ist.This approach is based on the fact that a rapid change in a time signal is only possible if the phases of the fundamental wave underlying this transient range and associated harmonics are in a very specific ratio. If a randomization of the phases is achieved, this leads to the fact that the transient range is smoothed, since the exact interaction of the phases of the individual sinusoidal oscillations, which are represented by the spectral values, no longer exists.
Eine alternative Implementierung ist in
Wieder wird ein Kurzzeitspektrum erzeugt, das in seinem zugeordneten Zeitsignal einen transienten Verlauf hat. Typischerweise unter Verwendung eines Open-Loop-Prädiktors wird ein aktueller Spektralwert des Kurzzeitspektrums mittels eines vorherigen oder einer Mehrzahl von vorherigen Spektralwerten vorhergesagt, wobei dann der vorhergesagte Spektralwert von dem tatsächlichen Spektralwert subtrahiert werden könnte, um einen spektralen Restwert zu erhalten. Während der spektrale Restwert einer typischen Prädiktion über der Frequenz den Wert darstellt, der von Interesse ist und zusammen mit Koeffizienten eines Prädiktionsfilters informationstragend ist, wird erfindungsgemäß ein bestimmtes Prädiktionsfilter voreingestellt, und werden die Spektralwerte des Kurzzeitspektrums durch die unter Verwendung dieses Prädiktionsfilters prädizierten Spektralwerte ersetzt, während das Prädiktionsfehlersignal nicht weiter verwendet wird.Again, a short-term spectrum is generated which has a transient course in its assigned time signal. Typically, using an open-loop predictor, a current spectral value of the short-term spectrum is predicted using a previous or a plurality of previous spectral values, and then the predicted spectral value could be subtracted from the actual spectral value to obtain a residual spectral value. While the residual spectral value of a typical prediction over frequency represents the value of interest and information-bearing information along with coefficients of a prediction filter, according to the invention a given prediction filter is preset and the spectral values of the short-term spectrum are replaced by the spectral values predicted using this prediction filter, while the prediction error signal is no longer used.
Die damit erhaltenen eigentlich fehlerhaften Prädiktikons-Spektralwerte haben jedoch nunmehr einen flacheren zeitlichen Verlauf als das ursprüngliche Kurzzeitspektrum, haben jedoch noch annähernd soviel Energie, so dass sowohl die Transientenbedingung als auch die Kontinuitätsbedingung, wie sie in Verbindung mit dem Synthesesignalgenerator 12 von
Allgemein kann das extrapolierte Signal mit dem ursprünglichen Signal nach einer spezifizierten Zeitdauer übergeblendet werden, anstatt einer harten Umschaltung, um Langzeit-Extrapolationsartefakte zu vermeiden.In general, the extrapolated signal may be blended with the original signal after a specified period of time rather than hard switching, to avoid long-term extrapolation artefacts.
Ferner wird es bevorzugt, wie es anhand von
Somit werden stationäre/tonale Frequenzkomponenten im Eingangssignal, die während der Zeitdauer des Transienten beispielsweise in lediglich Teilen des Spektrums vorhanden waren, erfasst und es wird ein Substitutionssignal erzeugt, das aus einer Extrapolation der vergangenen stationären/tonalen Signalkomponenten und den im aktuellen Block erfassten stationären/tonalen Frequenzkomponenten besteht.Thus, stationary / tonal frequency components in the input signal, which were present during the duration of the transient, for example, in only parts of the spectrum, are detected and a substitution signal is generated, which consists of an extrapolation of the past stationary / tonal signal components and the stationary / tonal signal detected in the current block. tonal frequency components.
Nachfolgend wird anhand von
Die Einrichtung 55 zum Begrenzen der Spektralwerte begrenzt also individuell oder global die Spektralwerte, wobei eine individuelle Begrenzung darin besteht, dass nur die Spektralwerte, die oberhalb einer Schwelle ansteigen, begrenzt und vorzugsweise auf diese Schwelle begrenzt werden, während die anderen Spektralwerte, die nicht so stark ansteigen, nicht beeinflusst werden. Alternativ wird es jedoch in bestimmten Fällen günstiger sein und im Hinblick auf den Rechenaufwand einfacher sein, dann, wenn eine zu starke Zunahme festgestellt worden ist, sämtliche Spektralwerte um dasselbe absolute oder relative Maß zu begrenzen.Thus, means 56 for limiting the spectral values individually or globally limits the spectral values, an individual limitation being that only the spectral values which rise above a threshold are limited and preferably limited to this threshold, while the other spectral values are not increase strongly, not be influenced. Alternatively, however, in certain cases it will be more convenient and simpler in terms of computational effort, then, if too much increase has been detected, all spectral values will be bounded by the same absolute or relative measure.
Hierauf wird es noch bevorzugt, eine Nachverarbeitung der begrenzten Spektralwerte mittels einer Einrichtung 56 zum Nachverarbeiten vorzunehmen, wobei diese Nachverarbeitung in einer Randomisierung, wie es in
Im Hinblick auf
Nachfolgend wird ein speziell bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung anhand von
Dadurch, dass die Gewichtungsfaktoren von niedrigen zu höheren Frequenzen ansteigen, wird sichergestellt, dass im HFC-Wert die Energie in den höheren Frequenzkomponenten im Vergleich zu der Energie in den niedrigeren Frequenzkomponenten gewichtet wird. Eine Energie in höheren Spektralkomponenten ist nämlich ein besseres Indiz für einen Transient als eine Energie in niedrigeren Spektralkomponenten. In der Implementierung kann zur Berechnung des HFC auf sämtliche Spektralkomponenten zurückgegriffen werden. Alternativ kann die Berechnung des HFC auch ausgehend von einem Grenzwert durchgeführt werden, der etwa im mittleren Bereich des Spektrums liegt, so dass die niedrigen Spektralkoeffizienten in der Berechnung des HFC keine Rolle spielen.As the weighting factors increase from lower to higher frequencies, it is ensured that in the HFC value the energy in the higher frequency components is weighted compared to the energy in the lower frequency components. An energy in higher spectral components is a better indication of a transient than energy in lower spectral components. In the implementation, all spectral components can be used to calculate the HFC. Alternatively, the calculation of the HFC can also be carried out starting from a limit which is approximately in the middle range of the spectrum, so that the low spectral coefficients play no role in the calculation of the HFC.
Ferner wird ein Langzeit-HFC-Mittelwert, der als HFC' bezeichnet wird, über wenigstens drei und vorzugsweise fünf vorausgehende Blöcke berechnet. Wird dann in der Einrichtung 73 bestimmt, dass der HFC im aktuellen Block um einen Faktor mehr als einen konstanten Faktor c von dem Langzeit-Mittelwert HFC' abweicht, wobei als konstanter Faktor c eine Zahl > oder = 1,0 verwendet wird, so wird ein Transient detektiert. Die Schwelle hängt von der Art des gleitenden Mittelwerts ab. Ist der gleitende Mittelwert eine Mittelwert, in dem die Vergangenheit gegenüber dem aktuelleren Block stärker gewichtet ist, also ein langsamer Mittelwert, so ist die Schwelle näher bei Eins als in dem Fall, in dem die Vergangenheit weniger stark in den gleitenden Mittelwert eingeht. Hier würde die Schwell weiter weg von Eins liegen.Further, a long term HFC average called HFC 'is calculated over at least three and preferably five preceding blocks. If it is then determined in the
Wenn ein Transient detektiert wird, wie es einer Einrichtung 74 zum Berechnen des Mittelwerts von der Einrichtung 73 signalisiert wird, wird der Mittelwert der vergangenen Absolutwerte jeder Frequenzlinie (Spektralkoeffizient) über einem definierten Zeitintervall, wie beispielsweise fünf Blöcken, berechnet. Zusätzlich wird ein Prädiktions-Zulässigkeits-Intervall Δmax für die extrapolierten Absolutwerte berechnet. Die extrapolierten Absolutwerte variieren zufällig innerhalb dieses Intervalls Δmax. Um dies zu erreichen, wird eine Berechnung gemäß einer Gleichung durchgeführt, wie sie bei der Einrichtung 75 in
Um Wiederholungseffekte zu vermeiden, die auftreten können, wenn ein detektierter Transient zu lang ist, werden die extrapolierten Werte mit den ursprünglichen Werten übergeblendet, und zwar dann, wenn ein festes Zeitintervall verstrichen ist, wie beispielsweise, dass drei Blöcke von Synthesesignalen vorhanden waren, von denen dann wieder auf das ursprüngliche Signal zurückgegangen werden muss. Wird der Transientenzeitraum jedoch kürzer als drei Blöcke sein, so wird es bevorzugt, das Überblenden nicht durchzuführen, da dann davon ausgegangen wird, dass sich die extrapolierten Signale noch nicht so stark von den ursprünglichen Signalen entfernt haben. Das Überblenden kann entweder vor einer Umsetzung in den Zeitbereich oder vorzugsweise nach einer Umsetzung in den Zeitbereich stattfinden, wie es bei 76 in
In einer Implementierung kann das erfindungsgemäße Konzept in einen Extraktionsprozess eines Umgebungssignals integriert werden oder als separater Nachverarbeitungsschritt unter Verwendung eines existierenden Umgebungssignals verwendet werden, das jedoch immer noch vor der erfindungsgemäßen Verarbeitung unerwünschte Transienten umfasst.In one implementation, the inventive concept may be integrated into an environment signal extraction process or used as a separate post-processing step using an existing environmental signal, but still includes undesirable transients prior to processing in accordance with the invention.
Die erfindungsgemäßen Verarbeitungsschritte können im Frequenzbereich pro Frequenzlinie oder in Subbändern durchgeführt werden. Sie können jedoch auch nur teilweise im Frequenzbereich typischerweise oberhalb eines bestimmten Frequenzlimits vorgenommen werden, oder aber auch im Zeitbereich ausschließlich oder in einer Kombination von Zeit-und Frequenzbereich durchgeführt werden.The processing steps according to the invention can be carried out in the frequency domain per frequency line or in subbands. However, they can also be made only partially in the frequency range typically above a certain frequency limit, or else in the time domain be performed exclusively or in a combination of time and frequency domain.
Es sei darauf hingewiesen, dass man entweder dasselbe Ambience-Signal für beide Surround-Kanäle oder für jeden Surround-Kanal ein eigenes Signal berechnen kann. Im ersten Fall wird z. B. das Untersuchungssignal bzw. das Umgebungssignal von einer Summe aus linkem und rechten Kanal abgeleitet. Im anderen Fall wird z. B. vom linken Kanal das Umgebungssignal für den linken Surround-Kanal berechnet und wird vom rechten Kanal das Umgebungssignal für den rechten Kanal berechnet.It should be noted that you can either use the same ambience signal for both surround channels or for each surround channel can calculate its own signal. In the first case, for. B. the examination signal or the ambient signal derived from a sum of left and right channel. In the other case z. For example, from the left channel, the surrounding signal for the left surround channel is calculated, and from the right channel, the surround signal for the right channel is calculated.
Ein Aspekt der vorliegenden Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen eines Umgebungssignals, das zur Ausstrahlung über Lautsprecher Ls, Rs geeignet ist, für die kein geeignetes Lautsprechersignal vorhanden ist, mit folgenden Merkmalen: einem Transienten-Detektor 11 zum Detektieren eines Transientenzeitraums 20, in dem ein Untersuchungssignal einen transienten Bereich 22 aufweist; einem Synthesesignalgenerator 12 zum Erzeugen eines Synthesesignals für den Transientenzeitraum 20, wobei der Synthesesignalgenerator 12 ausgebildet ist, um ein Synthesesignal zu erzeugen, das einen flacheren zeitlichen Verlauf als das Untersuchungssignal in dem Transientenzeitraum 20 aufweist, und dessen Intensität von einer Intensität eines vorangehenden oder nachfolgenden Abschnitts des Untersuchungssignals um weniger als eine vorbestimmte Schwelle abweicht; und einem Signalsubstituierer 14 zum Substituieren des Untersuchungssignals im Transientenzeitraum durch das Synthesesignal, um das Umgebungssignal zu erhalten.One aspect of the present invention relates to a device for generating an ambient signal which is suitable for transmission via loudspeakers Ls, Rs, for which no suitable loudspeaker signal is present, having the following features: a
Bei einem Ausführungsbeispiel ist die Vorrichtung für eine Blockverarbeitung ausgebildet, um aufeinander folgende Blöcke von zeitdiskreten Abtastwerten überlappend oder nichtüberlappend zu verarbeiten.In one embodiment, the apparatus is configured for block processing to process successive blocks of discrete-time samples in an overlapping or non-overlapping manner.
Bei einem Ausführungsbeispiel ist der der Transienten-Detektor 11 ausgebildet ist, um für aufeinander folgende Blöcke Intensitätswerte zu berechnen, und um einen Transientenzeitraum 20 zu detektieren, wenn ein Intensitätswert eines Blocks von einem vorausgehenden oder nachfolgenden Intensitätswert um mehr als eine vorbestimmte Transientenschwelle unterschiedlich ist.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um für einen Block im Transientenzeitraum 20 eine Mehrzahl von Spektralwerten, die ein Kurzzeitspektrum des Blocks darstellen, so zu begrenzen, dass ihre Intensität sich von der Intensität eines vorausgehenden oder nachfolgenden Blocks oder Transient um weniger als die vorbestimmte Schwelle unterschiedlich ist.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um komplexe Spektralwerte, die ein Kurzzeitspektrum des Blocks, der den Transientenzeitraum 20 umfasst, darstellen, im Hinblick auf ihre Phase oder ihr Vorzeichen zu randomisieren.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um eine Prädiktionsverarbeitung 51 über der Frequenz durchzuführen, um ein Prädiktions-Spektrum zu erhalten, dessen zugeordnetes Zeitsignal einen flacheren zeitlichen Verlauf als ein Zeitsignal hat, das einem Spektrum vor der Prädiktionsverarbeitung über der Frequenz zugeordnet ist.In one embodiment, the
Erfindungsgemäß ist der Transienten-Detektor 11 ausgebildet, um einen Hochfrequenz-Gehalt für einen Block des Untersuchungssignals zu berechnen 61, wobei der der Transienten-Detektor 11 ausgebildet ist, um den gewichteten HF-Gehalt mit einem gleitenden Mittelwert über einer Mehrzahl von vorausgehenden oder nachfolgenden Blöcken ohne Transiente zu vergleichen 73,
wobei der Transienten-Detektor 11 ausgebildet ist, um eine Transiente für einen Block zu detektieren, wenn der HF-Gehalt eines aktuellen Blocks den gleitenden Mittelwert um mehr als eine Schwelle c überschreitet.According to the invention, the
wherein the
Bei einem Ausführungsbeispiel ist der Transienten-Detektor ausgebildet, um eine Schwelle zu verwenden, die abhängig von der Art der Berechnung des gleitenden Mittelwerts gewählt ist und näher bei Eins liegt, wenn in den gleitenden Mittelwert die Vergangenheit stärker eingeht und weiter weg von Eins liegt, wenn in den gleitenden Mittelwert die Vergangenheit vergleichsweise schwächer eingeht.In one embodiment, the transient detector is configured to use a threshold that is selected depending on the manner of calculating the moving average and closer to unity when the moving average is more in the past and farther from one, when the past comparatively weakens in the moving average.
Erfindungsgemäß, ist der Synthesesignalgenerator ausgebildet, um für jeden Spektralwert eines Kurzzeitspektrums einer Mehrzahl von Blöcken einen Mittelwert unter Verwendung entsprechender Spektralwerte der Mehrzahl von Blöcken zu berechnen 74, um ein Mittelwert-Spektrum zu erhalten, um für Spektralwerte Abweichungen zu berechnen, die für Spektralwerte unterschiedlich sind und kleiner als eine maximale Abweichung Δmax sind, und um die Abweichungen und die Mittelwert-Spektralwerte zu addieren, um ein verarbeitetes Spektrum zu erhalten.According to the invention, the synthesis signal generator is designed to calculate an average for each spectral value of a short-term spectrum of a plurality of blocks using corresponding spectral values of the plurality of
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um das Synthesesignal aus Signalabschnitten des Untersuchungssignals vor oder nach dem Transientenzeitraum, aus dem Untersuchungssignal im Transientenzeitraum nach Glättung des zeitlichen Verlaufs desselben oder aus einer Kombination der Signalabschnitte des Untersuchungssignals und dem Untersuchungssignals nach einer Glättung zu berechnen.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um Signalabschnitte des Untersuchungssignals vor oder nach dem Transientenzeitraum zu kopieren.In one embodiment, the
Bei einem Ausführungsbeispiel ist ist der Synthesesignalgenerator 12 ausgebildet, um extrapolierte Spektralwerte, die aus dem Untersuchungssignal außerhalb des Transientenzeitraums abgeleitet sind, in einem vorbestimmten Bereich zu randomisieren.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um dann, wenn der Transientenzeitraum länger als eine vorbestimmte Zeit dauert, für Zeiten, die später als der vorbestimmte Zeitraum sind, Synthesesignal-Werte mit Signal-Werten des Untersuchungssignals zu mischen.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Signalsubstituierer 14 ausgebildet, um von einem Abschnitt vor dem Transientenzeitraum in den Transientenzeitraum gemäß einer Überblendfunktion überzublenden, oder um von dem Transientenzeitraum in einen Abschnitt nach dem Transientenzeitraum gemäß einer Überblendfunktion überzublenden.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um ein Kurzzeitspektrum des Synthesesignals mit Spektralwerten zu berechnen 40, 41, 42, um das Kurzzeitspektrum in eine zeitliche Darstellung umzusetzen 43, die das Synthesesignal 44 darstellt.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um ein Kurzzeitspektrum des Synthesesignals mit Subband-Signalen zu berechnen 40, 41, 42, und um das Kurzzeitspektrum mit Subband-Signalen in eine zeitliche Darstellung umzusetzen, die das Synthesesignal darstellt 43.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um das Synthesesignal so zu erzeugen, dass die vorbestimmte Schwelle kleiner oder gleich einem Faktor 2 ist.In one embodiment, the
Bei einem Ausführungsbeispiel ist der Synthesesignalgenerator 12 ausgebildet, um eine bandselektive voreingestellte Schwelle oder eine einzige Schwelle für das gesamte Spektrum zu verwenden.In one embodiment, the
Bei einem Ausführungsbeispiel weist die Vorrichtung ferner eine Extraktionseinrichtung zum Verarbeiten eines linken Kanal-Signals und eines rechten Kanal-Signals, um das Untersuchungssignal zu extrahieren, auf.In one embodiment, the apparatus further comprises extraction means for processing a left channel signal and a right channel signal to extract the examination signal.
Bei einem Ausführungsbeispiel weist die Vorrichtung einen 2-zu-3-Mischer 82 zum Erzeugen eines linken Kanals, eines rechten Kanals und eines Mittel-Kanals aus einem übertragenen Stereo- oder Mono-Signal auf, wobei der Synthesesignalgenerator 12 ausgebildet ist, um das gleiche Umgebungssignal für den hinteren linken oder hinteren rechten Kanal zu liefern, oder um das Untersuchungssignal zu skalieren, so dass der hintere linke Kanal und der hintere rechte Kanal unterschiedlich skalierte Version des Umgebungssignals erhalten können, oder um für zwei Surround-Kanäle zwei eigene Umgebungssignale zu berechnen.In one embodiment, the apparatus comprises a 2-to-3
Die vorliegende Erfindung betrifft ferner ein Verfahren zum Erzeugen eines Umgebungssignals, das zur Ausstrahlung über Lautsprecher Ls, Rs geeignet ist, für die kein geeignetes Lautsprechersignal vorhanden ist, mit folgenden Schritten: Detektieren 11 eines Transientenzeitraums 20, in dem ein Untersuchungssignal einen transienten Bereich 22 aufweist; Erzeugen 12 eines Synthesesignals für den Transientenzeitraum 20, wobei der Synthesesignalgenerator 12 ausgebildet ist, um ein Synthesesignal zu erzeugen, das einen flacheren zeitlichen Verlauf als das Untersuchungssignal in dem Transientenzeitraum 20 aufweist, und dessen Intensität von einer Intensität eines vorangehenden oder nachfolgenden Abschnitts des Untersuchungssignals um weniger als eine vorbestimmte Schwelle abweicht; und Substituieren 14 des Untersuchungssignals im Transientenzeitraum 20 durch das Synthesesignal, um das Umgebungssignal zu erhalten.The present invention further relates to a method for generating an ambient signal suitable for transmission via loudspeakers Ls, Rs for which no suitable loudspeaker signal is present, comprising the following steps: Detecting 11 a
Abhängig von der Gegebenheit, kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.Depending on the circumstances, the method according to the invention can be implemented in hardware or in software. The implementation may be on a digital storage medium, in particular a floppy disk or CD with electronic readable control signals that can interact with a programmable computer system such that the method is executed. In general, the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Claims (10)
- A device for generating an ambience signal suitable for being emitted via loudspeakers (Ls, Rs) for which there is no suitable loudspeaker signal, comprising:a transient detector (11) for detecting a transient (22) in a block of an examination signal to obtain a transient period (20) comprising the block of the examination signal;a synthesis signal generator (12) for generating a synthesis signal for the transient period (20), the synthesis signal generator (12) being implemented to generate a synthesis signal which comprises flatter a temporal course than the examination signal in the transient period (20) and the intensity of which deviates from an intensity of a portion of the examination signal preceding the transient period (20) or subsequent to the transient period (20) by less than a predetermined threshold; anda signal substituter (14) for substituting the examination signal in the transient period by the synthesis signal to obtain the ambience signal,wherein the transient detector (11) is implemented to calculate weighted high-frequency contents for the block of the examination signal (71), wherein the weighted high-frequency contents are a weighted sum of absolute values of all frequency lines in the block with increasing weighting factors from lower to higher frequencies;
wherein the transient detector (11) is implemented to compare (73) the weighted high-frequency contents of the block to a floating average value (72) over weighted high-frequency contents of a plurality of preceding or subsequent blocks of the block without any transients,
wherein the transient detector (11) is implemented to detect a transient for the block when the weighted high-frequency contents of the block exceed the floating average value by more than a threshold (c),
wherein the synthesis signal generator is implemented to calculate (74), when generating the synthesis signal for every spectral value of a short-term spectrum of a plurality of blocks, which form the portion of the examination signal preceding the transient period (20) or subsequent to the transient period (20), an average value using corresponding spectral values of the plurality of blocks to obtain an average value spectrum for the block,
to calculate, for spectral values of the average value spectrum for the block, deviations differing for the spectral values of the average value spectrum for the block and being smaller than a maximum deviation (Δmax), and
to add (75) the deviations and the average value spectral values to obtain the spectral values for the block, and
to convert (43, 76) the spectral values for the block into a temporal representation that represents the synthesis signal (44). - The device according to claim 1, which is implemented for block processing in order to divide the examination signal into successive and overlapping or nonoverlapping blocks of time-discrete sample values.
- The device according to claim 1, wherein the threshold (c) is selected depending on the type of calculation of the floating average value and is closer to one when the history has stronger an influence on the floating average value, and is further from one when the history has a comparatively smaller influence on the floating average value.
- The device according to one of the preceding claims,
wherein the synthesis signal generator (12) is implemented to calculate the synthesis signal from signal portions of the examination signals before or after the transient period, from the examination signal in the transient period after smoothing the temporal course thereof or from a combination of the signal portions of the examination signal and the examination signal after smoothing. - The device according to one of the preceding claims,
wherein the synthesis signal generator (12) is implemented to generate the synthesis signal such that the predetermined threshold is smaller than or equal to a factor of 2. - The device according to one of the preceding claims,
wherein the predetermined threshold is a band-selective preset threshold or a single threshold for the entire spectrum. - The device according to one of the preceding claims, further comprising:extracting means for processing a left channel signal and a right channel signal to extract the examination signal.
- The device according to one of the preceding claims, further comprising:a two-to-three mixer (82) for generating a left channel, a right channel and a center channel from a stereo signal transmitted; andwherein the synthesis signal generator (12) is implemented to provide the ambience signal for a back left channel (Ls) and the ambience signal for a back right channel (Rs), wherein the back left channel and the back right channel are the channels for which there is no suitable loudspeaker signal, orwherein the synthesis signal generator (12) is implemented to scale the examination signal so that differently scaled versions of the ambience signal are obtained for the back left channel and the back right channel, or
wherein the synthesis signal generator (12) is implemented to calculate a first ambience signal for the back left channel and to calculate a second ambience signal differing from the first ambience signal for the back right channel. - A method for generating an ambience signal suitable for being emitted via loudspeakers (Ls, Rs) for which there is no suitable loudspeaker signal, comprising the steps of:detecting (11) a transient (22) in a block of an examination signal to obtain a transient period (20) comprising the block of the examination signal;generating (12) a synthesis signal for the transient period (20), the synthesis signal generator (12) being implemented to generate a synthesis signal which comprises flatter a temporal course than the examination signal in the transient period (20) and the intensity of which deviates from an intensity of a portion of the examination signal preceding the transient period (20) or subsequent to the transient period (20) by less than a predetermined threshold; andsubstituting (14) the examination signal in the transient period (20) by the synthesis signal to obtain the ambience signal,wherein in the step of detecting (11) weighted high-frequency contents for the block of the examination signal are calculated (71), wherein the weighted high-frequency contents are a weighted sum of absolute values of all frequency lines in the block with increasing weighting factors from lower to higher frequencies;
wherein in the step of detecting (11) the weighted high-frequency contents of the block are compared (73) to a floating average value (72) over weighted high-frequency contents of a plurality of preceding or subsequent blocks of the block without any transients,
wherein in the step of detecting (11) a transient is detected for the block when the weighted high-frequency contents of the block exceed the floating average value by more than a threshold (c),
wherein in the step of generating (12) when generating the synthesis signal for every spectral value of a short-term spectrum of a plurality of blocks, which form the portion of the examination signal preceding the transient period (20) or subsequent to the transient period (20), an average value is calculated (74) using corresponding spectral values of the plurality of blocks to obtain an average value spectrum for the block,
wherein in the step of generating (12) for spectral values of the average value spectrum for the block, deviations differing for spectral values of the average value spectrum for the block and being smaller than a maximum deviation (Δmax) are calculated, and
wherein in the step of generating (12) the deviations and the average values spectral values are added (75) to obtain the spectral values for the block, and
wherein in the step of generating (12) the spectral values for the block are converted (43, 76) into a temporal representation that represents the synthesis signal. - A computer program for performing a method according to claim 9, when the method runs on a computer.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US74471806P | 2006-04-12 | 2006-04-12 | |
DE102006017280A DE102006017280A1 (en) | 2006-04-12 | 2006-04-12 | Ambience signal generating device for loudspeaker, has synthesis signal generator generating synthesis signal, and signal substituter substituting testing signal in transient period with synthesis signal to obtain ambience signal |
EP07703145.8A EP2005421B1 (en) | 2006-04-12 | 2007-01-30 | Apparatus and method for production of a surrounding-area signal |
Related Parent Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07703145.8 Division | 2007-01-30 | ||
EP07703145.8A Division EP2005421B1 (en) | 2006-04-12 | 2007-01-30 | Apparatus and method for production of a surrounding-area signal |
Publications (3)
Publication Number | Publication Date |
---|---|
EP2402943A2 EP2402943A2 (en) | 2012-01-04 |
EP2402943A3 EP2402943A3 (en) | 2012-06-20 |
EP2402943B1 true EP2402943B1 (en) | 2016-08-24 |
Family
ID=38514551
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07703145.8A Active EP2005421B1 (en) | 2006-04-12 | 2007-01-30 | Apparatus and method for production of a surrounding-area signal |
EP11182960.2A Active EP2402942B1 (en) | 2006-04-12 | 2007-01-30 | Method and device for creating an environmental signal |
EP11182965.1A Active EP2402943B1 (en) | 2006-04-12 | 2007-01-30 | Method and device for creating an environmental signal |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07703145.8A Active EP2005421B1 (en) | 2006-04-12 | 2007-01-30 | Apparatus and method for production of a surrounding-area signal |
EP11182960.2A Active EP2402942B1 (en) | 2006-04-12 | 2007-01-30 | Method and device for creating an environmental signal |
Country Status (11)
Country | Link |
---|---|
US (2) | US8577482B2 (en) |
EP (3) | EP2005421B1 (en) |
JP (1) | JP4664431B2 (en) |
CN (1) | CN101421779B (en) |
CA (1) | CA2643862C (en) |
DE (1) | DE102006017280A1 (en) |
ES (1) | ES2604133T3 (en) |
HK (1) | HK1124951A1 (en) |
PL (1) | PL2402943T3 (en) |
WO (1) | WO2007118533A1 (en) |
ZA (1) | ZA200809604B (en) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1964438B1 (en) * | 2005-12-13 | 2010-02-17 | Nxp B.V. | Device for and method of processing an audio data stream |
GB2437337A (en) * | 2006-04-21 | 2007-10-24 | Snell & Wilcox Ltd | Measuring block artefacts in video data using an auto-correlation function |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
JP2007316254A (en) * | 2006-05-24 | 2007-12-06 | Sony Corp | Audio signal interpolation method and audio signal interpolation device |
CN101790756B (en) * | 2007-08-27 | 2012-09-05 | 爱立信电话股份有限公司 | Transient detector and method for supporting encoding of an audio signal |
DE102007048973B4 (en) | 2007-10-12 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a multi-channel signal with voice signal processing |
BR122012006265B1 (en) * | 2008-03-10 | 2024-01-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | EQUIPMENT AND METHOD FOR MANIPULATING AN AUDIO SIGNAL HAVING A TRANSIENT EVENT |
EP2272169B1 (en) * | 2008-03-31 | 2017-09-06 | Creative Technology Ltd. | Adaptive primary-ambient decomposition of audio signals |
JP5237463B2 (en) * | 2008-12-11 | 2013-07-17 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus for generating a multi-channel audio signal |
EP2214165A3 (en) * | 2009-01-30 | 2010-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for manipulating an audio signal comprising a transient event |
CN102157151B (en) * | 2010-02-11 | 2012-10-03 | 华为技术有限公司 | Encoding method, decoding method, device and system of multichannel signals |
JP5307770B2 (en) * | 2010-07-09 | 2013-10-02 | シャープ株式会社 | Audio signal processing apparatus, method, program, and recording medium |
US8489391B2 (en) * | 2010-08-05 | 2013-07-16 | Stmicroelectronics Asia Pacific Pte., Ltd. | Scalable hybrid auto coder for transient detection in advanced audio coding with spectral band replication |
PL3576087T3 (en) * | 2013-02-05 | 2021-10-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Audio frame loss concealment |
DE102014214143B4 (en) * | 2014-03-14 | 2015-12-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing a signal in the frequency domain |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
CN112731519B (en) * | 2019-10-28 | 2024-06-25 | 中国石油天然气集团有限公司 | Method and device for determining tremor time interval |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4076969A (en) * | 1975-04-07 | 1978-02-28 | Singer & Singer | Impulse noise reduction system |
US4819269A (en) * | 1987-07-21 | 1989-04-04 | Hughes Aircraft Company | Extended imaging split mode loudspeaker system |
JPH0715800A (en) * | 1993-06-21 | 1995-01-17 | Toshiba Corp | Surround circuit |
US5610986A (en) * | 1994-03-07 | 1997-03-11 | Miles; Michael T. | Linear-matrix audio-imaging system and image analyzer |
US5886276A (en) | 1997-01-16 | 1999-03-23 | The Board Of Trustees Of The Leland Stanford Junior University | System and method for multiresolution scalable audio signal encoding |
US7231060B2 (en) | 1997-08-26 | 2007-06-12 | Color Kinetics Incorporated | Systems and methods of generating control signals |
US6928169B1 (en) * | 1998-12-24 | 2005-08-09 | Bose Corporation | Audio signal processing |
EP2299735B1 (en) * | 2000-07-19 | 2014-04-23 | Koninklijke Philips N.V. | Multi-channel stereo-converter for deriving a stereo surround and/or audio center signal |
AU2003281128A1 (en) * | 2002-07-16 | 2004-02-02 | Koninklijke Philips Electronics N.V. | Audio coding |
SG108862A1 (en) * | 2002-07-24 | 2005-02-28 | St Microelectronics Asia | Method and system for parametric characterization of transient audio signals |
US7949522B2 (en) * | 2003-02-21 | 2011-05-24 | Qnx Software Systems Co. | System for suppressing rain noise |
US7353169B1 (en) * | 2003-06-24 | 2008-04-01 | Creative Technology Ltd. | Transient detection and modification in audio signals |
CN1849649A (en) * | 2003-09-09 | 2006-10-18 | 皇家飞利浦电子股份有限公司 | Encoding of transient audio signal components |
US7970144B1 (en) * | 2003-12-17 | 2011-06-28 | Creative Technology Ltd | Extracting and modifying a panned source for enhancement and upmix of audio signals |
SE0400997D0 (en) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding or multi-channel audio |
US7876909B2 (en) * | 2004-07-13 | 2011-01-25 | Waves Audio Ltd. | Efficient filter for artificial ambience |
-
2006
- 2006-04-12 DE DE102006017280A patent/DE102006017280A1/en not_active Withdrawn
-
2007
- 2007-01-30 WO PCT/EP2007/000791 patent/WO2007118533A1/en active Application Filing
- 2007-01-30 CA CA2643862A patent/CA2643862C/en active Active
- 2007-01-30 EP EP07703145.8A patent/EP2005421B1/en active Active
- 2007-01-30 EP EP11182960.2A patent/EP2402942B1/en active Active
- 2007-01-30 JP JP2009504579A patent/JP4664431B2/en active Active
- 2007-01-30 ES ES11182965.1T patent/ES2604133T3/en active Active
- 2007-01-30 PL PL11182965T patent/PL2402943T3/en unknown
- 2007-01-30 CN CN2007800129627A patent/CN101421779B/en active Active
- 2007-01-30 EP EP11182965.1A patent/EP2402943B1/en active Active
- 2007-04-12 US US11/734,620 patent/US8577482B2/en active Active
-
2008
- 2008-11-11 ZA ZA200809604A patent/ZA200809604B/en unknown
-
2009
- 2009-04-23 HK HK09103745.3A patent/HK1124951A1/en unknown
-
2012
- 2012-04-09 US US13/442,649 patent/US9326085B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CA2643862A1 (en) | 2007-10-25 |
US20120195434A1 (en) | 2012-08-02 |
EP2402943A3 (en) | 2012-06-20 |
JP4664431B2 (en) | 2011-04-06 |
EP2402943A2 (en) | 2012-01-04 |
ZA200809604B (en) | 2010-03-31 |
EP2005421B1 (en) | 2013-06-26 |
US9326085B2 (en) | 2016-04-26 |
EP2402942A3 (en) | 2012-05-23 |
ES2604133T3 (en) | 2017-03-03 |
CA2643862C (en) | 2014-12-16 |
DE102006017280A1 (en) | 2007-10-18 |
CN101421779B (en) | 2013-04-17 |
EP2402942B1 (en) | 2016-06-01 |
WO2007118533A1 (en) | 2007-10-25 |
JP2009533910A (en) | 2009-09-17 |
US20070242833A1 (en) | 2007-10-18 |
US8577482B2 (en) | 2013-11-05 |
EP2005421A1 (en) | 2008-12-24 |
EP2402942A2 (en) | 2012-01-04 |
HK1124951A1 (en) | 2009-07-24 |
CN101421779A (en) | 2009-04-29 |
PL2402943T3 (en) | 2017-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2402943B1 (en) | Method and device for creating an environmental signal | |
EP2206113B1 (en) | Device and method for generating a multi-channel signal using voice signal processing | |
DE102006050068B4 (en) | Apparatus and method for generating an environmental signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program | |
DE602004002390T2 (en) | AUDIO CODING | |
DE602005005186T2 (en) | METHOD AND SYSTEM FOR SOUND SOUND SEPARATION | |
DE69731677T2 (en) | Improved combination stereo coding with temporal envelope shaping | |
DE69933659T2 (en) | METHOD AND SYSTEM FOR SPATIAL CODING WITH LOW BITRATE | |
EP1854334B1 (en) | Device and method for generating an encoded stereo signal of an audio piece or audio data stream | |
EP1864279B1 (en) | Device and method for producing a data flow and for producing a multi-channel representation | |
EP1763870B1 (en) | Generation of a multichannel encoded signal and decoding of a multichannel encoded signal | |
DE69214523T2 (en) | DECODER FOR VARIABLE NUMBER OF CHANNEL DISPLAYS OF MULTI-DIMENSIONAL SOUND FIELDS | |
DE602004008613T2 (en) | TREUE OPTIMIZED CODING WITH VARIABLE FRAME LENGTH | |
EP1145227B1 (en) | Method and device for error concealment in an encoded audio-signal and method and device for decoding an encoded audio signal | |
DE69827775T2 (en) | TONKANALSMISCHUNG | |
WO2008125322A1 (en) | Generation of decorrelated signals | |
DE10148351B4 (en) | Method and device for selecting a sound algorithm | |
DE4335739A1 (en) | Automatically controlling signal=to=noise ratio of noisy recordings | |
DE4445983C2 (en) | Noise reduction methods and apparatus for performing the methods | |
EP1518441B1 (en) | Device and method for suppressing a feedback | |
DE102016107799B3 (en) | Method for processing an FM stereo signal | |
WO2005083702A1 (en) | Device and method for writing on an audio cd, and audio cd |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AC | Divisional application: reference to earlier application |
Ref document number: 2005421 Country of ref document: EP Kind code of ref document: P |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: JANSSEN, CHRISTIAAN Inventor name: WALTHER, ANDREAS Inventor name: HERRE, JUERGEN Inventor name: GEYERSBERGER, STEPHAN Inventor name: HELLMUTH, OLIVER |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10L 19/02 20060101AFI20120516BHEP Ipc: H04S 5/00 20060101ALI20120516BHEP |
|
17P | Request for examination filed |
Effective date: 20121219 |
|
17Q | First examination report despatched |
Effective date: 20140611 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R079 Ref document number: 502007015054 Country of ref document: DE Free format text: PREVIOUS MAIN CLASS: G10L0019020000 Ipc: H04S0005000000 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 5/04 20060101ALN20160222BHEP Ipc: G10L 19/02 20130101ALI20160222BHEP Ipc: H04S 5/00 20060101AFI20160222BHEP Ipc: G10L 19/008 20130101ALN20160222BHEP |
|
INTG | Intention to grant announced |
Effective date: 20160314 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AC | Divisional application: reference to earlier application |
Ref document number: 2005421 Country of ref document: EP Kind code of ref document: P |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 824017 Country of ref document: AT Kind code of ref document: T Effective date: 20160915 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502007015054 Country of ref document: DE |
|
RIN2 | Information on inventor provided after grant (corrected) |
Inventor name: HELLMUTH, OLIVER Inventor name: GEYERSBERGER, STEFAN Inventor name: JANSSEN, CHRISTIAAN Inventor name: HERRE, JUERGEN Inventor name: WALTHER, ANDREAS |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: FP |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 11 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161125 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161226 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2604133 Country of ref document: ES Kind code of ref document: T3 Effective date: 20170303 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502007015054 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170131 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161124 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20170526 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160824 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170131 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170131 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170130 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 12 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170130 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 824017 Country of ref document: AT Kind code of ref document: T Effective date: 20170130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20070130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160824 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161224 |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230512 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20240123 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20240216 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240119 Year of fee payment: 18 Ref country code: CZ Payment date: 20240118 Year of fee payment: 18 Ref country code: GB Payment date: 20240124 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: TR Payment date: 20240124 Year of fee payment: 18 Ref country code: PL Payment date: 20240117 Year of fee payment: 18 Ref country code: IT Payment date: 20240131 Year of fee payment: 18 Ref country code: FR Payment date: 20240124 Year of fee payment: 18 |