EP0559530B1 - Method and system for artificial spatial processing of digital audio signals - Google Patents
Method and system for artificial spatial processing of digital audio signals Download PDFInfo
- Publication number
- EP0559530B1 EP0559530B1 EP93400503A EP93400503A EP0559530B1 EP 0559530 B1 EP0559530 B1 EP 0559530B1 EP 93400503 A EP93400503 A EP 93400503A EP 93400503 A EP93400503 A EP 93400503A EP 0559530 B1 EP0559530 B1 EP 0559530B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- delay
- module
- signals
- audio
- delayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
Definitions
- the present invention relates to a method and a system for artificial spatialization of audio-digital signals.
- Artificial reverberators are used in the music and film industry, to superimpose a room effect on recordings made in the studio, or even to modify the acoustic properties of a listening room.
- the response to an impulsive sound excitation from a listening room shows, as shown in FIG. 1a, that the typical echogram includes the direct sound followed by the first echoes or early echoes temporally locatable by ear, then finally a continuum perceived on the contrary as a sound trail.
- This sound trail called late reverberation is characteristic of the listening room itself, because it is, as a first approximation, independent of the relative positions and the extent of the sources and listeners, which is not the case for the first echoes.
- a reverberator usually comprises, as shown in FIG. 1b, an FIR filter (digital filter with finite impulse response) simulating the first echoes, and a reverberant filter, formed by a recursive network of digital delays and capable of reproducing the characteristic properties of late reverberation.
- FIR filter digital filter with finite impulse response
- the basic elementary structures of the majority of commercial reverberators consist in the use of filters, known as comb filters and all-pass filters. These filters are widely known in the state of the art.
- the comb filter has a drawback, in the frequency domain, coming from the periodicities of its spectral response resulting in a coloration perceived as a metallic stamp. The same applies to the all-pass filter when the input signal is not stationary, as in the case of speech and music signals.
- the two aforementioned filters also have the disadvantage, in the time domain, of having a low density of echoes of their impulse response, which causes the phenomenon known as rolling (flutter) in the transients.
- MR SCHROEDER proposed to use in cascade a parallel association of comb filters, called comb sum, and a series association of all-pass filters, as shown in Figure 1c, confer publication "Natural sounding artificial reverberation", J. Audio.Eng.Soc. 10 (3): 219-223, 1962.
- the assignment to each comb of the same reverberation time Tr implies a choice of the loop gain gi linked to the duration of the delay mi.
- N Df Dt.
- M.R. SCHROEDER proposed to associate a serial all-pass filter in cascade with the sum of combs.
- the all-pass filter makes it possible to increase the density of echoes without appreciably modifying the timbre of the reverberation, defined by the comb filters associated in parallel.
- the echo density is not maximum, due to the nullity of certain transfer coefficients, and the use of the only gain parameter g to control the reverberation time amounts to affecting an identical attenuation to all delays, regardless of their duration.
- the comb sum filter corresponding to the case where the matrix A is diagonal, this choice presents the risk that all the resonance modes do not have an identical decay time, which does not guarantee not the absence of coloring of the transients.
- FIG. 1e More recently, a general model, as shown in FIG. 1e, has been proposed confer [JOT, CHAIGNE, 91].
- This model essentially comprises a reference filter constituted in fact by a reverberant filter of which all the poles are of unit module, an infinite reverberation time being thus obtained at any frequency.
- Such a situation is obtained when the loopback matrix A is unitary when the delays are devoid of attenuation.
- the article cited above [JOT, CHAIGNE, 91] has as its main object the study of the conditions for obtaining the aforementioned constraints for the reference filter, the introduction of attenuations having been considered at most, in this article, in order to control the reverberation time of comb filters.
- the present invention relates to a method and a system for artificial spatialization of a audio-digital signal making it possible to vary the simulated reverberation time, as a function of the frequency of the sound signal, while respecting the identical modulus constraint of all the poles for the reference filter.
- Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal making it possible to satisfy both the modal density criteria in the spectral domain and the temporal density of the echoes.
- Another object of the present invention is to allow, both at the level of the method and of the artificial spatialization system object of the invention, a separate control of the reverberation time, of the spectral envelope of the response of the simulated hearing room and the modal density, in fact reflecting the size of the simulated hearing room.
- Another object of the present invention is also a method and a system of artificial spatialization of an audio-digital signal making it possible to control the instants of arrival and the amplitudes of the early echoes while preserving the timbre of the late reverberation, by l absence of any risk of introducing coloring of the reverberated signal.
- Another object of the present invention is also a method and a system of artificial spatialization of an audio-digital signal allowing a control of the clarity, defined as the ratio between the energy of the early echoes and that of the late reverberation.
- Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal, both mono and stereophonic, allowing in the latter case a control of the directions of origin of the early echoes.
- Another object of the present invention is finally a method and a system of artificial spatialization simultaneous of several sources, with controls of each early echo and clarity for each of the sources.
- the method and the system of artificial spatialization in real time of an audio-digital signal x (k) for generating a spatialized audio-digital signal y (k) consists in, respectively allows to carry out, starting from elementary signals xi (k ) replicates the digital audio signal a plurality of different delays to generate a plurality of delayed elementary signals and a linear combination between the delayed elementary signals to obtain a plurality of combined delayed elementary signals, at least one of each of the combined delayed elementary signals being added to at least one elementary signal xi (k) prior to the delay thereof.
- the delayed elementary signals are subjected to a weighted summation with the audio-digital signal x (k) to generate the spatialized audio-digital signal y (k).
- the method and the system of artificial spatialization in real time of an audio-digital signal find application in the technical field of audio-digital signal processing more particularly in the industry of the production of phonograms and / or videograms.
- the audio-digital signal is denoted x (k), this signal consisting of a series of samples of an encoded audio-digital signal.
- the audio-digital signal x (k) is duplicated into elementary signals xi (k) obtained from the audio-digital signal by corresponding weighting bi adapted.
- the elementary signals xi (k) are each subjected to a different delay to generate a plurality of delayed elementary signals.
- Each delayed elementary signal is denoted seri and corresponds to the elementary signal xi (k) considered.
- a linear combination between the delayed elementary signals, seri is performed to obtain a plurality of combined delayed elementary signals, denoted serci .
- serci a plurality of combined delayed elementary signals
- At least one of each of the combined delayed elementary signals, serci is added to at least one elementary signal xi (k) prior to the delay thereof.
- the delayed elementary signals, seri are subjected to a weighted summation with the audio-digital signal x (k) to generate the spatialized audio-digital signal, noted y (k).
- the weighted summation is, a first part, represented by the application to each delayed elementary signal seri a corresponding weighting coefficient, noted above, and summation of all the delayed elementary signals, seri , and, secondly, summation of the set to the weighted audio-digital signal x (k) to which the weighting coefficient d has been applied to generate the spatialized audio-digital signal y (k).
- the method which is the subject of the present invention consists, in order to simulate a phenomenon of late reverberation, in accordance with a particularly advantageous aspect thereof, in effecting the aforementioned linear combination by unitary looping.
- the method which is the subject of the invention consists in carrying out, with each different delay, an attenuation, denoted Hi ( ⁇ ), of the delayed elementary signal, seri , this attenuation being a function of the audio pulse ⁇ above.
- this attenuation is a decreasing monotonic function of the reverberation time Tr ( ⁇ ) the simulation of which is desired and proportional to each delay.
- the method also consists in carrying out, before weighted summation of the delayed elementary signals, with the audio-digital signal x (k) a spectral correction, denoted t (e j ⁇ ), verifying the relation:
- 2 ⁇ ⁇ i Tr ( ⁇ )
- ⁇ i defined as the absorbing delay, designates in fact the value of each delay increased by the phase delay brought by the corresponding attenuation Hi ( ⁇ ), ⁇ i denoting the sum of all the absorbing delays.
- This phase delay is in fact negligible compared to the value of each delay and will therefore be considered as such in the following description.
- z -1 represents the unit delay operator and D (z) is defined by:
- a first constraint can be imposed, that is to say an identical decay time for all the resonance modes.
- the transfer matrix A is unitary, that is to say in the case where the plurality of combined delayed elementary signals, serci , has the same energy as the delayed elementary signals, seri , all the aforementioned poles are on the unit circle of the complex plane.
- the module of each of the poles then being equal to unity, the decay time is infinite for each of the associated resonance modes, and the impulse response can be represented by a sum of unshocked sinusoids.
- the modal density is always equal to the total duration of the delays.
- the process which is the subject of the present invention then consists in varying the reverberation time, while respecting the identical modulus constraint for all the poles. Such a variation is obtained by assigning an attenuation ki to each of the previously mentioned delays.
- T is the audio digital signal sampling period, ⁇ being expressed in dB.
- the equality constraint of the pole module is respected when, from a reference filter, as defined above, an attenuation is assigned to each delay, which is proportional to the duration of it.
- the proportionality factor ⁇ is linked to the reverberation time Tr by equation (6) previously mentioned.
- obtaining a given variation curve of the reverberation time as a function of the frequency is obtained when the module of a pole of the system performing the above-mentioned linear combination, at the given pulsation,, is fixed by the value of the reverberation time Tr ( ⁇ ) desired at the aforementioned pulsation according to the relation (6) previously mentioned.
- Tr ( ⁇ ) the reverberation time Tr ( ⁇ ) desired at the aforementioned pulsation according to the relation (6) previously mentioned.
- the method which is the subject of the present invention thus allows the control of the simulated reverberation time, this control being valid whatever the structure of the reference filter, and also guarantees the absence of parasitic colorations in the presence of transient signals.
- the method which is the subject of the present invention then consists in assigning to each delay a frequency dependent attenuation by means of an absorbing filter with transfer function hi (z) as mentioned in FIG. 2a.
- arg [hi (e j ⁇ )] / ⁇ represents the phase delay of the absorbent filter. Due to the close link between each delay and the absorbent filter associated with it, the absorbent delay is defined as described above.
- the insertion of absorbent filters has the effect of modifying the spectral envelope of the response finally obtained, because, confer [JOT, CHAIGNE, 91], the energy of each resonance mode is proportional to the decay time thereof.
- the spectral balance of the response thus obtained is obtained by the spectral correction of the energy t (z), this spectral correction being inversely proportional to the reverberation time Tr ( ⁇ ) in the frequency domain of the processed digital audio signal.
- the impulse response of the process which is the subject of the present invention is temporally dilated by a homothety. of ratio ⁇ , but the average energy of the reverberated signal, in any given frequency band, is not modified.
- Such a multiplication in fact simulates a homothety of ratio ⁇ on the dimensions of the simulated hearing room, and has the effect of modifying the frequencies resonance while multiplying the reverberation time by ⁇ at any frequency. Dividing the reverberation time by ⁇ to bring it back to the initial situation has the effect of dividing the energy of the spatialized signal by the same quantity ⁇ .
- the correction spectral t (z) verifies the relation (2) previously mentioned in the description.
- the unitary character of the looping transfer matrix AN is guaranteed when the matrix JN is obtained by permutation of the rows or columns of the neutral matrix IN of dimension N, or if certain rows or columns of AN are replaced by their opposites.
- the loopback transfer matrices verifying the above-mentioned relation (8) thus make it possible to obtain a maximum echo density for a given number N of delays with, however, a minimal calculation cost, that is to say 2.N additions -multiplications as shown in Figure 2c.
- the total duration of the delays being fixed by the size of the room for which the reverberation must be simulated, the number N of delays determines the time necessary for the temporal density of the echoes to be built in the impulse response.
- each signal being denoted seri this consists in reinjecting according to a bijective correspondence at the entry of rank i of each delay of a delayed elementary signal, the corresponding absorbing delays being denoted ⁇ i in FIG. 2c, a delayed elementary signal of any rank j.
- each delayed elementary signal of rank i, seri must it be reinjected at the input of an elementary signal xj (k), provided that the injection of an output i on an input j is only carried out 'once for each entry and each exit.
- each elementary signal seri delayed is reduced by the sum weighted by the ratio 2 / N of the delayed elementary signals.
- each elementary signal xi (k) is added for example to a delayed elementary signal, seri , the resulting sum being subject to the corresponding delay ⁇ i, absorbing delay, and all the delayed elementary signals being summed for give the sum of the delayed elementary signals, this sum being reinjected after weighting by the coefficient -2 / N to the audio-digital input signal x (k).
- this consists in carrying out a time shift t1, ti, tN, of the instants of arrival at the level of the looping of the elementary signals, this temporal offset of the instants of arrival thus having the effect of causing a separation of the elementary signals due to the aforementioned offset.
- the elementary signals denoted for example xi (k) are then shifted in time by the difference of two successive shift instants.
- the method which is the subject of the present invention as shown in FIG. 2d consists, with the elementary signals xi (k) now being offset, choosing an offset difference between the largest and the smallest of the arrival times, symbolized by t1 and tN in FIG. 2d, less than the smallest value of the absorbent delays ⁇ i previously mentioned.
- this choice makes it possible to constitute the elementary signals offset in a plurality of early echoes, prior to the simulated late reverberation, the elementary signals offset xi (k) being of course injected downstream of each corresponding absorbing delay ⁇ i, which allows , by means of the choice of the abovementioned time shift, of injecting the shifted elementary signals xi (k) and of transmitting them as first echoes before the transmission of the signals corresponding to the processing process by reverberant filtering, as shown in FIG. 2d.
- the process of controlling the first echoes by the above-mentioned time offset also makes it possible to control not only the arrival times ti, but the amplitudes of the latter by the coefficients bi regardless of the durations ⁇ i of the absorbing delays of the process of reverberant filtering.
- this impulse response can be considered as a sum of elementary white noises each associated with a couple bi, cj, these elementary responses being pseudo-random white noises uncorrelated with each other. It follows that the choice of the weighting bi and ci coefficients as shown in FIG. 2d, although they modify the distribution of the energy according to the resonance modes, has no perceptible effect on the timbre of the late reverberation, nor the choice of ti offsets.
- Controlling the clarity and direction of source of echoes from monophonic sources in such a situation is particularly advantageous, in particular in the case where these monophonic sources are other than source elements of the corresponding stereophonic recording, ie that is to say that the aforementioned monophonic sources are elements of the source of the stereophonic signals subjected to the spatialization process in accordance with the object of the present invention.
- Such a situation can be encountered, in particular, during a recording or retransmission of a stereophonic recording of a concert given by a symphonic orchestra in which one or more concerting instruments, and in particular the playing of these, want to be highlighted.
- the method which is the subject of the present invention consists in subjecting each monophonic signal, denoted mono source 1 respectively mono 2 by way of example in FIG. 2e, to a process of temporal shift of the instants of arrival of this signal to generate, as in the case of FIG. 2d, a plurality of N corresponding offset monophonic signals, so as to constitute the offset monophonic signals in a plurality of corresponding order 1 echoes.
- the shifted elementary monophonic signals are then injected into the looping applied to the stereophonic signals subjected to the reverberation process simulated by summing, before looping, to the delayed elementary stereophonic signals.
- the system which is the subject of the present invention comprises delay channels, denoted Vi, each consisting for example successively of a multiplier element, denoted 1i, a summing element, 2i, a retarding element , 3i, and a multiplier element, 5i, in cascade, each delay channel being connected to a summing element, denoted 6i, bearing the reference of the index of the corresponding delay channel, except possibly with regard to the delay of order 1, V1.
- looping is ensured by means of a looping transfer matrix 10, formed by the matrix AN previously mentioned in the description, the latter being constituted by a network of multiplier elements and adders making it possible to deliver the combined elementary delayed signals, serci , the loopback being ensured at the level of each adder, 2i, of each delay channel.
- a looping transfer matrix 10 formed by the matrix AN previously mentioned in the description, the latter being constituted by a network of multiplier elements and adders making it possible to deliver the combined elementary delayed signals, serci , the loopback being ensured at the level of each adder, 2i, of each delay channel.
- the audio-digital signal x (k) is thus duplicated into elementary signals xi (k) feeding each delay channel, Vi, and a summing element 9 allows, after weighting of the audio-digital signal, x (k), by an element multiplier 8 to deliver the spatialized signal y (k), the summing element further receiving the weighted sum of the delayed elementary signals, seri, delivered by each delay channel, Vi, this weighted sum being further submitted, via from the spectral correction element 7, to a spectral correction of the energy t (z) verifying the relation (2) previously mentioned in the description.
- each delay element, 3i contained in each delay channel, Vi
- an absorbent element denoted 4i, whose transfer function causes a Hi attenuation ( ⁇ ) of each delayed elementary signal, the opposite value of this attenuation expressed in decibels being a monotonic decreasing function of the reverberation time Tr ( ⁇ ) and proportional to each delay generated by each corresponding delay element 3i.
- each delay element 3i associated with each attenuation element 4i is symbolically noted, as shown in FIG. 3a, 34i.
- each reference 34i, with i ⁇ [1, N] is such that the delay finally brought ⁇ i is defined as the absorbing delay, as mentioned previously in the description.
- the artificial spatialization system which is the subject of the present invention as shown in FIG. 3a constitutes a reverberant filter formed by a reference filter, as mentioned previously in the description, in which inserted, for each attenuation channel Vi, a function attenuation by the element 4i, under the conditions of relation to the reverberation time Tr ( ⁇ ) and to the delay, noted z -mi , as previously mentioned in the description.
- the reference filter is entirely characterized by the durations of the delays z -mi , the coefficients bi, ci having been defined, which can be chosen to be irrational with one another so as to avoid overlapping echoes, and such that their sum is proportional to a dimension characteristic of the phenomenon of the room to be simulated.
- the multiplying elements 1i, 5i or 8, the summing elements 2i, 6i, or the multiplying elements and the summing elements constituting the network forming the transfer matrix 10, the matrix A, of dimension NxN, can of course be produced either by corresponding digital calculation circuits, or of course, preferably, by program modules making it possible to apply the corresponding arithmetic operations to the samples of the various signals mentioned above.
- the calculations can advantageously be carried out by means of one or more calculation processors, for example, DSP 56000 microprocessors marketed by the company MOTOROLA, the corresponding indications of which will be given later in the description.
- loop transfer transfer matrices thus retained make it possible to produce loopings which are characterized by the fact that the input of each delay, that is to say each summing element 2i, receives the output signal of another delay, by a bijective correspondence, reduced by the sum multiplied by 2 / N of the output signals of the N delays.
- This class of looping matrices and the corresponding loopings make it possible to maximize the echo density, and are in fact distinguished from each other only by the choice of the matrix JN in the above-mentioned relation (8).
- the reverberant filter thus produced is shown in FIG. 3b, and appears as a sum comb filter in which the output of the filter has been looped back to the input by means of a multiplier element 23 of gain -2 / N.
- a multiplier element 23 of gain -2 / N we recognize in Figure 3b above an input summing element 22 for ensuring the aforementioned loopback as well as the various summing elements 2i, absorbing delay 34i of value ⁇ i, and summers 6i, making it possible to loop the assembly .
- the value of the gain of the multiplication element 23 can be either -2 / N when the summers 22 or 2i provide a positive summation, or the value 2 / N when the summation elements 22 or 2i are summation elements algebraic, looping being performed on a subtraction input.
- FIG. 3c an embodiment has thus been shown making it possible to obtain the above-mentioned looping in which the transfer matrix of the looping AN verifies the preceding relation (9).
- the system which is the subject of the present invention as shown in FIG. 3c, constitutes a reverberant, monophonic filter, remarkable in that it uses a main loop formed substantially by the different delay channels Vi connected in cascade, the values of elements of multiplication and therefore of gain bi and ci not having been represented because having been taken equal to 1, so that the absorbing delays ⁇ i are connected in series via the corresponding summing elements 2i, the looping being achieved by the multiplier element 23 via the input summing element 22, which allows a reinjection of the resulting sum signal x (k) -2 / N.
- Monophonic reverberators as shown in FIG. 3b and 3c can, if necessary, cause a parasitic echo whose arrival date corresponds to the sum of the durations of the absorbent delays ⁇ i.
- the amplitude of this parasitic echo decreases when the number N of delays increases and this echo merges into the reverberation when N> 12.
- this parasitic echo is not present at the output of each of the N absorbent delays 34i, but arises from the interference between these signals.
- FIGS. 3d and 3e allow the abovementioned interference phenomenon to be eliminated, by splitting and placing in phase opposition, at the input or at the output of the filter reverberating the input, respectively output, split signals.
- the elementary signals are split into elementary signals of odd rank x2p-1 (k), even x2p (k), and placed in phase opposition by means of a first summing element, 22a, respectively second subtracting element, 22b, corresponding, the corresponding delayed elementary signals being of course summed by the corresponding summing elements 6i and the reinjection weighted by the multiplying element 23 being carried out at the first, 22a, respectively second, 22b, summing element , respectively subtractor.
- the summation of the signals of even rank, respectively odd, above mentioned is carried out by the summing elements 6 1a , of odd rank, respectively 6 2a of even rank, and the loopback is carried out by means of an additional summing element of split output 6 1b , respectively 6 2b , the summing element 6 1b receiving the signals delivered by the summing element 6 1a , respectively 6 2a , and delivering the sum signal to the multiplying element 23, while the subtracting element 6 2b receives the signals delivered by the summing element 6 1a , respectively 6 2a , and delivers the spatialized audio-digital signal y (k).
- FIG. 3f an arrangement similar to that of FIG. 3c is shown, in which, in order to eliminate the interference mentioned above, the output circuit, that is to say the circuit delivering the spatialized audio-digital signal, y (k), is subdivided into two circuits relating to the delayed elementary signals of even rank, respectively of odd rank, in a similar way to the output circuit of figure 3e, the corresponding summing elements being noted 6N- 1b, respectively subtractor element 6Nb, and playing the role of summing elements, respectively subtractor, 6 1b , 6 2b , of FIG. 3e.
- the system which is the subject of the present invention makes it possible to avoid any phenomenon of coloration of the reverberated signal.
- the system which is the subject of the present invention comprises a module for processing the first echoes, noted 20, and the reverberant filter proper, noted 30, which corresponds substantially to the reverberant filter. shown in Figure 3a.
- each of the delay channels of rank i is such that the retarder module 3i with delay coefficient mi and the attenuator module 4i form an absorbent delay module 34i placed for example downstream of the summing module of the delay channel, corresponding summing module 2i, it will be seen that in FIG. 4, the absorbing delay module 34i is on the contrary placed upstream of the summing module 2i of the corresponding delay channel Vi.
- the elementary signals xi (k) are delivered after weighting by the multiplier modules 1i, of multiplication coefficient bi, by means of a delay module , denoted 201, in FIG. 4.
- the module of delay 201 makes it possible to delay the instants ti of arrival of the corresponding elementary signals so as, in fact, to constitute elementary signals offset in a plurality of echoes of order 1 prior to the simulated late reverberation.
- the module 20 and the multiplier coefficients bi of the multiplier elements 1i constitute a module for processing the first echoes interconnected with the reverberant filter 30 proper.
- the module of the first echoes 20 makes it possible to control the instants of arrival ti independently of the delay times of the reverberant filter proper.
- the role of the coefficients bi of the multiplier elements 1i of the first echo module 20 is slightly modified compared to the case of FIG. 3a.
- the absorbent delay values ⁇ i caused by the absorbent delay elements 34i can then be chosen taking into account the values ti of the arrival times as already mentioned in connection with FIG. 2d.
- the reference filters of FIGS. 3a and 4 are strictly equivalent, but in the presence of the attenuation elements 4i, the two systems differ in the fact that in FIG.
- the spatialization system of an audio-digital signal which is the subject of the invention as previously described in connection with FIGS. 3a to 3f and 4 essentially constitutes a monophonic reverberant filter.
- system which is the subject of the present invention is not limited to the sole processing of monophonic audio-digital signals.
- FIGS. 5a, 5b and 5c A more detailed description of a spatialization system of a stereophonic audio-digital signal will now be described in accordance with the object of the present invention in relation to FIGS. 5a, 5b and 5c.
- the embodiment presented makes it possible in fact to ensure control of the clarity and the directions of origin of the early echoes for each monophonic source, which of course in a nonlimiting manner may constitute sources of a recording or transmission of a stereophonic recording.
- the device which is the subject of the present invention as shown in FIG. 5a then makes it possible to control the clarity and the direction of origin of the echoes associated with each corresponding monophonic source, so as to simulate a situation where the sources are at different positions in the same room.
- the system which is the subject of the present invention then essentially comprises a reverberant filter proper 30, which has been shown in a purely illustrative manner identical to that of FIG. 4, and a or several modules for processing the first echoes, these modules for processing the first echoes being referenced 20 1 , 20 2, and each being relative to a first mono source 1 respectively second mono source 2, for example. It is understood that a plurality of monophonic sources can be used. It will be noted that, in an identical manner to the embodiment of FIG. 4, each module for processing the first echoes comprises a delay element 201 of the arrival times ti, to constitute the signals of first echoes.
- This delay element can be produced either by means of a digital delay circuit or more simply by means of a sequentially addressable random access memory system, the input samples of the digital audio signal x (k) stored being read. successively offset from the offset delay of the arrival instants ti.
- the shifted elementary signals forming the order echoes 1 correspondents for the signals mono 1, mono 2 are then weighted by the multiplying coefficients bi of the corresponding multiplier elements 1i, and these signals, after adjustment by means of a multiplier element 27 1, respectively 27 2 , applying to each elementary signal an identical gain r1, respectively r2, are injected on an echo bus, which allows the injection of the first corresponding echoes at the level of the input of the loop transfer transfer matrix 10 of the reverberant filter proper, 30.
- the corresponding first echo signals are injected on the echo BUS by means of conventional type summing elements 28 1 , 28 2 , then at the level of the input of the matrix 10 of the reverberant filter proper. , by summing elements denoted 29i in FIG. 5a.
- the reverberant filter proper 30, this receives as input a left stereo source signal, respectively right, transmitted on a left channel and on a right channel.
- the actual reverberant filter 30 of FIG. 5a is arranged so that it comprises a plurality of N delay channels, divided into N / 2 delay channels relative to the left channel, and making it possible to generate successively N / 2 left elementary signals, denoted xi (k) g, then in a similar manner to the reverberant filter shown in FIG. 3a or 4, N / 2 delayed left elementary signals, seri g.
- N / 2 delay channels relating to the right channel also comprises N / 2 delay channels relating to the right channel, and make it possible to successively also generate N / 2 straight elementary signals, xi (k) d, then of course N / 2 elementary signals delayed right, seri d.
- summing elements 26d of the N / 2 right delayed elementary signals, seri d, and respectively left 26g of the left delayed elementary signals, serig are provided for effecting the respective summations of these signals, these aforementioned summing elements being followed by a correction module spectral right, respectively left, and a low-pass filter module left and right.
- the right and left spectral correction module is denoted 7d, respectively 7g, and can be constituted in the same way as in the case of FIGS. 3a and 4.
- the output signal of the reverberant filter proper that is to say at the output of the spectral response correcting element 7g or 7d, has a flat spectral envelope, which can be corrected by a filter whose response is that of a low-pass filter module, for the left and right channel.
- the corresponding low-pass filter with transfer function s (z) is denoted 11 and is of course connected to an output BUS allowing the listening or recording of the corresponding stereophonic spatialized audio-digital signal.
- the signals of the first echoes delivered by the modules of first echoes 20 1 or 20 2 are also injected directly on the output BUS, independently of the signal coming from the reverberant filter so as to allow the control of the clarity for each source MONOi thanks to the gain values ri of the multiplier elements 27i.
- each echo module synthesizes N / 2 stereophonic echoes whose amplitude, date of arrival and direction of provenance are controlled.
- the direction of origin of each echo is defined by the time and energy difference between the left and right channels.
- the process which is the subject of the present invention such that illustrated in FIG. 5a makes it possible to assign to each early echo a direction from any source in the upper vertical half-plane delimited by the axis of the ears, while for listening on loudspeaker in the conventional stereophonic arrangement, tests have confirmed that, on the contrary, the method according to the invention makes it possible to simulate all the directions of provenance in the frontal horizontal half-plane delimited by this same axis, provided that a system is compensated for the sound path of each loudspeaker. speaker to the opposite ear.
- the first echo assigned to each source plays the role of direct sound for this source.
- FIG. 5b shows a particular embodiment of a reverberant filter proper in a stereophonic application in the case where the reverberant filter proper corresponds to the embodiment of the loop of FIG. 3b, this corresponding reverberant filter into a subdivision of the N delay channels for taking into account the left and right channels of the stereophonic emission.
- the different elements duplicated as a function of the parity of the rank of the delay channel bear the indices 2p-1 for delay channels of odd rank and 2p for delay channels of even rank.
- the summing element 22 of FIG. 3b is replaced by a summing element for the right channel, respectively left, bearing the references 25d and 25g.
- multiplier gain adjustment elements g bear the reference 24d, 24g, these elements allowing adjustment of the corresponding gain, in order to avoid possible saturation phenomena.
- FIG. 5c the system object of the present invention is shown in which the looping of the reverberant filter proper is carried out, for example, as shown in FIG. 3c, the subdivision between channel delay, Vi, of even rank, respectively odd, that is to say at the output of each absorbing delay of even or odd rank corresponding to reconstitute the right channels, respectively left, of the stereo output signal.
- the stereophonic input signal has not been shown, so as not to overload the drawing, but corresponds substantially to that of FIG. 3c.
- the corresponding reverberation filter is controlled by 4 completely independent parameters: size of the hearing room defined by a characteristic dimension thereof, reverberation time Tr ( ⁇ ) at low frequencies, ratio Tr at high frequencies / Tr at low frequencies , and cutoff frequency of the reverberated signal.
- the reverberant filter proper was produced using digital calculation means comprising a DSP 56000 calculator receiving the stereophonic source signal at input and a calculator element of the same type producing the control modules.
- digital calculation means comprising a DSP 56000 calculator receiving the stereophonic source signal at input and a calculator element of the same type producing the control modules.
- first echoes of Figure 5c for example.
- This second calculating element makes it possible to read the signals from several mono sources and transmits the channels of the echo bus to the reverberant filter. Note that even if the number of monophonic sources is greater, four echo modules are sufficient for realistic spatialization. Note that the monophonic sources are then divided into four groups, each of which is assigned to an echo module.
- the relation 13 in fact constitutes an approximation of the relation 16.
- the family of reverberant filters constituting the spatialization systems of an audio-digital signal object of the present invention considerably improves the quality of the reverberation compared to the known structure, known as in sum of combs. It makes it possible in particular to quickly obtain a high density of echoes in the temporal response for a number N of reduced delays.
- 8 delays are sufficient, that is to say 8 delay channels, where 40 comb filters would be necessary.
- the simulation of a large room requires that the modal density, therefore the sum of the durations of the absorbing delays ⁇ i, be of the order of one second. It is therefore advisable to bring the number of delays to at least 12, in order to increase the echo density at the start of the time response.
- the real-time simulation of the reverberation in all cases can be carried out by means of the computing capacity of a DSP 56000 micro-computer and that in particular this type of computer allows, in the case of the simultaneous spatialization of several monophonic sources, to process 4 monophonic sources if the number of channels of the echo BUS is 12.
- This embodiment makes it possible, for example, to separately control for each source the amplitude, the instant of arrival and the direction of provenance of the direct sound and the first 5 reflections.
- the use of 3 DSP 56000 type computers makes it possible to spatialize 6 monophonic sources by controlling for each the first 8 echoes.
- FIGS. 7a, 7b and 7c A particularly advantageous use of a system which is the subject of the present invention will now be described in conjunction with FIGS. 7a, 7b and 7c.
- the absolute values of the coefficients aji can take only two absolute values. Indeed, N of them have the absolute value 1- (2 / N), and all the others have the absolute value 2 / N. Consequently, when the number N of delays becomes large, a small number of loopback paths is preponderant compared to the others. This has the effect of delaying the moment when, in the impulse response, all the echoes have similar amplitudes. As a result, the temporal density is perceived as insufficient at the start of the impulse response, although the theoretical echo density is high.
- a PN is a unitary matrix, because product of a block-diagonal matrix formed by the unitary matrices Aj, and of a permutation matrix noted JPN. This permutation corresponds to the exchange of the indices i and j in the numbering of the delays ⁇ ji, it is such that if all the matrices Aj are equal to the same matrix A, then the matrix A PN can be written:
- the looping matrix AB PN then appears as a matrix obtained by unitary assembly of unitary blocks, this looping matrix AB PN being designated by "unitary matrix by blocks”.
- this consists in choosing the matrices Aj and Bi within the family defined by the preceding relation (8).
- each of the P loopings defined by the matrices Aj can be carried out in 2.N operations
- each of the N interleaving defined by the matrices Bi can be carried out in 2.P operations, for a total of 4.NP operations for make a reverberant filter including NP delays.
- a reverberant filter consisting of N.P delays is obtained, as described previously, by parallel association and interleaving of the loopings of P reverberant filters each consisting of N delays.
- the starting P reverberant filters are identical to that of FIG. 3b and the interlacing of the P loopings is itself carried out as the looping of FIG. 3b.
- Fig. 7c shows that the reverberant filter thus produced can also be seen as the paralleling of N reverberant filters with P inputs and P outputs, the assembly being "looped back" on itself as shown in FIG. 3b.
- the total number of additions-multiplications necessary for the loopback and the calculation of the output signal y (k) is approximately equal to 4.N.P.
- the looping matrices Aj and the interleaving matrices Bi are all equal to the matrix: where, to simplify the writing, the signs + and - signify +1 and -1 respectively.
- the loopback matrix, denoted AA 16 of the reverberant filter with 16 delays thus produced is unitary by blocks, and all of its coefficients have the same value.
- the particularly efficient character of the method and of the system which are the subject of the present invention results in particular from the independence between the control of the aforementioned parameters, this independence being essential from the perceptual point of view, but also in order to allow the simulation of spatialization in a real room from measurements made in it.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Stereophonic System (AREA)
Description
La présente invention est relative à un procédé et à un système de spatialisation artificielle de signaux audio-numériques. Les réverbérateurs artificiels sont utilisés dans l'industrie musicale et cinématographique, pour superposer un effet de salle aux enregistrements réalisés en studio, ou encore de façon à modifier les propriétés acoustiques d'une salle d'écoute.The present invention relates to a method and a system for artificial spatialization of audio-digital signals. Artificial reverberators are used in the music and film industry, to superimpose a room effect on recordings made in the studio, or even to modify the acoustic properties of a listening room.
Un rapport récent établi par A. DECOVILLE publié par l'Ecole Nationale des Télécommunications 46 rue Barrault Paris, Rapport n° 90 SIG 005, 1990, a montré qu'en ce qui concerne les réalisations industrielles des réverbérateurs, on peut distinguer les générateurs d'effets spéciaux, sans référence particulière à l'acoustique d'une salle ou à la perception auditive de l'espace, des systèmes réverbérateurs proprement dits qui visent à reproduire de façon convaincante l'acoustique d'une ou d'un type de salle et dont les paramètres de réglage sont liés aux caractéristiques physiques des lieux clos.A recent report drawn up by A. DECOVILLE published by the National School of Telecommunications 46 rue Barrault Paris, Report n ° 90
En ce qui concerne les réverbérateurs proprement dits, la réponse à une excitation sonore impulsionnelle d'une salle d'écoute montre, ainsi que représenté en figure la, que l'échogramme type comprend le son direct suivi des premiers échos ou échos précoces temporellement repérables par l'oreille, puis enfin un continuum perçu au contraire comme une traînée sonore. Cette traînée sonore appelée reverbération tardive est caractéristique de la salle d'écoute elle-même, car elle est, en première approximation, indépendante des positions relatives et de l'étendue des sources et des auditeurs, ce qui n'est pas le cas pour les premiers échos.With regard to the reverberators themselves, the response to an impulsive sound excitation from a listening room shows, as shown in FIG. 1a, that the typical echogram includes the direct sound followed by the first echoes or early echoes temporally locatable by ear, then finally a continuum perceived on the contrary as a sound trail. This sound trail called late reverberation is characteristic of the listening room itself, because it is, as a first approximation, independent of the relative positions and the extent of the sources and listeners, which is not the case for the first echoes.
D'une manière classique, une simulation réaliste de l'effet d'espace devant inclure les premiers échos et la réverbération tardive, un réverbérateur comporte habituellement, ainsi que représenté en figure 1b, un filtre FIR (filtre numérique à réponse impulsionnelle finie) simulant les premiers échos, et un filtre réverbérant, formé par un réseau récursif de retards numériques et capable de reproduire les propriétés caractéristiques de la réverbération tardive.In a classic way, a realistic simulation of the space effect having to include the first echoes and the late reverberation, a reverberator usually comprises, as shown in FIG. 1b, an FIR filter (digital filter with finite impulse response) simulating the first echoes, and a reverberant filter, formed by a recursive network of digital delays and capable of reproducing the characteristic properties of late reverberation.
Plus précisément, les structures élémentaires de base de la majorité des réverbérateurs du commerce consistent en l'utilisation de filtres, dits filtre en peigne et filtre passe-tout. Ces filtres sont largement connus de l'état de la technique. Le filtre en peigne présente un inconvénient, dans le domaine fréquentiel, provenant des périodicités de sa réponse spectrale entraînant une coloration perçue comme un timbre métallique. Il en est de même pour le filtre passe-tout lorsque le signal d'entrée n'est pas stationnaire, comme dans le cas des signaux de parole et de la musique.More precisely, the basic elementary structures of the majority of commercial reverberators consist in the use of filters, known as comb filters and all-pass filters. These filters are widely known in the state of the art. The comb filter has a drawback, in the frequency domain, coming from the periodicities of its spectral response resulting in a coloration perceived as a metallic stamp. The same applies to the all-pass filter when the input signal is not stationary, as in the case of speech and music signals.
Les deux filtres précités ont en outre pour inconvénient, dans le domaine temporel, de présenter une faible densité d'échos de leur réponse impulsionnelle, ce qui provoque le phénomène connu sous le nom de roulement (flutter) dans les transitoires.The two aforementioned filters also have the disadvantage, in the time domain, of having a low density of echoes of their impulse response, which causes the phenomenon known as rolling (flutter) in the transients.
Afin d'éliminer le phénomène de coloration et d'augmenter la densité d'échos, M.R. SCHROEDER a proposé d'utiliser en cascade une association parallèle de filtres en peigne, dite somme de peignes, et une association série de filtres passe-tout, ainsi que représenté en figure 1c, confer publication "Natural sounding artificial reverberation", J. Audio.Eng.Soc. 10(3):219-223, 1962. Pour un filtre en peigne, le temps de réverbération Tr est donné par la relation :
gi désigne le gain de boucle de rang i,
mi la durée de retards exprimée en nombre entier de périodes d'échantillonnage T.In order to eliminate the phenomenon of coloring and to increase the density of echoes, MR SCHROEDER proposed to use in cascade a parallel association of comb filters, called comb sum, and a series association of all-pass filters, as shown in Figure 1c, confer publication "Natural sounding artificial reverberation", J. Audio.Eng.Soc. 10 (3): 219-223, 1962. For a comb filter, the reverberation time Tr is given by the relation:
gi denotes the loop gain of rank i,
mid the duration of delays expressed in whole number of periods of sampling T.
Pour une somme de peignes, l'affectation à chaque peigne d'un même temps de réverbération Tr implique un choix du gain de boucle gi lié à la durée du retard mi.For a sum of combs, the assignment to each comb of the same reverberation time Tr implies a choice of the loop gain gi linked to the duration of the delay mi.
Un tel choix implique pour chaque cellule de rang i γ = gi1/mi, γ désignant le module des pôles correspondant.Such a choice implies for each cell of rank i γ = gi 1 / mi , γ designating the corresponding module of the poles.
Confer la publication de J.M.JOT et A.CHAIGNE "Digital delay networks for designing artificial reverberators", Proc. 90th A.E.S. Convention, Paris 1991, preprint 3030 (E-2) ci-après désignée [JOT, CHAIGNE, 91]. L'inter-prétation des conditions précitées, afin qu'aucun mode particulier ne soit audible pendant la réverbération tardive, ce qui correspondrait à une coloration non désirée, est donc que tous les modes de résonance du filtre réverbérant doivent posséder la même constante de temps d'atténuation. Pour N filtres en peigne en parallèle, la densité modale, nombre de modes de résonance par Hz, s'écrit :
Pour des durées τi suffisamment voisines, le nombre N de filtres en peignes s'écrit :
Afin de conserver un nombre N raisonnable de cellules élémentaires, M.R. SCHROEDER a proposé d'associer un filtre passe-tout série en cascade avec la somme de peignes. Le filtre passe-tout permet d'augmenter la densité d'échos sans modifier sensiblement le timbre de la réverbération, défini par les filtres en peignes associés en parallèle.In order to keep a reasonable number N of elementary cells, M.R. SCHROEDER proposed to associate a serial all-pass filter in cascade with the sum of combs. The all-pass filter makes it possible to increase the density of echoes without appreciably modifying the timbre of the reverberation, defined by the comb filters associated in parallel.
Bien qu'une telle solution permette de déterminer, pour l'ensemble, le temps de réverbération, elle ne permet pas de tenir compte des résonances des filtres passe-tout et aucune étude n'a permis de montrer comment éviter les défauts de sonorité du filtre passe-tout série et de déterminer le nombre de cellules passe-tout, leurs valeurs de retard ou de gain de boucle pour obtenir une densité d'échos donnée, le choix des paramètres des filtres passe-tout restant essentiellement empirique.While such a solution helps to determine, for the whole, the reverberation time, it does not take into account the resonances of the all-pass filters and no study has shown how to avoid the sound defects of the serial all-pass filter and to determine the number of all-pass cells, their delay or loop gain values to obtain a given echo density, the choice of the parameters of the all-pass filters remaining essentially empirical.
Dans les salles d'audition réelles, les phénomènes physiques d'absorption des sons font que l'amortissement des ondes sonores est fonction de la fréquence. Le réverbérateur tel que représenté en figure 1c a fait l'objet d'une adaptation par le remplacement de chaque gain de boucle gi par un filtre passe-bas IIR, filtre à réponse impulsionnelle infinie, de façon à simuler l'absorption du son dans l'air. Confer J.A. MOORER "About this reverberation business", Computer Music Journal 3(2):13-18, 1979.In real hearing rooms, the physical phenomena of sound absorption mean that the damping of sound waves is a function of frequency. The reverberator as shown in FIG. 1c has been adapted by replacing each loop gain gi with a low-pass filter IIR, filter with infinite impulse response, so as to simulate the absorption of sound in the air. Confer J.A. MOORER "About this reverberation business", Computer Music Journal 3 (2): 13-18, 1979.
Une telle méthode ne permet ni de prendre en compte l'absorption du son par les parois de la salle, l'absorption due à l'air étant le plus souvent négligeable, ni de contrôler, dans le calcul des coefficients des filtres, la variation du temps de réverbération en fonction de la fréquence. Cette technique entraîne aussi l'interdépendance des réglages du temps de réverbération et de l'énergie du signal réverbéré en fonction de la fréquence. Ce problème n'est pas résolu pour la structure somme de peignes de la figure 1c.Such a method neither makes it possible to take into account the absorption of sound by the walls of the room, the absorption due to air being most often negligible, nor to control, in the calculation of the coefficients of the filters, the variation reverberation time as a function of frequency. This technique also leads to the interdependence of the reverberation time and the energy of the reverberated signal as a function of frequency. This problem is not solved for the sum structure of combs of FIG. 1c.
Une autre approche permettant de multiplier le nombre d'échos dans la réponse du filtre réverbérant, l'approche multi-canaux, a été proposée. Celle-ci, consistant à ajouter des canaux de bouclage reliant les différents retards, permet d'augmenter progressivement la densité d'échos dans la réponse impulsionnelle, comme dans le cas des salles réelles.Another approach allowing to multiply the number of echoes in the response of the reverberant filter, the multi-channel approach, has been proposed. This, consisting in adding looping channels connecting the different delays, makes it possible to gradually increase the density of echoes in the impulse response, as in the case of real rooms.
STAUTNER et PUCKETTE, dans l'article "Designing multi-channel reverberators", Computer Music Journal 6(1), 1982, ont proposé la structure représentée en figure 1d. Ces auteurs, s'étant limités à l'étude de la stabilité de la structure précitée, proposent cependant un mode de réalisation particulier à quatre canaux utilisant une matrice de transfert de bouclage de la forme
Dans ce mode de réalisation, la densité d'écho n'est pas maximale, en raison de la nullité de certains coefficients de transfert, et l'utilisation du seul paramètre de gain g pour contrôler le temps de réverbération revient à affecter une atténuation identique à tous les retards, sans tenir compte de leurs durées. En outre, de même que dans le cas du filtre somme de peignes, correspondant au cas où la matrice A est diagonale, ce choix présente le risque que tous les modes de résonance n'aient pas un temps de décroissance identique, ce qui ne garantit pas l'absence de coloration des transitoires.In this embodiment, the echo density is not maximum, due to the nullity of certain transfer coefficients, and the use of the only gain parameter g to control the reverberation time amounts to affecting an identical attenuation to all delays, regardless of their duration. In addition, as in the case of the comb sum filter, corresponding to the case where the matrix A is diagonal, this choice presents the risk that all the resonance modes do not have an identical decay time, which does not guarantee not the absence of coloring of the transients.
Plus récemment, un modèle général, tel que représenté en figure 1e, a été proposé confer [JOT, CHAIGNE, 91]. Ce modèle comprend essentiellement un filtre de référence constitué en fait par un filtre réverbérant dont tous les pôles sont de module unité, un temps de réverbération infini étant ainsi obtenu à toute fréquence. Une telle situation s'obtient lorsque la matrice de bouclage A est unitaire quand les retards sont dépourvus d'atténuation. L'article précédemment cité [JOT, CHAIGNE, 91] a pour objet principal l'étude des conditions d'obtention des contraintes précitées pour le filtre de référence, l'introduction d'atténuations ayant tout au plus été envisagée, dans cet article, dans le but de contrôler le temps de réverbération de filtres en peigne.More recently, a general model, as shown in FIG. 1e, has been proposed confer [JOT, CHAIGNE, 91]. This model essentially comprises a reference filter constituted in fact by a reverberant filter of which all the poles are of unit module, an infinite reverberation time being thus obtained at any frequency. Such a situation is obtained when the loopback matrix A is unitary when the delays are devoid of attenuation. The article cited above [JOT, CHAIGNE, 91] has as its main object the study of the conditions for obtaining the aforementioned constraints for the reference filter, the introduction of attenuations having been considered at most, in this article, in order to control the reverberation time of comb filters.
La présente invention a, au contraire, pour objet un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de faire varier le temps de réverbération simulé, en fonction de la fréquence du signal sonore, tout en respectant la contrainte de module identique de tous les pôles pour le filtre de référence.The present invention, on the contrary, relates to a method and a system for artificial spatialization of a audio-digital signal making it possible to vary the simulated reverberation time, as a function of the frequency of the sound signal, while respecting the identical modulus constraint of all the poles for the reference filter.
Un autre objet de la présente invention est en outre un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de satisfaire à la fois à des critères de densité modale dans le domaine spectral et de densité temporelle des échos.Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal making it possible to satisfy both the modal density criteria in the spectral domain and the temporal density of the echoes.
Un autre objet de la présente invention, l'objet précédent étant satisfait, est de permettre, tant au niveau du procédé que du système de spatialisation artificielle objet de l'invention, un contrôle séparé du temps de réverbération, de l'enveloppe spectrale de la réponse de la salle d'audition simulée et de la densité modale, traduisant en fait la taille de la salle d'audition simulée.Another object of the present invention, the previous object being satisfied, is to allow, both at the level of the method and of the artificial spatialization system object of the invention, a separate control of the reverberation time, of the spectral envelope of the response of the simulated hearing room and the modal density, in fact reflecting the size of the simulated hearing room.
Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de contrôler les instants d'arrivée et les amplitudes des échos précoces tout en préservant le timbre de la réverbération tardive, par l'absence de tout risque d'introduction de coloration du signal réverbéré.Another object of the present invention is also a method and a system of artificial spatialization of an audio-digital signal making it possible to control the instants of arrival and the amplitudes of the early echoes while preserving the timbre of the late reverberation, by l absence of any risk of introducing coloring of the reverberated signal.
Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant un contrôle de la clarté, définie comme le rapport entre l'énergie des échos précoces et celle de la réverbération tardive.Another object of the present invention is also a method and a system of artificial spatialization of an audio-digital signal allowing a control of the clarity, defined as the ratio between the energy of the early echoes and that of the late reverberation.
Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique tant mono- que stéréophonique, permettant dans ce dernier cas un contrôle des directions de provenance des échos précoces.Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal, both mono and stereophonic, allowing in the latter case a control of the directions of origin of the early echoes.
Un autre objet de la présente invention est enfin un procédé et un système de spatialisation artificielle simultanée de plusieurs sources, avec contrôles de chaque écho précoce et de la clarté pour chacune des sources.Another object of the present invention is finally a method and a system of artificial spatialization simultaneous of several sources, with controls of each early echo and clarity for each of the sources.
Le procédé et le système de spatialisation artificielle en temps réel d'un signal audio-numérique x(k) pour engendrer un signal audio-numérique spatialisé y(k) consiste à, respectivement permet de, effectuer à partir de signaux élémentaire xi(k) répliques du signal audio-numérique une pluralité de retards différents pour engendrer une pluralité de signaux élémentaires retardés et une combinaison linéaire entre les signaux élémentaires retardés pour obtenir une pluralité de signaux élémentaires retardés combinés, un au moins de chacun des signaux élémentaires retardés combinés étant additionné à au moins un signal élémentaire xi(k) préalablement au retard de celui-ci. Les signaux élémentaires retardés sont soumis à une sommation pondérée avec le signal audio-numérique x(k) pour engendrer le signal audio-numérique spatialisé y(k). Ils sont remarquables en ce que, dans le but de simuler un phénomène de réverbération tardive, ils consistent à, respectivement permettent de, effectuer la combinaison linéaire précitée par un bouclage unitaire, pour lequel la pluralité de signaux élémentaires retardés combinés possède la même énergie que les signaux élémentaires retardés, et, avec chaque retard différent, effectuer une atténuation Hi(ω) du signal élémentaire retardé correspondant fonction de la fréquence audio, la valeur opposée de cette atténuation exprimée en décibels étant une fonction monotone décroissante du temps de réverbération et proportionnelle à chaque retard, puis, avant sommation pondérée des signaux élémentaires retardés avec le signal audio-numérique x(k), effectuer une correction spectrale de l'énergie t(z) vérifiant la relation :
Le procédé et le système de spatialisation artificielle en temps réel d'un signal audio-numérique trouvent application dans le domaine technique du traitement de signal audio-numérique plus particulièrement à l'industrie de la production de phonogrammes et/ou de vidéogrammes.The method and the system of artificial spatialization in real time of an audio-digital signal find application in the technical field of audio-digital signal processing more particularly in the industry of the production of phonograms and / or videograms.
Une description plus détaillée du procédé et du système de spatialisation artificielle en temps réel d'un signal audio-numérique pour engendrer un signal audio-numérique spatialisé objets de la présente invention sera donnée ci-après dans la description et les dessins dans lesquels, outre les figures la à le de l'art antérieur,
- la figure 2a représente, sous forme de diagramme illustratif, les étapes permettant la mise en oeuvre du procédé objet de la présente invention,
- la figure 2b représente, sous forme de diagramme illustratif, une première variante de mise en oeuvre du procédé objet de l'invention tel que représenté en figure 2a,
- la figure 2c représente, sous forme de diagramme illustratif, une autre variante de mise en oeuvre du procédé objet de l'invention tel que représenté en figure 2a,
- la figure 2d représente, sous forme de diagramme illustratif, une variante de mise en oeuvre du procédé objet de l'invention plus particulièrement destinée à assurer un contrôle des premiers échos, sans pour autant provoquer un phénomène de coloration de la réverbération tardive simulée,
- la figure 2e représente une variante de mise en oeuvre du procédé selon l'invention illustré en figure 2d plus particulièrement adaptée pour engendrer un signal spatialisé stéréophonique et permettre à la fois la spatialisation simultanée de sources monophoniques et le contrôle de la clarté de celles-ci,
- la figure 3a représente, sous forme de blocs fonctionnels, un système de spatialisation artificielle en temps réel d'un signal audio-numérique conforme à l'objet de la présente invention pour un signal audio-numérique monophonique,
- les figures 3b, 3c, 3d, 3e et 3f représentent, sous forme de schémas blocs, des variantes de réalisation du système objet de l'invention tel que représenté en figure 3a,
- la figure 4 représente, sous forme de blocs fonctionnels, la structure générale d'un système conforme à l'objet de la présente invention constituant un filtre réverbérant permettant le contrôle des premiers échos, sans affecter le timbre de la réverbération tardive simulée, pour un signal audio-numérique monophonique,
- la figure 5a représente la structure d'un système conforme à l'objet de la présente invention, tel que représenté en figure 4, plus particulièrement d'un filtre réverbérant pour enregistrement ou transmission d'un signal audio-numérique stéréophonique, permettant la spatialisation simultanée de plusieurs sources monophoniques,
- les figures 5b et 5c représentent une variante d'exécution simplifiée du système selon l'invention représenté en figure 5a,
- la figure 5d représente un mode de réalisation d'un module de correction spectrale et d'un élément d'atténuation d'une voie de retard dans le système conforme à l'objet de l'invention,
- les figures 6a et 6b représentent différents échogrammes relatifs à un filtre réverbérant monophonique simulant la réverbération tardive provoquée par 6a 1), structure somme de peignes, 6a 2), structure selon la figure 3e pour N=8, respectivement 6b 1), structure somme de peignes, et 6b 2), structure représentée en figure 3b, pour N=12,
- les figures 7a, 7b, 7c représentent un mode de réalisation d'un système conforme à l'objet de la présente invention dans lequel une pluralité de P filtres réverbérants sont utilisés en parallèle, un entrelaçage des bouclages ainsi réalisés étant en outre réalisé au moyen d'une pluralité de N matrices unitaires de dimension PxP.
- FIG. 2a represents, in the form of an illustrative diagram, the steps allowing the implementation of the method which is the subject of the present invention,
- FIG. 2b represents, in the form of an illustrative diagram, a first variant of implementation of the method which is the subject of the invention as shown in FIG. 2a,
- FIG. 2c represents, in the form of an illustrative diagram, another variant implementation of the method which is the subject of the invention as shown in FIG. 2a,
- FIG. 2d represents, in the form of an illustrative diagram, an alternative implementation of the method which is the subject of the invention more particularly intended to ensure control of the first echoes, without however causing a phenomenon of coloring of the simulated late reverberation,
- FIG. 2e represents an alternative implementation of the method according to the invention illustrated in FIG. 2d, more particularly suitable for generating a stereophonic spatialized signal and allowing both the simultaneous spatialization of monophonic sources and the control of the clarity of these. ,
- FIG. 3a represents, in the form of functional blocks, a system for artificial spatialization in real time of an audio-digital signal in accordance with the object of the present invention for a monophonic audio-digital signal,
- FIGS. 3b, 3c, 3d, 3e and 3f represent, in the form of block diagrams, alternative embodiments of the system which is the subject of the invention as shown in FIG. 3a,
- FIG. 4 represents, in the form of functional blocks, the general structure of a system in accordance with the object of the present invention constituting a reverberant filter allowing the control of the first echoes, without affecting the timbre of the simulated late reverberation, for a monophonic audio-digital signal,
- FIG. 5a represents the structure of a system in accordance with the object of the present invention, as represented in FIG. 4, more particularly of a reverberant filter for recording or transmission of a stereophonic audio-digital signal, allowing spatialization simultaneous from several monophonic sources,
- FIGS. 5b and 5c represent a simplified variant of the system according to the invention shown in FIG. 5a,
- FIG. 5d represents an embodiment of a spectral correction module and of an element for attenuation of a delay channel in the system according to the object of the invention,
- FIGS. 6a and 6b represent different echograms relating to a monophonic reverberant filter simulating the late reverberation caused by 6a 1), sum structure of combs, 6a 2), structure according to FIG. 3e for N = 8, respectively 6b 1), sum structure of combs, and 6b 2), structure shown in FIG. 3b, for N = 12,
- Figures 7a, 7b, 7c show an embodiment of a system according to the object of the present invention in which a plurality of P filters reverberators are used in parallel, an interlacing of the loops thus produced is also carried out by means of a plurality of N unit matrices of dimension PxP.
Une description plus détaillée du procédé de spatialisation artificielle en temps réel d'un signal audio-numérique objet de la présente invention sera donnée tout d'abord en liaison avec la figure 2a.A more detailed description of the method of artificial spatialization in real time of an audio-digital signal object of the present invention will be given firstly in conjunction with FIG. 2a.
Selon la figure précitée, le signal audio-numérique est noté x(k), ce signal consistant en une suite d'échantillons d'un signal audio-numérique codé.According to the above-mentioned figure, the audio-digital signal is denoted x (k), this signal consisting of a series of samples of an encoded audio-digital signal.
Selon le procédé objet de la présente invention, le signal audio-numérique x(k) est dupliqué en signaux élémentaires xi(k) obtenus à partir du signal audio-numérique par pondération correspondante bi adaptée. Les signaux élémentaires xi(k) sont soumis chacun à un retard différent pour engendrer une pluralité de signaux élémentaires retardés. Sur la figure 2a, on notera que le retard pour le signal élémentaire xi(k) est noté Z-mi, notation dans laquelle Z représente, selon la notation complexe, la variable ejω , expression dans laquelle ω représente la pulsation, ω = 2πfT, f étant la fréquence audio considérée, T la période d'échantillonnage, et mi le coefficient de retard pour le signal élémentaire xi(k) considéré. Chaque signal élémentaire retardé est noté seri et correspond au signal élémentaire xi(k) considéré.According to the method which is the subject of the present invention, the audio-digital signal x (k) is duplicated into elementary signals xi (k) obtained from the audio-digital signal by corresponding weighting bi adapted. The elementary signals xi (k) are each subjected to a different delay to generate a plurality of delayed elementary signals. In FIG. 2a, it will be noted that the delay for the elementary signal xi (k) is denoted Z -mi, notation in which Z represents, according to the complex notation, the variable e jω , expression in which ω represents the pulsation, ω = 2πfT, f being the audio frequency considered, T the sampling period, and mi the delay coefficient for the elementary signal xi (k) considered. Each delayed elementary signal is denoted seri and corresponds to the elementary signal xi (k) considered.
Selon une autre caractéristique du procédé objet de l'invention, une combinaison linéaire entre les signaux élémentaires retardés, seri, est effectuée pour obtenir une pluralité de signaux élémentaires retardés combinés, notés serci. On notera que la combinaison linéaire précitée est de la forme :
Selon un autre aspect avantageux du procédé objet de la présente invention, un au moins de chacun des signaux élémentaires retardés combinés, serci, est additionné à au moins un signal élémentaire xi(k) préalablement au retard de celui-ci. En outre, les signaux élémentaires retardés, seri, sont soumis à une sommation pondérée avec le signal audio-numérique x(k) pour engendrer le signal audio-numérique spatialisé, noté y(k). On notera que sur la figure 2a, la sommation pondérée est, d'une première part, représentée par l'application à chaque signal seri élémentaire retardé d'un coefficient de pondération correspondant, noté ci, puis sommation de tous les signaux élémentaires retardés, seri, et, d'une deuxième part, sommation de l'ensemble au signal audio-numérique pondéré x(k) auquel a été appliqué le coefficient de pondération d pour engendrer le signal audio-numérique spatialisé y(k).According to another advantageous aspect of the process which is the subject of the present invention, at least one of each of the combined delayed elementary signals, serci , is added to at least one elementary signal xi (k) prior to the delay thereof. In addition, the delayed elementary signals, seri , are subjected to a weighted summation with the audio-digital signal x (k) to generate the spatialized audio-digital signal, noted y (k). Note that in Figure 2a, the weighted summation is, a first part, represented by the application to each delayed elementary signal seri a corresponding weighting coefficient, noted above, and summation of all the delayed elementary signals, seri , and, secondly, summation of the set to the weighted audio-digital signal x (k) to which the weighting coefficient d has been applied to generate the spatialized audio-digital signal y (k).
En outre, le procédé objet de la présente invention consiste, afin de simuler un phénomène de réverbération tardive, conformément à un aspect particulièrement avantageux de celui-ci, à effectuer la combinaison linéaire précitée par un bouclage unitaire. Par bouclage unitaire, on entend un bouclage pour lequel la pluralité de signaux élémentaires retardés combinés, serci, possède la même énergie que les signaux élémentaires retardés, seri, soit Σseri 2 = Σserci 2. En outre, ainsi que représenté également sur la figure 2a, le procédé objet de l'invention consiste à effectuer, avec chaque retard différent, une atténuation, notée Hi(ω), du signal élémentaire retardé, seri, cette atténuation étant fonction de la pulsation audio ω précitée. Selon un aspect particulièrement avantageux du procédé objet de la présente invention, cette atténuation est une fonction monotone décroissante du temps de réverbération Tr(ω) dont la simulation est souhaitée et proportionnelle à chaque retard.In addition, the method which is the subject of the present invention consists, in order to simulate a phenomenon of late reverberation, in accordance with a particularly advantageous aspect thereof, in effecting the aforementioned linear combination by unitary looping. The term “unitary looping” means a looping for which the plurality of combined delayed elementary signals, serci , has the same energy as the delayed elementary signals, seri , ie Σ seri 2 = Σ serci 2 . In addition, as also shown in FIG. 2a, the method which is the subject of the invention consists in carrying out, with each different delay, an attenuation, denoted Hi (ω), of the delayed elementary signal, seri , this attenuation being a function of the audio pulse ω above. According to a particularly advantageous aspect of the process which is the subject of the present invention, this attenuation is a decreasing monotonic function of the reverberation time Tr (ω) the simulation of which is desired and proportional to each delay.
Enfin, on notera, ainsi que représenté sur la figure 2a, que le procédé consiste également à effectuer, avant sommation pondérée des signaux élémentaires retardés, avec le signal audio-numérique x(k) une correction spectrale, notée t(ejω), vérifiant la relation :
Dans cette relation, τi, défini comme le retard absorbant, désigne en fait la valeur de chaque retard augmentée du retard de phase apporté par l'atténuation correspondante Hi(ω), Στi désignant la somme de tous les retards absorbants. Ce retard de phase est en fait négligeable par rapport à la valeur de chaque retard et sera donc considéré comme tel dans la suite de la description.In this relation, τi, defined as the absorbing delay, designates in fact the value of each delay increased by the phase delay brought by the corresponding attenuation Hi (ω), Στi denoting the sum of all the absorbing delays. This phase delay is in fact negligible compared to the value of each delay and will therefore be considered as such in the following description.
Le principe du procédé objet de la présente invention, tel que schématisé en figure 2a, repose sur une extension du traitement proposé par STAUTNER et PUCKETTE dans le document "Designing multichannel reverberators". Computer Music Journal, 6(1), 1982". On notera que le procédé objet de la présente invention possède un degré de généralité supplémentaire par rapport au traitement mis en oeuvre précédemment.The principle of the process which is the subject of the present invention, as shown diagrammatically in FIG. 2a, is based on an extension of the processing proposed by STAUTNER and PUCKETTE in the document "Designing multichannel reverberators". Computer Music Journal, 6 (1), 1982 ". It should be noted that the process which is the subject of the present invention has an additional degree of generality compared to the processing implemented previously.
Suite à une étude théorique menée par les inventeurs de la présente invention, la fonction de transfert entre le signal audio-numérique, x(k), et le signal spatialisé y(k) a permis de montrer que les pôles de la matrice de transfert précitée sont les solutions complexes de l'équation caractéristique :
Dans la relation précitée, z-1 représente l'opérateur de retard unité et D(z) est défini par :
Pour l'étude de la fonction de transfert entre le signal audio-numérique x(k) et le signal audio-numérique spatialisé y(k), on pourra se reporter à la publication [JOT, CHAIGNE, 91].For the study of the transfer function between the audio-digital signal x (k) and the spatialized audio-digital signal y (k), reference may be made to the publication [JOT, CHAIGNE, 91].
Selon l'étude théorique précitée et la référence précédemment mentionnée, une première contrainte peut être imposée, c'est-à-dire un temps de décroissance identique pour tous les modes de résonance.According to the aforementioned theoretical study and the reference previously mentioned, a first constraint can be imposed, that is to say an identical decay time for all the resonance modes.
La solution de la résolution de la relation (3) précitée se ramène alors à trouver les matrices A et D, matrices de transfert, telles que les solutions de cette équation, ou pôles du système, aient toutes le même module.The solution of the resolution of the above-mentioned relation (3) then boils down to finding the matrices A and D, transfer matrices, such that the solutions of this equation, or poles of the system, all have the same module.
Dans le cas où la matrice de transfert A est unitaire, c'est-à-dire dans le cas où la pluralité de signaux élémentaires retardés combinés, serci, possède la même énergie que les signaux élémentaires retardés, seri, tous les pôles précités sont sur le cercle unité du plan complexe. Le module de chacun des pôles étant alors égal à l'unité, le temps de décroissance est infini pour chacun des modes de résonance associés, et la réponse impulsionnelle peut être représentée par une somme de sinusoïdes non amorties. En outre, la densité modale est toujours égale à la durée totale des retards.In the case where the transfer matrix A is unitary, that is to say in the case where the plurality of combined delayed elementary signals, serci , has the same energy as the delayed elementary signals, seri , all the aforementioned poles are on the unit circle of the complex plane. The module of each of the poles then being equal to unity, the decay time is infinite for each of the associated resonance modes, and the impulse response can be represented by a sum of unshocked sinusoids. In addition, the modal density is always equal to the total duration of the delays.
Le procédé objet de la présente invention consiste alors à faire varier le temps de réverbération, tout en respectant la contrainte de module identique pour tous les pôles. Une telle variation est obtenue en affectant une atténuation ki à chacun des retards précédemment mentionnés.The process which is the subject of the present invention then consists in varying the reverberation time, while respecting the identical modulus constraint for all the poles. Such a variation is obtained by assigning an attenuation ki to each of the previously mentioned delays.
Pour une matrice de transfert A, correspondant en fait à une matrice neutre, formant filtre de référence d'une somme de peignes, les atténuations ki peuvent alors être choisies de façon à vérifier la relation :
L'opération précitée revient à remplacer la variable z par z/γ dans l'expression de la matrice D(z). Quelle que soit la matrice A, tous les pôles du système sont donc multipliés par la quantité γ. Pour une matrice A unitaire, γ n'est autre que le module des pôles et le temps de réverbération Tr est modifié et vérifie la relation :
Dans cette relation, on rappelle que T est la période d'échantillonnage du signal audio-numérique, Γ étant exprimé en dB.In this relation, we recall that T is the audio digital signal sampling period, Γ being expressed in dB.
Conformément au procédé objet de la présente invention, la contrainte d'égalité du module des pôles est respectée lorsque, à partir d'un filtre de référence, tel que défini précédemment, on affecte à chaque retard une atténuation, laquelle est proportionnelle à la durée de celui-ci. Le facteur de proportionnalité Γ est lié au temps de réverbération Tr par l'équation (6) précédemment mentionnée.In accordance with the process which is the subject of the present invention, the equality constraint of the pole module is respected when, from a reference filter, as defined above, an attenuation is assigned to each delay, which is proportional to the duration of it. The proportionality factor Γ is linked to the reverberation time Tr by equation (6) previously mentioned.
Conformément à un aspect du procédé objet de la présente invention, l'obtention d'une courbe de variation donnée du temps de réverbération en fonction de la fréquence est obtenue lorsque le module d'un pôle du système réalisant la combinaison linéaire précitée, à la pulsation ω donnée, est fixé par la valeur du temps de réverbération Tr(ω) souhaitée à la pulsation précitée suivant la relation (6) précédemment mentionnée. L'effet de la relation (5) est alors de forcer les pôles à se placer non plus sur un cercle centré en z = 0, mais sur une courbe spécifiée par la variation Tr(ω) souhaitée.In accordance with one aspect of the method which is the subject of the present invention, obtaining a given variation curve of the reverberation time as a function of the frequency is obtained when the module of a pole of the system performing the above-mentioned linear combination, at the given pulsation,, is fixed by the value of the reverberation time Tr (ω) desired at the aforementioned pulsation according to the relation (6) previously mentioned. The effect of equation (5) is then to force the poles to place themselves no longer on a circle centered in z = 0, but on a curve specified by the desired variation Tr (ω).
La contrainte précitée sur le lieu des pôles conduit à un résultat optimal sur le plan perceptif dans la réponse à des sons transitoires. Elle garantit en effet que deux modes aux fréquences de résonance voisines ont des temps de décroissance aussi proches que le permet la loi de variation du temps de réverbération choisi par l'utilisateur, ce qui évite la prédominance d'un nombre réduit de modes dans l'extinction du signal réverbéré.The aforementioned constraint on the location of the poles leads to an optimal result on the perceptual level in the response to transient sounds. It in fact guarantees that two modes with neighboring resonant frequencies have decay times as close as allowed by the law of variation of the reverberation time chosen by the user, which avoids the predominance of a reduced number of modes in l extinction of the reverberated signal.
Le procédé objet de la présente invention permet ainsi le contrôle du temps de réverbération simulé, ce contrôle étant valable quelle que soit la structure du filtre de référence, et garantit également l'absence de colorations parasites en présence de signaux transitoires.The method which is the subject of the present invention thus allows the control of the simulated reverberation time, this control being valid whatever the structure of the reference filter, and also guarantees the absence of parasitic colorations in the presence of transient signals.
Ainsi que mentionné précédemment, le procédé objet de la présente invention consiste alors à affecter à chaque retard une atténuation dépendant de la fréquence au moyen d'un filtre absorbant de fonction de transfert hi(z) ainsi que mentionné en figure 2a.As mentioned previously, the method which is the subject of the present invention then consists in assigning to each delay a frequency dependent attenuation by means of an absorbing filter with transfer function hi (z) as mentioned in FIG. 2a.
La réponse en fréquence de chaque filtre absorbant est donnée par la relation exprimant l'atténuation en décibels :
Dans la relation précitée, arg[hi(ejω)]/ω représente le retard de phase du filtre absorbant. En raison du lien étroit existant entre chaque retard et le filtre absorbant qui lui est associé, le retard absorbant est défini ainsi que décrit précédemment.In the above-mentioned relation, arg [hi (e jω )] / ω represents the phase delay of the absorbent filter. Due to the close link between each delay and the absorbent filter associated with it, the absorbent delay is defined as described above.
D'une manière plus spécifique, on notera que l'insertion des filtres absorbants a pour effet de modifier l'enveloppe spectrale de la réponse finalement obtenue, car, confer [JOT, CHAIGNE, 91], l'énergie de chaque mode de résonance est proportionnelle au temps de décroissance de celui-ci.More specifically, it will be noted that the insertion of absorbent filters has the effect of modifying the spectral envelope of the response finally obtained, because, confer [JOT, CHAIGNE, 91], the energy of each resonance mode is proportional to the decay time thereof.
Conformément à un aspect particulièrement avantageux du procédé objet de la présente invention, l'équilibre spectral de la réponse ainsi obtenue est obtenu par la correction spectrale de l'énergie t(z), cette correction spectrale étant inversement proportionnelle au temps de réverbération Tr(ω) dans le domaine de fréquence du signal audio-numérique traité.In accordance with a particularly advantageous aspect of the method which is the subject of the present invention, the spectral balance of the response thus obtained is obtained by the spectral correction of the energy t (z), this spectral correction being inversely proportional to the reverberation time Tr ( ω) in the frequency domain of the processed digital audio signal.
On notera en outre que, lorsque les durées des retards sont toutes multipliées par un même coefficient α donné, en l'absence de toute modification des atténuations des filtres absorbants, la réponse impulsionnelle du procédé objet de la présente invention est dilatée temporellement par une homothétie de rapport α, mais l'énergie moyenne du signal réverbéré, dans toute bande de fréquence donnée, n'est pas modifiée. Une telle multiplication simule en fait une homothétie de rapport α sur les dimensions de la salle d'audition simulée, et a pour effet de modifier les fréquences de résonance tout en multipliant le temps de réverbération par α à toute fréquence. La division du temps de réverbération par α pour ramener celui-ci à la situation initiale a pour effet une division par la même quantité α de l'énergie du signal spatialisé.It will also be noted that, when the durations of the delays are all multiplied by the same given coefficient α, in the absence of any modification of the attenuations of the absorbent filters, the impulse response of the process which is the subject of the present invention is temporally dilated by a homothety. of ratio α, but the average energy of the reverberated signal, in any given frequency band, is not modified. Such a multiplication in fact simulates a homothety of ratio α on the dimensions of the simulated hearing room, and has the effect of modifying the frequencies resonance while multiplying the reverberation time by α at any frequency. Dividing the reverberation time by α to bring it back to the initial situation has the effect of dividing the energy of the spatialized signal by the same quantity α.
Ainsi, afin de pouvoir contrôler indépendamment le temps de réverbération, l'enveloppe spectrale du signal réverbéré, signal audio-numérique spatialisé y(k), et la taille de la pièce d'audition associée à la durée totale Στi des retards, la correction spectrale t(z) vérifie la relation (2) précédemment mentionnée dans la description.Thus, in order to be able to independently control the reverberation time, the spectral envelope of the reverberated signal, spatialized audio-digital signal y (k), and the size of the hearing piece associated with the total duration Στi of the delays, the correction spectral t (z) verifies the relation (2) previously mentioned in the description.
Une description plus détaillée de la mise en oeuvre du procédé objet de la présente invention sera maintenant donnée en liaison avec les figures 2b puis 2c.A more detailed description of the implementation of the process which is the subject of the present invention will now be given in conjunction with FIGS. 2b then 2c.
Dans un tel cas, ainsi que représenté en figure 2b, le bouclage unitaire précédemment mentionné peut être réalisé au moyen d'une matrice de transfert de bouclage, notée AN, ce bouclage vérifiant la relation :
Dans la relation précitée :
- AN
- est la matrice de transfert du bouclage de dimension NxN de coefficients de transfert aij,
- JN
- est une matrice de transfert obtenue par permutation des lignes ou des colonnes de la matrice de transfert neutre IN de dimension NxN,
- UNT
- est le vecteur colonne transposé du vecteur ligne UN de dimension N, où UN = [1, 1..., 1,1].
- YEAR
- is the transfer matrix for the looping of dimension NxN of transfer coefficients aij,
- JN
- is a transfer matrix obtained by permutation of the rows or columns of the neutral transfer matrix IN of dimension NxN,
- A T
- is the column vector transposed from the row vector UN of dimension N, where UN = [1, 1 ..., 1,1].
La raison du choix de la matrice de transfert AN vérifiant la relation précédemment mentionnée est que l'introduction de la matrice UNT.UN permet d'effectuer la multiplication du vecteur formé par tous les seri par cette dernière matrice simplement, en additionnant les composantes de ce vecteur. Ainsi, pour cette dernière matrice, la contribution du bouclage au signal d'entrée de chaque retard n'est autre que la somme des signaux de sortie seri de tous les retards, somme qui peut aussi être utilisée comme signal réverbéré comme le montrera la figure 2c.The reason for the choice of the transfer matrix AN verifying the above-mentioned relation is that the introduction of the matrix UN T .UN makes it possible to carry out the multiplication of the vector formed by all the seri by this latter matrix simply, by adding the components of this vector. Thus, for this last matrix, the contribution of the loopback to the input signal of each delay is none other than the sum of the output signals seri of all delays, a sum which can also be used as a reverberant signal as shown in Figure 2c.
La matrice de transfert de bouclage, notée AN, doit satisfaire les critères suivants :
- être unitaire : les vecteurs colonnes de la matrice AN devant former une base orthonormée,
- permettre une réduction du coût de calcul,
- rendre maximum la densité d'écho de la réponse impulsionnelle, la matrice de transfert de bouclage AN devant donc avoir le moins possible de coefficients nuls.
- be unitary: the column vectors of the matrix AN having to form an orthonormal base,
- allow a reduction in the calculation cost,
- maximizing the echo density of the impulse response, the loop transfer transfer matrix AN therefore having to have as few zero coefficients as possible.
La relation (8) précédemment citée vérifiée par la matrice de transfert de bouclage AN permet de satisfaire aux critères précédemment mentionnés.The relation (8) previously quoted verified by the loop transfer transfer matrix AN makes it possible to satisfy the criteria previously mentioned.
Le caractère unitaire de la matrice de transfert de bouclage AN est garanti lorsque la matrice JN est obtenue par permutation des lignes ou des colonnes de la matrice neutre IN de dimension N, ou si certaines lignes ou colonnes de AN sont remplacées par leurs opposées.The unitary character of the looping transfer matrix AN is guaranteed when the matrix JN is obtained by permutation of the rows or columns of the neutral matrix IN of dimension N, or if certain rows or columns of AN are replaced by their opposites.
On notera que le fait de remplacer la colonne i de la matrice de transfert de bouclage AN par son opposée équivaut à insérer une opposition de phase à la sortie du retard i, tandis que la même opération sur la ligne j revient à insérer une opposition de phase à l'entrée du retard j. Plus généralement, on indiquera que le caractère unitaire du bouclage est conservé lorsque un ou plusieurs retards sont remplacés par des systèmes eux-mêmes unitaires, c'est-à-dire passe-tout.It will be noted that the fact of replacing column i of the loop transfer transfer matrix AN by its opposite is equivalent to inserting a phase opposition at the output of the delay i, while the same operation on line j amounts to inserting an opposition of phase at the start of the delay j. More generally, it will be indicated that the unitary character of the loopback is preserved when one or more delays are replaced by systems which are themselves unitary, that is to say all-pass.
Les matrices de transfert de bouclage vérifiant la relation (8) précitée permettent ainsi d'obtenir une densité d'écho maximale pour un nombre N de retards donné avec toutefois un coût de calcul minimal, c'est-à-dire 2.N additions-multiplications comme le montrera la figure 2c. La durée totale des retards étant fixée par la taille de la salle pour laquelle la réverbération doit être simulée, le nombre N de retards détermine le temps nécessaire pour que la densité temporelle des échos se construise dans la réponse impulsionnelle.The loopback transfer matrices verifying the above-mentioned relation (8) thus make it possible to obtain a maximum echo density for a given number N of delays with, however, a minimal calculation cost, that is to say 2.N additions -multiplications as shown in Figure 2c. The total duration of the delays being fixed by the size of the room for which the reverberation must be simulated, the number N of delays determines the time necessary for the temporal density of the echoes to be built in the impulse response.
Conformément à la figure 2c, dans un mode de réalisation pratique, et tel que, pour une pluralité de N signaux élémentaires retardés, chaque signal étant noté seri, celui-ci consiste à réinjecter selon une correspondance bijective à l'entrée de rang i de chaque retard d'un signal élémentaire retardé, les retards absorbants correspondants étant notés τi sur la figure 2c, un signal élémentaire retardé de rang j quelconque. Ainsi, chaque signal élémentaire retardé de rang i, seri, doit-il être réinjecté à l'entrée d'un signal élémentaire xj(k), à condition que l'injection d'une sortie i sur une entrée j ne soit réalisée qu'une fois pour chaque entrée et chaque sortie.In accordance with FIG. 2c, in a practical embodiment, and such that, for a plurality of N delayed elementary signals, each signal being denoted seri , this consists in reinjecting according to a bijective correspondence at the entry of rank i of each delay of a delayed elementary signal, the corresponding absorbing delays being denoted τi in FIG. 2c, a delayed elementary signal of any rank j. Thus, each delayed elementary signal of rank i, seri , must it be reinjected at the input of an elementary signal xj (k), provided that the injection of an output i on an input j is only carried out 'once for each entry and each exit.
En outre, dans cette opération, chaque signal élémentaire retardé seri, est diminué de la somme pondérée par le rapport 2/N des signaux élémentaires retardés. Ainsi, sur la figure 2c, chaque signal élémentaire xi(k) est additionné par exemple à un signal élémentaire retardé, seri, la somme résultante étant soumise au retard τi correspondant, retard absorbant, et l'ensemble des signaux élémentaires retardés étant sommé pour donner la somme des signaux élémentaires retardés,
Une description plus détaillée de la mise en oeuvre du procédé objet de la présente invention, en vue de contrôler les dates d'arrivée et les amplitudes des échos précoces, sans pour autant introduire un phénomène de coloration du signal réverbéré ou spatialisé, sera donnée en liaison avec la figure 2d.A more detailed description of the implementation of the process which is the subject of the present invention, with a view to controlling the arrival dates and the amplitudes of the early echoes, without however introducing a phenomenon of coloration of the reverberated or spatialized signal, will be given in link with Figure 2d.
Selon la figure précitée, celui-ci consiste à effectuer un décalage temporel t1, ti, tN, des instants d'arrivée au niveau du bouclage des signaux élémentaires, ce décalage temporel des instants d'arrivée ayant pour effet ainsi de provoquer une séparation des signaux élémentaires du fait du décalage précité. Bien entendu, les signaux élémentaires, notés par exemple xi(k), sont alors décalés en temps de la différence de deux instants de décalage successifs.According to the above-mentioned figure, this consists in carrying out a time shift t1, ti, tN, of the instants of arrival at the level of the looping of the elementary signals, this temporal offset of the instants of arrival thus having the effect of causing a separation of the elementary signals due to the aforementioned offset. Of course, the elementary signals, denoted for example xi (k), are then shifted in time by the difference of two successive shift instants.
En outre, le procédé objet de la présente invention tel que représenté en figure 2d consiste, les signaux élémentaires xi(k) étant maintenant décalés, à choisir un écart de décalage entre le plus grand et le plus petit des instants d'arrivée, symbolisés par t1 et tN sur la figure 2d, inférieur à la plus petite valeur des retards absorbants τi précédemment mentionnés. Ainsi, ce choix permet de constituer les signaux élémentaires décalés en une pluralité d'échos précoces, antérieurs à la réverbération tardive simulée, les signaux élémentaires décalés xi(k) étant bien entendu injectés en aval de chaque retard absorbant correspondant τi, ce qui permet, grâce au choix du décalage temporel précité, d'injecter les signaux élémentaires décalés xi(k) et de les transmettre comme premiers échos antérieurement à la transmission des signaux correspondant au processus de traitement par filtrage réverbérant, ainsi que représenté en figure 2d. On notera bien sûr que le processus de contrôle des premiers échos par le décalage temporel précité permet également de contrôler non seulement les instants d'arrivée ti, mais les amplitudes de ces derniers par les coefficients bi indépendamment des durées τi des retards absorbants du processus de filtrage réverbérant.In addition, the method which is the subject of the present invention as shown in FIG. 2d consists, with the elementary signals xi (k) now being offset, choosing an offset difference between the largest and the smallest of the arrival times, symbolized by t1 and tN in FIG. 2d, less than the smallest value of the absorbent delays τi previously mentioned. Thus, this choice makes it possible to constitute the elementary signals offset in a plurality of early echoes, prior to the simulated late reverberation, the elementary signals offset xi (k) being of course injected downstream of each corresponding absorbing delay τi, which allows , by means of the choice of the abovementioned time shift, of injecting the shifted elementary signals xi (k) and of transmitting them as first echoes before the transmission of the signals corresponding to the processing process by reverberant filtering, as shown in FIG. 2d. It will of course be noted that the process of controlling the first echoes by the above-mentioned time offset also makes it possible to control not only the arrival times ti, but the amplitudes of the latter by the coefficients bi regardless of the durations τi of the absorbing delays of the process of reverberant filtering.
Le principe du procédé objet de la présente invention tel que représenté en figure 2d se distingue des procédés comparables de l'art antérieur décrits notamment par STAUTNER et PUCKETTE sur les points suivants :
- les dates d'arrivée des échos d'ordre 1 ou premiers échos ne sont pas limitées par les durées de retard absorbant τi,
- le procédé selon l'invention n'introduit pas de filtrage à réponse impulsionnelle finie, filtrage FIR, susceptible d'imposer une coloration préjudiciable à la réverbération tardive simulée, bien que cette dernière soit rendue ainsi dépendante du jeu d'échos précoces choisis par l'utilisateur, ce qui s'avèrera particulièrement utile afin d'assurer la spatialisation simultanée de plusieurs sources sonores.
- the arrival dates of the echoes of
order 1 or first echoes are not limited by the durations of absorbing delay τi, - the method according to the invention does not introduce finite impulse response filtering, FIR filtering, capable of imposing a coloring detrimental to the simulated late reverberation, although the latter is thus made dependent on the set of early echoes chosen by the user, which will be particularly useful in order to ensure the simultaneous spatialization of several sound sources.
Ce second point s'explique en particulier en considérant la réponse impulsionnelle lors du processus de filtrage conforme au procédé selon l'invention. Si la durée totale des retards Στi, retards absorbants, est suffisante, de l'ordre de la seconde, la densité modale est telle que cette réponse est perçue comme un bruit blanc stationnaire une fois passé le temps nécessaire pour que la densité d'échos se stabilise.This second point is explained in particular by considering the impulse response during the filtering process in accordance with the method according to the invention. If the total duration of the delays Στi, absorbing delays, is sufficient, of the order of a second, the modal density is such that this response is perceived as a stationary white noise once the time necessary for the density of echoes has passed stabilizes.
On vérifie d'ailleurs expérimentalement que cette réponse impulsionnelle peut être considérée comme une somme de bruits blancs élémentaires associés chacun à un couple bi, cj, ces réponses élémentaires étant des bruits blancs pseudo-aléatoires décorrélés entre eux. Il en résulte que le choix des coefficients bi et ci de pondération tels que représentés en figure 2d, bien qu'ils modifient la répartition de l'énergie selon les modes de résonance, n'a pas d'effet perceptible sur le timbre de la réverbération tardive, ni non plus le choix des décalages ti.We also verify experimentally that this impulse response can be considered as a sum of elementary white noises each associated with a couple bi, cj, these elementary responses being pseudo-random white noises uncorrelated with each other. It follows that the choice of the weighting bi and ci coefficients as shown in FIG. 2d, although they modify the distribution of the energy according to the resonance modes, has no perceptible effect on the timbre of the late reverberation, nor the choice of ti offsets.
Une variante particulièrement avantageuse du procédé objet de la présente invention sera maintenant décrite en liaison avec la figure 2e, dans le cas où un contrôle séparé de la clarté et des directions de provenance d'échos précoces de sources monophoniques dans une transmission stéréophonique soumise au procédé de spatialisation objet de la présente invention, est réalisé.A particularly advantageous variant of the method which is the subject of the present invention will now be described in conjunction with FIG. 2e, in the case where a separate control of the clarity and the directions of source of early echoes from monophonic sources in a stereophonic transmission subjected to the method spatialization object of the present invention is achieved.
D'une manière générale, on considérera un enregistrement ou la transmission d'un enregistrement de signaux audio-numériques stéréophoniques, soumis au procédé de spatialisation objet de la présente invention au moyen d'un filtrage réverbérant, ainsi que représenté en figure 2e.Generally speaking, a recording or the transmission of a recording of stereophonic audio-digital signals, subjected to the spatialization process object of the present invention by means of reverberant filtering, as represented in FIG. 2e.
Le contrôle de la clarté et de la direction de provenance d'échos de sources monophoniques dans une telle situation est particulièrement avantageux, notamment dans le cas où ces sources monophoniques ne sont autres que des éléments de source de l'enregistrement stéréophonique correspondant, c'est-à-dire que les sources monophoniques précitées sont des éléments de la source des signaux stéréophoniques soumis au procédé de spatialisation conforme à l'objet de la présente invention. Une telle situation peut se rencontrer, notamment, lors d'un enregistrement ou de la retransmission d'un enregistrement stéréophonique d'un concert donné par un orchestre symphonique dans lequel un ou plusieurs instruments concertants, et en particulier le jeu de ceux-ci, veulent être mis en évidence.Controlling the clarity and direction of source of echoes from monophonic sources in such a situation is particularly advantageous, in particular in the case where these monophonic sources are other than source elements of the corresponding stereophonic recording, ie that is to say that the aforementioned monophonic sources are elements of the source of the stereophonic signals subjected to the spatialization process in accordance with the object of the present invention. Such a situation can be encountered, in particular, during a recording or retransmission of a stereophonic recording of a concert given by a symphonic orchestra in which one or more concerting instruments, and in particular the playing of these, want to be highlighted.
Dans un tel cas, le procédé objet de la présente invention consiste à soumettre chaque signal monophonique, noté source mono 1 respectivement mono 2 à titre d'exemple sur la figure 2e, à un processus de décalage temporel des instants d'arrivée de ce signal pour engendrer, de même que dans le cas de la figure 2d, une pluralité de N signaux monophoniques élémentaires décalés correspondants, de façon à constituer les signaux monophoniques élémentaires décalés en une pluralité d'échos d'ordre 1 correspondants.In such a case, the method which is the subject of the present invention consists in subjecting each monophonic signal, denoted
Les signaux monophoniques élémentaires décalés sont alors injectés dans le bouclage appliqué aux signaux stéréophoniques soumis au processus de réverbération simulé par sommation, avant bouclage, aux signaux stéréophoniques élémentaires retardés.The shifted elementary monophonic signals are then injected into the looping applied to the stereophonic signals subjected to the reverberation process simulated by summing, before looping, to the delayed elementary stereophonic signals.
Le procédé objet de l'invention tel que décrit en liaison avec la figure 2e permet ainsi d'affecter à chaque source un effet de salle distinct, les différences entre les réponses impulsionnelles affectées aux différentes sources se caractérisant de la manière ci-après :
- distribution d'échos précoces spécifiques pour chaque source,
- valeur de clarté spécifique pour chaque source,
- réverbération tardive simulée prenant en compte la séparation spatiale entre les sources, les contributions des différentes sources à la réverbération tardive étant décorrélées entre elles.
- distribution of specific early echoes for each source,
- specific clarity value for each source,
- simulated late reverberation taking into account the spatial separation between the sources, the contributions of the different sources to the late reverberation being uncorrelated with each other.
Il permet également de préserver l'indépendance entre le contrôle des échos précoces et le contrôle de la réverbération tardive en évitant, en particulier, que le contrôle des échos précoces ne provoque une coloration de la réverbération tardive.It also makes it possible to preserve the independence between the control of early echoes and the control of late reverberation by preventing, in particular, that the control of early echoes does not cause a coloring of the late reverberation.
Une description plus détaillée d'un système de spatialisation artificielle en temps réel d'un signal audio-numérique conforme à l'objet de la présente invention sera maintenant donnée en liaison avec la figure 3a.A more detailed description of an artificial real-time spatialization system of an audio-digital signal in accordance with the object of the present invention will now be given in connection with FIG. 3a.
Sur la figure précitée, les mêmes symboles relatifs aux signaux représentent les mêmes signaux que dans le cas de la figure 2a relative au procédé objet de la présente invention.In the above-mentioned figure, the same symbols relating to the signals represent the same signals as in the case of FIG. 2a relating to the method which is the subject of the present invention.
Ainsi qu'on l'observera sur la figure 3a, le système objet de la présente invention comprend des voies de retard, notées Vi, consistant chacune par exemple successivement en un élément multiplicateur, noté 1i, un élément sommateur, 2i, un élément retardateur, 3i, et un élément multiplicateur, 5i, en cascade, chaque voie de retard étant raccordée à un élément sommateur, noté 6i, portant la référence de l'indice de la voie de retard correspondante, sauf éventuellement en ce qui concerne la voie de retard d'ordre 1, V1. Bien entendu, pour un système à N voies, le bouclage est assuré au moyen d'une matrice de transfert de bouclage 10, formé par la matrice AN précédemment mentionnée dans la description, celle-ci étant constituée par un réseau d'éléments multiplicateurs et additionneurs permettant de délivrer les signaux élémentaires retardés combinés, serci, le bouclage étant assuré au niveau de chaque sommateur, 2i, de chaque voie de retard. Le signal audio-numérique x(k) est ainsi dupliqué en signaux élémentaires xi(k) alimentant chaque voie de retard, Vi, et un élément sommateur 9 permet, après pondération du signal audio-numérique, x(k), par un élément multiplicateur 8 de délivrer le signal spatialisé y(k), l'élément sommateur recevant en outre la somme pondérée des signaux élémentaires retardés, seri, délivrés par chaque voie de retard, Vi, cette somme pondérée étant en outre soumise, par l'intermédiaire de l'élément de correction spectrale 7, à une correction spectrale de l'énergie t(z) vérifiant la relation (2) précédemment mentionnée dans la description.As will be observed in FIG. 3a, the system which is the subject of the present invention comprises delay channels, denoted Vi, each consisting for example successively of a multiplier element, denoted 1i, a summing element, 2i, a retarding element , 3i, and a multiplier element, 5i, in cascade, each delay channel being connected to a summing element, denoted 6i, bearing the reference of the index of the corresponding delay channel, except possibly with regard to the delay of
En outre, conformément à un aspect particulièrement avantageux du système objet de la présente invention, à chaque élément de retard, 3i, contenu dans chaque voie de retard, Vi, est associé un élément absorbant, noté 4i, dont la fonction de transfert provoque une atténuation Hi(ω) de chaque signal élémentaire retardé, la valeur opposée de cette atténuation exprimée en décibels étant fonction monotone décroissante du temps de réverbération Tr(ω) et proportionnelle à chaque retard engendré par chaque élément de retard 3i correspondant.In addition, in accordance with a particularly advantageous aspect of the system which is the subject of the present invention, with each delay element, 3i, contained in each delay channel, Vi, there is associated an absorbent element, denoted 4i, whose transfer function causes a Hi attenuation (ω) of each delayed elementary signal, the opposite value of this attenuation expressed in decibels being a monotonic decreasing function of the reverberation time Tr (ω) and proportional to each delay generated by each
Ainsi que décrit précédemment dans la description, on notera pour la suite que chaque élément de retard 3i associé à chaque élément d'atténuation 4i est noté symboliquement, ainsi que représenté en figure 3a, 34i. Ainsi, chaque référence 34i, avec i ∈ [1,N] est telle que le retard finalement apporté τi est défini comme le retard absorbant, ainsi que mentionné précédemment dans la description.As described previously in the description, it will be noted below that each
On notera que d'une manière plus générale, le système de spatialisation artificielle objet de la présente invention tel que représentée en figure 3a constitue un filtre réverbérant formé d'un filtre de référence, ainsi que mentionné précédemment dans la description, dans lequel a été insérée, pour chaque voie d'atténuation Vi, une fonction d'atténuation par l'élément 4i, dans les conditions de relation au temps de réverbération Tr(ω) et au retard, noté z-mi, ainsi que précédemment mentionné dans la description.It will be noted that, more generally, the artificial spatialization system which is the subject of the present invention as shown in FIG. 3a constitutes a reverberant filter formed by a reference filter, as mentioned previously in the description, in which inserted, for each attenuation channel Vi, a function attenuation by the
On indique que le filtre de référence est entièrement caractérisé par les durées des retards z-mi, les coefficients bi, ci ayant été définis, lesquelles peuvent être choisies irrationnelles entre elles de façon à éviter les superpositions d'échos, et telles que leur somme est proportionnelle à une dimension caractéristique du phénomène de la salle à simuler.It is indicated that the reference filter is entirely characterized by the durations of the delays z -mi , the coefficients bi, ci having been defined, which can be chosen to be irrational with one another so as to avoid overlapping echoes, and such that their sum is proportional to a dimension characteristic of the phenomenon of the room to be simulated.
La structure du filtre réverbérant représenté en figure 3a est alors définie par les vecteurs b = {bi} et c = {ci} de dimension N, et bien entendu par la matrice de transfert de bouclage A de dimension NxN, les composantes des vecteurs précités correspondant aux valeurs de gain des éléments multiplicateurs 1i, respectivement 5i, le coefficient d définissant la valeur de gain de l'élément multiplicateur 8.The structure of the reverberant filter shown in FIG. 3a is then defined by the vectors b = {bi} and c = {ci} of dimension N, and of course by the loop transfer matrix A of dimension NxN, the components of the aforementioned vectors. corresponding to the gain values of the multiplier elements 1i, respectively 5i, the coefficient d defining the gain value of the multiplier element 8.
On notera en fait que les éléments multiplicateurs 1i, 5i ou 8, les éléments sommateurs 2i, 6i, ou les éléments multiplicateurs et les éléments sommateurs constitutifs du réseau formant la matrice de transfert 10, la matrice A, de dimension NxN, peuvent bien entendu être réalisés soit par des circuits numériques de calcul correspondants, soit bien entendu, de préférence, par des modules de programme permettant d'appliquer aux échantillons des différents signaux précédemment cités les opérations arithmétiques correspondantes. Dans ce dernier cas, les calculs peuvent avantageusement être conduits au moyen d'un ou plusieurs processeurs de calculs, par exemple, des microprocesseurs DSP 56000 commercialisés par la société MOTOROLA, dont des indications correspondantes seront données ultérieurement dans la description.It will in fact be noted that the multiplying
On rappelle que les matrices A, notées AN, satisfaisant à la relation (8) précédemment mentionnée dans la description permettent d'obtenir une densité d'écho maximale pour un nombre N de retards donnés avec un coût de calcul minimal, en nombre d'éléments multiplicateurs ou additionneurs nécessaires à la réalisation du bouclage.It is recalled that the matrices A, denoted AN, satisfying the relation (8) previously mentioned in the description make it possible to obtain a maximum echo density for a number N of delays given with a minimal calculation cost, in number of multipliers or adders necessary to complete the closure.
Les matrices de transfert de bouclage ainsi retenues permettent de réaliser des bouclages qui se caractérisent par le fait que l'entrée de chaque retard, c'est-à-dire chaque élément sommateur 2i, reçoit le signal de sortie d'un autre retard, par une correspondance bijective, diminué de la somme multipliée par 2/N des signaux de sortie des N retards. Cette classe de matrices de bouclage et les bouclages correspondants permettent de maximaliser la densité d'écho, et ne se distinguent en fait les uns des autres que par le choix de la matrice JN dans la relation (8) précitée.The loop transfer transfer matrices thus retained make it possible to produce loopings which are characterized by the fact that the input of each delay, that is to say each summing
Une description plus détaillée de bouclages et donc de circuits correspondants réalisés conformément à l'objet du système selon l'invention et satisfaisant aux conditions précitées, c'est-à-dire bouclage réalisé par le choix de différentes matrices JN dans la relation (8) précédemment mentionnée, sera donnée en liaison avec les figures 3b à 3f ci-après.A more detailed description of loopbacks and therefore of corresponding circuits produced in accordance with the object of the system according to the invention and satisfying the aforementioned conditions, that is to say looping carried out by the choice of different JN matrices in relation (8 ) previously mentioned, will be given in connection with FIGS. 3b to 3f below.
Un premier choix peut consister à prendre JN = IN, matrice neutre.A first choice can consist in taking JN = IN, neutral matrix.
Le filtre réverbérant ainsi réalisé est représenté en figure 3b, et apparaît comme un filtre somme de peignes dans lequel la sortie du filtre a été rebouclée sur l'entrée au moyen d'un élément multiplicateur 23 de gain -2/N. On reconnaît sur la figure 3b précitée un élément sommateur d'entrée 22 permettant d'assurer le rebouclage précité ainsi que les différents éléments 2i sommateurs, retard absorbant 34i de valeur τi, et sommateurs 6i, permettant d'assurer le bouclage de l'ensemble. Bien entendu, la valeur du gain de l'élément de multiplication 23 peut être, soit -2/N lorsque les sommateurs 22 ou 2i assurent une sommation positive, soit la valeur 2/N lorsque les éléments sommateurs 22 ou 2i sont des éléments sommateurs algébriques, le bouclage étant effectué sur une entrée de soustraction.The reverberant filter thus produced is shown in FIG. 3b, and appears as a sum comb filter in which the output of the filter has been looped back to the input by means of a
Dans le cas, au contraire, où la matrice JN est obtenue par permutation circulaire vers la gauche des colonnes de la matrice neutre, IN, on obtient successivement comme matrice de transfert du bouclage AN, pour N > 2,
Sur la figure 3c, on a ainsi représenté un mode de réalisation permettant d'obtenir le bouclage précité dans lequel la matrice de transfert du bouclage AN vérifie la relation (9) précédente. Le système objet de la présente invention, tel que représenté en figure 3c, constitue un filtre réverbérant, monophonique, remarquable en ce qu'il utilise une boucle principale formée sensiblement par les différentes voies de retard Vi reliées en cascade, les valeurs d'éléments de multiplication et donc de gain bi et ci n'ayant pas été représentées car ayant été prises égales à 1, de façon que les retards absorbants τi se trouvent reliés en série par l'intermédiaire des éléments sommateurs 2i correspondants, le bouclage étant réalisé par l'élément multiplicateur 23 par l'intermédiaire de l'élément sommateur d'entrée 22, lequel permet une réinjection du signal somme résultant x(k)-2/N.(y(k)) au niveau de chacun des éléments sommateurs 2i, les sorties de chaque retard absorbant 34i, les signaux seri, étant sommées par l'intermédiaire d'une pluralité d'éléments sommateurs 6i mis en cascade pour délivrer le signal audio-numérique spatialisé y(k).In FIG. 3c, an embodiment has thus been shown making it possible to obtain the above-mentioned looping in which the transfer matrix of the looping AN verifies the preceding relation (9). The system which is the subject of the present invention, as shown in FIG. 3c, constitutes a reverberant, monophonic filter, remarkable in that it uses a main loop formed substantially by the different delay channels Vi connected in cascade, the values of elements of multiplication and therefore of gain bi and ci not having been represented because having been taken equal to 1, so that the absorbing delays τi are connected in series via the corresponding summing
Les réverbérateurs monophoniques tels que représentés en figure 3b et 3c peuvent, le cas échéant, provoquer un écho parasite dont la date d'arrivée correspond à la somme des durées des retards absorbants Στi. L'amplitude de cet écho parasite décroît lorsque le nombre N de retards augmente et cet écho se fond dans la réverbération lorsque N > 12. Lorsqu'il est audible, cet écho parasite n'est pas présent en sortie de chacun des N retards absorbants 34i, mais naît de l'interférence entre ces signaux.Monophonic reverberators as shown in FIG. 3b and 3c can, if necessary, cause a parasitic echo whose arrival date corresponds to the sum of the durations of the absorbent delays Στi. The amplitude of this parasitic echo decreases when the number N of delays increases and this echo merges into the reverberation when N> 12. When it is audible, this parasitic echo is not present at the output of each of the N
Les modes de réalisation représentés en figures 3d et 3e permettent la suppression du phénomène d'interférence précité, par dédoublement et mise en opposition de phase, en entrée ou en sortie du filtre réverbérant des signaux d'entrée, respectivement de sortie, dédoublés.The embodiments shown in FIGS. 3d and 3e allow the abovementioned interference phenomenon to be eliminated, by splitting and placing in phase opposition, at the input or at the output of the filter reverberating the input, respectively output, split signals.
Ainsi, sur la figure 3d, les signaux élémentaires sont dédoublés en signaux élémentaires de rang impair x2p-1(k), pairs x2p(k), et mis en opposition de phases par l'intermédiaire d'un premier élément sommateur, 22a, respectivement deuxième élément soustracteur, 22b, correspondant, les signaux élémentaires retardés correspondants étant bien entendu sommés par les éléments sommateurs 6i correspondants et la réinjection pondérée par l'élément mutliplicateur 23 étant effectuée au niveau du premier, 22a, respectivement deuxième, 22b, élément sommateur, respectivement soustracteur. Dans la figure 3e au contraire, les signaux élémentaires d'entrée, xi(k), sont maintenus sans dédoublement alors que le dédoublement est effectué au niveau des signaux élémentaires retardés, seri, avec i=2p pour les signaux de rang pair, ou 2p-1 pour les signaux de rang impair. La sommation des signaux de rang pair, respectivement impair, précités est effectuée par les éléments sommateurs 61a, de rang impair, respectivement 62a de rang pair, et le bouclage est effectué par l'intermédiaire d'un élément sommateur supplémentaire de sortie dédoublé 61b, respectivement 62b, l'élément sommateur 61b recevant les signaux délivrés par l'élément sommateur 61a, respectivement 62a, et délivrant le signal somme à l'élément multiplicateur 23, alors que l'élément soustracteur 62b reçoit les signaux délivrés par l'élément sommateur 61a, respectivement 62a, et délivre le signal audio-numérique spatialisé y(k).Thus, in FIG. 3d, the elementary signals are split into elementary signals of odd rank x2p-1 (k), even x2p (k), and placed in phase opposition by means of a first summing element, 22a, respectively second subtracting element, 22b, corresponding, the corresponding delayed elementary signals being of course summed by the corresponding summing
Enfin, sur la figure 3f, on a représenté une disposition analogue à celle de la figure 3c, dans laquelle, afin de supprimer l'interférence précédemment mentionnée, le circuit de sortie, c'est-à-dire le circuit délivrant le signal audio-numérique spatialisé, y(k), est subdivisé en deux circuits relatifs aux signaux élémentaires retardés de rang pair, respectivement de rang impair, de manière analogue au circuit de sortie de la figure 3e, les éléments sommateurs correspondants étant notés 6N-1b, respectivement élément soustracteur 6Nb, et jouant le rôle des éléments sommateurs, respectivement soustracteurs, 61b, 62b, de la figure 3e.Finally, in FIG. 3f, an arrangement similar to that of FIG. 3c is shown, in which, in order to eliminate the interference mentioned above, the output circuit, that is to say the circuit delivering the spatialized audio-digital signal, y (k), is subdivided into two circuits relating to the delayed elementary signals of even rank, respectively of odd rank, in a similar way to the output circuit of figure 3e, the corresponding summing elements being noted 6N- 1b, respectively subtractor element 6Nb, and playing the role of summing elements, respectively subtractor, 6 1b , 6 2b , of FIG. 3e.
Une description plus détaillée d'un système objet de la présente invention, permettant la spatialisation d'un signal audio-numérique dans lequel la position de la source sonore dans la salle simulée est prise en compte, par le biais du contrôle des N premiers échos, sera donnée en liaison avec la figure 4.A more detailed description of a system which is the subject of the present invention, allowing the spatialization of an audio-digital signal in which the position of the sound source in the simulated room is taken into account, by means of the control of the N first echoes , will be given in connection with Figure 4.
Le système objet de la présente invention permet d'éviter tout phénomène de coloration du signal réverbéré.The system which is the subject of the present invention makes it possible to avoid any phenomenon of coloration of the reverberated signal.
Ainsi qu'on le remarquera à l'observation de la figure 4, le système objet de la présente invention comprend un module de traitement des premiers échos, noté 20, et le filtre réverbérant proprement dit, noté 30, lequel correspond sensiblement au filtre réverbérant représenté en figure 3a.As will be seen from the observation of FIG. 4, the system which is the subject of the present invention comprises a module for processing the first echoes, noted 20, and the reverberant filter proper, noted 30, which corresponds substantially to the reverberant filter. shown in Figure 3a.
Alors que dans la figure 3a, par exemple, chacune des voies de retard de rang i est telle que le module retardateur 3i de coefficient de retard mi et le module atténuateur 4i forment un module de retard absorbant 34i placé par exemple en aval du module sommateur de la voie de retard, module sommateur 2i correspondant, on pourra constater que sur la figure 4, le module de retard absorbant 34i est au contraire placé en amont du module sommateur 2i de la voie de retard Vi correspondant.Whereas in FIG. 3a, for example, each of the delay channels of rank i is such that the
Ainsi qu'on le remarquera en outre à l'observation de la figure 4, les signaux élémentaires xi(k) sont délivrés après pondération par les modules multiplicateurs 1i, de coefficient de multiplication bi, par l'intermédiaire d'un module de retard, noté 201, sur la figure 4. Le module de retard 201 permet de retarder les instants ti d'arrivée des signaux élémentaires correspondants pour, en fait, constituer des signaux élémentaires décalés en une pluralité d'échos d'ordre 1 antérieurs à la réverbération tardive simulée. Le module 20 et les coefficients multiplicateurs bi des éléments multiplicateurs 1i constituent un module de traitement des premiers échos interconnectés au filtre réverbérant 30 proprement dit. On rappellera que le module des premiers échos 20 permet de contrôler les instants d'arrivée ti indépendamment des durées de retard du filtre réverbérant proprement dit. Le rôle des coefficients bi des éléments multiplicateurs 1i du module de premiers échos 20 est légèrement modifié par rapport au cas de la figure 3a. Les valeurs de retards absorbants τi provoqués par les éléments de retard absorbant 34i peuvent alors être choisies compte tenu des valeurs ti des instants d'arrivée ainsi que déjà mentionné en liaison avec la figure 2d. Dans le cas où les délais de retard ti sont identiques aux retards absorbants τi, les filtres de référence des figures 3a et 4 sont strictement équivalents, mais en présence des éléments d'atténuation 4i, les deux systèmes diffèrent par le fait que sur la figure 4, les échos d'ordre 1, c'est-à-dire les premiers échos, ne subissent pas les filtrages absorbants. Le système tel que représenté en figure 4, muni de son module de traitement des premiers échos, permet d'éviter tout phénomène de coloration de la réverbération tardive, quelle que soit la distribution d'échos précoces choisie.As will also be observed in the observation of FIG. 4, the elementary signals xi (k) are delivered after weighting by the multiplier modules 1i, of multiplication coefficient bi, by means of a delay module , denoted 201, in FIG. 4. The module of
Le système de spatialisation d'un signal audio-numérique objet de l'invention tel que précédemment décrit en liaison avec les figures 3a à 3f et 4 constitue essentiellement un filtre réverbérant monophonique.The spatialization system of an audio-digital signal which is the subject of the invention as previously described in connection with FIGS. 3a to 3f and 4 essentially constitutes a monophonic reverberant filter.
Toutefois, le système objet de la présente invention n'est pas limité au seul traitement des signaux audio-numériques monophoniques.However, the system which is the subject of the present invention is not limited to the sole processing of monophonic audio-digital signals.
Une description plus détaillée d'un système de spatialisation d'un signal audio-numérique stéréophonique sera maintenant décrit conformément à l'objet de la présente invention en relation avec les figures 5a, 5b et 5c.A more detailed description of a spatialization system of a stereophonic audio-digital signal will now be described in accordance with the object of the present invention in relation to FIGS. 5a, 5b and 5c.
En particulier, dans le cas de la figure 5a, le mode de réalisation présenté permet en fait d'assurer un contrôle de la clarté et des directions de provenance des échos précoces pour chaque source monophonique, lesquelles bien entendu de manière non limitative peuvent être constitutrices de sources d'un enregistrement ou d'une transmission d'un enregistrement stéréophonique. Dans ce dernier cas, le dispositif objet de la présente invention tel que représenté en figure 5a permet alors de contrôler la clarté et la direction de provenance des échos associés à chaque source monophonique correspondante, de manière à simuler une situation où les sources sont à des positions différentes dans une même salle.In particular, in the case of FIG. 5a, the embodiment presented makes it possible in fact to ensure control of the clarity and the directions of origin of the early echoes for each monophonic source, which of course in a nonlimiting manner may constitute sources of a recording or transmission of a stereophonic recording. In the latter case, the device which is the subject of the present invention as shown in FIG. 5a then makes it possible to control the clarity and the direction of origin of the echoes associated with each corresponding monophonic source, so as to simulate a situation where the sources are at different positions in the same room.
Ainsi qu'on le remarquera à l'observation de la figure 5a, le système objet de la présente invention comprend alors essentiellement un filtre réverbérant proprement dit 30, lequel a été représenté de manière purement illustrative identique à celui de la figure 4, et un ou plusieurs modules de traitement des premiers échos, ces modules de traitement des premiers échos étant référencés 201, 202, et étant chacun relatifs à une première source mono 1 respectivement deuxième source mono 2, par exemple. Il est bien entendu qu'une pluralité de sources monophoniques peut être utilisée. On notera que de manière identique au mode de réalisation de la figure 4, chaque module de traitement des premiers échos comprend un élément retardateur 201 des instants d'arrivée ti, pour constituer les signaux de premiers échos. Cet élément retardateur peut être réalisé, soit au moyen d'un circuit de retard numérique, soit plus simplement au moyen d'un système de mémoire vive adressable séquentiellement, les échantillons d'entrée du signal audio-numérique x(k) mémorisés étant lus successivement en décalage du retard de décalage des instants d'arrivée ti. Les signaux élémentaires décalés formant les échos d'ordre 1 correspondants pour les signaux mono 1, mono 2, sont ensuite pondérés par les coefficients multiplicateurs bi des éléments multiplicateurs 1i correspondants, et ces signaux, après réglage par l'intermédiaire d'un élément multiplicateur 271, respectivement 272, appliquant à chaque signal élémentaire un gain identique r1, respectivement r2, sont injectés sur un BUS d'échos, lequel permet l'injection des premiers échos correspondants au niveau de l'entrée de la matrice de transfert de bouclage 10 du filtre réverbérant proprement dit, 30. On notera que les signaux de premiers échos correspondants sont injectés sur le BUS d'écho par l'intermédiaire d'éléments sommateurs de type classique 281, 282, puis au niveau de l'entrée de la matrice 10 du filtre réverbérant proprement dit, par des éléments sommateurs notés 29i sur la figure 5a.As will be seen from the observation of FIG. 5a, the system which is the subject of the present invention then essentially comprises a reverberant filter proper 30, which has been shown in a purely illustrative manner identical to that of FIG. 4, and a or several modules for processing the first echoes, these modules for processing the first echoes being referenced 20 1 , 20 2, and each being relative to a
En ce qui concerne le filtre réverbérant proprement dit, 30, celui-ci reçoit en entrée un signal source stéréo gauche, respectivement droit, transmis sur une voie gauche et sur une voie droite. On notera que, le filtre réverbérant proprement dit 30 de la figure 5a est agencé de façon que celui-ci comprenne une pluralité de N voies de retard, réparties en N/2 voies de retard relatives à la voie gauche, et permettant d'engendrer successivement N/2 signaux élémentaires gauches, notés xi(k)g, puis de manière analogue au filtre réverbérant représenté en figure 3a ou 4, N/2 signaux élémentaires retardés gauches, serig. Le filtre réverbérant proprement dit 30 de la figure 5a comprend également N/2 voies de retard relatives à la voie droite, et permettent d'engendrer successivement également N/2 signaux élémentaires droits, xi(k)d, puis bien sûr N/2 signaux élémentaires retardés droits, serid. En outre, des éléments sommateurs 26d des N/2 signaux élémentaires retardés droits, serid, et respectivement gauche 26g des signaux élémentaires retardés gauches, serig, sont prévus pour effectuer les sommations respectives de ces signaux, ces éléments sommateurs précités étant suivis d'un module de correction spectrale droite, respectivement gauche, et d'un module de filtrage passe-bas gauche et droit. Le module de correction spectrale droit et gauche est noté 7d, respectivement 7g, et peut être constitué de la même manière que dans le cas des figures 3a et 4.As regards the reverberant filter proper, 30, this receives as input a left stereo source signal, respectively right, transmitted on a left channel and on a right channel. It will be noted that the actual
On notera que le signal de sortie du filtre réverbérant proprement dit, c'est-à-dire en sortie de l'élément correcteur de réponse spectrale 7g ou 7d, possède une enveloppe spectrale plate, laquelle peut être corrigée par un filtre dont la réponse est celle d'un module de filtrage passe-bas, pour la voie gauche et droite. Le filtre passe-bas correspondant de fonction de transfert s(z) est noté 11 et est bien sûr relié à un BUS de sortie permettant l'écoute ou l'enregistrement du signal audio-numérique spatialisé stéréophonique correspondant.It will be noted that the output signal of the reverberant filter proper, that is to say at the output of the spectral
On notera en outre ainsi que représenté en figure 5a que les signaux des premiers échos délivrés par les modules de premiers échos 201 ou 202 sont également injectés directement sur le BUS de sortie, indépendamment du signal issu du filtre réverbérant de façon à permettre le contrôle de la clarté pour chaque source MONOi grâce aux valeurs de gain ri des éléments multiplicateurs 27i.It will further be noted as shown in FIG. 5a that the signals of the first echoes delivered by the modules of
D'une manière générale, on notera que le système objet de la présente invention tel que représenté en figure 5a permet un contrôle des directions de provenance des échos précoces réalisé en regroupant les échos au niveau du système de commandes, non représenté sur la figure 5a, par paires d'échos gauche et droit. Si le nombre N de retards du filtre réverbérant proprement dit 30 est pair, chaque module écho synthétise N/2 échos stéréophoniques dont on contrôle l'amplitude, la date d'arrivée et la direction de provenance. La direction de provenance de chaque écho est définie par l'écart temporel et énergétique entre les canaux gauche et droit.In general, it will be noted that the system which is the subject of the present invention as shown in FIG. 5a allows control of the directions of origin of the early echoes carried out by grouping the echoes at the level of the command system, not shown in FIG. 5a , in pairs of left and right echoes. If the number N of delays of the reverberant filter proper 30 is even, each echo module synthesizes N / 2 stereophonic echoes whose amplitude, date of arrival and direction of provenance are controlled. The direction of origin of each echo is defined by the time and energy difference between the left and right channels.
Pour une écoute stéréophonique au casque, par exemple, le procédé objet de la présente invention tel qu'illustré en figure 5a, permet d'attribuer à chaque écho précoce une direction de provenance quelconque dans le demi-plan vertical supérieur délimité par l'axe des oreilles, alors que pour une écoute sur haut-parleur dans la disposition stéréophonique conventionnelle, des tests ont confirmé que le procédé selon l'invention permet au contraire de simuler toutes les directions de provenance dans le demi-plan horizontal frontal délimité par ce même axe, à condition d'utiliser un système à compensation du trajet sonore de chaque haut-parleur vers l'oreille opposée.For stereo listening with headphones, for example, the process which is the subject of the present invention such that illustrated in FIG. 5a, makes it possible to assign to each early echo a direction from any source in the upper vertical half-plane delimited by the axis of the ears, while for listening on loudspeaker in the conventional stereophonic arrangement, tests have confirmed that, on the contrary, the method according to the invention makes it possible to simulate all the directions of provenance in the frontal horizontal half-plane delimited by this same axis, provided that a system is compensated for the sound path of each loudspeaker. speaker to the opposite ear.
Sur la figure 5a, le premier écho affecté à chaque source joue le rôle du son direct pour cette source.In FIG. 5a, the first echo assigned to each source plays the role of direct sound for this source.
Sur la figure 5b, on a représenté un mode de réalisation particulier d'un filtre réverbérant proprement dit 30 dans une application stéréophonique dans le cas où le filtre réverbérant proprement dit correspond au mode de réalisation du bouclage de la figure 3b, ce filtre réverbérant correspondant en une subdivision des N voies de retard pour la prise en compte des voies gauche et droite de l'émission stéréophonique. Sur la figure 5b, on notera que les différents éléments dupliqués en fonction de la parité du rang de la voie de retard portent les indices 2p-1 pour des voies de retard de rang impair et 2p pour les voies de retard de rang pair. L'élément sommateur 22 de la figure 3b est remplacé par un élément sommateur pour la voie droite, respectivement gauche, portant les références 25d et 25g. L'élément sommateur 61 de la figure 3b est remplacé par les éléments sommateurs 26d et 26g correspondants pour les voies droite et gauche. Enfin, on notera que des éléments multiplicateurs de réglage de gain g portent la référence 24d, 24g, ces éléments permettant un réglage du gain correspondant, afin d'éviter les phénomènes éventuels de saturation.FIG. 5b shows a particular embodiment of a reverberant filter proper in a stereophonic application in the case where the reverberant filter proper corresponds to the embodiment of the loop of FIG. 3b, this corresponding reverberant filter into a subdivision of the N delay channels for taking into account the left and right channels of the stereophonic emission. In FIG. 5b, it will be noted that the different elements duplicated as a function of the parity of the rank of the delay channel bear the indices 2p-1 for delay channels of odd rank and 2p for delay channels of even rank. The summing
En figure 5c, on a représenté le système objet de la présente invention dans lequel le bouclage du filtre réverbérant proprement dit 30 est réalisé, par exemple, ainsi que représenté en figure 3c, la subdivision entre voie de retard, Vi, de rang pair, respectivement impair, c'est-à-dire au niveau de la sortie de chaque retard absorbant de rang pair ou impair correspondant permettant de reconstituer les voies droite, respectivement gauche, du signal stéréophonique de sortie. Sur la figure 5c, le signal stéréophonique d'entrée n'a pas été représenté, afin de ne pas surcharger le dessin, mais correspond sensiblement à celui de la figure 3c.In FIG. 5c, the system object of the present invention is shown in which the looping of the reverberant filter proper is carried out, for example, as shown in FIG. 3c, the subdivision between channel delay, Vi, of even rank, respectively odd, that is to say at the output of each absorbing delay of even or odd rank corresponding to reconstitute the right channels, respectively left, of the stereo output signal. In FIG. 5c, the stereophonic input signal has not been shown, so as not to overload the drawing, but corresponds substantially to that of FIG. 3c.
En ce qui concerne la réalisation pratique d'un système spatialisateur conforme à l'objet de la présente invention tel que représenté par exemple en application stéréophonique en figures 5a, 5b ou 5c, on notera que la définition du filtre réverbérant proprement dit stéréophonique peut être réalisée en deux étapes indépendantes :
- retards absorbants et filtre correcteur :
- . filtre absorbant de type IIR du premier ordre, ce qui fournit deux paramètres indépendants pour le réglage du temps de réverbération.
- . Dans ce cas, on montre que l'équilibre spectral du signal réverbéré peut être maintenu au moyen du filtre correcteur t(z) de type FIR du premier ordre vérifiant la relation (2) précédemment mentionnée dans la description. Un filtrage passe-bas réalisé
par le filtre 11 permet d'améliorer le réalisme de la réverbération, ce filtre étant réalisé par un filtre du second ordre. Ce filtre 11 permet de réaliser le contrôle de l'enveloppe spectrale de la réverbération.
- structure du filtre de référence : les bouclages choisis sont des bouclages unitaires tels que représentés par exemple en figures 3b à 3e.
- absorbent delays and correction filter:
- . first-order type IIR absorbent filter, which provides two independent parameters for adjusting the reverberation time.
- . In this case, it is shown that the spectral balance of the reverberated signal can be maintained by means of the correction filter t (z) of FIR type of the first order verifying the relation (2) previously mentioned in the description. A low-pass filtering carried out by the
filter 11 makes it possible to improve the realism of the reverberation, this filter being produced by a second order filter. Thisfilter 11 makes it possible to control the spectral envelope of the reverberation.
- structure of the reference filter: the loopbacks chosen are unitary loopbacks as shown for example in FIGS. 3b to 3e.
Le filtre réverbérant correspondant est commandé par 4 paramètres totalement indépendants : taille de la salle d'audition définie par une dimension caractéristique de celle-ci, temps de réverbération Tr(ω) aux basses fréquences, rapport Tr aux hautes fréquences/Tr aux basses fréquences, et fréquence de coupure du signal réverbéré.The corresponding reverberation filter is controlled by 4 completely independent parameters: size of the hearing room defined by a characteristic dimension thereof, reverberation time Tr (ω) at low frequencies, ratio Tr at high frequencies / Tr at low frequencies , and cutoff frequency of the reverberated signal.
Dans un mode de réalisation pratique, le filtre réverbérant proprement dit était réalisé à l'aide de moyens de calculs numériques comportant un calculateur DSP 56000 recevant le signal source stéréophonique en entrée et d'un élément calculateur de même type réalisant les modules de contrôle des premiers échos de la figure 5c, par exemple. Ce deuxième élément calculateur permet de lire les signaux de plusieurs sources mono et transmet au filtre réverbérant les canaux du BUS écho. On notera que même si le nombre de sources monophoniques est supérieur, quatre modules échos suffisent pour une spatialisation réaliste. On notera que les sources monophoniques sont alors réparties en quatre groupes dont chacun est attribué à un module écho.In a practical embodiment, the reverberant filter proper was produced using digital calculation means comprising a DSP 56000 calculator receiving the stereophonic source signal at input and a calculator element of the same type producing the control modules. first echoes of Figure 5c, for example. This second calculating element makes it possible to read the signals from several mono sources and transmits the channels of the echo bus to the reverberant filter. Note that even if the number of monophonic sources is greater, four echo modules are sufficient for realistic spatialization. Note that the monophonic sources are then divided into four groups, each of which is assigned to an echo module.
En ce qui concerne la définition et la réalisation du filtre correcteur de fonction de transfert t(z) et du filtre absorbant de fonction de transfert hi(z), ceux-ci, conformément à l'objet de la présente invention, peuvent être réalisés ainsi que représenté en figure 5d.With regard to the definition and implementation of the transfer function correction filter t (z) and of the transfer function absorbing filter hi (z), these, in accordance with the object of the present invention, can be carried out as shown in Figure 5d.
Ainsi, sur la figure précitée, les différents paramètres mentionnés vérifient les relations :
La relation 13 constitue en fait une approximation de la relation 16.The relation 13 in fact constitutes an approximation of the
En figures 6a et 6b, on a représenté respectivement les échogrammes de filtres réverbérants mono simulant une salle de taille moyenne, c'est-à-dire pour N = 8 voies de retard, respectivement en : 1) lors de l'utilisation d'une structure somme de peignes de l'art antérieur, et 2) lors de l'utilisation d'un filtre réverbérant tel que représenté en figure 3e, et respectivement en figure 6b, au point 1), des échogrammes de filtre réverbérant mono simulant une salle de grande taille N = 12 voies de retard, relativement à une structure somme de peignes de l'art antérieur, et au point 2), relativement à la structure de filtre réverbérant de la figure 3b.In FIGS. 6a and 6b, the echograms of mono reverberant filters simulating a medium-sized room, i.e. for N = 8 delay paths, respectively in: 1) when using a sum of combs structure from the prior art, and 2) when use of a reverberant filter as shown in FIG. 3e, and respectively in FIG. 6b, in point 1), echograms of mono reverberant filter simulating a large room N = 12 delay channels, relative to a sum comb structure of the prior art, and in point 2), relative to the reverberant filter structure of FIG. 3b.
On peut en particulier constater que la famille de filtres réverbérants constitutifs des systèmes de spatialisation d'un signal audio-numérique objet de la présente invention améliore considérablement la qualité de la réverbération par rapport à la structure connue, dite en somme de peignes. Elle permet en particulier d'obtenir rapidement une grande densité d'échos dans la reponse temporelle pour un nombre N de retards réduits. En pratique, pour simuler la réverbération d'une salle typique au temps de réverbération de l'ordre de une seconde, 8 retards suffisent, c'est-à-dire 8 voies de retard, là où 40 filtres en peigne seraient nécessaires. La simulation d'une salle de grande taille nécessite que la densité modale, donc la somme des durées des retards absorbants τi, soit de l'ordre d'une seconde. Il est alors judicieux de porter le nombre de retards à 12 au moins, afin d'augmenter la densité d'écho au début de la réponse temporelle.It can in particular be noted that the family of reverberant filters constituting the spatialization systems of an audio-digital signal object of the present invention considerably improves the quality of the reverberation compared to the known structure, known as in sum of combs. It makes it possible in particular to quickly obtain a high density of echoes in the temporal response for a number N of reduced delays. In practice, to simulate the reverberation of a typical room at the reverberation time of the order of one second, 8 delays are sufficient, that is to say 8 delay channels, where 40 comb filters would be necessary. The simulation of a large room requires that the modal density, therefore the sum of the durations of the absorbing delays τi, be of the order of one second. It is therefore advisable to bring the number of delays to at least 12, in order to increase the echo density at the start of the time response.
On notera enfin que la simulation en temps réel de la réverbération dans tous les cas peut être réalisée au moyen de la capacité de calcul d'un micro-calculateur DSP 56000 et qu'en particulier ce type de calculateur permet, dans le cas de la spatialisation simultanée de plusieurs sources monophoniques, de traiter 4 sources monophoniques si le nombre de canaux du BUS écho est de 12. Ce mode de réalisation permet par exemple de contrôler séparément pour chaque source l'amplitude, l'instant d'arrivée et la direction de provenance du son direct et des 5 premières réflexions. Bien entendu, il est possible de prolonger le BUS écho de façon à traiter d'autres sources au moyen d'un autre calculateur de même type supplémentaire. Ainsi, pour un BUS écho à 16 canaux, l'utilisation de 3 calculateurs de type DSP 56000 permet de spatialiser 6 sources monophoniques en contrôlant pour chacune les 8 premiers échos.Finally, it should be noted that the real-time simulation of the reverberation in all cases can be carried out by means of the computing capacity of a DSP 56000 micro-computer and that in particular this type of computer allows, in the case of the simultaneous spatialization of several monophonic sources, to process 4 monophonic sources if the number of channels of the echo BUS is 12. This embodiment makes it possible, for example, to separately control for each source the amplitude, the instant of arrival and the direction of provenance of the direct sound and the first 5 reflections. Of course, it is possible to extend the echo BUS so as to process other sources by means of another computer of the same additional type. Thus, for a 16-channel echo BUS, the use of 3 DSP 56000 type computers makes it possible to spatialize 6 monophonic sources by controlling for each the first 8 echoes.
Une utilisation particulièrement avantageuse d'un système objet de la présente invention sera maintenant décrite en liaison avec les figures 7a, 7b et 7c.A particularly advantageous use of a system which is the subject of the present invention will now be described in conjunction with FIGS. 7a, 7b and 7c.
Dans les matrices de bouclage définies par la relation (8), les valeurs absolues des coefficients aji ne peuvent prendre que deux valeurs absolues. En effet, N d'entre eux ont pour valeur absolue 1-(2/N), et tous les autres ont pour valeur absolue 2/N. Par conséquent, lorsque le nombre N de retards devient grand, un petit nombre de trajets de bouclage est prépondérant par rapport aux autres. Ceci a pour effet de retarder le moment où, dans la réponse impulsionnelle, tous les échos ont des amplitudes voisines. Il en résulte que la densité temporelle est perçue comme insuffisante dans le début de la réponse impulsionnelle, bien que la densité d'échos théorique soit élevée.In the loopback matrices defined by equation (8), the absolute values of the coefficients aji can take only two absolute values. Indeed, N of them have the absolute value 1- (2 / N), and all the others have the
L'inconvénient précité peut être supprimé tout en tirant parti des avantages que présentent, sur le plan du coût de calcul, les matrices unitaires définies précédemment par la relation (8), tout en maximisant la densité temporelle effectivement perçue dès le début de la réponse impulsionnelle. Dans ce but, ainsi qu'illustré par les figures 7a, 7b, lorsque le nombre de retards est relativement grand (au moins égal à 12), il est avantageux, selon l'invention,
- d'utiliser en parallèle P filtres réverbérants comprenant N retards chacun, dont les matrices de bouclages unitaires et de dimension NxN sont notées Aj, cet agencement comprenant ainsi N.P retards, notés τji, où j=1..P et i=1..N,
- d'entrelacer les P bouclages ainsi constitués, au moyen de N matrices unitaires de dimension PxP, notées Bi, ainsi que représenté sur les figures 7a et 7b, pour constituer un filtre réverbérant unique.
- to use in parallel P reverberant filters comprising N delays each, whose matrices of unitary loopbacks and of dimension NxN are denoted Aj, this arrangement thus comprising NP delays, denoted τji, where j = 1..P and i = 1 .. NOT,
- to interleave the P loopings thus formed, by means of N unit matrices of dimension PxP, denoted Bi, as shown in FIGS. 7a and 7b, to constitute a single reverberant filter.
On remarquera que le bouclage ainsi réalisé est identique pour ces deux figures, car la seule différence réside dans l'emplacement des matrices d'entrelacement Bi par rapport à la contribution du signal d'entrée x(k), au sein du bouclage de chacun des P filtres réverbérants de départ.It will be noted that the looping thus produced is identical for these two figures, because the only difference lies in the location of the interleaving matrices Bi with respect to the contribution of the input signal x (k), within the looping of each. P starting reverberant filters.
En l'absence d'entrelacement, ou bien lorsque toutes les matrices Bi sont égales à la matrice neutre IP, la matrice de bouclage, notée APN, de l'ensemble s'écrit :
APN est une matrice unitaire, car produit d'une matrice bloc-diagonale formée par les matrices unitaires Aj, et d'une matrice de permutation notée JPN. Cette permutation correspond à l'échange des indices i et j dans la numérotation des retards τji, elle est telle que si toutes les matrices Aj sont égales à la même matrice A, alors la matrice APN peut s'écrire :
En présence des matrices d'entrelacement Bi, la matrice de bouclage du système d'ensemble reste unitaire et devient :
Dans le cas particulier où toutes les matrices Aj sont identiques, ABPN peut s'écrire :
Le matrice de bouclage ABPN apparaît alors comme une matrice obtenue par assemblage unitaire de blocs unitaires, cette matrice de bouclage ABPN étant désignée par "matrice unitaire par blocs".The looping matrix AB PN then appears as a matrix obtained by unitary assembly of unitary blocks, this looping matrix AB PN being designated by "unitary matrix by blocks".
Selon un mode de réalisation avantageux, celui-ci consiste à choisir les matrices Aj et Bi au sein de la famille définie par la relation (8) précédente. Dans ce cas, chacun des P bouclages définis par les matrices Aj peut être réalisé en 2.N opérations, et chacun des N entrelacements définis par les matrices Bi peut être réalisé en 2.P opérations, soit un total de 4.N.P opérations pour réaliser un filtre réverbérant comprenant N.P retards. Ce coût est le double de celui d'une réalisation utilisant simplement une matrice de dimension (N.P)x(N.P) choisie dans la famille définie par la relation (8) précitée, mais le choix d'une matrice "unitaire par blocs" conduit à des coefficients de bouclage d'ordres de grandeur voisins, ce qui améliore très sensiblement la densité temporelle perçue dans le début de la réponse impulsionnelle du filtre réverbérant unique ainsi réalisé.According to an advantageous embodiment, this consists in choosing the matrices Aj and Bi within the family defined by the preceding relation (8). In this case, each of the P loopings defined by the matrices Aj can be carried out in 2.N operations, and each of the N interleaving defined by the matrices Bi can be carried out in 2.P operations, for a total of 4.NP operations for make a reverberant filter including NP delays. This cost is double that of an implementation simply using a matrix of dimension (NP) x (NP) chosen from the family defined by the above-mentioned relation (8), but the choice of a "unitary by blocks" matrix leads to looping coefficients of neighboring orders of magnitude, which very significantly improves the temporal density perceived in the start of the impulse response of the single reverberant filter thus produced.
Un mode de réalisation particulièrement intéressant, dont un exemple est décrit ci-après, est la réalisation d'un filtre réverbérant comprenant 16 retards, dans le cas où N = P = 4. Dans ce cas, la relation (8) conduit à des matrices Aj et Bi qui, à une permutation de lignes ou de colonnes près, sont toutes égales à la matrice :
Ceci conduit, pour le système d'ensemble, à une matrice unitaire par blocs de dimensions 16x16 qui est particulièrement avantageuse car tous ses coefficients ont la même valeur absolue.This leads, for the overall system, to a unitary matrix by blocks of
Ainsi que décrit en fig. 7c, un filtre réverbérant constitué de N.P retards est obtenu, ainsi que décrit précédemment, par association en parallèle et entrelacement des bouclages de P filtres réverbérants constitués chacun de N retards. Dans cet exemple, les P filtres réverbérants de départ sont identiques à celui de la fig. 3b et l'entrelacement des P bouclages est lui-même réalisé comme le bouclage de la fig. 3b.As described in fig. 7c, a reverberant filter consisting of N.P delays is obtained, as described previously, by parallel association and interleaving of the loopings of P reverberant filters each consisting of N delays. In this example, the starting P reverberant filters are identical to that of FIG. 3b and the interlacing of the P loopings is itself carried out as the looping of FIG. 3b.
La fig. 7c montre que le filtre réverbérant ainsi réalisé peut également être vu comme la mise en parallèle de N filtres réverbérants à P entrées et P sorties, l'ensemble étant "rebouclé" sur lui-même ainsi que représenté sur la fig. 3b. On peut vérifier sur la figure précitée que le nombre total d'additions-multiplications nécessaire pour le bouclage et le calcul du signal de sortie y(k) est égal approximativement à 4.N.P.Fig. 7c shows that the reverberant filter thus produced can also be seen as the paralleling of N reverberant filters with P inputs and P outputs, the assembly being "looped back" on itself as shown in FIG. 3b. We can check on the above figure that the total number of additions-multiplications necessary for the loopback and the calculation of the output signal y (k) is approximately equal to 4.N.P.
Dans le cas particulier où N = P = 4, les matrices de bouclage Aj et les matrices d'entrelacement Bi sont toutes égales à la matrice :
On a ainsi décrit un procédé et un système de spatialisation artificielle en temps réel d'un signal audio-numérique particulièrement performant dans la mesure où le procédé et le système objets de l'invention permettent à un utilisateur de contrôler séparément le temps de réverbération variant avec la fréquence, l'enveloppe spectrale de la réponse de la salle effectivement simulée, ainsi que la densité modale traduisant la taille de la salle simulée et pour chaque source sonore l'instant d'arrivée, l'amplitude et la direction de provenance de chaque écho précoce, ainsi que la clarté. Le caractère particulièrement performant du procédé et du système objets de la présente invention résulte en particulier de l'indépendance entre le contrôle des paramètres précités, cette indépendance étant indispensable du point de vue perceptif, mais également afin de permettre la simulation de la spatialisation dans une salle réelle à partir de mesures effectuées dans celle-ci.We have thus described a method and a system for artificial spatialization in real time of an audio-digital signal which is particularly efficient insofar as the method and the system which are the subject of the invention allow a user to separately control the varying reverberation time. with the frequency, the spectral envelope of the response of the room actually simulated, as well as the modal density translating the size of the simulated room and for each sound source the instant of arrival, the amplitude and the direction from each early echo, as well as clarity. The particularly efficient character of the method and of the system which are the subject of the present invention results in particular from the independence between the control of the aforementioned parameters, this independence being essential from the perceptual point of view, but also in order to allow the simulation of spatialization in a real room from measurements made in it.
Claims (14)
- Method of real-time artificial spatialisation of an audio-digital signal x(k) in order to create a spatialised audio-digital signal y(k), consisting in effecting on this signal, from elementary replica signals xi(k) of the audio-digital signal, a plurality of different delays in order to create a plurality of delayed elementary signals (seri) and a linear combination between the delayed elementary signals in order to obtain a plurality of combined delayed elementary signals (serci), one at least of each of the said combined delayed elementary signals being added to at least one elementary signal xi(k) prior to delaying the latter and one at least of each of the delayed elementary signals (seri) being subjected to a weighted summation with the said audio-digital signal x(k) in order to create the said spatialised audio-digital signal y(k), said method consisting, so as to simulate a late reverberation phenomenon:- in effecting the said linear combination through a unit loopback, for which the plurality of combined delayed elementary signals (serci) possesses the same energy as the said delayed elementary signals (seri),- in effecting, with each different delay, an attenuation Hi(ω) of the delayed elementary signal (seri), dependent on the audio frequency (ω), this attenuation being a decaying monotonic function of the reverberation time Tr(ω) and proportional to each delay,- in effecting, before weighted summation of the said delayed elementary signals with the said audio-digital signal x(k), a spectral correction t(z), characterized by said spectral correction satisfying the relation:
- Method according to Claim 1, in which the said unit loopback satisfies the relation:AN is the loopback transfer matrix of dimension NxN with transfer coefficients aij,JN is a transfer matrix obtained by permuting the rows or columns of the neutral transfer matrix IN of dimension NxN,UNT is the transposed column vector of the row vector UN of dimension N, UN = [1,1...,1].
- Method according to Claim 2, in which the said unit loopback, for a plurality of N delayed elementary signals, consists in reinjecting, according to a bijective correspondence, at the input of each delay of a delayed elementary signal of rank i a delayed elementary signal of rank j, diminished by the sum, weighted by the ratio 2/N, of the delayed elementary signals.
- Method according to Claim 1, in which, with a view to controlling the instants of arrival and amplitudes of the early echoes without engendering any phenomenon of colouration of the reverberated or spatialised signal, the latter consists, furthermore :- in effecting a temporal shift t1,...,ti,...,tN of the instants of arrival at the level of the said loopback of the said elementary signals,- in choosing a deviation in shift, between the largest and smallest of the instants of arrival, less than the smallest value of the said absorbent delays τi, so as to constitute the said shifted elementary signals as a plurality of order 1 echoes ahead of the simulated late reverberation.
- Method according to Claim 4, in which, with a view to effecting a simultaneous spatialisation of several monophonic sources in a stereophonic transmission, which is subjected to the method of spatialisation and to a simulated reverberation procedure, said method consists:- in subjecting each monophonic signal to a procedure of temporal shifting of the instants of arrival of this signal, in order to create a plurality of N shifted elementary monophonic signals, so as to constitute the said shifted elementary monophonic signals as a plurality of corresponding order 1 echoes,- in injecting, into the loopback applied to the stereophonic signals subjected to the simulated reverberation procedure, by summation before loopback with the said delayed elementary signals, the said shifted elementary monophonic signals.
- System for real-time artificial spatialisation of an audio-digital signal x(k) making it possible to create a spatialised audio-digital signal y(k) including means for delaying a plurality of replica elementary signals xi(k) of the audio-digital signal x(k), delivering a plurality of delayed elementary signals, of different delay, and means for adding, by linear combination, these delayed elementary signals delivering a plurality of combined delayed elementary signals, means for summing a combined delayed elementary signal with one of the elementary signals xi(k), prior to delaying the latter, means for weighted summation of the said delayed elementary signals and of the audio-digital signal x(k) in order to create the said spatialised audio-digital signal y(k), a system in which the adding means constitute a unit loopback, for which the plurality of combined delayed elementary signals possesses the same energy as the delayed elementary signals, the said system including, furthermore, on the one hand, means for attenuating Hi(ω) each delayed elementary signal, as a function of the audio angular frequency (ω), the opposite value of said attenuation expressed in dB being a decaying monotonic function of the reverberation time Tr(ω), and proportional to each delay, and, on the other hand, means for spectral correction t(z) of the sum of the delayed elementary signals, prior to their weighted summation with the audio-digital signal x(k), characterized by said spectral correction satisfying the relation:τi, defined as the absorbent delay, designates the value of each delay,Στi designates the sum of all the absorbent delays,the said system constituting a reverberant filter.
- System according to Claim 6, in which the said reinjection means are formed by:- a plurality of N delay pathways connected in parallel by modules for summing, each delay pathway of rank i including at least in succession, one multiplier module (bi), a loopback summing module, a delayer module with delay coefficient (mi), an attenuator module with transfer function hi(ω), a multiplier module (ci),- a transfer pathway for the audio-digital signal including in cascade, a multiplier module (d) and a summing module, the output from the summing module for linking the said delay pathways in parallel being connected to the summing module of the transfer pathway by the spectral correction module t(z),- a loopback transfer matrix of dimensions NxN, with transfer coefficients aij, a column of the transfer matrix being connected at the output of an attenuator module of specified rank and a row of the transfer matrix being connected to a summing module of corresponding rank of a delay pathway and delivering to the latter module a combined delayed elementary signal, being a linear combination of the delayed elementary signals,JN is a matrix obtained by permuting the rows or columns of the neutral transfer matrix IN of dimension NxN,UNT is the transposed column vector of the row vector of dimension N, UN = [1,1...,1].
- System according to Claim 7, in which the said means for adding by linear combination, for a plurality of N delayed elementary signals, are formed by:- means for reinjection according to a bijective correspondence, at the input of rank i of the said delayer means, of a delayed elementary signal of rank j diminished by the sum weighted by the ratio 2/N of the delayed elementary signals.
- System according to the preceding Claim 8, characterised in that for each of the delay pathways of rank i, the delayer module with delay coefficient mi and the attenuator module hi(z) form an absorbent delay module (τi), the said absorbent delay module (τi) being placed downstream of the summing module of the said delay pathway or upstream of the latter module on the input pathway of each combined delayed elementary signal.
- System according to Claim 9, in which each absorbent delay module τi being placed upstream of the summing module of the corresponding delay pathway, the said elementary signals xi(k) are delivered after weighting by the multiplier modules (bi) by way of a module for delaying the temporally shifted instants (ti) of arrival, which enables the said shifted elementary signals to be constituted as a plurality of order 1 echoes ahead of the simulated late reverberation, the said multiplier coefficients (bi) and the said delay module constituting a module for processing the first echoes, which is interconnected with the reverberant filter.
- System according to Claim 6, in which, with a view to producing a reverberant filter for a stereophonic audio-digital signal transmitted over a left pathway and over a right pathway, the system comprises:- a plurality of N delay pathways distributed, on the one nand, as N/2 delay pathways relating to the left pathway and making it possible successively to create N/2 left elementary signals xi(k)g, and then N/2 left delayed elementary signals, serig, and on the other hand, as N/2 delay pathways relating to the right pathway and making it possible successively to create N/2 right elementary signals xi(k)d, and N/2 right delayed elementary signals serid,- means for summing the N/2 right, serd, respectively left, serg, delayed elementary signals, followed by a right, respectively left spectral correction module and by a left and right low-pass filtering module,- a loopback transfer matrix of dimension NxN, N/2 columns of the loopback transfer matrix being connected to the N/2 delay pathways transmitting the N/2 right delayed elementary signals and the other N/2 columns of the loopback transfer matrix being connected to the other N/2 delay pathways transmitting the N/2 left delayed elementary signals, N/2 rows of the loopback transfer matrix each being connected to the summing module of a delay pathway transmitting the N/2 right elementary signals xi(k)d and the other N/2 rows of the loopback transfer matrix each being connected to the summing module of a delay pathway transmitting the N/2 left elementary signals xi(k)g.
- System for real-time artificial spatialisation of an audio-digital signal according to Claim 6, this system being used to simulate a reverberation phenomenon of a monophonic or stereophonic audio-digital signal.
- System for real-time artificial spatialisation of a stereophonic audio-digital signal with a view to ensuring control of the clarity and direction of origins of the first echoes from monophonic sources according to Claim 12, in which are associated:- a reverberant filter for the said stereophonic audio-digital signal,- a plurality of modules for processing the first echoes, one or more monophonic sources being associated with each module for processing the first echoes, each module for processing the first echoes delivering shifted elementary signals at the input of the summing module of each delay pathway, right or left, by way of a corresponding BUS type link.
- System for real-time artificial spatialisation according to Claim 12, consisting for a relatively large number of delays:- in using P reverberant filters in parallel to produce P loopbacks, each loopback comprising N delays, and a unit loopback matrix Aj, j ∈ [1,P] of dimension NxN, the said P reverberant filters thus comprising NxP absorbent delays τji, i ∈ [1,N],- in interlacing the P loopbacks thus produced by means of N unit matrices Bi, of dimension PxP, to form a single reverberant filter, thus enabling the perceived temporal density of echoes to be increased at the start of the impulse response of the said single reverberant filter.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9202528A FR2688371B1 (en) | 1992-03-03 | 1992-03-03 | METHOD AND SYSTEM FOR ARTIFICIAL SPATIALIZATION OF AUDIO-DIGITAL SIGNALS. |
FR9202528 | 1992-03-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP0559530A1 EP0559530A1 (en) | 1993-09-08 |
EP0559530B1 true EP0559530B1 (en) | 1997-08-06 |
Family
ID=9427296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP93400503A Expired - Lifetime EP0559530B1 (en) | 1992-03-03 | 1993-02-26 | Method and system for artificial spatial processing of digital audio signals |
Country Status (5)
Country | Link |
---|---|
US (1) | US5491754A (en) |
EP (1) | EP0559530B1 (en) |
JP (1) | JP3496953B2 (en) |
DE (1) | DE69312765T2 (en) |
FR (1) | FR2688371B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661746B (en) * | 2008-08-29 | 2013-08-21 | 三星电子株式会社 | Digital audio sound reverberator and digital audio reverberation method |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2688371B1 (en) | 1992-03-03 | 1997-05-23 | France Telecom | METHOD AND SYSTEM FOR ARTIFICIAL SPATIALIZATION OF AUDIO-DIGITAL SIGNALS. |
FR2738099B1 (en) * | 1995-08-25 | 1997-10-24 | France Telecom | METHOD FOR SIMULATING THE ACOUSTIC QUALITY OF A ROOM AND ASSOCIATED AUDIO-DIGITAL PROCESSOR |
US5774560A (en) * | 1996-05-30 | 1998-06-30 | Industrial Technology Research Institute | Digital acoustic reverberation filter network |
DE19733300C2 (en) * | 1997-08-01 | 2001-04-19 | Joachim Hecht | Method for electronically simulating the transmission properties of a sound-effect device comprising a band echo hall device by means of a program-controlled digital or analog signal processor |
DE19739425A1 (en) | 1997-09-09 | 1999-03-11 | Bosch Gmbh Robert | Method and arrangement for reproducing a sterophonic audio signal |
DK1025743T3 (en) * | 1997-09-16 | 2013-08-05 | Dolby Lab Licensing Corp | APPLICATION OF FILTER EFFECTS IN Stereo Headphones To Improve Spatial Perception of a Source Around a Listener |
US6091824A (en) * | 1997-09-26 | 2000-07-18 | Crystal Semiconductor Corporation | Reduced-memory early reflection and reverberation simulator and method |
JP3397116B2 (en) * | 1998-01-27 | 2003-04-14 | ヤマハ株式会社 | Sound effect imparting device |
WO1999049574A1 (en) | 1998-03-25 | 1999-09-30 | Lake Technology Limited | Audio signal processing method and apparatus |
JP3374765B2 (en) * | 1998-09-22 | 2003-02-10 | ヤマハ株式会社 | Digital echo circuit |
SE521024C2 (en) * | 1999-03-08 | 2003-09-23 | Ericsson Telefon Ab L M | Method and apparatus for separating a mixture of source signals |
US6665409B1 (en) * | 1999-04-12 | 2003-12-16 | Cirrus Logic, Inc. | Methods for surround sound simulation and circuits and systems using the same |
US7577260B1 (en) | 1999-09-29 | 2009-08-18 | Cambridge Mechatronics Limited | Method and apparatus to direct sound |
US6978027B1 (en) * | 2000-04-11 | 2005-12-20 | Creative Technology Ltd. | Reverberation processor for interactive audio applications |
JP2004507141A (en) * | 2000-08-14 | 2004-03-04 | クリアー オーディオ リミテッド | Voice enhancement system |
US7062337B1 (en) * | 2000-08-22 | 2006-06-13 | Blesser Barry A | Artificial ambiance processing system |
US7149314B2 (en) * | 2000-12-04 | 2006-12-12 | Creative Technology Ltd | Reverberation processor based on absorbent all-pass filters |
GB2376595B (en) * | 2001-03-27 | 2003-12-24 | 1 Ltd | Method and apparatus to create a sound field |
JP3671876B2 (en) * | 2001-06-29 | 2005-07-13 | ヤマハ株式会社 | Music generator |
FI20012313A (en) * | 2001-11-26 | 2003-05-27 | Genelec Oy | A method for designing a modal equalizer modifying low frequency audio |
US7240001B2 (en) | 2001-12-14 | 2007-07-03 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
KR101016982B1 (en) * | 2002-04-22 | 2011-02-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Decoding apparatus |
GB0301093D0 (en) * | 2003-01-17 | 2003-02-19 | 1 Ltd | Set-up method for array-type sound systems |
GB0304126D0 (en) * | 2003-02-24 | 2003-03-26 | 1 Ltd | Sound beam loudspeaker system |
GB0321676D0 (en) * | 2003-09-16 | 2003-10-15 | 1 Ltd | Digital loudspeaker |
US8422693B1 (en) | 2003-09-29 | 2013-04-16 | Hrl Laboratories, Llc | Geo-coded spatialized audio in vehicles |
TWI246866B (en) * | 2004-01-09 | 2006-01-01 | Mediatek Inc | Method and device for digital audio signal processing |
US7460990B2 (en) * | 2004-01-23 | 2008-12-02 | Microsoft Corporation | Efficient coding of digital media spectral data using wide-sense perceptual similarity |
JP2005215250A (en) * | 2004-01-29 | 2005-08-11 | Pioneer Electronic Corp | Sound field control system and method |
JP4234174B2 (en) * | 2004-06-30 | 2009-03-04 | パイオニア株式会社 | Reverberation adjustment device, reverberation adjustment method, reverberation adjustment program, recording medium recording the same, and sound field correction system |
GB0415625D0 (en) * | 2004-07-13 | 2004-08-18 | 1 Ltd | Miniature surround-sound loudspeaker |
GB0415626D0 (en) * | 2004-07-13 | 2004-08-18 | 1 Ltd | Directional microphone |
US20070269071A1 (en) * | 2004-08-10 | 2007-11-22 | 1...Limited | Non-Planar Transducer Arrays |
DE102004051057A1 (en) * | 2004-10-19 | 2006-04-27 | Micronas Gmbh | Response circuit for sound signal used in television with surround system, has reverberator that has input ports for receiving reverberator input signals which are used as basis for producing reverberation signals |
DE102005010057A1 (en) * | 2005-03-04 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a coded stereo signal of an audio piece or audio data stream |
GB0514361D0 (en) * | 2005-07-12 | 2005-08-17 | 1 Ltd | Compact surround sound effects system |
US8340304B2 (en) * | 2005-10-01 | 2012-12-25 | Samsung Electronics Co., Ltd. | Method and apparatus to generate spatial sound |
JP4916754B2 (en) * | 2006-04-04 | 2012-04-18 | 三菱電機株式会社 | Reverberation adding device and reverberation adding program |
US8180067B2 (en) * | 2006-04-28 | 2012-05-15 | Harman International Industries, Incorporated | System for selectively extracting components of an audio input signal |
US8488796B2 (en) * | 2006-08-08 | 2013-07-16 | Creative Technology Ltd | 3D audio renderer |
US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
US8670570B2 (en) * | 2006-11-07 | 2014-03-11 | Stmicroelectronics Asia Pacific Pte., Ltd. | Environmental effects generator for digital audio signals |
US8705757B1 (en) * | 2007-02-23 | 2014-04-22 | Sony Computer Entertainment America, Inc. | Computationally efficient multi-resonator reverberation |
US20080273708A1 (en) * | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
US8046214B2 (en) * | 2007-06-22 | 2011-10-25 | Microsoft Corporation | Low complexity decoder for complex transform coding of multi-channel sound |
US7885819B2 (en) | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
US8204240B2 (en) * | 2007-06-30 | 2012-06-19 | Neunaber Brian C | Apparatus and method for artificial reverberation |
KR100899836B1 (en) | 2007-08-24 | 2009-05-27 | 광주과학기술원 | Method and Apparatus for modeling room impulse response |
US8249883B2 (en) * | 2007-10-26 | 2012-08-21 | Microsoft Corporation | Channel extension coding for multi-channel source |
US8891756B2 (en) | 2008-10-30 | 2014-11-18 | Certicom Corp. | Collision-resistant elliptic curve hash functions |
KR101546849B1 (en) * | 2009-01-05 | 2015-08-24 | 삼성전자주식회사 | Method and apparatus for sound externalization in frequency domain |
KR101387195B1 (en) * | 2009-10-05 | 2014-04-21 | 하만인터내셔날인더스트리스인코포레이티드 | System for spatial extraction of audio signals |
RU2558004C2 (en) | 2009-10-21 | 2015-07-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Reverberator and method of reverberating audio signal |
JP5307770B2 (en) | 2010-07-09 | 2013-10-02 | シャープ株式会社 | Audio signal processing apparatus, method, program, and recording medium |
US11087733B1 (en) | 2013-12-02 | 2021-08-10 | Jonathan Stuart Abel | Method and system for designing a modal filter for a desired reverberation |
US9805704B1 (en) | 2013-12-02 | 2017-10-31 | Jonathan S. Abel | Method and system for artificial reverberation using modal decomposition |
US10019980B1 (en) * | 2015-07-02 | 2018-07-10 | Jonathan Abel | Distortion and pitch processing using a modal reverberator architecture |
US11488574B2 (en) | 2013-12-02 | 2022-11-01 | Jonathan Stuart Abel | Method and system for implementing a modal processor |
JP6511775B2 (en) * | 2014-11-04 | 2019-05-15 | ヤマハ株式会社 | Reverberation sound addition device |
EP3018918A1 (en) * | 2014-11-07 | 2016-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal |
JP6880016B2 (en) * | 2015-10-28 | 2021-06-02 | ジャン−マルク ジョット | Audio signal spectrum correction method |
CN115175064A (en) | 2017-10-17 | 2022-10-11 | 奇跃公司 | Mixed reality spatial audio |
US10559295B1 (en) | 2017-12-08 | 2020-02-11 | Jonathan S. Abel | Artificial reverberator room size control |
US11477510B2 (en) | 2018-02-15 | 2022-10-18 | Magic Leap, Inc. | Mixed reality virtual reverberation |
WO2019232278A1 (en) | 2018-05-30 | 2019-12-05 | Magic Leap, Inc. | Index scheming for filter parameters |
KR20210059758A (en) * | 2018-09-18 | 2021-05-25 | 후아웨이 테크놀러지 컴퍼니 리미티드 | Apparatus and method for applying virtual 3D audio to a real room |
WO2021081435A1 (en) | 2019-10-25 | 2021-04-29 | Magic Leap, Inc. | Reverberation fingerprint estimation |
CN112201267A (en) * | 2020-09-07 | 2021-01-08 | 北京达佳互联信息技术有限公司 | Audio processing method and device, electronic equipment and storage medium |
CN113316077A (en) * | 2021-06-27 | 2021-08-27 | 高小翎 | Three-dimensional vivid generation system for voice sound source space sound effect |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4218585A (en) * | 1979-04-05 | 1980-08-19 | Carver R W | Dimensional sound producing apparatus and method |
US4803731A (en) * | 1983-08-31 | 1989-02-07 | Yamaha Corporation | Reverbation imparting device |
HU190912B (en) * | 1983-09-07 | 1986-12-28 | Polyak,Gabor,Hu | Method and apparatus for making stereoscopic sound effects |
US4731835A (en) * | 1984-11-19 | 1988-03-15 | Nippon Gakki Seizo Kabushiki Kaisha | Reverberation tone generating apparatus |
FR2688371B1 (en) | 1992-03-03 | 1997-05-23 | France Telecom | METHOD AND SYSTEM FOR ARTIFICIAL SPATIALIZATION OF AUDIO-DIGITAL SIGNALS. |
-
1992
- 1992-03-03 FR FR9202528A patent/FR2688371B1/en not_active Expired - Lifetime
-
1993
- 1993-02-19 US US08/019,846 patent/US5491754A/en not_active Expired - Lifetime
- 1993-02-26 DE DE69312765T patent/DE69312765T2/en not_active Expired - Lifetime
- 1993-02-26 EP EP93400503A patent/EP0559530B1/en not_active Expired - Lifetime
- 1993-03-03 JP JP04304693A patent/JP3496953B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661746B (en) * | 2008-08-29 | 2013-08-21 | 三星电子株式会社 | Digital audio sound reverberator and digital audio reverberation method |
Also Published As
Publication number | Publication date |
---|---|
DE69312765D1 (en) | 1997-09-11 |
JPH0643890A (en) | 1994-02-18 |
FR2688371A1 (en) | 1993-09-10 |
EP0559530A1 (en) | 1993-09-08 |
JP3496953B2 (en) | 2004-02-16 |
FR2688371B1 (en) | 1997-05-23 |
DE69312765T2 (en) | 1998-02-19 |
US5491754A (en) | 1996-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0559530B1 (en) | Method and system for artificial spatial processing of digital audio signals | |
US7613305B2 (en) | Method for treating an electric sound signal | |
JP5090436B2 (en) | Method and device for efficient binaural sound spatialization within the transform domain | |
FR2738099A1 (en) | METHOD FOR SIMULATING THE ACOUSTIC QUALITY OF A ROOM AND ASSOCIATED AUDIO-DIGITAL PROCESSOR | |
AU2018203746A1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
CN102334348B (en) | Converter and method for converting an audio signal | |
WO2005069272A1 (en) | Method for synthesizing acoustic spatialization | |
CN1815549A (en) | Early reflection reproduction apparatus and method of sound field effect reproduction | |
JP2022101630A (en) | Spectral defect compensation for crosstalk processing of spatial audio signal | |
US8340304B2 (en) | Method and apparatus to generate spatial sound | |
EP3400599B1 (en) | Improved ambisonic encoder for a sound source having a plurality of reflections | |
EP1815715A1 (en) | Apparatus and method to generate virtual 3d sound using asymmetry and recording medium storing program to perform the method | |
GB2345622A (en) | Reflection sound generator | |
TWI245258B (en) | Method and related apparatus for generating audio reverberation effect | |
EP1994526B1 (en) | Joint sound synthesis and spatialization | |
FR3065137A1 (en) | SOUND SPATIALIZATION METHOD | |
EP3058564B1 (en) | Sound spatialisation with reverberation, optimised in terms of complexity | |
JP3172715B2 (en) | Method and system for generating a simulated reverberant audible signal | |
JP4427915B2 (en) | Virtual sound image localization processor | |
Toma et al. | Comparative performance analysis of artificial reverberation algorithms | |
EP2987339B1 (en) | Method for acoustical reproduction of a numerical audio signal | |
JP3671756B2 (en) | Sound field playback device | |
JP4263869B2 (en) | Reverberation imparting device, reverberation imparting method, program, and recording medium | |
WO2005096268A2 (en) | Method for processing audio data, in particular in an ambiophonic context | |
Christensen et al. | Spatial Effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): DE GB |
|
17P | Request for examination filed |
Effective date: 19930807 |
|
17Q | First examination report despatched |
Effective date: 19960201 |
|
GRAG | Despatch of communication of intention to grant |
Free format text: ORIGINAL CODE: EPIDOS AGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE GB |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 19970808 |
|
REF | Corresponds to: |
Ref document number: 69312765 Country of ref document: DE Date of ref document: 19970911 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed | ||
REG | Reference to a national code |
Ref country code: GB Ref legal event code: IF02 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20120123 Year of fee payment: 20 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20120131 Year of fee payment: 20 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R071 Ref document number: 69312765 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: PE20 Expiry date: 20130225 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20130227 Ref country code: GB Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20130225 |