WO2007029412A1 - マルチチャンネル音響信号処理装置 - Google Patents

マルチチャンネル音響信号処理装置 Download PDF

Info

Publication number
WO2007029412A1
WO2007029412A1 PCT/JP2006/313574 JP2006313574W WO2007029412A1 WO 2007029412 A1 WO2007029412 A1 WO 2007029412A1 JP 2006313574 W JP2006313574 W JP 2006313574W WO 2007029412 A1 WO2007029412 A1 WO 2007029412A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
matrix
channel
unit
uncorrelated
Prior art date
Application number
PCT/JP2006/313574
Other languages
English (en)
French (fr)
Inventor
Yoshiaki Takagi
Kok Seng Chong
Takeshi Norimatsu
Shuji Miyasaka
Akihisa Kawamura
Kojiro Ono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US12/064,975 priority Critical patent/US8184817B2/en
Priority to JP2007534273A priority patent/JP5053849B2/ja
Priority to CN2006800318516A priority patent/CN101253555B/zh
Priority to EP06767984.5A priority patent/EP1921605B1/en
Priority to KR1020087004741A priority patent/KR101277041B1/ko
Publication of WO2007029412A1 publication Critical patent/WO2007029412A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • Multi-channel acoustic signal processing device Multi-channel acoustic signal processing device
  • the present invention relates to a multi-channel acoustic signal processing apparatus that downmixes a plurality of audio signals and separates the downmixed signals into a plurality of original audio signals.
  • a multi-channel acoustic signal processing apparatus that downmixes a plurality of audio signals and separates the downmixed signals into a plurality of original audio signals.
  • FIG. 1 is a block diagram showing a configuration of a multi-channel acoustic signal processing device.
  • the multi-channel acoustic signal processing apparatus 1000 performs a spatial acoustic code for a set of audio signals and outputs an acoustic code key signal 1100, and the acoustic code key signal And a multi-channel acoustic decoding unit 1200 for decoding.
  • the multi-channel acoustic encoding unit 1100 processes an audio signal (for example, two-channel audio signals L and R) in units of frames indicated by 1024 samples, 2048 samples, and the like, and performs downmixing.
  • the normal cue calculator 1120 compares the audio signals L and R and the downmix signal M for each spectrum band, thereby returning the downmix signal M to the audio signals L and R. Generate information.
  • Binaural cue information includes inter-channel level / intensity dif- ference IID, inter-channel coherence / correlation ICC, Inter-channel phase / delay difference IPD, and Channel Prediction Coefficients CPC.
  • the inter-channel level difference IID is information for controlling sound balance and localization
  • the inter-channel correlation ICC is information for controlling the width and diffusibility of the sound image.
  • the spectrum-represented audio signals L and R and the downmix signal M are usually divided into a plurality of groups that also have "parameter band” power. Therefore, binaural cue information is calculated for each parameter band.
  • binaural information and “spatial parameter” t are often used interchangeably.
  • the audio encoder unit 1150 is, for example, MP3 (MPEG Audio Layer-3) or AAC
  • the downmix signal M is compression encoded by (Advanced Audio Coding) or the like.
  • the multiplexing unit 1190 generates a bit stream by multiplexing the downmix signal M and the quantized binaural cue information, and outputs the bit stream as the above-described acoustic encoding signal.
  • the multichannel acoustic decoding unit 1200 includes a demultiplexing unit 1210, an audio decoder unit 1220, an analysis filter unit 1230, a multichannel synthesis unit 1240, and a synthesis filter unit 1290. .
  • the demultiplexing unit 1210 acquires the above-described bitstream, separates the binaural cue information quantized from the bitstream and the encoded downmix signal M and outputs the separated information. Note that the demultiplexing unit 1210 dequantizes the binaural cue information that has been quantized and outputs it.
  • the audio decoder unit 1220 decodes the encoded downmix signal M and outputs the decoded downmix signal M to the analysis filter unit 1230.
  • the analysis filter unit 1230 converts the expression format of the downmix signal M into a time Z frequency hybrid expression and outputs the result.
  • the multi-channel synthesis unit 1240 acquires the downmix signal M output from the analysis filter unit 1230 and the binaural cue information output from the demultiplexing unit 1210. Then, the multi-channel synthesis unit 1240 uses the binaural cue information to restore the two audio signals L and R from the downmix signal M in a time Z frequency noise expression.
  • the synthesis filter unit 1290 converts the representation format of the restored audio signal from the time Z frequency hybrid representation to the time representation, and outputs the audio signals L and R of the time representation.
  • the multi-channel acoustic signal processing apparatus 1000 has been described by taking an example of encoding and decoding a 2-channel audio signal.
  • the multi-channel acoustic signal processing apparatus 1000 has two channels.
  • more than one channel audio signal for example, six channel audio signals constituting a 5.1 channel sound source
  • FIG. 2 is a functional block diagram showing a functional configuration of the multi-channel synthesis unit 1240.
  • the multi-channel synthesis unit 1240 when separating the downmix signal M into six channels of audio signals, the multi-channel synthesis unit 1240 includes a first separation unit 1241, a second separation unit 1242, a third separation unit 1243, A fourth separation unit 1244 and a fifth separation unit 1245 are provided.
  • the downmix signal M includes a front audio signal C for a speaker arranged in front of the listener, a front left audio signal L for a speaker arranged in the front left of the viewer, and the viewer's f.
  • left lateral audio signal L for the speaker placed on the left lateral of the viewer right lateral audio signal R for the speaker placed on the right lateral of the viewer, and low for the subwoofer speaker for bass output
  • the audio signal LFE is downmixed.
  • the first separation unit 1241 has a downmix signal M power that is also the fourth downmix signal M and the fourth downmix signal M.
  • the first downmix signal M is the front audio
  • the audio signal L and the right audio signal R are downmixed.
  • the second separation unit 1242 includes the first downmix signal M force and the second downmix signal M as well as the third downmix signal M.
  • the second downmix signal M is The audio signal L and the front right audio signal R are downmixed. 3rd ff
  • the front audio signal C and the low-frequency audio signal LFE are down.
  • the third separation unit 1243 receives the left front audio signal L and the right front audio signal from the second downmix signal M.
  • the fourth separation unit 1244 includes the third downmix signal M force, the front audio signal C, and the low frequency signal.
  • the fifth separation unit 1245 converts the left side audio signal L from the fourth downmix signal M to the right side
  • the multi-channel synthesis unit 1240 uses a multi-stage method to separate one signal into two signals in each separation unit, and recursively process signals until a single audio signal is separated. Repeat the separation.
  • FIG. 3 is a block diagram showing the configuration of the binaural cue calculation unit 1120.
  • the binaural cue calculator 1120 includes a first level difference calculator 1121, a first phase difference calculator 1122, a first correlation calculator 1123, a second level difference calculator 1124, a second phase difference calculator 1125, and Second correlation calculator 1126, third level difference calculator 1127, third phase difference calculator 1128 and third correlation calculator 1129, fourth level difference calculator 1130, fourth phase difference calculator 1131 and fourth A correlation calculation unit 1132, a fifth level difference calculation unit 1133, a fifth phase difference calculation unit 1134, a fifth item calculation unit 1135, and a calorie calculator 1136, 1137, 1138, 1139 are provided.
  • the first level difference calculation unit 1121 calculates the difference between the left front audio signal L and the right front audio signal scale.
  • the first phase difference calculation unit 1122 includes the left front audio signal L and the right front audio.
  • the signal shown is output.
  • the first correlation calculation unit 1123 is used for the left front audio signal L and the right front audio signal.
  • a signal indicating is output.
  • An adder 1136 is provided for the left front audio signal L and the right front audio signal.
  • the second downmix signal M is generated by adding the signal R and multiplying by a predetermined coefficient. Output.
  • the second level difference calculation unit 1124, the second phase difference calculation unit 1125, and the second correlation calculation unit 1126 are similar to the above in that the channel s s between the left lateral audio signal L and the right lateral audio signal R is
  • the adder 1137 has a left lateral audio signal L and a right lateral audio s.
  • ⁇ signal R is added and multiplied by a predetermined coefficient to generate and output the third downmix signal M.
  • the third level difference calculation unit 1127, the third phase difference calculation unit 1128, and the third correlation calculation unit 1129 are the inter-channel levels between the front audio signal C and the low-frequency audio signal LFE, as described above. Outputs signals indicating difference IID, phase difference between channels IPD, and correlation ICC between channels.
  • the adder 1138 adds the front audio signal C and the low-frequency audio signal LFE, and multiplies them by a predetermined coefficient to obtain the fourth downmix signal M.
  • the fourth level difference calculation unit 1130, the fourth phase difference calculation unit 1131, and the fourth correlation calculation unit 1132 are the channels between the second downmix signal M and the third downmix signal M, as described above.
  • the adder 1139 has a second downmix signal M and a third downmixer.
  • the first downmix signal M by adding the
  • the fifth level difference calculating unit 1133, the fifth phase difference calculating unit 1134, and the fifth correlation calculating unit 1135 are the same as described above, and the channel between the first downmix signal M and the fourth downmix signal M is
  • FIG. 4 is a configuration diagram showing the configuration of the multi-channel synthesis unit 1240.
  • the multi-channel synthesis unit 1240 includes a pre-matrix processing unit 1251, a post-matrix processing unit 1252, a first calculation unit 1253, a second calculation unit 1255, and an uncorrelated signal generation unit 1
  • the pre-matrix processing unit 1251 indicates the distribution of the signal strength level to each channel. Generate matrix R using binaural cue information.
  • the prematrix processing unit 1251 determines the signal intensity level of the downmix signal M, the first downmix signal M, the second downmix signal M, and the third downmix signal M.
  • a matrix R composed of vector elements R [0] R [4] is generated using the difference IID.
  • the first calculation unit 1253 obtains the downmix signal M of the time Z frequency hybrid expression output from the analysis filter unit 1230 as the input signal X, for example, as shown in (Equation 1) and (Equation 2). Next, the product of the input signal X and the matrix R is calculated.
  • the first calculation unit 1253 separates the four downmix signals MM from the downmix signal M of the time Z frequency hybrid representation output from the analysis filter unit 1230.
  • the uncorrelated signal generation unit 1254 performs an all-pass filter process on the intermediate signal V to output an uncorrelated signal w as shown in (Equation 3). Note that the components M and M of the uncorrelated signal w are subjected to decorrelation processing on the downmix signals M and M.
  • Signal M and signal M are the same energy as downmix signals M and M.
  • FIG. 5 is a block diagram showing a configuration of uncorrelated signal generation section 1254.
  • the uncorrelated signal generation unit 1254 includes an initial delay unit D100 and an all-pass filter D200.
  • the initial delay unit D100 delays the intermediate signal V by a predetermined time, that is, delays the phase, and outputs the delayed signal to the all-pass filter D200.
  • the all-pass filter D200 has an all-pass characteristic that changes only the frequency-one-phase characteristic that does not change in the frequency-one amplitude characteristic, and is configured as an IIR (Infinite Impulse Response) filter.
  • IIR Infinite Impulse Response
  • Such an all-pass filter D200 includes multipliers D201 to D207 and delay units D221 to
  • FIG. 6 is a diagram showing an impulse response of uncorrelated signal generation section 1254.
  • the uncorrelated signal generation unit 1254 delays without acquiring a signal until time tlO, even if it acquires the impulse signal at time 0, so that the amplitude gradually decreases from time tlO. Output as a reverberant signal until time ti l. That is, the signals M and M output from the uncorrelated signal generator 1254 in this way add reverberation to the sound of the downmix signals M and M.
  • the post-matrix processing unit 1252 generates a matrix R indicating the distribution of reverberation to each channel.
  • the post-matrix processing unit 1252 derives a mixing coefficient H based on the inter-channel correlation ICC indicating the width and diffusibility of the sound image, and a matrix composed of the mixing coefficient H.
  • the second calculation unit 1255 calculates the product of the uncorrelated signal w and the matrix R, and calculates the matrix calculation result.
  • the output signal y shown is output.
  • the second computing unit 1255 uses six uncorrelated signals w Separating audio signals L, R, L, R, C, LFE c
  • the second downmix signal M and f are separated into the left front audio signal L. 2
  • the component M is used.
  • the left front audio signal L is expressed by the following (Equation 4).
  • ⁇ in (Equation 4) is a mixing coefficient in the third separation unit 1243, and ⁇ is ij, A ij, D
  • FIG. 7 is an explanatory diagram for explaining a downmix signal.
  • the downmix signal is usually expressed in a time Z frequency hybrid representation as shown in FIG. That is, the downmix signal is divided into parameter sets ps that are time units along the time axis direction, and further divided into parameter bands pb that are subband units along the spatial axis direction. Therefore, binaural cue information is calculated for each band (ps, pb).
  • the pre-matrix processing unit 1251 and the post-matrix processing unit 1252 each have a matrix R (ps, pb) and a matrix R (ps, pb) for each node (ps, pb).
  • FIG. 8 is a block diagram showing a detailed configuration of the prematrix processing unit 1251 and the postmatrix processing unit 1252.
  • the pre-matrix processing unit 1251 includes a determinant generation unit 1251a and an interpolation unit 1251b.
  • the determinant generator 125 la generates a matrix R (ps, pb) for each band (ps, pb) from the binaural cue information for each node (ps, pb).
  • the interpolation unit 1251b calculates the matrix R (ps, pb) for each band (ps, pb) as a frequency high resolution time.
  • the interpolation unit 1251b generates a matrix R (n, sb) for each (n, sb). In this way, the interpolation unit 1251b crosses the boundaries of a plurality of bands.
  • the post matrix processing unit 1252 includes a determinant generation unit 1252a and an interpolation unit 1252b.
  • the determinant generator 1252a uses the binaural cue information for each node (ps, pb) to calculate the band Generate a matrix R (ps, pb) for every (ps, pb).
  • the interpolation unit 1252b applies the matrix R (ps, pb) for each band (ps, pb) to the frequency high-resolution time.
  • the interpolation unit 1252b generates a matrix R (n, sb) for each (n, sb). In this way, the interpolation unit 1252b crosses the boundaries of a plurality of bands.
  • Non-Patent Document 1 J. Herre, et al, "The Reference Model Architecture f or MPEG Spatial Audio Coding J ⁇ 118th AES Convention, Barcel ona
  • the conventional multi-channel acoustic signal processing apparatus has a problem that the calculation load is large.
  • the calculation load on the pre-matrix processing unit 1251, the post-matrix processing unit 1252, the first calculation unit 1253, and the second calculation unit 1255 of the conventional multi-channel synthesis unit 1240 becomes large.
  • the present invention has been made in view of the problem that is prominent, and an object of the present invention is to provide a multi-channel acoustic signal processing device with a reduced calculation load.
  • the multi-channel acoustic signal processing device includes an m-channel (m> 1) audio signal down-mixed from an input signal configured by down-mixing the m-channel audio signal.
  • a multi-channel acoustic signal processing device that separates signals, and generates a non-correlated signal indicating a sound in which reverberation is included in the sound indicated by the input signal by performing reverberation processing on the input signal.
  • Matrix operation means for generating the m-channel audio signal is provided.
  • the process of distributing the signal strength level is performed after the generation of the uncorrelated signal and separated, and the process of distributing the signal strength level is performed and separated before the generation of the uncorrelated signal.
  • the audio signal is similar. Therefore, in the present invention, matrix calculations can be combined by applying approximate calculation. As a result, the capacity of the memory used for computation can be reduced, and the apparatus can be miniaturized.
  • the matrix calculation means includes a matrix generation means for generating an integrated matrix indicating a product of a level distribution matrix indicating the distribution of the signal strength level and a reverberation adjustment matrix indicating the distribution of the reverberation.
  • the multi-channel acoustic signal processing device may further include a phase adjusting unit that adjusts a phase of the input signal with respect to the uncorrelated signal and the integration matrix.
  • the phase adjustment unit delays the integration matrix or the input signal that changes over time.
  • the phase adjustment unit may delay the integration matrix or the input signal by a delay time of the uncorrelated signal generated by the uncorrelated signal generation unit.
  • the phase adjusting unit may be an integer multiple of a predetermined processing unit that is closest to the delay time of the uncorrelated signal generated by the uncorrelated signal generating unit.
  • the integration matrix or the input signal may be delayed by a time required for processing.
  • the delay amount of the integration matrix or the input signal becomes substantially equal to the delay time of the uncorrelated signal, so that a calculation using a more appropriate integration matrix is performed for the uncorrelated signal and the input signal.
  • M-channel audio signals can be output more appropriately.
  • the phase adjusting means may adjust the phase when a pre-echo occurs more than a predetermined detection limit.
  • the present invention can also be realized as an integrated circuit, a method, a program, and a storage medium for storing the program that can be realized as such a multi-channel acoustic signal processing apparatus.
  • the multi-channel acoustic signal processing device of the present invention has the effect of reducing the computational load. That is, according to the present invention, it is possible to reduce the processing complexity of the multi-channel audio decoder without causing deformation of the bit stream syntax or causing a decrease in sound quality that can be recognized.
  • FIG. 1 is a block diagram showing a configuration of a conventional multi-channel acoustic signal processing apparatus.
  • FIG. 2 is a functional block diagram showing a functional configuration of the multi-channel synthesis unit same as above.
  • FIG. 3 is a block diagram showing the configuration of the above-described normal cue calculator.
  • FIG. 4 is a configuration diagram showing the configuration of the multi-channel synthesis unit described above.
  • FIG. 5 is a block diagram showing the configuration of the uncorrelated signal generation unit of the above.
  • FIG. 6 is a diagram showing an impulse response of the uncorrelated signal generation unit same as above.
  • FIG. 7 is an explanatory diagram for explaining the downmix signal of the above.
  • Fig. 8 shows the detailed configuration of the pre-matrix processing unit and post-matrix processing unit. It is a block diagram which shows composition.
  • FIG. 9 is a block diagram showing a configuration of a multi-channel acoustic signal processing device according to an embodiment of the present invention.
  • FIG. 10 is a block diagram showing the configuration of the above-described multi-channel combining unit.
  • FIG. 11 is a flowchart showing the operation of the multi-channel combining unit.
  • FIG. 12 is a block diagram showing a configuration of a simplified multi-channel synthesis unit as described above.
  • FIG. 13 is a flowchart showing the operation of the simplified multi-channel synthesis unit of the above.
  • FIG. 14 is an explanatory diagram for explaining a signal output by the multi-channel synthesizing unit.
  • FIG. 15 is a block diagram showing a configuration of a multi-channel synthesis unit according to Modification 1 of the above.
  • FIG. 16 is an explanatory diagram for explaining a signal output by the multi-channel combining unit according to Modification 1 of the above.
  • FIG. 17 is a flowchart showing the operation of the multichannel combining unit according to Modification 1 of the above.
  • FIG. 18 is a block diagram showing a configuration of a multi-channel synthesis unit according to Modification 2 of the above.
  • FIG. 19 is a flowchart showing the operation of the multi-channel synthesis unit according to the second modification of the above.
  • FIG. 9 is a block diagram showing a configuration of the multi-channel acoustic signal processing device according to the embodiment of the present invention.
  • the multi-channel acoustic signal processing apparatus 100 reduces the computation load, and performs multi-channel acoustic code processing on the set of audio signals and outputs an acoustic code signal.
  • An acoustic code key unit 100a and a multi-channel acoustic decoding key unit 100b for decoding the acoustic code key signal are provided.
  • the multi-channel acoustic encoding unit 100a processes an input signal (for example, the input signals L and R) in units of frames indicated by 1024 samples, 2048 samples, and the like.
  • a binaural cue calculation unit 120, an audio encoder unit 130, and a multiplexing unit 140 are provided.
  • the normal cue calculation unit 120 compares the audio signal L, the scale, and the downmix signal M for each spectrum band, thereby returning the downmix signal M to the audio signals L, R. Generate queue information.
  • Binaural cue information includes inter-channel level / intensity dif- ference IID, inter-channel coherence / correlation ICC, inter-channel phase / delay difference. ) Indicates IPD and Channel Prediction Coefficients CPC.
  • the inter-channel level difference IID is information for controlling sound balance and localization
  • the inter-channel correlation ICC is information for controlling the width and diffusibility of the sound image.
  • the spectrally represented audio signals L and R and the downmix signal M are usually divided into a plurality of groups having “parameter band” power. Therefore, binaural cue information is calculated for each parameter band.
  • binaural information and “spatial parameter” t are often used interchangeably.
  • the audio encoder unit 130 compresses and encodes the downmix signal M using, for example, MP3 (MPEG Audio Layer-3), AAC (Advanced Audio Coding), or the like.
  • MP3 MPEG Audio Layer-3
  • AAC Advanced Audio Coding
  • the multiplexing unit 140 generates a bit stream by multiplexing the downmix signal M and the quantized binaural cue information, and outputs the bit stream as the above-described acoustic encoding signal.
  • the multi-channel acoustic decoding unit 100b includes a demultiplexing unit 150, an audio decoder unit 160, an analysis filter unit 170, a multi-channel synthesis unit 180, and a synthesis filter unit 190.
  • the demultiplexing unit 150 acquires the above-described bit stream, separates the binaural cue information quantized from the bit stream and the encoded downmix signal M and outputs the separated information. Note that the demultiplexer 150 dequantizes the binaural cue information that has been quantized and outputs the result. [0100] The audio decoder unit 160 decodes the encoded downmix signal M and outputs the decoded downmix signal M to the analysis filter unit 170.
  • the analysis filter unit 170 converts the representation format of the downmix signal M into a time Z frequency hybrid representation and outputs the result.
  • Multi-channel synthesis section 180 obtains downmix signal M output from analysis filter section 170 and binaural cue information output from demultiplexing section 150. Then, the multi-channel synthesis unit 180 uses the binaural cue information to restore the two audio signals L and R from the downmix signal M in a time Z frequency hybrid representation.
  • the synthesis filter unit 190 converts the representation format of the restored audio signal from the time Z frequency hybrid representation to the time representation, and outputs the audio signals L and R of the time representation.
  • the multi-channel acoustic signal processing apparatus 100 of the present embodiment has been described by taking an example of encoding and decoding a 2-channel audio signal.
  • the channel acoustic signal processing apparatus 100 is capable of encoding and decoding channel audio signals (eg, 6-channel audio signals constituting a 5.1 channel sound source) more than two channels! You can also.
  • the present embodiment is characterized by the multi-channel synthesis unit 180 of the multi-channel acoustic decoding processing unit 100b.
  • FIG. 10 is a block diagram showing a configuration of multi-channel synthesis section 180 in the embodiment of the present invention.
  • Multi-channel synthesis section 180 in the present embodiment reduces the computation load, and includes uncorrelated signal generation section 181, first computation section 182, second computation section 183, and prematrix processing.
  • a unit 184 and a post matrix processing unit 185 are provided.
  • the pre-matrix processing unit 184 includes a determinant generation unit 184a and an interpolation unit 184b.
  • Matrix R
  • the determinant generator 184a uses the inter-channel level difference IID of the binaural cue information to calculate the vector element R [1]
  • the interpolation unit 184b applies the matrix R (ps, pb) for each band (ps, pb) to the frequency high-resolution time domain.
  • the interpolation unit 184b generates a matrix R (n, sb) for each (n, sb). In this way, the interpolation unit 184b is a matrix that spans multiple band boundaries.
  • the first calculation unit 182 calculates the product of the matrix of the uncorrelated signal w 'and the matrix R,
  • the post-matrix processing unit 185 includes a determinant generation unit 185a and an interpolation unit 185b. Generate R.
  • the determinant generation unit 185a derives the mixing coefficient H for the inter-channel correlation ICC force of the binaural cue information, and the above-described matrix R configured by the mixing coefficient H
  • the interpolation unit 185b converts the matrix R (ps, pb) for each band (ps, pb) into the frequency high-resolution time domain.
  • the interpolation unit 185b generates a matrix R (n, sb) for each (n, sb).
  • the interpolation unit 185b is a matrix that crosses the boundaries of multiple bands.
  • the second calculation unit 183 calculates the product of the matrix of the intermediate signal z and the matrix R as shown in (Equation 9).
  • the output signal y indicating the calculation result is output. That is, the second calculation unit 183 separates the six audio signals L 1, R 2, L 1, R 2, C, and LFE from the intermediate signal z force.
  • an uncorrelated signal w ′ is generated for the input signal X, and a matrix operation using the matrix R is performed on the uncorrelated signal w ′.
  • a matrix operation using 1 is performed, and an uncorrelated signal W is generated for the intermediate signal V that is the operation result.
  • processing is performed in the reverse order.
  • multi-channel synthesizing section 180 can output output signal y similar to the conventional one.
  • FIG. 11 is a flowchart showing the operation of multichannel combining section 180 in the present embodiment.
  • the multi-channel synthesis unit 180 acquires the input signal X (step S100), and generates an uncorrelated signal w ′ for the input signal X (step S102). In addition, multi-channel synthesis section 180 generates matrix R and matrix R based on the normal cue information.
  • the multi-channel synthesis unit 180 inputs the matrix R generated in step S104 and the input.
  • the intermediate signal z is generated by calculating the product of the force signal X and the matrix indicated by the uncorrelated signal w ′, that is, by performing a matrix operation using the matrix R (step S 106).
  • the multi-channel synthesis unit 180 and the matrix R generated in step S104 and the matrix R By calculating the product with the matrix indicated by the intermediate signal z of
  • An output signal y is generated by performing a two-column operation (step S106).
  • the calculation using the matrix R is performed separately before and after the generation of the uncorrelated signal.
  • the matrix operations can be performed together. As a result, the calculation load can be reduced.
  • multi-channel synthesis section 180 in the present embodiment the processing order is changed as described above, and therefore the configuration of multi-channel synthesis section 180 shown in FIG. 10 is further simplified. can do.
  • FIG. 12 is a block diagram showing the configuration of the simplified multi-channel synthesis unit 180.
  • the multi-channel synthesis unit 180 includes a third calculation unit 186 instead of the first calculation unit 182 and the second calculation unit 183, and a matrix instead of the pre-matrix processing unit 184 and the post-matrix processing unit 185.
  • a processing unit 187 is provided.
  • the matrix processing unit 187 includes a pre-matrix processing unit 184 and a post-matrix processing unit 18.
  • a determinant generation unit 187a is integrated and includes a determinant generation unit 187a and an interpolation unit 187b.
  • the determinant generator 187a uses the inter-channel level difference IID of the binaural cue information to generate the above-described matrix R composed of vector elements R [1] to R [5] as a band (ps, pb
  • the determinant generation unit 187a derives the mixing coefficient H from the inter-channel correlation ICC value of the binaural queue information, and generates the above-described matrix R composed of the mixing coefficient H for each band (ps, pb). To do.
  • the determinant generation unit 187a calculates the product of the matrix R and the matrix R generated as described above.
  • the interpolation unit 187b uses the matrix R (ps, pb) for each band (ps, pb) as the frequency high-resolution time domain.
  • the interpolation unit 187b generates a matrix R (n, sb) for each (n, sb).
  • the interpolation unit 187b is a matrix that crosses the boundaries of multiple bands.
  • the third arithmetic unit 186 includes a matrix indicated by the uncorrelated signal w 'and the input signal x, and a matrix R.
  • the number of interpolations (number of interpolations) in interpolation unit 187b is compared with the number of interpolations (number of interpolations) in conventional interpolation unit 125 lb and interpolation unit 1252b.
  • the number of multiplications in the third operation unit 186 (number of matrix operations) is approximately half of the number of multiplications (number of matrix operations) in the conventional first operation unit 1253 and second operation unit 1255. It becomes. That is, in this embodiment, the matrix R
  • the processing of the determinant generation unit 187a slightly increases.
  • the band resolution (ps, pb) of the binaural cue information in the determinant generation unit 187a is coarser than the band resolution (n, sb) handled in the interpolation unit 187b and the third calculation unit 186. Therefore, the calculation load of the determinant generation unit 187a is smaller than the interpolation unit 187b and the third calculation unit 186, and the proportion of the total calculation load is small. Therefore, the calculation load of the entire multichannel synthesis unit 180 and the entire multichannel acoustic signal processing apparatus 100 can be greatly reduced.
  • FIG. 13 is a flowchart showing the operation of the simplified multi-channel synthesis unit 180.
  • multi-channel synthesizing section 180 acquires input signal X (step S120), and generates uncorrelated signal w ′ for the input signal X (step S120).
  • the multi-channel synthesis unit 180 performs matrix R and matrix R based on the normal queue information.
  • the multi-channel synthesis unit 180 inputs the matrix R generated in step S124 and the input.
  • the output signal y is generated by calculating the product of the force signal X and the matrix indicated by the uncorrelated signal W ′, that is, by performing a matrix operation using the matrix R (step S 126).
  • uncorrelated signal generation section 181 delays uncorrelated signal w 'with respect to input signal X and outputs the delayed signal.
  • Matrix R composing matrix R with input signal X and uncorrelated signal w '
  • multi-channel combining section 180 in the above embodiment cannot output ideal output signal y that should be output originally.
  • FIG. 14 is an explanatory diagram for describing a signal output by multi-channel synthesis section 180 in the above embodiment.
  • the matrix R constituting the matrix R includes a matrix R1 which is a component contributing to the audio signal L, and
  • the audio signal R was assigned a large level
  • the time t 0 to tl
  • the audio signal L was assigned a large level
  • the audio signal scale was assigned a large level.
  • the intermediate signal depends on the input signal X-force matrix R1 and matrix R1.
  • an intermediate signal V whose level is greatly biased to the audio signal L is generated.
  • an uncorrelated signal w is generated for this intermediate signal V.
  • the output signal y including reverberation is output as the audio signal L after being delayed from the input signal X by the delay time td of the uncorrelated signal w by the uncorrelated signal generation unit 1254.
  • Output signal y is not output. Such output signals y and y are examples of ideal outputs.
  • the matrix R handled by the third arithmetic unit 186 includes the above-described matrix R (matrix R1 and matrix R1).
  • the multi-channel synthesis unit 180 should output only the output signal y.
  • the output signal y is also output. That is, degradation of channel separation occurs.
  • the multi-channel synthesis unit that works in this variation is the uncorrelated signal w and the matrix R.
  • phase adjustment unit 3 includes a phase adjustment unit that adjusts the phase of the input signal X with respect to 3, and this phase adjustment unit delays the matrix R output from the determinant generation unit 187d.
  • FIG. 15 is a block diagram showing a configuration of a multi-channel synthesis unit according to this modification.
  • the multi-channel synthesizing unit 180a includes an uncorrelated signal generating unit 181a and
  • a calculation unit 186 and a matrix processing unit 187c are provided.
  • the uncorrelated signal generation unit 181a has the same function as the uncorrelated signal generation unit 181 described above, and notifies the matrix processing unit 187c of the delay amount TD (pb) of the uncorrelated signal w in the parameter band pb. To do.
  • the delay amount TD (pb) is equal to the delay time td of the uncorrelated signal w 'with respect to the input signal X, U.
  • the matrix processing unit 187c includes a determinant generation unit 187d and an interpolation unit 187b. line
  • the column formula generation unit 187d has the same function as the determinant generation unit 187a and includes the above-described phase adjustment unit, and a matrix R corresponding to the delay amount TD (pb) notified from the uncorrelated signal generation unit 181a. Is generated. That is, the determinant generation unit 187d performs the matrix as shown in (Equation 11).
  • R 3 (ps : pb) R 2 (ps, pb) R x (ps-TD (pb pb)
  • FIG. 16 is an explanatory diagram for explaining a signal output by the multi-channel synthesis unit 180a according to the present modification.
  • the matrix R (matrix R1 and matrix R1) included in the matrix R is a parameter bar of the input signal x.
  • the third calculation unit 186 can output ideal output signals y and y. Therefore R
  • the delay time td the delay amount TD (pb) is set, but these may be varied.
  • the determinant generator 187d generates the matrix R for each predetermined processing unit (e.g., non (ps, pb))
  • the delay amount TD (pb) is the closest to the delay time td.
  • the time required for processing that is an integral multiple of the fixed processing unit may be used.
  • FIG. 17 is a flowchart showing the operation of the multi-channel synthesis unit 180a according to this modification.
  • the multi-channel synthesis unit 180a acquires the input signal x (step S140), and generates an uncorrelated signal w ′ for the input signal X (step S 142). Further, the multi-channel synthesis unit 180a performs matrix R and matrix R based on the normal cue information.
  • a matrix R indicating the product of 1 2 is generated by being delayed by a delay amount TD (pb) (step S 144).
  • the multichannel synthesis unit 180a performs phase adjustment on the matrix R included in the matrix R.
  • the multi-channel synthesis unit 180a includes the matrix R generated in step S144,
  • the output signal y is generated (step S 146).
  • the input signal is delayed by delaying the matrix R included in the matrix R.
  • the multi-channel synthesis unit according to the present modification adjusts the phase of the input signal X with respect to the uncorrelated signal w 'and the matrix R in the same manner as the multi-channel synthesis unit according to Modification 1 described above.
  • phase adjusting means for adjusting delays the input of the input signal X to the third calculation unit 186. Thereby, also in this modification, it is possible to suppress the deterioration of the channel separation, as described above.
  • FIG. 18 is a block diagram showing a configuration of a multi-channel synthesis unit according to this modification.
  • the multi-channel synthesizing unit 180b includes a signal delay unit 189 serving as a phase adjusting unit that delays input of the input signal X to the third calculation unit 186.
  • the signal delay unit 189 delays the input signal X by the delay time td of the uncorrelated signal generation unit 181, for example.
  • the delay time td delay amount TD (pb) is used. Good. Further, when the signal delay unit 189 performs delay processing for each predetermined processing unit (for example, non (ps, pb)), the delay amount TD (pb) is set to the delay time td closest to the delay time td. The time required for processing that is an integral multiple of the predetermined processing unit may be used.
  • FIG. 19 is a flowchart showing the operation of the multi-channel synthesis unit 180b according to this modification.
  • the multi-channel synthesis unit 180b acquires the input signal X (step S160), and generates an uncorrelated signal w ′ for the input signal X (step S162). Further, the multi-channel synthesis unit 180b delays the input signal X (step S164).
  • multi-channel synthesis section 180b generates matrix R indicating the product of matrix R and matrix R (step S166).
  • the multi-channel synthesis unit 180b generates the matrix R generated in step S166,
  • An output signal y is generated by performing a matrix operation according to 3 (step S168).
  • the phase of the input signal X is adjusted by delaying the input signal X. Therefore, an appropriate matrix R is used for the uncorrelated signal w 'and the input signal X.
  • the phase adjusting means in Modification 1 and Modification 2 may adjust the phase only when a pre-echo occurs above a predetermined detection limit.
  • the phase adjustment means included in the determinant generation unit 187d is a matrix.
  • the signal delay unit 189 serving as the phase adjusting means is used as the input signal.
  • phase delay means may be delayed only when pre-echo occurs above the detection limit.
  • This pre-echo is noise that occurs immediately before the impact sound, and tends to occur according to the delay time td of the uncorrelated signal w ′. This reliably prevents the pre-echo from being detected.
  • the multi-channel acoustic signal processing apparatus 100 may be configured by an integrated circuit such as an LSI (Large Scale Integration).
  • the present invention can also be realized as a program that causes a computer to execute the operations in these devices and each component.
  • the multi-channel audio signal processing apparatus of the present invention has an effect that the calculation load can be reduced, and can be applied to, for example, a home theater system, an in-vehicle audio system, an electronic game system, and the like. Useful in rate applications.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

　演算負荷を軽減したマルチチャンネル音響信号処理装置を提供する。 　マルチチャンネル音響信号処理装置（１００）は、入力信号ｘに対して残響処理を行うことにより、入力信号ｘの示す音に残響が含まれるような音を示す無相関信号ｗ’を生成する無相関信号生成部（１８１）と、その無相関信号生成部（１８１）により生成された無相関信号ｗ’および入力信号ｘに対して、信号強度レベルの配分および残響の配分を示す行列Ｒ３を用いた演算を行うことにより、ｍチャンネルのオーディオ信号を生成するマトリックス演算部（１８７）および第３演算部（１８６）とを備える。

Description

明 細 書
マルチチャンネル音響信号処理装置
技術分野
[0001] 本発明は、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号 を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置に関 する。
背景技術
[0002] 従来より、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を 元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置が提供 されている。
[0003] 図 1は、マルチチャンネル音響信号処理装置の構成を示すブロック図である。
[0004] マルチチャンネル音響信号処理装置 1000は、オーディオ信号の組に対する空間 音響符号ィ匕を行って音響符号ィ匕信号を出力するマルチチャンネル音響符号ィ匕部 11 00と、その音響符号ィ匕信号を復号ィ匕するマルチチャンネル音響復号ィ匕部 1200とを 備えている。
[0005] マルチチャンネル音響符号化部 1100は、 1024サンプルや 2048サンプルなどに よって示されるフレーム単位でオーディオ信号 (例えば、 2チャンネルのオーディオ信 号 L, R)を処理するものであって、ダウンミックス部 1110と、ノイノーラルキュー算出 部 1120と、オーディオエンコーダ部 1150と、多重化部 1190とを備えている。
[0006] ダウンミックス部 1110は、 2チャンネルのスペクトル表現されたオーディオ信号 L, R の平均をとることによって、つまり、 M= (L+R) Z2によって、オーディオ信号 L,尺が ダウンミックスされたダウンミックス信号 Mを生成する。
[0007] ノイノーラルキュー算出部 1120は、スペクトルバンドごとに、オーディオ信号 L, R およびダウンミックス信号 Mを比較することによって、ダウンミックス信号 Mをオーディ ォ信号 L, Rに戻すためのバイノーラルキュー情報を生成する。
[0008] バイノーラルキュー情報は、チャンネル間レベル差（inter- channel level/intensity di fference) IID、チャンネノレ間相関 (inter- channel coherence/correlation) ICC、チャン ネル間位相差（inter- channel phase/delay difference) IPD、およびチャンネル予測係 数（Channel Prediction Coefficients) CPCを示す。
[0009] 一般に、チャンネル間レベル差 IIDは、音のバランスや定位を制御するための情報 であって、チャンネル間相関 ICCは、音像の幅や拡散性を制御するための情報であ る。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメ一 タである。
[0010] スペクトル表現されたオーディオ信号 L, Rおよびダウンミックス信号 Mは、「パラメ一 タバンド」力もなる通常複数のグループに区分されている。したがって、バイノーラル キュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュ 一情報」と「空間パラメータ」 t 、う用語はしばしば同義的に用いられる。
[0011] オーディオエンコーダ部 1150は、例えば、 MP3 (MPEG Audio Layer- 3)や、 AAC
(Advanced Audio Coding)などによって、ダウンミックス信号 Mを圧縮符号化する。
[0012] 多重化部 1190は、ダウンミックス信号 Mと、量子化されたバイノーラルキュー情報と を多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符 号化信号として出力する。
[0013] マルチチャンネル音響復号ィ匕部 1200は、逆多重化部 1210と、オーディオデコー ダ部 1220と、分析フィルタ部 1230と、マルチチャンネル合成部 1240と、合成フィル タ部 1290とを備えている。
[0014] 逆多重化部 1210は、上述のビットストリームを取得し、そのビットストリームから量子 化されたバイノーラルキュー情報と、符号化されたダウンミックス信号 Mとを分離して 出力する。なお、逆多重化部 1210は、量子化されたバイノーラルキュー情報を逆量 子化して出力する。
[0015] オーディオデコーダ部 1220は、符号化されたダウンミックス信号 Mを復号化して分 析フィルタ部 1230に出力する。
[0016] 分析フィルタ部 1230は、ダウンミックス信号 Mの表現形式を、時間 Z周波数ハイブ リツド表現に変換して出力する。
[0017] マルチチャンネル合成部 1240は、分析フィルタ部 1230から出力されたダウンミック ス信号 Mと、逆多重化部 1210から出力されたバイノーラルキュー情報とを取得する。 そして、マルチチャンネル合成部 1240は、そのバイノーラルキュー情報を用いて、ダ ゥンミックス信号 Mから、 2つのオーディオ信号 L, Rを時間 Z周波数ノヽイブリツド表現 で復元する。
[0018] 合成フィルタ部 1290は、復元されたオーディオ信号の表現形式を、時間 Z周波数 ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号 L, Rを出 力する。
[0019] なお、上述では、 2チャンネルのオーディオ信号を符号ィ匕して復号ィ匕する例を挙げ てマルチチャンネル音響信号処理装置 1000を説明したが、マルチチャンネル音響 信号処理装置 1000は、 2チャンネルよりも多 、チャンネルのオーディオ信号 (例えば 、 5. 1チャンネル音源を構成する、 6つのチャンネルのオーディオ信号)を、符号ィ匕 および復号ィ匕することもできる。
[0020] 図 2は、マルチチャンネル合成部 1240の機能構成を示す機能ブロック図である。
[0021] マルチチャンネル合成部 1240は、例えば、ダウンミックス信号 Mを 6つのチャンネ ルのオーディオ信号に分離する場合、第 1分離部 1241と、第 2分離部 1242と、第 3 分離部 1243と、第 4分離部 1244と、第 5分離部 1245とを備える。なお、ダウンミック ス信号 Mは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号 Cと、 視聴者の左前方に配置されるスピーカに対する左前オーディオ信号 Lと、視聴者の f
右前方に配置されるスピーカに対する右前オーディオ信号 R
fと、視聴者の左横方に 配置されるスピーカに対する左横オーディオ信号 Lと、視聴者の右横方に配置され るスピーカに対する右横オーディオ信号 Rと、低音出力用サブウーファースピーカに 対する低域オーディオ信号 LFEとがダウンミックスされて構成されている。
[0022] 第 1分離部 1241は、ダウンミックス信号 M力も第 1ダウンミックス信号 Mと第 4ダウン
1 ミックス信号 Mとを分離して出力する。第 1ダウンミックス信号 Mは、正面オーディオ
4 1
信号 Cと左前オーディオ信号 Lと右前オーディオ信号 Rと低域オーディオ信号 LFE f f
とがダウンミックスされて構成されている。第 4ダウンミックス信号 Mは、左横オーディ
4
ォ信号 Lと右横オーディオ信号 Rとがダウンミックスされて構成されている。
[0023] 第 2分離部 1242は、第 1ダウンミックス信号 M力も第 2ダウンミックス信号 Mと第 3
1 2 ダウンミックス信号 Mとを分離して出力する。第 2ダウンミックス信号 Mは、左前ォー ディォ信号 Lと右前オーディオ信号 Rとがダウンミックスされて構成されて 、る。第 3ダ f f
ゥンミックス信号 Mは、正面オーディオ信号 Cと低域オーディオ信号 LFEとがダウン
3
ミックスされて構成されて 、る。
[0024] 第 3分離部 1243は、第 2ダウンミックス信号 Mから左前オーディオ信号 Lと右前ォ
2 f 一ディォ信号 R
fとを分離して出力する。
[0025] 第 4分離部 1244は、第 3ダウンミックス信号 M力 正面オーディオ信号 Cと低域ォ
3
一ディォ信号 LFEとを分離して出力する。
[0026] 第 5分離部 1245は、第 4ダウンミックス信号 Mから左横オーディオ信号 Lと右横ォ
4 s 一ディォ信号 R
sとを分離して出力する。
[0027] このように、マルチチャンネル合成部 1240は、マルチステージの方法によって、各 分離部で 1つの信号を 2つの信号に分離し、単一のオーディオ信号が分離されるま で再帰的に信号の分離を繰り返す。
[0028] 図 3は、バイノーラルキュー算出部 1120の構成を示すブロック図である。
[0029] バイノーラルキュー算出部 1120は、第 1レベル差算出部 1121、第 1位相差算出部 1122および第 1相関算出部 1123と、第 2レベル差算出部 1124、第 2位相差算出部 1125および第 2相関算出部 1126と、第 3レベル差算出部 1127、第 3位相差算出部 1128および第 3相関算出部 1129と、第 4レベル差算出部 1130、第 4位相差算出部 1131および第 4相関算出部 1132と、第 5レベル差算出部 1133、第 5位相差算出部 1134および第 5ネ目関算出咅 1135と、カロ算器 1136, 1137, 1138, 1139とを備え ている。
[0030] 第 1レベル差算出部 1121は、左前オーディオ信号 Lと右前オーディオ信号尺との
f f 間のレベル差を算出して、その算出結果であるチャンネル間レベル差 IIDを示す信 号を出力する。第 1位相差算出部 1122は、左前オーディオ信号 Lと右前オーディオ
f
信号 Rとの間の位相差を算出して、その算出結果であるチャンネル間位相差 IPDを f
示す信号を出力する。第 1相関算出部 1123は、左前オーディオ信号 Lと右前ォー
f
ディォ信号 Rとの間の相関を算出して、その算出結果であるチャンネル間相関 ICC
f
を示す信号を出力する。加算器 1136は、左前オーディオ信号 Lと右前オーディオ信
f
号 Rとを加算して所定の係数を乗算することで、第 2ダウンミックス信号 Mを生成して 出力する。
[0031] 第 2レベル差算出部 1124、第 2位相差算出部 1125および第 2相関算出部 1126 は、上述と同様に、左横オーディオ信号 Lと右横オーディオ信号 Rとの間のチャンネ s s
ル間レベル差 IID、チャンネル間位相差 IPDおよびチャンネル間相関 ICCのそれぞ れを示す信号を出力する。加算器 1137は、左横オーディオ信号 Lと右横オーディ s
ォ信号 Rとを加算して所定の係数を乗算することで、第 3ダウンミックス信号 Mを生 s 3 成して出力する。
[0032] 第 3レベル差算出部 1127、第 3位相差算出部 1128および第 3相関算出部 1129 は、上述と同様に、正面オーディオ信号 Cと低域オーディオ信号 LFEとの間のチャン ネル間レベル差 IID、チャンネル間位相差 IPDおよびチャンネル間相関 ICCのそれ ぞれを示す信号を出力する。加算器 1138は、正面オーディオ信号 Cと低域オーディ ォ信号 LFEとを加算して所定の係数を乗算することで、第 4ダウンミックス信号 Mを
4 生成して出力する。
[0033] 第 4レベル差算出部 1130、第 4位相差算出部 1131および第 4相関算出部 1132 は、上述と同様に、第 2ダウミックス信号 Mと第 3ダウンミックス信号 Mとの間のチャン
2 3
ネル間レベル差 IID、チャンネル間位相差 IPDおよびチャンネル間相関 ICCのそれ ぞれを示す信号を出力する。加算器 1139は、第 2ダウミックス信号 Mと第 3ダウンミ
2
ックス信号 Mとを加算して所定の係数を乗算することで、第 1ダウンミックス信号 Mを
3 1 生成して出力する。
[0034] 第 5レベル差算出部 1133、第 5位相差算出部 1134および第 5相関算出部 1135 は、上述と同様に、第 1ダウミックス信号 Mと第 4ダウンミックス信号 Mとの間のチャン
1 4
ネル間レベル差 IID、チャンネル間位相差 IPDおよびチャンネル間相関 ICCのそれ ぞれを示す信号を出力する。
[0035] 図 4は、マルチチャンネル合成部 1240の構成を示す構成図である。
[0036] マルチチャンネル合成部 1240は、プレマトリックス処理部 1251と、ポストマトリック ス処理部 1252と、第 1演算部 1253および第 2演算部 1255と、無相関信号生成部 1
254とを備えている。
[0037] プレマトリックス処理部 1251は、信号強度レベルの各チャンネルへの配分を示す 行列 Rを、バイノーラルキュー情報を用いて生成する。
1
[0038] 例えば、プレマトリックス処理部 1251は、ダウンミックス信号 Mの信号強度レベルと 、第 1ダウンミックス信号 M、第 2ダウンミックス信号 M、第 3ダウンミックス信号 Mお
1 2 3 よび第 4ダウンミックス信号 Mの信号強度レベルとの比率を示すチャンネル間レベル
4
差 IIDを用いて、ベクトル要素 R [0] R [4]によって構成される行列 Rを生成する。
1 1 1
[0039] 第 1演算部 1253は、分析フィルタ部 1230から出力された時間 Z周波数ハイブリツ ド表現のダウンミックス信号 Mを入力信号 Xとして取得し、例えば (数 1)および (数 2) に示すように、その入力信号 Xと行列 Rとの積を算出する。そして、第 1演算部 1253
1
は、その行列演算結果を示す中間信号 Vを出力する。つまり、第 1演算部 1253は、 分析フィルタ部 1230から出力された時間 Z周波数ハイブリッド表現のダウンミックス 信号 Mから、 4つのダウンミックス信号 M Mを分離する。
1 4
[0040] [数 1]
Figure imgf000008_0001
[0041] [数 2]
M, ^Lf +Rf +C + LFE
M2 =Lf +Rf
A43 =C÷ LFE
MA =L +R.
[0042] 無相関信号生成部 1254は、中間信号 Vに対してオールパスフィルタ処理を施すこ とによって、（数 3)に示すように、無相関信号 wを出力する。なお、無相関信号 wの構 成要素 M および M は、ダウンミックス信号 M, Mに対して無相関処理が施された
rev irev ι
信号である。また、信号 M および信号 M は、ダウンミックス信号 M, Mと同じエネ
rev irev ι
ルギーを有し、音が広がって 、るかのような印象を与える残響を含む。
[0043] [数 3] M
M
M M
W：
decorr(v) M2
M,
M
[0044] 図 5は、無相関信号生成部 1254の構成を示すブロック図である。
[0045] 無相関信号生成部 1254は、初期遅延部 D100と、オールパスフィルタ D200とを 備えている。
[0046] 初期遅延部 D100は、中間信号 Vを取得すると、その中間信号 Vを予め定められた 時間だけ遅延させて、つまり位相を遅らせて、オールパスフィルタ D200に出力する。
[0047] オールパスフィルタ D200は、周波数一振幅特性には変化がなぐ周波数一位相 特性のみ変化させるオールパス特性を有し、 IIR (Infinite Impulse Response)フィルタ として構成されている。
[0048] このようなオールパスフィルタ D200は、乗算器 D201〜D207と、遅延器 D221〜
D223と、カロ減算器 D211〜D223とを備えている。
[0049] 図 6は、無相関信号生成部 1254のインパルス応答を示す図である。
[0050] 無相関信号生成部 1254は、図 6に示すように、時刻 0にインパルス信号を取得して も、時刻 tlOまで信号を出力せずに遅延させ、時刻 tlOから次第に振幅が小さくなる ような信号を残響として時刻 ti lまで出力する。つまり、このように無相関信号生成部 1254から出力される信号 M , M は、ダウンミックス信号 M, Mの音に残響が付 rev ，rev
加された音を示す。
[0051] ポストマトリックス処理部 1252は、残響の各チャンネルへの配分を示す行列 Rを、
2 ノイノーラルキュー情報を用いて生成する。
[0052] 例えば、ポストマトリックス処理部 1252は、音像の幅や拡散性を示すチャンネル間 相関 ICCカゝらミキシング係数 Hを導出し、そのミキシング係数 Hから構成される行列
R
2を生成する。
[0053] 第 2演算部 1255は、無相関信号 wと行列 Rとの積を算出し、その行列演算結果を
2
示す出力信号 yを出力する。つまり、第 2演算部 1255は、無相関信号 wから、 6つの オーディオ信号 L , R , L , R , C, LFEを分離する c
f f
[0054] 例えば、図 2に示すように、左前オーディオ信号 Lは、第 2ダウンミックス信号 M力 f 2 分離されるため、その左前オーディオ信号 Lの分離には、第 2ダウンミックス信号 Mと f 2
、それに対応する無相関信号 wの構成要素 M とが用いられる。同様に、第 2ダウン
2, rev
ミックス信号 Mは、第 1ダウンミックス信号 M力 分離されるため、その第 2ダウンミツ
2 1
タス信号 Mの算出には、第 1ダウンミックス信号 Mと、それに対応する無相関信号 w
2 1
の構成要素 M とが用いられる。
l'rev
[0055] したがって、左前オーディオ信号 Lは、下記の（数 4)〖こより示される。
f
[0056] [数 4]
L} = H、レ Mつ + H、つ A M^ ,
Figure imgf000010_0001
M】 = Hn £ x + H]2 £ x m,
[0057] ここで、（数 4)中の Η は、第 3分離部 1243におけるミキシング係数であり、 Η は ij,A ij,D
、第 2分離部 1242におけるミキシング係数であり、 Η は、第 1分離部 1241における ϋ,Ε
ミキシング係数である。（数 4)に示す 3つの数式は、以下の（数 5)に示す一つのベタ トル乗算式にまとめることができる。
[0058] [数 5]
Μ
Μ,
Μ、,
Η 0 0
Μ2
Μ3
Μ、
[0059] 左前オーディオ信号 L以外の他のオーディオ信号 R , C, LFE, L , Rも、上述のよ f f s s うな行列と無相関信号 wの行列との演算によって算出される。つまり、出力信号 yは、 下記の（数 6)によって示される。
[0060] [数 6]
Figure imgf000011_0001
[0061] 図 7は、ダウンミックス信号を説明するための説明図である。
[0062] ダウンミックス信号は、通常、図 7に示されるように時間 Z周波数ハイブリッド表現で 表現される。つまり、ダウンミックス信号は、時間軸方向に沿って時間単位であるパラ メータセット psに分けられ、さらに、空間軸方向に沿ってサブバンド単位であるパラメ ータバンド pbに分けられて表現される。したがって、バイノーラルキュー情報は、バン ド (ps, pb)ごとに算出される。また、プレマトリックス処理部 1251およびポストマトリツ タス処理部 1252はそれぞれ、ノ ンド (ps, pb)ごとに行列 R (ps, pb)と行列 R (ps, p
1 2 b)とを算出する。
[0063] 図 8は、プレマトリックス処理部 1251およびポストマトリックス処理部 1252の詳細な 構成を示すブロック図である。
[0064] プレマトリックス処理部 1251は、行列式生成部 1251aと内挿部 1251bとを備えて いる。
[0065] 行列式生成部 125 laは、ノ ンド (ps, pb)ごとのバイノーラルキュー情報から、バン ド (ps, pb)ごとの行列 R (ps, pb)を生成する。
1
[0066] 内挿部 1251bは、バンド (ps, pb)ごとの行列 R (ps, pb)を、周波数高分解能時間
1
インデックス n、およびハイブリッド表現の入力信号 Xのサブ ·サブバンドインデックス s bに従ってマッピング、つまり内挿する。その結果、内挿部 1251bは、（n, sb)ごとの 行列 R (n, sb)を生成する。このように内挿部 1251bは、複数のバンドの境界に渡る
1
行列 Rの遷移が滑らかであることを保証する。
1
[0067] ポストマトリックス処理部 1252は、行列式生成部 1252aと内挿部 1252bとを備えて いる。
[0068] 行列式生成部 1252aは、ノ ンド (ps, pb)ごとのバイノーラルキュー情報から、バン ド (ps, pb)ごとの行列 R (ps, pb)を生成する。
2
[0069] 内挿部 1252bは、バンド (ps, pb)ごとの行列 R (ps, pb)を、周波数高分解能時間
2
インデックス n、およびハイブリッド表現の入力信号 Xのサブ ·サブバンドインデックス s bに従ってマッピング、つまり内挿する。その結果、内挿部 1252bは、（n, sb)ごとの 行列 R (n, sb)を生成する。このように内挿部 1252bは、複数のバンドの境界に渡る
2
行列 Rの遷移が滑らかであることを保証する。
2
非特許文献 1 :J. Herre、 et al、 "The Reference Model Architecture f or MPEG Spatial Audio Coding J\ 118th AES Convention, Barcel ona
発明の開示
発明が解決しょうとする課題
[0070] し力しながら、従来のマルチチャンネル音響信号処理装置では演算負荷が多大で あるという問題がある。
[0071] つまり、従来のマルチチャンネル合成部 1240のプレマトリックス処理部 1251、ポス トマトリックス処理部 1252、第 1演算部 1253、および第 2演算部 1255における演算 負荷は多大なものとなる。
[0072] そこで、本発明は、力かる問題に鑑みてなされたものであって、演算負荷を軽減し たマルチチャンネル音響信号処理装置を提供することを目的とする。
課題を解決するための手段
[0073] 上記目的を達成するために、本発明に係るマルチチャンネル音響信号処理装置は 、 mチャンネル (m> 1)のオーディオ信号がダウンミックスされて構成される入力信号 から、前記 mチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処 理装置であって、前記入力信号に対して残響処理を行うことにより、前記入力信号の 示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手 段と、前記無相関信号生成手段により生成された無相関信号および前記入力信号 に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行う ことにより、前記 mチャンネルのオーディオ信号を生成する行列演算手段とを備える ことを特徴とする。 [0074] これにより、無相関信号が生成された後に、信号強度レベルの配分および残響の 配分を示す行列を用いた演算が行われるため、従来のように、信号強度レベルの配 分を示す行列の演算と残響の配分を示す行列の演算とを、無相関信号の生成の前 後で分けて行うことなぐこれらの行列演算をまとめて行うことができる。その結果、演 算負荷を軽減することができる。つまり、信号強度レベルの配分を行う処理が無相関 信号の生成の後に行われて分離されたオーディオ信号と、信号強度レベルの配分を 行う処理が無相関信号の生成の前に行われて分離されたオーディオ信号とは類似し ている。したがって、本発明では、近似計算を適用することにより、行列演算をまとめ ることができるのである。その結果、演算に用いられるメモリの容量を減らすことができ 、装置の小型化を図ることができる。
[0075] また、前記行列演算手段は、前記信号強度レベルの配分を示すレベル配分行列と 、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリック ス生成手段と、前記無相関信号および前記入力信号により示される行列と、前記マト リックス生成手段によって生成された統合行列との積を算出することにより、前記 mチ ヤンネルのオーディオ信号を生成する演算手段とを備えることを特徴としてもよい。
[0076] これにより、統合行列を用いた行列演算を 1回だけ行えば、入力信号から mチャン ネルのオーディオ信号が分離されるため、演算負荷を確実に軽減することができる。
[0077] また、前記マルチチャンネル音響信号処理装置は、さらに、前記無相関信号およ び統合行列に対する前記入力信号の位相を調整する位相調整手段を備えることを 特徴としてもよい。例えば、前記位相調整手段は、経時的に変化する前記統合行列 または前記入力信号を遅延させる。
[0078] これにより、無相関信号の生成に遅延が生じても、入力信号の位相が調整されるた め、無相関信号および入力信号に対して、適切な統合行列を用いた演算を行うこと ができ、 mチャンネルのオーディオ信号を適切に出力することができる。
[0079] また、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相 関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させることを特徴 としてもよい。または、前記位相調整手段は、前記無相関信号生成手段により生成さ れる前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の 処理に要する時間だけ、前記統合行列または前記入力信号を遅延させることを特徴 としてちよい。
[0080] これにより、統合行列または入力信号の遅延量が、無相関信号の遅延時間と略等 しくなるため、無相関信号および入力信号に対して、より適切な統合行列を用いた演 算を行うことができ、 mチャンネルのオーディオ信号をより適切に出力することができ る。
[0081] また、前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生す る場合に、前記位相を調整することを特徴としてもょ ヽ。
[0082] これにより、プリエコーが検知されるのを確実に防ぐことができる。
[0083] なお、本発明は、このようなマルチチャンネル音響信号処理装置として実現すること ができるだけでなぐ集積回路や、方法、プログラム、そのプログラムを格納する記憶 媒体としても実現することができる。
発明の効果
[0084] 本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができ るという作用効果を奏する。つまり、本発明では、ビットストリームシンタクスの変形や、 認識可能なほどの音質の低下を引き起こすことなく、マルチチャンネル音響デコーダ の処理の複雑性を軽減することができる。
図面の簡単な説明
[0085] [図 1]図 1は従来のマルチチャンネル音響信号処理装置の構成を示すブロック図であ る。
[図 2]図 2は同上のマルチチャンネル合成部の機能構成を示す機能ブロック図である
[図 3]図 3は同上のノイノーラルキュー算出部の構成を示すブロック図である。
[図 4]図 4は同上のマルチチャンネル合成部の構成を示す構成図である。
[図 5]図 5は同上の無相関信号生成部の構成を示すブロック図である。
[図 6]図 6は同上の無相関信号生成部のインパルス応答を示す図である。
[図 7]図 7は同上のダウンミックス信号を説明するための説明図である。
[図 8]図 8は同上のプレマトリックス処理部およびポストマトリックス処理部の詳細な構 成を示すブロック図である。
[図 9]図 9は本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構 成を示すブロック図である。
[図 10]図 10は同上のマルチチャンネル合成部の構成を示すブロック図である。
[図 11]図 11は同上のマルチチャンネル合成部の動作を示すフローチャートである。
[図 12]図 12は同上の簡略ィ匕されたマルチチャンネル合成部の構成を示すブロック図 である。
[図 13]図 13は同上の簡略ィ匕されたマルチチャンネル合成部の動作を示すフローチ ヤートである。
[図 14]図 14は同上のマルチチャンネル合成部によって出力される信号を説明するた めの説明図である。
[図 15]図 15は同上の変形例 1に係るマルチチャンネル合成部の構成を示すブロック 図である。
[図 16]図 16は同上の変形例 1に係るマルチチャンネル合成部によって出力される信 号を説明するための説明図である。
[図 17]図 17は同上の変形例 1に係るマルチチャンネル合成部の動作を示すフロー チャートである。
[図 18]図 18は同上の変形例 2に係るマルチチャンネル合成部の構成を示すブロック 図である。
[図 19]図 19は同上の変形例 2に係るマルチチャンネル合成部の動作を示すフロー チャートである。
符号の説明
100 マルチチャンネル音響信号処理装置
100a マルチチャンネル音響符号ィ匕部
100b マルチチャンネル音響復号ィ匕部
110 ダウンミックス部
120 ノイノーラルキュー算出部
130 オーディオエンコーダ部 140 多重化部
150 逆多重化部
160 オーディオデコーダ部
170 分析フィルタ部
180 マルチチャンネル合成部
181 無相関信号生成部
182 第 1演算部
183 第 2演算部
184 プレマトリックス処理部
185 ポストマトリックス処理部
186 第 3演算部
187 マトリックス処理部
190 合成フィルタ部
発明を実施するための最良の形態
[0087] 以下、本発明の実施の形態におけるマルチチャンネル音響信号処理装置につい て図面を参照しながら説明する。
[0088] 図 9は、本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成 を示すブロック図である。
[0089] 本実施の形態におけるマルチチャンネル音響信号処理装置 100は、演算負荷を 軽減したものであって、オーディオ信号の組に対する空間音響符号ィ匕を行って音響 符号ィ匕信号を出力するマルチチャンネル音響符号ィ匕部 100aと、その音響符号ィ匕信 号を復号ィ匕するマルチチャンネル音響復号ィ匕部 100bとを備えている。
[0090] マルチチャンネル音響符号化部 100aは、 1024サンプルや 2048サンプルなどに よって示されるフレーム単位で入力信号 (例えば、入力信号 L, R)を処理するもので あって、ダウンミックス部 110と、バイノーラルキュー算出部 120と、オーディオェンコ ーダ部 130と、多重化部 140とを備えている。
[0091] ダウンミックス部 110は、 2チャンネルのスペクトル表現されたオーディオ信号 L, R の平均をとることによって、つまり、 M= (L+R) Z2によって、オーディオ信号 L,尺が ダウンミックスされたダウンミックス信号 Mを生成する。
[0092] ノイノーラルキュー算出部 120は、スペクトルバンドごとに、オーディオ信号 L,尺お よびダウンミックス信号 Mを比較することによって、ダウンミックス信号 Mをオーディオ 信号 L, Rに戻すためのノイノーラルキュー情報を生成する。
[0093] バイノーラルキュー情報は、チャンネル間レベル差（inter- channel level/intensity di fference) IID、チャンネノレ間相関 (inter- channel coherence/correlation) ICC、チャン ネル間位相差（inter- channel phase/delay difference) IPD、およびチャンネル予測係 数（Channel Prediction Coefficients) CPCを示す。
[0094] 一般に、チャンネル間レベル差 IIDは、音のバランスや定位を制御するための情報 であって、チャンネル間相関 ICCは、音像の幅や拡散性を制御するための情報であ る。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメ一 タである。
[0095] スペクトル表現されたオーディオ信号 L, Rおよびダウンミックス信号 Mは、「パラメ一 タバンド」力もなる通常複数のグループに区分されている。したがって、バイノーラル キュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュ 一情報」と「空間パラメータ」 t 、う用語はしばしば同義的に用いられる。
[0096] オーディオエンコーダ部 130は、例えば、 MP3 (MPEG Audio Layer- 3)や、 AAC ( Advanced Audio Coding)などによって、ダウンミックス信号 Mを圧縮符号化する。
[0097] 多重化部 140は、ダウンミックス信号 Mと、量子化されたバイノーラルキュー情報と を多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符 号化信号として出力する。
[0098] マルチチャンネル音響復号ィ匕部 100bは、逆多重化部 150と、オーディオデコーダ 部 160と、分析フィルタ部 170と、マルチチャンネル合成部 180と、合成フィルタ部 19 0とを備えている。
[0099] 逆多重化部 150は、上述のビットストリームを取得し、そのビットストリームから量子 化されたバイノーラルキュー情報と、符号化されたダウンミックス信号 Mとを分離して 出力する。なお、逆多重化部 150は、量子化されたバイノーラルキュー情報を逆量子 化して出力する。 [0100] オーディオデコーダ部 160は、符号化されたダウンミックス信号 Mを復号化して分 析フィルタ部 170に出力する。
[0101] 分析フィルタ部 170は、ダウンミックス信号 Mの表現形式を、時間 Z周波数ハイプリ ッド表現に変換して出力する。
[0102] マルチチャンネル合成部 180は、分析フィルタ部 170から出力されたダウンミックス 信号 Mと、逆多重化部 150から出力されたバイノーラルキュー情報とを取得する。そ して、マルチチャンネル合成部 180は、そのバイノーラルキュー情報を用いて、ダウン ミックス信号 Mから、 2つのオーディオ信号 L, Rを時間 Z周波数ハイブリッド表現で 復元する。
[0103] 合成フィルタ部 190は、復元されたオーディオ信号の表現形式を、時間 Z周波数 ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号 L, Rを出 力する。
[0104] なお、上述では、 2チャンネルのオーディオ信号を符号ィ匕して復号ィ匕する例を挙げ て本実施の形態のマルチチャンネル音響信号処理装置 100を説明したが、本実施 の形態のマルチチャンネル音響信号処理装置 100は、 2チャンネルよりも多!、チャン ネルのオーディオ信号（例えば、 5. 1チャンネル音源を構成する、 6つのチャンネル のオーディオ信号)を、符号ィ匕および復号ィ匕することもできる。
[0105] ここで本実施の形態では、マルチチャンネル音響復号処理部 100bのマルチチャン ネル合成部 180に特徴がある。
[0106] 図 10は、本発明の実施の形態におけるマルチチャンネル合成部 180の構成を示 すブロック図である。
[0107] 本実施の形態におけるマルチチャンネル合成部 180は、演算負荷を軽減したもの であって、無相関信号生成部 181と、第 1演算部 182と、第 2演算部 183と、プレマト リックス処理部 184と、ポストマトリックス処理部 185とを備えている。
[0108] 無相関信号生成部 181は、上述の無相関信号生成部 1254と同様に構成され、ォ ールパスフィルタ D200などを備えている。このような無相関信号生成部 181は、時 間 Z周波数ハイブリッド表現のダウンミックス信号 Mを入力信号 Xとして取得する。そ して、無相関信号生成部 181は、その入力信号 Xに対して残響処理を行なうことによ り、その入力信号 xの示す音に残響が含まれるような音を示す無相関信号 w'を生成 して出力する。つまり、無相関信号生成部 181は、入力信号 Xを示すベクトルを x= ( M, M, M, M、 M)として、（数 7)に示すように無相関信号 w'を生成する。なお、無 相関信号 w 'は、入力信号 Xに対して相互相関が低い信号である。
[0109] [数 7]
Mr
it'1 = decorr(x) = Mr
Mr
M,
[0110] プレマトリックス処理部 184は、行列式生成部 184aと内挿部 184bとを備え、ノイノ 一ラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、信号強度レベル の各チャンネルへの配分を示す行列 R
1を生成する。
[0111] 行列式生成部 184aは、バイノーラルキュー情報のチャンネル間レベル差 IIDを用 いて、ベクトル要素 R [1]
1 〜R [5]によって構成される上述の行列 Rをバンド（ps, pb
1 1
)ごとに生成する。つまり、行列 Rは時間経過に伴って変化する。
1
[0112] 内挿部 184bは、バンド (ps, pb)ごとの行列 R (ps, pb)を、周波数高分解能時間ィ
1
ンデッタス n、およびハイブリッド表現の入力信号 Xのサブ'サブバンドインデックス sb に従ってマッピング、つまり内挿する。その結果、内挿部 184bは、（n, sb)ごとの行 列 R (n, sb)を生成する。このように内挿部 184bは、複数のバンドの境界に渡る行列
1
R
1の遷移が滑らかであることを保証する。
[0113] 第 1演算部 182は、無相関信号 w'の行列と行列 Rとの積を算出することにより、 (
1
数 8)に示すように中間信号 zを生成して出力する。
[0114] [数 8] R, [l] 0 0 0 0 M
0 R} [l] 0 0 0 M
R^decorr x) = 0 0 R、 [3] 0 0 M
0 0 0 ] 0 M
0 0 0 0 ]— M
Figure imgf000020_0001
[0115] ポストマトリックス処理部 185は、行列式生成部 185aと内挿部 185bとを備え、バイ ノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、残響の各チヤ ンネルへの配分を示す行列 Rを生成する。
2
[0116] 行列式生成部 185aは、バイノーラルキュー情報のチャンネル間相関 ICC力もミキ シング係数 Hを導出し、そのミキシング係数 Hカゝら構成される上述の行列 Rをバンド
2
(ps, pb)ごとに生成する。つまり、行列 Rは時間経過に伴って変化する。
2
[0117] 内挿部 185bは、バンド (ps, pb)ごとの行列 R (ps, pb)を、周波数高分解能時間ィ
2
ンデッタス n、およびハイブリッド表現の入力信号 Xのサブ'サブバンドインデックス sb に従ってマッピング、つまり内挿する。その結果、内挿部 185bは、（n, sb)ごとの行 列 R (n, sb)を生成する。このように内挿部 185bは、複数のバンドの境界に渡る行列
2
Rの遷移が滑らかであることを保証する。
2
[0118] 第 2演算部 183は、（数 9)に示すように、中間信号 zの行列と行列 Rとの積を算出し
2
、その演算結果を示す出力信号 yを出力する。つまり、第 2演算部 183は、中間信号 z力ら、 6つのオーディオ信号 L , R , L , R , C, LFEを分離する。
[0119] [数 9] つ-, c C
A"- —LFE
[0120] このように本実施の形態では、入力信号 Xに対して無相関信号 w'が生成されて、そ の無相関信号 w'に対して行列 Rを用いた行列演算が行われる。つまり、従来では、
1
入力信号 Xに対して行列 R
1を用いた行列演算が行われて、その演算結果である中間 信号 Vに対して無相関信号 Wが生成されるが、本実施の形態では、その逆の順序で 処理が行われる。
[0121] しかし、このように処理順序を逆にしても、（数 8)に示す R decorr (x)が、（数 3)に
1
示す decorr (V)つまり decorr (R x)に略等しいことが経験上分かっている。即ち、本
1
実施の形態における第 2演算部 183で行列 Rの行列演算の対象とされる中間信号 z
2
は、従来の第 2演算部 1255で行列 Rの行列演算の対象とされる無相関信号 wと略
2
等しい。
[0122] したがって、本実施の形態のように、処理順序を従来と逆にしても、マルチチャンネ ル合成部 180は、従来と同様の出力信号 yを出力することができる。
[0123] 図 11は、本実施の形態におけるマルチチャンネル合成部 180の動作を示すフロー チャートである。
[0124] まず、マルチチャンネル合成部 180は、入力信号 Xを取得して (ステップ S100)、そ の入力信号 Xに対する無相関信号 w'を生成する (ステップ S 102)。また、マルチチヤ ンネル合成部 180は、ノイノーラルキュー情報に基づいて行列 Rおよび行列 Rを生
1 2 成する（ステップ S 104)。
[0125] そして、マルチチャンネル合成部 180は、ステップ S 104で生成された行列 Rと、入
1 力信号 Xおよび無相関信号 w'により示される行列との積を算出することにより、つまり 行列 Rによる行列演算を行うことにより、中間信号 zを生成する (ステップ S 106)。
1
[0126] さらに、マルチチャンネル合成部 180は、ステップ S104で生成された行列 Rと、そ の中間信号 zにより示される行列との積を算出することにより、つまり行列 Rによる行
2 列演算を行うことにより、出力信号 yを生成する (ステップ S106)。
[0127] このように本実施の形態では、無相関信号が生成された後に、信号強度レベルの 配分および残響の配分を示す行列 Rおよび行列 Rを用いた演算が行われるため、
1 2
従来のように、信号強度レベルの配分を示す行列 Rを用いた演算と残響の配分を示
1
す行列 Rを用いた演算とを、無相関信号の生成の前後で分けて行うことなぐこれら
2
の行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる
[0128] ここで、本実施の形態におけるマルチチャンネル合成部 180では、上述のように処 理順序が変更されているため、図 10に示すマルチチャンネル合成部 180の構成をさ らに簡略ィ匕することができる。
[0129] 図 12は、簡略ィ匕されたマルチチャンネル合成部 180の構成を示すブロック図であ る。
[0130] このマルチチャンネル合成部 180は、第 1演算部 182および第 2演算部 183の代わ りに第 3演算部 186を備えるとともに、プレマトリックス処理部 184およびポストマトリツ タス処理部 185の代わりにマトリックス処理部 187を備える。
[0131] マトリックス処理部 187は、プレマトリックス処理部 184とポストマトリックス処理部 18
5とを統合して構成されており、行列式生成部 187aと内挿部 187bとを備えている。
[0132] 行列式生成部 187aは、バイノーラルキュー情報のチャンネル間レベル差 IIDを用 いて、ベクトル要素 R [1]〜R [5]によって構成される上述の行列 Rをバンド（ps, pb
1 1 1
)ごとに生成する。さらに、行列式生成部 187aは、バイノーラルキュー情報のチャン ネル間相関 ICCカゝらミキシング係数 Hを導出し、そのミキシング係数 Hから構成され る上述の行列 Rをバンド (ps, pb)ごとに生成する。
2
[0133] さらに、行列式生成部 187aは、上述のように生成された行列 Rと行列 Rとの積を
1 2 算出することで、その算出結果である行列 Rを統合行列としてバンド (ps, pb)ごとに
3
生成する。
[0134] 内挿部 187bは、バンド (ps, pb)ごとの行列 R (ps, pb)を、周波数高分解能時間ィ
3
ンデックス n、およびハイブリッド表現の入力信号 Xのサブ ·サブバンドインデックス sb に従ってマッピング、つまり内挿する。その結果、内挿部 187bは、（n, sb)ごとの行 列 R (n, sb)を生成する。このように内挿部 187bは、複数のバンドの境界に渡る行列
3
Rの遷移が滑らかであることを保証する。
3
[0135] 第 3演算部 186は、（数 10)に示すように、無相関信号 w'および入力信号 xにより 示される行列と、行列 R
3との積を算出することにより、その算出結果を示す出力信号 yを出力する。
[0136] [数 10]
Figure imgf000023_0001
[0137] このように本実施の形態では、内挿部 187bにおける内挿回数 (補間回数）は、従 来の内挿部 125 lbおよび内挿部 1252bにおける内挿回数 (補間回数）と比較して略 半分となり、第 3演算部 186における乗算回数 (行列演算の回数）は、従来の第 1演 算部 1253および第 2演算部 1255における乗算回数 (行列演算の回数)と比較して 略半分となる。つまり、本実施の形態では、行列 R
3を用いた行列演算を 1回だけ行え ば、入力信号 Xから複数のチャンネルのオーディオ信号が分離される。一方、本実施 の形態では、行列式生成部 187aの処理が若干増加する。ところが、行列式生成部 1 87aにおけるバイノーラルキュー情報のバンド分解能 (ps, pb)は、内挿部 187bや第 3演算部 186において扱われるバンド分解能 (n, sb)よりも粗い。したがって、行列式 生成部 187aの演算負荷は、内挿部 187bや第 3演算部 186に比べて小さぐ全体の 演算負荷に占める割合は小さい。よって、マルチチャンネル合成部 180の全体およ びマルチチャンネル音響信号処理装置 100の全体の演算負荷を大幅に削減するこ とがでさる。
[0138] 図 13は、簡略化されたマルチチャンネル合成部 180の動作を示すフローチャート である。 [0139] まず、マルチチャンネル合成部 180は、入力信号 Xを取得して (ステップ S120)、そ の入力信号 Xに対する無相関信号 w'を生成する (ステップ S 120)。また、マルチチヤ ンネル合成部 180は、ノイノーラルキュー情報に基づいて、行列 Rおよび行列 Rの
1 2 積を示す行列 Rを生成する (ステップ S 124)。
3
[0140] そして、マルチチャンネル合成部 180は、ステップ S 124で生成された行列 Rと、入
3 力信号 Xおよび無相関信号 W'により示される行列との積を算出することにより、つまり 行列 Rによる行列演算を行うことにより、出力信号 yを生成する (ステップ S 126)。
3
[0141] (変形例 1)
ここで本実施の形態における第 1の変形例について説明する。
[0142] 上記実施の形態におけるマルチチャンネル合成部 180では、無相関信号生成部 1 81が無相関信号 w'を入力信号 Xに対して遅延させて出力するため、第 3演算部 18 6において、演算の対象となる入力信号 Xと無相関信号 w'と行列 Rを構成する行列 R
3
との間でずれが生じて同期が取れない。なお、無相関信号 W'の遅延は、その無相
1
関信号 w'の生成のために必然的に発生する。一方、従来例では、第 1演算部 1253 において、演算の対象となる入力信号 Xと行列 Rとの間でずれは生じていない。
1
[0143] したがって、上記実施の形態におけるマルチチャンネル合成部 180では、本来出 力すべき理想的な出力信号 yを出力することができない可能性がある。
[0144] 図 14は、上記実施の形態におけるマルチチャンネル合成部 180によって出力され る信号を説明するための説明図である。
[0145] 例えば、入力信号 Xは、図 14に示すように、時刻 t = 0から出力される。また、行列 R を構成する行列 Rには、オーディオ信号 Lに寄与する成分である行列 R1と、ォー
3 1 し
ディォ信号 Rに寄与する成分である行列 R1
Rとが含まれている。例えば、行列 R1
しお よび行列 R1は、バイノーラルキュー情報に基づいて、図 14に示すように、時刻 t=0
R
以前ではオーディオ信号 Rにレベルが大きく配分され、時刻 t=0〜tlの時間ではォ 一ディォ信号 Lにレベルが大きく配分され、時刻 t = tl以降ではオーディオ信号尺に レベルが大きく配分されるように設定されて!ヽる。
[0146] ここで、従来のマルチチャンネル合成部 1240では、入力信号 Xと上述の行列 Rと
1 の間で同期が取れているため、入力信号 X力 行列 R1と行列 R1に応じて中間信 号 vが生成されると、オーディオ信号 Lにレベルが大きく偏るような中間信号 Vが生成 される。そして、この中間信号 Vに対して無相関信号 wが生成される。その結果、入力 信号 Xから、無相関信号生成部 1254による無相関信号 wの遅延時間 tdだけ遅れて 、残響を含む出力信号 yがオーディオ信号 Lとして出力され、オーディオ信号 Rであ し
る出力信号 yは出力されない。このような出力信号 y , yが理想的な出力の一例とさ
R L R
れる。
[0147] 一方、上記実施の形態におけるマルチチャンネル合成部 180では、まず、入力信 号 Xカゝら遅延時間 tdだけ遅れて、残響を含む無相関信号 w'が出力される。ここで、 第 3演算部 186によって扱われる行列 Rには、上述の行列 R (行列 R1および行列
3 1 し
R1 )が含まれている。したがって、入力信号 Xと無相関信号 w，に行列 Rを用いた行
R 3 列演算が行われると、入力信号 χ、無相関信号 w'および行列 Rとの間で同期が取れ
1
ていないため、オーディオ信号 Lである出力信号 yは、時刻 t = td〜tlの間だけ出力 し
され、オーディオ信号 Rである出力信号 yは、時刻 t=tl以降に出力される。
R
[0148] このように、マルチチャンネル合成部 180では、出力信号 yのみを出力すべきとこ し
ろ、出力信号 yも出力してしまう。即ち、チャンネルセパレーシヨンの劣化が発生する
R
[0149] そこで、本変形例に力かるマルチチャンネル合成部は、無相関信号 w，および行列 R
3に対する入力信号 Xの位相を調整する位相調整手段を備え、この位相調整手段 は行列式生成部 187dから出力される行列 Rを遅延させる。
3
[0150] 図 15は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である
[0151] 本変形例に係るマルチチャンネル合成部 180aは、無相関信号生成部 181aと、第
3演算部 186と、マトリックス処理部 187cとを備えている。
[0152] 無相関信号生成部 181aは、上述の無相関信号生成部 181と同様の機能を有する とともに、無相関信号 w，のパラメータバンド pbにおける遅延量 TD (pb)をマトリックス 処理部 187cに通知する。例えば、遅延量 TD (pb)は、無相関信号 w'の入力信号 X に対する遅延時間 tdと等 U 、。
[0153] マトリックス処理部 187cは、行列式生成部 187dと内挿部 187bとを備えている。行 列式生成部 187dは、上述の行列式生成部 187aと同様の機能を有するとともに上述 の位相調整手段を備え、無相関信号生成部 181aから通知された遅延量 TD (pb)に 応じた行列 Rを生成する。つまり、行列式生成部 187dは、（数 11)に示すような行列
3
R
3を生成する。
[0154] [数 11]
R3 (ps: pb) = R2 {ps, pb)Rx {ps - TD{pb pb)
[0155] 図 16は、本変形例に係るマルチチャンネル合成部 180aによって出力される信号を 説明するための説明図である。
[0156] 行列 Rに含まれる行列 R (行列 R1および行列 R1 )は、入力信号 xのパラメータバ
3 1 L R
ンド pbに対して遅延量 TD (pb)だけ遅れて行列式生成部 187dから生成される。
[0157] その結果、無相関信号 w'が入力信号 X力 遅延時間 tdだけ遅れて出力されても、 行列 Rに含まれる行列 R (行列 R1および行列 R1 )も遅延量 TD (pb)だけ遅れてい
3 1 L R
る。したがって、このような行列 Rと入力信号 Xと無相関信号 w'との間のずれを解消
1
して同期を取ることができる。その結果、マルチチャンネル合成部 180aの第 3演算部 186は、出力信号 yのみを時刻 t=tdから出力して、出力信号 yを出力しない。つま し R
り、第 3演算部 186は、理想的な出力信号 y , yを出力することができる。したがって し R
、本変形例では、チャンネルセパレーシヨンの劣化を抑えることができる。
[0158] なお、本変形例では、遅延時間 td=遅延量 TD (pb)としたが、これらを異ならせて もよい。また、行列式生成部 187dは、所定処理単位 (例えば、ノンド (ps, pb) )ごと に行列 Rを生成しているので、遅延量 TD (pb)を、遅延時間 tdに最も近い、その所
3
定処理単位の整数倍の処理に要する時間にしてもよい。
[0159] 図 17は、本変形例に係るマルチチャンネル合成部 180aの動作を示すフローチヤ ートである。
[0160] まず、マルチチャンネル合成部 180aは、入力信号 xを取得して（ステップ S140)、 その入力信号 Xに対する無相関信号 w'を生成する (ステップ S 142)。また、マルチチ ヤンネル合成部 180aは、ノイノーラルキュー情報に基づいて、行列 Rおよび行列 R
1 2 の積を示す行列 Rを、遅延量 TD (pb)だけ遅延させて生成する (ステップ S 144)。言 い換えれば、マルチチャンネル合成部 180aは、行列 Rに含まれる行列 Rを位相調
3 1 整手段によって遅延量 TD (pb)だけ遅延させる。
[0161] そして、マルチチャンネル合成部 180aは、ステップ S 144で生成された行列 Rと、
3 入力信号 Xおよび無相関信号 W'により示される行列との積を算出することにより、つ まり行列 Rによる行列演算を行うことにより、出力信号 yを生成する (ステップ S 146)。
3
[0162] このように、本変形例では、行列 Rに含まれる行列 Rを遅延させることで、入力信
3 1
号 Xの位相を調整するため、無相関信号 W'および入力信号 Xに対して、適切な行列
R
3を用いた演算を行うことができ、出力信号 yを適切に出力することができる。
[0163] (変形例 2)
ここで本実施の形態における第 2の変形例について説明する。
[0164] 本変形例に係るマルチチャンネル合成部は、上述の変形例 1に係るマルチチャン ネル合成部と同様に、無相関信号 w'および行列 Rに対する入力信号 Xの位相を調
3
整する位相調整手段を備える。そして、本変形例に係る位相調整手段は、入力信号 Xの第 3演算部 186への入力を遅延させる。これにより本変形例においても、上述と 同様に、チャンネルセパレーシヨンの劣化を抑えることができる。
[0165] 図 18は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である
[0166] 本変形例に係るマルチチャンネル合成部 180bは、入力信号 Xの第 3演算部 186へ の入力を遅延させる位相調整手段たる信号遅延部 189を備えている。信号遅延部 1 89は、例えば無相関信号生成部 181の遅延時間 tdだけ入力信号 Xを遅延させる。
[0167] これにより、本変形例では、無相関信号 w'が入力信号 Xから遅延時間 tdだけ遅れ て出力されても、入力信号 Xの第 3遅延部 186への入力も遅延時間 tdだけ遅延され るため、行列 Rを構成する行列 Rと入力信号 Xと無相関信号 w'との間のずれを解消
3 1
して同期を取ることができる。その結果、マルチチャンネル合成部 180aの第 3演算部 186は、図 16に示すように、出力信号 yのみを時刻 t=tdから出力し、出力信号 yを し R 出力しない。つまり、第 3演算部 186は、理想的な出力信号 y , yを出力することがで し R
きる。したがって、チャンネルセパレーシヨンの劣化を抑えることができる。
[0168] なお、本変形例でも、遅延時間 td=遅延量 TD (pb)としたが、これらを異ならせても よい。また、信号遅延部 189が所定処理単位 (例えば、ノンド (ps, pb) )ごとに遅延 処理をしているような場合には、遅延量 TD (pb)を、遅延時間 tdに最も近い、その所 定処理単位の整数倍の処理に要する時間にしてもよい。
[0169] 図 19は、本変形例に係るマルチチャンネル合成部 180bの動作を示すフローチヤ ートである。
[0170] まず、マルチチャンネル合成部 180bは、入力信号 Xを取得して (ステップ S160)、 その入力信号 Xに対する無相関信号 w'を生成する (ステップ S162)。さらに、マルチ チャンネル合成部 180bは入力信号 Xを遅延させる (ステップ S164)。
[0171] また、マルチチャンネル合成部 180bは、ノイノーラルキュー情報に基づいて、行列 Rおよび行列 Rの積を示す行列 Rを生成する（ステップ S 166)。
1 2 3
[0172] そして、マルチチャンネル合成部 180bは、ステップ S 166で生成された行列 Rと、
3 ステップ S164で遅延された入力信号 Xおよび無相関信号 w'により示される行列との 積を算出することにより、つまり行列 R
3による行列演算を行うことにより、出力信号 yを 生成する（ステップ S 168)。
[0173] このように、本変形例では、入力信号 Xを遅延させることで、入力信号 Xの位相を調 整するため、無相関信号 w'および入力信号 Xに対して、適切な行列 R
3を用いた演算 を行うことができ、出力信号 yを適切に出力することができる。
[0174] 以上、本発明に係るマルチチャンネル音響信号処理装置にっ ヽて、実施の形態お よびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。
[0175] 例えば、変形例 1および変形例 2における位相調整手段は、予め定められた検知 限度以上にプリエコーが発生する場合に限って、位相を調整してもよい。
[0176] つまり、上述の変形例 1では、行列式生成部 187dに含まれる位相調整手段が行列
Rを遅延させ、上述の変形例 2では、位相調整手段たる信号遅延部 189が入力信号
3
Xを遅延させた。しかし、それらの位相遅延手段は、プリエコーが上記検知限度以上 に発生する場合に限って遅延させてもよい。このプリエコーは、衝撃音の直前に発生 するノイズであって、無相関信号 w'の遅延時間 tdに応じて発生しやすくなる。これに より、プリエコーが検知されるのを確実に防ぐことができる。
[0177] また、マルチチャンネル音響信号処理装置 100や、マルチチャンネル音響符号ィ匕 部 100a、マルチチャンネル音響復号化部 100b、マルチチャンネル合成部 180, 18 Oa, 180b,さらにこれらに含まれる各構成要素を、 LSI (Large Scale Integration)な どの集積回路によって構成してもよい。さらに、本発明は、これらの装置および各構 成要素における動作をコンピュータに実行させるプログラムとしても実現することがで きる。
産業上の利用可能性
本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができ るという効果を奏し、例えば、ホームシアターシステム、車載音響システムおよび電子 ゲームシステムなどに適用可能であり、特に放送等の低ビットレートの応用において 有用である。

Claims

請求の範囲
[1] mチャンネル (m> 1)のオーディオ信号がダウンミックスされて構成される入力信号 から、前記 mチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処 理装置であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響 が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、
前記無相関信号生成手段により生成された無相関信号および前記入力信号に対 して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うこと により、前記 mチャンネルのオーディオ信号を生成する行列演算手段と
を備えることを特徴とするマルチチャンネル音響信号処理装置。
[2] 前記行列演算手段は、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残 響調整行列との積を示す統合行列を生成するマトリックス生成手段と、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成 手段によって生成された統合行列との積を算出することにより、前記 mチャンネルの オーディオ信号を生成する演算手段とを備える
ことを特徴とする請求項 1記載のマルチチャンネル音響信号処理装置。
[3] 前記マルチチャンネル音響信号処理装置は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調 整手段を備える
ことを特徴とする請求項 2記載のマルチチャンネル音響信号処理装置。
[4] 前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅 延させる
ことを特徴とする請求項 3記載のマルチチャンネル音響信号処理装置。
[5] 前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信 号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項 4記載のマルチチャンネル音響信号処理装置。
[6] 前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信 号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間 だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項 4記載のマルチチャンネル音響信号処理装置。
[7] 前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合 に、前記位相を調整する
ことを特徴とする請求項 3記載のマルチチャンネル音響信号処理装置。
[8] mチャンネル (m> 1)のオーディオ信号がダウンミックスされて構成される入力信号 から、前記 mチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処 理方法であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響 が含まれるような音を示す無相関信号を生成する無相関信号生成ステップと、 前記無相関信号生成ステップで生成された無相関信号および前記入力信号に対 して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うこと により、前記 mチャンネルのオーディオ信号を生成する行列演算ステップと
を含むことを特徴とするマルチチャンネル音響信号処理方法。
[9] 前記行列演算ステップでは、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残 響調整行列との積を示す統合行列を生成するマトリックス生成ステップと、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成 ステップで生成された統合行列との積を算出することにより、前記 mチャンネルのォ 一ディォ信号を生成する演算ステップとを含む
ことを特徴とする請求項 8記載のマルチチャンネル音響信号処理方法。
[10] 前記マルチチャンネル音響信号処理方法は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調 整ステップを含む
ことを特徴とする請求項 9記載のマルチチャンネル音響信号処理装置。
[11] 前記位相調整ステップでは、経時的に変化する前記統合行列または前記入力信 号を遅延させる ことを特徴とする請求項 10記載のマルチチャンネル音響信号処理方法。
[12] 前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相 関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項 11記載のマルチチャンネル音響信号処理方法。
[13] 前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相 関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する 時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項 11記載のマルチチャンネル音響信号処理方法。
[14] 前記位相調整ステップでは、予め定められた検知限度以上にプリエコーが発生す る場合に、前記位相を調整する
ことを特徴とする請求項 10記載のマルチチャンネル音響信号処理方法。
PCT/JP2006/313574 2005-09-01 2006-07-07 マルチチャンネル音響信号処理装置 WO2007029412A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US12/064,975 US8184817B2 (en) 2005-09-01 2006-07-07 Multi-channel acoustic signal processing device
JP2007534273A JP5053849B2 (ja) 2005-09-01 2006-07-07 マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法
CN2006800318516A CN101253555B (zh) 2005-09-01 2006-07-07 多声道音频信号处理装置及多声道音频信号处理方法
EP06767984.5A EP1921605B1 (en) 2005-09-01 2006-07-07 Multi-channel acoustic signal processing device
KR1020087004741A KR101277041B1 (ko) 2005-09-01 2006-07-07 멀티 채널 음향 신호 처리 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005253837 2005-09-01
JP2005-253837 2005-09-01

Publications (1)

Publication Number Publication Date
WO2007029412A1 true WO2007029412A1 (ja) 2007-03-15

Family

ID=37835541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313574 WO2007029412A1 (ja) 2005-09-01 2006-07-07 マルチチャンネル音響信号処理装置

Country Status (6)

Country Link
US (1) US8184817B2 (ja)
EP (1) EP1921605B1 (ja)
JP (1) JP5053849B2 (ja)
KR (1) KR101277041B1 (ja)
CN (1) CN101253555B (ja)
WO (1) WO2007029412A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114932A1 (ja) * 2010-03-17 2011-09-22 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
JP2013536461A (ja) * 2010-07-20 2013-09-19 ファーウェイ テクノロジーズ カンパニー リミテッド オーディオ信号合成器
JP2016536625A (ja) * 2013-09-27 2016-11-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 補間された行列を使ったマルチチャネル・オーディオのレンダリング

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527874B (zh) * 2009-04-28 2011-03-23 张勤 一种动声声场***
EP3144932B1 (en) 2010-08-25 2018-11-07 Fraunhofer Gesellschaft zur Förderung der Angewand An apparatus for encoding an audio signal having a plurality of channels
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
EP2830334A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
WO2015173422A1 (de) * 2014-05-15 2015-11-19 Stormingswiss Sàrl Verfahren und vorrichtung zur residualfreien erzeugung eines upmix aus einem downmix
JP2020508590A (ja) * 2017-02-17 2020-03-19 アンビディオ，インコーポレイテッド マルチチャネル・オーディオ信号をダウンミックスするための装置及び方法
US10133544B2 (en) 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
CN108665902B (zh) 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
CN108694955B (zh) * 2017-04-12 2020-11-17 华为技术有限公司 多声道信号的编解码方法和编解码器
FR3067511A1 (fr) * 2017-06-09 2018-12-14 Orange Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09501286A (ja) * 1993-08-03 1997-02-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 両立性マトリックス復号信号用多重チャンネル送・受信機装置及び方法
JP2000308200A (ja) * 1999-04-20 2000-11-02 Nippon Columbia Co Ltd 音響信号処理回路及び増幅装置
JP2001144656A (ja) * 1999-11-16 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 多チャンネル反響消去方法及び装置並びにそのプログラムを記録した記録媒体
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第１成分と第２成分を含む信号を処理する装置と方法
JP2004506947A (ja) * 2000-08-16 2004-03-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 補足情報に応答するオーディオ又はビデオ知覚符号化システムのパラメータ変調
JP2004521541A (ja) * 2001-02-09 2004-07-15 ティ エイチ エックス リミテッド サウンドシステム及びサウンド再生方法
JP2005523479A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ パラメータによるマルチチャンネルオーディオ表示

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4887297A (en) * 1986-12-01 1989-12-12 Hazeltine Corporation Apparatus for processing stereo signals and universal AM stereo receivers incorporating such apparatus
JP3654470B2 (ja) 1996-09-13 2005-06-02 日本電信電話株式会社 サブバンド多チャネル音声通信会議用反響消去方法
US6463410B1 (en) * 1998-10-13 2002-10-08 Victor Company Of Japan, Ltd. Audio signal processing apparatus
JP3387095B2 (ja) 1998-11-16 2003-03-17 日本ビクター株式会社 音声符号化装置
US6757659B1 (en) 1998-11-16 2004-06-29 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US6961432B1 (en) * 1999-04-29 2005-11-01 Agere Systems Inc. Multidescriptive coding technique for multistream communication of signals
JP2003500937A (ja) 1999-05-25 2003-01-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 音響エコー消去
US7254239B2 (en) * 2001-02-09 2007-08-07 Thx Ltd. Sound system and method of sound reproduction
US7433483B2 (en) * 2001-02-09 2008-10-07 Thx Ltd. Narrow profile speaker configurations and systems
US7457425B2 (en) * 2001-02-09 2008-11-25 Thx Ltd. Vehicle sound system
JP2002368658A (ja) 2001-06-08 2002-12-20 Matsushita Electric Ind Co Ltd 多チャネルエコー消去装置、方法、記録媒体及び音声通信システム
ES2323294T3 (es) * 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09501286A (ja) * 1993-08-03 1997-02-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 両立性マトリックス復号信号用多重チャンネル送・受信機装置及び方法
JP2000308200A (ja) * 1999-04-20 2000-11-02 Nippon Columbia Co Ltd 音響信号処理回路及び増幅装置
JP2001144656A (ja) * 1999-11-16 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 多チャンネル反響消去方法及び装置並びにそのプログラムを記録した記録媒体
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第１成分と第２成分を含む信号を処理する装置と方法
JP2004506947A (ja) * 2000-08-16 2004-03-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 補足情報に応答するオーディオ又はビデオ知覚符号化システムのパラメータ変調
JP2004521541A (ja) * 2001-02-09 2004-07-15 ティ エイチ エックス リミテッド サウンドシステム及びサウンド再生方法
JP2005523479A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ パラメータによるマルチチャンネルオーディオ表示

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. HERRE ET AL.: "The Reference Model Architecture for MPEG Spatial Audio Coding", 118TH AES CONVENTION
See also references of EP1921605A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114932A1 (ja) * 2010-03-17 2011-09-22 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
JP2011197105A (ja) * 2010-03-17 2011-10-06 Sony Corp 音声処理装置、音声処理方法、およびプログラム
CN102792369A (zh) * 2010-03-17 2012-11-21 索尼公司 语音处理装置、语音处理方法和程序
US8977541B2 (en) 2010-03-17 2015-03-10 Sony Corporation Speech processing apparatus, speech processing method and program
JP2013536461A (ja) * 2010-07-20 2013-09-19 ファーウェイ テクノロジーズ カンパニー リミテッド オーディオ信号合成器
US9082396B2 (en) 2010-07-20 2015-07-14 Huawei Technologies Co., Ltd. Audio signal synthesizer
JP2016536625A (ja) * 2013-09-27 2016-11-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 補間された行列を使ったマルチチャネル・オーディオのレンダリング
US9826327B2 (en) 2013-09-27 2017-11-21 Dolby Laboratories Licensing Corporation Rendering of multichannel audio using interpolated matrices

Also Published As

Publication number Publication date
EP1921605A1 (en) 2008-05-14
CN101253555B (zh) 2011-08-24
KR101277041B1 (ko) 2013-06-24
KR20080039445A (ko) 2008-05-07
US20090262949A1 (en) 2009-10-22
JPWO2007029412A1 (ja) 2009-03-26
US8184817B2 (en) 2012-05-22
EP1921605B1 (en) 2014-03-12
CN101253555A (zh) 2008-08-27
EP1921605A4 (en) 2010-12-29
JP5053849B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
JP5053849B2 (ja) マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法
JP6677846B2 (ja) ステレオオーディオ信号を出力する装置及び方法
JP4944029B2 (ja) オーディオデコーダおよびオーディオ信号の復号方法
RU2705007C1 (ru) Устройство и способ для кодирования или декодирования многоканального сигнала с использованием сихронизации управления кадрами
JP4918490B2 (ja) エネルギー整形装置及びエネルギー整形方法
KR101629862B1 (ko) 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더
JP4934427B2 (ja) 音声信号復号化装置及び音声信号符号化装置
JP4589962B2 (ja) レベル・パラメータを生成する装置と方法、及びマルチチャネル表示を生成する装置と方法
US8577686B2 (en) Method and apparatus for decoding an audio signal
EP2904609A1 (en) Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
JP5299327B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP2007025290A (ja) マルチチャンネル音響コーデックにおける残響を制御する装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680031851.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007534273

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2006767984

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12064975

Country of ref document: US

Ref document number: 1020087004741

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE