WO2009081567A1 - ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 - Google Patents

ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 Download PDF

Info

Publication number
WO2009081567A1
WO2009081567A1 PCT/JP2008/003893 JP2008003893W WO2009081567A1 WO 2009081567 A1 WO2009081567 A1 WO 2009081567A1 JP 2008003893 W JP2008003893 W JP 2008003893W WO 2009081567 A1 WO2009081567 A1 WO 2009081567A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
channel signal
stereo
channel
value
Prior art date
Application number
PCT/JP2008/003893
Other languages
English (en)
French (fr)
Inventor
Toshiyuki Morii
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to EP08863826A priority Critical patent/EP2237267A4/en
Priority to JP2009546943A priority patent/JPWO2009081567A1/ja
Priority to US12/809,154 priority patent/US20100290629A1/en
Publication of WO2009081567A1 publication Critical patent/WO2009081567A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention relates to an encoding device that realizes encoding of stereo sound, a stereo signal conversion device used in a decoding device, a stereo signal inverse conversion device, and methods thereof.
  • Speech coding is used for communication applications that use narrowband speech in the telephone band (200 Hz to 3.4 kHz).
  • Monaural audio narrowband audio codecs are widely used in communications applications such as mobile telephones, teleconferencing equipment and recently voice communications over packet networks (eg, the Internet).
  • a monaural signal that is the sum of a left channel signal and a right channel signal and a side signal that is a difference between the left channel signal and the right channel signal are obtained, and the monaural signal and the side signal are encoded.
  • a method of encoding each signal is known (see Patent Document 1).
  • the left channel signal and the right channel signal are signals representing sounds coming from human ears
  • the monaural signal can represent the common part of the left channel signal and the right channel signal
  • the side signal can represent the left channel signal and the right channel signal. Spatial differences in channel signals can be expressed.
  • the correlation between the left channel signal and the right channel signal at the same time is low when the positions of the sound sources of these signals are different. Therefore, if the left channel signal and the right channel signal are simply converted into a monaural signal and a side signal and encoded, the monaural signal and the side signal are inefficient while the redundancy is included in the positions of the sound sources. It will be quantized.
  • An object of the present invention is to provide a stereo signal conversion device, a stereo signal inverse conversion device, and a stereo signal inverse conversion device capable of realizing high-quality encoding at a low bit rate even when the positions of sound sources are different. Is to provide a method.
  • the stereo signal conversion apparatus includes an analyzing means for analyzing a timing difference at which the correlation between the first channel signal and the second channel signal constituting the stereo signal is highest, and the second channel signal based on the timing difference. Generating a monaural signal related to the sum of the first channel signal and the second channel signal after the time movement, and the second channel after the time movement with the first channel signal. And a sum difference calculating means for generating a side signal relating to a difference from the channel signal.
  • the stereo signal inverse conversion apparatus of the present invention includes a monaural regeneration signal obtained by decoding encoded data of a monaural signal related to the sum of the first channel signal constituting the stereo signal and the second channel signal after time shift, Using the side regeneration signal obtained by decoding the encoded data of the side signal related to the difference between the first channel signal and the second channel signal after the time shift, the regeneration signal of the first channel signal and the time Regenerated signal generating means for generating a regenerated signal of the second channel signal after being moved, and reverse sliding means for moving the regenerated signal of the second channel signal after being moved for a time so as to return to the original state.
  • the structure which comprises is taken.
  • the stereo signal conversion method of the present invention includes an analysis step of analyzing a timing difference at which the correlation between the first channel signal and the second channel signal constituting the stereo signal is highest, and the second channel signal based on the timing difference.
  • the stereo signal inverse conversion method of the present invention includes a monaural regenerated signal obtained by decoding encoded data of a monaural signal related to the sum of the first channel signal constituting the stereo signal and the second channel signal after time shift, Using the side regeneration signal obtained by decoding the encoded data of the side signal related to the difference between the first channel signal and the second channel signal after the time shift, the regeneration signal of the first channel signal and the time A regenerated signal generating step of generating a regenerated signal of the second channel signal after the movement, and a reverse sliding step of moving the regenerated signal of the second channel signal after the time movement so as to return to the original state;
  • the method comprising:
  • the present invention even when the position of the sound source of the left channel signal and that of the right channel signal are different from each other, it is possible to generate a monaural signal and a side signal by moving one of these signals temporally, thereby generating redundancy. Therefore, it is possible to realize high-quality encoding at a low bit rate.
  • FIG. 1 is a block diagram showing a configuration of an encoding apparatus including a stereo signal conversion apparatus according to Embodiment 1 of the present invention.
  • the block diagram which shows the structure of the decoding apparatus containing the stereo signal inverse transformation apparatus which concerns on Embodiment 1 of this invention.
  • the figure which shows the result of the demonstration experiment of this invention The block diagram which shows the structure of the decoding apparatus containing the stereo signal inverse transformation apparatus which concerns on Embodiment 2 of this invention.
  • a stereo signal is composed of two signals, a left channel signal and a right channel signal
  • the left channel signal, the right channel signal, the monaural signal, and the side signal are represented as L, R, M, and S, respectively
  • the regenerated signals thereof are represented as L ′, R ′, M ′, and S ′, respectively.
  • FIG. 1 is a block diagram showing a configuration of an encoding apparatus including a stereo signal conversion apparatus according to the present embodiment.
  • An encoding apparatus 100 shown in FIG. 1 mainly includes a stereo signal conversion apparatus 101, a monaural encoding unit 102, a side encoding unit 103, and a multiplexing unit 104.
  • the stereo signal conversion apparatus 101 is a monaural signal M that is the sum of these signals after moving one of the left channel signal L and the right channel signal R in time, and the difference between these signals.
  • a side signal S is generated.
  • Stereo signal conversion apparatus 101 then outputs monaural signal M to monaural encoding section 102 and outputs side signal S to side encoding section 103.
  • the stereo signal conversion apparatus 101 encodes a value obtained by moving the right channel signal R (hereinafter, this value is referred to as “sample difference value”, which is represented by z), and outputs the encoded value to the multiplexing unit 104.
  • sample difference value z will be described in detail in the description of the internal configuration of the stereo signal conversion apparatus 101.
  • the monaural encoding unit 102 encodes the monaural signal M, and outputs the obtained encoded data to the multiplexing unit 104.
  • the side encoding unit 103 encodes the side signal S and outputs the obtained encoded data to the multiplexing unit 104.
  • the multiplexing unit 104 multiplexes the encoded data of the monaural signal M, the encoded data of the side signal S, and the encoded data of the sample difference value z, and outputs the obtained bit stream.
  • the stereo signal conversion apparatus 101 includes a sample difference analysis unit 111, a sample difference value calculation unit 112, a sample difference value encoding unit 113, a slide unit 114, and a sum difference calculation unit 115.
  • FIG. 1 shows a case where the left channel signal L is fixed.
  • the right channel signal R is fixed, the inputs of the left channel signal L and the right channel signal R are reversed with respect to FIG.
  • the sample difference analysis unit 111 analyzes the timing difference D at which the correlation between the left channel signal L and the right channel signal R is the highest, and outputs it to the sample difference value calculation unit 112. For example, the sample difference analyzing unit 111 temporally moves the input left channel signal L for one frame and the input right channel signal R for one frame by the sample difference d according to the following equation (1). The correlation value V d with the received signal and the power C d of the right channel signal R at that time are calculated to obtain the evaluation value E d .
  • X i L is a signal value at each sample timing i of the left channel signal
  • X i ⁇ d R is each sample timing i of the signal obtained by moving the right channel signal by the sample difference d over time. Is the signal value at.
  • the sample difference analysis unit 111 calculates the sample difference D that gives the largest evaluation value E d. calculate. For example, when the sampling rate is 16 kHz, assuming that the maximum distance between human ears is about 34 cm, the speed at which sound is transmitted is about 340 m / s, so performance is obtained with ⁇ 16 samples ( ⁇ 16 to +15). Therefore, the sample difference analysis unit 111 calculates the sample difference D having the maximum evaluation value in this range.
  • the sample difference value calculation unit 112 calculates the sample difference value (the right channel signal R in the current frame). The value to be moved) z is calculated. Then, the sample difference value calculation unit 112 outputs the calculated sample difference value z to the sample difference value encoding unit 113 and the slide unit 114.
  • the variation amount of the sample difference value z in consecutive frames is limited to one sample, and the sample difference value calculation unit 112 calculates based on the following rules. That is, the fluctuation amount is any one of “ ⁇ 1, 0, 1”.
  • Rule 1 When the sample difference D is the same as the sample difference value z of the previous frame (that is, the value obtained by moving the right channel signal R in the previous frame), the sample difference value z of the current frame is the same as that of the previous frame. To do. In this case, the fluctuation amount is “0”.
  • Rule 2 When the sample difference D is larger than the sample difference value z of the previous frame, the sample difference value z of the current frame is increased by one relative to that of the previous frame.
  • the fluctuation amount is “1”.
  • Rule 3 If the sample difference D is smaller than the sample difference value z of the previous frame, the sample difference value z of the current frame is decreased by one relative to that of the previous frame. In this case, the fluctuation amount is “ ⁇ 1”.
  • the sample difference value encoding unit 113 encodes the sample difference value z output from the sample difference value calculation unit 112 and outputs it to the multiplexing unit 104.
  • the following two types can be mentioned as the encoding method of the sample difference value.
  • the first method is to encode the sample difference value z as it is. For example, when the sample difference value z takes any value from ⁇ 16 to +15, a numerical value from 0 to 31 obtained by adding 16 to this value can be converted into a 5-bit code.
  • the second method is to encode a difference (a variation amount of the sample difference value z). Since the fluctuation amount of the sample difference value z is any one of “ ⁇ 1, 0, 1”, a numerical value of 0 to 2 obtained by adding 1 to this value can be converted into a 2-bit code. However, in the second method, if there is a bit error, it should be noted that once the bit is erroneous, the error propagates long and it is difficult to return to a normal state (a state of a correctly decoded signal). .
  • the slide unit 114 moves the right channel signal R temporally by the sample difference value z calculated by the sample difference value calculation unit 112, and outputs the moved right channel signal R z to the sum difference calculation unit 115.
  • the sum difference calculation unit 115 adds the left channel signal L and the moved right channel signal R z to generate a monaural signal M, and moves the right channel signal from the left channel signal L.
  • a side signal S is generated by subtracting R z .
  • sum / difference calculation section 115 outputs monaural signal M to monaural encoding section 102 and outputs side signal S to side encoding section 103.
  • Formula (2) shows an example of calculation in the sum difference calculation unit 115.
  • X i M represents a signal value at each sample timing i of the monaural signal
  • X i S represents a signal value at each sample timing i of the side signal.
  • the positions of the sound source of the left channel signal and the right channel signal are different, one of these signals is moved in time and then the monaural signal and the side signal are generated.
  • the main component of the left channel signal and the right channel signal can be represented more faithfully than the conventional technology by the monaural signal, and the spatially different portions of the left channel signal and the right channel signal can be represented by the side signal from the conventional technology. Therefore, even if the positions of the sound sources are different, it is possible to realize high-quality encoding at a low bit rate with little redundancy.
  • FIG. 3 is a block diagram showing a configuration of a decoding apparatus including the stereo signal inverse conversion apparatus according to the present embodiment.
  • a decoding apparatus 300 illustrated in FIG. 3 mainly includes a separation unit 301, a monaural decoding unit 302, a side decoding unit 303, and a stereo signal inverse conversion device 304.
  • the separation unit 301 separates the bit stream received by the decoding device 300, the encoded data of the monaural signal M to the monaural decoding unit 302, the encoded data of the side signal S to the side decoding unit 303, and the sample difference value z Are output to the stereo signal inverse conversion device 304.
  • the monaural decoding unit 302 decodes the encoded data of the monaural signal M, and outputs the obtained monaural reproduction signal M ′ to the stereo signal inverse conversion device 304.
  • the side decoding unit 303 decodes the encoded data of the side signal S and outputs the obtained side regeneration signal S ′ to the stereo signal inverse conversion device 304.
  • the stereo signal inverse converter 304 obtains the left channel regeneration signal L ′ and the right channel regeneration signal R ′ using the encoded data of the sample difference value z, the monaural regeneration signal M ′, and the side regeneration signal S ′. .
  • the stereo signal inverse transform device 304 includes a sum difference calculation unit 311, a sample difference value decoding unit 312, an inverse slide unit 313, an interpolation coefficient storage unit 314, and an empty sample interpolation unit 315.
  • FIG. 3 shows a case where the left channel regeneration signal L ′ is fixed.
  • the right channel regeneration signal R ′ is fixed, the inputs of the left channel regeneration signal L ′ and the right channel regeneration signal R ′ are reversed with respect to FIG. 3.
  • the sum-difference calculation unit 311 uses the monaural regeneration signal M ′ output from the monaural decoding unit 302 and the side regeneration signal S ′ output from the side decoding unit 303 as shown in FIG. By (3), the left channel regeneration signal L ′ and the moved right channel regeneration signal R z ′ are calculated.
  • Y i M is the signal value at each sample timing i of the monaural regeneration signal
  • Y i S is the signal value at each sample timing i of the side regeneration signal
  • Y i L is the left channel regeneration.
  • a signal value Y yz R at each sample timing i of the signal indicates a signal value at each sample timing i of the right channel regenerated signal after movement.
  • the sample difference value decoding unit 312 decodes the encoded data of the sample difference value z output from the separation unit 301, and outputs the obtained sample difference value z to the reverse slide unit 313.
  • the reverse slide unit 313 moves the right channel after the shift by the sample difference value z output from the sample difference value decoding unit 312 in the direction opposite to the direction moved in time by the slide unit 114 of the stereo signal converter 101.
  • the regeneration signal R z ′ is moved.
  • the reverse slide unit 313 moves the moved right channel regeneration signal R z ′ so as to temporally coincide with the left channel regeneration signal L ′.
  • the fluctuation amount of the sample difference value z calculated by the sample difference value calculation unit 112 is “1”, as a result of the movement in the reverse slide unit 313, the current frame in the signal sequence of the right channel regeneration signal R ′.
  • a blank section for one sample (hereinafter referred to as “empty sample”) occurs between the previous frame and the previous frame.
  • the empty sample interpolation unit 315 performs interpolation using the coefficient value stored in the interpolation coefficient storage unit 314 and the values of the previous and subsequent samples.
  • the right channel regeneration signal R ′ is output after the empty sample is filled by the interpolation process. If no empty sample is generated in the signal sequence of the right channel regeneration signal R ′, the empty sample interpolation unit 315 outputs the right channel regeneration signal R ′ as it is.
  • the empty sample interpolation unit 315 calculates the value of the empty sample by calculating a linear sum of five samples before and after the empty sample as shown in the following equation (4).
  • Y j is an empty sample
  • Y j + i is 5 samples before and after the empty sample
  • ⁇ i is an interpolation coefficient (fixed value).
  • An example of the interpolation coefficient stored in the interpolation coefficient storage unit 314 is shown in FIG.
  • FIG. 6 is a diagram showing the results of the demonstration experiment of the present invention.
  • the monaural signal M and the side signal S are obtained from the left channel signal L and the right channel signal R and encoded / decoded by the conventional method (original) and the present invention, and the left channel regeneration signal L ′ and the right channel signal R ′ are encoded.
  • It shows the S / N ratio (unit dB, the higher the quality is better) when the channel regeneration signal R ′ is generated.
  • the S / N ratio of the left channel signal L is obtained from the equation (5)
  • the S / N ratio of the right channel signal R is obtained from the equation (6).
  • the present invention is particularly effective when the direction is determined like a human voice, and the S / N ratio can be improved by 0.6 dB or more on average compared to the conventional method. . Further, according to the present invention, the S / N ratio can be improved by about 0.15 dB compared to the conventional method even in the case where the direction is not determined like music.
  • the present invention when the positions of the sound sources of the left channel signal and the right channel signal are different, a monaural signal and a side signal are generated after temporally moving one of these signals, and the time difference ( Components corresponding to sample difference values are encoded separately.
  • the main component of the left channel signal and the right channel signal can be represented more faithfully than the conventional technology by the monaural signal, and the spatially different portions of the left channel signal and the right channel signal can be represented by the side signal from the conventional technology. Therefore, even if the positions of the sound sources are different, it is possible to realize high-quality encoding at a low bit rate with little redundancy.
  • FIG. 7 is a block diagram showing a configuration of decoding apparatus 700 according to Embodiment 2 of the present invention.
  • FIG. 7 has a stereo signal inverse transform device 701 instead of the stereo signal inverse transform device 304 with respect to the decoder 300 according to Embodiment 1 depicted in FIG.
  • FIG. 7 parts having the same configuration as in FIG.
  • the 7 mainly includes a separation unit 301, a monaural decoding unit 302, a side decoding unit 303, and a stereo signal inverse conversion device 701.
  • the monaural decoding unit 302 decodes the encoded data of the monaural signal M, and outputs the obtained monaural regeneration signal M ′ to the stereo signal inverse conversion device 701.
  • the side decoding unit 303 decodes the encoded data of the side signal S and outputs the obtained side regeneration signal S ′ to the stereo signal inverse conversion device 701.
  • the stereo signal inverse transform device 701 obtains the left channel regeneration signal L ′ and the right channel regeneration signal R ′ using the encoded data of the sample difference value z, the monaural regeneration signal M ′, and the side regeneration signal S ′. .
  • FIG. 7 adds an overlap sample processing unit 702 to the stereo signal inverse transform device 304 according to the first embodiment shown in FIG. 3.
  • parts having the same configuration as in FIG. 7 are identical to parts having the same configuration as in FIG.
  • the stereo signal inverse transformation device 701 includes a sum difference calculation unit 311, a sample difference value decoding unit 312, an inverse slide unit 313, an interpolation coefficient storage unit 314, an empty sample interpolation unit 315, and an overlap sample processing unit 702.
  • FIG. 7 shows a case where the left channel regeneration signal L ′ is fixed.
  • the right channel regeneration signal R ′ is fixed, the inputs of the left channel regeneration signal L ′ and the right channel regeneration signal R ′ are reversed with respect to FIG. 7.
  • the empty sample interpolation unit 315 When an empty sample occurs in the signal sequence of the right channel regenerated signal R ′, the empty sample interpolation unit 315 performs interpolation using the coefficient value stored in the interpolation coefficient storage unit 314 and the values of the previous and subsequent samples. After filling in empty samples by interpolation processing, the right channel regeneration signal R ′ is output to the overlap sample processing unit 702. When no empty sample occurs in the signal sequence of the right channel regenerated signal R ′, the empty sample interpolation unit 315 outputs the right channel regenerated signal R ′ as it is to the sample processing unit 702. Further, since the interpolation processing in the empty sample interpolation unit 315 is the same as that in the first embodiment, the description thereof is omitted.
  • the overlap sample processing unit 702 When there is an overlap in the sample of the signal sequence of the right channel regeneration signal R ′ input from the empty sample interpolation unit 315, the overlap sample processing unit 702 obtains a sample value by calculation using a plurality of overlapped samples. Ask. As a result, the overlap sample processing unit 702 eliminates the overlap of the “overlapping portion”. Note that if there is no overlap in the samples of the signal sequence of the right channel regeneration signal R ′, the overlap sample processing unit 702 outputs the right channel regeneration signal R ′ as it is.
  • FIG. 8 shows a case where one sample can be overlapped.
  • the overlapping sample processing unit 702 calculates the linear sum of the preceding and following samples (overlapping samples) from Equation (7).
  • the overlap sample processing unit 702 obtains the right channel regeneration signal R ′ through the above processing. Then, the right channel regeneration signal R ′ is output to the outside of the stereo signal inverse conversion device 701 together with the left channel regeneration signal L ′ calculated by the sum difference calculation unit 311.
  • the sample value obtained in the overlap sample processing unit 702 is calculated based on the values obtained in both the m-th frame and the (m + 1) -th frame, a sample value close to the actual value can be calculated from the information in both frames. Also, it is possible to reduce the discontinuity of sound by superimposing consecutive samples between both frames. In addition, according to the present embodiment, it is possible to prevent a sense of discontinuous abnormal noise after highly efficient encoding and decoding, and the sound quality of a stereo signal encoded and decoded with high quality is impaired. Can be processed so that there is no.
  • Equation (8) shows a case where the sample difference value is 2 (the number of overlaps is 2) and a case where the sample difference value is 3 (the number of overlaps is 3).
  • the sample value of the overlapped portion is obtained from the frames before and after the overlapped sample, so the information of both frames can be used without waste. In addition to being able to be used, it is possible to make it difficult to cause sound discontinuity.
  • the two stereo signals are represented using the names of the left channel signal and the right channel signal.
  • the more general names of the first channel signal and the second channel signal may be used. it can.
  • the range of the sample difference value is ⁇ 16, but the present invention does not limit the range of the sample difference value. If this range is widened, the number of variations expressing delay increases, so that the quality becomes higher, and if it is narrowed, the number of encoded bits can be reduced.
  • the variation amount of the sample difference value is ⁇ 1 sample.
  • the present invention is not limited to the variation amount of the sample difference value.
  • the variation amount of the sample difference value is limited to the range that can be interpolated by the empty sample interpolation unit 315, and the inventor has also verified that 1 or 2 samples is the limit for stereo sound with a sampling rate of 16 kHz. Yes.
  • the empty sample interpolation unit 315 is interpolated with a linear sum of five samples before and after, but the present invention does not limit the number of samples used for the interpolation. If there are more, the interpolation accuracy can be improved. Note that the 5 samples is the minimum number of samples examined by the inventor through experiments, and it has been verified that reducing the number further reduces the interpolation accuracy and leads to a small noise. Of course, if the number of samples used for interpolation is increased too much, there is a problem that the amount of calculation increases.
  • the sample difference value is an integer value.
  • the present invention is not limited to this, and a fractional value can also be used as the sample difference value.
  • the fractional value is interpolated using the SINC function or the like.
  • the accuracy of the time difference can be improved.
  • the amount of calculation increases as the accuracy is improved to 1/2 accuracy and 1/3 accuracy.
  • the inventors have confirmed that if the sampling rate is 16 kHz, the effect can be obtained with integer precision.
  • the inventor has confirmed that in the case of 8 kHz sampling, it is necessary to improve accuracy such as 1/2 accuracy.
  • the present invention does not depend on the sampling rate, and can deal with all sampling rates such as 8 kHz, 16 kHz, 32 kHz, 44.1 kHz, 48 kHz sampling. In the case of a sampling rate of 32 kHz or higher, it is necessary to search a wider range than ⁇ 16 as the sample difference value. In this case, since many samples can be interpolated, the amount of variation in the sample difference value can be increased.
  • the present invention may also store information encoded on the encoding side in a medium record. It is valid. Audio signals are often stored in a memory or disk for use, and the present invention is also effective in that case.
  • the present invention is not limited in the number of channels, and is effective in the case of multiple channels such as 5.1ch. If the accompanying correlated channel is clarified, it can be applied as it is.
  • the present invention is not limited to this, and the method using only the monaural signal is also effective.
  • a phase shift can be corrected and downmixing can be performed, so that a high-quality monaural signal closer to a sound source can be obtained.
  • the equation for converting the left channel signal and the right channel signal into a monaural signal and a side signal can be expressed by a matrix of the following equation (9). Even if it is different from 9), the present invention is effective. This is because the feature of the present invention of correcting the phase difference little by little and interpolating a blank interval that occurs when the phase difference is restored does not depend on the feature of the matrix. Therefore, in the case of conversion of a multi-channel signal such as 5.1 channel, the dimension of the matrix becomes larger and the numerical value becomes complicated, but the present invention is also effective in that case.
  • the above description is an illustration of a preferred embodiment of the present invention, and the scope of the present invention is not limited to this.
  • the present invention can be applied to any system as long as the system includes an encoding device and a decoding device.
  • the encoding device and the decoding device according to the present invention can be mounted on a communication terminal device and a base station device in a mobile communication system, whereby a communication terminal device and a base having the same operational effects as described above.
  • a station apparatus and a mobile communication system can be provided.
  • the present invention can also be realized by software.
  • the function according to the present invention can be realized by describing the algorithm according to the present invention in a programming language, storing the program in a memory, and causing the information processing means to execute the same function as the encoding apparatus according to the present invention. it can.
  • each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection or setting of circuit cells inside the LSI may be used.
  • stereo signal conversion device stereo signal reverse conversion device, and these methods according to the present invention are suitable for use in mobile phones, IP phones, video conferences, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

 音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができるステレオ信号変換装置。この装置では、サンプル差分析部(111)は、右チャネル信号をサンプル差dだけ時間的に移動させた信号と左チャネル信号とを用いて相関が最も高くなるサンプル差Dを計算する。サンプル差値計算部(112)は、前フレームにおいて右チャネル信号を移動させた値とサンプル差Dとに基づいて、サンプル差値z(現フレームにおいて右チャネル信号を移動させる値)を計算する。サンプル差値符号化部(113)は、サンプル差値zを符号化する。スライド部(114)は、サンプル差値zだけ右チャネル信号を時間的に移動させる。和差計算部(115)は、左チャネル信号と移動後の右チャネル信号とを加算してモノラル信号を生成し、左チャネル信号から移動後の右チャネル信号を減算してサイド信号を生成する。

Description

ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
 本発明は、ステレオ音声の符号化を実現する符号化装置、復号装置に用いられるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法に関する。
 音声符号化は、電話帯域(200Hz~3.4kHz)の狭帯域音声を使用する通信用途に用いられる。モノラル音声の狭帯域音声コーデックは、移動電話、遠隔会議機器や最近ではパケットネットワーク(たとえば、インターネット)上での音声通信などの通信用途に広く使用されている。
 近年、通信ネットワークのブロードバンド化に伴い、音声通信に対して臨場感や音楽に対する品質の高さが求められるようになり、このニーズに応えるために、ステレオ音声の符号化技術を用いた音声通信システムの開発が進められている。
 従来から、ステレオ音声を符号化する方法として、左チャネル信号と右チャネル信号との和であるモノラル信号と、左チャネル信号と右チャネル信号との差であるサイド信号とを求め、モノラル信号とサイド信号とをそれぞれ符号化する方法が知られている(特許文献1参照)。
 左チャネル信号と右チャネル信号は、人間のそれぞれの耳から入る音を表す信号であり、モノラル信号によって左チャネル信号と右チャネル信号の共通部分を表すことができ、サイド信号によって左チャネル信号と右チャネル信号の空間的な違いを表現することができる。
 左チャネル信号と右チャネル信号の相関性が高いことから、これらの信号をモノラル信号とサイド信号とに変換してから符号化する方が、直接符号化するよりも、モノラル信号とサイド信号の特徴に応じた適切な符号化が可能になり、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
特開2001-255892号公報
 しかしながら、左チャネル信号と右チャネル信号の主成分が同じでも、これらの信号の音源の位置が異なる場合には、同時刻における左チャネル信号と右チャネル信号の相関性は低くなる。したがって、単に、左チャネル信号と右チャネル信号をモノラル信号とサイド信号とに変換して符号化すると、音源の位置が異なる場合に、モノラル信号とサイド信号に冗長性が含まれたまま非効率に量子化することになる。
 本発明の目的は、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法を提供することである。
 本発明のステレオ信号変換装置は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関が最も高くなるタイミング差を分析する分析手段と、前記タイミング差に基づいて前記第2チャネル信号を時間移動させるスライド手段と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号を生成する和差計算手段と、を具備する構成を採る。
 本発明のステレオ信号逆変換装置は、ステレオ信号を構成する第1チャネル信号と時間移動させた後の第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第1チャネル信号の再生成信号および前記時間移動させた後の第2チャネル信号の再生成信号を生成する再生成信号生成手段と、前記時間移動させた後の第2チャネル信号の再生成信号を元に戻すように移動させる逆スライド手段と、を具備する構成を採る。
 本発明のステレオ信号変換方法は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関が最も高くなるタイミング差を分析する分析工程と、前記タイミング差に基づいて前記第2チャネル信号を時間移動させるスライド工程と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号を生成する和差計算工程と、を具備する方法を採る。
 本発明のステレオ信号逆変換方法は、ステレオ信号を構成する第1チャネル信号と時間移動させた後の第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第1チャネル信号の再生成信号および前記時間移動させた後の第2チャネル信号の再生成信号を生成する再生成信号生成工程と、前記時間移動させた後の第2チャネル信号の再生成信号を元に戻すように移動させる逆スライド工程と、を具備する方法を採る。
 本発明によれば、左チャネル信号と右チャネル信号の音源の位置が異なる場合であっても、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成することにより、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
本発明の実施の形態1に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図 本発明の実施の形態1に係るステレオ信号変換装置の和差計算部の処理を説明する図 本発明の実施の形態1に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図 本発明の実施の形態1に係るステレオ信号逆変換装置の和差計算部の処理を説明する図 本発明の実施の形態1に係るステレオ信号逆変換装置の内挿係数格納部に格納された内挿係数の一例を示す図 本発明の実証実験の結果を示す図 本発明の実施の形態2に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図 本発明の実施の形態2に係るステレオ信号逆変換装置の和差計算部の処理を説明する図
 以下、本発明の実施の形態について、図面を用いて説明する。なお、各実施の形態では、ステレオ信号が左チャネル信号と右チャネル信号の2つの信号からなる場合を例に説明する。また、左チャネル信号、右チャネル信号、モノラル信号、サイド信号をそれぞれ、L、R、M、Sと表し、それらの再生成信号をそれぞれ、L’、R’、M’、S’と表す。
 (実施の形態1)
 図1は、本実施の形態に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図1に示す符号化装置100は、ステレオ信号変換装置101と、モノラル符号化部102と、サイド符号化部103と、多重化部104と、から主に構成される。
 ステレオ信号変換装置101は、左チャネル信号Lおよび右チャネル信号Rのうち一方の信号を時間的に移動させてから、これらの信号の和であるモノラル信号M、および、これらの信号の差であるサイド信号Sを生成する。そして、ステレオ信号変換装置101は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。また、ステレオ信号変換装置101は、右チャネル信号Rを移動させた値(以下、この値を「サンプル差値」といい、zで表す)を符号化して多重化部104に出力する。なお、サンプル差値zについては、ステレオ信号変換装置101の内部構成の説明の中で詳しく説明する。
 モノラル符号化部102は、モノラル信号Mを符号化し、得られた符号化データを多重化部104に出力する。サイド符号化部103は、サイド信号Sを符号化し、得られた符号化データを多重化部104に出力する。
 多重化部104は、モノラル信号Mの符号化データ、サイド信号Sの符号化データ、サンプル差値zの符号化データを多重し、得られたビットストリームを出力する。
 次に、ステレオ信号変換装置101の内部構成について説明する。ステレオ信号変換装置101は、サンプル差分析部111、サンプル差値計算部112、サンプル差値符号化部113、スライド部114および和差計算部115を有する。なお、図1では、左チャネル信号Lを固定する場合を示す。右チャネル信号Rを固定する場合には、図1に対して、左チャネル信号Lと右チャネル信号Rの入力が逆になる。
 サンプル差分析部111は、左チャネル信号Lと右チャネル信号Rとの相関が最も高くなるタイミング差Dを分析し、サンプル差値計算部112に出力する。例えば、サンプル差分析部111は、以下の式(1)により、入力された1フレーム分の左チャネル信号Lと入力された1フレーム分の右チャネル信号Rをサンプル差dだけ時間的に移動させた信号との相関値Vと、その時の右チャネル信号RのパワCを計算し、評価値Eを求める。なお、式(1)において、X は左チャネル信号の各サンプルタイミングiにおける信号値、Xi-d は右チャネル信号をサンプル差dだけ時間的に移動させた信号の各サンプルタイミングiにおける信号値である。
Figure JPOXMLDOC01-appb-M000001
 式(1)において、Eが大きいほど左チャネル信号Lと右チャネル信号Rとの相関が高いこととなるから、サンプル差分析部111は、この評価値Eが最も大きくなるサンプル差Dを計算する。例えば、サンプリングレートが16kHzの場合、人間の両耳の間隔の最大が34cm程度と仮定すると、音が伝わる速度が約340m/sであるから、±16サンプル(-16~+15)で性能が得られるので、サンプル差分析部111は、この範囲で評価値最大のサンプル差Dを計算する。
 サンプル差値計算部112は、前フレームにおいて右チャネル信号Rを移動させた値とサンプル差分析部111から出力されたサンプル差Dとに基づいて、サンプル差値(現フレームにおいて右チャネル信号Rを移動させる値)zを計算する。そして、サンプル差値計算部112は、計算したサンプル差値zをサンプル差値符号化部113およびスライド部114に出力する。
 ここで、本実施の形態では、連続するフレームにおけるサンプル差値zの変動量を1サンプルまでに限定し、サンプル差値計算部112は、以下のルールに基づいて計算するものとする。すなわち変動量は「-1、0、1」のいずれかとなる。ルール1:サンプル差Dが前フレームのサンプル差値z(すなわち、前フレームにおいて右チャネル信号Rを移動させた値)と同じ場合、現フレームのサンプル差値zを前フレームのものと同じ値とする。この場合、変動量は「0」となる。ルール2:サンプル差Dが前フレームのサンプル差値zより大きい場合、現フレームのサンプル差値zを前フレームのものに対して1つ増やす。この場合、変動量は「1」となる。ルール3:サンプル差Dが前フレームのサンプル差値zより小さい場合、現フレームのサンプル差値zを前フレームのものに対して1つ減らす。この場合、変動量は「-1」となる。
 サンプル差値符号化部113は、サンプル差値計算部112から出力されたサンプル差値zを符号化し、多重化部104に出力する。なお、サンプル差値の符号化方法として以下の2通りが挙げられる。
 第1の方法は、サンプル差値zをそのまま符号化することである。例えば、サンプル差値zが-16~+15のいずれかの値をとる場合、この値に16を加算した0~31の数値を5ビットの符号に変換することができる。
 第2の方法は、差分(サンプル差値zの変動量)を符号化することである。サンプル差値zの変動量は「-1、0、1」のいずれかの値をとるので、この値に1を加算した0~2の数値を2ビットの符号に変換することができる。ただし、第2の方法では、ビット誤りがある場合には、一度ビットを誤ると誤りが長く伝播し正常な状態(正しく復号化された信号の状態)に戻り難いという点に注意する必要がある。
 このように、少数サンプル(本実施の形態では1サンプル)ずつ目標の遅延に近づける処理は大変理にかなった方法である。なぜならば、ステレオ録音における音源の位置はそれほど急激には変わらないという傾向があり、フレーム長が20ms程度であれば音源位置が変化しても1サンプルずつの変化で十分追従することができ、かつ、復号の際に空きサンプルが生じる場合にも前後のサンプルの値を用いて容易に内挿補間することができるからである。
 スライド部114は、サンプル差値計算部112で計算されたサンプル差値zだけ、右チャネル信号Rを時間的に移動させ、移動後の右チャネル信号Rを和差計算部115に出力する。
 和差計算部115は、図2に示すように、左チャネル信号Lと移動後の右チャネル信号Rとを加算してモノラル信号Mを生成し、左チャネル信号Lから移動後の右チャネル信号Rを減算してサイド信号Sを生成する。そして、和差計算部115は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。式(2)は、和差計算部115における計算の一例を示す。式(2)において、X はモノラル信号の各サンプルタイミングiにおける信号値、X はサイド信号の各サンプルタイミングiにおける信号値を示す。
Figure JPOXMLDOC01-appb-M000002
 このように、本実施の形態では、左チャネル信号と右チャネル信号の音源の位置が異なる場合に、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成する。これにより、モノラル信号によって、左チャネル信号と右チャネル信号の主成分を従来技術よりも忠実に表すことができ、サイド信号によって、左チャネル信号と右チャネル信号の空間的に異なる部分を従来技術よりも忠実に表すことができるので、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
 図3は、本実施の形態に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図3に示す復号装置300は、分離部301と、モノラル復号部302と、サイド復号部303と、ステレオ信号逆変換装置304と、から主に構成される。
 分離部301は、復号装置300に受信されたビットストリームを分離し、モノラル信号Mの符号化データをモノラル復号部302に、サイド信号Sの符号化データをサイド復号部303に、サンプル差値zの符号化データをステレオ信号逆変換装置304に、それぞれ出力する。
 モノラル復号部302は、モノラル信号Mの符号化データを復号し、得られたモノラル再生成信号M’をステレオ信号逆変換装置304に出力する。サイド復号部303は、サイド信号Sの符号化データを復号し、得られたサイド再生成信号S’をステレオ信号逆変換装置304に出力する。
 ステレオ信号逆変換装置304は、サンプル差値zの符号化データ、モノラル再生成信号M’およびサイド再生成信号S’を用いて左チャネル再生成信号L’および右チャネル再生成信号R’を得る。
 次に、ステレオ信号逆変換装置304の内部構成について説明する。ステレオ信号逆変換装置304は、和差計算部311、サンプル差値復号部312、逆スライド部313、内挿係数格納部314および空きサンプル内挿部315を有する。なお、図3では、左チャネル再生成信号L’を固定する場合を示す。右チャネル再生成信号R’を固定する場合には、図3に対して、左チャネル再生成信号L’と右チャネル再生成信号R’の入力が逆になる。
 和差計算部311は、図4に示すように、モノラル復号部302から出力されたモノラル再生成信号M’およびサイド復号部303から出力されたサイド再生成信号S’を用いて、以下の式(3)により、左チャネル再生成信号L’および移動後の右チャネル再生成信号R’を算出する。なお、式(3)において、Y はモノラル再生成信号の各サンプルタイミングiにおける信号値、Y はサイド再生成信号の各サンプルタイミングiにおける信号値、Y は左チャネル再生成信号の各サンプルタイミングiにおける信号値、Yi-z は移動後の右チャネル再生成信号の各サンプルタイミングiにおける信号値を示す。
Figure JPOXMLDOC01-appb-M000003
 サンプル差値復号部312は、分離部301から出力されたサンプル差値zの符号化データを復号し、得られたサンプル差値zを逆スライド部313に出力する。
 逆スライド部313は、ステレオ信号変換装置101のスライド部114にて時間的に移動させた方向と逆方向に、サンプル差値復号部312から出力されたサンプル差値zだけ、移動後の右チャネル再生成信号R’を移動させる。換言すれば、逆スライド部313は、移動後の右チャネル再生成信号R’を左チャネル再生成信号L’と時間的に一致するように移動させる。
 ここで、サンプル差値計算部112にて計算されたサンプル差値zの変動量が「1」の場合、逆スライド部313における移動の結果、右チャネル再生成信号R’の信号列において現フレームと前フレームとの間に1サンプル分の空白区間(以下、「空きサンプル」という)が生じる。空きサンプル内挿部315は、右チャネル再生成信号R’の信号列に空きサンプルが生じた場合、内挿係数格納部314に格納された係数値と前後のサンプルの値とを用いた内挿補間処理により空きサンプルを埋めてから右チャネル再生成信号R’を出力する。なお、右チャネル再生成信号R’の信号列に空きサンプルが生じない場合には、空きサンプル内挿部315は、右チャネル再生成信号R’をそのまま出力する。
 次に、空きサンプル内挿部315における内挿補間処理について、具体例を用いて詳細に説明する。本例では空きサンプルの前後5サンプルから内挿するものとする。
 空きサンプル内挿部315は、以下の式(4)のように、空きサンプルの前後5サンプルの線形和を計算することによって、空きサンプルの値を計算する。なお、式(4)において、Yは空きサンプル、Yj+iは空きサンプルの前後5サンプル、βは内挿係数(固定値)である。なお、内挿係数格納部314に格納された内挿係数の一例を図5に示す。
Figure JPOXMLDOC01-appb-M000004
 このように、符号化側で移動した信号を逆方向に戻した結果、空きサンプルが生じた場合であっても、前後のサンプルの値を用いて内挿補間することにより、高効率の符号化/復号の後で不連続な異音感を起さないようにすることができる。特に、符号化側で、少数サンプル(本実施の形態では1サンプル)ずつ目標の遅延に近づける処理を行うことにより、復号側において内挿する空きサンプルを少数とすることができ、ステレオ信号の音質を維持することができる。
 図6は、本発明の実証実験の結果を示す図である。図6では、従来方法(オリジナル)と本発明とで、左チャネル信号Lと右チャネル信号Rからモノラル信号Mとサイド信号Sを求めて符号化/復号し、左チャネル再生成信号L’と右チャネル再生成信号R’とを生成した場合のS/N比(単位dB、大きい方が品質が良い)を示している。ここで、図6において、左チャネル信号LのS/N比は式(5)より求め、右チャネル信号RのS/N比は式(6)より求める。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 図6に示すように、本発明は、人の声のように方向が定まるものの場合に特に効果があり、従来方法に比べてS/N比が平均で0.6dB以上改善することができた。また、本発明は、音楽の様に方向が定まらないものの場合でも従来方法に比べてS/N比が0.15dB程度改善することができた。
 以上説明したように、本発明では、左チャネル信号と右チャネル信号の音源の位置が異なる場合に、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成し、時間差(サンプル差値に相当)の成分は別に符号化する。これにより、モノラル信号によって、左チャネル信号と右チャネル信号の主成分を従来技術よりも忠実に表すことができ、サイド信号によって、左チャネル信号と右チャネル信号の空間的に異なる部分を従来技術よりも忠実に表すことができるので、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
 さらに、符号化側で移動した信号を逆方向に戻した結果、空きサンプルが生じた場合であっても、前後のサンプルの値を用いて内挿補間することにより、高効率の符号化/復号の後で不連続な異音感を起さないようにすることができる。特に、符号化側で、少数サンプルずつ目標の遅延に近づける処理を行うことにより、復号側において内挿するサンプルを少数とすることができ、ステレオ信号の音質を維持することができる。
 (実施の形態2)
 本実施の形態は、復号装置において、サンプル差値だけ変動している方の信号に重なる部分(既にデータが入っている位置に更にデータが書き込まれる状態)が生じた場合、重なる部分のサンプル値同士を演算して、重なる部分のサンプル値を求めることを特徴とする。
 図7は、本発明の実施の形態2に係る復号装置700の構成を示すブロック図である。
 図7に示す復号装置700は、図3に示す実施の形態1に係る復号装置300に対して、ステレオ信号逆変換装置304の代わりにステレオ信号逆変換装置701を有する。なお、図7において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
 図7に示す復号装置700は、分離部301と、モノラル復号部302と、サイド復号部303と、ステレオ信号逆変換装置701と、から主に構成される。
 モノラル復号部302は、モノラル信号Mの符号化データを復号し、得られたモノラル再生成信号M’をステレオ信号逆変換装置701に出力する。サイド復号部303は、サイド信号Sの符号化データを復号し、得られたサイド再生成信号S’をステレオ信号逆変換装置701に出力する。
 ステレオ信号逆変換装置701は、サンプル差値zの符号化データ、モノラル再生成信号M’およびサイド再生成信号S’を用いて左チャネル再生成信号L’および右チャネル再生成信号R’を得る。
 次に、ステレオ信号逆変換装置701の内部構成について説明する。
 図7に示すステレオ信号逆変換装置701は、図3に示す実施の形態1に係るステレオ信号逆変換装置304に対して、重なりサンプル処理部702を追加する。なお、図7において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
 ステレオ信号逆変換装置701は、和差計算部311、サンプル差値復号部312、逆スライド部313、内挿係数格納部314、空きサンプル内挿部315及び重なりサンプル処理部702を有する。なお、図7では、左チャネル再生成信号L’を固定する場合を示す。右チャネル再生成信号R’を固定する場合には、図7に対して、左チャネル再生成信号L’と右チャネル再生成信号R’の入力が逆になる。
 空きサンプル内挿部315は、右チャネル再生成信号R’の信号列に空きサンプルが生じた場合、内挿係数格納部314に格納された係数値と前後のサンプルの値とを用いた内挿補間処理により空きサンプルを埋めてから右チャネル再生成信号R’を重なりサンプル処理部702へ出力する。なお、右チャネル再生成信号R’の信号列に空きサンプルが生じない場合には、空きサンプル内挿部315は、右チャネル再生成信号R’をそのまま重なりサンプル処理部702へ出力する。また、空きサンプル内挿部315における内挿補間処理については、上記の実施の形態1と同一であるので、その説明を省略する。
 重なりサンプル処理部702は、空きサンプル内挿部315から入力した右チャネル再生成信号R’の信号列のサンプルに重なりが生じた場合には、重なった複数のサンプルを用いた演算によりサンプル値を求める。これにより、重なりサンプル処理部702は、「重なった部分」の重なりを解消する。なお、右チャネル再生成信号R’の信号列のサンプルに重なりが生じない場合には、重なりサンプル処理部702は、右チャネル再生成信号R’をそのまま出力する。
 次に、重なりサンプル処理部702における「重なった部分」のサンプル値を求める処理について、具体例を用いて説明する。本例では、図8に示すように、サンプル差値が過去(zからz+1)に動いている場合に起こるサンプルの「重なった部分」#801のサンプル値を求めるものとする。図8は、1サンプルの重なりができる場合を示す。
 重なりサンプル処理部702は、式(7)より、前後のサンプル(重なっているサンプル)の線形和を計算する。
Figure JPOXMLDOC01-appb-M000007
 重なりサンプル処理部702は、上記の処理を経て、右チャネル再生成信号R’を得る。そして、右チャネル再生成信号R’は、和差計算部311で算出された左チャネル再生成信号L’と共に、ステレオ信号逆変換装置701の外部に出力される。
 重なりサンプル処理部702において求めるサンプル値は、第mフレームと第(m+1)フレームの両方で求められた値に基づいて算出されるので、両フレームの情報から実際の値に近いサンプル値を算出でき、また、両フレーム間で連続するサンプルを重ねることで音の不連続感を少なくすることができる。また、本実施の形態によれば、高効率の符号化及び復号の後に、不連続な異音感を生じないようにすることができ、高品質に符号化及び復号されたステレオ信号の音質を損なわないように処理することができる。
 なお、サンプル差値が2以上の場合、即ち2サンプル以上の重なりが生じる場合もあるが、その場合は三角窓などで整合すればよい。例として、サンプル差値が2(重なりの数が2)の場合と、サンプル差値が3(重なりの数が3)の場合について式(8)に示す。
Figure JPOXMLDOC01-appb-M000008
 このように、本実施の形態によれば、上記実施の形態1の効果に加えて、重なった部分のサンプル値を、重なったサンプルを含む前後のフレームから求めるので、両フレームの情報を無駄なく使用することができるとともに、聴感的に音の不連続感を起き難くすることができる。
 なお、上記の各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて2つのステレオ信号を表したが、より一般的な第1チャネル信号、第2チャネル信号という名称を用いることもできる。
 また、上記の各実施の形態では、ステレオ信号のうち左チャネル信号を固定する場合について説明したが、本発明は、右チャネル信号を固定しても同様の効果を得ることができる。この場合、上記各実施の形態の説明の左チャネル信号と右チャネル信号を逆にすればよい。
 また、上記の各実施の形態ではサンプル差値の範囲を±16としたが、本発明はサンプル差値の範囲について限定はない。この範囲を広くすれば遅延を表現するバリエーションが増えるのでより高品質になり、狭くすれば符号化ビットを減らすことができる。
 また、上記の各実施の形態ではサンプル差値の変動量を±1サンプルとしたが、本発明はサンプル差値の変動量について限定はない。ただし、サンプル差値の変動量は、空きサンプル内挿部315で内挿できる範囲が限界であり、発明者はサンプリングレートが16kHzのステレオ音声では1ないし2サンプルが限界であることも検証している。
 また、上記の各実施の形態では空きサンプル内挿部315の内挿を前後5サンプルの線形和で行ったが、本発明は内挿に使用するサンプル数について限定はない。もっと多ければ補間精度を向上させることができる。なお、5サンプルというのは発明者が実験により検討した最低のサンプル数であり、これ以上少なくすることは補間精度を落とし小さな異音感に繋がることを検証している。勿論、内挿に使用するサンプル数を増やし過ぎると計算量が増加するという課題もある。
 また、上記の各実施の形態ではサンプル差値を整数値としたが、本発明はこれに限られず、サンプル差値として分数値を使用することもできる。この場合、SINC関数などを使って分数値を補間することによって使用する。分数値を使用することによってより時間差の精度を向上させることができる。ただし、1/2精度、1/3精度と精度を向上させていくと計算量が増加するという課題もある。ちなみに、発明者は、サンプリングレートが16kHzであれば整数精度で効果が得られることを確認している。また、発明者は、8kHzサンプリングの場合は1/2精度など精度の向上が必要であることを確認している。
 また、本発明は、サンプリングレートに依存せず、8kHz、16kHz、32kHz、44.1kHz、48kHzサンプリングなど全てのサンプリングレートに対応することができる。なお、32kHz以上のサンプリングレートの場合は、サンプル差値として±16よりももっと広い範囲の探索が必要になる。また、この場合には、多くのサンプルの補間が可能になるので、サンプル差値の変動量を増やすことができる。
 また、上記の各実施の形態では、符号化側から復号側に符号化した情報を伝送する場合について説明したが、本発明は、符号化側において符号化した情報を媒体記録に格納する場合も有効である。オーディオ信号はメモリやディスクに蓄積して用いる場合も多く、本発明はその場合にも有効である。
 また、上記の各実施の形態では2チャネルの場合について示したが、本発明は、チャネル数について限定はなく、5.1chなどの多チャネルの場合にも有効であり、固定するチャネルと時間差を伴った相関のあるチャネルを明らかにすればそのまま適用することができる。
 また、上記の各実施の形態ではモノラル信号とサイド信号をそれぞれ符号化する場合について示したが、本発明はこれに限られず、モノラル信号のみを使用する方法でも有効である。本発明を用いることにより、位相のずれを補正してダウンミックスすることができるので、より音源に近い高品質のモノラル信号を得ることができる。
 また、上記の各実施の形態において、左チャネル信号と右チャネル信号をモノラル信号とサイド信号に変換する式は、以下の式(9)のマトリクスで表現することができるが、このマトリクスが式(9)と異なる場合であっても本発明は有効である。位相の差を少しずつ補正し、元に戻す際に生じる空白区間を内挿補間するという本発明の特徴は、上記マトリクスの特徴に依存しないからである。したがって、5.1チャンネルなどの多チャンネル信号の変換の場合には、マトリクスの次元はもっと大きくなり、数値も複雑になるが、その場合にも本発明は有効である。
Figure JPOXMLDOC01-appb-M000009
 なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。
 また、本発明に係る符号化装置および復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
 また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置等と同様の機能を実現することができる。
 また、上記の各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
 また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
 さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
 2007年12月21日出願の特願2007-330991の日本出願、及び2008年9月30日出願の特願2008-253636の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 本発明に係るステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法は、携帯電話、IP電話、テレビ会議等に用いるに好適である。

Claims (10)

  1.  ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関が最も高くなるタイミング差を分析する分析手段と、
     前記タイミング差に基づいて前記第2チャネル信号を時間移動させるスライド手段と、
     前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号を生成する和差計算手段と、
     を具備するステレオ信号変換装置。
  2.  前フレームにおいて前記第2チャネル信号を移動させた値と前記タイミング差とに基づいて現フレームの移動値を計算する移動値計算手段を、さらに具備し、
     前記スライド手段は、前記現フレームの移動値だけ前記第2チャネル信号を時間移動させる、
     請求項1記載のステレオ信号変換装置。
  3.  前記移動値計算手段は、前記タイミング差が前フレームにおいて前記第2チャネル信号を移動させた値と同じ場合には現フレームの移動値を前フレームのものと同じ値とし、前記タイミング差が前フレームにおいて前記第2チャネル信号を移動させた値より大きい場合には現フレームの移動値を前フレームのものに対して所定幅だけ増やし、前記タイミング差が前フレームにおいて前記第2チャネル信号を移動させた値より小さい場合には現フレームの移動値を前フレームのものに対して所定幅だけ減らす、
     請求項2記載のステレオ信号変換装置。
  4.  請求項1記載のステレオ信号変換装置と、
     前記ステレオ信号変換装置が生成したモノラル信号を符号化する第1符号化手段と、
     前記ステレオ信号変換装置が生成したサイド信号を符号化する第2符号化手段と、
     前記ステレオ信号変換装置において前記第2チャネル信号を移動させた値を示す情報を符号化する第3符号化手段と、
     を具備する符号化装置。
  5.  ステレオ信号を構成する第1チャネル信号と時間移動させた後の第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第1チャネル信号の再生成信号および前記時間移動させた後の第2チャネル信号の再生成信号を生成する再生成信号生成手段と、
     前記時間移動させた後の第2チャネル信号の再生成信号を元に戻すように移動させる逆スライド手段と、
     を具備するステレオ信号逆変換装置。
  6.  前記逆スライド手段にて前記第2チャネル信号の再生成信号を移動させた結果、前記第2チャネル信号の再生成信号の信号列に空白区間が生じる場合に、前記空白区間を内挿補間する内挿補間手段を、さらに具備する請求項5記載のステレオ信号逆変換装置。
  7.  前記逆スライド手段にて前記第2チャネル信号の再生成信号を移動させた結果、前記第2チャネル信号の再生成信号の信号列に重なり区間が生じる場合に、前記重なり区間の前記第2チャネル信号の再生成信号を用いて、予め設定された演算を行うことにより、前記重なり区間の重なりを解消する重なり区間処理手段を、さらに具備する請求項5記載のステレオ信号逆変換装置。
  8.  前記モノラル信号の符号化データを復号して前記モノラル再生成信号を生成する第1復号手段と、
     前記サイド信号の符号化データを復号して前記サイド再生成信号を生成する第2復号手段と、
     前記第2チャネル信号を移動させた値を示す情報の符号化データを復号する第3復号手段と、
     請求項5記載のステレオ信号逆変換装置と、
     を具備する復号装置。
  9.  ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関が最も高くなるタイミング差を分析する分析工程と、
     前記タイミング差に基づいて前記第2チャネル信号を時間移動させるスライド工程と、
     前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号を生成する和差計算工程と、
     を具備するステレオ信号変換方法。
  10.  ステレオ信号を構成する第1チャネル信号と時間移動させた後の第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記時間移動させた後の第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第1チャネル信号の再生成信号および前記時間移動させた後の第2チャネル信号の再生成信号を生成する再生成信号生成工程と、
     前記時間移動させた後の第2チャネル信号の再生成信号を元に戻すように移動させる逆スライド工程と、
     を具備するステレオ信号逆変換方法。
     
     
PCT/JP2008/003893 2007-12-21 2008-12-22 ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 WO2009081567A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP08863826A EP2237267A4 (en) 2007-12-21 2008-12-22 STEREOSIGNALUMSETZER, STEREOSIGNALWANDLER AND METHOD THEREFOR
JP2009546943A JPWO2009081567A1 (ja) 2007-12-21 2008-12-22 ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
US12/809,154 US20100290629A1 (en) 2007-12-21 2008-12-22 Stereo signal converter, stereo signal inverter, and method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007-330991 2007-12-21
JP2007330991 2007-12-21
JP2008253636 2008-09-30
JP2008-253636 2008-09-30

Publications (1)

Publication Number Publication Date
WO2009081567A1 true WO2009081567A1 (ja) 2009-07-02

Family

ID=40800884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/003893 WO2009081567A1 (ja) 2007-12-21 2008-12-22 ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法

Country Status (4)

Country Link
US (1) US20100290629A1 (ja)
EP (1) EP2237267A4 (ja)
JP (1) JPWO2009081567A1 (ja)
WO (1) WO2009081567A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033672A (zh) * 2015-03-09 2016-10-19 华为技术有限公司 确定声道间时间差参数的方法和装置
JP2019527855A (ja) * 2016-08-10 2019-10-03 華為技術有限公司Huawei Technologies Co.,Ltd. マルチチャネル信号を符号化する方法及びエンコーダ
JP2019207430A (ja) * 2015-11-20 2019-12-05 クアルコム,インコーポレイテッド 複数のオーディオ信号の符号化

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2264698A4 (en) * 2008-04-04 2012-06-13 Panasonic Corp STEREO SIGNAL CONVERTER, STEREO SIGNAL INVERTER AND METHODS THEREOF
US20110058678A1 (en) * 2008-05-22 2011-03-10 Panasonic Corporation Stereo signal conversion device, stereo signal inverse conversion device, and method thereof
WO2010091555A1 (zh) * 2009-02-13 2010-08-19 华为技术有限公司 一种立体声编码方法和装置
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9055371B2 (en) 2010-11-19 2015-06-09 Nokia Technologies Oy Controllable playback system offering hierarchical playback options
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
EP2834995B1 (en) 2012-04-05 2019-08-28 Nokia Technologies Oy Flexible spatial audio capture apparatus
EP2982139A4 (en) 2013-04-04 2016-11-23 Nokia Technologies Oy AUDIOVISUAL PROCESSING APPARATUS
US9706324B2 (en) 2013-05-17 2017-07-11 Nokia Technologies Oy Spatial object oriented audio apparatus
GB2519379B (en) * 2013-10-21 2020-08-26 Nokia Technologies Oy Noise reduction in multi-microphone systems
US10074373B2 (en) * 2015-12-21 2018-09-11 Qualcomm Incorporated Channel adjustment for inter-frame temporal shift variations
CN108877815B (zh) * 2017-05-16 2021-02-23 华为技术有限公司 一种立体声信号处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0255431A (ja) * 1988-08-19 1990-02-23 Matsushita Electric Ind Co Ltd 情報伝送装置
JPH07240722A (ja) * 1994-02-28 1995-09-12 Toshiba Corp 音声符号復号化装置、音声符号化装置及び音声復号化装置
JP2001255892A (ja) 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
WO2007052612A1 (ja) * 2005-10-31 2007-05-10 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置およびステレオ信号予測方法
JP2007304346A (ja) * 2006-05-11 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149039A (en) * 1976-11-05 1979-04-10 Kokusai Denshin Denwa Co., Ltd. Frequency band compression of FDM using time expansion
ATE387829T1 (de) * 2002-01-29 2008-03-15 Bang & Olufsen As Modularer lautsprecher
WO2007109338A1 (en) * 2006-03-21 2007-09-27 Dolby Laboratories Licensing Corporation Low bit rate audio encoding and decoding
WO2005106850A1 (ja) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. 階層符号化装置および階層符号化方法
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
JP4882430B2 (ja) * 2006-03-07 2012-02-22 富士通株式会社 図形描画プログラム、方法及び装置
GB2453117B (en) * 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
US8355921B2 (en) * 2008-06-13 2013-01-15 Nokia Corporation Method, apparatus and computer program product for providing improved audio processing
EP2345026A1 (en) * 2008-10-03 2011-07-20 Nokia Corporation Apparatus for binaural audio coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0255431A (ja) * 1988-08-19 1990-02-23 Matsushita Electric Ind Co Ltd 情報伝送装置
JPH07240722A (ja) * 1994-02-28 1995-09-12 Toshiba Corp 音声符号復号化装置、音声符号化装置及び音声復号化装置
JP2001255892A (ja) 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
WO2007052612A1 (ja) * 2005-10-31 2007-05-10 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置およびステレオ信号予測方法
JP2007304346A (ja) * 2006-05-11 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Proceedings of the 2005 IEICE General Conference Joho System 1,", 7 March 2005, article MICHIYO GOTO ET AL.: "Channel Kan Joho o Mochiita Onsei Tsushin'yo Stereo Onsei Fugoka Hoho no Kento", pages: 119, XP008136889 *
See also references of EP2237267A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033672A (zh) * 2015-03-09 2016-10-19 华为技术有限公司 确定声道间时间差参数的方法和装置
CN106033672B (zh) * 2015-03-09 2021-04-09 华为技术有限公司 确定声道间时间差参数的方法和装置
JP2019207430A (ja) * 2015-11-20 2019-12-05 クアルコム,インコーポレイテッド 複数のオーディオ信号の符号化
US11094330B2 (en) 2015-11-20 2021-08-17 Qualcomm Incorporated Encoding of multiple audio signals
JP2019527855A (ja) * 2016-08-10 2019-10-03 華為技術有限公司Huawei Technologies Co.,Ltd. マルチチャネル信号を符号化する方法及びエンコーダ
US10643625B2 (en) 2016-08-10 2020-05-05 Huawei Technologies Co., Ltd. Method for encoding multi-channel signal and encoder
JP2021092805A (ja) * 2016-08-10 2021-06-17 華為技術有限公司Huawei Technologies Co.,Ltd. マルチチャネル信号を符号化する方法及びエンコーダ
US11217257B2 (en) 2016-08-10 2022-01-04 Huawei Technologies Co., Ltd. Method for encoding multi-channel signal and encoder
JP7273080B2 (ja) 2016-08-10 2023-05-12 華為技術有限公司 マルチチャネル信号を符号化する方法及びエンコーダ
US11756557B2 (en) 2016-08-10 2023-09-12 Huawei Technologies Co., Ltd. Method for encoding multi-channel signal and encoder

Also Published As

Publication number Publication date
EP2237267A4 (en) 2012-01-18
US20100290629A1 (en) 2010-11-18
JPWO2009081567A1 (ja) 2011-05-06
EP2237267A1 (en) 2010-10-06

Similar Documents

Publication Publication Date Title
WO2009081567A1 (ja) ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
RU2625444C2 (ru) Система обработки аудио
US8139775B2 (en) Concept for combining multiple parametrically coded audio sources
JP5277508B2 (ja) マルチ・チャンネル音響信号をエンコードするための装置および方法
KR101290486B1 (ko) 다운믹스 오디오 신호를 업믹싱하는 장치, 방법 및 컴퓨터 프로그램
KR101178114B1 (ko) 복수의 입력 데이터 스트림을 믹싱하기 위한 장치
RU2305870C2 (ru) Оптимизированное по точности кодирование с переменной длиной кадра
EP2306452B1 (en) Sound coding / decoding apparatus, method and program
US8817992B2 (en) Multichannel audio coder and decoder
JP4976304B2 (ja) 音響信号処理装置、音響信号処理方法およびプログラム
JPWO2007116809A1 (ja) ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
KR20150073180A (ko) 후방 호환성 다중 해상도 공간적 오디오 오브젝트 코딩을 위한 인코더, 디코더 및 방법
WO2009122757A1 (ja) ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
US20230282220A1 (en) Comfort noise generation for multi-mode spatial audio coding
EP3984027B1 (en) Packet loss concealment for dirac based spatial audio coding
JPWO2008132826A1 (ja) ステレオ音声符号化装置およびステレオ音声符号化方法
KR20210071972A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
WO2009142017A1 (ja) ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
CN113614827B (zh) 用于预测性译码中的低成本错误恢复的方法和设备
RU2807473C2 (ru) Маскировка потерь пакетов для пространственного кодирования аудиоданных на основе dirac
JP2023514531A (ja) マルチチャンネル音コーデックにおけるステレオコーディングモードの切り替え
MX2008009565A (en) Apparatus and method for encoding/decoding signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08863826

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009546943

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12809154

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008863826

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE