WO2019058927A1 - 符号化装置及び符号化方法 - Google Patents
符号化装置及び符号化方法 Download PDFInfo
- Publication number
- WO2019058927A1 WO2019058927A1 PCT/JP2018/032309 JP2018032309W WO2019058927A1 WO 2019058927 A1 WO2019058927 A1 WO 2019058927A1 JP 2018032309 W JP2018032309 W JP 2018032309W WO 2019058927 A1 WO2019058927 A1 WO 2019058927A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- channel
- signal
- coding mode
- main
- energy
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 131
- 230000007613 environmental effect Effects 0.000 claims description 46
- 108091006146 Channels Proteins 0.000 description 362
- 238000004364 calculation method Methods 0.000 description 103
- 238000001228 spectrum Methods 0.000 description 78
- 230000003044 adaptive effect Effects 0.000 description 38
- 230000003595 spectral effect Effects 0.000 description 37
- 238000012937 correction Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 230000009977 dual effect Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 238000010187 selection method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
Definitions
- the present disclosure relates to an encoding device and an encoding method.
- EVS Enhanced Voice Services
- the EVS codec does not support input and output of stereo signals
- the EVS codec (monaural coding) is used to process each channel (left channel (L channel) and right channel (R channel)) of the stereo signal.
- L channel left channel
- R channel right channel
- a stereo signal is encoded using a multi-mode monaural codec that switches and encodes many encoding modes, such as EVS codec (separately into L channel signal and R channel signal of stereo signal and separately monaural encoding (Sometimes referred to as “dual mono coding”)
- the L channel and R channel of the stereo signal may be encoded using different encoding modes, which may degrade the audio quality at the time of stereo reproduction. is there.
- One aspect of the present disclosure contributes to the provision of an encoding apparatus and an encoding method capable of suppressing deterioration in audio quality at the time of stereo reproduction even when a stereo signal is encoded using a multimode codec.
- An encoding apparatus performs signal analysis on left and right channel signals that constitute a stereo signal, and determines parameters for determining encoding modes for the left and right channels.
- the coding circuit preferentially uses the parameter in the channel having a low ratio of the energy of the environmental sound component to the total energy of each channel among the left channel and the right channel, using the common coding mode. judge.
- FIG. 6 shows an example of the relationship between inter-channel correlation and estimated environmental sound component energy of a non-main channel signal according to the first embodiment.
- FIG. 10 is a flowchart showing the flow of determination / correction processing of the coding mode according to Embodiment 2.
- FIG. Block diagram showing a configuration example of a coding apparatus according to Embodiment 3. A diagram showing an example of correspondence between a range of inter-channel correlation values and a coding mode according to Embodiment 3.
- FIG. 16 is a diagram showing an operation example of the signal analysis unit and the inter-channel correlation calculation unit according to the fourth embodiment.
- a 3GPP EVS coding system will be outlined as an example of a multi-mode monaural coding system (see, for example, Non-Patent Document 1).
- a plurality of coding techniques are adopted (see, for example, FIG. 1).
- the multiple encoding techniques employed in the EVS codec are basically based on the following two principles.
- One is a Linear Prediction (LP) based approach and the other is a frequency domain approach.
- LP Linear Prediction
- a coding mode for example, ACELP (Algebraic CELP) or the like
- CELP Code Excited Linear Prediction
- HQ MDCT High Quality Modified Discrete Cosine Transform
- TCX Transformed Code Excitation
- the most suitable coding mode is selected, for example, from ACELP, HQ MDCT, and TCX according to the input voice and sound signal.
- Each coding mode is designed and adjusted so that various signals can be efficiently coded.
- the coding mode selection in the EVS codec is performed based on, for example, bit rate, bandwidth of audio signal, speech / music classification, selected coding mode, or other parameters (feature quantities).
- FIG. 2 shows, as an example, a parameter indicating the bit rate ([kbps]), bandwidth (SWB (super wideband), FB (fullband)), type of input signal (speech / audio), and selection according to each parameter And the corresponding coding modes (ACELP, GSC, TCX, HQ MDCT).
- the EVS codec is a monaural codec, but it can also be used in a stereo rendering system if each channel of a stereo signal is processed using the monaural codec.
- FIG. 3 shows, by way of example, a configuration example of dual mono encoding in which processing is performed using a monaural codec for each channel (L channel, R channel) of a stereo signal.
- the left channel signal (hereinafter referred to as “L channel signal”) and the right channel signal (hereinafter referred to as “R channel signal”) of stereo signals are individually encoded by the monaural codec. .
- L channel signal left channel signal
- R channel signal right channel signal
- different encoding modes may be selected and encoded in the L channel and the R channel of the stereo signal.
- both channel signals are EVS codecs
- the signal analysis for each channel signal and the selection of the coding mode are performed independently, so that different coding modes may be selected respectively for both channels. Occur. If different encoding modes are selected for both channels, the subjective quality of the decoded signal may be degraded, which may cause abnormal noise and / or distortion during stereo reproduction, or may cause stereo localization to be disturbed. is there.
- Embodiment 1 [Overview of communication system]
- the communication system according to the present embodiment includes an encoding device (encoder) 100 and a decoding device (not shown).
- FIG. 4 is a block diagram showing a part of the configuration of coding apparatus 100 according to the present embodiment.
- signal analysis section 101 performs signal analysis on L channel signals and R channel signals constituting stereo signals, and determines the encoding mode for L channels and R channels. Parameters (analysis parameters, feature quantities) are generated respectively.
- the DMA stereo encoding unit 104 encodes the L channel signal and the R channel signal using a common encoding mode for the L channel signal and the R channel signal.
- the DMA stereo encoding unit 104 preferentially uses the above parameter in a channel having a low ratio of the energy of the environmental sound component to the total energy of each channel among the L channel and the R channel, and thus uses a common coding mode. judge.
- FIG. 5 is a block diagram showing a configuration example of the coding apparatus 100 according to the present embodiment.
- the encoding apparatus 100 includes a signal analysis unit 101, an inter-channel correlation calculation unit 102, a changeover switch 103, a dual mono with mode alignment (DMA) stereo encoding unit 104, and a dual mono (DM) stereo.
- DMA dual mono with mode alignment
- DM dual mono
- a configuration including an encoding unit 105 and a multiplexing unit 106 is employed.
- an L channel signal (Left channel) and an R channel signal (Right channel) constituting a stereo signal are input to the signal analysis unit 101, the inter-channel correlation calculation unit 102, and the changeover switch 103.
- the signal analysis unit 101 performs signal analysis on the input L channel signal and R channel signal, and parameters necessary for determining the coding mode for the L channel and R channel (for example, types of input signals (for example, voice / Music), bandwidth, estimated segmental signal-to-noise ratio, long-term prediction parameters, voicedness measure, spectral noise floor, high band energy, voiced judgment, high band sparsity, average energy, peak to average ratio, etc. Generate each).
- the signal analysis unit 101 outputs the obtained analysis parameters (parameters) to the changeover switch 103. For example, in the signal analysis unit 101, at the time of signal analysis, frequency domain conversion processing of a channel signal, energy calculation processing, and the like are performed.
- the inter-channel correlation calculation unit 102 uses the input L-channel signal and R-channel signal, for example, to calculate the inter-channel correlation (normalized cross correlation coefficient) between the L channel and the R channel according to the following equation (1) (Hereinafter, simply referred to as "cross correlation coefficient") ⁇ is calculated. ⁇ is 0 ⁇ ⁇ 1.
- R 11 represents the autocorrelation coefficient (energy) of the L channel signal
- R 22 represents the autocorrelation coefficient (energy) of the R channel signal
- R 12 represents a cross-correlation coefficient between the L channel signal and R-channel signal (cross-spectral).
- Frame length indicates the number of frequency spectrum parameters (spectral coefficients) in a frame
- l (k) indicates the k-th spectral coefficient in the L channel signal
- R (k) indicates the k-th spectrum in the R channel signal Indicates the coefficient.
- the inter-channel correlation calculation unit 102 determines a stereo coding mode for stereo signals (L channel signal and R channel signal) based on the calculated cross correlation coefficient ⁇ .
- the stereo coding mode for example, as shown in FIG. 3, a mode in which the coding mode is individually selected and coded for the L channel signal and the R channel signal (hereinafter referred to as “mode” or “DM stereo coding mode”) and a mode in which a common coding mode is selected and coded for L channel signals and R channel signals as described later
- mode dual mono coding Mode
- DM stereo coding mode a mode in which a common coding mode is selected and coded for L channel signals and R channel signals as described later
- the inter-channel correlation calculation unit 102 determines that the cross-correlation coefficient ⁇ is less than or equal to the threshold value as the DM stereo coding mode, and the cross-correlation coefficient ⁇ is more than the threshold value. judge. As an example, when the cross correlation coefficient ⁇ is 0 (that is, there is no correlation between the L channel signal and the R channel signal), the inter-channel correlation calculation unit 102 determines that the DM stereo coding mode is set, If the number ⁇ is greater than 0 ( ⁇ > 0), it may be determined that the DMA stereo encoding mode is in effect.
- the inter-channel correlation calculation unit 102 outputs the cross-correlation coefficient ⁇ and a stereo mode determination flag (stereo mode decision), which is the determination result of the stereo coding mode, to the changeover switch 103.
- changeover switch 103 When the stereo mode determination flag input from inter-channel correlation calculation section 102 is the DMA stereo coding mode, changeover switch 103 inputs the L channel signal, R channel signal, and analysis parameters input from signal analysis section 101. The cross correlation coefficient ⁇ input from the correlation calculation unit 101 is output to the DMA stereo coding unit 104. On the other hand, when the stereo mode determination flag is the DM stereo coding mode, the changeover switch 103 outputs the L channel signal, the R channel signal, and the analysis parameter to the DM stereo coding unit 105.
- the DMA stereo coding unit 104 determines (selects) a common coding mode for the L channel signal and the R channel signal using the cross correlation coefficient ⁇ and the analysis parameter. Then, DMA stereo encoding section 104 encodes each of the L channel signal and R channel signal using the determined common encoding mode, and outputs the generated encoded bit stream to multiplexing section 106. The details of the method of selecting the coding mode in the DMA stereo coding unit 104 will be described later.
- the DM stereo coding unit 105 determines (selects) the coding mode individually for the L channel signal and the R channel signal using the analysis parameter. Then, the DM stereo encoding unit 105 encodes the L channel signal and the R channel signal using the determined encoding mode, and outputs the generated encoded bit stream to the multiplexing unit 106 (for example, as shown in FIG. See 3).
- the multiplexing unit 106 multiplexes the coded bit stream input from the DMA stereo coding unit 104 or the DM stereo coding unit 105.
- the multiplexed bit stream is sent to a decoder (not shown).
- the coding apparatus 100 shown in FIG. 5 performs coding equivalent to these components instead of including the changeover switch 103, the DMA stereo coding unit 104, and the DM stereo coding unit 105. It may be a configuration (not shown) including a unit. That is, the coding unit determines and determines a stereo coding mode (DMA stereo coding or DM stereo coding) according to the inter-channel correlation (cross correlation coefficient ⁇ ) from the inter-channel correlation calculation unit 102.
- the L channel signal and the R channel signal constituting the stereo signal may be encoded respectively using the stereo encoding mode described above.
- FIG. 6 is a block diagram showing the configuration of signal separating section 101 and DMA stereo encoding section 104 shown in FIG.
- the DMA stereo coding unit 104 includes an adaptive mixing unit 141, a coding mode selection unit 142, an Lch coding unit 143, an Rch coding unit 144, and a bit stream generation unit 145.
- Lch analysis parameters (Left channel parameters) obtained by performing signal analysis on the L channel signal in the signal analysis unit 101 (Lch signal analysis unit) are switched. Input via (not shown).
- Rch analysis parameters (Right channel parameters) obtained by performing signal analysis on the R channel signal in the signal analysis unit 101 (Rch signal analysis unit) are It is input via the changeover switch 103 (not shown).
- the adaptive mixing unit 141 mixes the Lch analysis parameter and the Rch analysis parameter input from the signal analysis unit 101 based on the cross correlation coefficient ⁇ input from the inter-channel correlation calculation unit 102 (see FIG. 5). (Mixing) is performed, and analysis parameters (Mixed channel parameters) after mixing are output to the coding mode selection unit 142.
- the analysis parameters after mixing represent common parameters (features) for determining the coding mode for the L channel signal and the R channel signal.
- the coding mode selection unit 142 uses the analysis parameter after mixing input from the adaptive mixing unit 141 to select a coding mode to be commonly applied to both the L channel signal and the R channel signal.
- the method of selecting the coding mode in the coding mode selection unit 142 may be, for example, the same method as the selection method in the EVS codec (monaural coding) described in FIG. 2 according to the analysis parameter after mixing.
- the coding mode selection unit 142 outputs coding mode information (coding mode decision) indicating the selected coding mode to the Lch coding unit 143 and the Rch coding unit 144.
- the Lch coding unit 143 codes the L channel signal using the coding mode indicated by the coding mode information input from the coding mode selection unit 142, and generates a coded bit stream to be a bit stream generation unit. Output to 145.
- the Rch coding unit 144 codes the R channel signal using the coding mode indicated by the coding mode information input from the coding mode selection unit 142, and generates a coded bit stream to be a bit stream generation unit. Output to 145.
- the bitstream generation unit 145 generates a stereo encoded bit stream using the encoded bit stream input from the Lch encoding unit 143 and the encoded bit stream input from the Rch encoding unit 144, and performs multiplexing. Output to the unit 106 (see FIG. 5).
- FIG. 7 is a flowchart showing a main flow of encoding mode selection processing in the DMA stereo encoding mode according to the present embodiment.
- the signal analysis unit 101 calculates the energy of the L channel signal and the R channel signal (ST101).
- adaptive mixing section 141 calculates an inter-channel energy difference ⁇ using the energy of each channel calculated in ST101 (ST102).
- the adaptive mixing unit 141 identifies the dominant channel and the non-dominant channel for the L channel signal and the R channel signal (ST 103).
- the adaptive mixing unit 141 may identify the main channel and the non-main channel based on the inter-channel energy difference ⁇ calculated in ST102.
- the inter-channel energy difference ⁇ is expressed by the following equation (2).
- the adaptive mixing unit 141 identifies the main channel and the non-main channel according to the positive and negative of the interchannel energy difference ⁇ . Do. Specifically, when the energy difference ⁇ is positive ( ⁇ > 0, that is, R 11 > R 22 ), the adaptive mixing unit 141 determines that the L channel is the main channel and the R channel is the non-main channel. Identify. On the other hand, when the energy difference ⁇ is negative ( ⁇ ⁇ 0, that is, R 11 ⁇ R 22 ), the adaptive mixing unit 141 identifies the L channel as the non-main channel and the R channel as the main channel.
- the adaptive mixing unit 141 may specify one of the L channel and the R channel as the main channel. For example, the adaptive mixing unit 141 may specify the L channel as the main channel when the energy difference ⁇ is positive, and may specify the R channel as the main channel when the energy difference ⁇ is less than 0 ( ⁇ ⁇ 0). Alternatively, the adaptive mixing unit 141 may specify the R channel as the main channel when the energy difference ⁇ is negative, and may specify the L channel as the main channel when the energy difference ⁇ is 0 or more ( ⁇ ⁇ 0).
- the method of specifying the main channel and the non-main channel is not limited to the above method.
- adaptive mixing section 141 weights the analysis parameters of the main channel identified in ST 103 and the analysis parameters of the non-main channel based on the cross correlation coefficient ⁇ and the level difference (energy difference) between the channels (weights). (ST104). In other words, the adaptive mixing unit 141 calculates the weighting factor for the analysis parameter of each channel based on the energy ratio of the environmental sound component to the total energy in each channel (details will be described later).
- the adaptive mixing unit 141 performs mixing (adaptive mixing) of analysis parameters by performing weighted addition on the analysis parameters of the main channel and the analysis parameters of the non-main channel using the weighting factor determined in ST 104 (adaptive mixing) ST 105).
- the adaptive mixing unit 141 performs mixing (weighting addition) of analysis parameters according to the following equation (3) to obtain an analysis parameter (weighting parameter) M p .
- Equation (3) D p denotes analysis parameters for determining the coding mode of the main channel, and ND p denotes analysis parameters for determining the coding mode of the non-main channel. Also, W 1 indicates a weighting factor for analysis parameters of the main channel, and W 2 indicates a weighting factor for analysis parameters of the non-main channel.
- the coding mode selection unit 142 selects a common coding mode for both the L channel signal and the R channel signal, using the analysis parameter M p obtained in ST 105 (ST 106).
- the selection method of the coding mode in the coding mode selection unit 142 may be the same method as the selection method in the EVS codec (monaural coding) described in FIG.
- the input signal input to the encoding apparatus 100 includes an environmental sound component common to both channels (a component whose level is equal and uncorrelated) and a component other than the environmental sound component (in both channels It is assumed that they are composed of common components but different in amplitude and phase).
- the adaptive mixing unit 141 obtains the energy A of the environmental sound component estimated from the input signals of both the L channel and the R channel according to the following equation (4).
- Equation (4) P XL represents the energy of the L channel signal, P XR represents the energy of the R channel signal, and ⁇ represents the interchannel correlation (normalized cross correlation coefficient) represented by equation (1) Show.
- the energy A of the environmental sound component shown in equation (4) can be calculated even before the process of specifying the main channel and the non-main channel (the process of ST103). That is, either of the processing order in the calculation processing of the energy A of the environmental sound component and the identification processing of the main channel and the non-main channel may be earlier.
- adaptive mixing section 141 calculates the energy ratio of the environmental sound component (the ratio of the energy of the environmental sound component to the total energy of the non-main channel) AE ND according to the following equation (5) in the non-main channel identified in ST103. Do.
- P ND denotes the energy of the non-main channel signal and is equal to P XL or P XR .
- the energy of the main channel signal is larger than the energy of the non-main channel signal
- the energy ratio of the environmental sound component in the main channel is equal to that in the non-main channel on the assumption that the above-mentioned environmental sound components are common among the channels. lower than the energy ratio AE ND environment sound components. That is, the reliability of the coding mode selected using the main channel signal (analysis parameter) is at least higher than the reliability of the coding mode selected using the non-main channel signal (analysis parameter).
- the energy ratio AE ND environment sound components in the non-primary channel is increased, the ratio of the main component signals such as speech and acoustic signals in the non-primary channel is lowered. Therefore, as the energy ratio AE ND environment sound components in the non-primary channel is high, the reliability of the coding modes is selected using the non-primary channel signal (analysis parameters) is lower.
- adaptive mixing section 141 is a channel having a low energy ratio of the environmental sound component to the energy of all channels among L channel and R channel. Prioritize analysis parameters in the main channel.
- the adaptive mixing unit 141 the higher the energy ratio AE ND environment sound components in the non-primary channel, to weaken the degree of emphasis analysis parameter in the non-primary channel in determining the common coding mode.
- the adaptive mixing unit 141 calculates a weighting factor for an analysis parameter used for coding mode determination based on the energy ratio AE ND of the environmental sound component in the non-main channel. For example, the adaptive mixing unit 141 obtains the weighting factor W 1 for the analysis parameter of the main channel according to the following equation (6), and the weighting factor W 2 for the analysis parameter of the non-main channel according to the following equation (7).
- the adaptive mixing unit 141 obtains the analysis parameter M p by setting the weight coefficient W 1 of the analysis parameter of the main channel to the weight coefficient W 2 of the analysis parameter of the non-main channel.
- the analysis parameter M p used to determine the common coding mode tends to be set to a value in which the analysis parameter of the main channel is more emphasized.
- the coding apparatus 100 appropriately selects the common coding mode by preferentially using the analysis parameters of the more reliable main channel (the channel having a lower energy ratio of the environmental sound component). It is possible to suppress the deterioration of audio quality at the time of stereo reproduction.
- the energy ratio AE ND of the environmental sound component in the non-main channel shown in the equation (5) is expressed by the following equation (8) using the level ratio (level difference) k between the L channel and the R channel: It can also be represented.
- P D indicates the energy of the main channel signal
- P ND indicates the energy of the non-main channel signal
- the level difference k (P D / P ND ).
- a D is the energy of the environmental sound component, the energy P XR energy P XL and R-channel signal of the L channel signal shown in Equation (4), in equation (8), the energy P D of the primary channel signal And the energy P ND of the non-main channel signal.
- adaptive mixing section 141 uses the inter-channel correlation ⁇ between the L channel and the R channel and the level difference k between the L channel and the R channel to set the energy ratio of the environmental sound component of the non-main channel.
- AE ND the energy ratio of the environmental sound component in the non-main channel is expressed as a function of the level difference k between the channels and the cross correlation coefficient ⁇ .
- FIG. 8 shows the relationship between the cross correlation coefficient ⁇ when the level difference k between channels is expressed as ILD (Inter-channel Level Difference) [dB] and the energy ratio AE ND in the non-main channel signal. ing.
- ILD Inter-channel Level Difference
- AE ND energy ratio
- the graph showing the relationship between the cross correlation coefficient ⁇ and the energy ratio AE ND has a shape that is more convex as the level difference is larger.
- the level of the main component signal such as the voice / sound signal in the main channel becomes the voice in the non-main channel as the level difference k between channels increases.
- the level difference k between channels the more reliable the coding mode determined using the main channel signal is compared to the reliability of the coding mode determined using the non-main channel signal. Get higher.
- the coding apparatus 100 appropriately selects the common coding mode by using the analysis parameter of the highly reliable main channel when determining the common coding mode, and the audio quality at the time of stereo reproduction is determined. Can be suppressed.
- encoding apparatus 100 makes common the encoding mode used to encode each channel signal. By doing this, even in a situation where the subjective quality of the decoded signal is degraded when different coding modes are selected in both channels of the stereo signal, the coding apparatus 100 can be used for both channels of the stereo signal. On the other hand, encoding using a common encoding mode can prevent the subjective quality of the decoded signal from being degraded.
- encoding apparatus 100 determines the main channel and the non-main channel based on the energy ratio of environmental sound components in the non-main channel (cross correlation coefficient ⁇ and level difference between channels). Adjust the weighting with the channel and mix the analysis parameters. Specifically, encoding apparatus 100 preferentially uses analysis parameters of a channel (main channel) having a low energy ratio of environmental sound components, while each channel according to the energy ratio of environmental sound components in a non-main channel. Adjust the emphasis level (weighting factor of each channel) of analysis parameters of Thereby, the coding apparatus 100 can appropriately select the common coding mode in consideration of the reliability of the coding mode determined using the analysis parameter of the non-main channel.
- each channel signal is It is possible to perform encoding using an appropriate encoding mode, and to suppress degradation of audio quality at the time of stereo reproduction.
- each sub-band It may be calculated for each subband using P ND , P XL and P XR of
- the adaptive mixing unit 141 may calculate weighting factors for analysis parameters of both the main channel and the non-main channel according to the following equations (10) and (7).
- adaptive mixing unit 141 obtains the weighting coefficient from the sum of the energy ratio AE ND calculated for each sub-band.
- calculation of the energy (P ND , P XL , P XR ) of the channel signal for each subband is performed in other processing (for example, signal analysis processing) other than mixing processing of analysis parameters in coding mode determination.
- the adaptive mixing unit 141 can calculate weighting coefficients by diverting the energy (P ND , P XL , P XR ) of the channel signal obtained in the other processing. That is, the adaptive mixing unit 141 does not have to calculate the energy (P ND , P XL , P XR ) of the channel signal again to calculate the weight coefficient. Therefore, according to the first modification, it is possible to reduce the amount of calculation of weight coefficient calculation.
- Modification 2 of Embodiment 1 In Modification Example 2, as compared with the first modification, adaptive mixing unit 141, as shown in equation (11), the energy ratio AE ND environment sound components in the non-primary channel, P ND per subband, P In addition to XL and P XR , the cross correlation coefficient ⁇ for each subband is used to calculate for each subband.
- the adaptive mixing unit 141 may calculate weighting coefficients for analysis parameters of both the main channel and the non-main channel according to Equations (10) and (7) as in the first modification.
- the adaptive mixing unit 141 obtains the weighting coefficient from the sum of the energy ratio AE ND calculated for each sub-band.
- the adaptive mixing unit 141 diverts the energy (P ND , P XL , P XR ) of the channel signal obtained in the other processing to calculate the channel for calculating the weighting factor.
- signal energy (P ND , P XL , P XR ) There is no need to calculate signal energy (P ND , P XL , P XR ). Therefore, according to the second modification, it is possible to reduce the amount of calculation of weight coefficient calculation.
- first and second modifications it has been described for calculating the weighting factor from the mean value of the energy ratio AE ND calculated for each sub-band, may be calculated for each sub-band also weighting factor .
- the coding mode for each subband is appropriately selected based on the energy ratio AE ND calculated for each subband. it can.
- encoding apparatus 100 includes DMA stereo encoding section 150 shown in FIG. 9 instead of DMA stereo encoding section 104 shown in FIG. 5.
- FIG. 9 is a block diagram showing a configuration example of the DMA stereo encoding unit 150 according to the present embodiment.
- DMA stereo encoding section 150 shown in FIG. 9 newly includes a determination and correction section 151 in comparison with the configuration of the first embodiment (FIG. 6).
- the signal analysis unit 101 performs coding mode (for example, see FIG. 2) determined based on Lch analysis parameters.
- the Lch coding mode determination result (Left channel coding mode decision) shown is output to the determination and correction unit 151.
- the signal analysis unit 101 indicates an Rch coding mode that indicates a coding mode (for example, see FIG. 2) determined based on Rch analysis parameters.
- the determination result (Right channel coding mode decision) is output to the determination and correction unit 151.
- the determination and correction unit 151 determines the coding mode applied in the past frame, the Lch coding mode determination result input from the signal analysis unit 101, and the Rch coding mode determination result. Then, it is determined whether to correct the coding mode determination result input from the coding mode selection unit 142 or not.
- the coding mode input to the determination and correction unit 151 is referred to as “decision 1”, and the coding mode output from the determination and correction unit 151 is referred to as “decision 2”.
- the judgment correction unit 151 When judging that the correction of the coding mode judgment result is unnecessary, the judgment correction unit 151 outputs the coding mode judgment result to the Lch coding unit 143 and the Rch coding unit 144 without correcting the coding mode judgment result. On the other hand, when it is judged that the correction of the coding mode judgment result is necessary, the coding mode judgment result is corrected, and the corrected coding mode judgment result is outputted to Lch coding section 143 and Rch coding section 144, respectively.
- FIG. 10 is a flow chart showing an example of the flow of determination / correction processing of the coding mode in the determination / correction unit 151.
- the determination and correction unit 151 determines that the coding mode determination result (decision 1) of the current frame in the coding mode selection unit 142 is the same as the coding mode applied in the past frame (for example, the previous frame). It is determined whether or not (ST151).
- the determination and correction unit 151 is used in the past frame (for example, the previous frame). It is determined whether the encoding mode is the same as the Lch encoding mode determination result of the current frame or the Rch encoding mode determination result of the current frame (ST153).
- the judgment correction unit 151 determines the current frame code.
- a correction process (smoothing process) of the coding mode judgment result (decision 1) is performed using the coding mode judgment result and the coding mode of the past frame (ST154).
- the determination and correction unit 151 determines that the common coding mode (decision 1) selected in the current frame is different from the common coding mode selected in the past frame, and the common coding mode (decision 1) selected in the past frame. If the coding mode is the same as either the Lch coding mode determination result of the current frame or the Rch coding mode determination result of the current frame, the common coding mode of the current frame is reselected (corrected).
- the determination and correction unit 151 corrects the analysis parameter M p used in the determination process of the decision 1 according to the following equation (12).
- M p [-1] indicates the analysis parameter M p in the immediately preceding frame (past frame)
- the value of the smoothing coefficient W is not limited to 0.8.
- the past frame to be processed in the smoothing process is not limited to the immediately preceding frame as shown in equation (12), and a plurality of past frames may be processed.
- the determination and correction unit 151 performs reselection (redetermination) of the coding mode using the analysis parameter M p after correction (ST 155).
- the method of selecting the coding mode at the time of reselection of the coding mode may be the same as the selection method in the coding mode selection unit 142.
- the analysis parameter M p is smoothed over the previous frame and the current frame. Also, as shown in equation (12), as the smoothing coefficient W is larger, the modified analysis parameter M p is influenced by the analysis parameter M p [ ⁇ 1] of the past frame. That is, as the smoothing coefficient W is large, the re-selection of the coding modes based on the analysis parameter M p after correction coding mode used in the past frame is likely to be selected.
- the present embodiment it is possible to prevent the determination result (selection result) of the coding mode from being frequently switched between frames, and to suppress deterioration of the subjective quality of the decoded signal.
- FIG. 11 is a block diagram showing a configuration of coding apparatus 200 according to the present embodiment.
- the same components as those in the first embodiment (FIG. 5) will be assigned the same reference numerals and descriptions thereof will be omitted.
- the coding apparatus 200 shown in FIG. 11 has a DM-M / S (Mid / Side) conversion unit 202 and an M / S stereo code compared to the configuration of the first embodiment (FIG. 5).
- the conversion unit 204 is newly provided.
- inter-channel correlation calculation section 201 performs, in addition to DM stereo coding and DMA stereo coding, M / S stereo coding based on the calculated inter-channel correlation (cross correlation coefficient ⁇ ). , Select one stereo coding mode.
- the channel correlation calculation unit 201 outputs a stereo mode determination flag indicating the selected result to the DM-M / S conversion unit 202, the changeover switch 203, and the multiplexing unit 106.
- the inter-channel correlation calculation unit 201 determines the DM stereo coding mode, and the cross correlation coefficient ⁇ is greater than 0 and not more than 0.6.
- the DMA stereo coding mode may be determined, and the M / S stereo coding mode may be determined if the cross correlation coefficient ⁇ is larger than 0.6.
- the range of the cross correlation coefficient ⁇ shown in FIG. 12 is an example, and the present invention is not limited to this.
- the DM-M / S conversion unit 202 When the stereo mode determination flag input from the inter-channel correlation calculation unit 201 is M / S stereo coding, the DM-M / S conversion unit 202 performs M / S on the L / R channel signal as will be described later. It is converted into a signal, and is output to the signal analysis unit 101 and the changeover switch 203.
- the stereo mode determination flag is the DM stereo coding mode or the DMA stereo coding mode
- the DM-M / S converter 202 outputs the L / R channel signal to the signal analyzer 101 and the switch 203 as it is.
- selector switch 203 receives the L channel input.
- the signal, the R channel signal, and the analysis parameters are output to the M / S stereo coding unit 204.
- the M / S stereo coding unit 204 performs M / S stereo coding using the L / R sum signal and L / R difference signal input from the changeover switch 203 and analysis parameters for each.
- M / S stereo coding is performed, in the DM-M / S conversion unit 202, the L channel signal and the R channel signal of the stereo signal are both the Mid channel, which is the sum of both channels, It has been converted to the Side channel, which is the difference between the channels.
- the method described in Non-Patent Document 2 may be used.
- M / S stereo coding is a more efficient coding compared to DM stereo coding.
- the Side channel which is the difference between both channels, has a value close to zero, so the amount of information of the coding information can be reduced.
- the inter-channel correlation is low, dual mono coding can reduce the amount of coded information as compared to M / S stereo coding.
- the correlation between channels is high, it is highly likely that the sound source is a point sound source (eg, a case where one person is talking). In such a case, a more stable sense of stereo localization can be obtained by distributing to L / R using a monaural signal (Mid channel signal) and a Side channel signal.
- the sum and difference of both channels are generated as coding information, so that on the decoding side (not shown), coding information for each frame (sum and difference)
- the decoded signal is decoded on the basis of. That is, the sum of the Mid channel signal which is the sum signal and the Side channel signal which is the difference signal becomes the R channel signal, and the difference between the sum signal (Mid channel signal) and the difference signal (Side channel signal) becomes the L channel signal. . That is, even if the encoding modes of the Mid channel signal and the Side channel signal are different, since both signals are reflected on both the L channel and the R channel, it is not necessary to unify the encoding mode. That is, if M / S stereo coding is used, deterioration of the subjective quality of the decoded signal due to the difference in coding mode between channels can be suppressed.
- the coding apparatus 200 switches between dual mono coding (DMA stereo coding or DM stereo coding) and M / S stereo coding according to the inter-channel correlation (cross correlation coefficient ⁇ ).
- encoding apparatus 200 can select the appropriate encoding mode according to the inter-channel correlation and encode the stereo signal, so that the subjective quality of the decoded signal can be improved.
- coding information can be reduced.
- Embodiment 4 In the present embodiment, a method for efficiently determining inter-channel correlation (cross-correlation coefficient ⁇ ) will be described.
- encoding apparatus 100 includes inter-channel correlation calculation section 301 shown in FIG. 13 instead of inter-channel correlation calculation section 102 shown in FIG. 5.
- the cross correlation coefficient ⁇ includes the cross spectrum component ("Cross-Spectrum" of the molecular term), the energy component of the L channel and the R channel ("left channel energy” of the denominator And “Right Channel Energy”).
- the cross-correlation coefficient ⁇ when calculating the cross-correlation coefficient ⁇ , not all of the frequency spectrum parameters (spectral coefficients) of the L channel and R channel are used, but by using the frequency spectrum parameters of a part of the band. , Reduce the amount of calculation of the cross correlation coefficient ⁇ .
- FIG. 13 is a block diagram showing a configuration example of the signal analysis unit 101 and the inter-channel correlation calculation unit 301 according to the present embodiment.
- the signal analysis unit 101 has a configuration including an Lch frequency domain conversion unit 111, an Lch spectral band energy calculation unit 112, an Rch frequency domain conversion unit 113, and an Rch spectral band energy calculation unit 114.
- the inter-channel correlation calculation unit 301 includes an energy threshold calculation unit 311, a main band identification unit 312, an Lch main band energy calculation unit 313, an Lch main band spectrum acquisition unit 314, and an Rch main band energy calculation unit 315. , Rch main band spectrum acquisition unit 316, cross spectrum calculation unit 317, and correlation operation unit 318.
- the Lch frequency domain conversion unit 111 frequency domain converts the input L channel signal, and outputs Lch frequency spectrum parameters to the Lch spectral band energy calculation unit 112 and the Lch main band spectrum acquisition unit 314.
- the Lch spectral band energy calculation unit 112 groups the Lch frequency spectral parameters input from the Lch frequency domain conversion unit 111 into a plurality of spectral bands, and calculates the energy of each spectral band.
- the Lch spectral band energy calculating unit 112 outputs the calculated Lch band energy to the energy threshold calculating unit 311, the main band specifying unit 312, and the Lch main band energy calculating unit 313.
- the Rch frequency domain conversion unit 113 frequency domain converts the input R channel signal, and outputs the Rch frequency spectrum parameter to the Rch spectral band energy calculation unit 114 and the Rch main band spectrum acquisition unit 316.
- the Rch spectral band energy calculation unit 114 groups the Rch frequency spectral parameters input from the Rch frequency domain conversion unit 113 into a plurality of spectral bands, and calculates the energy of each spectral band.
- the Rch spectral band energy calculating unit 114 outputs the calculated Rch band energy to the energy threshold calculating unit 311, the main band specifying unit 312, and the Rch main band energy calculating unit 315.
- frequency domain conversion and spectral band energy calculation in signal analysis section 101 shown in FIG. 13 are processing performed in the codec to which the present inter-channel correlation calculation section is applied.
- the components of signal analysis section 101 shown in FIG. 13 are not newly provided for the calculation of inter-channel correlation according to the present embodiment. That is, the processing amount of the signal analysis unit 101 does not increase.
- the energy threshold calculation unit 311 calculates the Lch band energy input from the Lch spectral band energy calculation unit 112 and the Rch band energy input from the Rch spectral band energy calculation unit 114.
- the Lch energy threshold and the Rch energy threshold are calculated respectively.
- the energy threshold calculation unit 311 outputs the calculated Lch / Rch energy threshold to the main band identification unit 312.
- the main band specifying unit 312 specifies, as the Lch main band, a spectrum band having an energy larger than the Lch energy threshold input from the energy threshold calculation unit 311 among the Lch band energies input from the Lch spectral band energy calculation unit 112. Do. Similarly, the main band specifying unit 312 sets a spectrum band having an energy higher than the Rch energy threshold input from the energy threshold calculation unit 311 among the Rch band energy input from the Rch spectral band energy calculation unit 114 to the Rch main band. Identify as a band.
- the main band specifying unit 312 sets the Lch main band energy calculation unit 313 and the Lch main band energy calculation unit 313 and the Lch main band as a “main band”, which corresponds to the total of the specified Lch main band and Rch main band, that is, the Lch main band or the Rch main band.
- the signal is output to the main band spectrum acquisition unit 314, the Rch main band energy calculation unit 315, and the Rch main band spectrum acquisition unit 316.
- the Lch main band energy calculation unit 313 calculates the sum of band energy corresponding to the main band input from the main band identification unit 312 among the Lch band energy input from the Lch spectral band energy calculation unit 112, The band energy is output to the correlation operation unit 318 as band energy.
- the Lch main band spectrum acquisition unit 314 extracts an Lch frequency spectrum parameter corresponding to the main band input from the main band specification unit 312 among the Lch frequency spectrum parameters input from the Lch frequency domain conversion unit 111, The spectrum is output to the cross spectrum calculation unit 317 as a spectrum.
- the Rch main band energy calculation unit 315 calculates the sum of band energy corresponding to the main band input from the main band specification unit 312 among the Rch band energy input from the Rch spectral band energy calculation unit 114, The band energy is output to the correlation operation unit 318 as band energy.
- the Rch main band spectrum acquisition unit 316 extracts, from the Rch frequency spectrum parameters input from the Rch frequency domain conversion unit 113, the Rch frequency spectrum parameters corresponding to the main band input from the main band identification unit 312, The spectrum is output to the cross spectrum calculation unit 317 as a spectrum.
- the cross spectrum calculation unit 317 uses the Lch main band spectrum input from the Lch main band spectrum acquisition unit 314 and the Rch main band spectrum input from the Rch main band spectrum acquisition unit 316 to generate a cross spectrum (equation (13). Calculate the molecular term of).
- the cross spectrum calculation unit 317 outputs the calculated cross spectrum to the correlation operation unit 318.
- the correlation operation unit 318 uses the Lch main band energy input from the Lch main band energy calculation unit 313 and the Rch main band energy input from the Rch main band energy calculation unit 315 to generate the energy of the L channel and the R channel. Calculate the (denominator term of equation (13)). Then, the correlation operation unit 318 uses the calculated energy (denominator term of equation (13)) and the cross spectrum (molecular term of equation (13)) input from the cross spectrum calculation unit 317 to perform inter-channel correlation. (Cross-correlation coefficient ⁇ of equation (13)) is calculated.
- FIG. 14 illustrates an example of processing on an L channel signal in the signal analysis unit 101 and the inter-channel correlation calculation unit 301 related to the calculation process of inter-channel correlation.
- the band energy Lband end (k b ) is calculated.
- the energy threshold calculation unit 311 calculates the Lch energy threshold l ⁇ using the Lch band energy Lband end (k b ). For example, the energy threshold value calculation unit 311, the average value of the Lch band energy Lband end (k b), or, as described in Non-Patent Document 1, the average value and standard deviation of the Lch band energy Lband end (k b) It may be defined using
- the energy threshold thr is expressed by the following equation (14).
- the Lch main band energy calculation unit 313 calculates the sum of the band energy of the main band l idx as Lch energy (Left channel energy). Since Lch band energy Lband end (k b) has already been calculated in the signal analysis unit 101, Lch major band energy calculating unit 313, as shown in FIG. 14, the sum of the energy of all the bands k b Lch It may be calculated as energy.
- the Lch main band spectrum acquisition unit 314 acquires the Lch frequency spectrum parameter L (l idx ) included in the Lch main band l idx among the Lch frequency spectrum parameters l.
- the cross spectrum calculation unit 317 uses the Lch frequency spectrum parameter L (l idx ) of the Lch main band and the Rch frequency spectrum parameter R (r idx ) of the Rch main band. Calculate (Cross-Spectrum).
- the correlation operation unit 318 calculates the inter-channel correlation ( ⁇ ) according to equation (13) using Lch energy (Left channel energy), Rch energy (Right channel energy) and cross spectrum (Cross-Spectrum). .
- the inter-channel correlation calculation unit 301 calculates the inter-channel correlation using a part of spectral bands. Also, the inter-channel correlation calculation unit 301 uses, as a part of spectral bands, a main band whose band energy is larger than the energy threshold. Thereby, it is possible to limit the target of the cross spectrum calculation to the frequency spectrum parameters of the main band. Therefore, according to the present embodiment, the amount of computation can be reduced while maintaining the accuracy of the inter-channel correlation.
- the main band specifying unit 312 has described the case of specifying the main band using both Lch and Rch band energy, but the method of specifying the main band is not limited to this.
- the main band specifying unit 312 may select the main channel from Lch and Rch, and specify the main band of both Lch and Rch using the band energy of the selected main channel.
- FIG. 15 is a block diagram showing a configuration example of the inter-channel correlation calculation unit 401 according to the second modification.
- the same components as in FIG. 13 will be assigned the same reference numerals and descriptions thereof will be omitted.
- the energy threshold calculation unit 311 and the main band identification unit 312 are respectively provided for Lch and Rch.
- Lch main band analysis section 411 has amplitudes of frequency spectrum parameters in Lch main band input from main band identification section 312-1.
- the (energy) is calculated and output to the Lch amplitude threshold calculation unit 412.
- the Lch amplitude threshold calculation unit 412 calculates an average amplitude using the amplitude value of the Lch frequency spectrum parameter in the spectral band specified as the main band, which is input from the Lch main band analysis unit 411.
- the Lch amplitude threshold calculation unit 412 outputs the calculated average amplitude value to the Lch / Rch main band spectrum acquisition unit 415 as the Lch amplitude threshold.
- the Rch main band analysis unit 413 and the Rch amplitude threshold calculation unit 414 perform the same processing as the Lch main band analysis unit 411 and the Lch amplitude threshold calculation unit 412 on the Rch.
- the Lch / Rch main band spectrum acquisition unit 415 is included in the main band among the Lch frequency spectrum parameters input from the Lch frequency domain conversion unit 111, and from the Lch amplitude threshold input from the Lch amplitude threshold calculation unit 412.
- the Lch frequency spectrum parameter having a large amplitude (energy) is selected, and is included in the main band among the Rch frequency spectrum parameters input from the Rch frequency domain conversion unit 113, and is input from the Rch amplitude threshold calculation unit 414.
- An Rch frequency spectrum parameter having an amplitude (energy) larger than the Rch amplitude threshold is selected.
- the Lch / Rch main band spectrum acquisition unit 415 selects a frequency component for which at least one of the Lch and Rch frequency spectrum parameters is selected as a frequency component common to Lch and Rch, which is used for correlation calculation.
- the Lch / Rch main band spectrum acquisition unit 415 outputs the Lch frequency spectrum parameter and the Rch frequency spectrum parameter of the selected frequency component to the correlation operation unit 417.
- the correlation operation unit 417 uses the Lch frequency spectrum parameter and the Rch frequency spectrum parameter input from the Lch / Rch main band spectrum acquisition unit 415 to calculate a cross spectrum (a molecular term of Formula (13)).
- a cross spectrum a molecular term of Formula (13)
- all frequency spectrum parameters in the Lch main band and the Rch main band are used because the frequency spectrum parameters used for cross spectrum calculation are limited to particularly large components of energy in the Lch main band and the Rch main band. The amount of computation is reduced compared to the case.
- the correlation calculation unit 417 also calculates the denominator term of equation (13), and calculates the cross correlation coefficient ⁇ shown in equation (13).
- the amount of computation of the cross spectrum can be further reduced.
- the method of specifying the main band described in the present embodiment can be applied to various coding schemes for coding spectrum parameters. For example, by adapting to parametric stereo coding using the principle of BCC (Binaural Cue Coding) as shown in Non-Patent Document 3, reduction in bit rate and reduction in calculation amount can be achieved.
- ICTD inter-channel time difference
- ICC inter-channel coherence
- Equation (5) after identifying the main channel and the non-main channel, the energy ratio AE ND is calculated, whereas the coding apparatus 100 does not specify the main channel and the non-main channel. it may calculate the energy ratio AE ND.
- the encoding apparatus 100 includes the energy ratio of the environmental sound component in the L channel (for example, “AE L ”), and the energy ratio of the environmental sound component in the R channel (for example, “AE Calculate R 2 ) respectively.
- the encoding apparatus 100, of the energy ratio AE L and the energy ratio AE R, using a more higher value of may be calculated weighting factor for analysis parameters of each channel.
- the coding apparatus may determine the inter-channel energy difference ⁇ according to the following equation (16), and may use the determined inter-channel energy difference ⁇ to determine the main channel or obtain the weighting factor. By this means, the coding apparatus can accurately determine the main channel or obtain the weighting factor.
- N indicates the number of frames targeted for long-term averaging of channel energy
- frameno cur indicates the current frame index. That is, (frame no cur -m) represents a frame m frames before the current frame.
- the above embodiments may be combined and applied.
- the DMA stereo coding unit 150 (FIG. 9) according to the second embodiment may be provided instead of the DMA stereo coding unit 104.
- the inter-channel correlation calculation unit 301 (FIG. 13) or 401 (FIG. 15) according to the fourth embodiment is replaced with the inter-channel correlation calculation unit 102. You may have.
- ACELP TCX
- HQ MDCT GSC or the like
- GSC GSC
- each functional block used in the description of the above embodiment is partially or entirely realized as an LSI which is an integrated circuit, and each process described in the above embodiment is partially or totally It may be controlled by one LSI or a combination of LSIs.
- the LSI may be configured from individual chips, or may be configured from one chip so as to include some or all of the functional blocks.
- the LSI may have data inputs and outputs.
- An LSI may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
- the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry, general purpose processors, or dedicated processors is also possible.
- an FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
- the present disclosure may be implemented as digital processing or analog processing.
- integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. The application of biotechnology etc. may be possible.
- a coding apparatus performs signal analysis on left and right channel signals constituting a stereo signal, and generates parameters for determining coding modes for the left and right channels, respectively.
- the coding circuit determines the common coding mode by preferentially using the parameter in the channel having a low ratio of the energy of the environmental sound component to the total energy of each channel among the left channel and the right channel.
- the coding circuit identifies a main channel and a non-main channel for the left channel and the right channel, and codes the main channel based on the ratio of the non-main channel. Calculating a first weighting factor for a first parameter for determining a mode, and a second weighting factor for a second parameter for determining a coding mode of the non-primary channel; Weighting addition is performed on the first parameter and the second parameter using the second weighting factor, and the common coding mode is selected based on a weighting parameter obtained by the weighting addition.
- the first weighting factor is larger and the second weighting factor is smaller.
- the coding circuit uses the inter-channel correlation between the left channel and the right channel, and the level difference between the left channel and the right channel, to use the ratio.
- the smaller the inter-channel correlation the larger the first weighting factor and the smaller the second weighting factor.
- the first weighting factor is larger and the second weighting factor is smaller.
- the encoding method of the present disclosure performs signal analysis on the left channel signal and the right channel signal that constitute a stereo signal, and generates parameters for determining the encoding mode for the left channel and the right channel, respectively.
- the left channel signal and the right channel signal are respectively encoded using a common encoding mode for the left channel signal and the right channel signal, and energy of each channel among the left channel and the right channel is overall
- the common coding mode is determined by preferentially using the parameters in a channel with a low ratio of the energy of the environmental sound component to the.
- One aspect of the present disclosure is useful for voice communication systems using multi-mode coding techniques.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
符号化装置(100)において、信号分析部(101)は、ステレオ信号を構成するLチャネル信号及びRチャネル信号に対して信号分析を行い、Lチャネル及びRチャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成する。DMAステレオ符号化部(104)は、Lチャネル信号及びRチャネル信号に対して共通の符号化モードを用いて、Lチャネル信号及びRチャネル信号をそれぞれ符号化する。ここで、DMAステレオ符号化部(104)は、Lチャネル及びRチャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおけるパラメータを優先的に用いて共通の符号化モードを判定する。
Description
本開示は、符号化装置及び符号化方法に関する。
近年、3GPP(3rd Generation Partnership Project)において、EVS(Enhanced Voice Services)コーデックが標準化された(例えば、非特許文献1を参照)。EVSコーデックは、モノラル音声音響信号を符号化するために設計されている。
3GPP TS 26.445 V14.0.0, "Codec for Enhanced Voice services (EVS); Detailed algorithmic description (Release 14)", 2017-03
J.D.Johnston, A.J.Ferreira, "SUM-DIFFERENCE STEREO TRANSFORM CODING," proc. IEEE ICASSP1992, pp.II-560 - II-572, 1992
E.Schuijers, W.Oomen, B.Brinker, and J. Breebaart, "Advances in Parametric Coding for High-Quality Audio", in Preprint 5852, 114th AES convention, Amsterdam, Mar.2003.
C. Faller, "Multiple-loudspeaker playback of stereo signals", Journal of the Audio Engineering Society volume 54, issue 11, pp. 1051-1064,Nov.2006.
Yue Lang et al. "Novel low complexity coherence estimation and systhesis algorithms for parametric stereo coding", EUSIPCO, Aug. 2012, pp.2427-2431.
J. Merimaa et al., "Correlation based ambience extraction from stereo recodings", in Preprint 7282, 123rd AES convention, Oct. 2007.
EVSコーデックはステレオ信号の入出力をサポートしていないが、EVSコーデック(モノラル符号化)を用いて、ステレオ信号の各チャネル(左チャネル(Lチャネル)、右チャネル(Rチャネル))をそれぞれ処理すればステレオレンダリングシステムでも利用可能である。しかしながら、EVSコーデックのように多くの符号化モードを切り替えて符号化するマルチモードモノラルコーデックを用いてステレオ信号を符号化(ステレオ信号のLチャネル信号とRチャネル信号とに分けて別々にモノラル符号化することを「デュアルモノ符号化」と呼ぶこともある)した場合、ステレオ信号のLチャネルとRチャネルとで異なる符号化モードを用いて符号化され、ステレオ再生時の音声品質を劣化させる恐れがある。
本開示の一態様は、マルチモードコーデックを用いてステレオ信号を符号化する場合でも、ステレオ再生時の音声品質の劣化を抑えることができる符号化装置及び符号化方法の提供に資する。
本開示の一態様に係る符号化装置は、ステレオ信号を構成する左チャネル信号及び右チャネル信号に対して信号分析を行い、左チャネル及び右チャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成する信号分析回路と、前記左チャネル信号及び前記右チャネル信号に対して共通の符号化モードを用いて、前記左チャネル信号及び前記右チャネル信号をそれぞれ符号化する符号化回路と、を具備し、前記符号化回路は、前記左チャネル及び前記右チャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける前記パラメータを優先的に用いて前記共通の符号化モードを判定する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、マルチモードコーデックを用いてステレオ信号を符号化する場合でも、ステレオ再生時の音声品質の劣化を抑えることができる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
以下、本開示の実施の形態について図面を参照して詳細に説明する。
まず、マルチモードモノラル符号化システムの一例として,3GPP EVS符号化システムについて概説する(例えば、非特許文献1を参照)。
EVSコーデックでは、非特許文献1に記載されているように、複数の符号化技術(符号化モード)が採用されている(例えば、図1を参照)。EVSコーデックに採用された複数の符号化技術は、基本的に、以下の二つの原理に基づく。一つは線形予測(Linear Prediction:LP)ベースのアプローチであり、もう一つは周波数領域アプローチである。線形予測ベースの符号化では、CELP(Code Excited Linear Prediction)符号化技術に基づいて各ビットレート専用に最適化された符号化モード(例えば、ACELP(Algebraic CELP)等)が用いられる。また、周波数領域アプローチでは、HQ MDCT(High Quality Modified Discrete Cosine Transform)技術又はTCX(Transformed Code Excitation)技術などが採用されている。
EVSコーデックでは、入力された音声・音響信号に応じて、例えば、ACELP、HQ MDCT及びTCXの中から最も適した符号化モードが選択される。各符号化モードは各種信号を効率的に符号化できるように設計、調整されている。EVSコーデックでの符号化モード選択は、例えば、ビットレート、オーディオ信号の帯域幅、音声/音楽分類、選択された符号化モード、又はその他のパラメータ(特徴量)に基づいて行われる。図2は、一例として、ビットレート([kbps])、帯域幅(SWB(super wideband)、FB(fullband))、入力信号の種類(speech/audio)を示すパラメータと、各パラメータに応じて選択される符号化モード(ACELP、GSC、TCX、HQ MDCT)との対応関係を示す。
上述したように、EVSコーデックはモノラルコーデックだが、モノラルコーデックを用いてステレオ信号の各チャネルをそれぞれ処理すれば、ステレオレンダリングシステムでも利用可能である。図3は、一例として、ステレオ信号の各チャネル(Lチャネル、Rチャネル)の各々に対してモノラルコーデックを用いて処理するデュアルモノ符号化(dual mono encoder)の構成例を示す。
図3に示すように、ステレオ信号の左チャネル信号(以下、「Lチャネル信号」と呼ぶ)及び右チャネル信号(以下、「Rチャネル信号」と呼ぶ)は、モノラルコーデックによって個別に符号化される。この場合、ステレオ信号のLチャネルとRチャネルとで異なる符号化モードが選択され、符号化されることがある。
例えば、ステレオ信号のLチャネルとRチャネルとの間において、各チャネルの入力信号レベルに対する環境音(周囲騒音)レベル(環境音成分のエネルギ)の比率が異なる場合に、両方のチャネル信号がEVSコーデックのようなマルチモードコーデックによって別々に処理されると、各々のチャネル信号に対する信号分析及び符号化モードの選択が独立して行われるため、両方のチャネルで異なる符号化モードがそれぞれ選択される場合が発生する。両方のチャネルで異なる符号化モードが選択されると、復号信号の主観品質が劣化し、ステレオ再生時に異音及び/又は歪となって聞こえたり、ステレオ定位感が乱れたりする原因となる場合がある。
そこで、本開示の各実施の形態では、チャネル間において環境音成分のエネルギ比率に差があるようなステレオ信号に対して、マルチモードコーデックによりデュアルモノ符号化を行う場合でも、ステレオ再生時の音声品質の劣化(異音及び/又は歪み、定位感の乱れの発生)を抑える方法について説明する。
(実施の形態1)
[通信システムの概要]
本実施の形態に係る通信システムは、符号化装置(encoder)100及び復号装置(decoder)(図示せず)を備える。
[通信システムの概要]
本実施の形態に係る通信システムは、符号化装置(encoder)100及び復号装置(decoder)(図示せず)を備える。
図4は、本実施の形態に係る符号化装置100の一部の構成を示すブロック図である。図4に示す符号化装置100において、信号分析部101は、ステレオ信号を構成するLチャネル信号及びRチャネル信号に対して信号分析を行い、Lチャネル及びRチャネルに対して符号化モードを判定するためのパラメータ(分析パラメータ、特徴量)をそれぞれ生成する。DMAステレオ符号化部104は、Lチャネル信号及びRチャネル信号に対して共通の符号化モードを用いて、Lチャネル信号及びRチャネル信号をそれぞれ符号化する。ここで、DMAステレオ符号化部104は、Lチャネル及びRチャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける上記パラメータを優先的に用いて共通の符号化モードを判定する。
[符号化装置の構成]
図5は、本実施の形態に係る符号化装置100の構成例を示すブロック図である。図5において、符号化装置100は、信号分析部101と、チャネル間相関算出部102と、切替スイッチ103と、DMA(Dual Mono with mode alignment)ステレオ符号化部104と、DM(Dual Mono)ステレオ符号化部105と、多重化部106と、を含む構成を採る。
図5は、本実施の形態に係る符号化装置100の構成例を示すブロック図である。図5において、符号化装置100は、信号分析部101と、チャネル間相関算出部102と、切替スイッチ103と、DMA(Dual Mono with mode alignment)ステレオ符号化部104と、DM(Dual Mono)ステレオ符号化部105と、多重化部106と、を含む構成を採る。
図5において、信号分析部101、チャネル間相関算出部102及び切替スイッチ103には、ステレオ信号を構成するLチャネル信号(Left channel)、及び、Rチャネル信号(Right channel)が入力される。
信号分析部101は、入力されるLチャネル信号及びRチャネル信号に対して信号分析を行い、Lチャネル及びRチャネルについて符号化モードの判定に必要なパラメータ(例えば、入力信号の種類(例えば音声/音楽),帯域幅,推定セグメンタルS/N比,長期予測パラメータ,有声性尺度,スペクトルノイズフロア,高域エネルギ,有音判定,高域スパース度,平均エネルギ,ピーク対平均比,などの特徴量)をそれぞれ生成する。信号分析部101は、得られた分析パラメータ(parameters)を切替スイッチ103に出力する。例えば、信号分析部101では、信号分析の際、チャネル信号の周波数領域変換処理、及び、エネルギ算出処理等が行われる。
チャネル間相関算出部102は、入力されるLチャネル信号及びRチャネル信号を用いて、例えば、次式(1)に従って、LチャネルとRチャネルとの間のチャネル間相関(正規化相互相関係数(以下、単に「相互相関係数」と呼ぶ))αを算出する。αは、0<α<1である。
式(1)において、R11は、Lチャネル信号の自己相関係数(エネルギ)を示し、R22は、Rチャネル信号の自己相関係数(エネルギ)を示す。また、R12は、Lチャネル信号とRチャネル信号との間の相互相関係数(クロススペクトル)を示す。また、Framelengthはフレーム内の周波数スペクトルパラメータ(スペクトル係数)の数を示し、l(k)はLチャネル信号におけるk番目のスペクトル係数を示し、R(k)はRチャネル信号におけるk番目のスペクトル係数を示す。
また、チャネル間相関算出部102は、算出した相互相関係数αに基づいて、ステレオ信号(Lチャネル信号及びRチャネル信号)に対するステレオ符号化モードを判定する。
ここで、ステレオ符号化モードには、例えば、図3に示すように、Lチャネル信号及びRチャネル信号に対して符号化モードを個別に選択して符号化するモード(以下、「デュアルモノ符号化モード」又は「DMステレオ符号化モード」と呼ぶ)、及び、後述するように、Lチャネル信号及びRチャネル信号に対して共通の符号化モードを選択して符号化するモード(以下、「共通デュアルモノ符号化モード」又は「DMAステレオ符号化モード」と呼ぶ)がある。
具体的には、チャネル間相関算出部102は、相互相関係数αが閾値以下の場合にDMステレオ符号化モードと判定し、相互相関係数αが閾値より大きい場合にDMAステレオ符号化モードと判定する。一例として、チャネル間相関算出部102は、相互相関係数αが0の場合(つまり、Lチャネル信号とRチャネル信号とに相関が無い場合)にDMステレオ符号化モードと判定し、相互相関係数αが0より大きい場合(α>0)にDMAステレオ符号化モードと判定してもよい。
チャネル間相関算出部102は、相互相関係数α、ステレオ符号化モードの判定結果であるステレオモード判定フラグ(stereo mode decision)を、切替スイッチ103に出力する。
切替スイッチ103は、チャネル間相関算出部102から入力されるステレオモード判定フラグがDMAステレオ符号化モードである場合、入力されるLチャネル信号、Rチャネル信号、信号分析部101から入力される分析パラメータ、及び、相関算出部101から入力される相互相関係数αをDMAステレオ符号化部104に出力する。一方、切替スイッチ103は、ステレオモード判定フラグがDMステレオ符号化モードである場合、Lチャネル信号、Rチャネル信号及び分析パラメータをDMステレオ符号化部105に出力する。
DMAステレオ符号化部104は、相互相関係数α、及び、分析パラメータを用いて、Lチャネル信号及びRチャネル信号に対する共通の符号化モードを判定(選択)する。そして、DMAステレオ符号化部104は、判定した共通の符号化モードを用いて、Lチャネル信号及びRチャネル信号をそれぞれ符号化し、生成された符号化ビットストリームを多重化部106へ出力する。なお、DMAステレオ符号化部104における符号化モードの選択方法の詳細については後述する。
DMステレオ符号化部105は、分析パラメータを用いて、Lチャネル信号及びRチャネル信号に対して個別に符号化モードを判定(選択)する。そして、DMステレオ符号化部105は、判定した符号化モードを用いて、Lチャネル信号及びRチャネル信号をそれぞれ符号化し、生成された符号化ビットストリームを多重化部106へ出力する(例えば、図3を参照)。
多重化部106は、DMAステレオ符号化部104又はDMステレオ符号化部105から入力される符号化ビットストリームを多重する。多重化されたビットストリームは、復号装置(図示せず)へ送信される。
なお、図5に示す符号化装置100は、切替スイッチ103と、DMAステレオ符号化部104と、DMステレオ符号化部105と、を備える代わりに、これらの構成部と同等の処理を行う符号化部を備える構成(図示せず)でもよい。すなわち、当該符号化部は、チャネル間相関算出部102からのチャネル間相関(相互相関係数α)に応じて、ステレオ符号化モード(DMAステレオ符号化又はDMステレオ符号化)を決定し、決定したステレオ符号化モードを用いてステレオ信号を構成するLチャネル信号及びRチャネル信号をそれぞれ符号化すればよい。
[DMAステレオ符号化部104の動作]
次に、DMAステレオ符号化部104における符号化モードの選択方法の詳細について説明する。
次に、DMAステレオ符号化部104における符号化モードの選択方法の詳細について説明する。
図6は、図5に示す信号分離部101及びDMAステレオ符号化部104の構成を示すブロック図である。図6において、DMAステレオ符号化部104は、適応ミキシング部141と、符号化モード選択部142と、Lch符号化部143と、Rch符号化部144と、ビットストリーム生成部145と、を含む構成を採る。
図6に示すように、適応ミキシング部141には、信号分析部101(Lch信号分析部)においてLチャネル信号に対して信号分析を行って得られるLch分析パラメータ(Left channel parameters)が切替スイッチ103(図示せず)を介して入力される。同様に、図6に示すように、適応ミキシング部141には、信号分析部101(Rch信号分析部)においてRチャネル信号に対して信号分析を行って得られるRch分析パラメータ(Right channel parameters)が切替スイッチ103(図示せず)を介して入力される。
適応ミキシング部141は、チャネル間相関算出部102(図5を参照)から入力される相互相関係数αに基づいて、信号分析部101から入力されるLch分析パラメータ及びRch分析パラメータに対してミキシング(混合)を行い、ミキシング後の分析パラメータ(Mixed channel parameters)を符号化モード選択部142に出力する。換言すると、ミキシング後の分析パラメータは、Lチャネル信号及びRチャネル信号に対する符号化モードの判定のための共通のパラメータ(特徴量)を表す。
符号化モード選択部142は、適応ミキシング部141から入力されるミキシング後の分析パラメータを用いて、Lチャネル信号及びRチャネル信号の双方に共通して適用する符号化モードを選択する。符号化モード選択部142における符号化モードの選択方法は、ミキシング後の分析パラメータに応じて、例えば、図2で説明したEVSコーデック(モノラル符号化)における選択方法と同じ方法でもよい。符号化モード選択部142は、選択した符号化モードを示す符号化モード情報(coding mode decision)をLch符号化部143及びRch符号化部144に出力する。
Lch符号化部143は、符号化モード選択部142から入力される符号化モード情報に示される符号化モードを用いてLチャネル信号を符号化し、生成される符号化ビットストリームを、ビットストリーム生成部145へ出力する。
Rch符号化部144は、符号化モード選択部142から入力される符号化モード情報に示される符号化モードを用いてRチャネル信号を符号化し、生成される符号化ビットストリームを、ビットストリーム生成部145へ出力する。
ビットストリーム生成部145は、Lch符号化部143から入力される符号化ビットストリーム、及び、Rch符号化部144から入力される符号化ビットストリームを用いてステレオ符号化ビットストリームを生成し、多重化部106(図5を参照)へ出力する。
図7は、本実施の形態に係るDMAステレオ符号化モードにおける符号化モードの選択処理の主な流れを示すフロー図である。
信号分析部101(Lch信号分析部及びRch信号分析部)は、Lチャネル信号及びRチャネル信号のエネルギを算出する(ST101)。次に、適応ミキシング部141は、ST101で算出された各チャネルのエネルギを用いて、チャネル間エネルギ差Δを算出する(ST102)。
そして、適応ミキシング部141は、Lチャネル信号及びRチャネル信号について、主要チャネル(dominant channel)と非主要チャネル(non-dominant channel)とを特定する(ST103)。
式(2)において、R11をLチャネルのエネルギとし、R22をRチャネルのエネルギとする場合、適応ミキシング部141は、チャネル間エネルギ差Δの正負に応じて主要チャネル及び非主要チャネルを特定する。具体的には、適応ミキシング部141は、エネルギ差Δが正の場合(Δ>0。つまり、R11>R22)にはLチャネルが主要チャネルであり、Rチャネルが非主要チャネルであると特定する。一方、適応ミキシング部141は、エネルギ差Δが負の場合(Δ<0。つまり、R11<R22)にはLチャネルが非主要チャネルであり、Rチャネルが主要チャネルであると特定する。
また、適応ミキシング部141は、エネルギ差Δが0の場合(Δ=0。つまり、R11=R22)にはLチャネル及びRチャネルの何れか一方を主要チャネルとして特定してもよい。例えば、適応ミキシング部141は、エネルギ差Δが正の場合にLチャネルを主要チャネルとして特定し、0以下の場合(Δ≦0)にRチャネルを主要チャネルとして特定してもよい。または、適応ミキシング部141は、エネルギ差Δが負の場合にRチャネルを主要チャネルとして特定し、0以上の場合(Δ≧0)にLチャネルを主要チャネルとして特定してもよい。
なお、主要チャネル及び非主要チャネルの特定方法は上記方法に限定されるものではない。
次に、適応ミキシング部141は、相互相関係数α及びチャネル間のレベル差(エネルギ差)に基づいて、ST103で特定した主要チャネルの分析パラメータ及び非主要チャネルの分析パラメータに対する重み係数(ウェイト)を決定する(ST104)。換言すると、適応ミキシング部141は、各チャネルにおけるエネルギ全体に対する環境音成分のエネルギ比率に基づいて各チャネルの分析パラメータに対する重み係数を算出する(詳細は後述する)。
そして、適応ミキシング部141は、主要チャネルの分析パラメータ及び非主要チャネルの分析パラメータに対して、ST104で決定した重み係数を用いて重み付け加算することにより、分析パラメータのミキシング(適応ミキシング)を行う(ST105)。
式(3)において、Dpは主要チャネルの符号化モードを判定するための分析パラメータを示し、NDpは非主要チャネルの符号化モードを判定するための分析パラメータを示す。また、W1は主要チャネルの分析パラメータに対する重み係数を示し、W2は非主要チャネルの分析パラメータに対する重み係数を示す。
最後に、符号化モード選択部142は、ST105で求められた分析パラメータMpを用いて、Lチャネル信号及びRチャネル信号の双方に共通の符号化モードを選択する(ST106)。符号化モード選択部142における符号化モードの選択方法は、図2で説明したEVSコーデック(モノラル符号化)における選択方法と同じ方法でもよい。
次に、ST104における重み係数の算出方法について説明する。
なお、ここでは、符号化装置100に入力される入力信号が、双方のチャネルに共通する環境音成分(レベルが同等で無相関である成分)と、環境音成分以外の成分(双方のチャネルにおいて共通するが振幅、位相が異なる成分)とから構成されると仮定する。
式(4)において、PXLはLチャネル信号のエネルギを示し、PXRはRチャネル信号のエネルギを示し、αは式(1)で表されるチャネル間相関(正規化相互相関係数)を示す。
なお、式(4)に示す環境音成分のエネルギAは、主要チャネル及び非主要チャネルを特定する処理(ST103の処理)の前でも算出可能である。すなわち、環境音成分のエネルギAの算出処理と、主要チャネル及び非主要チャネルの特定処理とにおける処理順序は何れが先でもよい。
次に、適応ミキシング部141は、ST103において特定した非主要チャネルにおいて、環境音成分のエネルギ比率(非主要チャネルのエネルギ全体に対する環境音成分のエネルギの比率)AENDを次式(5)に従って算出する。
式(5)において、PNDは非主要チャネル信号のエネルギを示し、PXL又はPXRと等しい。
図8は、チャネル間相関(相互相関係数)αと、非主要チャネルにおける環境音成分のエネルギ比率AEND(推定環境音成分エネルギ)との関係の一例を示す。図8及び式(5)より、非主要チャネルにおける環境音成分のエネルギ比率AENDは、α=1のとき0となり、α=0のとき1となり、αが増加するに従って1から0へ低くなる。
ここで、環境音成分は双方のチャネルに共通であり(エネルギが等しく)、無相関であることを仮定している。よって、α=0(AEND=1)の場合には非主要チャネルの信号の全てが環境音成分であることになり、α=1(AEND=0)の場合には非主要チャネルの信号には環境音成分無しということになる。
また、主要チャネル信号のエネルギは非主要チャネル信号のエネルギよりも大きいので、上述した環境音成分がチャネル間で共通であるという仮定では、主要チャネルにおける環境音成分のエネルギ比率は、非主要チャネルにおける環境音成分のエネルギ比率AENDよりも低い。つまり、主要チャネル信号(分析パラメータ)を用いて選択される符号化モードの信頼性は、少なくとも、非主要チャネル信号(分析パラメータ)を用いて選択される符号化モードの信頼性よりも高い。
一方、非主要チャネルにおける環境音成分のエネルギ比率AENDが高くなるほど、非主要チャネルにおける音声・音響信号等の主成分信号の比率が低くなる。よって、非主要チャネルにおける環境音成分のエネルギ比率AENDが高くなるほど、非主要チャネル信号(分析パラメータ)を用いて選択される符号化モードの信頼性はより低くなる。
そこで、本実施の形態では、共通の符号化モードを判定するために、適応ミキシング部141は、Lチャネル及びRチャネルのうち、各チャネル全体のエネルギに対する環境音成分のエネルギ比率が低いチャネルである主要チャネルにおける分析パラメータを優先的に用いる。また、適応ミキシング部141は、非主要チャネルにおける環境音成分のエネルギ比率AENDが高いほど、共通の符号化モードを判定する際の非主要チャネルにおける分析パラメータの強調度合いを弱くする。
例えば、適応ミキシング部141は、非主要チャネルにおける環境音成分のエネルギ比率AENDに基づいて、符号化モード判定に用いる分析パラメータに対する重み係数を算出する。例えば、適応ミキシング部141は、主要チャネルの分析パラメータに対する重み係数W1を次式(6)に従って求め、非主要チャネルの分析パラメータに対する重み係数W2を次式(7)に従って求める。
式(5)、式(6)及び式(7)より、α=1(AEND=0)の場合、主要チャネルの分析パラメータに対する重み係数W1=0.5となり、非主要チャネルの分析パラメータに対する重み係数W2=0.5となる。すなわち、式(3)に示す重み付けパラメータMpでは、主要チャネルの分析パラメータDpと、非主要チャネルの分析パラメータNDpとに対する重み付けが均等になる。これは、α=1(AEND=0)の場合、非主要チャネルには環境音成分が無いので、非主要チャネル信号を用いて判定される符号化モードの信頼性が高くなるためである。
一方、式(5)、式(6)及び式(7)より、α=0(AEND=1)の場合、主要チャネルの分析パラメータに対する重み係数W1=1となり、非主要チャネルの分析パラメータに対する重み係数W2=0となる。すなわち、式(3)に示す重み付けパラメータMpは、主要チャネルの分析パラメータDpからなり、非主要チャネルの分析パラメータNDpを含まない。これは、α=0(AEND=1)の場合、非主要チャネルは全て環境音成分であり、音声・音響信号等の主成分信号を含まないため、非主要チャネル信号を用いて判定される符号化モードの信頼性が低くなるためである。
すなわち、重み係数W1の範囲は0.5~1となり、重み係数W2の範囲は0.5~0となり、重み係数W1≧重み係数W2の関係を有する。つまり、適応ミキシング部141は、主要チャネルの分析パラメータの重み係数W1を、非主要チャネルの分析パラメータの重み係数W2以上にして、分析パラメータMpを求める。これにより、共通の符号化モードの判定に使用される分析パラメータMpは、主要チャネルの分析パラメータがより強調された値に設定されやすくなる。このように、符号化装置100は、信頼性がより高い主要チャネル(環境音成分のエネルギ比率がより低いチャネル)の分析パラメータを優先的に用いることにより、共通の符号化モードを適切に選択し、ステレオ再生時の音声品質の劣化を抑えることができる。
また、符号化装置100では、非主要チャネルの環境音成分のエネルギ比率AENDが高いほど、非主要チャネルの分析パラメータを用いて判断される符号化モードの信頼性が低くなるので、主要チャネルをより優先(強調)する重み付けがなされる。このように、符号化装置100は、信頼性が高い主要チャネルの分析パラメータに対してより大きな重み付けがなされることを保証しつつ、非主要チャネルの環境音成分のエネルギ比率AENDに応じて、各チャネルの分析パラメータに対する重み付けの強調度合いを調整することにより、共通の符号化モードを適切に選択し、ステレオ再生時の音声品質の劣化を抑えることができる。
式(8)において、PDは主要チャネル信号のエネルギを示し、PNDは非主要チャネル信号のエネルギを示し、レベル差k=(PD/PND)となる。また、ADは、環境音成分のエネルギであり、式(4)に示すLチャネル信号のエネルギPXL及びRチャネル信号のエネルギPXRを、式(8)では、主要チャネル信号のエネルギPD及び非主要チャネル信号のエネルギPNDに置き換えて表している。
すなわち、適応ミキシング部141は、LチャネルとRチャネルとの間のチャネル間相関α、及び、LチャネルとRチャネルとの間のレベル差kを用いて、非主要チャネルの環境音成分のエネルギ比率AENDを算出する。換言すると、式(8)に示すように、非主要チャネルにおける環境音成分のエネルギ比率AENDは、チャネル間のレベル差kと相互相関係数αとの関数として表される。
例えば、図8では、チャネル間のレベル差kをILD(Inter-channel Level Difference)[dB]として表した場合の相互相関係数αと、非主要チャネル信号におけるエネルギ比率AENDとの関係を示している。図8に示すように、同一の相互相関係数αにおいて、主要チャネルと非主要チャネルとの間のレベル差(ILD)が大きいほど、エネルギ比率AENDはより高くなる。つまり、同一の相互相関係数αにおいて、チャネル間のレベル差が大きいほど、主要チャネルの分析パラメータに対する重み係数W1は大きくなり、非主要チャネルの分析パラメータに対する重み係数W2は小さくなる。
ただし、上述したように、α=0又は1の場合には、レベル差に依らずエネルギ比率AENDは1又は0となる。よって、図8に示すように、相互相関係数αとエネルギ比率AENDとの関係を示すグラフは、レベル差が大きいほど、上に凸となる形状を有する。
ここで、上述した環境音成分がチャネル間で共通であるという仮定では、チャネル間のレベル差kが大きいほど、主要チャネルにおける音声・音響信号等の主成分信号のレベルは、非主要チャネルにおける音声・音響信号等の主成分信号のレベルと比較してより大きくなる。つまり、チャネル間のレベル差kが大きいほど、非主要チャネル信号を用いて判定される符号化モードの信頼性と比較して、主要チャネル信号を用いて判定される符号化モードの信頼性はより高くなる。
よって、チャネル間のレベル差kが大きいほど、重み係数W1を大きくし、重み係数W2を小さくすることにより、非主要チャネルと比較して、主要チャネルをより優先(強調)する重み付けがなされる。これにより、符号化装置100は、共通の符号化モードの判定の際に、信頼性の高い主要チャネルの分析パラメータを用いて、共通の符号化モードを適切に選択し、ステレオ再生時の音声品質の劣化を抑えることができる。
以上説明したように、本実施の形態では、符号化装置100は、ステレオ信号のチャネル間相関がある場合、各チャネル信号の符号化に用いる符号化モードを共通化する。こうすることで、ステレオ信号の両方のチャネルで異なる符号化モードが選択された場合に復号信号の主観品質が劣化してしまうような状況でも、符号化装置100は、ステレオ信号の両方のチャネルに対して共通の符号化モードを用いて符号化することで、復号信号の主観品質が劣化することを防止することができる。
また、符号化装置100は、共通の符号化モードを選択する際、非主要チャネルにおける環境音成分のエネルギ比率(相互相関係数α及びチャネル間のレベル差)に基づいて、主要チャネルと非主要チャネルとの重み付けを調整して、分析パラメータをミキシングする。具体的には、符号化装置100は、環境音成分のエネルギ比率が低いチャネル(主要チャネル)の分析パラメータを優先的に使用しつつ、非主要チャネルにおける環境音成分のエネルギ比率に応じて各チャネルの分析パラメータの強調度合い(各チャネルの重み係数)を調整する。これにより、符号化装置100は、非主要チャネルの分析パラメータを用いて判定される符号化モードの信頼性を考慮して、共通の符号化モードを適切に選択することができる。
よって、本実施の形態によれば、チャネル間において環境音成分のエネルギ比率に差があるようなステレオ信号に対して、マルチモードコーデックによりデュアルモノ符号化を行う場合でも、各チャネル信号に対して適切な符号化モードを用いて符号化することができ、ステレオ再生時の音声品質の劣化を抑えることができる。
[実施の形態1の変形例1]
上記実施の形態では、式(5)に示す非主要チャネルにおける環境音成分のエネルギ比率AENDの算出の際に周波数単位(例えば、周波数bin単位)でのエネルギ(パワー)を使用すること想定している。
上記実施の形態では、式(5)に示す非主要チャネルにおける環境音成分のエネルギ比率AENDの算出の際に周波数単位(例えば、周波数bin単位)でのエネルギ(パワー)を使用すること想定している。
これに対して、変形例1では、適応ミキシング部141は、式(5)の代わりに、式(9)に示すように、非主要チャネルにおける環境音成分のエネルギ比率AENDを、サブバンド毎のPND、PXL、PXRを用いてサブバンド毎に算出してもよい。
式(9)において、iはサブバンド番号(sub-band index)を示し、例えば、i=1~Nbands(Nbands:サブバンドの総数)である。
すなわち、変形例1では、適応ミキシング部141は、サブバンド毎に算出したエネルギ比率AENDの総和から重み係数を求める。
ここで、サブバンド毎のチャネル信号のエネルギ(PND、PXL、PXR)の算出は、符号化モード判定における分析パラメータのミキシング処理以外の他の処理(例えば、信号分析処理)において行われている場合がある。この場合、適応ミキシング部141は、他の処理において得られたチャネル信号のエネルギ(PND、PXL、PXR)を流用して重み係数を算出できる。すなわち、適応ミキシング部141は、重み係数の算出のためにチャネル信号のエネルギ(PND、PXL、PXR)を改めて算出する必要が無くなる。よって、変形例1によれば、重み係数算出の演算量を削減できる。
[実施の形態1の変形例2]
変形例2では、変形例1と比較して、適応ミキシング部141は、式(11)に示すように、非主要チャネルにおける環境音成分のエネルギ比率AENDを、サブバンド毎のPND、PXL、PXRに加え、サブバンド毎の相互相関係数αを用いて、サブバンド毎に算出する。
変形例2では、変形例1と比較して、適応ミキシング部141は、式(11)に示すように、非主要チャネルにおける環境音成分のエネルギ比率AENDを、サブバンド毎のPND、PXL、PXRに加え、サブバンド毎の相互相関係数αを用いて、サブバンド毎に算出する。
そして、適応ミキシング部141は、変形例1と同様、式(10)及び式(7)に従って、主要チャネル及び非主要チャネルの双方の分析パラメータに対する重み係数を算出すればよい。
すなわち、変形例2では、適応ミキシング部141は、サブバンド毎に算出したエネルギ比率AENDの総和から重み係数を求める。これにより、変形例1と同様、適応ミキシング部141は、他の処理において得られたチャネル信号のエネルギ(PND、PXL、PXR)を流用することで、重み係数の算出のためにチャネル信号のエネルギ(PND、PXL、PXR)を算出する必要が無くなる。よって、変形例2によれば、重み係数算出の演算量を削減できる。
なお、変形例1及び変形例2では、サブバンド毎に算出されたエネルギ比率AENDの平均値から重み係数を算出する場合について説明したが、重み係数についてもサブバンド毎に算出されてもよい。例えば、符号化装置100がサブバンド毎に符号化モードを切り替えるコーデックに対応している場合、サブバンド毎に算出されるエネルギ比率AENDに基づいて、サブバンド毎の符号化モードを適切に選択できる。
(実施の形態2)
符号化モードの判定結果(選択結果)がフレーム間で頻繁に切り替わると、復号信号の主観品質の劣化につながることがある。そこで、本実施の形態では、フレーム間での符号化モードの判定結果が頻繁に切り替わることを抑える方法について説明する。
符号化モードの判定結果(選択結果)がフレーム間で頻繁に切り替わると、復号信号の主観品質の劣化につながることがある。そこで、本実施の形態では、フレーム間での符号化モードの判定結果が頻繁に切り替わることを抑える方法について説明する。
[符号化装置の構成]
本実施の形態に係る符号化装置は、実施の形態1に係る符号化装置100と基本構成が共通するので、図5を援用して説明する。ただし、本実施の形態では、符号化装置100は、図5に示すDMAステレオ符号化部104の代わりに、図9に示すDMAステレオ符号化部150を備える。
本実施の形態に係る符号化装置は、実施の形態1に係る符号化装置100と基本構成が共通するので、図5を援用して説明する。ただし、本実施の形態では、符号化装置100は、図5に示すDMAステレオ符号化部104の代わりに、図9に示すDMAステレオ符号化部150を備える。
図9は、本実施の形態に係るDMAステレオ符号化部150の構成例を示すブロック図である。
なお、図9において、実施の形態1(図6)と同様の構成には同様の符号を付し、その説明を省略する。具体的には、図9に示すDMAステレオ符号化部150は、実施の形態1の構成(図6)と比較して、判定訂正部151を新たに備える。
また、本実施の形態では、信号分析部101(Lch信号分析部)は、実施の形態1の動作に加え、Lch分析パラメータに基づいて判定される符号化モード(例えば、図2を参照)を示すLch符号化モード判定結果(Left channel coding mode decision)を判定訂正部151に出力する。同様に、信号分析部101(Rch信号分析部)は、実施の形態1の動作に加え、Rch分析パラメータに基づいて判定される符号化モード(例えば、図2を参照)を示すRch符号化モード判定結果(Right channel coding mode decision)を判定訂正部151に出力する。
DMAステレオ符号化部150において、判定訂正部151は、過去のフレームにおいて適用された符号化モード、及び、信号分析部101から入力されるLch符号化モード判定結果、Rch符号化モード判定結果に基づいて、符号化モード選択部142から入力される符号化モード判定結果を訂正するか否かを判断する。
なお、ここでは、判定訂正部151に入力される符号化モードを「decision 1」と呼び、判定訂正部151から出力される符号化モードを「decision 2」と呼ぶ。
判定訂正部151は、符号化モード判定結果の訂正が不要と判断した場合、符号化モード判定結果を訂正せずにLch符号化部143及びRch符号化部144にそれぞれ出力する。一方、符号化モード判定結果の訂正が必要と判断した場合、符号化モード判定結果を訂正し、訂正後の符号化モード判定結果をLch符号化部143及びRch符号化部144にそれぞれ出力する。
図10は、判定訂正部151における符号化モードの判定訂正処理の流れの一例を示すフロー図である。
図10において、判定訂正部151は、符号化モード選択部142における現フレームの符号化モード判定結果(decision 1)が過去フレーム(例えば、1つ前のフレーム)において適用された符号化モードと同一であるか否かを判断する(ST151)。
符号化モード判定結果(decision 1)が過去フレームの符号化モードと同一である場合(ST151:Yes)、判定訂正部151は、符号化モード判定結果(decision 1)に対する訂正処理を行わずに処理を終了する(ST152)。
一方、符号化モード判定結果(decision 1)が過去フレームの符号化モードと同一ではない場合(ST151:No)、判定訂正部151は、過去フレーム(例えば、1つ前のフレーム)で用いられた符号化モードが、現フレームのLch符号化モード判定結果又は現フレームのRch符号化モード判定結果と同一であるか否かを判断する(ST153)。
ST153において,過去フレームで用いられた符号化モードが、現フレームのLch符号化モード判定結果又は現フレームのRch符号化モード判定結果と同一でない場合(ST153:No)、判定訂正部151は、符号化モード判定結果(decision 1)に対する訂正処理を行わずに処理を終了する(ST152)。
一方、過去フレームの符号化モードが、現フレームのLch符号化モード判定結果又は現フレームのRch符号化モード判定結果と同一である場合(ST153:Yes)、判定訂正部151は、現フレームの符号化モード判定結果及び過去フレームの符号化モードを用いて符号化モード判定結果(decision 1)の訂正処理(スムージング処理)を行う(ST154)。
すなわち、判定訂正部151は、現フレームで選択された共通の符号化モード(decision1)が、過去のフレームで選択された共通の符号化モードと異なり、かつ、過去のフレームで選択された共通の符号化モードが、現フレームのLch符号化モード判定結果か現フレームのRch符号化モード判定結果のいずれかと同じ場合に、現フレームの共通の符号化モードを再選択(訂正)する。
式(12)において、Mp
[-1]は1つ前のフレーム(過去フレーム)における分析パラメータMpを示し、Wは平滑化係数を示し、例えば、W=0.8としてもよい。なお、平滑化係数Wの値は0.8に限定されるものではない。また、スムージング処理において対象とする過去フレームは、式(12)に示すように1つ前のフレームに限らず、過去の複数フレームを対象としてもよい。
スムージング処理後に、判定訂正部151は、修正後の分析パラメータMpを用いて、符号化モードの再選択(再判定)を行う(ST155)。なお、符号化モードの再選択時における符号化モードの選択方法は、符号化モード選択部142における選択方法と同様でもよい。
このように、分析パラメータMpは、1つ前のフレーム及び現フレームに渡って平滑化される。また、式(12)に示すように、平滑化係数Wが大きいほど、修正後の分析パラメータMpは、過去フレームの分析パラメータMp
[-1]により影響を受ける。すなわち、平滑化係数Wが大きいほど、修正後の分析パラメータMpに基づく符号化モードの再選択において、過去フレームで用いられた符号化モードが選択されやすくなる。
これにより、本実施の形態では、符号化モードの判定結果(選択結果)がフレーム間で頻繁に切り替わることを防止し、復号信号の主観品質の劣化を抑えることができる。
(実施の形態3)
[符号化装置の構成]
図11は、本実施の形態に係る符号化装置200の構成を示すブロック図である。
[符号化装置の構成]
図11は、本実施の形態に係る符号化装置200の構成を示すブロック図である。
なお、図11において、実施の形態1(図5)と同様の構成には同様の符号を付し、その説明を省略する。具体的には、図11に示す符号化装置200は、実施の形態1の構成(図5)に対して、DM-M/S(Mid/Side)変換部202、及び、M/Sステレオ符号化部204を新たに備える。
符号化装置200において、チャネル間相関算出部201は、算出したチャネル間相関(相互相関係数α)に基づいて、DMステレオ符号化及びDMAステレオ符号化に加え、M/Sステレオ符号化の中から、1つのステレオ符号化モードを選択する。チャネル相関算出部201は、選択した結果を示すステレオモード判定フラグを、DM-M/S変換部202、切替スイッチ203及び多重化部106に出力する。
例えば、図12に示すように、チャネル間相関算出部201は、相互相関係数αが0の場合にDMステレオ符号化モードと判定し、相互相関係数αが0より大きく、0.6以下の場合にDMAステレオ符号化モードと判定し、相互相関係数αが0.6より大きい場合にM/Sステレオ符号化モードと判定してもよい。
すなわち、チャネル間相関が高い場合(α:High。ここでは、0.6<αの範囲)にはM/Sステレオ符号化が選択され、チャネル間相関が低い場合(α=0)にはDMステレオ符号化が選択され、チャネル間相関が上記範囲の何れにも該当しない場合(α:Weak。ここでは、0<α≦0.6)にはDMAステレオ符号化が選択される。
なお、図12に示す相互相関係数αの範囲は一例であり、これに限定されるものではない。
DM-M/S変換部202は、チャネル間相関算出部201から入力されるステレオモード判定フラグがM/Sステレオ符号化である場合には、L/Rチャネル信号を後述するようにM/S信号に変換し、信号分析部101及び切替スイッチ203に出力する。DM-M/S変換部202は、ステレオモード判定フラグがDMステレオ符号化モード又はDMAステレオ符号化モードの場合には、L/Rチャネル信号をそのまま信号分析部101及び切替スイッチ203に出力する。
切替スイッチ203は、実施の形態1(切替スイッチ103)の動作に加え、チャネル間相関算出部201から入力されるステレオモード判定フラグがM/Sステレオ符号化モードである場合、入力されるLチャネル信号、Rチャネル信号、及び分析パラメータをM/Sステレオ符号化部204に出力する。
M/Sステレオ符号化部204は、切替スイッチ203から入力されるL/Rの和信号、L/Rの差信号、及びそれぞれに対する分析パラメータを用いて、M/Sステレオ符号化を行う。M/Sステレオ符号化を行う場合には、DM-M/S変換部202において、ステレオ信号のLチャネル信号及びRチャネル信号が、双方のチャネルの和(sum)であるMidチャネルと、双方のチャネルの差(difference)であるSideチャネルとに変換されている。なお、M/Sステレオ符号化の詳細については、例えば、非特許文献2に記載された方法を用いてもよい。
チャネル間相関が高い場合には、M/Sステレオ符号化は、DMステレオ符号化と比較して、より効率的な符号化である。具体的には、チャネル間相関が高い場合には、双方のチャネルの差であるSideチャネルがゼロに近い値となるので、符号化情報の情報量を削減することができる。一方、チャネル間相関が低い場合には、M/Sステレオ符号化と比較して、デュアルモノ符号化によって符号化情報の情報量を削減することができる。また、チャネル間相関が高い場合には、音源が一つの点音源(例:一人の人が話しているようなケース)である可能性が高い。このような場合は、モノラル化した信号(Midチャネル信号)及びSideチャネル信号を用いてL/Rに振り分けるようにしたほうが安定したステレオ定位感が得られる。
また、M/Sステレオ符号化では、上述したように、双方のチャネルの和及び差を符号化情報として生成するため、復号側(図示せず)では、フレーム毎の符号化情報(和及び差)に基づいて復号信号を復号する。つまり、和信号であるMidチャネル信号と差信号であるSideチャネル信号との和がRチャネル信号となり、和信号(Midチャネル信号)と差信号(Sideチャネル信号)との差がLチャネル信号となる。つまり、Midチャネル信号とSideチャネル信号の符号化モードが異なっていても、双方の信号がLチャネルとRチャネルの双方に反映されるため、符号化モードを必ずしも統一する必要がない。すなわち、M/Sステレオ符号化を用いれば、チャネル間で符号化モードが異なることによる、復号信号の主観品質の劣化を抑えることができる。
このように、符号化装置200は、チャネル間相関(相互相関係数α)に応じて、デュアルモノ符号化(DMAステレオ符号化又はDMステレオ符号化)及びM/Sステレオ符号化を切り替える。こうすることで、符号化装置200は、チャネル間相関に応じて、適切な符号化モードを選択して、ステレオ信号を符号化することができるので、復号信号の主観品質を改善することができ、さらに、符号化情報を削減することができる。
(実施の形態4)
本実施の形態では、チャネル間相関(相互相関係数α)を効率的に求める方法について説明する。
本実施の形態では、チャネル間相関(相互相関係数α)を効率的に求める方法について説明する。
本実施の形態に係る符号化装置は、実施の形態1に係る符号化装置100と基本構成が共通するので、図5を援用して説明する。ただし、本実施の形態では、符号化装置100は、図5に示すチャネル間相関算出部102の代わりに、図13に示すチャネル間相関算出部301を備える。
すなわち、式(13)に示すように、相互相関係数αは、クロススペクトル成分(分子項の「Cross-Spectrum」)と、Lチャネル及びRチャネルのエネルギ成分(分母項の「Left Channel Energy」及び「Right Channel Energy」)とに分けることができる。
本実施の形態では、相互相関係数αの演算の際に、Lチャネル及びRチャネルの全ての周波数スペクトルパラメータ(スペクトル係数)を用いるのではなく、一部の帯域の周波数スペクトルパラメータを用いることにより、相互相関係数αの演算量を削減する。
図13は、本実施の形態に係る信号分析部101及びチャネル間相関算出部301の構成例を示すブロック図である。
信号分析部101は、Lch周波数領域変換部111と、Lchスペクトルバンドエネルギ算出部112と、Rch周波数領域変換部113と、Rchスペクトルバンドエネルギ算出部114と、を含む構成を採る。
また、チャネル間相関算出部301は、エネルギ閾値算出部311と、主要帯域特定部312と、Lch主要帯域エネルギ算出部313と、Lch主要帯域スペクトル取得部314と、Rch主要帯域エネルギ算出部315と、Rch主要帯域スペクトル取得部316と、クロススペクトル算出部317と、相関演算部318と、を含む構成を採る。
信号分析部101において、Lch周波数領域変換部111は、入力されるLチャネル信号を周波数領域変換し、Lch周波数スペクトルパラメータをLchスペクトルバンドエネルギ算出部112及びLch主要帯域スペクトル取得部314に出力する。
Lchスペクトルバンドエネルギ算出部112は、Lch周波数領域変換部111から入力されるLch周波数スペクトルパラメータを複数のスペクトルバンドにグループ化し、各スペクトルバンドのエネルギを算出する。Lchスペクトルバンドエネルギ算出部112は、算出したLchバンドエネルギをエネルギ閾値算出部311、主要帯域特定部312及びLch主要帯域エネルギ算出部313に出力する。
Rch周波数領域変換部113は、入力されるRチャネル信号を周波数領域変換し、Rch周波数スペクトルパラメータをRchスペクトルバンドエネルギ算出部114及びRch主要帯域スペクトル取得部316に出力する。
Rchスペクトルバンドエネルギ算出部114は、Rch周波数領域変換部113から入力されるRch周波数スペクトルパラメータを複数のスペクトルバンドにグループ化し、各スペクトルバンドのエネルギを算出する。Rchスペクトルバンドエネルギ算出部114は、算出したRchバンドエネルギをエネルギ閾値算出部311、主要帯域特定部312及びRch主要帯域エネルギ算出部315に出力する。
なお、図13に示す信号分析部101における周波数領域変換及びスペクトルバンドエネルギ算出は、本チャネル間相関算出部の適用先であるコーデックにおいて行われる処理であるものとする。この場合、図13に示す信号分析部101の各構成部は、本実施の形態に係るチャネル間相関算出のために新たに備えられる構成ではない。つまり、信号分析部101の処理量は増加しない。
次に、チャネル間相関算出部301において、エネルギ閾値算出部311は、Lchスペクトルバンドエネルギ算出部112から入力されるLchバンドエネルギ、及び、Rchスペクトルバンドエネルギ算出部114から入力されるRchバンドエネルギを用いて、Lchエネルギ閾値、及び、Rchエネルギ閾値をそれぞれ算出する。エネルギ閾値算出部311は、算出したLch/Rchエネルギ閾値を主要帯域特定部312に出力する。
主要帯域特定部312は、Lchスペクトルバンドエネルギ算出部112から入力されるLchバンドエネルギのうち、エネルギ閾値算出部311から入力されるLchエネルギ閾値より大きいエネルギを有するスペクトルバンドを、Lch主要帯域として特定する。同様に、主要帯域特定部312は、Rchスペクトルバンドエネルギ算出部114から入力されるRchバンドエネルギのうち、エネルギ閾値算出部311から入力されるRchエネルギ閾値より大きいエネルギを有するスペクトルバンドを、Rch主要帯域として特定する。主要帯域特定部312は、特定したLch主要帯域とRch主要帯域の総和、すなわちLch主要帯域またはRch主要帯域のいずれかに該当する帯域を「主要帯域」として、Lch主要帯域エネルギ算出部313及びLch主要帯域スペクトル取得部314及びRch主要帯域エネルギ算出部315及びRch主要帯域スペクトル取得部316に出力する。
Lch主要帯域エネルギ算出部313は、Lchスペクトルバンドエネルギ算出部112から入力されるLchバンドエネルギのうち、主要帯域特定部312から入力される主要帯域に対応するバンドエネルギの総和を算出し、Lch主要帯域エネルギとして相関演算部318に出力する。
Lch主要帯域スペクトル取得部314は、Lch周波数領域変換部111から入力されるLch周波数スペクトルパラメータのうち、主要帯域特定部312から入力される主要帯域に対応するLch周波数スペクトルパラメータを取り出し、Lch主要帯域スペクトルとしてクロススペクトル算出部317に出力する。
Rch主要帯域エネルギ算出部315は、Rchスペクトルバンドエネルギ算出部114から入力されるRchバンドエネルギのうち、主要帯域特定部312から入力される主要帯域に対応するバンドエネルギの総和を算出し、Rch主要帯域エネルギとして相関演算部318に出力する。
Rch主要帯域スペクトル取得部316は、Rch周波数領域変換部113から入力されるRch周波数スペクトルパラメータのうち、主要帯域特定部312から入力される主要帯域に対応するRch周波数スペクトルパラメータを取り出し、Rch主要帯域スペクトルとしてクロススペクトル算出部317に出力する。
クロススペクトル算出部317は、Lch主要帯域スペクトル取得部314から入力されるLch主要帯域スペクトル、及び、Rch主要帯域スペクトル取得部316から入力されるRch主要帯域スペクトルを用いて、クロススペクトル(式(13)の分子項)を算出する。クロススペクトル算出部317は、算出したクロススペクトルを相関演算部318に出力する。
相関演算部318は、Lch主要帯域エネルギ算出部313から入力されるLch主要帯域エネルギ、及び、Rch主要帯域エネルギ算出部315から入力されるRch主要帯域エネルギを用いて、Lチャネル及びRチャネルのエネルギ(式(13)の分母項)を算出する。そして、相関演算部318は、算出したエネルギ(式(13)の分母項)と、クロススペクトル算出部317から入力されるクロススペクトル(式(13)の分子項)とを用いて、チャネル間相関(式(13)の相互相関係数α)を算出する。
図14は、チャネル間相関の算出処理に関する、信号分析部101及びチャネル間相関算出部301におけるLチャネル信号に対する処理の一例を示す。
図14に示すように、Lchスペクトルバンドエネルギ算出部112は、Lch周波数スペクトルパラメータlを、Nbands個のバンドにグループ化し、バンドkb(kb=0~(Nbands-1))のLchバンドエネルギLbandend(kb)を算出する。
エネルギ閾値算出部311は、LchバンドエネルギLbandend(kb)を用いてLchエネルギ閾値l-を算出する。例えば、エネルギ閾値算出部311は、LchバンドエネルギLbandend(kb)の平均値、又は、非特許文献1に記載されたように、LchバンドエネルギLbandend(kb)の平均値及び標準偏差を用いて定義してもよい。
次に、主要帯域特定部312は、バンドkb(kb=0~(Nbands-1))のうち、LchバンドエネルギLbandend(kb)がLchエネルギ閾値l-より大きいバンドを主要帯域として特定する。図14では、一例として、バンドkb(kb=0~(Nbands-1))のうち、kb=0,1,2,5,6,7が主要帯域lidxとして特定されている。
次に、Lch主要帯域エネルギ算出部313は、主要帯域lidxのバンドエネルギの総和をLchエネルギ(Left channel energy)として算出する。なお、LchバンドエネルギLbandend(kb)は信号分析部101で既に算出されているので、Lch主要帯域エネルギ算出部313は、図14に示すように、全バンドkbのエネルギの総和をLchエネルギとして算出してもよい。
Lch主要帯域スペクトル取得部314は、Lch周波数スペクトルパラメータlのうち、Lch主要帯域lidxに含まれるLch周波数スペクトルパラメータL(lidx)を取得する。
以上、Lchに対する処理について説明したが、信号分析部101及びチャネル間相関算出部301におけるRチャネル信号に対する処理についても図14と同様に行えばよい(図示せず)。これにより、Rチャネル信号に対して、Rchエネルギ(Right channel energy)、及び、Rch主要帯域ridxに含まれるRch周波数スペクトルパラメータR(ridx)が得られる。
そして、クロススペクトル算出部317は、図14に示すように、Lch主要帯域のLch周波数スペクトルパラメータL(lidx)、及び、Rch主要帯域のRch周波数スペクトルパラメータR(ridx)を用いてクロススペクトル(Cross-Spectrum)を算出する。
ここで、idxlenは、主要帯域のバンド数(例えば、図14の例ではidxlen=6)を示し、kは主要帯域内のスペクトルバンドのインデックス(例えば、図14の例では、kb=0,1,2,5,6,7に対してk=1~6)を示す。
最後に、相関演算部318は、Lchエネルギ(Left channel energy)、Rchエネルギ(Right channel energy)及びクロススペクトル(Cross-Spectrum)を用いて、式(13)に従ってチャネル間相関(α)を算出する。
このように、本実施の形態によれば、チャネル間相関算出部301は、チャネル間相関を算出する際に、一部のスペクトルバンドを用いてチャネル間相関を算出する。また、チャネル間相関算出部301は、一部のスペクトルバンドとして、バンドエネルギがエネルギ閾値より大きい主要帯域を用いる。これにより、クロススペクトルの演算の対象を主要帯域の周波数スペクトルパラメータに限定することができる。よって、本実施の形態によれば、チャネル間相関の精度を維持しつつ、演算量を削減することができる。
[実施の形態4の変形例1]
本実施の形態では、主要帯域特定部312においてLch及びRchの双方のバンドエネルギを用いて主要帯域を特定する場合について説明したが、主要帯域の特定方法はこれに限定されない。例えば、主要帯域特定部312は、Lch及びRchの中から主要チャネルを選択し、選択された主要チャネルのバンドエネルギを用いて、Lch及びRchの双方の主要帯域を特定してもよい。
本実施の形態では、主要帯域特定部312においてLch及びRchの双方のバンドエネルギを用いて主要帯域を特定する場合について説明したが、主要帯域の特定方法はこれに限定されない。例えば、主要帯域特定部312は、Lch及びRchの中から主要チャネルを選択し、選択された主要チャネルのバンドエネルギを用いて、Lch及びRchの双方の主要帯域を特定してもよい。
[実施の形態4の変形例2]
実施の形態4では、チャネル間相関算出部301において、主要帯域特定部312で選択されるスペクトルバンド(主要帯域)に含まれる周波数スペクトルパラメータを用いてチャネル間相関を求める場合について説明した。これに対して、変形例では、主要帯域の中から、主要なスペクトル成分をさらに選択して、チャネル間相関を求める場合について説明する。
実施の形態4では、チャネル間相関算出部301において、主要帯域特定部312で選択されるスペクトルバンド(主要帯域)に含まれる周波数スペクトルパラメータを用いてチャネル間相関を求める場合について説明した。これに対して、変形例では、主要帯域の中から、主要なスペクトル成分をさらに選択して、チャネル間相関を求める場合について説明する。
図15は、変形例2に係るチャネル間相関算出部401の構成例を示すブロック図である。なお、図15において、図13と同様の構成には同一の符号を付し、その説明を省略する。図15では、エネルギ閾値算出部311及び主要帯域特定部312は、Lch及びRchに対してそれぞれ備えられる。
図15において、Lch主要帯域分析部411は、Lch周波数領域変換部111から入力されるLch周波数スペクトルパラメータのうち、主要帯域特定部312-1から入力されるLch主要帯域内の周波数スペクトルパラメータの振幅(エネルギ)を算出し、Lch振幅閾値算出部412に出力する。
Lch振幅閾値算出部412は、Lch主要帯域分析部411から入力される、主要帯域として特定されたスペクトルバンド内のLch周波数スペクトルパラメータの振幅値を用いて、平均振幅を算出する。Lch振幅閾値算出部412は、算出した平均振幅値をLch振幅閾値としてLch/Rch主要帯域スペクトル取得部415に出力する。
また、Rch主要帯域分析部413及びRch振幅閾値算出部414は、Rchに対して、Lch主要帯域分析部411及びLch振幅閾値算出部412と同様の処理を行う。
Lch/Rch主要帯域スペクトル取得部415は、Lch周波数領域変換部111から入力されるLch周波数スペクトルパラメータのうち、主要帯域に含まれ、かつ、Lch振幅閾値算出部412から入力されるLch振幅閾値より大きい振幅(エネルギ)を有するLch周波数スペクトルパラメータを選択し、Rch周波数領域変換部113から入力されるRch周波数スペクトルパラメータのうち、主要帯域に含まれ、かつ、Rch振幅閾値算出部414から入力されるRch振幅閾値より大きい振幅(エネルギ)を有するRch周波数スペクトルパラメータを選択する。そして、Lch/Rch主要帯域スペクトル取得部415は、LchとRchの少なくとも一方の周波数スペクトルパラメータが選ばれている周波数成分を相関演算に用いる、LchとRchに共通する周波数成分として選択する。Lch/Rch主要帯域スペクトル取得部415は、選択した周波数成分のLch周波数スペクトルパラメータ及びRch周波数スペクトルパラメータを相関演算部417に出力する。
相関演算部417は、Lch/Rch主要帯域スペクトル取得部415から入力されるLch周波数スペクトルパラメータ及びRch周波数スペクトルパラメータを用いて、クロススペクトル(式(13)の分子項)を算出する。ここで、クロススペクトルの演算に用いる周波数スペクトルパラメータがLch主要帯域及びRch主要帯域内の特にエネルギの大きい成分に制限されているため、Lch主要帯域及びRch主要帯域内の全ての周波数スペクトルパラメータを用いる場合と比較して、演算量が削減される。
また、相関演算部417は、相関算出部318と同様、式(13)の分母項も算出し、式(13)に示す相互相関係数αを算出する。
このように、主要帯域特定部312で特定された主張帯域に含まれるスペクトル成分の数を更に限定することで、クロススペクトルの演算量を更に削減することができる。
以上、本実施の形態の変形例1、2について説明した。
なお、本実施の形態で説明した主要帯域を特定する方法は、スペクトルパラメータを符号化する種々の符号化方式に適応することができる。例えば、非特許文献3に示すようなBCC(Binaural Cue Coding)の原理を利用したパラメトリックステレオ符号化に適応することで、低ビットレート化、低演算量化を図ることができる。パラメトリックステレオ符号化では、チャネル間レベル差(ICLD:Inter Channel Level Difference)、チャネル間時間差(ICTD:Inter Channel Time Difference)、チャネル間コヒーレンス(ICC:Inter Channel Coherence)等のパラメータをサイド情報としてスペクトルバンド毎に符号化する。このとき、本実施の形態で説明したようなスペクトルバンドの選択及びスペクトル成分の選択を用いて、選択されたスペクトルバンド又はスペクトル成分のみを用いてICLD、ICTD、ICC等を計算すれば、サイド情報の算出に必要な演算量を減らすことができる。
以上、本開示の各実施の形態について説明した。
なお、上記実施の形態において、例えば、式(5)に従って非主要チャネルにおける環境音成分のエネルギ比率AENDを算出する場合について一例として説明した。しかし、非主要チャネルにおける環境音成分のエネルギ比率AENDの算出方法はこれに限定されない。例えば、式(5)では、主要チャネル及び非主要チャネルを特定した後に、エネルギ比率AENDが算出されているのに対して、符号化装置100は、主要チャネル及び非主要チャネルを特定せずに、エネルギ比率AENDを算出してもよい。具体的には、この場合、符号化装置100は、Lチャネルにおける環境音成分のエネルギ比率(例えば、「AEL」とする)、及び、Rチャネルにおける環境音成分のエネルギ比率(例えば、「AER」とする)をそれぞれ算出する。そして、符号化装置100は、エネルギ比率AEL及びエネルギ比率AERのうち、より高い方の値を用いて、各チャネルの分析パラメータに対する重み係数を算出してもよい。
また、上記実施の形態において、チャネル間エネルギ差Δ(例えば、式(2))を算出する際、主要チャネルの判定結果が安定するように、チャネル間エネルギ差の算出に、チャネルエネルギの瞬時値(現在のフレームにおけるチャネルエネルギ)ではなく、チャネルエネルギの長期平均を用いてもよい。例えば、符号化装置は、次式(16)に従って、チャネル間エネルギ差Δを求め、求めたチャネル間エネルギ差Δを用いて主要チャネルの判定又は重み係数の取得を行ってもよい。これにより、符号化装置は、主要チャネルの判定又は重み係数の取得を精度良く行うことができる。
式(16)において、Nはチャネルエネルギの長期平均の対象となるフレーム数を示し、framenocurは現フレームインデックスを示す。すなわち、(framenocur-m)は現フレームからmフレーム前のフレームを表す。
また、上記各実施の形態を組み合わせて適用してもよい。例えば、実施の形態3の符号化装置200(図11)において、DMAステレオ符号化部104の代わりに、実施の形態2に係るDMAステレオ符号化部150(図9)を備えてもよい。また、実施の形態3の符号化装置200(図11)において、チャネル間相関算出部102の代わりに、実施の形態4に係るチャネル間相関算出部301(図13)又は401(図15)を備えてもよい。
また、上記実施の形態では、符号化モードとして、ACELP、TCX、HQ MDCT、GSC等を一例として用いる場合について説明したが、これらに限定されるものではない。
また、本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示の符号化装置は、ステレオ信号を構成する左チャネル信号及び右チャネル信号に対して信号分析を行い、左チャネル及び右チャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成する信号分析回路と、前記左チャネル信号及び前記右チャネル信号に対して共通の符号化モードを用いて、前記左チャネル信号及び前記右チャネル信号をそれぞれ符号化する符号化回路と、を具備し、前記符号化回路は、前記左チャネル及び前記右チャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける前記パラメータを優先的に用いて前記共通の符号化モードを判定する。
本開示の符号化装置において、前記符号化回路は、前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、前記非主要チャネルの前記比率に基づいて、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数、及び、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数を算出し、前記第1重み係数及び前記第2重み係数を用いて前記第1のパラメータ及び前記第2のパラメータに対して重み付け加算を行い、前記重み付け加算によって得られる重み付けパラメータに基づいて前記共通の符号化モードを選択する。
本開示の符号化装置において、前記非主要チャネルの前記比率が高いほど、前記第1重み係数は大きく、前記第2重み係数は小さい。
本開示の符号化装置において、前記符号化回路は、前記左チャネルと前記右チャネルとの間のチャネル間相関、及び、前記左チャネルと前記右チャネルとの間のレベル差を用いて、前記比率を算出する。
本開示の符号化装置において、前記チャネル間相関が小さいほど、前記第1重み係数は大きく、前記第2重み係数は小さい。
本開示の符号化装置において、同一の前記チャネル間相関において、前記レベル差が大きいほど、前記第1重み係数は大きく、前記第2重み係数は小さい。
本開示の符号化方法は、ステレオ信号を構成する左チャネル信号及び右チャネル信号に対して信号分析を行い、左チャネル及び右チャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成し、前記左チャネル信号及び前記右チャネル信号に対して共通の符号化モードを用いて、前記左チャネル信号及び前記右チャネル信号をそれぞれ符号化し、前記左チャネル及び前記右チャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける前記パラメータを優先的に用いて前記共通の符号化モードが判定される。
本開示の一態様は、マルチモード符号化技術を用いた音声通信システムに有用である。
100,200 符号化装置
101 信号分析部
102,201,301,401 チャネル間相関算出部
103,203 切替スイッチ
104,150 DMAステレオ符号化部
105 DMステレオ符号化部
106 多重化部
141 適応ミキシング部
142 符号化モード選択部
143 Lch符号化部
144 Rch符号化部
145 ビットストリーム生成部
151 判定訂正部
202 DM-M/S変換部
204 M/Sステレオ符号化部
311 エネルギ閾値算出部
312 主要帯域特定部
313 Lch主要帯域エネルギ算出部
314 Lch主要帯域スペクトル取得部
315 Rch主要帯域エネルギ算出部
316 Rch主要帯域スペクトル取得部
317 クロススペクトル算出部
318,417 相関演算部
411 Lch主要帯域分析部
412 Lch振幅閾値算出部
413 Rch主要帯域分析部
414 Rch振幅閾値算出部
415 Lch/Rch主要帯域スペクトル取得部
101 信号分析部
102,201,301,401 チャネル間相関算出部
103,203 切替スイッチ
104,150 DMAステレオ符号化部
105 DMステレオ符号化部
106 多重化部
141 適応ミキシング部
142 符号化モード選択部
143 Lch符号化部
144 Rch符号化部
145 ビットストリーム生成部
151 判定訂正部
202 DM-M/S変換部
204 M/Sステレオ符号化部
311 エネルギ閾値算出部
312 主要帯域特定部
313 Lch主要帯域エネルギ算出部
314 Lch主要帯域スペクトル取得部
315 Rch主要帯域エネルギ算出部
316 Rch主要帯域スペクトル取得部
317 クロススペクトル算出部
318,417 相関演算部
411 Lch主要帯域分析部
412 Lch振幅閾値算出部
413 Rch主要帯域分析部
414 Rch振幅閾値算出部
415 Lch/Rch主要帯域スペクトル取得部
Claims (12)
- ステレオ信号を構成する左チャネル信号及び右チャネル信号に対して信号分析を行い、左チャネル及び右チャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成する信号分析回路と、
前記左チャネル信号及び前記右チャネル信号に対して共通の符号化モードを用いて、前記左チャネル信号及び前記右チャネル信号をそれぞれ符号化する符号化回路と、
を具備し、
前記符号化回路は、前記左チャネル及び前記右チャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける前記パラメータを優先的に用いて前記共通の符号化モードを判定する、
符号化装置。 - 前記符号化回路は、
前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
前記非主要チャネルの前記比率に基づいて、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数、及び、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数を算出し、
前記第1重み係数及び前記第2重み係数を用いて前記第1のパラメータ及び前記第2のパラメータに対して重み付け加算を行い、前記重み付け加算によって得られる重み付けパラメータに基づいて前記共通の符号化モードを選択する、
請求項1に記載の符号化装置。 - 前記非主要チャネルの前記比率が高いほど、前記第1重み係数は大きく、前記第2重み係数は小さい、
請求項2に記載の符号化装置。 - 前記符号化回路は、前記左チャネルと前記右チャネルとの間のチャネル間相関、及び、前記左チャネルと前記右チャネルとの間のレベル差を用いて、前記比率を算出する、
請求項1に記載の符号化装置。 - 前記符号化回路は、前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
前記チャネル間相関が小さいほど、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数は大きく、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数は小さい、
請求項4に記載の符号化装置。 - 前記符号化回路は、前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
同一の前記チャネル間相関において、前記レベル差が大きいほど、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数は大きく、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数は小さい、
請求項4に記載の符号化装置。 - ステレオ信号を構成する左チャネル信号及び右チャネル信号に対して信号分析を行い、左チャネル及び右チャネルに対して符号化モードを判定するためのパラメータをそれぞれ生成するステップと、
前記左チャネル信号及び前記右チャネル信号に対して共通の符号化モードを用いて、前記左チャネル信号及び前記右チャネル信号をそれぞれ符号化するステップと、
前記左チャネル及び前記右チャネルのうち、各チャネルのエネルギ全体に対する環境音成分のエネルギの比率が低いチャネルにおける前記パラメータを優先的に用いて前記共通の符号化モードが判定されるステップと、
を有する、符号化方法。 - 前記符号化するステップにおいて、
前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
前記非主要チャネルの前記比率に基づいて、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数、及び、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数を算出し、
前記第1重み係数及び前記第2重み係数を用いて前記第1のパラメータ及び前記第2のパラメータに対して重み付け加算を行い、前記重み付け加算によって得られる重み付けパラメータに基づいて前記共通の符号化モードを選択する、
請求項7に記載の符号化方法。 - 前記非主要チャネルの前記比率が高いほど、前記第1重み係数は大きく、前記第2重み係数は小さい、
請求項8に記載の符号化方法。 - 前記符号化するステップにおいて、前記左チャネルと前記右チャネルとの間のチャネル間相関、及び、前記左チャネルと前記右チャネルとの間のレベル差を用いて、前記比率を算出する、
請求項7に記載の符号化方法。 - 前記符号化するステップにおいて、前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
前記チャネル間相関が小さいほど、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数は大きく、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数は小さい、
請求項10に記載の符号化方法。 - 前記符号化するステップにおいて、前記左チャネル及び前記右チャネルについて主要チャネルと非主要チャネルとを特定し、
同一の前記チャネル間相関において、前記レベル差が大きいほど、前記主要チャネルの符号化モードを判定するための第1のパラメータに対する第1重み係数は大きく、前記非主要チャネルの符号化モードを判定するための第2のパラメータに対する第2重み係数は小さい、
請求項10に記載の符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019543519A JP6909301B2 (ja) | 2017-09-25 | 2018-08-31 | 符号化装置及び符号化方法 |
US16/640,708 US11270710B2 (en) | 2017-09-25 | 2018-08-31 | Encoder and encoding method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-183360 | 2017-09-25 | ||
JP2017183360 | 2017-09-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019058927A1 true WO2019058927A1 (ja) | 2019-03-28 |
Family
ID=65811314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/032309 WO2019058927A1 (ja) | 2017-09-25 | 2018-08-31 | 符号化装置及び符号化方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11270710B2 (ja) |
JP (1) | JP6909301B2 (ja) |
WO (1) | WO2019058927A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2574667A (en) * | 2018-06-15 | 2019-12-18 | Nokia Technologies Oy | Spatial audio capture, transmission and reproduction |
CN114365509B (zh) * | 2021-12-03 | 2024-03-01 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
US20240017166A1 (en) * | 2022-07-12 | 2024-01-18 | Tim Hoar | Systems and methods for generating real-time directional haptic output |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267943A (ja) * | 2005-03-25 | 2006-10-05 | Toshiba Corp | ステレオオーディオ信号符号化方法およびステレオオーディオ信号符号化装置 |
JP2006337767A (ja) * | 2005-06-02 | 2006-12-14 | Matsushita Electric Ind Co Ltd | 低演算量パラメトリックマルチチャンネル復号装置および方法 |
WO2016184958A1 (en) * | 2015-05-20 | 2016-11-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Coding of multi-channel audio signals |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040230423A1 (en) * | 2003-05-16 | 2004-11-18 | Divio, Inc. | Multiple channel mode decisions and encoding |
US8107631B2 (en) * | 2007-10-04 | 2012-01-31 | Creative Technology Ltd | Correlation-based method for ambience extraction from two-channel audio signals |
-
2018
- 2018-08-31 US US16/640,708 patent/US11270710B2/en active Active
- 2018-08-31 WO PCT/JP2018/032309 patent/WO2019058927A1/ja active Application Filing
- 2018-08-31 JP JP2019543519A patent/JP6909301B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267943A (ja) * | 2005-03-25 | 2006-10-05 | Toshiba Corp | ステレオオーディオ信号符号化方法およびステレオオーディオ信号符号化装置 |
JP2006337767A (ja) * | 2005-06-02 | 2006-12-14 | Matsushita Electric Ind Co Ltd | 低演算量パラメトリックマルチチャンネル復号装置および方法 |
WO2016184958A1 (en) * | 2015-05-20 | 2016-11-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Coding of multi-channel audio signals |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019058927A1 (ja) | 2020-09-10 |
JP6909301B2 (ja) | 2021-07-28 |
US20200357417A1 (en) | 2020-11-12 |
US11270710B2 (en) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2763374C2 (ru) | Способ и система с использованием разности долговременных корреляций между левым и правым каналами для понижающего микширования во временной области стереофонического звукового сигнала в первичный и вторичный каналы | |
JP4809370B2 (ja) | マルチチャネル音声符号化における適応ビット割り当て | |
JP5154934B2 (ja) | 知覚的歪みを最小化する結合オーディオ符号化 | |
JP5480274B2 (ja) | 信号処理方法及び装置 | |
US10089990B2 (en) | Audio object separation from mixture signal using object-specific time/frequency resolutions | |
AU2016234987B2 (en) | Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases | |
US11594231B2 (en) | Apparatus, method or computer program for estimating an inter-channel time difference | |
KR102230668B1 (ko) | 미드/사이드 결정이 개선된 전역 ild를 갖는 mdct m/s 스테레오의 장치 및 방법 | |
US20210383820A1 (en) | Directional loudness map based audio processing | |
JP6909301B2 (ja) | 符号化装置及び符号化方法 | |
CN114616621A (zh) | 在浸入式语音及音频服务中的位速率分布 | |
JP7149936B2 (ja) | 符号化装置及び符号化方法 | |
Lindblom et al. | Flexible sum-difference stereo coding based on time-aligned signal components | |
RU2821284C1 (ru) | Распределение скоростей передачи битов в иммерсивных голосовых и аудиослужбах | |
CN116529814A (zh) | 用于音频编解码器中的音频带宽检测和音频带宽切换的方法和设备 | |
Li et al. | Efficient stereo bitrate allocation for fully scalable audio codec |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18858101 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019543519 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18858101 Country of ref document: EP Kind code of ref document: A1 |