WO2016035567A1 - 音声処理装置 - Google Patents

音声処理装置 Download PDF

Info

Publication number
WO2016035567A1
WO2016035567A1 PCT/JP2015/073464 JP2015073464W WO2016035567A1 WO 2016035567 A1 WO2016035567 A1 WO 2016035567A1 JP 2015073464 W JP2015073464 W JP 2015073464W WO 2016035567 A1 WO2016035567 A1 WO 2016035567A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio data
speaker system
data corresponding
coefficient
power
Prior art date
Application number
PCT/JP2015/073464
Other languages
English (en)
French (fr)
Inventor
竜二 徳永
弘行 福地
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016546415A priority Critical patent/JP6629739B2/ja
Priority to US15/505,334 priority patent/US10547960B2/en
Priority to CN201580045033.0A priority patent/CN106576211B/zh
Publication of WO2016035567A1 publication Critical patent/WO2016035567A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing

Definitions

  • the present technology relates to a sound processing device, and more particularly, to a sound processing device that can appropriately convert 7.1ch sound data to 2ch sound data.
  • the above-mentioned standard defines a downmix method for converting 7.1ch audio data to 5.1ch, but does not define a method for downmixing 7.1ch audio data to 2ch audio data. .
  • This technology enables the direct conversion of 7.1ch audio data to 2ch audio data, and enables the total power to be the same as that before downmixing.
  • the audio processing device is an audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving (Picture Experts Group 4) Audio standard, and corresponding to the 2ch speaker system.
  • a direct downmix converter is an audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving (Picture Experts Group 4) Audio standard.
  • the MPEG4 Audio standard can be ISO / IEC_14496-3_2009_Amd_4_2013.
  • the coefficient is a first coefficient for down-mixing audio data corresponding to a 7.1ch speaker system into audio data corresponding to a 5.1ch speaker system, which is defined by MPEG4 (Moving Picture Experts Group 4) Audio standard.
  • 7.1 channel speaker system using the second coefficient for downmixing the audio data corresponding to the 5.1 channel speaker system to the audio data corresponding to the 2 channel speaker system defined by the standard Audio data corresponding to the 2ch speaker system may include a third coefficient for downmixing, and the conversion unit may include a third coefficient stored in the coefficient unit.
  • the audio data corresponding to the 7.1 channel speaker system is directly copied to the audio data corresponding to the 2 channel speaker system. It is possible to so as to down mix.
  • the conversion unit includes a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power ratio between channels.
  • the audio data corresponding to the 7.1ch speaker system can be directly downmixed with the audio data corresponding to the 2ch speaker system.
  • the 7.1ch speaker system can be 7.1ch back.
  • the conversion unit includes a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power ratio between channels.
  • a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels are set to the same scaling factor, and based on the scaling factor and the coefficient, the sum of the power of the audio data corresponding to the 7.1ch speaker system and the power ratio between the channels, and the audio corresponding to the 2ch speaker system
  • the sum of data power and the power ratio between channels may be the same so that audio data corresponding to the 7.1ch speaker system is directly downmixed to audio data corresponding to the 2ch speaker system. it can.
  • the scaling coefficient may include a first scaling coefficient that adjusts the power of audio data output from the rear surround speaker.
  • the scaling factor includes a first scaling factor that adjusts the power of audio data output from the rear surround speaker and a second scaling factor that adjusts the power of audio data output from the surround speaker. Can be.
  • the 7.1ch speaker system can be 7.1ch front.
  • the conversion unit includes a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power ratio between channels. So that the audio data corresponding to the 7.1ch speaker system can be directly downmixed to the audio data corresponding to the 2ch speaker system.
  • the coefficient section includes a sum of powers of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of powers of audio data corresponding to the 2ch speaker system and a power ratio between channels.
  • the audio data corresponding to the 7.1 channel speaker system is directly down-converted to the audio data corresponding to the 2 channel speaker system. It is possible to so as to nest.
  • the coefficient part includes a first audio data that is defined by MPEG4 (Moving Picture Experts Group 4) Audio standard, and that downmixes audio data that corresponds to a 7.1ch speaker system to audio data that corresponds to a 5.1ch speaker system.
  • the 7.1ch speaker is obtained using a coefficient and a second coefficient for downmixing audio data corresponding to the 5.1ch speaker system defined in the standard to audio data corresponding to the 2ch speaker system.
  • the third coefficient for downmixing the audio data corresponding to the system to the audio data corresponding to the 2ch speaker system can be stored, and the conversion unit stores the third coefficient stored in the coefficient unit.
  • the 7.1ch speaker system has the same total power and the same power ratio between channels.
  • the audio data response can be made to be directly downmixed audio data corresponding to the speaker system of the 2ch.
  • the conversion unit includes a scaling coefficient that equalizes the sum of the power of audio data corresponding to the 7.1ch speaker system, and the sum of the power of audio data corresponding to the 2ch speaker system and the power ratio between channels. And by setting the scaling coefficient and the coefficient, the sum of the power of the audio data corresponding to the 7.1ch speaker system and the power ratio between the channels, and the sum of the power of the audio data corresponding to the 2ch speaker system and By making the power ratio between channels the same, audio data corresponding to the 7.1-channel speaker system can be directly downmixed to audio data corresponding to the 2-channel speaker system.
  • the 7.1ch speaker system can be 7.1ch top.
  • the coefficient part includes a first audio data that is defined by MPEG4 (Moving Picture Experts Group 4) Audio standard, and that downmixes audio data that corresponds to a 7.1ch speaker system to audio data that corresponds to a 5.1ch speaker system.
  • the 7.1ch speaker is obtained using a coefficient and a second coefficient for downmixing audio data corresponding to the 5.1ch speaker system defined in the standard to audio data corresponding to the 2ch speaker system.
  • a third coefficient for downmixing audio data corresponding to the system to audio data corresponding to the 2-channel speaker system is stored, and the conversion unit uses the third coefficient stored in the coefficient unit. Audio data corresponding to the 7.1ch speaker system, so that the sum of the power and the power ratio between channels are the same. It can be made to be directly downmixed audio data corresponding to the speaker system of the serial 2ch.
  • the conversion unit includes a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power ratio between channels.
  • a sum of audio data power corresponding to the 7.1ch speaker system and a power ratio between channels are set to the same scaling factor, and the sum of the power of the audio data corresponding to the 7.1ch speaker system and the power ratio between the channels and the audio corresponding to the 2ch speaker system are determined by the scaling factor and the coefficient.
  • Audio data corresponding to the 7.1ch speaker system can be downmixed to audio data corresponding to the 2ch speaker system by making the total power of data and the power ratio between channels the same. .
  • the audio processing apparatus provides audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard, and audio corresponding to the 5.1ch speaker system.
  • a first conversion unit that downmixes the data, and audio data that is downmixed by the first conversion unit and that corresponds to the 5.1ch speaker system into audio data that corresponds to the 2ch speaker system.
  • the first conversion unit stores the total power of audio data corresponding to the 7.1ch speaker system stored in the second coefficient unit, The power ratio between channels and the localization position after downmixing, the sum of the power of audio data corresponding to the finally output 2-channel speaker system, the power ratio between channels, and the localization position after downmixing
  • the audio data corresponding to the 7.1ch speaker system is converted to the audio data corresponding to the 2ch speaker system using a coefficient with which the two are the same. Down-mix data.
  • the 7.1ch speaker system can be 7.1ch front.
  • audio data corresponding to the 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard is directly downgraded to the audio data corresponding to the 2ch speaker system.
  • the coefficients to be mixed are stored, and the stored coefficients are used to directly downmix the audio data corresponding to the 7.1ch speaker system to the audio data corresponding to the 2ch speaker system.
  • the audio data corresponding to the 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard is downgraded to the audio data corresponding to the 5.1ch speaker system.
  • the mixed and downmixed audio data corresponding to the 5.1ch speaker system is downmixed to audio data corresponding to the 2ch speaker system, and finally the audio data corresponding to the 5.1ch speaker system.
  • a first coefficient for downmixing to audio data corresponding to the 5.1ch speaker system is stored, and finally audio data corresponding to the 2ch speaker system is output. 2 for downmixing the audio data corresponding to the 5.1ch speaker system.
  • the coefficient When the coefficient is stored and the audio data corresponding to the 7.1ch speaker system is finally down-mixed to the audio data corresponding to the 2ch speaker system and output, it corresponds to the 7.1ch speaker system.
  • the second coefficient having the same localization position after downmixing is used, and the audio data corresponding to the 7.1ch speaker system is downmixed to the audio data corresponding to the 2ch speaker system.
  • the sound processing devices according to the first and second aspects of the present technology may be independent devices or may be blocks that function as sound processing devices.
  • FIG. 3 is a diagram for explaining a process of downmixing 7.1ch back audio data to 5.1ch audio data and further downmixing 5.1ch audio data to 2ch audio data by the audio processing apparatus of FIG. 2; It is a figure explaining the structural example of the audio processing apparatus to which this technique is applied.
  • FIG. 5 is a diagram illustrating a process of downmixing 7.1ch back audio data to 2ch audio data by the audio processing apparatus of FIG. 4. It is a figure which shows the example of the combination of the coefficient containing the scaling coefficient required in the process of FIG.
  • FIG. 3 is a diagram illustrating a process of downmixing 7.1ch front audio data to 5.1ch audio data and further downmixing 5.1ch audio data to 2ch audio data by the audio processing apparatus of FIG. 2; It is a figure explaining the process which downmixes the audio
  • FIG. 5 is a diagram illustrating a process of downmixing 7.1ch front audio data to 2ch audio data by the audio processing apparatus of FIG. 4. It is a figure which shows the example of the combination of the coefficient containing the scaling coefficient required in the process of FIG. It is a figure explaining 7.1ch
  • FIG. 5 is a diagram illustrating a process of downmixing 7.1ch front audio data to 2ch audio data by the audio processing apparatus of FIG. 4. It is a figure which shows the example of the combination of the coefficient containing the scaling coefficient required in the process of FIG. It is a figure explaining 7.1ch
  • FIG. 5 is a diagram illustrating a process of downmixing 7.1ch top audio data into 2ch audio data by the audio processing apparatus of FIG. 4. It is a figure which shows the example of the combination of the coefficient containing the scaling coefficient required in the process of FIG.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 illustrates a first configuration example of 7.1ch audio data processed by the audio processing apparatus to which the present technology is applied.
  • FIG. 1 For each position of a sound source generated for a user P who is a listener so as to face a display screen (TV Screen) in a display unit of a TVS (Television System) which is a device for displaying an image.
  • TV Screen a display screen
  • TVS Television System
  • a configuration example of a speaker to be set is shown.
  • the arrangement of the speakers in FIG. 1 is such that the top layer (Top) layer) that constitutes the layer of the high sound portion, the middle layer (Middle layer) that constitutes the layer of the middle sound portion, and the LFE (Low It consists of a Frequency (Effect) layer (LFE layer).
  • the top layer includes left and right top speakers Lvh and Rvh provided at the upper left and right with respect to the viewing direction of the user P who is the viewer.
  • the middle layer is at the same position in the horizontal direction as the user P, and is directly facing the front center speaker C, the left and right speakers L and R provided in the left and right front directions, and the center speaker C Left and right center speakers Lc and Rc provided between the speakers L and R are included. Further, the middle layer includes left and right surround speakers Ls and Rs provided in the horizontal left and right direction of the user P, left and right rear surround speakers Lrs and Rrs provided in the left and right rear, and a center rear surround speaker Cs provided in the front rear.
  • the LFE layer is composed of a low-frequency speaker LFE, such as a subwoofer speaker, which is provided in front of the user P and below.
  • LFE low-frequency speaker
  • the 7.1ch speaker system includes a bass speaker LFE and a center speaker C in the speaker group shown in FIG. 1, and is configured by a combination of six speakers arranged symmetrically.
  • a 7.1-channel speaker system is formed by left and right speakers L and R, left and right surround speakers Ls and Rs, and left and right rear surround speakers Lrs and Rrs. You may make it comprise.
  • the 7.1-ch speaker system configured by the speaker group surrounded by the dotted line in FIG. 1 is hereinafter referred to as 7.1ch back (7.1ch back).
  • the conversion device of FIG. 2 includes a 5.1ch downmix unit 11, a 5.1ch downmix coefficient unit 12, a 2ch downmix unit 13, and a 2ch downmix coefficient unit.
  • the 5.1ch downmix unit 11 converts the 7.1ch audio data into 5.1ch audio data by multiply-add operation using the coefficients stored in the 5.1ch downmix coefficient unit 12, and the 2ch downmix unit. 13 is output.
  • the 2ch downmix unit 13 converts the 2ch audio data into 2ch audio data by a product-sum operation using the coefficients stored in the 2ch downmix coefficient unit 14, and outputs the result.
  • the 5.1ch downmix unit 11 converts, for example, 5.1ch audio data as shown in the middle part of FIG. Output.
  • the audio data output from the center speaker C is referred to as audio data C
  • the audio data output from the bass speaker LFE is referred to as audio data LFE.
  • the audio data output from the left and right speakers L and R are referred to as audio data L and R, respectively.
  • the audio data output from the left and right surround speakers Ls and Rs are referred to as audio data Ls and Rs, and the left and right rear surround speakers Lsr.
  • Rsr is referred to as audio data Lsr, Rsr.
  • the audio data output from the center speaker C is referred to as audio data C ′.
  • the audio data output from the left and right speakers L and R are referred to as audio data R ′ and L ′, and the audio data output from the left and right surround speakers Ls ′ and Rs ′ are referred to as audio data Ls ′ and Rs ′.
  • audio data output from the 2ch left and right speakers L and R which are converted based on the audio data formed by the 5.1ch speaker system by the 2ch downmix unit 13, are referred to as audio data Lo and Ro.
  • the 5.1ch downmix unit 11 reads out necessary coefficients from the 5.1ch downmix coefficient unit 12, and executes the calculation represented by the following expression (1), thereby performing 7.1ch back audio data. Is converted to 5.1ch audio data.
  • C, L, R, Ls, Rs, Lsr, Rsr, and LFE are a center speaker C, left and right speakers L and R, left and right surround speakers Ls and Rs, and left and right rear surround speakers Lsr and Rsr that constitute a 7.1ch back.
  • C ′, L ′, R ′, Ls ′, Rs ′, and LFE ′ are output from the center speaker C, the left and right speakers L and R, the left and right surround speakers Ls and Rs, and the bass speaker LFE constituting 5.1ch, respectively.
  • Audio data. d1 and d2 are coefficients defined by ISO / IEC 14496-3 2009 Amd 4 2013.
  • the 5.1ch downmix unit 11 reads the coefficients from the 5.1ch downmix coefficient unit 12 and multiplies the audio data of the center speaker C and the left and right speakers L and R by a coefficient of 1.0 to convert them.
  • the voice data C ′, L ′, and R ′ are obtained.
  • the 5.1ch downmix unit 11 multiplies the left and right surround speakers Ls and Rs and the left and right rear surround speakers Lsr and Rsr by coefficients d1 and d2 to obtain a product sum, thereby obtaining audio data of the left and right surround speakers Ls and Rs.
  • Ls ′ and Rs ′ are obtained.
  • 7.1ch back audio data is converted to 5.1ch audio data.
  • the 2ch downmix unit 13 reads the coefficients from the 2ch downmix coefficient unit 14 and converts them into 2ch audio data by performing a product-sum operation on the 5.1ch audio data. More specifically, the 2ch downmix unit 13 converts 5.1ch audio data into 2ch audio data by a calculation represented by the following equation (2).
  • C ′, L ′, R ′, Ls ′, and Rs ′ are audio data output from each of the center speaker C, left and right speakers L and R, and left and right surround speakers Ls and Rs constituting 5.1ch.
  • Lo and Ro are audio data output from the left and right speakers L and R of 2ch audio data, respectively.
  • a and b are coefficients defined by ISO / IEC 14496-3 2009 Amd 4 2013.
  • the conversion apparatus includes a 2ch downmix unit 21, a 2ch downmix coefficient unit 22, a 5.1ch downmix unit 23, and a 5.1ch downmix coefficient unit 24.
  • the 5.1ch downmix unit 23 and the 5.1ch downmix coefficient unit 24 are the same as the 5.1ch downmix unit 11 and the 5.1ch downmix coefficient unit 12 described with reference to FIG. Therefore, the description thereof will be omitted.
  • the 2ch downmix unit 21 reads out the coefficients stored in the 2ch downmix coefficient unit 22 and performs a product-sum operation on the 7.1ch audio data, whereby the 2ch downmix unit 21 converts the coefficient into a 2ch audio data. Convert. That is, the 7.1ch audio data is directly downmixed to the 2ch audio data without passing through the 5.1ch audio data.
  • the 2ch downmix unit 21 reads out the coefficients a ′, a ′′, b as the coefficients stored in the 2ch downmix coefficient unit 22, and uses the following equations:
  • the 7.1ch audio data is converted to 2ch audio data by executing the calculation shown in (3).
  • Lo and Ro are audio data output from the left and right speakers L and R of 2ch audio data, respectively, and C, L, R, Ls, Rs, Lsr, and Rsr constitute a 7.1ch back.
  • the audio data is output from each of the center speaker C, left and right speakers L and R, left and right surround speakers Ls and Rs, and left and right rear surround speakers Lsr and Rsr.
  • the powers P (Lo) and P (Ro) of the audio data Lo and Ro output from the left and right speakers in the 2ch audio data are calculated as shown in the following equation (4).
  • the power P (All_2ch) of the 2ch audio data is different from the power P (All_7.1ch) of the 7.1ch audio data.
  • the correction scaling coefficient is set so that the power P (All_2ch) of the 2ch audio data is the same as the power P (All_7.1ch) of the 7.1ch audio data.
  • the scaling coefficient matches the power P (All_2ch) of the 2ch audio data expressed by the above-described equation (5) with the power P (All_7.1ch) of the 7.1ch audio data expressed by the above-described equation (6). It is a coefficient.
  • the difference between the expression (5) and the expression (6) is that the coefficients of (Ls) 2 , (Rs) 2 , (Lsr) 2 , and (Rsr) 2 are not 1 but 1/2. Is a point. Therefore, a scaling coefficient is set as a coefficient for setting this coefficient to 1.
  • FIG. 6 shows the corresponding values of the coefficients a ′, a ′′ when the coefficients d1, d2, a change in the range of 1, (1 / ⁇ 2), 1/2.
  • the 2ch downmix unit 21 converts the two arithmetic processes into one arithmetic process, and is the same as the total power of the 7.1ch audio data and the power ratio between channels. Downmix to 2ch audio data which is the sum of power and power ratio between channels. As a result, in the case of downmixing 7.1ch audio data to 2ch audio data, it is possible to perform two computations that have been required in the past as one computation, as well as the sum of power and between channels. Downmixing while maintaining the same power ratio as before downmixing.
  • the scaling factors ⁇ 1 and ⁇ 2 are set for the left and right surround speakers Ls and Rs and the left and right rear surround speakers Lsr and Rsr, respectively, and the change in power that occurs when downmixing to 2ch audio data is adjusted.
  • the outputs of the left and right rear surround speakers Lsr and Rsr provided at the rear are the outputs of the left and right speakers L and R provided at the front, they will be louder than the sound originally heard. That is, in the human ear, the sound emitted backward should be heard smaller than the sound emitted forward.
  • FIG. 7 shows that the coefficient a ′′ is multiplied by the scaling coefficient ⁇ .
  • 7.1ch front In the above, the example of converting the audio data of 7.1ch back to the audio data of 2ch by one operation has been described, but as shown by the dotted line in FIG. 8, the rear left and right rear surround speakers Lsr and Rsr Instead, the 7.1ch audio data by the speaker system including the left and right center speakers Lc and Rc may be converted into 2ch audio data.
  • the speaker system as indicated by the dotted line in FIG. 8 will be referred to as a 7.1ch front.
  • the 5.1ch downmix unit 11 performs the calculation represented by the following equation (8), thereby converting the 7.1ch front audio data to the 5.1ch as shown in the middle to the middle of FIG. Convert to audio data.
  • C, L, R, Ls, Rs, Lc, Rc, and LFE are a center speaker C, left and right speakers L and R, left and right surround speakers Ls and Rs, and left and right center speakers Rc and Lc that constitute a 7.1ch front.
  • This is audio data output from each of the bass speakers LFE.
  • C ′, L ′, R ′, Ls ′, Rs ′, and LFE ′ are output from the center speaker C, the left and right speakers L and R, the left and right surround speakers Ls and Rs, and the bass speaker LFE constituting 5.1ch, respectively. Audio data.
  • e1 and e2 are coefficients defined by ISO / IEC 14496-3 2009 Amd 4 2013.
  • the 5.1ch downmix unit 11 reads the coefficient from the 5.1ch downmix coefficient unit 12, multiplies the audio data of the center speaker C by a coefficient of 1.0, and sums the audio data Lc and Rc of the left and right center speakers. The result is converted to audio data C ′ by an operation of multiplying and adding the coefficient e1.
  • the 5.1ch downmix unit 11 reads the coefficient from the 5.1ch downmix coefficient unit 12, multiplies the audio data of the left and right speakers L and R by a coefficient of 1.0, and outputs the audio data Lc and Rc of the left and right center speakers.
  • the audio data is converted into audio data L ′ and R ′ by an operation of multiplying and adding each of the audio data by a coefficient e2.
  • the 5.1ch downmix unit 11 multiplies the audio data of the left and right surround speakers Ls and Rs and the bass speaker LFE by 1.0 as a coefficient, and the audio data Ls ′ and Rs of the left and right surround speakers Ls and Rs and the bass speaker LFE. ', LFE'
  • 7.1ch front audio data is converted to 5.1ch audio data.
  • the process of converting 5.1ch audio data to 2ch audio data shown in the middle and lower parts of FIG. 9 is the same as the process described with reference to FIG. To do.
  • the coefficients e1 and e2 are both 1 / ⁇ 2.
  • the audio data of the left center speaker Lc is localized to the audio data of the left speaker L
  • the audio data of the right center speaker Rc is converted to the right speaker. Localizes to R audio data.
  • the power P (LtoLc) from the left speaker L to the left center speaker Lc is (1 / ⁇ 2 + 1/2) 2
  • the power P from the right speaker R to the left center speaker Lc is The power P (RtoLc) is (1/2) 2 . Therefore, the power P (LtoLc) from the left speaker L to the center left speaker Lc is approximately 23 times the power P (RtoLc) from the right speaker R to the left center speaker Lc. The sound is localized at the speaker L.
  • the 5ch downmix coefficient unit 24 has the same coefficient as the above-described coefficients, and the 2ch downmix coefficient unit 22 has coefficients that do not cause the power change described above.
  • the coefficient as indicated by is stored.
  • the power can be unified by downmixing 7.1ch front audio data to 5.1ch audio data and then downmixing to 2ch audio data. That is, the downmix to 2ch audio data Lt and Rt by the coefficient corresponding to FIG. 10 is represented by the following equation (11).
  • illustration is abbreviate
  • the coefficients stored in the 2ch downmix coefficient unit 22 are different.
  • the coefficients k0 and k2 for the audio data Lc of the left center speaker Lc are such that the power ratio when the audio data Lc of the left center speaker Lc is mixed with the audio data L and R of the left and right speakers L and R is 3: 1.
  • the position of the audio data Lc of the left center speaker Lc after the downmix is selected so as to be the same as the reproduction position before the downmix. That is, it is assumed that the left and right speakers L and R, the left and right center speakers Lc and Rc, and the center speaker C are arranged at equal intervals in the direction perpendicular to the direction facing the user P. For this reason, the power ratio is set so as to correspond to 3: 1 by the ratio of the physical distance.
  • the coefficients k3 and k5 for the audio data Rc of the center right speaker Rc are 1: 3 when the audio data Rc of the right center speaker Rc is mixed with the audio data L and R of the left and right speakers L and R.
  • the sound data Rc of the right center speaker Rc after downmixing is selected so as to be the same as the reproduction position before downmixing. That is, it is assumed that the left and right speakers L and R, the left and right center speakers Lc and Rc, and the center speaker C are arranged at equal intervals in the direction perpendicular to the direction facing the user P. For this reason, the power ratio is set so as to correspond to 1: 3 by the ratio of the physical distance.
  • the coefficients k4 and k1 of the audio data C of the center speaker C are coefficients so that the power ratio is set so that the audio data of the center speaker C corresponds to the left and right speakers Lt and Rt of 2ch at 1: 1. Is determined.
  • the coefficients k0 to k6 are set according to the arrangement of the speakers. This prevents changes in power before and after downmixing. As a result, it is possible to realize a downmix with a power balance according to the arrangement of the speakers while suppressing a change in power before and after the downmix.
  • FIG. 11 shows the coefficients for converting 7.1ch front audio data to 5.1ch and outputting, and the coefficients for converting to 5.1ch and finally converting to 2ch audio data, respectively.
  • the example of a structure of the converter which was made to set is shown.
  • the coefficient stored in the 5ch downmix coefficient unit 32 for 5ch output is read.
  • 7.1ch audio data is downmixed to 5.1ch by multiply-add operation. That is, the coefficients stored in the coefficient unit 32 for 5ch output 5ch downmix are the same as those used when converting the uppermost 7.1ch audio data in FIG. 9 into the middle 5.1ch audio data. is there.
  • the 5ch downmix unit 31 when the 5ch downmix unit 31 finally downmixes to 2ch audio data, the 5ch downmix unit 31 reads out the coefficients stored in the 2ch output 5ch downmix coefficient unit 33, and performs 7.1ch by product-sum operation. Are downmixed to 5.1ch and output to the 2ch downmix unit.
  • the 2ch downmix unit 34 reads the coefficient for conversion to 2ch audio data from the 2ch downmix coefficient unit 35, and downmixes the audio data downmixed to 5.1ch into 2ch audio data.
  • 5.1ch audio data is generated by a speaker system including left and right surround speakers LLs and RRs, left and right speakers LL and RR, and a center speaker CC, as shown in the middle of FIG. To do. Further, it is assumed that the final 2-channel audio data is audio data Lt and Rt output from the left and right speakers Lt and Rt.
  • the coefficients K14 and K15 are each set to 1 / ⁇ 2 so that the power distribution is 1: 1.
  • coefficients k10 and k12 are each 1 / ⁇ (2+) so that the power of the audio data of the 7.1ch left center speaker Lc is distributed 1: 1 to the 5.1ch left speaker LL and the center speaker CC. ⁇ 2) is set.
  • the coefficients k11 and k13 are 1 / ⁇ (1) so that the power of the audio data of the 7.1ch right center speaker Rc is distributed 1: 1 to the 5.1ch right speaker RR and the center speaker CC. 2 + ⁇ 2).
  • the 7.1ch audio data which is the input data, is finally output as 5.1ch audio data or as 2ch audio data.
  • 5.1ch audio data As described above, the 7.1ch audio data, which is the input data, is finally output as 5.1ch audio data or as 2ch audio data.
  • the configuration of the conversion apparatus is the configuration shown in FIG. 4, and the coefficients stored in the 2-channel downmix coefficient unit 22 are set by combining the coefficients used for the two-stage conversion described in FIG.
  • the coefficients are as shown in FIG. 13, and the relationship is expressed by the following equation (12).
  • is a scaling coefficient
  • the scaling factor ⁇ is set so that the power P (All_2ch) in the 2ch audio data is the same as the power P (All_7.1ch) in the 7.1ch audio data.
  • the scaling coefficient ⁇ 2 / ⁇ 5 is set as shown in the following equation (15).
  • the power P (All_2ch) in 2ch audio data is 7.1ch. It is possible to downmix so as to be the same as the power P (All_7.1ch) in the audio data.
  • the scaling coefficient ⁇ 11 is set as shown in the following equation (16).
  • ⁇ 2 ⁇ (1 + 1/4 ⁇ ( ⁇ 11) 2 ) 1 in order to be the same as the power P (All_7.1ch) in the 7.1ch audio data.
  • ⁇ 11 2 / ⁇ 3
  • the scaling coefficient ⁇ ⁇ 3 / 2.
  • the 5.1ch downmix unit 11 performs the calculation shown by the following equation (18), thereby converting the 7.1ch top audio data to the 5.1ch. Convert to audio data.
  • C, L, R, Ls, Rs, Lc, Rc, and LFE are a center speaker C, left and right speakers L and R, left and right surround speakers Ls and Rs, and left and right top speakers Rv, Lv, This is audio data output from each of the bass speakers LFE.
  • C ′, L ′, R ′, Ls ′, Rs ′, and LFE ′ are output from the center speaker C, the left and right speakers L and R, the left and right surround speakers Ls and Rs, and the bass speaker LFE constituting 5.1ch, respectively. Audio data.
  • f1 and f2 are coefficients defined by ISO / IEC 14496-3 2009 Amd 4 2013.
  • the 5.1ch downmix unit 11 reads the coefficient from the 5.1ch downmix coefficient unit 12 and multiplies the sound data of the center speaker C by a coefficient of 1.0 to convert it into the sound data C ′ as it is. is doing.
  • the 5.1ch downmix unit 11 reads the coefficient from the 5.1ch downmix coefficient unit 12 and multiplies the audio data of the left and right speakers L and R by the coefficient f1 to obtain the audio data Lv and Rv of the left and right top speakers. Each of them is converted into audio data L ′ and R ′ by an operation of multiplying and adding the coefficient f2.
  • the 5.1ch downmix unit 11 multiplies the audio data of the left and right surround speakers Ls and Rs and the bass speaker LFE by 1.0 as a coefficient, and the audio data Ls ′ and Rs of the left and right surround speakers Ls and Rs and the bass speaker LFE. ', LFE'
  • 7.1ch top audio data is converted to 5.1ch audio data.
  • the process of converting 5.1ch audio data into 2ch audio data shown in the middle and lower parts of FIG. 16 is the same as the process described with reference to FIG. 3, and is expressed by the following equation (19). Is done.
  • the 5ch downmix unit 23 sets the correction scaling coefficient so that the power P (All_2ch) of the 2ch audio data is the same as the power P (All_7.1ch) of the 7.1ch top audio data. To do.
  • the scaling coefficient is a coefficient for matching the power P (All_2ch) of the 2ch audio data represented by the above equation (20) with the power P (All_7.1ch) of the audio data of 7.1ch top.
  • the difference from the power P (All_7.1ch) of the audio data of 7.1ch top is that the coefficients of L 2 , R 2 , (Lv) 2 , (Rv) 2 are not 1 but 1 The point is / 2. Therefore, a coefficient for setting this coefficient to 1 is set.
  • a scaling coefficient ⁇ 21 is set as a coefficient for adjusting the power of the audio data L, R of the left and right speakers L, R, and the audio data Lv, Rv of the left and right top speakers Lv, Rv are adjusted.
  • a scaling coefficient ⁇ 22 is set as a coefficient to be used.
  • conversion processing that directly downmixes to 2ch without any 5.1ch audio data in one operation can be realized in any of 7.1ch back, 7.1ch front, and 7.1ch top. It becomes possible to downmix while maintaining the power before downmixing.
  • the above-described series of processing can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 19 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • MPEG4 Motion Picture Experts Group 4
  • An audio processing apparatus comprising: a conversion unit that directly downmixes audio data corresponding to the 7.1ch speaker system to audio data corresponding to the 2ch speaker system using the coefficient stored in the coefficient unit.
  • the MPEG4 Audio standard is ISO / IEC_14496-3_2009_Amd_4_2013. The audio processing device according to (1).
  • the coefficient is a first coefficient that down-mixes audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard into audio data corresponding to a 5.1ch speaker system. And the second coefficient for downmixing the audio data corresponding to the 5.1ch speaker system defined in the standard to the audio data corresponding to the 2ch speaker system. Including a third coefficient for downmixing audio data corresponding to the speaker system to audio data corresponding to the 2-channel speaker system; The conversion unit directly downmixes the audio data corresponding to the 7.1ch speaker system to the audio data corresponding to the 2ch speaker system, using the third coefficient stored in the coefficient unit.
  • the speech processing apparatus according to 1).
  • the conversion unit includes a sum of powers of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of powers of audio data corresponding to the 2ch speaker system and a power between channels.
  • the audio processing apparatus according to (1) wherein the audio data corresponding to the 7.1-channel speaker system is directly downmixed to audio data corresponding to the 2-channel speaker system with the same ratio.
  • the audio processing device according to (1) wherein the 7.1ch speaker system is 7.1ch back.
  • the converter includes a sum of powers of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of powers of audio data corresponding to the 2ch speaker system and a power between channels.
  • the audio data corresponding to the 7.1ch speaker system is directly downmixed to the audio data corresponding to the 2ch speaker system by making the sum of the power of the audio data to be performed and the power ratio between the channels the same (5)
  • the voice processing apparatus according to 1.
  • the scaling coefficient includes a first scaling coefficient that adjusts power of audio data output from a rear surround speaker.
  • the scaling factor includes a first scaling factor for adjusting the power of audio data output from the rear surround speaker, and a second scaling factor for adjusting the power of audio data output from the surround speaker.
  • the audio processing device according to (6).
  • the audio processing device (1), wherein the 7.1ch speaker system is a 7.1ch front.
  • the conversion unit includes a sum of power of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power between channels.
  • the coefficient unit includes a sum of powers of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of powers of audio data corresponding to the 2ch speaker system and a power between channels.
  • the audio data corresponding to the 7.1ch speaker system is directly downmixed to the audio data corresponding to the 2ch speaker system according to the arrangement of the speakers constituting the 7.1ch front so that the ratio is the same.
  • the conversion unit uses the coefficients stored in the coefficient unit, the audio data corresponding to the 7.1ch speaker system, so that the total power and the power ratio between channels are the same.
  • the audio processing device according to (10), which directly downmixes audio data corresponding to a 2-channel speaker system.
  • the coefficient unit is configured to downmix audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard into audio data corresponding to a 5.1ch speaker system.
  • MPEG4 Motion Picture Experts Group 4
  • the conversion unit uses the third coefficient stored in the coefficient unit, and the audio data corresponding to the 7.1ch speaker system so that the total power and the power ratio between channels are the same.
  • the audio processing device wherein the audio data is directly downmixed into audio data corresponding to the 2-channel speaker system.
  • the conversion unit includes a sum of power of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power between channels.
  • Set the scaling factor to make the ratio the same, and by the scaling factor and the factor, the sum of the power of the audio data corresponding to the 7.1ch speaker system and the power ratio between the channels, and the 2ch speaker system
  • the audio data corresponding to the 7.1ch speaker system is directly downmixed to the audio data corresponding to the 2ch speaker system by making the total power of the audio data and the power ratio between the channels the same.
  • the voice processing apparatus according to 1.
  • the audio processing device wherein the 7.1ch speaker system is 7.1ch top.
  • the coefficient unit is configured to downmix audio data corresponding to a 7.1ch speaker system defined by MPEG4 (Moving Picture Experts Group 4) Audio standard into audio data corresponding to a 5.1ch speaker system.
  • the conversion unit uses the third coefficient stored in the coefficient unit, and the audio data corresponding to the 7.1ch speaker system so that the total power and the power ratio between channels are the same. Directly downmixed into audio data corresponding to the 2-channel speaker system.
  • the conversion unit includes a sum of power of audio data corresponding to the 7.1ch speaker system and a power ratio between channels, and a sum of power of audio data corresponding to the 2ch speaker system and a power between channels.
  • the audio data corresponding to the 7.1ch speaker system is downmixed to the audio data corresponding to the 2ch speaker system by making the sum of the powers of the audio data and the power ratio between the channels the same.
  • the speech processing apparatus according to the description. (17) MPEG4 (Moving Picture Experts Group 4) A first converter that down-mixes audio data corresponding to a 7.1ch speaker system, which is defined by the Audio standard, into audio data corresponding to the 5.1ch speaker system.
  • the stored total power of audio data corresponding to the 7.1-channel speaker system, the power ratio between channels, and the localization position after downmixing, and the audio corresponding to the finally output 2-channel speaker system The audio data corresponding to the 7.1ch speaker system is converted to the 2ch speaker system using the second coefficient in which the total power of data, the power ratio between channels, and the localization position after downmixing are the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Stereophonic System (AREA)

Abstract

 本技術は、7.1chの音声データを2chの音声データにダウンミックスすることができるようにする音声処理装置に関する。 MPEG4(Moving Picture Experts Group 4) Audio規格により規定される7.1chの音声データを5.1chの音声データにダウンミックスする係数と、規格により規定される5.1chの音声データを2chの音声データにダウンミックスする係数とから、7.1chの音声データを2chの音声データにダウンミックスする係数を設定して2chダウンミックス用係数部22に記憶させる。2chダウンミックス部21は、2chダウンミックス用係数部22に記憶されている係数を利用して、7.1chの音声データを2chの音声データにダウンミックスする。本技術は、音声処理装置に適用することができる。

Description

音声処理装置
 本技術は、音声処理装置に関し、特に、7.1chの音声データを、2chの音声データに適切に変換できるようにした音声処理装置に関する。
 MPEG4 Audio規格(ISO/IEC_14496-3_2009_Amd_4_2013)において、7.1chのAAC(Advanced Audio Coding)の記載方法とチャンネル数を減らすダウンミックスの方法が規格化されている(例えば、非特許文献1参照)。
ISO/IEC 14496-3 2009 Amd 4 2013
 しかしながら、上述した規格においては、7.1chの音声データを5.1chに変換するダウンミックス方法が定義されているが、7.1chの音声データを2chの音声データにダウンミックスする方法については定義されていない。
 このため、従来の5.1chの音声データを2chに変換するダウンミックス方法を適用する必要があった。すなわち、7.1chの音声データを2chの音声データにダウンミックスするには、7.1chの音声データを規格に基づいて、5.1chの音声データにダウンミックスした後、ダウンミックスした5.1chの音声データをさらに2chの音声データにダウンミックするする必要があった。
 結果として、処理が煩雑になる上、音声データのパワーの総量、チャンネル間のパワー比、あるいはダウンミックス後の定位位置が変化してしまうことがあり、適切に7.1chの音声データを、2chの音声データにダウンミックスすることができないことがあった。
 本技術は、7.1chの音声データを、2chの音声データに直接変換できるようにすると共に、パワー総量をダウンミックス前の状態と同一の適切なものにできるようにするものである。
 本技術の第1の側面の音声処理装置は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部と、前記係数部に記憶された係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする変換部とを含む。
 前記MPEG4 Audio規格は、ISO/IEC_14496-3_2009_Amd_4_2013とすることができる。
 前記係数には、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を含ませるようにすることができ、前記変換部には、前記係数部に記憶された第3の係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記変換部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記7.1chのスピーカシステムは、7.1ch backとすることができる。
 前記変換部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定させ、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記スケーリング係数には、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数を含ませるようにすることができる。
 前記スケーリング係数には、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数と、サラウンドスピーカより出力される音声データのパワーを調整する第2のスケーリング係数とを含ませるようにすることができる。
 前記7.1chのスピーカシステムは、7.1ch frontとすることができる。
 前記変換部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記係数部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1ch frontを構成するスピーカの配置に応じた、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部を含ませるようにすることができ、前記変換部には、前記係数部に記憶された係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記係数部には、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶させるようにすることができ、前記変換部には、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記変換部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定させ、前記スケーリング係数と前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記7.1chのスピーカシステムは、7.1ch topとすることができる。
 前記係数部には、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶させ、前記変換部には、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスさせるようにすることができる。
 前記変換部には、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスさせるようにすることができる。
 本技術の第2の側面の音声処理装置は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の変換部と、前記第1の変換部によりダウンミックスされた、前記5.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第2の変換部と、最終的に、前記5.1chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第1の係数を記憶する第1の係数部と、最終的に、前記2chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第2の係数を記憶する第2の係数部とを含み、前記7.1chのスピーカシステムに対応する音声データを、最終的に前記2chのスピーカシステムに対応する音声データにダウンミックスして出力する場合、前記第1の変換部は、前記第2の係数部に記憶された、前記7.1chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置と、最終的に出力される前記2chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置とが同一となる係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする。
 前記7.1chのスピーカシステムは、7.1ch frontとすることができる。
 本技術の第1の側面においては、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データが、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスされる係数が記憶され、記憶された係数が利用されて、前記7.1chのスピーカシステムに対応する音声データが、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスされる。
 本技術の第2の側面においては、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データが、前記5.1chのスピーカシステムに対応する音声データにダウンミックスされ、ダウンミックスされた、前記5.1chのスピーカシステムに対応する音声データが、前記2chのスピーカシステムに対応する音声データにダウンミックスされ、最終的に、前記5.1chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第1の係数が記憶され、最終的に、前記2chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第2の係数が記憶され、前記7.1chのスピーカシステムに対応する音声データが、最終的に前記2chのスピーカシステムに対応する音声データにダウンミックスされて出力される場合、前記7.1chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置と、最終的に出力される前記2chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置とが同一となる第2の係数が利用されて、前記7.1chのスピーカシステムに対応する音声データが、前記2chのスピーカシステムに対応する音声データにダウンミックスされる。
 本技術の第1の側面および第2の側面の音声処理装置は、独立した装置であっても良いし、音声処理装置として機能するブロックであっても良い。
 本技術の一側面によれば、7.1chのスピーカシステムに対応する音声データを、適切に2chのスピーカシステムに対応する音声データにダウンミックスすることが可能となる。
7.1chの音声データの第1の構成例である7.1ch backを説明する図である。 従来の音声処理装置の構成例を示す図である。 図2の音声処理装置による7.1ch backの音声データを5.1chの音声データにダウンミックスし、さらに、5.1chの音声データを2chの音声データにダウンミックスする処理を説明する図である。 本技術を適用した音声処理装置の構成例を説明する図である。 図4の音声処理装置による7.1ch backの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図5の処理において必要とされるスケーリング係数を含む係数の組み合わせの例を示す図である。 スケーリング係数を設定するその他の例を説明する図である。 7.1chの音声データの第2の構成例である7.1ch frontを説明する図である。 図2の音声処理装置による7.1ch frontの音声データを5.1chの音声データにダウンミックスし、さらに、5.1chの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図2の音声処理装置による7.1ch frontの音声データを2chの音声データにダウンミックスする処理を説明する図である。 本技術を適用した音声処理装置のその他の構成例を説明する図である。 図11の音声処理装置による7.1ch frontの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図4の音声処理装置による7.1ch frontの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図13の処理において必要とされるスケーリング係数を含む係数の組み合わせの例を示す図である。 7.1chの音声データの第3の構成例である7.1ch topを説明する図である。 図2の音声処理装置による7.1ch topの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図4の音声処理装置による7.1ch topの音声データを2chの音声データにダウンミックスする処理を説明する図である。 図17の処理において必要とされるスケーリング係数を含む係数の組み合わせの例を示す図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
 <7.1ch back>
 図1は、本技術を適用した音声処理装置により処理される7.1chの音声データにおける第1の構成例を示している。
 図1においては、映像を表示する装置であるTVS(Television System)の表示部における表示画面(TV Screen)に正対するように、聴取者であるユーザPに対して発生される音源の位置毎に設定されるスピーカの構成例が示されている。
 すなわち、図1のスピーカの配置は、高音部のレイヤを構成するトップレイヤ(Top layer)、中音部のレイヤを構成するミドルレイヤ(Middle layer)、および低音部のレイヤを構成するLFE(Low Frequency Effect)レイヤ(LFE layer)から構成される。
 トップレイヤは、図1で示されるように、視聴者であるユーザPの視聴方向に対して左右上方に設けられる左右トップスピーカLvh,Rvhを含む。
 ミドルレイヤは、図1で示されるように、ユーザPと水平方向に同位置であって、正対する正面前方のセンタスピーカC、左右前方方向に設けられる左右スピーカL,R、センタスピーカCと左右スピーカL,Rとのそれぞれの間に設けられる左右センタスピーカLc,Rcを含む。さらに、ミドルレイヤは、ユーザPの水平左右方向に設けられる左右サラウンドスピーカLs,Rs、左右後方に設けられる左右リアサラウンドスピーカLrs,Rrs、および正面後方に設けられるセンタリアサラウンドスピーカCsを含む。
 LFEレイヤは、図1で示されるように、ユーザPに対して前方下方に設けられる、サブうーハースピーカなどからなる低音スピーカLFEより構成される。
 7.1chのスピーカシステムは、図1で示されるスピーカ群のうち、低音スピーカLFEおよびセンタスピーカCを含み、左右対称に配置される6個のスピーカの組み合わせにより構成されるものである。
 例えば、図1の点線で囲まれている低音スピーカLFEおよびセンタスピーカCに加えて、左右スピーカL,R、左右サラウンドスピーカLs,Rs、および左右リアサラウンドスピーカLrs,Rrsにより7.1chのスピーカシステムを構成するようにしても良い。尚、この図1の点線で囲まれているスピーカ群により構成される7.1chのスピーカシステムを、以降においては、7.1ch back(7.1chバック)と称するものとする。
 <7.1ch backにおける従来の変換方法>
 次に、図2を参照して、図1の点線で囲まれたスピーカ群により構成される7.1chスピーカシステムである、7.1chバックの音声データを2chの左右スピーカL,Rの音声データに変換する場合に必要とされる音声データの変換装置による変換方法について説明する。
 すなわち、図2の変換装置は、5.1chダウンミックス部11、5.1chダウンミックス用係数部12、2chダウンミックス部13、および2chダウンミックス用係数部14を備えている。
 5.1chダウンミックス部11は、7.1chの音声データを、5.1chダウンミックス用係数部12に記憶されている係数を利用して積和演算により5.1chの音声データに変換し、2chダウンミックス部13に出力する。
 2chダウンミックス部13は、2chの音声データを2chダウンミックス用係数部14に記憶されている係数を利用して積和演算により2chの音声データに変換して出力する。
 図3の最上段で示されるような、7.1chバックの音声データが入力された場合、5.1chダウンミックス部11は、例えば、図3の中段で示されるような5.1chの音声データに変換して出力する。
 ここで、図3においては、7.1chバックを構成する音声データのうち、センタスピーカCより出力される音声データを音声データCと称し、低音スピーカLFEより出力される音声データを音声データLFEと称するものとする。また、左右スピーカL,Rより出力される音声データを、それぞれ音声データL,Rと称し、左右サラウンドスピーカLs,Rsより出力される音声データを音声データLs,Rsと称し、左右リアサラウンドスピーカLsr,Rsrより出力される音声データを音声データLsr,Rsrと称するものとする。
 また、5.1chダウンミックス部11が7.1chバックのスピーカシステムからなる音声データに基づいて変換された、5.1chの音声データについては、センタスピーカCより出力される音声データを、音声データC’と称し、左右スピーカL,Rより出力される音声データを、音声データR’,L’と称し、左右サラウンドスピーカLs’,Rs’より出力される音声データを音声データLs’,Rs’と称するものとする。
 さらに、2chダウンミックス部13が5.1chのスピーカシステムからなる音声データに基づいて変換された、2chの左右スピーカL,Rより出力される音声データを、音声データLo,Roと称するものとする。
 すなわち、5.1chダウンミックス部11は、必要とされる係数を5.1chダウンミックス用係数部12より読み出して、以下の式(1)で示される演算を実行することにより、7.1chバックの音声データを5.1chの音声データに変換する。
 C’=C
 L’=L
 R’=R
 Ls’=d1×Ls+d2×Lsr
 Rs’=d1×Rs+d2×Rsr
 LFE’=LFE
                            ・・・(1)
 ここで、C,L,R,Ls,Rs,Lsr,Rsr,LFEは、7.1chバックを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、左右リアサラウンドスピーカLsr,Rsr、低音スピーカLFEのそれぞれから出力される音声データである。また、C’,L’,R’,Ls’,Rs’,LFE’は、5.1chを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、低音スピーカLFEのそれぞれから出力される音声データである。d1,d2は、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数である。
 すなわち、5.1chダウンミックス部11は、5.1chダウンミックス用係数部12より係数を読み出して、センタスピーカC、および左右スピーカL,Rのそれぞれ音声データに対して係数1.0を乗じて変換することで音声データC’,L’,R’を求めている。また、5.1chダウンミックス部11は、左右サラウンドスピーカLs,Rs、左右リアサラウンドスピーカLsr,Rsrのそれぞれに係数d1,d2を乗じて積和を求めることにより、左右サラウンドスピーカLs,Rsの音声データLs’,Rs’を求めている。
 このような変換処理により、7.1chバックの音声データが5.1chの音声データに変換される。
 さらに、2chダウンミックス部13は、2chダウンミックス用係数部14より係数を読み出して、5.1chの音声データに対して積和演算を施すことにより2chの音声データに変換する。より詳細には、2chダウンミックス部13は、以下の式(2)で示される演算により、5.1chの音声データを2chの音声データに変換する。
 Lo=a×Ls’+L’+b×C’
 Ro=a×Rs’+R’+b×C’
                            ・・・(2)
 ここで、C’,L’,R’,Ls’,Rs’は、5.1chを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rsのそれぞれから出力される音声データである。また、Lo,Roは、それぞれ、2chの音声データの左右スピーカL,Rより出力される音声データである。さらに、a,bは、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数である。
 以上のように、従来においては、7.1chの音声データを2chの音声データに変換するにあたって、一旦、5.1chの音声データに変換した後、変換した5.1chの音声データを2chの音声データに変換する、2段の演算処理が必要であった。尚、以上の式(1),式(2)の演算に用いた係数は、一例に過ぎず、例えば、音響空間における音像を形成するにあたって、係数は様々な値の組み合わせとなるので、これ以外の係数を適用することもある。
 <本技術を適用した変換装置の第1の実施の形態>
 次に、図4を参照して、本技術を適用した変換装置の第1の実施の形態について説明する。
 上述したように、従来においては、7.1chの音声データを2chの音声データに変換するにあたって、一旦、5.1chの音声データに変換した後、変換した5.1chの音声データを2chの音声データに変換する、2段の演算処理が必要なため、処理が煩雑なものとなっていた。そこで、本技術においては、7.1chの音声データを直接2chの音声データに変換する。
 より詳細には、変換装置は、図4で示されるように、2chダウンミックス部21、2chダウンミックス用係数部22、5.1chダウンミックス部23、および5.1chダウンミックス用係数部24を備えている。尚、5.1chダウンミックス部23、および5.1chダウンミックス用係数部24については、それぞれ図1を参照して説明した5.1chダウンミックス部11、および5.1chダウンミックス用係数部12と同様であるので、その説明は省略するものとする。
 2chダウンミックス部21は、2chダウンミックス用係数部22に記憶されている係数を読み出して、7.1chの音声データに対して積和演算を施すことで、1回の演算により2chの音声データに変換する。すなわち、7.1chの音声データから、5.1chの音声データを経ることなく、2chの音声データに直接ダウンミックスする。
 より詳細には、2chダウンミックス部21は、図5で示されるように、2chダウンミックス用係数部22に記憶されている係数として、係数a’,a”,bを読み出して、以下の式(3)で示される演算を実行することにより7.1chの音声データを2chの音声データに変換する。
 Lo=a’×Ls+a”×Lsr+L+b×C
 Ro=a’×Rs+a”×Rsr+R+b×C
                            ・・・(3)
 ここで、Lo,Roは、それぞれ、2chの音声データの左右スピーカL,Rより出力される音声データであり、C,L,R,Ls,Rs,Lsr,Rsrは、7.1chバックを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、左右リアサラウンドスピーカLsr,Rsrのそれぞれから出力される音声データである。
 さらに、係数a’,a”は、それぞれa’=a×d1およびa”=a×d2である。
 すなわち、式(3)で示される演算は、式(1)に式(2)を代入することで得られるものである。
 以上の処理により、従来において、7.1chの音声データを2chの音声データに変換するにあたっては、2回の演算処理が必要な構成であったが、本技術を適用した変換装置により1回の演算処理により2chの音声データに変換することが可能となる。
 <第1の変形例>
 以上においては、従来の2回の演算に必要とされる係数を組み合わせることで、1回の演算で7.1chの音声データを2chの音声データに変換する例について説明してきたが、このような演算を利用すると、変換後の2chの音声データと、変換前の7.1chの音声データにおけるパワーの総和およびチャンネル間のパワー比が一致しないことがあった。
 例えば、2chの音声データにおける左右スピーカより出力される音声データLo,RoのそれぞれのパワーP(Lo),P(Ro)は、以下の式(4)で示されるように演算される。
 P(Lo)=(a’)×(Ls)+(a”)×(Lsr)
                         +(L)+(b)×(C)
 P(Ro)=(a’)×(Rs)+(a”)×(Rsr)
                         +(R)+(b)×(C)
                            ・・・(4)
 従って、2chの音声データにおけるパワーP(All_2ch)は、以下の式(5)となる。
 P(All_2ch)=P(Lo)+P(Ro)
           =(C)+(L)+(R)
             +1/2×(Ls)+1/2×(Rs)
               +1/2×(Lsr)+1/2×(Rsr)
                            ・・・(5)
 これに対して、7.1chの音声データのパワーP(All_7.1ch)は、以下の式(6)で表される。
 P(All_7.1ch)=(C)+(L)+(R)+(Ls)
                  +(Rs)+(Lsr)+(Rsr)
                            ・・・(6)
 すなわち、2chの音声データのパワーP(All_2ch)と、7.1chの音声データのパワーP(All_7.1ch)とは、異なるものとなる。
 そこで、2chの音声データのパワーP(All_2ch)が、7.1chの音声データのパワーP(All_7.1ch)と同一のものとなるように補正用のスケーリング係数を設定する。
 スケーリング係数は、上述した式(5)となる2chの音声データのパワーP(All_2ch)を、上述した式(6)で表される7.1chの音声データのパワーP(All_7.1ch)に一致させる係数である。
 すなわち、式(5)において、式(6)と異なるのは、(Ls),(Rs),(Lsr),(Rsr)の係数が1ではなく、1/2となっている点である。そこで、この係数を1とするための係数としてスケーリング係数を設定する。
 以下の式(7)で示されるように、左右サラウンドスピーカLs,Rsの音声データのパワーを調整するスケーリング係数β1と、左右リアサラウンドスピーカLsr,Rsrの音声データのパワーを調整するスケーリング係数β2とが設定される。
 P(All_2ch)=P(Lo)+P(Ro)
           =(C)+(L)+(R)
            +(β1)×(Ls)+(β1)×(Rs)
              +(β2)×(Lsr)+(β2)×(Rsr)
                            ・・・(7)
 より具体的には、係数d1,d2,aが、1,1/√2(=0.7071),1/2(=0.5)の範囲で変化するとき、スケーリング係数β1,β2は、図6で示されるように設定される。尚、図6においては、係数d1,d2,aが、1,(1/√2),1/2の範囲で変化するときの係数a’,a”の対応する値も記載されている。
 例えば、図6で示されるように、係数d1,d2,aが、いずれも1/√2(=0.7071)である場合、スケーリング係数β1,β2は、いずれも2に設定され、このとき、係数a’,a”は、いずれも1/2(=0.5)となる。
 2chダウンミックス部21は、このようにスケーリング係数を設定することにより、2回の演算処理を1回の演算処理にして、7.1chの音声データのパワーの総和およびチャンネル間のパワー比と同一のパワーの総和およびチャンネル間のパワー比となる2chの音声データにダウンミックスする。結果として、7.1chの音声データを2chの音声データにダウンミックスするにあたって、従来必要とされた2回の演算処理を1回の演算処理とすることが可能になると共に、パワーの総和およびチャンネル間のパワー比をダウンミックス前と同一の状態にしたままダウンミックスすることが可能となる。
 <第2の変形例>
 以上においては、左右サラウンドスピーカLs,Rsと、左右リアサラウンドスピーカLsr,Rsrとにそれぞれスケーリング係数β1,β2を設定し、2chの音声データにダウンミックスするときに生じるパワーの変化を調整する例について説明してきた。しかしながら、本来の人間の耳の形状により、後方に設けられた左右リアサラウンドスピーカLsr,Rsrの出力を前方に設けられた左右スピーカL,Rの出力とすれば本来聞こえる音声よりも大きくなる。すなわち、人間の耳では、後方で発する音声は、前方で発する音声よりも小さく聞こえているはずである。
 そこで、これらの調整のため、図7で示されるように、後方に設けられた左右リアサラウンドスピーカLsr,Rsrの音声データLsr,Rsrを調整するスケーリング係数β2に対応するスケーリング係数αのみを設定するようにしてもよい。
 このようにすることで、適切にパワーを調整した上で、7.1chの音声データを2chの音声データに、1回の演算でダウンミックスすることが可能となる。尚、図7においては、係数a”にスケーリング係数αが乗じられていることが示されている。
 <7.1ch front>
 以上においては、7.1chバックの音声データを1回の演算で2chの音声データに変換する例について説明してきたが、図8の点線で示されるように、後方の左右リアサラウンドスピーカLsr,Rsrに代えて、左右センタスピーカLc,Rcを含めたスピーカシステムによる7.1chの音声データを2chの音声データに変換するようにしても良い。尚、図8の点線で示されるようなスピーカシステムを、以降においては、7.1chフロント(7.1ch front)と称するものとする。
 <7.1ch frontにおける従来の変換方法>
 この場合、5.1chダウンミックス部11は、以下の式(8)で示される演算を実行することにより、図9の最上段から中段で示されるように、7.1chフロントの音声データを5.1chの音声データに変換する。
 C’=C+(Lc+Rc)×e1
 L’=L+Lc×e2
 R’=R+Rc×e2
 Ls’=Ls
 Rs’=Rs
 LFE’=LFE
                            ・・・(8)
 ここで、C,L,R,Ls,Rs,Lc,Rc,LFEは、7.1chフロントを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、左右センタスピーカRc,Lc、低音スピーカLFEのそれぞれから出力される音声データである。また、C’,L’,R’,Ls’,Rs’,LFE’は、5.1chを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、低音スピーカLFEのそれぞれから出力される音声データである。さらに、e1,e2は、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数である。
 すなわち、5.1chダウンミックス部11は、5.1chダウンミックス用係数部12より係数を読み出して、センタスピーカCの音声データに対して係数1.0を乗じ、左右センタスピーカの音声データLc,Rcの和を取って係数e1を乗じて加算する演算により、音声データC’に変換している。また、5.1chダウンミックス部11は、5.1chダウンミックス用係数部12より係数を読み出して、左右スピーカL,Rの音声データに対して係数1.0を乗じ、左右センタスピーカの音声データLc,Rcの音声データのそれぞれに係数e2を乗じて加算する演算により、音声データL’,R’に変換している。さらに、5.1chダウンミックス部11は、左右サラウンドスピーカLs,Rs、低音スピーカLFEのそれぞれの音声データに係数として1.0を乗じて、左右サラウンドスピーカLs,Rsおよび低音スピーカLFEの音声データLs’,Rs’,LFE’を求めている。
 このような変換処理により、7.1chフロントの音声データが5.1chの音声データに変換される。尚、図9の中段および下段で示される、5.1chの音声データを2chの音声データに変換する処理は、図3を参照して説明した処理と同様であるので、その説明は省略するものとする。
 ところで、以上の処理により7.1chフロントの音声データが2chの音声データに変換される際においても、パワーが異なるものとなる。
 すなわち、式(8)の演算結果に基づいて、7.1chフロントの音声データが5.1chの音声データに変換される場合、そのパワーP(All_5.1ch)は以下の式(9)で示されるように演算される。
 P(C’)=C+(Lc×e1)+(Rc×e1)
 P(L’)=L+(Lc×e2)
 P(R’)=R+(Rc×e2)
 P(Ls’)=(Ls)
 P(Rs’)=(Rs)
 P(All_5.1ch)=P(C’)+P(L’)+P(R’)
                        +P(Ls’)+P(Rs’)
             =C+L+R+(Ls)+(Rs)
                +((e1)+(e2))×(Lc)
                  +((e1)+(e2))×(Rc)
             =C+L+R+(Ls)+(Rs)
                          +(Lc)+(Rc)
             =P(All_7.1ch)
                            ・・・(9)
 尚、係数e1,e2は、いずれも1/√2であるものとする。
 すなわち、7.1chフロントの音声データを5.1chにダウンミックスする変換をする場合、パワーの総和およびチャンネル間のパワー比に変化は生じない。
 一方、7.1chフロントの音声データから変換された5.1chの音声データが、2chの音声データに変換される場合、そのパワーP(All_2ch)は以下の式(10)で示されるように演算される。尚、係数e1,e2は、いずれも1/√2であり、係数a=1.0で、かつ、係数b=1/√2であるものとする。
 Lo=a×Ls’+L’+b×C’
   =a×Ls+L+Lc×e2+b×(C+(Lc+Rc)×e1)
   =Ls+L+(1/√2)×C+(1/√2+1/2)×Lc+(1/2)×Rc
 Ro=a×Rs’+R’+b×C’
   =a×Rs+R+Rc×e2+b×(C+(Lc+Rc)×e1)
   =Rs+R+(1/√2)×C+(1/√2+1/2)×Rc+(1/2)×Lc
 P(Lo)=(Ls)+L+(1/2)×C
          +(1/√2+1/2)×(Lc)+(1/4)×(Rc)
 P(Ro)=(Rs)+R+(1/2)×C
          +(1/√2+1/2)×(Rc)+(1/4)×(Lc)
 P(All_2ch)=P(Lo)+P(Ro)
           =(Ls)+(Rs)+L+R+C
                   +(1+1/√2)×(Lc)
                        +(1+1/√2)×(Rc)
                           ・・・(10)
 すなわち、式(10)で示されるように、5.1chの音声データを2chの音声データにダウンミックスする変換によりパワーが増大してしまうことが示される。また、(Lc)と(Rc)の係数が1より大きいことからチャンネル間のパワー比が変化していることもわかる。
 また、上述した手法により7.1chフロントの音声データを2chの音声データに変換すると、左センタスピーカLcの音声データが左スピーカLの音声データに定位すると共に、右センタスピーカRcの音声データが右スピーカRの音声データに定位する。
 すなわち、例えば、左スピーカLからの左センタスピーカLcへのパワーP(LtoLc)は、(1/√2+1/2)となるが、これに対して右スピーカRからの左センタスピーカLcへのパワーP(RtoLc)は、(1/2)となる。従って、左スピーカLからのセンタ左スピーカLcへのパワーP(LtoLc)は、右スピーカRからの左センタスピーカLcへのパワーP(RtoLc)の、ほぼ23倍となることから、実質的に、スピーカLに定位することとなる。
 <本技術を適用した変換装置の第2の実施の形態>
 そこで、5chダウンミックス用係数部24には、上述したこれまでの係数と同一の係数を持たせると共に、2chダウンミックス用係数部22には、上述したパワーの変化が生じない係数として、図10で示されるような係数を記憶させる。これにより、7.1chフロントの音声データを5.1chの音声データにダウンミックスした後、2chの音声データにダウンミックスしてもパワーを統一することができる。すなわち、図10に対応した係数による2chの音声データLt,Rtへのダウンミックスは、以下の式(11)で示されるものとなる。尚、本技術を適用した変換装置の第2の実施の形態における変換装置の構成は、基本的に図4と同一であるので、図示は省略する。ただし、2chダウンミックス用係数部22に記憶される係数が異なる。
 Lt=Ls+L+k2×Lc+k4×C+k5×Rc
 Rt=Rs+R+k3×Rc+k1×C+k0×Lc
                           ・・・(11)
 ここで、k0=k5=1/2、k1=k4=1/√2、k2=k3=√3/2である。
 <係数k0乃至k5の導出根拠>
 ここで、係数k0乃至k5の導出根拠について説明する。
 左センタスピーカLcの音声データLcに対する係数k0,k2は、左センタスピーカLcの音声データLcを左右スピーカL,Rの音声データL,Rにミックスしたときのパワー比が3:1となるように設定する。すなわち、ダウンミックス後の左センタスピーカLcの音声データLcの定位がダウンミックス前の再生位置と同じになるように選定している。すなわち、左右スピーカL,R、左右センタスピーカLc,Rc、およびセンタスピーカCは、ユーザPに正対する方向に対して垂直方向に、それぞれ等間隔で配置されていることが前提とされている。このため、物理的な距離の比により3:1に対応するようにパワー比が設定される。
 すなわち、(k0):(k2)=3:1であり、かつ、(k0)+(k2)=1であるので、この拘束条件に基づいて、係数k0,k2を解くことにより、係数k0=1/2、k2=√3/2となる。
 同様に、センタ右スピーカRcの音声データRcに対する係数k3,k5は、右センタスピーカRcの音声データRcを左右スピーカL,Rの音声データL,Rにミックスしたときのパワー比が1:3となるように設定する。すなわち、ダウンミックス後の右センタスピーカRcの音声データRcの定位がダウンミックス前の再生位置と同じになるように選定している。すなわち、左右スピーカL,R、左右センタスピーカLc,Rc、およびセンタスピーカCは、ユーザPに正対する方向に対して垂直方向に、それぞれ等間隔で配置されていることが前提とされている。このため、物理的な距離の比により1:3に対応するようにパワー比が設定される。
 すなわち、(k3):(k5)=1:3であり、かつ、(k3)+(k5)=1であるので、この拘束条件に基づいて、係数k3,k5を解くことにより係数k3=√3/2、k5=1/2となる。
 また、センタスピーカCの音声データCの係数k4,k1は、センタスピーカCの音声データを2chの左右スピーカLt,Rtに対して1:1に対応するようにパワー比が設定されるように係数が決定される。
 すなわち、(k4):(k1)=1:1であり、かつ、(k4)+(k1)=1であるので、この拘束条件に基づいて、係数k1,k4を解くことにより係数k1=1/√2、k4=1/√2となる。
 すなわち、この例においては、係数k0乃至k6が各スピーカの配置により設定される。これにより、ダウンミックス前後でのパワーに変化が生じないようにしている。結果として、ダウンミックス前後でのパワーの変化を抑制しつつ、スピーカの配置に応じたパワーバランスのよりダウンミックスを実現することが可能となる。
 <第3の変形例>
 以上においては、7.1chフロントの音声データを2chの音声データに、1回の演算によりダウンミックスする変換処理について説明してきたが、7.1chフロントの音声データを5.1chに変換して出力するための係数と、5.1chに変換した後に、最終的に2chの音声データに変換して出力するための係数とをそれぞれ設定するようにしてもよい。
 図11は、7.1chフロントの音声データを5.1chに変換して出力するための係数と、5.1chに変換した後、最終的に2chの音声データに変換して出力するための係数とをそれぞれ設定するようにした変換装置の構成例を示している。
 すなわち、図11の変換装置において、5chダウンミックス部31は、最終的に5.1chの音声データにダウンミックスする際には、5ch出力用5chダウンミックス用係数部32に記憶されている係数を読み出して、積和演算により7.1chの音声データを5.1chにダウンミックスする。すなわち、5ch出力用5chダウンミックス用係数部32に記憶されている係数は、図9における最上段の7.1chの音声データを中段の5.1chの音声データに変換する際に使用する係数と同様である。
 または、5chダウンミックス部31は、最終的に2chの音声データにダウンミックスする際には、2ch出力用5chダウンミックス用係数部33に記憶されている係数を読み出して、積和演算により7.1chの音声データを5.1chにダウンミックスし、2chダウンミックス部34に出力する。
 2chダウンミックス部34は、2chダウンミックス用係数部35より2chの音声データに変換するための係数を読み出して、5.1chにダウンミックスされた音声データを、2chの音声データにダウンミックスする。
 最終的に2chの音声データにダウンミックスする際の係数は、図12で示されるような係数となる。尚、図12では、5.1chの音声データは、図12の中段で示されるように、左右サラウンドスピーカLLs,RRs、左右スピーカLL,RR、およびセンタスピーカCCからなるスピーカシステムにより発生されるものとする。また、最終的な2chの音声データは、左右スピーカLt,Rtより出力される音声データLt,Rtであるものとする。
 すなわち、左右スピーカLt,RtにおけるパワーP(All_2ch)が、入力となる7.1chの音声データのパワーP(All_7.1ch)と同一のものとなるように、センタスピーカCCの左右スピーカLt,Rtへのパワー配分が1:1となるように係数K14,K15を、それぞれ1/√2に設定する。
 さらに、7.1chの左センタスピーカLcの音声データのパワーが、5.1chの左スピーカLL,センタスピーカCCに対して1:1に配分されるように、係数k10,k12がそれぞれ1/√(2+√2)となるように設定される。
 同様に、7.1chの右センタスピーカRcの音声データのパワーが、5.1chの右スピーカRR,センタスピーカCCに対して1:1に配分されるように、係数k11,k13がそれぞれ1/√(2+√2)となるように設定される。
 以上のように、入力データである7.1chの音声データを最終的に5.1chの音声データとして出力するか、2chの音声データとして出力するかに応じて、5.1chにダウンミックスする係数を切り替えて利用することで、いずれのダウンミックスにおいても入力データである7.1chの音声データと同様のパワーにすると共にパワーバランスをとることが可能となる。
 <第4の変形例>
 以上においては、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数を利用しない例について説明してきたが、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数を用いた上で、スケーリング係数を設定して、パワーの総和およびチャンネル間のパワー比が一定になるように調整するようにしてもよい。
 すなわち、この場合、変換装置の構成は、図4の構成となり、2chダウンミックス用係数部22に記憶される係数は、図9において説明した2段階の変換に利用した係数を組み合わせて設定される図13で示されるような係数となり、その関係は、以下の式(12)で表される。
 Lo=a×Ls+L+a’×Lc×β+b×C+a”×Rc×β
 Ro=a×Rs+R+a’×Rc×β+b×C+a”×Lc×β
                           ・・・(12)
 ここで、係数a’は、a’=b×e2+b×e1であり、係数a”は、a”=b×e1であり、βはスケーリング係数である。
 したがって、例えば、係数e1=e2=b=1/√2であって、かつ、a=1.0であるとき、左右スピーカLo,Roは以下の式(13)で表される。
 Lo=a×Ls+L+(b×e2+b×e1)×Lc×β
                   +b×C+(b×e1)×Rc×β
   =Ls+L+Lc×β+(1/√2)×C+1/2×Rc×β
 Ro=a×Rs+R+(b×e2+b×e1)×Rc×β
                   +b×C+(b×e1)×Lc×β
   =Rs+R+Rc×β+(1/√2)×C+1/2×Lc×β
                           ・・・(13)
 このとき、パワーP(Lo),P(Ro)は、それぞれ以下の式(14)で表される。
 P(Lo)==(Ls)+L+(Lc)×β
                  +(1/2)×C+1/4×(Rc)×β
 P(Ro)==(Rs)+R+(Rc)×β
                  +(1/2)×C+1/4×(Lc)×β
                           ・・・(14)
 したがって、以下の式(15)で示されるように、2chの音声データにおけるパワーP(All_2ch)が、7.1chの音声データにおけるパワーP(All_7.1ch)と同一になるようにスケーリング係数βが設定されることになる。例えば、式(14)における場合、以下の式(15)で示されるようにスケーリング係数β=2/√5に設定される。
 P(All_2ch)=P(Lo)+P(Ro)
           =(Ls)+(Rs)+L+R+C
             +5/4×(Lc)×β+5/4×(Rc)×β
                           ・・・(15)
 これにより、7.1chの音声データにおけるパワーP(All_7.1ch)と同一にするためには、5/4×β=1とすることとなるため、スケーリング係数β=2/√5となる。
 以上の処理により、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数を利用するようにしてもスケーリング係数βを用いることで、2chの音声データにおけるパワーP(All_2ch)が、7.1chの音声データにおけるパワーP(All_7.1ch)と同一となるようにダウンミックスすることが可能となる。
 <第5の変形例>
 以上においては、左右センタスピーカLc,Rcの音声データにスケーリング係数βを設定する例について説明してきたが、左右センタスピーカLc,Rcの音声データのそれぞれのパワー比を設定するスケーリング係数β11をさらに追加するようにしてもよい。
 すなわち、例えば、以下の式(16)で示されるように、スケーリング係数β11を設定する。
 P(Lo)==(Ls)+L+(Lc)×β
           +(1/2)×C+1/4×(Rc)×β×(β11)
 P(Ro)==(Rs)+R+(Rc)×β
           +(1/2)×C+1/4×(Lc)×β×(β11)
                           ・・・(16)
 したがって、2chの音声データにおけるパワーは、以下の式(17)のように表される。
 P(All_2ch)=P(Lo)+P(Ro)
           =(Ls)+(Rs)+L+R+C
              +(Lc)×β×(1+1/4×(β11)
                +(Rc)×β×(1+1/4×(β11)
                           ・・・(17)
 これにより、7.1chの音声データにおけるパワーP(All_7.1ch)と同一にするためには、β×(1+1/4×(β11))=1とすることとなるため、例えば、スケーリング係数β11=2/√3である場合、スケーリング係数β=√3/2となる。
 図14には、係数b,e1,e2を0,1,1/2,1/√2(=0.7071)としたときの係数a’,a”およびスケーリング係数βの組み合わせの例が示されている。
 このようにスケーリング係数β11を設定するようにすることで、ダウンミックス前後でのパワーの変化をなくして、パワーバランスのよりダウンミックスを実現することが可能となる。
 <7.1ch top>
 以上においては、7.1chフロントのスピーカシステムの音声データを2chの音声データに変換する例について説明してきた。しかしながら、図15の点線で示されるように、後方の左右センタスピーカLc,Rcに代えて、左右トップスピーカLv,Rvを含めたスピーカシステムによる7.1chの音声データを2chの音声データに変換するようにしても良い。尚、図15の点線で示されるようなスピーカシステムを、以降においては、7.1chトップ(7.1ch top)と称するものとする。
 <7.1ch topにおける従来の変換方法>
 この場合、図16の最上段から中段で示されるように、5.1chダウンミックス部11は、以下の式(18)で示される演算を実行することにより、7.1chトップの音声データを5.1chの音声データに変換する。
 C’=C
 L’=L×f1+Lv×f2
 R’=R×f1+Rv×f2
 Ls’=Ls
 Rs’=Rs
 LFE’=LFE
                           ・・・(18)
 ここで、C,L,R,Ls,Rs,Lc,Rc,LFEは、7.1chトップを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、左右トップスピーカRv,Lv、低音スピーカLFEのそれぞれから出力される音声データである。また、C’,L’,R’,Ls’,Rs’,LFE’は、5.1chを構成するセンタスピーカC、左右スピーカL,R、左右サラウンドスピーカLs,Rs、低音スピーカLFEのそれぞれから出力される音声データである。さらに、f1,f2は、ISO/IEC 14496-3 2009 Amd 4 2013により規定される係数である。
 すなわち、5.1chダウンミックス部11は、5.1chダウンミックス用係数部12より係数を読み出して、センタスピーカCの音声データに対して係数1.0を乗じて演算することにより、そのまま音声データC’に変換している。また、5.1chダウンミックス部11は、5.1chダウンミックス用係数部12より係数を読み出して、左右スピーカL,Rの音声データに対して係数f1を乗じ、左右トップスピーカの音声データLv,Rvのそれぞれに係数f2を乗じて加算する演算により、音声データL’,R’に変換している。さらに、5.1chダウンミックス部11は、左右サラウンドスピーカLs,Rs、低音スピーカLFEのそれぞれの音声データに係数として1.0を乗じて、左右サラウンドスピーカLs,Rsおよび低音スピーカLFEの音声データLs’,Rs’,LFE’を求めている。
 このような変換処理により、7.1chトップの音声データが5.1chの音声データに変換される。尚、図16の中段および下段で示される、5.1chの音声データを2chの音声データに変換する処理は、図3を参照して説明した処理と同様であり、以下の式(19)により表される。
 Lo=a×Ls+f1×L+f2×Lv+b×C
 Ro=a×Rs+f1×R+f2×Rv+b×C
                           ・・・(19)
 上述した式(19)の演算により、実質的に図17で示されるような7.1chトップの音声データを、2chの音声データにダウンミックスする変換が実現されることになる。
 しかしながら、以上の処理により7.1chトップの音声データが2chの音声データに変換される際においても、パワーの総和およびチャンネル間のパワー比が異なるものとなる。
 すなわち、式(18)の演算結果に基づいて、7.1chフロントの音声データが2chの音声データに変換される場合、そのパワーP(All_2ch)は以下の式(20)で示されるように演算される。尚、ここでは、係数a=1.0、係数f1=f2=b=1/√2であるものとする。
 P(Lo)=(a×Ls)+(f1×L)+(f2×Lv)+(b×C)
      =Ls+1/2×L+1/2×(Lv)+1/2×C
 P(Ro)=(a×Rs)+(f1×R)+(f2×Rv)+(b×C)
      =Rs+1/2×R+1/2×(Rv)+1/2×C
 P(All_2ch)=P(Lo)+P(Ro)
           =(Ls)+(Rs)+1/2×L+1/2×R+C
                   +1/2×(Lv)+1/2×(Rv)
                           ・・・(20)
 すなわち、式(20)で示されるように、7.1chの音声データを2chの音声データにダウンミックスする変換によりパワーが減少してしまうことが示される。
 <第6の変形例>
 そこで、5chダウンミックス部23は、2chの音声データのパワーP(All_2ch)が、7.1chトップの音声データのパワーP(All_7.1ch)と同一のものとなるように補正用のスケーリング係数を設定する。
 スケーリング係数は、上述した式(20)となる2chの音声データのパワーP(All_2ch)を、7.1chトップの音声データのパワーP(All_7.1ch)に一致させる係数である。
 すなわち、式(20)において、7.1chトップの音声データのパワーP(All_7.1ch)と異なるのは、L,R,(Lv),(Rv)の係数が1ではなく、1/2となっている点である。そこで、この係数を1とするための係数を設定する。
 以下の式(21)で示されるように左右スピーカL,Rの音声データL,Rのパワーを調整する係数としてスケーリング係数β21が設定され、左右トップスピーカLv,Rvの音声データLv,Rvを調整する係数としてスケーリング係数β22が設定される。
 P(All_2ch)=P(Lo)+P(Ro)
           =(C)+(β21)×(L)+(β21)×(R)+(Ls)+(Rs)+(β22)×(Lv)+(β22)×(Rv)
                           ・・・(21)
 より具体的には、係数f1,f2が、1,1/√2(=0.7071),1/2(=0.5)の範囲で変化するとき、スケーリング係数β21,β22は、図18で示されるように設定される。
 例えば、図18で示されるように、係数f1,f2が、いずれも1/√2(=0.7071)である場合、スケーリング係数β21,β22は、いずれも√2(=1.4142)に設定される。
 このようにスケーリング係数を設定することにより、2回の演算処理を1回の演算処理にしても、7.1chトップの音声データのパワーと同一のパワーとなる2chの音声データに変換することが可能となる。
 以上の処理により、7.1chバック、7.1chフロント、および7.1chトップのいずれにおいても、1回の演算により5.1chの音声データを経ることなく、直接2chにダウンミックスする変換処理を実現することが可能になると共に、ダウンミックス前のパワーを維持したまま、ダウンミックスすることが可能となる。
 ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
 図19は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
 入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
 CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 尚、本技術は、以下のような構成も取ることができる。
(1) MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部と、
 前記係数部に記憶された係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする変換部と
 を含む音声処理装置。
(2) 前記MPEG4 Audio規格は、ISO/IEC_14496-3_2009_Amd_4_2013である
 (1)に記載の音声処理装置。
(3) 前記係数は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を含み、
 前記変換部は、前記係数部に記憶された第3の係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (1)に記載の音声処理装置。
(4) 前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (1)に記載の音声処理装置。
(5) 前記7.1chのスピーカシステムは、7.1ch backである
 (1)に記載の音声処理装置。
(6) 前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (5)に記載の音声処理装置。
(7) 前記スケーリング係数は、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数を含む
 (6)に記載の音声処理装置。
(8) 前記スケーリング係数は、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数と、サラウンドスピーカより出力される音声データのパワーを調整する第2のスケーリング係数とを含む
 (6)に記載の音声処理装置。
(9) 前記7.1chのスピーカシステムは、7.1ch frontである
 (1)に記載の音声処理装置。
(10) 前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (9)に記載の音声処理装置。
(11) 前記係数部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1ch frontを構成するスピーカの配置に応じた、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部を含み、
 前記変換部は、前記係数部に記憶された係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (10)に記載の音声処理装置。
(12) 前記係数部は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶し、
 前記変換部は、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (10)に記載の音声処理装置。
(13) 前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数と前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (12)に記載の音声処理装置。
(14) 前記7.1chのスピーカシステムは、7.1ch topである
 (1)に記載の音声処理装置。
(15) 前記係数部は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶し、
 前記変換部は、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
 (14)に記載の音声処理装置。
(16) 前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする
 (15)に記載の音声処理装置。
(17) MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の変換部と、
 前記第1の変換部によりダウンミックスされた、前記5.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第2の変換部と、
 最終的に、前記5.1chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第1の係数を記憶する第1の係数部と、
 最終的に、前記2chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第2の係数を記憶する第2の係数部とを含み、
 前記7.1chのスピーカシステムに対応する音声データを、最終的に前記2chのスピーカシステムに対応する音声データにダウンミックスして出力する場合、前記第1の変換部は、前記第2の係数部に記憶された、前記7.1chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置と、最終的に出力される前記2chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置とが同一となる前記第2の係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする
 音声処理装置。
(18) 前記7.1chのスピーカシステムは、7.1ch frontである
 (17)に記載の音声処理装置。
 21 2chダウンミックス部, 22 2chダウンミックス用係数部, 23 5chダウンミックス部, 24 5chダウンミックス用係数部, 31 5chダウンミックス部, 32 5ch出力用5chダウンミックス用係数部, 33 2ch出力用5chダウンミックス用係数部, 34 2chダウンミックス部, 35 2chダウンミックス用係数部

Claims (18)

  1.  MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部と、
     前記係数部に記憶された係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする変換部と
     を含む音声処理装置。
  2.  前記MPEG4 Audio規格は、ISO/IEC_14496-3_2009_Amd_4_2013である
     請求項1に記載の音声処理装置。
  3.  前記係数は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を含み、
     前記変換部は、前記係数部に記憶された第3の係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項1に記載の音声処理装置。
  4.  前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項1に記載の音声処理装置。
  5.  前記7.1chのスピーカシステムは、7.1ch backである
     請求項1に記載の音声処理装置。
  6.  前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項5に記載の音声処理装置。
  7.  前記スケーリング係数は、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数を含む
     請求項6に記載の音声処理装置。
  8.  前記スケーリング係数は、リアサラウンドスピーカより出力される音声データのパワーを調整する第1のスケーリング係数と、サラウンドスピーカより出力される音声データのパワーを調整する第2のスケーリング係数とを含む
     請求項6に記載の音声処理装置。
  9.  前記7.1chのスピーカシステムは、7.1ch frontである
     請求項1に記載の音声処理装置。
  10.  前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項9に記載の音声処理装置。
  11.  前記係数部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とが同一になるように、前記7.1ch frontを構成するスピーカの配置に応じた、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする係数を記憶する係数部を含み、
     前記変換部は、前記係数部に記憶された係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項10に記載の音声処理装置。
  12.  前記係数部は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶し、
     前記変換部は、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項10に記載の音声処理装置。
  13.  前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数と前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項12に記載の音声処理装置。
  14.  前記7.1chのスピーカシステムは、7.1ch topである
     請求項1に記載の音声処理装置。
  15.  前記係数部は、MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の係数と、前記規格により規定される、5.1chのスピーカシステムに対応する音声データを、2chのスピーカシステムに対応する音声データにダウンミックスする第2の係数とを利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第3の係数を記憶し、
     前記変換部は、前記係数部に記憶された第3の係数を利用して、それぞれのパワーの総和およびチャンネル間のパワー比が同一になるように、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データに直接ダウンミックスする
     請求項14に記載の音声処理装置。
  16.  前記変換部は、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にするスケーリング係数を設定し、前記スケーリング係数および前記係数により、前記7.1chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比と、前記2chのスピーカシステムに対応する音声データのパワーの総和およびチャンネル間のパワー比とを同一にして、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする
     請求項15に記載の音声処理装置。
  17.  MPEG4(Moving Picture Experts Group 4) Audio規格により規定される、7.1chのスピーカシステムに対応する音声データを、前記5.1chのスピーカシステムに対応する音声データにダウンミックスする第1の変換部と、
     前記第1の変換部によりダウンミックスされた、前記5.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする第2の変換部と、
     最終的に、前記5.1chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第1の係数を記憶する第1の係数部と、
     最終的に、前記2chのスピーカシステムに対応する音声データを出力する場合における、前記5.1chのスピーカシステムに対応する音声データにダウンミックスするための第2の係数を記憶する第2の係数部とを含み、
     前記7.1chのスピーカシステムに対応する音声データを、最終的に前記2chのスピーカシステムに対応する音声データにダウンミックスして出力する場合、前記第1の変換部は、前記第2の係数部に記憶された、前記7.1chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置と、最終的に出力される前記2chのスピーカシステムに対応する音声データのパワーの総和、チャンネル間のパワー比、およびダウンミックス後の定位位置とが同一となる第2の係数を利用して、前記7.1chのスピーカシステムに対応する音声データを、前記2chのスピーカシステムに対応する音声データにダウンミックスする
     音声処理装置。
  18.  前記7.1chのスピーカシステムは、7.1ch frontである
     請求項17に記載の音声処理装置。
PCT/JP2015/073464 2014-09-01 2015-08-21 音声処理装置 WO2016035567A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016546415A JP6629739B2 (ja) 2014-09-01 2015-08-21 音声処理装置
US15/505,334 US10547960B2 (en) 2014-09-01 2015-08-21 Audio processing apparatus
CN201580045033.0A CN106576211B (zh) 2014-09-01 2015-08-21 音频处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-177172 2014-09-01
JP2014177172 2014-09-01

Publications (1)

Publication Number Publication Date
WO2016035567A1 true WO2016035567A1 (ja) 2016-03-10

Family

ID=55439633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073464 WO2016035567A1 (ja) 2014-09-01 2015-08-21 音声処理装置

Country Status (4)

Country Link
US (1) US10547960B2 (ja)
JP (1) JP6629739B2 (ja)
CN (1) CN106576211B (ja)
WO (1) WO2016035567A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509600A (ja) * 2004-08-03 2008-03-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚の情景分析を用いたオーディオ信号の結合
JP2008535015A (ja) * 2005-03-30 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化および復号化
WO2014007096A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0593128B1 (en) * 1992-10-15 1999-01-07 Koninklijke Philips Electronics N.V. Deriving system for deriving a centre channel signal from a stereophonic audio signal
US5426702A (en) * 1992-10-15 1995-06-20 U.S. Philips Corporation System for deriving a center channel signal from an adapted weighted combination of the left and right channels in a stereophonic audio signal
CN1650528B (zh) * 2002-05-03 2013-05-22 哈曼国际工业有限公司 多信道下混频设备
CN101533641B (zh) * 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
CN101695151B (zh) * 2009-10-12 2011-12-21 清华大学 多声道音频信号变换为双声道音频信号的方法和设备
CN102802112B (zh) * 2011-05-24 2014-08-13 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
ITTO20120067A1 (it) * 2012-01-26 2013-07-27 Inst Rundfunktechnik Gmbh Method and apparatus for conversion of a multi-channel audio signal into a two-channel audio signal.
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509600A (ja) * 2004-08-03 2008-03-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚の情景分析を用いたオーディオ信号の結合
JP2008535015A (ja) * 2005-03-30 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化および復号化
WO2014007096A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム

Also Published As

Publication number Publication date
CN106576211B (zh) 2019-02-15
JPWO2016035567A1 (ja) 2017-06-08
US10547960B2 (en) 2020-01-28
US20170257720A1 (en) 2017-09-07
JP6629739B2 (ja) 2020-01-15
CN106576211A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
US20200335115A1 (en) Audio encoding and decoding
US20240007814A1 (en) Determination Of Targeted Spatial Audio Parameters And Associated Spatial Audio Playback
EP3074969B1 (en) Multiplet-based matrix mixing for high-channel count multichannel audio
US9093063B2 (en) Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
US11832080B2 (en) Spatial audio parameters and associated spatial audio playback
RU2640647C2 (ru) Устройство и способ преобразования первого и второго входных каналов, по меньшей мере, в один выходной канал
TWI646847B (zh) 屬於第1階保真立體音響訊號且具有第0階和第1階係數的輸入訊號指向性之增進方法及裝置
US20070160219A1 (en) Decoding of binaural audio signals
US20220295212A1 (en) Audio processing
US20200273469A1 (en) Enhancement of spatial audio signals by modulated decorrelation
US20210250717A1 (en) Spatial audio Capture, Transmission and Reproduction
JP6543627B2 (ja) 一定出力ペアワイズパニングによるマトリクスデコーダ
JP2016536855A (ja) マルチチャンネル信号をダウンミックスし、ダウンミックス信号をアップミックスする方法及び装置
GB2572419A (en) Spatial sound rendering
JP6629739B2 (ja) 音声処理装置
WO2022258876A1 (en) Parametric spatial audio rendering
MX2008008424A (es) Decodificacion de señales de audio binaurales

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838063

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016546415

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15505334

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838063

Country of ref document: EP

Kind code of ref document: A1