JP2024075689A - 音響処理装置および方法、並びにプログラム - Google Patents
音響処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2024075689A JP2024075689A JP2024044571A JP2024044571A JP2024075689A JP 2024075689 A JP2024075689 A JP 2024075689A JP 2024044571 A JP2024044571 A JP 2024044571A JP 2024044571 A JP2024044571 A JP 2024044571A JP 2024075689 A JP2024075689 A JP 2024075689A
- Authority
- JP
- Japan
- Prior art keywords
- speakers
- gain
- speaker
- sound image
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 28
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000004364 calculation method Methods 0.000 claims description 100
- 230000004807 localization Effects 0.000 claims description 32
- 238000005516 engineering process Methods 0.000 abstract description 29
- 239000013598 vector Substances 0.000 description 63
- 230000005236 sound signal Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 101100317222 Borrelia hermsii vsp3 gene Proteins 0.000 description 11
- 235000009508 confectionery Nutrition 0.000 description 10
- 101150100956 VSP2 gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
- H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】音像の定位をより安定させることができるようにする。【解決手段】目標音像位置を囲む4つのスピーカを頂点とする球面上の四角形の辺のうち、下側に位置する辺上に仮想スピーカがあるものとされる。そして、仮想スピーカと、右上および左上の2つのスピーカとから3次元VBAPにより、目標音像位置に音像を定位させるための右上および左上の2つのスピーカと仮想スピーカの各ゲインが算出される。さらに、右下および左下のスピーカについて2次元VBAPが行なわれ、仮想スピーカに音像を定位させるための、右下および左下のスピーカのゲインが算出され、それらのゲインに仮想スピーカのゲインが乗算されたものが、目標音像位置に音像を定位させるための右下および左下のスピーカのゲインとされる。本技術は、音声処理装置に適用することができる。【選択図】図7
Description
本技術は、音響処理装置および方法、並びにプログラムに関し、特に、音像の定位をより安定させることができるようにした音響処理装置および方法、並びにプログラムに関する。
従来、複数のスピーカを用いて音像の定位を制御する技術として、VBAP(Vector Base Amplitude Pannning)が知られている(例えば、非特許文献1参照)。
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある2つまたは3つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される音声のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
しかしながら、上述した技術では、目標とする位置に音像を定位させることはできるが、その定位位置によっては、音像の定位が不安定となってしまうことがあった。
例えば、3つのスピーカを用いてVBAPを行なう3次元VBAPでは、目標とする音像の定位位置によっては、3つのスピーカのうち、2つのスピーカのみから音声が出力され、残りの1つのスピーカからは音声が出力されないように制御される場合がある。
そのような場合、音声を聴いているときにユーザが移動すると、その移動方向とは異なる方向に音像が移動し、音像の定位が不安定であると知覚されてしまうことがある。このように音像の定位が不安定となると、最適な視聴位置であるスイートスポットの範囲が狭くなってしまう。
本技術は、このような状況に鑑みてなされたものであり、音像の定位をより安定させることができるようにするものである。
本技術の一側面の音響処理装置は、オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータを取得する取得部と、音像定位位置近傍に位置する複数の音声出力部のゲイン係数を、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算する計算部と、前記複数の音声出力部の前記ゲイン係数を出力する出力部とを備える。
本技術の一側面の音響処理方法またはプログラムは、オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータを取得し、音像定位位置近傍に位置する複数の音声出力部のゲイン係数を、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算し、前記複数の音声出力部の前記ゲイン係数を出力するステップを含む。
本技術の一側面においては、オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータが取得され、音像定位位置近傍に位置する複数の音声出力部のゲイン係数が、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算され、前記複数の音声出力部の前記ゲイン係数が出力される。
本技術の一側面によれば、音像の定位をより安定させることができる。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈本技術の概要について〉
まず、図1乃至図8を参照して、本技術の概要について説明する。なお、図1乃至図8において、対応する部分には同一の符号を付してあり、その説明は適宜省略する。
〈本技術の概要について〉
まず、図1乃至図8を参照して、本技術の概要について説明する。なお、図1乃至図8において、対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えば、図1に示すように、音声付の動画像や楽曲などのコンテンツを視聴するユーザU11が、2つのスピーカSP1およびスピーカSP2から出力される2チャンネルの音声をコンテンツの音声として聴いているとする。
このような場合に、各チャンネルの音声を出力する2つのスピーカSP1とスピーカSP2の位置情報を用いて、仮想音源VSP1の位置に音像を定位させることを考える。
例えば、ユーザU11の頭部の位置を原点Oとし、図中、縦方向および横方向をx軸方向およびy軸方向とする2次元座標系における仮想音源VSP1の位置を、原点Oを始点とするベクトルPにより表すこととする。
ベクトルPは2次元のベクトルであるため、原点Oを始点とし、それぞれスピーカSP1およびスピーカSP2の位置の方向を向くベクトルL1およびベクトルL2の線形和によってベクトルPを表すことができる。すなわち、ベクトルPは、ベクトルL1およびベクトルL2を用いて次式(1)により表すことができる。
式(1)においてベクトルL1およびベクトルL2に乗算されている係数g1および係数g2を算出し、これらの係数g1および係数g2を、スピーカSP1およびスピーカSP2のそれぞれから出力する音声のゲインとすれば、仮想音源VSP1の位置に音像を定位させることができる。すなわち、ベクトルPにより示される位置に音像を定位させることができる。
このようにして、2つのスピーカSP1とスピーカSP2の位置情報を用いて係数g1および係数g2を求め、音像の定位位置を制御する手法は、2次元VBAPと呼ばれている。
図1の例では、スピーカSP1とスピーカSP2を結ぶ円弧AR11上の任意の位置に音像を定位させることができる。ここで、円弧AR11は、原点Oを中心とし、スピーカSP1およびスピーカSP2の各位置を通る円の一部分である。
なお、ベクトルPは2次元ベクトルであるので、ベクトルL1とベクトルL2のなす角度が0度より大きく、180度未満である場合、ゲインとされる係数g1および係数g2は一意に求まる。これらの係数g1および係数g2の算出方法については、上述した非特許文献1に詳細に記載されている。
これに対して、3チャンネルの音声を再生しようとする場合には、例えば図2に示すように、音声を出力するスピーカの数は3つになる。
図2の例では、3つのスピーカSP1、スピーカSP2、およびスピーカSP3から各チャンネルの音声が出力される。
このような場合においても、スピーカSP1乃至スピーカSP3から出力される各チャンネルの音声のゲイン、つまりゲインとして求める係数が3つになるだけで、考え方は上述した2次元VBAPと同様である。
すなわち、仮想音源VSP2の位置に音像を定位させようとする場合に、ユーザU11の頭部の位置を原点Oとする3次元座標系において、仮想音源VSP2の位置を、原点Oを始点とする3次元のベクトルPにより表すこととする。
また、原点Oを始点とし、各スピーカSP1乃至スピーカSP3の位置の方向を向く3次元のベクトルをベクトルL1乃至ベクトルL3とすると、ベクトルPは次式(2)に示すように、ベクトルL1乃至ベクトルL3の線形和によって表すことができる。
式(2)においてベクトルL1乃至ベクトルL3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音声のゲインとすれば、仮想音源VSP2の位置に音像を定位させることができる。
このようにして、3つのスピーカSP1乃至スピーカSP3の位置情報を用いて係数g1乃至係数g3を求め、音像の定位位置を制御する手法は、3次元VBAPと呼ばれている。
図2の例では、スピーカSP1、スピーカSP2、およびスピーカSP3の位置を含む球面上の三角形の領域TR11内の任意の位置に音像を定位させることができる。ここで、領域TR11は、原点Oを中心とし、スピーカSP1乃至スピーカSP3の各位置を含む球の表面上の領域であって、スピーカSP1乃至スピーカSP3により囲まれる球面上の三角形の領域である。
このような3次元VBAPを用いれば、空間上の任意の位置に音像を定位させることができるようになる。
例えば図3に示すように、音声を出力させるスピーカの数を増やして、図2に示した三角形の領域TR11に相当する領域を空間上に複数設ければ、それらの領域上の任意の位置に音像を定位させることができる。
図3に示す例では、5つのスピーカSP1乃至スピーカSP5が配置されており、それらのスピーカSP1乃至スピーカSP5から各チャンネルの音声が出力される。ここで、スピーカSP1乃至スピーカSP5は、ユーザU11の頭部の位置にある原点Oを中心とする球面上に配置されている。
この場合、原点Oを始点とし、各スピーカSP1乃至スピーカSP5の位置の方向を向く3次元のベクトルをベクトルL1乃至ベクトルL5として、上述した式(2)を解く計算と同様の計算を行い、各スピーカから出力される音声のゲインを求めればよい。
ここで、原点Oを中心とする球面上の領域のうち、スピーカSP1、スピーカSP4、およびスピーカSP5により囲まれる三角形の領域を領域TR21とする。同様に、原点Oを中心とする球面上の領域のうち、スピーカSP3、スピーカSP4、およびスピーカSP5により囲まれる三角形の領域を領域TR22とし、スピーカSP2、スピーカSP3、およびスピーカSP5により囲まれる三角形の領域を領域TR23とする。
これらの領域TR21乃至領域TR23は、図2に示した領域TR11に対応する領域である。いま、音像を定位させたい位置を示す3次元のベクトルをベクトルPとすると、図3の例では、ベクトルPは領域TR21上の位置を示している。
そこで、この例ではスピーカSP1、スピーカSP4、およびスピーカSP5の位置を示すベクトルL1、ベクトルL4、およびベクトルL5が用いられて式(2)を解く計算と同様の計算が行なわれ、スピーカSP1、スピーカSP4、およびスピーカSP5の各スピーカから出力される音声のゲインが算出される。また、この場合、他のスピーカSP2およびスピーカSP3から出力される音声のゲインは0とされる。つまり、これらのスピーカSP2およびスピーカSP3からは、音声は出力されない。
このように空間上に5つのスピーカSP1乃至スピーカSP5を配置すれば、領域TR21乃至領域TR23からなる領域上の任意の位置に音像を定位させることが可能となる。
ところで、図4に示すように空間上に4つのスピーカSP1乃至スピーカSP4が配置されており、それらのスピーカSP1乃至スピーカSP4の中心位置にある仮想音源VSP3の位置に音像を定位させるとする。
図4の例では、スピーカSP1乃至スピーカSP4は、図示せぬ原点Oを中心とする球の表面に配置されており、その表面上の領域であって、スピーカSP1乃至スピーカSP3により囲まれる三角形の領域が領域TR31となっている。また、原点Oを中心とする球の表面上の領域であって、スピーカSP2乃至スピーカSP4により囲まれる三角形の領域が領域TR32となっている。
そして、仮想音源VSP3は、領域TR31の右下側の辺上に位置している。また、仮想音源VSP3は、領域TR32の左上側の辺上にも位置している。
したがって、この場合、スピーカSP1乃至スピーカSP3について3次元VBAPを行なうか、またはスピーカSP2乃至スピーカSP4について3次元VBAPを行なえばよいことになる。何れの場合にしても3次元VBAPの計算結果は同じとなり、2つのスピーカSP2およびスピーカSP3のみから音声が出力され、残りのスピーカSP1およびスピーカSP4からは音声が出力されないようなゲインが求まる。
3次元VBAPでは、音像を定位させようとする位置が、3つのスピーカを結ぶ球面上の三角形の領域の境界線上、つまり球面上の三角形の辺上にある場合、その辺の両端に位置する2つのスピーカからのみ音声が出力されることになる。
このように2つのスピーカSP2およびスピーカSP3のみから音声が出力される場合に、例えば図5に示すように、最適な視聴位置であるスイートスポットにいるユーザU11が、矢印A11に示すように図中、左側に移動したとする。
すると、ユーザU11の頭部はスピーカSP3に近付くため、このスピーカSP3から出力されている音声がより大きく聴こえるようになるので、ユーザU11には、矢印A12に示すように仮想音源VSP3、つまり音像が図中、左下に移動したように知覚される。
3次元VBAPでは、図5に示すように2つのスピーカのみから音声が出力される場合には、ユーザU11がスイートスポットから少し移動するだけで、ユーザU11の移動方向に対して垂直な方向に音像が移動してしまう。そのような場合、ユーザU11は自身の移動方向とは異なる方向に音像が移動したように知覚されるので違和感が生じてしまう。つまり、ユーザU11にとって音像の定位が不安定であると知覚されてしまい、スイートスポットの範囲が狭くなってしまう。
そこで、本技術では、上述したVBAPとは異なり、3つより多い数のスピーカ、つまり4以上のスピーカから音声を出力させることにより、音像の定位をより安定させ、これによりスイートスポットの範囲がより広くなるようにする。
なお、音声を出力させるスピーカの数は4以上であればいくつでもよいが、以下では4つのスピーカから音声を出力させる場合を例として説明を続ける。
例えば図4に示した例と同様に、4つのスピーカSP1乃至スピーカSP4の中心位置にある仮想音源VSP3の位置に音像を定位させるとする。
そのような場合、本技術では2つまたは3つのスピーカが選択されて1つの組み合わせとされ、互いに異なる複数の組み合わせについてVBAPが行なわれて、4つのスピーカSP1乃至スピーカSP4から出力される音声のゲインが算出される。
したがって、本技術では、例えば図6に示すように4つの全てのスピーカSP1乃至スピーカSP4から音声が出力されることになる。
そのような場合には図6中、矢印A21に示すようにユーザU11がスイートスポットから図中、左方向に移動しても仮想音源VSP3の位置、つまり音像の定位位置は矢印A22に示すように図中、左方向に移動するだけである。すなわち、図5に示した例のように、音像が下方向、つまりユーザU11の移動方向と垂直な方向に移動することはなく、ユーザU11の移動方向と同じ方向にのみ移動する。
これは、ユーザU11が左方向に移動すると、スピーカSP3に近付くことになるが、そのスピーカSP3の上側にはスピーカSP1も位置しているからである。この場合、ユーザU11の耳には、ユーザU11から見て左上側からも左下側からも音声が到達するので、音像が図中、下方向に移動したと知覚されにくくなる。
そのため、従来のVBAP手法と比較して、より音像の定位を安定させることができ、その結果、スイートスポットの範囲を拡大させることができる。
次に、本技術による音像定位の制御について、より具体的に説明する。
本技術では、音像を定位させようとする位置を示すベクトルを、3次元座標系の図示せぬ原点Oを始点とするベクトルPとして、次式(3)によりベクトルPを表現する。
なお、式(3)において、ベクトルL1乃至ベクトルL4は、音像の定位位置近傍にあり、その音像定位位置を囲むように配置されたスピーカSP1乃至スピーカSP4の位置の方向を向く3次元のベクトルを示している。また、g1乃至g4は、これから求めようとする、スピーカSP1乃至スピーカSP4から出力させる各チャンネルの音声のゲインとなる係数を示している。
式(3)においては、ベクトルPが4つのベクトルL1乃至ベクトルL4の線形和によって表されている。ここで、ベクトルPは3次元ベクトルであるため、4つの係数g1乃至係数g4は一意に求まらない。
そこで、本技術では、以下の方法により、ゲインとなる各係数g1乃至係数g4が算出される。
いま、図4に示した4つのスピーカSP1乃至スピーカSP4に囲まれる球面上の四角形の中心位置、つまり仮想音源VSP3の位置に音像を定位させるとする。
ここでは、まず、スピーカSP1乃至スピーカSP4を頂点とする球面上の四角形の任意の1つの辺を選択し、その辺上に仮想的なスピーカ(以下、仮想スピーカと称する)があるものと仮定する。
例えば、図7に示すように、スピーカSP1乃至スピーカSP4を頂点とする球面上の四角形のうち、図中、左下と右下に位置するスピーカSP3とスピーカSP4を結ぶ辺が選択されたとする。そして、例えば仮想音源VSP3の位置から、スピーカSP3とスピーカSP4を結ぶ辺におろした垂線の交点位置に、仮想スピーカVSP’があるものとされる。
続いて、この仮想スピーカVSP’と、図中、左上および右上にあるスピーカSP1およびスピーカSP2との合計3つのスピーカについて、3次元VBAPが行なわれる。すなわち、上述した式(2)と同様の式を解くことにより、スピーカSP1、スピーカSP2、および仮想スピーカVSP’のそれぞれから出力される音声のゲインとなる係数g1、係数g2、および係数g’が求められる。
図7では、原点Oを始点とする3つのベクトル、すなわちスピーカSP1の方向を向くベクトルL1、スピーカSP2の方向を向くベクトルL2、および仮想スピーカVSP’の方向を向くベクトルL’の線形和によりベクトルPが表される。すなわち、P=g1L1+g2L2+g’L’とされる。
ここで、仮想音源VSP3の位置に音像を定位させるためには、仮想スピーカVSP’からゲインg’で音声が出力されねばならないが、仮想スピーカVSP’は実在しない。そこで、本技術では、図8に示すように仮想スピーカVSP’が位置する四角形の辺の両端に位置する2つのスピーカSP3およびスピーカSP4を用いて、仮想スピーカVSP’の位置に音像を定位させることにより、仮想スピーカVSP’が実現される。
具体的には、仮想スピーカVSP’が位置する球面上の辺の、その両端に位置する2つのスピーカSP3およびスピーカSP4について、2次元VBAPが行なわれる。すなわち、上述した式(1)と同様の式を解くことにより、スピーカSP3およびスピーカSP4のそれぞれから出力される音声のゲインとなる係数g3’および係数g4’が算出される。
図8の例では、仮想スピーカVSP’の方向を向くベクトルL’が、スピーカSP3の方向を向くベクトルL3、およびスピーカSP4の方向を向くベクトルL4の線形和により表される。つまり、L’=g3’L3+g4’L4とされる。
そして、求められた係数g3’に係数g’を乗算して得られる値g’g3’が、スピーカSP3から出力させる音声のゲインとされ、係数g4’に係数g’を乗算して得られる値g’g4’が、スピーカSP4から出力させる音声のゲインとされる。これにより、スピーカSP3とスピーカSP4によって、ゲインg’で音声を出力する仮想スピーカVSP’が実現されることになる。
なお、ここで、ゲイン値とされるg’g3’の値が、上述した式(3)における係数g3の値となり、ゲイン値とされるg’g4’の値が、上述した式(3)における係数g4の値となる。
以上のようにして得られた0ではない値g1、g2、g’g3’、およびg’g4’を、スピーカSP1乃至スピーカSP4から出力される各チャンネルの音声のゲインとすれば、4つのスピーカから音声を出力させて、目標とする位置に音像を定位させることができる。
このように4つのスピーカから音声を出力させて音像を定位させれば、従来のVBAP手法で音像を定位させるよりも、音像の定位をより安定させることができ、これによりスイートスポットの範囲を拡大させることができる。
〈音声処理装置の構成例〉
次に、以上において説明した本技術を適用した具体的な実施の形態について説明する。図9は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
次に、以上において説明した本技術を適用した具体的な実施の形態について説明する。図9は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
音声処理装置11は、外部から供給されたモノラルの音声信号に対してチャンネルごとのゲイン調整を行なうことで、Nチャンネル(但し、N≧5)の音声信号を生成し、N個の各チャンネルに対応するスピーカ12-1乃至スピーカ12-Nに音声信号を供給する。
スピーカ12-1乃至スピーカ12-Nは、音声処理装置11から供給された音声信号に基づいて、各チャンネルの音声を出力する。すなわち、スピーカ12-1乃至スピーカ12-Nは、各チャンネルの音声を出力する音源となる音声出力部である。なお、以下、スピーカ12-1乃至スピーカ12-Nを特に区別する必要のない場合、単にスピーカ12とも称することとする。なお、図9では、スピーカ12が音声処理装置11に含まれていない構成とされているが、スピーカ12が音声処理装置11に含まれるようにしてもよい。また、音声処理装置11を構成する各部とスピーカ12を、例えばいくつかの装置に分けて設ける等して、音声処理装置11の各部とスピーカ12からなる音声処理システムとするようにしてもよい。
スピーカ12は、コンテンツ等を視聴するときにユーザが位置すると想定される位置(以下、単にユーザの位置とも称する)を囲むように配置されている。例えば、各スピーカ12は、ユーザの位置を中心とする球の表面上の位置に配置されている。換言すれば、各スピーカ12は、ユーザから等距離の位置に配置される。また、音声処理装置11からスピーカ12への音声信号の供給は有線により行なわれてもよいし、無線により行なわれてもよい。
音声処理装置11は、スピーカ選択部21、ゲイン算出部22、ゲイン決定部23、ゲイン出力部24、およびゲイン調整部25から構成される。
音声処理装置11には、例えば移動物体などのオブジェクトに取り付けられたマイクロホンにより収音された音声の音声信号と、そのオブジェクトの位置情報とが供給される。
スピーカ選択部21は、外部から供給されたオブジェクトの位置情報に基づいて、スピーカ12が配置されている空間上において、オブジェクトから発せられる音声の音像を定位させるべき位置(以下、目標音像位置とも称する)を特定し、その特定結果をゲイン算出部22に供給する。
また、スピーカ選択部21は、目標音像位置に基づいて、N個のスピーカ12のなかから、音声を出力させるべき4つのスピーカ12を処理対象のスピーカ12として選択し、その選択結果を示す選択情報をゲイン算出部22、ゲイン決定部23、およびゲイン出力部24に供給する。
ゲイン算出部22は、スピーカ選択部21から供給された選択情報と、目標音像位置とに基づいて、処理対象のスピーカ12のゲインを算出し、ゲイン出力部24に供給する。ゲイン決定部23は、スピーカ選択部21から供給された選択情報に基づいて、処理対象とされていないスピーカ12のゲインを決定し、ゲイン出力部24に供給する。例えば、処理対象ではないスピーカ12のゲインは「0」とされる。つまり、処理対象ではないスピーカ12からはオブジェクトの音声が出力されないように制御される。
ゲイン出力部24は、ゲイン算出部22およびゲイン決定部23から供給されたN個のゲインをゲイン調整部25に供給する。このとき、ゲイン出力部24は、スピーカ選択部21から供給された選択情報に基づいて、ゲイン算出部22およびゲイン決定部23から供給されたN個の各ゲインのゲイン調整部25内での供給先を定める。
ゲイン調整部25は、ゲイン出力部24から供給された各ゲインに基づいて、外部から供給されたオブジェクトの音声信号に対するゲイン調整を行なって、その結果得られたN個の各チャンネルの音声信号をスピーカ12に供給して音声を出力させる。
ゲイン調整部25は、増幅部31-1乃至増幅部31-Nを備えている。増幅部31-1乃至増幅部31-Nは、ゲイン出力部24から供給されたゲインに基づいて、外部から供給された音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ12-1乃至スピーカ12-Nに供給する。
なお、以下、増幅部31-1乃至増幅部31-Nを個々に区別する必要がない場合、単に増幅部31とも称する。
〈ゲイン算出部の構成例〉
また、図9に示したゲイン算出部22は、例えば図10に示すように構成される。
また、図9に示したゲイン算出部22は、例えば図10に示すように構成される。
図10に示すゲイン算出部22は、仮想スピーカ位置決定部61、3次元ゲイン算出部62、2次元ゲイン算出部63、乗算部64、および乗算部65から構成される。
仮想スピーカ位置決定部61は、スピーカ選択部21から供給された目標音像位置を示す情報および選択情報に基づいて仮想スピーカの位置を決定する。仮想スピーカ位置決定部61は、目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報を3次元ゲイン算出部62に供給するとともに、選択情報および仮想スピーカの位置を示す情報を2次元ゲイン算出部63に供給する。
3次元ゲイン算出部62は、仮想スピーカ位置決定部61から供給された各情報に基づいて、処理対象のスピーカ12のうちの2つのスピーカ12と、仮想スピーカとについて、3次元VBAPを行なう。そして、3次元ゲイン算出部62は、3次元VBAPにより得られた2つのスピーカ12のゲインをゲイン出力部24に供給するとともに、仮想スピーカのゲインを乗算部64および乗算部65に供給する。
2次元ゲイン算出部63は、仮想スピーカ位置決定部61から供給された各情報に基づいて、処理対象のスピーカ12のうちの2つのスピーカ12について2次元VBAPを行い、その結果得られたスピーカ12のゲインを乗算部64および乗算部65に供給する。
乗算部64は、2次元ゲイン算出部63から供給されたゲインに、3次元ゲイン算出部62から供給されたゲインを乗算して最終的なスピーカ12のゲインとし、ゲイン出力部24に供給する。乗算部65は、2次元ゲイン算出部63から供給されたゲインに、3次元ゲイン算出部62から供給されたゲインを乗算して最終的なスピーカ12のゲインとし、ゲイン出力部24に供給する。
〈音像定位制御処理の説明〉
ところで、音声処理装置11にオブジェクトの位置情報と音声信号が供給され、オブジェクトの音声の出力が指示されると、音声処理装置11は音像定位制御処理を開始して、オブジェクトの音声を出力させ、その音像を適切な位置に定位させる。
ところで、音声処理装置11にオブジェクトの位置情報と音声信号が供給され、オブジェクトの音声の出力が指示されると、音声処理装置11は音像定位制御処理を開始して、オブジェクトの音声を出力させ、その音像を適切な位置に定位させる。
以下、図11のフローチャートを参照して、音声処理装置11による音像定位制御処理について説明する。
ステップS11において、スピーカ選択部21は、外部から供給されたオブジェクトの位置情報に基づいて処理対象とするスピーカ12を選択する。
具体的には、例えばスピーカ選択部21は、オブジェクトの位置情報に基づいて目標音像位置を特定し、N個のスピーカ12のうち、目標音像位置近傍にあり、かつ目標音像位置を囲むように配置されている4つのスピーカ12を処理対象のスピーカ12とする。
例えば、図7に示した仮想音源VSP3の位置が目標音像位置とされた場合、仮想音源VSP3を囲む4つのスピーカSP1乃至スピーカSP4に対応するスピーカ12が処理対象のスピーカ12として選択される。
スピーカ選択部21は、目標音像位置を示す情報を仮想スピーカ位置決定部61に供給するとともに、処理対象の4つのスピーカ12を示す選択情報を仮想スピーカ位置決定部61、ゲイン決定部23、およびゲイン出力部24に供給する。
ステップS12において、仮想スピーカ位置決定部61は、スピーカ選択部21から供給された目標音像位置を示す情報および選択情報に基づいて仮想スピーカの位置を決定する。例えば、図7に示した例と同様に、処理対象のスピーカ12のうちのユーザからみて左下および右下に位置するスピーカ12を結ぶ球面上の辺と、目標音像位置からその辺におろした垂線との交点の位置が、仮想スピーカの位置とされる。
仮想スピーカの位置が決定されると、仮想スピーカ位置決定部61は、目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報を3次元ゲイン算出部62に供給するとともに、選択情報および仮想スピーカの位置を示す情報を2次元ゲイン算出部63に供給する。
なお、仮想スピーカの位置は、処理対象とされた4つのスピーカ12を各頂点とする、球面上の四角形の辺上の位置であれば、どの位置とされてもよい。また、処理対象とされるスピーカ12が5以上である場合でも、それらのスピーカ12を各頂点とする球面上の多角形の辺上の任意の位置を仮想スピーカの位置とすればよい。
ステップS13において3次元ゲイン算出部62は、仮想スピーカ位置決定部61から供給された目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報に基づいて、仮想スピーカと、処理対象の2つのスピーカ12とについてゲインを算出する。
具体的には3次元ゲイン算出部62は、目標音像位置を示す3次元ベクトルをベクトルPとするとともに、仮想スピーカを向く3次元ベクトルをベクトルL’とする。また、3次元ゲイン算出部62は、処理対象となっているスピーカ12のうち、図7に示したスピーカSP1と同じ位置関係にあるスピーカ12を向くベクトルをベクトルL1とし、スピーカSP2と同じ位置関係にあるスピーカ12を向くベクトルをベクトルL2とする。
そして、3次元ゲイン算出部62は、ベクトルPをベクトルL’、ベクトルL1、およびベクトルL2の線形和で表す式を求め、その式を解くことにより、ベクトルL’、ベクトルL1、およびベクトルL2の係数g’、係数g1、および係数g2をゲインとして算出する。すなわち、上述した式(2)を解く演算と同様の演算が行なわれる。
3次元ゲイン算出部62は、計算の結果得られたスピーカSP1およびスピーカSP2と同じ位置関係にあるスピーカ12の係数g1および係数g2を、それらのスピーカ12から出力する音声のゲインとしてゲイン出力部24に供給する。
また、3次元ゲイン算出部62は、計算の結果得られた仮想スピーカの係数g’を、仮想スピーカから出力する音声のゲインとして乗算部64および乗算部65に供給する。
ステップS14において、2次元ゲイン算出部63は、仮想スピーカ位置決定部61から供給された選択情報、および仮想スピーカの位置を示す情報に基づいて、処理対象の2つのスピーカ12についてゲインを算出する。
具体的には2次元ゲイン算出部63は、仮想スピーカの位置を示す3次元ベクトルをベクトルL’とする。また、2次元ゲイン算出部63は、処理対象となっているスピーカ12のうち、図8に示したスピーカSP3と同じ位置関係にあるスピーカ12を向くベクトルをベクトルL3とし、スピーカSP4と同じ位置関係にあるスピーカ12を向くベクトルをベクトルL4とする。
そして、2次元ゲイン算出部63はベクトルL’を、ベクトルL3、およびベクトルL4の線形和で表す式を求め、その式を解くことにより、ベクトルL3およびベクトルL4の係数g3’および係数g4’をゲインとして算出する。すなわち、上述した式(1)を解く演算と同様の演算が行なわれる。
2次元ゲイン算出部63は、計算の結果得られたスピーカSP3およびスピーカSP4と同じ位置関係にあるスピーカ12の係数g3’および係数g4’を、それらのスピーカ12から出力する音声のゲインとして乗算部64および乗算部65に供給する。
ステップS15において、乗算部64および乗算部65は、2次元ゲイン算出部63から供給されたゲインg3’およびゲインg4’に対して、3次元ゲイン算出部62から供給された仮想スピーカのゲインg’を乗算し、ゲイン出力部24に供給する。
したがって、処理対象となっている4つのスピーカ12のうち、図8のスピーカSP3と同じ位置関係にあるスピーカ12の最終的なゲインとしてg3=g’g3’がゲイン出力部24に供給されることになる。同様に、処理対象となっている4つのスピーカ12のうち、図8のスピーカSP4と同じ位置関係にあるスピーカ12の最終的なゲインとしてg4=g’g4’がゲイン出力部24に供給される。
ステップS16において、ゲイン決定部23は、スピーカ選択部21から供給された選択情報に基づいて、処理対象とされていないスピーカ12のゲインを決定し、ゲイン出力部24に供給する。例えば、処理対象ではない全てのスピーカ12のゲインは「0」とされる。
ゲイン出力部24にゲイン算出部22からのゲインg1、ゲインg2、ゲインg’g3’、およびゲインg’g4’と、ゲイン決定部23からのゲイン「0」とが供給されると、ゲイン出力部24は、スピーカ選択部21からの選択情報に基づいて、それらのゲインをゲイン調整部25の増幅部31に供給する。
具体的には、ゲイン出力部24は、処理対象の各スピーカ12、つまり図7のスピーカSP1乃至スピーカSP4のそれぞれに対応するスピーカ12に対して音声信号を供給する増幅部31に、ゲインg1、ゲインg2、ゲインg’g3’、およびゲインg’g4’を供給する。例えば、スピーカSP1に対応するスピーカ12がスピーカ12-1である場合、ゲイン出力部24は、ゲインg1を増幅部31-1に供給する。
また、ゲイン出力部24は、処理対象ではないスピーカ12に音声信号を供給する増幅部31に対して、ゲイン決定部23から供給されたゲイン「0」を供給する。
ステップS17において、ゲイン調整部25の増幅部31は、ゲイン出力部24から供給されたゲインに基づいて、外部から供給されたオブジェクトの音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ12に供給し、音声を出力させる。
各スピーカ12は、増幅部31から供給された音声信号に基づいて音声を出力する。より詳細には、処理対象とされた4つのスピーカ12のみから音声が出力される。これにより、目標とする位置に音像を定位させることができる。スピーカ12から音声が出力されると、音像定位制御処理は終了する。
以上のようにして、音声処理装置11は、オブジェクトの位置情報から処理対象とする4つのスピーカ12を選択し、それらのスピーカ12と仮想スピーカのうちの2つまたは3つのスピーカの組み合わせについてVBAPを行なう。そして、音声処理装置11は、複数の異なる組み合わせについてVBAPを行なうことで得られた、処理対象の各スピーカ12のゲインに基づいて音声信号のゲイン調整を行なう。
これにより、目標とする音像位置の周囲に位置する4つのスピーカ12から音声が出力されるようになり、音像の定位をより安定させることができるようになる。その結果、スイートスポットの範囲をより拡大させることができる。
〈第2の実施の形態〉
〈ゲインの算出について〉
なお、以上においては、仮想スピーカを含む5つのスピーカのうちの2または3のスピーカを選択して1つのスピーカの組み合わせとし、複数の組み合わせについてVBAPを行なうことで、処理対象のスピーカ12のゲインを算出する例について説明した。しかし、本技術では、仮想スピーカを定めずに、処理対象の4つのスピーカ12から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なうことでもゲインを算出することが可能である。
〈ゲインの算出について〉
なお、以上においては、仮想スピーカを含む5つのスピーカのうちの2または3のスピーカを選択して1つのスピーカの組み合わせとし、複数の組み合わせについてVBAPを行なうことで、処理対象のスピーカ12のゲインを算出する例について説明した。しかし、本技術では、仮想スピーカを定めずに、処理対象の4つのスピーカ12から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なうことでもゲインを算出することが可能である。
そのような場合、例えば図12に示すように、目標音像位置によってVBAPを行なうべき回数が変化する。なお、図12において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えば、仮想音源の位置、つまり目標音像位置が矢印Q11に示す位置にある場合、矢印Q11に示す位置は、球面上のスピーカSP1、スピーカSP2、およびスピーカSP4により囲まれる三角形の領域内にある。そのため、スピーカSP1、スピーカSP2、およびスピーカSP4からなるスピーカの組(以下、第1組とも称する)について、3次元VBAPを行なえば、スピーカSP1、スピーカSP2、およびスピーカSP4の3つのスピーカから出力される音声のゲインが求まる。
一方で、矢印Q11に示す位置は、球面上のスピーカSP2、スピーカSP3、およびスピーカSP4により囲まれる三角形の領域内の位置でもある。そのため、スピーカSP2、スピーカSP3、およびスピーカSP4からなるスピーカの組(以下、第2組とも称する)について、3次元VBAPを行なえば、スピーカSP2、スピーカSP3、およびスピーカSP4の3つのスピーカから出力される音声のゲインが求まる。
ここで、第1組と第2組において、それぞれ用いられなかったスピーカのゲインを「0」とすれば、この例では、第1組と第2組とで、4つのスピーカSP1乃至スピーカSP4の各ゲインとして、合計2通りのゲインが得られる。
そこで、各スピーカについて、第1組と第2組で得られたスピーカのゲインの和がゲイン和として求められる。例えば、第1組について得られたスピーカSP1のゲインがg1(1)であり、第2組について得られたスピーカSP1のゲインがg1(2)であれば、スピーカSP1のゲイン和gs1は、ゲイン和gs1=g1(1)+g1(2)となる。
ここで、第2組の組み合わせにはスピーカSP1が含まれていないのでg1(2)は0となるが、第1組のスピーカの組み合わせにはスピーカSP1が含まれているのでg1(1)は0ではない値となり、結局、スピーカSP1のゲイン和gs1は0にはならない。このことは、他のスピーカSP2乃至スピーカSP4のゲイン和についても同様である。
このようにして各スピーカのゲイン和が求まると、それらのゲイン和の二乗和で、各スピーカのゲイン和を正規化して得られた値を、それらのスピーカの最終的なゲイン、より詳細にはスピーカから出力される音声のゲインとすればよい。
このようにして各スピーカSP1乃至スピーカSP4のゲインを求めれば、必ず0ではないゲインが得られるので、4つのスピーカSP1乃至スピーカSP4のそれぞれから音声を出力させて、所望の位置に音像を定位させることができる。
なお、以下、第m組(但し、1≦m≦4)について得られた、スピーカSPk(但し、1≦k≦4)のゲインをgk(m)と表すこととする。また、スピーカSPk(但し、1≦k≦4)のゲイン和をgskと表すこととする。
さらに、矢印Q12に示す位置、つまり球面上において、スピーカSP2およびスピーカSP3を結ぶ線と、スピーカSP1およびスピーカSP4を結ぶ線との交点位置に目標音像位置がある場合、3つのスピーカの組み合わせは4通りとなる。
すなわち、スピーカSP1、スピーカSP2、およびスピーカSP3の組み合わせ(以下、第1組と称する)と、スピーカSP1、スピーカSP2、およびスピーカSP4の組み合わせ(以下、第2組と称する)とが考えられる。また、その他に、スピーカSP1、スピーカSP3、およびスピーカSP4の組み合わせ(以下、第3組と称する)と、スピーカSP2、スピーカSP3、およびスピーカSP4の組み合わせ(以下、第4組と称する)とが考えられる。
この場合には、第1組から第4組までの各組み合わせについて、それぞれ3次元VBAPを行なって、各スピーカのゲインを求めればよい。そして、同じスピーカについて求まった4つのゲインの和をゲイン和とし、スピーカごとに求めた4つのゲイン和の二乗和で、各スピーカのゲイン和を正規化して得られる値を、それらのスピーカの最終的なゲインとすればよい。
なお、目標音像位置が矢印Q12に示す位置にある場合、スピーカSP1乃至スピーカSP4からなる球面上の四角形が長方形等である場合には、例えば第1組と第4組とで、3次元VBAPとして同じ計算結果が得られる。そのため、このような場合には、第1組と第2組など、適切な2通りの組み合わせについて3次元VBAPを行なえば、各スピーカのゲインを得ることができる。しかし、スピーカSP1乃至スピーカSP4からなる球面上の四角形が長方形等ではない、非対称な四角形である場合には、4つの各組み合わせについて3次元VBAPを行なう必要がある。
〈ゲイン算出部の構成例〉
以上において説明したように、仮想スピーカを定めずに、処理対象の4つのスピーカ12から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なってゲインを算出する場合、図9に示したゲイン算出部22は、例えば図13に示すように構成される。
以上において説明したように、仮想スピーカを定めずに、処理対象の4つのスピーカ12から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なってゲインを算出する場合、図9に示したゲイン算出部22は、例えば図13に示すように構成される。
図13に示すゲイン算出部22は、選択部91、3次元ゲイン算出部92-1、3次元ゲイン算出部92-2、3次元ゲイン算出部92-3、3次元ゲイン算出部92-4、および加算部93から構成される。
選択部91は、スピーカ選択部21から供給された目標音像位置を示す情報および選択情報に基づいて、処理対象とされた4つのスピーカ12のなかから、目標音像位置を囲む3つのスピーカ12の組み合わせを決定する。選択部91は、スピーカ12の組み合わせを示す情報と、目標音像位置を示す情報とを3次元ゲイン算出部92-1乃至3次元ゲイン算出部92-4に供給する。
3次元ゲイン算出部92-1乃至3次元ゲイン算出部92-4は、選択部91から供給されたスピーカ12の組み合わせを示す情報と、目標音像位置を示す情報とに基づいて3次元VBAPを行い、その結果得られた各スピーカ12のゲインを加算部93に供給する。なお、以下、3次元ゲイン算出部92-1乃至3次元ゲイン算出部92-4を特に区別する必要のない場合、単に3次元ゲイン算出部92とも称する。
加算部93は、3次元ゲイン算出部92-1乃至3次元ゲイン算出部92-4から供給された処理対象の各スピーカ12のゲインに基づいてゲイン和を求め、さらにそれらのゲイン和を正規化することで処理対象の各スピーカ12の最終的なゲインを算出し、ゲイン出力部24に供給する。
〈音像定位制御処理の説明〉
次に、図14のフローチャートを参照して、ゲイン算出部22が図13に示す構成とされる場合に行なわれる音像定位制御処理について説明する。
次に、図14のフローチャートを参照して、ゲイン算出部22が図13に示す構成とされる場合に行なわれる音像定位制御処理について説明する。
なお、ステップS41の処理は、図11のステップS11の処理と同様であるので、その説明は省略する。
ステップS42において、選択部91は、スピーカ選択部21から供給された目標音像位置を示す情報および選択情報に基づいてスピーカ12の組み合わせを決定し、スピーカ12の組み合わせを示す情報と目標音像位置を示す情報を3次元ゲイン算出部92に供給する。
例えば目標音像位置が、図12に示した矢印Q11に示す位置にある場合、スピーカSP1、スピーカSP2、およびスピーカSP4に対応する3つのスピーカ12からなるスピーカ12の組み合わせ(第1組)が決定される。また、スピーカSP2、スピーカSP3、およびスピーカSP4に対応する3つのスピーカ12からなるスピーカ12の組み合わせ(第2組)が決定される。
この場合、例えば選択部91は、第1組のスピーカ12の組み合わせを示す情報と、目標音像位置を示す情報とを3次元ゲイン算出部92-1に供給し、第2組のスピーカ12の組み合わせを示す情報と、目標音像位置を示す情報とを3次元ゲイン算出部92-2に供給する。また、この場合には、3次元ゲイン算出部92-3と3次元ゲイン算出部92-4には、スピーカ12の組み合わせを示す情報等は供給されず、3次元ゲイン算出部92-3と3次元ゲイン算出部92-4では、3次元VBAPの計算も行なわれない。
ステップS43において、3次元ゲイン算出部92は、選択部91から供給されたスピーカ12の組み合わせを示す情報と、目標音像位置を示す情報とに基づいて、スピーカ12の組み合わせについて処理対象の各スピーカ12のゲインを算出し、加算部93に供給する。
具体的には、3次元ゲイン算出部92は、スピーカ12の組み合わせを示す情報により示される3つのスピーカ12について、上述した図11のステップS13と同様の処理を行なって、各スピーカ12のゲインを求める。すなわち、上述した式(2)を解く演算と同様の演算が行なわれる。また、処理対象の4つのスピーカ12のうち、スピーカ12の組み合わせを示す情報により示される3つのスピーカ12ではない、残りの1つのスピーカ12のゲインは「0」とされる。
例えば、ステップS42において第1組と第2組との2通りの組み合わせが求められた場合、3次元ゲイン算出部92-1では第1組について3次元VBAPにより各スピーカ12のゲインが算出される。また、3次元ゲイン算出部92-2では第2組について3次元VBAPにより各スピーカ12のゲインが算出される。
具体的には、第1組として図12に示したスピーカSP1、スピーカSP2、およびスピーカSP4に対応する3つのスピーカ12からなるスピーカ12の組み合わせが決定されたとする。この場合、3次元ゲイン算出部92-1では、スピーカSP1に対応するスピーカ12のゲインg1(1)、スピーカSP2に対応するスピーカ12のゲインg2(1)、およびスピーカSP4に対応するスピーカ12のゲインg4(1)が算出される。また、スピーカSP3に対応するスピーカ12のゲインg3(1)は「0」とされる。
ステップS44において、加算部93は、3次元ゲイン算出部92から供給された各スピーカ12のゲインに基づいて、処理対象のスピーカ12の最終的なゲインを算出し、ゲイン出力部24に供給する。
例えば、加算部93は、3次元ゲイン算出部92から供給されたスピーカSP1に対応するスピーカ12のゲインg1(1)、ゲインg1(2)、ゲインg1(3)、およびゲインg1(4)の和を求めることで、そのスピーカ12のゲイン和gs1を算出する。同様にして、加算部93は、スピーカSP2に対応するスピーカ12のゲイン和gs2、スピーカSP3に対応するスピーカ12のゲイン和gs3、およびスピーカSP4に対応するスピーカ12のゲイン和gs4も算出する。
そして、加算部93は、スピーカSP1に対応するスピーカ12のゲイン和gs1を、ゲイン和gs1乃至ゲイン和gs4の二乗和で正規化することにより、スピーカSP1に対応するスピーカ12の最終的なゲインg1(係数g1)を求める。また加算部93は、同様の計算によりスピーカSP2乃至スピーカSP4に対応するスピーカ12の最終的なゲインg2乃至ゲインg4も求める。
こうのようにして処理対象のスピーカ12のゲインが求められると、その後、ステップS45およびステップS46の処理が行なわれて、音像定位制御処理は終了するが、これらの処理は図11のステップS16およびステップS17の処理と同様であるので、その説明は省略する。
以上のようにして、音声処理装置11は、オブジェクトの位置情報から処理対象とする4つのスピーカ12を選択し、それらのスピーカ12のうちの3つのスピーカ12からなるスピーカ12の組み合わせについてVBAPを行なう。そして、音声処理装置11は、複数の異なる組み合わせについてVBAPを行なうことで得られた同じスピーカ12のゲインの和を求めることで、処理対象の各スピーカ12の最終的なゲインを求め、音声信号のゲイン調整を行なう。
これにより、目標とする音像位置の周囲に位置する4つのスピーカ12から音声が出力されるようになり、音像の定位をより安定させることができるようになる。その結果、スイートスポットの範囲をより拡大させることができる。
なお、この実施の形態では、目標音像位置を囲む4つのスピーカ12が処理対象のスピーカ12とされる例について説明したが、処理対象とされるスピーカ12の数は4以上であればよい。
例えば、5つのスピーカ12が処理対象のスピーカ12として選択される場合には、それらの5つのスピーカ12のうち、目標音像位置を囲む任意の3つのスピーカ12からなるスピーカ12の組が、1つの組み合わせとして選択される。
具体的には、図15に示すように5つのスピーカSP1乃至スピーカSP5に対応するスピーカ12が処理対象のスピーカ12として選択され、目標音像位置が矢印Q21に示す位置とされたとする。
この場合、第1組として、スピーカSP1、スピーカSP2、およびスピーカSP3からなる組み合わせが選択され、第2組として、スピーカSP1、スピーカSP2、およびスピーカSP4からなる組み合わせが選択される。また、第3組として、スピーカSP1、スピーカSP2、およびスピーカSP5からなる組み合わせが選択される。
そして、これらの第1組乃至第3組について、各スピーカのゲインが求められ、各スピーカのゲイン和から、最終的なゲインが算出される。つまり、第1組乃至第3組について、図14のステップS43の処理が行なわれ、その後、ステップS44乃至ステップS46の処理が行なわれる。
このように、5以上のスピーカ12を処理対象のスピーカ12として選択する場合においても、処理対象とする全てのスピーカ12から音声を出力させて音像を定位させることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU801,ROM802,RAM803は、バス804により相互に接続されている。
バス804には、さらに、入出力インターフェース805が接続されている。入出力インターフェース805には、入力部806、出力部807、記録部808、通信部809、及びドライブ810が接続されている。
入力部806は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部807は、ディスプレイ、スピーカなどよりなる。記録部808は、ハードディスクや不揮発性のメモリなどよりなる。通信部809は、ネットワークインターフェースなどよりなる。ドライブ810は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア811を駆動する。
以上のように構成されるコンピュータでは、CPU801が、例えば、記録部808に記録されているプログラムを、入出力インターフェース805及びバス804を介して、RAM803にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア811に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア811をドライブ810に装着することにより、入出力インターフェース805を介して、記録部808にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部809で受信し、記録部808にインストールすることができる。その他、プログラムは、ROM802や記録部808に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
[1]
目標とする音像定位位置近傍に位置する4以上の音声出力部のうちの2または3の前記音声出力部の組み合わせについて、互いに異なる複数の前記組み合わせごとに、前記音声出力部の位置関係に基づいて前記音声出力部から出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記4以上の前記音声出力部から出力させる音声の出力ゲインを求めるゲイン算出部と、
前記出力ゲインに基づいて、前記音声出力部から出力させる音声のゲイン調整を行なうゲイン調整部と
を備える音声処理装置。
[2]
少なくとも4以上の前記出力ゲインの値が0でない値とされる
[1]に記載の音声処理装置。
[3]
前記ゲイン算出部は、
仮想的な音声出力部および2つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記仮想的な音声出力部および前記2つの前記音声出力部の前記出力ゲインを算出する第1のゲイン算出部と、
前記2つの前記音声出力部とは異なる他の2つの前記音声出力部と、前記仮想的な音声出力部との位置関係に基づいて、前記仮想的な音声出力部の位置に音像を定位させるための前記他の2つの前記音声出力部のゲインを算出する第2のゲイン算出部と、
前記他の2つの前記音声出力部のゲインと、前記仮想的な音声出力部の前記出力ゲインとに基づいて、前記他の2つの前記音声出力部の前記出力ゲインを算出する演算部と
を備える
[1]または[2]に記載の音声処理装置。
[4]
前記演算部は、前記他の2つの前記音声出力部のゲインに前記仮想的な音声出力部の前記出力ゲインを乗算することにより、前記他の2つの前記音声出力部の前記出力ゲインを算出する
[3]に記載の音声処理装置。
[5]
前記仮想的な音声出力部の位置は、前記4以上の前記音声出力部を頂点とする多角形の辺上に位置するように定められる
[3]または[4]に記載の音声処理装置。
[6]
前記ゲイン算出部は、
3つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記3つの前記音声出力部の前記出力ゲインを算出する仮ゲイン算出部と、
互いに異なる前記組み合わせについて前記出力ゲインを算出する複数の前記仮ゲイン算出部により算出された前記出力ゲインに基づいて、前記音声出力部の最終的な前記出力ゲインを算出する演算部と
を備える
[1]または[2]に記載の音声処理装置。
[7]
前記演算部は、同じ前記音声出力部について求められた前記出力ゲインの和を求めることで、前記音声出力部の最終的な前記出力ゲインを算出する
[6]に記載の音声処理装置。
目標とする音像定位位置近傍に位置する4以上の音声出力部のうちの2または3の前記音声出力部の組み合わせについて、互いに異なる複数の前記組み合わせごとに、前記音声出力部の位置関係に基づいて前記音声出力部から出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記4以上の前記音声出力部から出力させる音声の出力ゲインを求めるゲイン算出部と、
前記出力ゲインに基づいて、前記音声出力部から出力させる音声のゲイン調整を行なうゲイン調整部と
を備える音声処理装置。
[2]
少なくとも4以上の前記出力ゲインの値が0でない値とされる
[1]に記載の音声処理装置。
[3]
前記ゲイン算出部は、
仮想的な音声出力部および2つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記仮想的な音声出力部および前記2つの前記音声出力部の前記出力ゲインを算出する第1のゲイン算出部と、
前記2つの前記音声出力部とは異なる他の2つの前記音声出力部と、前記仮想的な音声出力部との位置関係に基づいて、前記仮想的な音声出力部の位置に音像を定位させるための前記他の2つの前記音声出力部のゲインを算出する第2のゲイン算出部と、
前記他の2つの前記音声出力部のゲインと、前記仮想的な音声出力部の前記出力ゲインとに基づいて、前記他の2つの前記音声出力部の前記出力ゲインを算出する演算部と
を備える
[1]または[2]に記載の音声処理装置。
[4]
前記演算部は、前記他の2つの前記音声出力部のゲインに前記仮想的な音声出力部の前記出力ゲインを乗算することにより、前記他の2つの前記音声出力部の前記出力ゲインを算出する
[3]に記載の音声処理装置。
[5]
前記仮想的な音声出力部の位置は、前記4以上の前記音声出力部を頂点とする多角形の辺上に位置するように定められる
[3]または[4]に記載の音声処理装置。
[6]
前記ゲイン算出部は、
3つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記3つの前記音声出力部の前記出力ゲインを算出する仮ゲイン算出部と、
互いに異なる前記組み合わせについて前記出力ゲインを算出する複数の前記仮ゲイン算出部により算出された前記出力ゲインに基づいて、前記音声出力部の最終的な前記出力ゲインを算出する演算部と
を備える
[1]または[2]に記載の音声処理装置。
[7]
前記演算部は、同じ前記音声出力部について求められた前記出力ゲインの和を求めることで、前記音声出力部の最終的な前記出力ゲインを算出する
[6]に記載の音声処理装置。
11 音声処理装置, 12-1乃至12-N,12 スピーカ, 21 スピーカ選択部, 22 ゲイン算出部, 25 ゲイン調整部, 61 仮想スピーカ位置決定部, 62 3次元ゲイン算出部, 63 2次元ゲイン算出部, 64 乗算部, 65 乗算部, 91 選択部, 92-1乃至92-4,92 3次元ゲイン算出部, 93 加算部
Claims (3)
- オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータを取得する取得部と、
音像定位位置近傍に位置する複数の音声出力部のゲイン係数を、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算する計算部と、
前記複数の音声出力部の前記ゲイン係数を出力する出力部と
を備える音響処理装置。 - 音響処理装置が、
オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータを取得し、
音像定位位置近傍に位置する複数の音声出力部のゲイン係数を、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算し、
前記複数の音声出力部の前記ゲイン係数を出力する
音響処理方法。 - オーディオオブジェクト信号と、前記オーディオオブジェクト信号のメタデータを取得し、
音像定位位置近傍に位置する複数の音声出力部のゲイン係数を、少なくとも前記複数の音声出力部のうちの2個または3個の組み合わせに関する前記複数の音声出力部と前記音像定位位置の位置関係に基づいて計算し、
前記複数の音声出力部の前記ゲイン係数を出力する
ステップを含む処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013094268 | 2013-04-26 | ||
JP2013094268 | 2013-04-26 | ||
JP2020031626A JP6908146B2 (ja) | 2013-04-26 | 2020-02-27 | 音声処理装置および方法、並びにプログラム |
JP2021109908A JP2021158699A (ja) | 2013-04-26 | 2021-07-01 | 音声処理装置および方法、並びにプログラム |
JP2022126036A JP7464085B2 (ja) | 2013-04-26 | 2022-08-08 | 音声処理装置および方法、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022126036A Division JP7464085B2 (ja) | 2013-04-26 | 2022-08-08 | 音声処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024075689A true JP2024075689A (ja) | 2024-06-04 |
Family
ID=51791655
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015513675A Active JP6515802B2 (ja) | 2013-04-26 | 2014-04-11 | 音声処理装置および方法、並びにプログラム |
JP2019026451A Active JP6669289B2 (ja) | 2013-04-26 | 2019-02-18 | 音声処理装置および方法、並びにプログラム |
JP2020031626A Active JP6908146B2 (ja) | 2013-04-26 | 2020-02-27 | 音声処理装置および方法、並びにプログラム |
JP2021109908A Pending JP2021158699A (ja) | 2013-04-26 | 2021-07-01 | 音声処理装置および方法、並びにプログラム |
JP2022126036A Active JP7464085B2 (ja) | 2013-04-26 | 2022-08-08 | 音声処理装置および方法、並びにプログラム |
JP2024044571A Pending JP2024075689A (ja) | 2013-04-26 | 2024-03-21 | 音響処理装置および方法、並びにプログラム |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015513675A Active JP6515802B2 (ja) | 2013-04-26 | 2014-04-11 | 音声処理装置および方法、並びにプログラム |
JP2019026451A Active JP6669289B2 (ja) | 2013-04-26 | 2019-02-18 | 音声処理装置および方法、並びにプログラム |
JP2020031626A Active JP6908146B2 (ja) | 2013-04-26 | 2020-02-27 | 音声処理装置および方法、並びにプログラム |
JP2021109908A Pending JP2021158699A (ja) | 2013-04-26 | 2021-07-01 | 音声処理装置および方法、並びにプログラム |
JP2022126036A Active JP7464085B2 (ja) | 2013-04-26 | 2022-08-08 | 音声処理装置および方法、並びにプログラム |
Country Status (9)
Country | Link |
---|---|
US (3) | US9681249B2 (ja) |
EP (3) | EP4329338A3 (ja) |
JP (6) | JP6515802B2 (ja) |
KR (5) | KR102401350B1 (ja) |
CN (2) | CN108430031B (ja) |
BR (1) | BR112015026504B1 (ja) |
RU (2) | RU2769677C2 (ja) |
TW (1) | TWI692254B (ja) |
WO (1) | WO2014175075A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2769677C2 (ru) | 2013-04-26 | 2022-04-04 | Сони Корпорейшн | Способ и устройство обработки звука |
CN108064014B (zh) | 2013-04-26 | 2020-11-06 | 索尼公司 | 声音处理装置 |
CN105379311B (zh) | 2013-07-24 | 2018-01-16 | 索尼公司 | 信息处理设备以及信息处理方法 |
US10567903B2 (en) * | 2015-06-24 | 2020-02-18 | Sony Corporation | Audio processing apparatus and method, and program |
JP6550473B2 (ja) * | 2015-12-21 | 2019-07-24 | シャープ株式会社 | スピーカの配置位置提示装置 |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
KR101993585B1 (ko) * | 2017-09-06 | 2019-06-28 | 주식회사 에스큐그리고 | 실시간 음원 분리 장치 및 음향기기 |
US10609485B2 (en) | 2017-09-29 | 2020-03-31 | Apple Inc. | System and method for performing panning for an arbitrary loudspeaker setup |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9307934D0 (en) * | 1993-04-16 | 1993-06-02 | Solid State Logic Ltd | Mixing audio signals |
US7231054B1 (en) * | 1999-09-24 | 2007-06-12 | Creative Technology Ltd | Method and apparatus for three-dimensional audio display |
KR100663729B1 (ko) * | 2004-07-09 | 2007-01-02 | 한국전자통신연구원 | 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치 |
KR100608002B1 (ko) * | 2004-08-26 | 2006-08-02 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
WO2007028094A1 (en) * | 2005-09-02 | 2007-03-08 | Harman International Industries, Incorporated | Self-calibrating loudspeaker |
JP5010185B2 (ja) | 2006-06-08 | 2012-08-29 | 日本放送協会 | 3次元音響パンニング装置 |
JP4928177B2 (ja) * | 2006-07-05 | 2012-05-09 | 日本放送協会 | 音像形成装置 |
ATE493731T1 (de) * | 2007-06-08 | 2011-01-15 | Dolby Lab Licensing Corp | Hybridableitung von surround-sound-audiokanälen durch steuerbares kombinieren von umgebungs- und matrixdekodierten signalkomponenten |
JP4530007B2 (ja) | 2007-08-02 | 2010-08-25 | ヤマハ株式会社 | 音場制御装置 |
JP5050721B2 (ja) | 2007-08-06 | 2012-10-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN101889307B (zh) * | 2007-10-04 | 2013-01-23 | 创新科技有限公司 | 相位-幅度3d立体声编码器和解码器 |
JP4780119B2 (ja) | 2008-02-15 | 2011-09-28 | ソニー株式会社 | 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
JP2009206691A (ja) | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
JP5401864B2 (ja) * | 2008-08-01 | 2014-01-29 | ヤマハ株式会社 | 音響装置及びプログラム |
JP4735993B2 (ja) | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
KR101542233B1 (ko) * | 2008-11-04 | 2015-08-05 | 삼성전자 주식회사 | 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법 |
KR101038574B1 (ko) | 2009-01-16 | 2011-06-02 | 전자부품연구원 | 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체 |
JP5540581B2 (ja) | 2009-06-23 | 2014-07-02 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
EP2497279B1 (en) * | 2009-11-04 | 2018-11-21 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source |
KR101268779B1 (ko) * | 2009-12-09 | 2013-05-29 | 한국전자통신연구원 | 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법 |
US8718290B2 (en) | 2010-01-26 | 2014-05-06 | Audience, Inc. | Adaptive noise reduction using level cues |
JP5361766B2 (ja) * | 2010-02-26 | 2013-12-04 | 日本電信電話株式会社 | 音信号擬似定位システム、方法及びプログラム |
DE102010003225A1 (de) * | 2010-03-24 | 2011-09-29 | Sennheiser Electronic Gmbh & Co. Kg | In-Ear-Monitor-System und Verfahren zum Steuern eines In-Ear-Monitor-Systems |
US9100768B2 (en) | 2010-03-26 | 2015-08-04 | Thomson Licensing | Method and device for decoding an audio soundfield representation for audio playback |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP2012004668A (ja) | 2010-06-14 | 2012-01-05 | Sony Corp | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 |
KR20120004909A (ko) * | 2010-07-07 | 2012-01-13 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
EP2503800B1 (en) * | 2011-03-24 | 2018-09-19 | Harman Becker Automotive Systems GmbH | Spatially constant surround sound |
CA3083753C (en) | 2011-07-01 | 2021-02-02 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
JP5845760B2 (ja) | 2011-09-15 | 2016-01-20 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
CN102711032B (zh) | 2012-05-30 | 2015-06-03 | 蒋憧 | 一种声音处理再现装置 |
WO2013181272A2 (en) | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
CN102984642A (zh) * | 2012-12-18 | 2013-03-20 | 武汉大学 | 一种五个扬声器的三维平移方法 |
US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
RU2769677C2 (ru) | 2013-04-26 | 2022-04-04 | Сони Корпорейшн | Способ и устройство обработки звука |
CN108064014B (zh) | 2013-04-26 | 2020-11-06 | 索尼公司 | 声音处理装置 |
CN105379311B (zh) | 2013-07-24 | 2018-01-16 | 索尼公司 | 信息处理设备以及信息处理方法 |
-
2014
- 2014-04-11 RU RU2018131347A patent/RU2769677C2/ru active
- 2014-04-11 KR KR1020217034703A patent/KR102401350B1/ko active IP Right Grant
- 2014-04-11 CN CN201810155322.1A patent/CN108430031B/zh active Active
- 2014-04-11 KR KR1020157029464A patent/KR102160519B1/ko active IP Right Grant
- 2014-04-11 BR BR112015026504-9A patent/BR112015026504B1/pt active IP Right Grant
- 2014-04-11 KR KR1020207027211A patent/KR102319766B1/ko active IP Right Grant
- 2014-04-11 WO PCT/JP2014/060459 patent/WO2014175075A1/ja active Application Filing
- 2014-04-11 EP EP24151344.9A patent/EP4329338A3/en active Pending
- 2014-04-11 CN CN201480022318.8A patent/CN105144753B/zh active Active
- 2014-04-11 EP EP21164253.3A patent/EP3860155B1/en active Active
- 2014-04-11 KR KR1020227016887A patent/KR102606599B1/ko active IP Right Grant
- 2014-04-11 EP EP14789040.4A patent/EP2991384B1/en active Active
- 2014-04-11 JP JP2015513675A patent/JP6515802B2/ja active Active
- 2014-04-11 US US14/785,497 patent/US9681249B2/en active Active
- 2014-04-11 KR KR1020237040194A patent/KR20230163585A/ko not_active Application Discontinuation
- 2014-04-11 RU RU2015144910A patent/RU2667377C2/ru active
- 2014-04-16 TW TW103113861A patent/TWI692254B/zh active
-
2017
- 2017-05-10 US US15/591,471 patent/US10225677B2/en active Active
-
2019
- 2019-01-15 US US16/248,739 patent/US10587976B2/en active Active
- 2019-02-18 JP JP2019026451A patent/JP6669289B2/ja active Active
-
2020
- 2020-02-27 JP JP2020031626A patent/JP6908146B2/ja active Active
-
2021
- 2021-07-01 JP JP2021109908A patent/JP2021158699A/ja active Pending
-
2022
- 2022-08-08 JP JP2022126036A patent/JP7464085B2/ja active Active
-
2024
- 2024-03-21 JP JP2024044571A patent/JP2024075689A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464085B2 (ja) | 音声処理装置および方法、並びにプログラム | |
JP7060048B2 (ja) | 音声処理装置および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240411 |