JP2009010992A - Audio signal processing apparatus, audio signal processing method, and program - Google Patents
Audio signal processing apparatus, audio signal processing method, and program Download PDFInfo
- Publication number
- JP2009010992A JP2009010992A JP2008223775A JP2008223775A JP2009010992A JP 2009010992 A JP2009010992 A JP 2009010992A JP 2008223775 A JP2008223775 A JP 2008223775A JP 2008223775 A JP2008223775 A JP 2008223775A JP 2009010992 A JP2009010992 A JP 2009010992A
- Authority
- JP
- Japan
- Prior art keywords
- gain
- signal
- phase difference
- audio signal
- level ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、或る角度に定位している音源の音声信号について音声信号処理を施すための音声信号処理装置、音声信号処理方法、プログラムに関する。 The present invention relates to an audio signal processing apparatus, an audio signal processing method, and a program for performing audio signal processing on an audio signal of a sound source localized at a certain angle.
CD(Compact Disc)やDVD(Digital Versatile Disc)などに収録されるコンテンツや、TV(テレビジョン)放送番組などのコンテンツにおける音声信号には様々な種類の音源が含まれている。例えば、音楽を収録したコンテンツであれば、歌声や楽器の音などといった音源が含まれる。また、TV放送番組としてのコンテンツであれば、出演者の声や効果音、笑い声、拍手などといった音源が含まれる。 Various types of sound sources are included in audio signals in content recorded on CDs (Compact Discs) and DVDs (Digital Versatile Discs) and content such as TV (television) broadcast programs. For example, in the case of content containing music, sound sources such as singing voices and instrument sounds are included. In the case of content as a TV broadcast program, sound sources such as performers' voices, sound effects, laughter, and applause are included.
これらの音源は、収録時には別々
のマイク(マイクロフォン)により収録することもあるが、その場合においても音声信号自体は最終的には2ch(チャンネル)や5.1chなどの予め定められたch数に絞られることになる。このとき、ミキシング等が行われることで、それぞれの音源がそれぞれ対応する角度(方向)に定位するように調整されることになる。
These sound sources may be recorded by separate microphones (microphones) at the time of recording, but even in that case, the audio signal itself finally has a predetermined number of channels such as 2ch (channel) or 5.1ch. It will be squeezed. At this time, by performing mixing or the like, each sound source is adjusted to be localized at a corresponding angle (direction).
なお、関連する従来技術については以下の特許文献を挙げることができる。
上記のようにして得られたコンテンツが再生装置やTV受像機側などで再生(受信・復調)されることで、その再生音声としては、それぞれの音源の定位方向を再現したかたちで得られるようになる。
しかしながら、ユーザの嗜好などにより、制作側で意図した音源の定位感が受け入れられない場合もある。また、或る方向に定位している音源のみを抽出するなど、コンテンツの楽しみ方の幅を広げるような工夫も要請される。これに伴い、或る方向に定位している音源を抽出する、或いはその音像を大きくする/小さくする、又は消すなどといった調整を行うことが要請されている。
The content obtained as described above is played back (received / demodulated) on the playback device, TV receiver, etc., so that the playback sound can be obtained by reproducing the localization direction of each sound source. become.
However, the sound source localization intended by the production side may not be accepted depending on the user's preference. In addition, there is a demand for a device that expands the range of ways to enjoy content, such as extracting only sound sources localized in a certain direction. Along with this, it is required to make adjustments such as extracting a sound source that is localized in a certain direction, or increasing / decreasing or deleting the sound image.
そこで、本発明では以上のような問題点に鑑み、音声信号処理装置として以下のように構成することとした。
つまり、先ず、入力された複数チャンネルの音声信号をそれぞれ複数の周波数帯域に分割する分割手段を備える。
また、上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手段を備える。
また、上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手段を備える。
また、上記音声信号と同期した映像信号を入力する映像入力手段と、上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手段を備える。
また、上記映像信号処理手段により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手段を備える。
さらに、上記位相差算出手段と上記レベル比算出手段とにより算出された上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手段により取得された定位角度情報とに基づき、上記分割手段による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手段を備えるようにした。
In view of the above problems, the present invention is configured as follows as an audio signal processing apparatus.
That is, first, a dividing unit that divides the input audio signals of a plurality of channels into a plurality of frequency bands is provided.
In addition, a phase difference calculating unit that calculates a phase difference of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing unit.
Also provided is a level ratio calculating means for calculating a level ratio of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing means.
The video signal input means for inputting the video signal synchronized with the audio signal and the video signal processing means for performing the video signal processing so that a part of the video obtained based on the video signal is enlarged are provided.
The image processing apparatus further includes localization angle acquisition means for acquiring localization angle information corresponding to the position of a part of the image enlarged by the image signal processing means.
Furthermore,-out based the phase difference and level ratio for each of the plurality of frequency bands calculated by the above phase difference calculation means and the level ratio calculating means, on the localization angle information obtained by the localization angle acquisition means, by adjusting the gain of the divided signal by the division means, and to include a voice extracting means for extracting a speech signal of a frequency band that the localization angle information is localized at the localization angle to instruct a zoom position extraction signals.
ここで、上記のようにして複数系統の音声信号のそれぞれを複数の周波数帯域に分割すれば、音声信号に含まれる複数の音源を分割することができる。このことによると、帯域分割された複数系統の音声信号の位相差、レベル比は、それぞれの周波数帯域の音源の定位方向を示す情報となる。従って上記のようにしてこれら周波数帯域ごとに得られる複数系統の音声信号のそれぞれの位相差とレベル比の情報に基づき、分割出力について音声信号処理を施すことで、例えば或る方向に定位している音源のみを抽出したり、或いは消したり、さらには音量を調整するなど、定位角度ごとに音源の調整を行うことができる。 Here, if each of the plurality of audio signals is divided into a plurality of frequency bands as described above, a plurality of sound sources included in the audio signal can be divided. According to this, the phase difference and level ratio of the audio signals of a plurality of systems divided into bands are information indicating the localization direction of the sound source in each frequency band. Accordingly, by performing audio signal processing on the divided output based on the information on the phase difference and level ratio of each of a plurality of audio signals obtained for each frequency band as described above, for example, localization is performed in a certain direction. The sound source can be adjusted for each localization angle, such as extracting or erasing only the sound source that is present, and adjusting the volume.
このようにして本発明によれば、或る方向に定位している音源のみを抽出したり、或いは消したり、さらには音量を調整するなど、定位方向ごとに音源の調整を行うことができる。 In this way, according to the present invention, it is possible to adjust the sound source for each localization direction, such as extracting or deleting only the sound source localized in a certain direction, or adjusting the volume.
<第1の実施の形態>
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
図1は、実施の形態としての音声信号処理装置を含んで構成される再生装置1の内部構成を示したブロック図である。
この再生装置1としては、図示するメディア再生部2を備え、例えばCD(Compact Disc)やDVD(Digital Versatile Disc)、或いはブルーレイディスク(Blu-Ray Disc)などの光ディスク記録媒体や、MD(Mini Disc:光磁気ディスク)、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体についての再生が可能とされる。
<First Embodiment>
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described.
FIG. 1 is a block diagram showing an internal configuration of a
The
この場合、メディア再生部2が対応する記録媒体にはLch(チャンネル)とRchとによる2系統の音声信号によるコンテンツが記録されているものとする。メディア再生部2で再生されたこれらLch,Rchの音声信号は、実施の形態の音声信号処理装置としての音声信号処理部3に供給される。
In this case, it is assumed that content based on two audio signals of Lch (channel) and Rch is recorded on the recording medium to which the
音声信号処理部3は、メディア再生部2からのLch,Rch音声信号と、後述するシステムコントローラ5からの角度指示信号とに応じ、指示された角度(方向)に定位している音源の音声信号について所要の音声信号処理を施すように構成される。そして、このように音声信号処理を施したLch,Rchの音声信号(音声信号Lex,音声信号Rexとする)をD/Aコンバータ4に供給する。
なお、この音声信号処理部3の内部構成については後述する。
The audio
The internal configuration of the audio
音声信号処理部3からの音声信号Lex、Rexは、D/Aコンバータ4にてD/A変換が施されLch音声信号出力、Rch音声信号出力として出力される。
The audio signals Lex and Rex from the audio
システムコントローラ5は、ROM(Read Only Memory)、RAM(Randam Access Memory)、CPU(Central Processing Unit)を備えたマイクロコンピュータで構成され、再生装置1の全体制御を行う。
システムコントローラ5に対しては図示する操作部6とコマンド受信部7とが備えられる。操作部6には、当該再生装置1の筐体外部に表出するようにして設けられた各種の操作子が備えられ、それらの操作に応じたコマンド信号をシステムコントローラ5に供給する。また、コマンド受信部7は、図示するリモートコマンダ10から発せられた例えば赤外線信号等に依るコマンド信号を受信する。リモートコマンダ10上にも各種の操作子が設けられており、コマンド受信部7はこれらリモートコマンダ10上の操作子の操作に応じたコマンド信号をシステムコントローラ5に供給するようにされる。
システムコントローラ5は、操作部6及びコマンド受信部7からのコマンド信号に応じた各種の制御動作を実行するようにされる。これによって再生装置1ではユーザの操作入力に応じた動作が実行されるようになっている。
The
The
The
例えば、操作部6、リモートコマンダ10にはメディア再生部2に装填された記録媒体に記録されるコンテンツについての再生指示を行うための操作子が備えられ、その操作に応じたコマンド信号が入力されることに応じ、システムコントローラ5はメディア再生部2を制御してコンテンツの再生を開始させる。
For example, the operation unit 6 and the
また、この場合、リモートコマンダ10上には、次の図2に示されるような方向指示のための操作子が備えられている。つまり、この図2に示されるように右方向キー10a、左方向キー10b、上方向キー10c、下方向キー10dが備えられる。
ユーザは、上記右方向キー10a、又は左方向キー10bを操作することにより、再生装置1に対し定位角度を指示入力することができる。
In this case, the
The user can instruct and input a localization angle to the
図1に戻り、システムコントローラ5は、これら右方向キー10a、左方向キー10bの操作に応じたコマンド信号の入力に応じ、音声信号処理部3に供給すべき角度指示信号を生成する。すなわち、右方向キー10a、左方向キー10bの操作により指示入力される定位角度を表すための情報である。
Returning to FIG. 1, the
続いて、図3には音声信号処理部3の内部構成を示す。
先ず、音声信号処理部3には、Lchの音声信号を入力する分析フィルタバンク11Lと、Rchの音声信号を入力する分析フィルタバンク11Rとが備えられる。これら分析フィルタバンク11L、分析フィルタバンク11Rは、入力音声信号を所定複数の周波数帯域に分割するために備えられる。
周知のように、入力信号成分を複数の周波数帯域に分割する手法としては、DFT(Discrete Fourier Transform)フィルタバンク、ウェーブレットフィルタバンク、QMF(Quadrature Mirror Filter)フィルタバンクなどのフィルタバンクと呼ばれる手法がある。フィルタバンクは、分析フィルタバンクと合成フィルタバンクの1セットで構成される。このフィルタバンクの手法は、入力信号を各帯域ごとに目的に応じて処理する場合などに利用されているもので、例えば非可逆圧縮などで広く用いられている。
Next, FIG. 3 shows an internal configuration of the audio
First, the audio
As is well known, as a method of dividing an input signal component into a plurality of frequency bands, there are methods called filter banks such as a DFT (Discrete Fourier Transform) filter bank, a wavelet filter bank, and a QMF (Quadrature Mirror Filter) filter bank. . The filter bank is composed of one set of an analysis filter bank and a synthesis filter bank. This filter bank method is used when an input signal is processed according to the purpose for each band, and is widely used in, for example, irreversible compression.
上記分析フィルタバンク11Lは、入力されるLch音声信号をn個の等帯域幅による周波数帯域に分割し、n個のサブバンド信号(sub1-L、sub2-L・・・subn-L)を生成する。これらn個のサブバンド信号sub1-L〜subn-Lの個々は、図示するようにしてn個のゲイン器13(13-1〜13-n)のうち対応する添え字(1〜n)の付されるゲイン器13を介した後、それぞれ合成フィルタバンク14Lに供給されるようになっている。
合成フィルタバンク14Lでは、このようにして供給されるn個のサブバンド信号(sub1-L〜subn-L)を合成して元の音声信号形態に再構成する。
The
The
同様に、上記分析フィルタバンク11Rは、入力されるRch音声信号をn個の等帯域幅による周波数帯域に分割し、n個のサブバンド信号(sub1-R、sub2-R・・・subn-R)を生成する。この場合も、これらn個のサブバンド信号sub1-R〜subn-Rの個々は、上記したゲイン器13(13-1〜13-n)のうち対応する添え字(1〜n)の付されるゲイン器13を介した後、それぞれ合成フィルタバンク14Rに供給される。
合成フィルタバンク14Rでは、供給されるn個のサブバンド信号(sub1-R〜subn-R)を合成して元の音声信号形態に再構成する。
なお、ここでは各分析フィルタバンク11によって入力音声信号を等帯域幅により分割するものとしたが、非等帯域幅により分割することもできる。
Similarly, the
The
Here, the input audio signal is divided by the equal bandwidth by each analysis filter bank 11, but may be divided by the non-equal bandwidth.
そして、分析フィルタバンク11Lにより生成されたサブバンド信号sub1-L〜subn-Lの個々は、図示するようにn個のバンド別ゲイン算出回路12(12-1〜12-n)のうち対応する添え字の付されるバンド別ゲイン算出回路12に対してもそれぞれ分岐して供給される。
同様に、分析フィルタバンク11Rにより生成されたサブバンド信号sub1-R〜subn-Rの個々としても、バンド別ゲイン算出回路12-1〜12-nのうち対応する添え字の付されるバンド別ゲイン算出回路12に対してもそれぞれ分岐して供給される。
つまり、これによってバンド別ゲイン算出回路12-1〜12-nの個々には、それぞれ対応する帯域のLchのサブバンド信号(以下サブバンド信号sub-Lとも言う)とRchのサブバンド信号(以下サブバンド信号sub-Rとも言う)とが入力されるようになっている。
Each of the subband signals sub1-L to subn-L generated by the
Similarly, each of the subband signals sub1-R to subn-R generated by the
That is, by this, each of the gain calculation circuits 12-1 to 12-n for each band has an Lch subband signal (hereinafter also referred to as subband signal sub-L) and an Rch subband signal (hereinafter referred to as “subband signal”). Subband signal sub-R) is input.
バンド別ゲイン算出回路12-1〜12-nの個々には、図1に示したシステムコントローラ5からの角度指示信号がそれぞれ入力される。これらバンド別ゲイン算出回路12は、後述するようにしてそれぞれ入力されるLchのサブバンド信号sub-L、Rchのサブバンド信号sub-Rの位相差とレベル比と、上記角度指示信号とに基づき、この角度指示信号により指示される角度に定位している音源を抽出するために、対応する帯域のサブバンド信号sub-L、サブバンド信号sub-Rに設定されるべきゲインG-subを算出する。
つまり、バンド別ゲイン算出回路12-1では、サブバンド信号sub1-L、サブバンド信号sub1-Rに設定すべきゲインG-sub1を生成し、バンド別ゲイン算出回路12-2ではサブバンド信号sub2-L、サブバンド信号sub2-Rに設定すべきゲインG-sub2を生成するといったように、バンド別ゲイン算出回路12-1〜12-nによっては、それぞれの帯域のサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rに設定されるべきゲインGsub1〜G-subnが生成される。
なお、このようなバンド別ゲイン算出回路12の内部構成については後述する。
An angle instruction signal from the
That is, the gain calculation circuit 12-1 for each band generates a gain G-sub1 to be set for the subband signal sub1-L and sub1-R, and the subband signal sub2 for the band-specific gain calculation circuit 12-2. -L and a gain G-sub2 to be set for the subband signal sub2-R, depending on the band-specific gain calculation circuits 12-1 to 12-n, the subband signals sub1-L to Gains Gsub1 to G-subn to be set for subn-L and subband signals sub1-R to subn-R are generated.
The internal configuration of such a band-specific
バンド別ゲイン算出回路12-1〜12-nで算出されたゲインG-sub1〜G-subnの個々は、上記したゲイン器13-1〜13-nのうち対応する添え字の付されたゲイン器13にそれぞれ供給される。
ゲイン器13の個々は、供給されたゲインG-subに基づき、それぞれ分析フィルタバンク11Lからのサブバンド信号sub-L、分析フィルタバンク11Rからのサブバンド信号sub1-Rのゲインを調整し、サブバンド信号sub-Lについては合成フィルタバンク14Lへ、サブバンド信号sub-Rについては合成フィルタバンク14Rへそれぞれ供給する。
Each of the gains G-sub1 to G-subn calculated by the band-specific gain calculation circuits 12-1 to 12-n is a gain with a corresponding subscript in the above-described gain units 13-1 to 13-n. Each is supplied to a
Each
合成フィルタバンク14L、14Rでは、上述もしたようにゲイン器13-1〜13-nから供給されるサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rを合成して元の音声信号形態に再構成して出力する。
ここで、ゲイン器13-1〜13-nから供給される各帯域のサブバンド信号sub-L、サブバンド信号sub-Rは、それぞれ対応するバンド別ゲイン算出回路12で生成された、角度指示信号により指示される角度に定位している音源を抽出するためのゲインG-subに応じてゲインが調整されたもとなっている。
例えば、指示された角度に定位している音源が帯域1〜帯域2(サブバンド信号sub1-L〜sub2-L、サブバンド信号sub1-R〜sub2-R)で構成されるものであったとすれば、例えばこれらサブバンド信号sub1-L〜sub2-L、サブバンド信号sub1-R〜sub2-Rのみがゲイン=1とされ、それ以外の帯域がすべてゲイン=0に調整されるといったものである。
これにより、上記のようにして全ての帯域のサブバンド信号が合成されて再構成された音声信号としては、上記角度指示信号により指示された角度に定位している音源のみが抽出されたものとして再現できるものとなっている。
ここでは、このように合成フィルタバンク14L、14Rからそれぞれ出力される、角度指示信号により指示された角度に定位している音源を抽出したものとできる音声信号のことを、それぞれ音声信号Lex、音声信号Rexと呼ぶ。
The
Here, the subband signal sub-L and the subband signal sub-R of each band supplied from the gain devices 13-1 to 13-n are angle instructions generated by the corresponding band-specific
For example, if the sound source localized at the indicated angle is composed of
As a result, it is assumed that only the sound source localized at the angle indicated by the angle instruction signal is extracted as the audio signal reconstructed by combining the subband signals of all the bands as described above. It can be reproduced.
Here, the audio signals that can be extracted from the sound source localized at the angle indicated by the angle indication signal and output from the
図4は、バンド別ゲイン算出回路12の内部構成を示している。
先ず、図3に示した分析フィルタバンク11Lからのサブバンド信号sub-Lは、フーリエ変換器21Lに入力され、ここにおいて例えばFFT(高速フーリエ変換)などのフーリエ変換処理が施される。フーリエ変換処理により得られた複素サブバンド信号csub-Lは、位相差算出器22とレベル比算出器23とに供給される。
また、分析フィルタバンク11Rからのサブバンド信号sub-Rは、フーリエ変換器21Rに供給されフーリエ変換処理が施され、同様に複素サブバンド信号csub-Rとして位相差算出器22とレベル比算出器23とに供給される。
FIG. 4 shows the internal configuration of the band-specific
First, the subband signal sub-L from the
Further, the subband signal sub-R from the
位相差算出器22では、フーリエ変換器21Lからの複素サブバンド信号csub-Lとフーリエ変換器21Rからの複素サブバンド信号csub-Rとの位相差(時間差)を算出する。
ここで、時間ωにおける複素サブバンド信号csub-Lとcsub-RとをそれぞれL(ω)、R(ω)とした場合、時間ωにおける複素サブバンド信号csub-Lと複素サブバンド信号csub-Rとの位相差θlr(ω)は、次の[数1]により与えられる。
但し、下記[数1]において、−180≦θlr(ω)≦180とする。
また、Re(x)は複素数xの実部を、Im(x)はxの虚部を表す。
Here, when the complex subband signals csub-L and csub-R at time ω are L (ω) and R (ω), respectively, the complex subband signal csub-L and the complex subband signal csub− at time ω. The phase difference θ lr (ω) with respect to R is given by the following [ Equation 1].
However, in the following [Equation 1], −180 ≦ θ lr (ω) ≦ 180.
Re (x) represents the real part of the complex number x, and Im (x) represents the imaginary part of x.
また、レベル比算出器23では、フーリエ変換器21Lからの複素サブバンド信号csub-Lとフーリエ変換器21Rからの複素サブバンド信号csub-Rとのレベル比を算出する。
ここで、時間ωにおける複素サブバンド信号csub-Lとcsub-RとをそれぞれL(ω)、R(ω)とした場合、時間ωにおける複素サブバンド信号csub-Lと複素サブバンド信号csub-Rとのレベル比maglr(ω)は、次の[数2]により与えられる。
但し、下記[数2]において、−1≦maglr(ω)≦1とする。
レベル比算出器23は、上記[数2]に基づいてフーリエ変換器21Lからの複素サブバンド信号csub-Lとフーリエ変換器21Rからの複素サブバンド信号csub-Rとのレベル比maglr(ω)を算出する。そして、このように算出される位相差maglr(ω)を順次出力することで、ゲイン算出器24にレベル比信号maglrを供給するようにされる。
Further, the
Here, when the complex subband signals csub-L and csub-R at time ω are L (ω) and R (ω), respectively, the complex subband signal csub-L and the complex subband signal csub− at time ω. The level ratio mag lr (ω) with R is given by the following [ Equation 2].
However, in the following [ Equation 2], −1 ≦ mag lr (ω) ≦ 1.
The
ゲイン算出器24は、位相差算出器22からの位相差信号θlrと、レベル比算出器23からのレベル比信号maglrと、さらに図1に示したシステムコントローラ5からの角度指示信号とに基づき、この角度指示信号により指示される角度に定位している音源を抽出するために、対応する帯域のLchのサブバンド信号sub-LとRchのサブバンド信号sub-Rとに設定すべきゲインG-subを算出する。
The
ここで、音像の定位は人間の感覚的なものであり、厳密な定義はされておらず数式などで表す事は難しい。例えばLch,Rchのステレオ音声信号について、各々のchの信号が完全に等しい場合、各スピーカの真ん中あたりに音源があるように感じる。また、左側のchのみに信号が含まれている場合は左側のスピーカ付近に音源があるように感じる。
本明細書では、このように感覚的に音像の位置が知覚されることを定位と呼び、或る点を基準としたときの音像の定位位置への角度を定位角度と呼んでいる。
Here, the localization of the sound image is human sensation, is not defined strictly, and is difficult to express with mathematical formulas. For example, for stereo sound signals of Lch and Rch, when the signals of each channel are completely equal, it feels as if there is a sound source in the middle of each speaker. In addition, when a signal is included only in the left channel, it feels as if there is a sound source near the left speaker.
In this specification, the perception of the position of the sound image in this manner is called localization, and the angle to the localization position of the sound image with a certain point as a reference is called the localization angle.
音像を定位させる手法としては各種のものが知られているが、聴取者の各耳に到達する音声信号の位相差(時間差)とレベル比(音圧レベル比)によって特定位置(特定方向)に音源を感じさせるものがある。一例として、特開平2−298200号公報により開示される手法では、音源からの信号にフーリエ変換を行い、周波数軸上で各々のchの信号に周波数に依存したレベル比と位相差とを与えることで、或る方向に音像を定位させるようにしている。 Various methods for localizing a sound image are known, but at a specific position (specific direction) depending on the phase difference (time difference) and level ratio (sound pressure level ratio) of the audio signal reaching each ear of the listener. There is something that makes you feel the sound source. As an example, in the method disclosed in Japanese Patent Laid-Open No. 2-298200, a Fourier transform is performed on a signal from a sound source, and a frequency-dependent level ratio and phase difference are given to each ch signal on the frequency axis. Therefore, the sound image is localized in a certain direction.
このような手法の逆の発想として、本実施の形態では、各chの音声信号の位相差、レベル比を、音源が定位している角度を表す情報として扱うものとしている。このために本実施の形態では、これまでで説明してきたように各chの音声信号の位相差と各chの信号のレベル比とを解析することで、音源の定位角度を求めるようにしている。 In the present embodiment, as a converse idea of such a technique, the phase difference and level ratio of the audio signals of each channel are handled as information representing the angle at which the sound source is localized. For this reason, in this embodiment, as described above, the localization angle of the sound source is obtained by analyzing the phase difference of the audio signal of each channel and the level ratio of the signal of each channel. .
ここで、これまでに説明した音声信号処理部3の構成によれば、各周波数帯域ごとに、各chの音声信号の位相差θlr(ω)とレベル比maglr(ω)とが求まる。つまり、これによって各周波数帯域の音声信号ごとに、それらの定位角度を求めていることになる。
このようにして位相差θlr(ω)、レベル比maglr(ω)により各周波数帯域ごとの定位角度が求まれば、図4におけるゲイン算出器24としては、入力される角度指示信号と、これら周波数帯域ごとの定位角度との違いに基づき、上記角度指示信号により指示される定位角度の音源が抽出されるように、それぞれの周波数帯域の音声信号(sub1-L〜subn-L、sub1-R〜subn-R)に設定すべきゲインを算出すればよい。
Here, according to the configuration of the audio
If the localization angle for each frequency band is obtained from the phase difference θ lr (ω) and the level ratio mag lr (ω) in this way, the
具体的に、本実施の形態では、先ずは位相差θlr(ω)によって求めた定位角度に応じて算出される位相差側ゲインGθ(ω)と、レベル比maglr(ω)で求めた定位角度に応じて算出するレベル比側ゲインGmag(ω)とを別個に得るようにする。その上で、最終的に各サブバンド信号sub-L、sub-Rに与えるゲインG-subとしては、これら位相差側ゲインGθ(ω)と、レベル比側ゲインGmag(ω)とを乗算して求めるものとする。
つまり、時間ωにおけるゲインG-subをゲイン値G-sub(ω)とすると、
G-sub(ω)=Gθ(ω)×Gmag(ω)
により最終的なゲインG-subを求める。
Specifically, in this embodiment, first, the phase difference gain G θ (ω) calculated according to the localization angle obtained from the phase difference θ lr (ω) and the level ratio mag lr (ω) are obtained. The level ratio side gain G mag (ω) calculated according to the localization angle is obtained separately. On top of that, eventually each sub-band signal sub-L, as the gain G-sub to be supplied to the sub-R, these phase difference gain G θ (ω), and a level ratio gain G mag (ω) It shall be obtained by multiplication.
That is, if the gain G-sub at time ω is the gain value G-sub (ω),
G-sub (ω) = G θ (ω) × G mag (ω)
To obtain the final gain G-sub.
そして、ゲイン算出器24において、位相差側ゲインGθ(ω)は、角度指示信号により指示される定位角度をangleとしたとき、以下の[数3]により求めるものとする。
但し、下記[数3]において、gradientは0以上の任意の値、top_widthは0≦top_width≦180の任意の値であるとする。
また、角度指示信号により指示可能な定位角度angleは−180≦angle≦180であるとする。
また、位相差側ゲインGθ(ω)については、0≦Gθ(ω)≦1であり、算出されたGθ(ω)の値が0よりも小さいときはGθ(ω)=0とする。
However, in [Equation 3] below, gradient is an arbitrary value of 0 or more, and top_width is an arbitrary value of 0 ≦ top_width ≦ 180.
Further, it is assumed that the localization angle angle that can be designated by the angle designation signal is −180 ≦ angle ≦ 180.
Also, the phase difference gain G θ (ω), 0 ≦ G θ (ω) is ≦ 1, when the value of the calculated G θ (ω) is less than zero G θ (ω) = 0 And
また、ゲイン算出器24において、レベル比側ゲインGmag(ω)は、同じく角度指示信号により指示される定位角度をangleとしたとき、以下の[数4]により求めるものとする。
但し、この[数4]においてもgradientは0以上の任意の値、top_widthは0≦top_width≦180の任意の値であるとする。
また、角度指示信号により指示可能な定位角度angleは−180≦angle≦180であるとする。
また、レベル比側ゲインGmag(ω)については、0≦Gmag(ω)≦1であり、算出されたGmag(ω)の値が0よりも小さいときはGmag(ω)=0とする。
However, in this [Equation 4], gradient is an arbitrary value of 0 or more, and top_width is an arbitrary value of 0 ≦ top_width ≦ 180.
Further, it is assumed that the localization angle angle that can be designated by the angle designation signal is −180 ≦ angle ≦ 180.
Also, the level ratio gain G mag (ω), 0 ≦ G mag (ω) is ≦ 1, G mag is when the value of the calculated G mag (ω) is smaller than 0 (ω) = 0 And
上記[数3][数4]において、gradient、top_widthの値については種々の設定が可能であるが、以下にその一例を示す。
先ず第一例としては、全ての周波数帯域(サブバンド)について、gradient、top_widthの値を固定とする手法である。上記[数3]において、例えばtop_width=20、gradient=1に固定とし、角度指示信号により指示されたangleの値がangle=0、angle=−80であったときにそれぞれ得られる位相差側ゲインGθ(ω)の特性を次の図5に示す。
In the above [Equation 3] and [Equation 4], various values can be set for the values of gradient and top_width. An example is shown below.
First, as a first example, the gradient and top_width values are fixed for all frequency bands (subbands). In the above [Equation 3], for example, when top_width = 20 and gradient = 1 are fixed, and the values of angle specified by the angle instruction signal are angle = 0 and angle = −80, respectively, the phase difference side gain is obtained. The characteristic of G θ (ω) is shown in FIG.
図5は、横軸を位相差θlr(ω)、縦軸を位相差側ゲインGθ(ω)としたときの位相差側ゲインGθ(ω)の値をグラフ化して示している。つまり、この図では各定位角度ごとに対応した位相差ゲインGθ(ω)の値を示しているものである。
先ず、この第一例ではtop_widthの値が「20」に固定であることから、位相差側ゲインGθ(ω)の値が最大値となる(この場合はGθ(ω)=1)幅が40となる。具体的に、angle=0のときは位相差θlr(ω)が−20〜20までの範囲がtop_width(Gθ(ω)=1)となり、angle=−80のときは位相差θlr(ω)が−100〜−60までの範囲がtop_width(Gθ(ω)=1)となる。すなわち、先の[数3]([数4]も同様)において、ゲインが最大値となる範囲は「angle−top_width〜angle+top_width」の範囲となるので、ゲインが最大値となる範囲は「top_width×2」となる。
また、この場合はgradientの値が「1」で固定であるため、top_widthの範囲外、つまり(θlr(ω)>angle+top_width)または(θlr(ω)<angle−top_width)となる部分では、[数3]を解くと必ず位相差側ゲインGθ(ω)が負の値となり、先に述べた0≦Gθ(ω)≦1の条件を合わせると、このtop_widthの範囲外の位相差側ゲインGθ(ω)は全て「0」となる。
FIG. 5 is a graph showing the value of the phase difference side gain G θ (ω) when the horizontal axis is the phase difference θ lr (ω) and the vertical axis is the phase difference side gain G θ (ω). That is, in this Figure is present the value of the phase difference gain G theta corresponding to each localization angle (omega).
First, since the value of top_width is fixed to “20” in the first example, the value of the phase difference side gain G θ (ω) becomes the maximum value (in this case, G θ (ω) = 1). Becomes 40. Specifically, when angle = 0, the range of the phase difference θ lr (ω) from −20 to 20 is top_width (G θ (ω) = 1), and when angle = −80, the phase difference θ lr ( The range of ω) from −100 to −60 is top_width (G θ (ω) = 1). That is, in the above [Equation 3] (the same applies to [Equation 4]), the range in which the gain is the maximum value is a range of “angle-top_width to angle + top_width”, and thus the range in which the gain is the maximum value is “top_width × 2 ”.
In this case, since the gradient value is fixed at “1”, in the portion outside the range of top_width, that is, (θ lr (ω)> angle + top_width) or (θ lr (ω) <angle−top_width), When [Equation 3] is solved, the phase difference side gain G θ (ω) always becomes a negative value, and when the condition of 0 ≦ G θ (ω) ≦ 1 is combined, the phase difference outside the range of this top_width The side gains G θ (ω) are all “0”.
また、第二例は、全ての周波数帯域(サブバンド)についてgradientは固定とするが、指示されたangleの値に伴ってtop_widthの値を変化させる手法である。この場合、例えばtop_widthの値は、指示されるangleの値に応じ、
top_width=|angle/4|
により求めるものとする。例えば先の[数4]において、gradientの値をgradient=20で固定し、angleの値としてangle=0、angle=−80がそれぞれ指示された場合に得られるレベル比側ゲインGmag(ω)の特性を次の図6に示す。
The second example is a method in which the gradient is fixed for all frequency bands (subbands), but the value of top_width is changed according to the value of the designated angle. In this case, for example, the value of top_width depends on the indicated angle value,
top_width = | angle / 4 |
It shall be determined by For example, in the above [Equation 4], the gradient value is fixed at gradient = 20, and the level ratio side gain G mag (ω) obtained when angle = 0 and angle = −80 are respectively designated as the angle values. The characteristics are shown in FIG.
この図6においても、横軸をレベル比maglr(ω)、縦軸をレベル比側ゲインGmag(ω)としたときのレベル比側ゲインGmag(ω)の値をグラフ化して示している。
この場合、top_widthの値が指示されたangleの値に応じて「top_width=|angle/4|」に変化するので、angle=0のときは図示するようにtop_width=0となり、angle=−80のときはtop_width=20となる。
また、この場合は、gradientの値が先の第一例の場合の「1」ではなく「20」とされたので、top_widthの範囲外のレベル比側ゲインGmag(ω)は全て「0」にはならい。すなわち、この場合はtop_widthの範囲外となる(maglr(ω)・180>angle+top_width)または(maglr(ω)・180<angle−top_width)となる部分のうち、レベル比maglr(ω)の値の或る範囲までは、[数4]の計算結果として正の値が得られる。つまり、このことで、図示するようにtop_widthの範囲外であってもレベル比maglr(ω)の値が或る値となるまでは、angleの値から遠ざかるにつれレベル比側ゲインGmag(ω)の値は0に向けて徐々に減少するようになる。
Also in FIG. 6, the level ratio on the horizontal axis mag lr (ω), shown in a graph of the value of the vertical axis the level ratio gain G mag (ω) and the level ratio gain G mag when (omega) Yes.
In this case, since the value of top_width changes to “top_width = | angle / 4 |” according to the designated angle value, when angle = 0, top_width = 0 as shown in the figure, and angle = −80 In this case, top_width = 20.
In this case, since the gradient value is set to “20” instead of “1” in the first example, the level ratio side gains G mag (ω) outside the range of top_width are all “0”. It does n’t work. That is, in this case, the level ratio mag lr (ω) is out of the portion of (mag lr (ω) · 180> angle + top_width) or (mag lr (ω) · 180 <angle−top_width) that is outside the range of top_width. Up to a certain range of values, a positive value is obtained as the calculation result of [Equation 4]. That is, as shown in the figure, even if the level ratio mag lr (ω) is outside the range of top_width, the level ratio side gain G mag (ω ) Value gradually decreases toward zero.
これら図5,図6の説明から理解されるように、[数3][数4]においてgradientの値は、位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)について、top_widthの範囲外となる部分の傾きを調整するための値である。
上記手法によれば、top_widthの値とこのようなgradientの値の設定によって、ゲイン窓の形状を自由に調整することができる。
As can be understood from the description of FIGS. 5 and 6, the gradient values in [Equation 3] and [Equation 4] are the phase difference side gain G θ (ω) and the level ratio side gain G mag (ω). This value is used to adjust the slope of the portion outside the range of top_width.
According to the above method, the shape of the gain window can be freely adjusted by setting the top_width value and the gradient value.
また、上記説明において、第二例では、例えばtop_width=|angle/4|として、angleの値が0のときはtop_widthを0とし、angleの値が0から遠ざかるにつれtop_widthの幅を拡大するものとしたが、これは、先の[数1][数2]の計算によると、算出される位相差θlr(ω)、レベル比maglr(ω)の値が「0」寄り(つまり中央寄り)の値で得られてしまうことがある場合を想定してのものである。
つまり、このように位相差θlr(ω)、レベル比maglr(ω)の値が中央寄りの値で得られてしまう場合において、angleにより0から遠い角度が指示されたときにtop_widthが狭く抽出する定位角度範囲が狭めであった場合には、抽出すべき定位角度に定位している周波数帯域成分が適正に抽出されず、逆にそれ以外の周波数帯域成分が抽出されてしまうといった虞がある。
これに対し、上記第二例のように指示されたangleの値が0から遠ざかるにつれtop_widthの幅を拡大すれば、上記のように位相差θlr(ω)、レベル比maglr(ω)として「0」寄りの値が算出される場合にも抽出すべき周波数帯域を適正に抽出することができるようになる。
In the above description, in the second example, for example, top_width = | angle / 4 |, where top_width is 0 when the value of angle is 0, and the width of top_width is increased as the value of angle goes away from 0. However, this is because the values of the calculated phase difference θ lr (ω) and level ratio mag lr (ω) are closer to “0” (that is, closer to the center). ) Is assumed to be obtained with the value of).
That is, in this way the phase difference θ lr (ω), in the case where the value of the level ratio mag lr (ω) will be obtained by the value of inboard, narrow top_width when the far angle from 0 indicated by angle When the localization angle range to be extracted is narrow, the frequency band component localized at the localization angle to be extracted is not properly extracted, and conversely, other frequency band components may be extracted. is there.
On the other hand, if the width of top_width is increased as the angle value indicated as in the second example increases away from 0, the phase difference θ lr (ω) and the level ratio mag lr (ω) are obtained as described above. Even when a value close to “0” is calculated, the frequency band to be extracted can be appropriately extracted.
上記のような[数3]「数4」により、角度指示信号により指示されたangleに定位している音源を抽出するために、対応するサブバンド信号に設定されるべき位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)を得ることができる。
そして、上述もしたように、図4に示したゲイン算出器24では、これら[数3]「数4」に基づき得られた位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算することで、対応するサブバンド信号sub-L、sub-Rに対して最終的に設定されるべきゲイン値G-sub(ω)を算出するようにされる(G-sub(ω)=Gθ(ω)×Gmag(ω))。
その上でゲイン算出器24は、このゲイン値G-sub(ω)を図3に示したゲイン器13に供給すべきゲインG-subとして順次出力するようにされる。
The phase difference gain G θ to be set to the corresponding subband signal in order to extract the sound source localized in the angle indicated by the angle indication signal by the above [Equation 3] “Equation 4”. (ω) and the level ratio gain G mag (ω) can be obtained.
Then, as described above, in the
Then, the
図7は、これまでに説明してきた第1の実施の形態としての音源抽出動作の動作手順をフローチャートにより示している。
図7において、先ずステップS101では、Lch信号、Rch信号を複数バンドに分割する。すなわち、この動作は、図3に示した分析フィルタバンク11L、分析フィルタバンク11Rが、それぞれ入力されるLch音声信号、Rch音声信号をn個の周波数帯域に分割し、それぞれサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rを生成する動作に相当する。
FIG. 7 is a flowchart showing the operation procedure of the sound source extraction operation as the first embodiment described so far.
In FIG. 7, first, in step S101, the Lch signal and the Rch signal are divided into a plurality of bands. That is, in this operation, the
続くステップS102では、分割したLch信号、Rch信号をフーリエ変換する。すなわち、図4に示した、各バンド別ゲイン算出回路12内のフーリエ変換器21L、各フーリエ変換器21Rが、それぞれ入力されるサブバンド信号sub-L、sub-Rについてフーリエ変換処理を施す。
In the subsequent step S102, the divided Lch signal and Rch signal are Fourier transformed. That is, the
ステップS103では、バンド(周波数帯域)ごとにLch信号とRch信号の位相差θlr(ω)を算出する。つまり、各バンド別ゲイン算出回路12における位相差算出器22が、それぞれフーリエ変換器11Lからの複素サブバンド信号csub-Lとフーリエ変換器11Rからの複素サブバンド信号csub-Rとに基づき、位相差θlr(ω)を算出する。
In step S103, to calculate a band phase difference between the Lch signal and Rch signal for each (frequency band) θ lr (ω). That is, the
そして、ステップS104では、バンドごとに位相差θlr(ω)と[数3]、及び角度指示信号(angle)に基づき位相差側ゲインGθ(ω)を算出する。つまり、各バンド別ゲイン算出回路12におけるゲイン算出器24が、位相差算出器22から供給される位相差θlr(ω)と、システムコントローラ5から供給される角度指示信号の値(angleの値)と、先に示した[数3]とに基づき、位相差側ゲインGθ(ω)を算出するものである。
In step S104, the phase difference side gain G θ (ω) is calculated for each band based on the phase difference θ lr (ω), [ Equation 3], and the angle instruction signal (angle). That is, the
また、ステップS105では、バンドごとにLch信号とRch信号のレベル比maglr(ω)を算出する。つまり、各バンド別ゲイン算出回路12におけるレベル比算出器23が、それぞれフーリエ変換器11Lからの複素サブバンド信号csub-Lとフーリエ変換器11Rからの複素サブバンド信号csub-Rとに基づき、レベル比maglr(ω)を算出する。
In step S105, the level ratio mag lr (ω) between the Lch signal and the Rch signal is calculated for each band. That is, the
そして、ステップS106では、バンドごとにレベル比maglr(ω)と[数4]、及び角度指示信号(angle)に基づきレベル比側ゲインGmag(ω)を算出する。つまり、各バンド別ゲイン算出回路12におけるゲイン算出器24が、レベル比算出器23から供給されるレベル比maglr(ω)と、システムコントローラ5から供給される角度指示信号の値(angleの値)と、先に示した[数4]とに基づき、レベル比側ゲインGmag(ω)を算出するものである。
In step S106, the level ratio gain G mag (ω) is calculated for each band based on the level ratio mag lr (ω), [ Equation 4], and the angle instruction signal (angle). That is, the
なお、ここでは説明の便宜上、位相差θlr(ω)・位相差側ゲインGθ(ω)の算出と、レベル比maglr(ω)・レベル比側ゲインGmag(ω)の算出とが前後して行われるものとしたが、実際の構成においてこれらは同時並行的に行われるものとなる。 For convenience of explanation, the calculation of the phase difference θ lr (ω) and the phase difference side gain G θ (ω) and the calculation of the level ratio mag lr (ω) and the level ratio side gain G mag (ω) are performed. Although they are performed before and after, in an actual configuration, these are performed in parallel.
ステップS107では、バンドごとに位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算してゲイン値G-sub(ω)を算出する。これは、各バンド別ゲイン算出回路12におけるゲイン算出器24が、ステップS104にて生成した位相差側ゲインGθ(ω)と、ステップS106にて生成したレベル比側ゲインGmag(ω)とを乗算する動作に相当する。
このステップS107により、各バンド別ゲイン算出回路12におけるゲイン算出器24において、それぞれのバンドに設定すべき最終的なゲイン値G-sub(ω)が得られる。
In step S107, the gain value G-sub (ω) is calculated by multiplying the phase difference side gain G θ (ω) and the level ratio side gain G mag (ω) for each band. This is because the
By this step S107, the
続くステップS108では、バンドごとにLch信号、Rch信号にゲイン値G-sub(ω)を与える。つまり、図3に示した各ゲイン器13が、入力されるサブバンド信号sub-L、サブバンド信号sub-Rに対し、それぞれ対応するバンド別ゲイン算出回路12から供給されるゲイン値G-subを与える。
In the subsequent step S108, the gain value G-sub (ω) is given to the Lch signal and the Rch signal for each band. That is, each
そして、ステップS109では、各バンドのLch信号、各バンドのRch信号をそれぞれ合成して出力する。すなわち、図3に示した合成フィルタバンク14Lがゲイン器13-1〜13-nから供給される各バンドのLch信号を入力してこれらを合成して出力し、また合成フィルタバンク14Rがゲイン器13-1〜13-nから供給される各バンドのRch信号を入力してこれらを合成して出力する。
これによって合成フィルタバンク14L、合成フィルタバンク14Rからは、先にも説明したように角度指示信号により指示された角度(angle)に定位している音源のみが抽出されたものとして再現できる音声信号Lex、音声信号Rexが出力される。
In step S109, the Lch signal of each band and the Rch signal of each band are combined and output. That is, the
As a result, from the
このような音声信号Lex、音声信号Rexが出力されることで、聴取者に対し、指示された角度に定位している音源のみが抽出されたように知覚させることができる。換言すれば、これによって指示された角度に定位している音源のみを抽出することができる。 By outputting such audio signal Lex and audio signal Rex, it is possible to make the listener perceive that only the sound source localized at the instructed angle is extracted. In other words, it is possible to extract only the sound source localized at the angle instructed thereby.
なお、これまでの説明では、本実施の形態としての音源抽出動作の実現にあたり、音声信号処理部3を図7に示した各動作を行うハードウェアにより構成する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部3としては、図7に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部3に対してはROM等の記録媒体が備えられ、そこに上記プログラムが記録される。
In the above description, in the case of realizing the sound source extraction operation as the present embodiment, the case where the audio
また、第1の実施の形態では、[数3][数4]の計算にあたり、各chの音声信号についての位相差及びレベル比として、或る時点(時間(ω))での位相差θlr(ω)、レベル比maglr(ω)の値を用いるものとしたが、これら位相差θlr(ω)、レベル比maglr(ω)の積分結果を位相差、レベル比の値として用いることもできる。 In the first embodiment, when calculating [Equation 3] and [Equation 4], the phase difference θ at a certain time (time (ω)) is used as the phase difference and level ratio for the audio signal of each channel. The values of lr (ω) and level ratio mag lr (ω) are used, but the integration results of phase difference θ lr (ω) and level ratio mag lr (ω) are used as values of phase difference and level ratio. You can also
また、第1の実施の形態では、ゲイン値G-subの算出にあたり、先の[数3][数4]としての、位相差θlr(ω)とangleとを変数としてゲインGθ(ω)を求めるための関数、及びレベル比maglr(ω)とangleとを変数としてゲインGmag(ω)を求めるための関数を用いるものとしたが、これに代え、予め角度指示信号により指示可能な定位角度(angle)ごとに、先の図5、図6に示したようなゲイン特性(ゲインについての窓)をそのまま定義する窓関数を用いてゲイン値を求めるようにすることもできる。
つまり、例えば先の図5に示したangle=0のときを例に挙げれば、予めこのangle=0のときのゲイン窓の形状を定めておき、このゲイン窓の形状を定義する関数として、位相差θlr(ω)(定位角度)を変数としてゲインGθ(ω)を求めるための関数を予め生成して用意しておく。同様に、他のangleの値についてもそのangleのときに対応して設定されるべきゲイン窓の形状を定めておき、それらの窓形状を定義する関数を予め生成して用意しておく。
また、レベル比maglr(ω)についても、同様に指示可能なangleの値ごとにそのangleのときに対応して設定されるべきゲイン窓の形状を定めておき、それらの窓形状を定義する関数として、レベル比maglr(ω)を変数とした関数を予め生成して用意しておく。
そして、実際に角度指示信号によりangleの値が指示されたときは、この指示されたangleの値に応じて位相差側、レベル比側の窓関数をそれぞれ1つ選択し、その窓関数に対し、算出した位相差θlr(ω)、レベル比maglr(ω)の値を代入して、それぞれ位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)を算出するといったものである。
Further, in the first embodiment, when calculating the gain value G-sub, the gain G θ (ω is obtained by using the phase difference θ lr (ω) and angle as variables in the above [Equation 3] and [ Equation 4] as variables. ) And a function for obtaining the gain G mag (ω) using the level ratio mag lr (ω) and angle as variables, but instead of this, an angle indication signal can be used in advance. It is also possible to obtain the gain value by using a window function that directly defines the gain characteristic (the window for gain) as shown in FIGS. 5 and 6 for each localization angle (angle).
In other words, for example, when angle = 0 shown in FIG. 5 is taken as an example, the shape of the gain window when angle = 0 is determined in advance, and the function is defined as a function that defines the shape of the gain window. A function for obtaining the gain G θ (ω) using the phase difference θ lr (ω) (localization angle) as a variable is generated and prepared in advance. Similarly, with respect to the values of other angles, the shape of the gain window to be set corresponding to the angle is determined, and functions for defining these window shapes are generated and prepared in advance.
Similarly, for the level ratio mag lr (ω), the shape of the gain window to be set for each angle value that can be designated in the same manner is determined, and the window shape is defined. As a function, a function having the level ratio mag lr (ω) as a variable is generated and prepared in advance.
When the angle value is actually instructed by the angle instruction signal, one of the phase difference side and level ratio side window functions is selected in accordance with the indicated angle value, and the window function is selected. Substituting the calculated values of phase difference θ lr (ω) and level ratio mag lr (ω) to calculate phase difference side gain G θ (ω) and level ratio side gain G mag (ω), respectively. It is.
但し、本実施の形態の[数3][数4]のように、angleも変数とした関数を用いてゲインを算出するものとすれば、上記のように位相差θlr(ω)、レベル比maglr(ω)のみを変数とする窓関数を用いる場合とは異なり、保持しておくべき関数としてはこれら[数3][数4]によるそれぞれ1種のみとすることができる。
すなわち、上記説明から理解されるように、窓関数を用いる手法では、各angle対応に個別の関数をそれぞれ用意しておく必要があり、この点でゲイン算出のための関数を保持しておくために必要なメモリ容量が増大化する傾向となる。これに対し、上記のように[数3][数4]のみを保持しておくだけで済めば、その分必要なメモリ容量を削減することができる。
However, if the gain is calculated using a function in which angle is also a variable as in [Equation 3] and [Equation 4] of the present embodiment, the phase difference θ lr (ω) and the level as described above are used. Unlike the case of using a window function using only the ratio mag lr (ω) as a variable, only one type of each of these [Equation 3] and [Equation 4] can be retained.
That is, as understood from the above description, in the method using the window function, it is necessary to prepare individual functions for each angle, and in this respect, a function for gain calculation is retained. Therefore, the memory capacity necessary for the increase tends to increase. On the other hand, if only [Equation 3] and [Equation 4] are held as described above, the necessary memory capacity can be reduced accordingly.
また、ここでは、指示された角度に定位している音源のみが抽出されて出力されるべく、指示された角度に定位している音源の音量を調整するものとしたが、これに代え、指示された角度に定位している音源に対し、例えばリバーブ処理などの他の音声信号処理を施すようにすることもできる。
具体的に、リバーブ処理であれば、ゲイン器13がリバーブ処理を実行するリバーブ処理器となり、位相差とレベル比とに基づき算出されたリバーブ係数(リバーブのレベルを変化させるためのパラメータ)に基づき各サブバンド信号にリバーブ処理を施すように構成すればよい。
Here, the volume of the sound source localized at the designated angle is adjusted so that only the sound source localized at the designated angle is extracted and output. For example, other sound signal processing such as reverberation processing may be performed on the sound source localized at the set angle.
Specifically, in the case of reverb processing, the
また、ここでは、指示された角度に定位している音源のみが抽出されて出力されるべく、指示された角度のゲイン窓を凸状とするものとしたが、逆に指示された角度に定位している音源を消すとした場合は、指示された定位角度の部分が凹状となるようなゲイン窓を設定する等すればよい。
Here, in order to extract and output only the sound source localized at the designated angle, the gain window at the designated angle is convex, but conversely, the localization is performed at the designated angle. If the sound source is turned off, a gain window may be set so that the specified localization angle is concave.
<第2の実施の形態>
続いては第2の実施の形態について説明する。
第2の実施の形態は、第1の実施の形態の応用として、音声信号と同期した映像信号を再生する場合において、映像のズームに応じて音源の抽出を行うようにしたものである。
図8は、このような第2の実施の形態としての再生装置30の内部構成を示している。
なお、この図8において、既に先の図1において説明した部分については同一の符号を付して説明を省略する。
<Second Embodiment>
Subsequently, a second embodiment will be described.
In the second embodiment, as an application of the first embodiment, when a video signal synchronized with an audio signal is reproduced, a sound source is extracted according to the zoom of the video.
FIG. 8 shows the internal configuration of the reproducing apparatus 30 as the second embodiment.
In FIG. 8, parts already described in FIG. 1 are given the same reference numerals and description thereof is omitted.
先ずこの場合、再生装置30が再生対象とする記録媒体には、音声信号と共に、これと同期した映像信号が記録される。メディア再生部32としては、装填された記録媒体に記録される音声信号と映像信号とについての再生を行うように構成される。
再生された音声信号としてのLch信号、Rch信号は、音声信号処理部33に供給される。また、これらLch信号、Rch信号と同期して再生される映像信号Vは、映像信号処理部34に供給される。
First, in this case, a video signal synchronized with the audio signal is recorded on the recording medium to be reproduced by the reproducing apparatus 30. The
The Lch signal and Rch signal as reproduced audio signals are supplied to the audio
ここで、第2の実施の形態において、映像信号についてのズーム操作は、リモートコマンダ10に備えられる上下左右の方向キー(図2の10a〜10d)により行うことができる。
ズーム操作としては、右方向キー10a/左方向キー10bにより画面の左右方向を指示することができ、また上方向キー10c/下方向キー10dによりズームイン/ズームアウト指示を行うことができる。
Here, in the second embodiment, the zoom operation for the video signal can be performed by the up / down / left / right direction keys (10a to 10d in FIG. 2) provided in the
As a zoom operation, the right / left direction of the screen can be instructed by the right direction key 10a / left direction key 10b, and the zoom in / zoom out instruction can be instructed by the up direction key 10c / down direction key 10d.
この場合のシステムコントローラ5としても、コマンド受信部7を介してリモートコマンダ10からの右方向キー10a/左方向キー10bに対応するコマンド信号が入力されることに応じ、角度指示信号を出力するようにされる。出力される角度指示信号は、音声信号処理部33に供給されると共に、この場合は分岐して映像信号処理部34に対しても供給される。
また、上方向キー10c/下方向キー10dに対応するコマンド信号の入力に応じては、システムコントローラ5は図示するようにズーム倍率指示信号を出力するようにされる。このズーム倍率指示信号としても、音声信号処理部33と映像信号処理部34とに供給される。
The
Further, in response to an input of a command signal corresponding to the up key 10c / down key 10d, the
音声信号処理部33は、第1の実施の形態の音声信号処理部3が備えていた機能、つまり角度指示信号により指示される角度に定位している音源を抽出する機能に加え、この場合はズーム倍率指示信号に応じて、指示された角度に定位している音源のゲイン(または指示された角度以外に定位している音源のゲイン)を調整するようにされる。つまり、これにより、角度指示信号により指示された角度(すなわちこの場合はズーム位置)に定位している音源の音量を、映像のズーム倍率に応じて調整するようにされているものである。
なお、音声信号処理部33の内部構成については後述する。
In addition to the function provided by the audio
The internal configuration of the audio
また、映像信号処理部34は、入力される映像信号Vについて各種の映像信号処理を行う。例えば、輪郭補正処理やガンマ補正処理などの画質補正処理などを行う。
また、特にこの場合は、上記した角度指示信号とズーム倍率指示信号とに応じた映像のズーム処理を行う。具体的には、角度指示信号で指示される画面の左右位置と、ズーム倍率指示信号により指示されるズーム倍率とに応じて、映像信号Vに基づき映し出される映像の一部がズームイン/ズームアウトするように処理を行う。
この映像信号処理部34により映像信号処理が施された映像信号Vは、図示するようにD/Aコンバータ35を介して出力される。
The video
Particularly in this case, the zoom processing of the video is performed according to the angle instruction signal and the zoom magnification instruction signal. Specifically, a part of the video displayed based on the video signal V is zoomed in / zoomed out according to the left / right position of the screen indicated by the angle instruction signal and the zoom magnification indicated by the zoom magnification instruction signal. Process as follows.
The video signal V subjected to the video signal processing by the video
図9は、音声信号処理部33の内部構成を示している。
なお、この図9においても既に第1の実施の形態(図3)において説明した部分については同一符号を付して説明を省略する。
この場合の音声信号処理部33において、Lch信号は、図示するように分析フィルタバンク11Lに入力される共に、分岐してゲイン調整回路39Lに対しても供給される。また、分析フィルタバンク11Rに供給されるRch信号は、分岐してゲイン調整回路39Rに対しても供給される。
FIG. 9 shows the internal configuration of the audio
In FIG. 9 as well, parts already described in the first embodiment (FIG. 3) are denoted by the same reference numerals and description thereof is omitted.
In the audio
ゲイン調整回路39Lには、上記Lch信号と共に、合成フィルタバンク14Lからの音声信号Lexが入力される。そして、図8に示したシステムコントローラ5からのズーム倍率指示信号も入力される。
このゲイン調整回路39Lでは、ズーム倍率指示信号により指示されるズーム倍率に応じ、音声信号LexまたはLch信号のゲインを調整するようにされる。つまり、ズーム倍率の上昇(つまりズームイン)に応じては、音声信号Lexのゲインを上げる(またはLch信号のゲインを下げる)ようにしてゲイン調整を行う。また、ズーム倍率の低下(つまりズームアウト)に応じては、音声信号Lexのゲインを下げる(またはLch信号のゲインを上げる)ようにしてゲイン調整を行う。
そしてゲイン調整回路39Lは、ゲイン調整したこれら音声信号LexとLch信号とを合成(加算)して出力する。
The audio signal Lex from the
The
The
また、ゲイン調整回路39Rには、上記Rch信号と共に、合成フィルタバンク14Rからの音声信号Rexが入力され、またシステムコントローラ5からのズーム倍率指示信号も入力される。
このゲイン調整回路39Rとしても、ズーム倍率指示信号により指示されるズーム倍率に応じ、音声信号RexまたはRch信号のゲインを調整するようにされる。つまり、ズーム倍率の上昇(つまりズームイン)に応じては音声信号Rexのゲインを上げる(またはRch信号のゲインを下げる)ようにしてゲイン調整を行う。また、ズーム倍率の低下(つまりズームアウト)に応じては、音声信号Rexのゲインを下げる(またはRch信号のゲインを上げる)ようにしてゲイン調整を行う。
そしてゲイン調整回路39Rとしても、ゲイン調整したこれら音声信号RexとRch信号とを合成して出力するようにされる。
In addition, the Rch signal and the audio signal Rex from the
The
The
これらゲイン調整回路39L、39Rの出力は、図8に示したD/Aコンバータ4を介して音声信号出力として外部出力される。
The outputs of these
このような音声信号処理部33の構成において、音声信号Lex、音声信号Rexとしては、角度指示信号により指示される角度に定位している音源を抽出したものとなっている。つまり、角度指示信号により指示された映像の左右位置に定位している音源を抽出したものとなっている。そして上記構成によれば、このように抽出された音源の音量が、指示されたズーム倍率に応じて調整される。つまり、これによって映像のズーム位置に定位しているとして抽出した音源の音量を、映像のズーム倍率に応じて調整することができる。
In such a configuration of the audio
ここで、従来においても、映像信号の再生装置などにおいてズーム操作に応じ映像の一部をズームイン/ズームアウトするようにされたものがある。これにより、例えば映像の中央にズームインするなど、見たい部分を拡大することができるというものである。
しかし、このような映像のズーム機能を備える従来の装置においては、ズームインした場合にも音声信号としては通常通り出力される。これによると、場合によってはズームインによって画面中に映し出されなくなった部分からの音も含まれるなど、映像と音声との一体感が損なわれてユーザに違和感を抱かせる可能性がある。
Heretofore, some video signal reproducing apparatuses or the like are designed to zoom in / out a part of the video in response to a zoom operation. Thereby, for example, a portion to be seen can be enlarged by zooming in on the center of the video.
However, in a conventional apparatus having such a video zoom function, an audio signal is normally output even when zoomed in. According to this, there is a possibility that a sense of unity between the video and the sound is impaired and the user feels uncomfortable, for example, a sound from a portion that is no longer displayed on the screen due to zoom-in is included.
これに対し第2の実施の形態によれば、映像のズーム機能と連動して音声信号の調整も行われる。具体的には、ズームイン/ズームアウトする角度に応じて、その角度に定位している音像の音量をズーム倍率に応じて調整することができる。これによって従来のようにズームインされた映像と音声とが一致しないことによる違和感を効果的に低減することができる。 On the other hand, according to the second embodiment, the audio signal is also adjusted in conjunction with the video zoom function. Specifically, according to the zoom-in / zoom-out angle, the volume of the sound image localized at that angle can be adjusted according to the zoom magnification. As a result, it is possible to effectively reduce a sense of incongruity caused by the fact that the zoomed-in video and audio do not match each other.
図10は、図8,図9の構成により実現される動作をフローチャートにより示している。
なお、この図10において、ステップS201〜S209による動作は、先の図7に示したステップS101〜S109と同様に、角度指示信号により指示された角度に定位している音源を抽出するための動作となる。従って、これらステップS201〜S209の動作についてここで改めて説明はせず、ステップS210〜S213についてのみ説明する。
FIG. 10 is a flowchart showing operations realized by the configurations of FIGS.
In FIG. 10, the operations in steps S201 to S209 are the same as those in steps S101 to S109 shown in FIG. 7, and the operation for extracting the sound source localized at the angle indicated by the angle instruction signal is performed. It becomes. Therefore, the operation of these steps S201 to S209 will not be described here again, and only steps S210 to S213 will be described.
先ず、ステップS210では、ズーム倍率指示信号に応じLch/Lex、Rch/Rexのゲイン値を決定する。つまり、この動作は、図9に示したゲイン調整回路39L、ゲイン調整回路39Rが、それぞれ合成フィルタバンク14Lからの音声信号Lexまたはメディア再生部32からのLch信号、合成フィルタバンク14Rからの音声信号Rexまたはメディア再生部32からのRch信号について、ズーム倍率指示信号に応じてゲイン値を決定する動作に相当する。
First, in step S210, Lch / Lex and Rch / Rex gain values are determined in accordance with the zoom magnification instruction signal. That is, in this operation, the
そして、ステップS211では、決定したゲイン値に基づきLch信号、音声信号Lex、Rch信号、音声信号Rexのゲインを調整する。つまり、ゲイン調整回路39LがLch信号または音声信号Lexのゲインを調整し、ゲイン調整回路39RがRch信号または音声信号Rexのゲインを調整する。
その上で、ステップS212において、Lch信号・音声信号Lex、Rch信号・音声信号Rexを合成して出力する。つまり、ゲイン調整回路39LがLch信号・音声信号Lexを合成して出力し、ゲイン調整回路39RがRch信号・音声信号Rexを合成して出力する。
In step S211, the gains of the Lch signal, the audio signal Lex, the Rch signal, and the audio signal Rex are adjusted based on the determined gain value. That is, the
In step S212, the Lch signal / audio signal Lex and the Rch signal / audio signal Rex are synthesized and output. That is, the
ここで、先の図9の説明によると、各ゲイン調整回路39におけるズーム倍率指示信号に応じたゲイン調整としては、ズームインに応じては音声信号Lex、音声信号Rex側のゲインを上げる、またはLch信号、Rch信号側のゲインを下げるものとした。また、ズームアウトに応じては、音声信号Lex、音声信号Rex側のゲインを下げる、またはLch信号、Rch信号側のゲインを上げるものとした。
例えば前者の調整、すなわちズームインに応じて音声信号Lex・Rex側のゲインを上げる調整を行ったときは、これら音声信号Lex・Rexの音量が設定音量よりも大きくなるように調整されることになる。このことによると、ユーザの設定音量が守られなくなるといった点で問題となりかねない。
これを対策するとした場合には、後者の調整、つまりズームイン操作に応じLch信号・Rch信号側のゲインを下げるように調整を行えばよい。
Here, according to the description of FIG. 9, the gain adjustment in accordance with the zoom magnification instruction signal in each gain adjustment circuit 39 increases the gain on the audio signal Lex, the audio signal Rex side in accordance with zoom-in, or Lch The gain on the signal and Rch signal side is reduced. Further, the gain on the audio signal Lex and audio signal Rex side is lowered or the gain on the Lch signal and Rch signal side is increased in accordance with zoom-out.
For example, when the former adjustment, that is, the adjustment for increasing the gain on the audio signal Lex / Rex side in accordance with the zoom-in, the volume of the audio signal Lex / Rex is adjusted to be larger than the set volume. . This may cause a problem in that the user's set volume cannot be protected.
When this is taken as a countermeasure, the latter adjustment, i.e., the Lch signal / Rch signal side gain may be adjusted in accordance with the zoom-in operation.
但し、実際の聴感上の問題として、これらの調整手法のように音声信号Lex・Rex側のみ、又はLch信号・Rch信号のみのどちらか一方を調整した場合は、全体的な音量として元の設定音量との均衡がとられなくなる可能性があり、この点でユーザに違和感を感じさせてしまう虞がないとは言えない。
そこで、この点を考慮する場合等には、ズーム倍率指示信号に応じて音声信号Lex・Rex側、Lch信号・Rch信号側の双方のゲインを総合的に調整するようにすることもできる。
However, as an actual hearing problem, if only one of the audio signal Lex / Rex side or only the Lch signal / Rch signal is adjusted as in these adjustment methods, the original setting is made as the overall volume. There is a possibility that the sound volume may not be balanced, and it cannot be said that there is no possibility that the user may feel uncomfortable in this respect.
Therefore, when this point is taken into consideration, the gains of both the audio signal Lex / Rex side and the Lch signal / Rch signal side can be adjusted comprehensively in accordance with the zoom magnification instruction signal.
なお、この第2の実施の形態としても、音源抽出動作は音声信号処理部33のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部33としては、図10に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部33に対してはROM等の記録媒体が備えられ、そこに上記プログラムが記録されることになる。
In the second embodiment, the sound source extraction operation is exemplified by the hardware configuration of the audio
<第3の実施の形態>
第3の実施の形態は、先の第1の実施の形態を応用して、予め定められた所定の定位角度範囲ごとに、定位している音源のゲイン調整ができるようにするものである。
なお、第3の実施の形態において、再生装置の全体構成としては、先の図1に示した再生装置1と同様であるとする。つまり、記録媒体に記録された音声信号についてのみ再生が可能とされているものとする。
<Third Embodiment>
In the third embodiment, the gain of a localized sound source can be adjusted for each predetermined localization angle range by applying the first embodiment.
In the third embodiment, the entire configuration of the playback device is the same as that of the
この場合の再生装置としては、図1に示した操作部6上に、次の図11に示すようなつまみ操作子6−1、6−2、6−3、6−4、6−5を備えるようにされる。
これらつまみ操作子6−1、6−2、6−3、6−4、6−5は、それぞれ対応する定位角度範囲に定位する音源についてのゲイン(音量)を調整するための操作子となる。
As a reproducing apparatus in this case, knob operators 6-1, 6-2, 6-3, 6-4, and 6-5 as shown in FIG. 11 are provided on the operation unit 6 shown in FIG. To be prepared.
These knob operators 6-1, 6-2, 6-3, 6-4, 6-5 are operators for adjusting the gain (volume) of the sound source localized in the corresponding localization angle range. .
ここで、第3の実施の形態では、複数系統の音声信号(つまりこの場合はLch信号とRch信号)がスピーカから出力されたとき、音源が定位可能な角度範囲(この場合は例示的に360°としている)を、5つの等間隔の範囲に分けるものとしている。
つまりこの場合、聴取者の正面を0°(中央)とすると、180°〜108°、108°〜36°、36°〜−36°、−36°〜−108°、−108°〜−180°の範囲に分けるものとしている。これらの定位角度範囲を、ここでは定位角度レンジと呼ぶ。
この場合、5つに分けられた定位角度レンジのうち、180°〜108°の範囲を定位角度レンジ1とし、108°〜36°の範囲を定位角度レンジ2とする。以降も順に36°〜−36°の範囲は定位角度レンジ3、−36°〜−108°の範囲は定位角度レンジ4、−108°〜−180°の範囲は定位角度レンジ5とする。
Here, in the third embodiment, when a plurality of audio signals (that is, the Lch signal and the Rch signal in this case) are output from the speaker, the angle range in which the sound source can be localized (in this case, 360 is exemplified). Is divided into five equally spaced ranges.
That is, in this case, if the front of the listener is 0 ° (center), 180 ° to 108 °, 108 ° to 36 °, 36 ° to −36 °, −36 ° to −108 °, −108 ° to −180 Divided into the range of °. These localization angle ranges are referred to herein as localization angle ranges.
In this case, among the five localization angle ranges, the range of 180 ° to 108 ° is the
図11において、つまみ操作子6−1は、定位角度レンジ1に定位する音源についてのゲインを調整するための操作子となる。また、以降も同様に、つまみ操作子6−2、つまみ操作子6−3、つまみ操作子6−4、つまみ操作子6−5は、それぞれ定位角度レンジ2、定位角度レンジ3、定位角度レンジ4、定位角度レンジ5に定位する音源についてゲイン調整を行うための操作子となる。
これらつまみ操作子6−1〜6−5によるそれぞれの操作情報は、図示は省略するが、システムコントローラ5に入力されて各レンジごとのゲイン指示信号に変換される。このようなレンジごとのゲイン指示信号は、次の図12にも示すように、音声信号処理部43内のバンド別ゲイン算出回路12−1〜12−nに対しそれぞれ供給されるようになっている。
In FIG. 11, the knob operator 6-1 is an operator for adjusting the gain of the sound source localized in the
Although not shown in the figure, the operation information by the knob operators 6-1 to 6-5 is input to the
なお、ここではつまみ操作子6−1〜6−5は操作部6に設けられる場合を示したが、これらをリモートコマンダ10に設けることもできる。
また、ここでは定位角度レンジは等間隔に分けるものとしたが、非等間隔で分けることもできる。また、定位角度レンジの数は5つとしたがそれ以外の数に分けることもできる。
Here, the knob operators 6-1 to 6-5 are shown provided in the operation unit 6, but these can be provided in the
Here, the localization angle range is divided at equal intervals, but can be divided at non-equal intervals. Although the number of localization angle ranges is five, it can be divided into other numbers.
図12は、第3の実施の形態の再生装置における音声信号処理部43の内部構成について示している。なお、この図においても既に図3にて説明した部分については同一符号を付して説明を省略する。
上記もしているように、この場合の再生装置においては、つまみ操作子6−1〜6−5によるそれぞれの操作情報が、システムコントローラ5に入力されてレンジごとのゲイン指示信号に変換され、図示するようにバンド別ゲイン算出回路12−1〜12−nに対しそれぞれ供給される。
各バンド別ゲイン算出回路12では、このように入力されるレンジごとのゲイン指示信号と、分析フィルタバンク11Lからのサブバンド信号sub-Lと分析フィルタバンク11Rからのサブバンド信号sub-Rとに基づき、後段のゲイン器13にて対応する帯域のサブバンド信号sub-L、サブバンド信号sub-Rに設定されるべきゲインG-subを算出する。
FIG. 12 shows the internal configuration of the audio signal processing unit 43 in the playback apparatus of the third embodiment. In this figure as well, parts already described in FIG.
As described above, in the reproducing apparatus in this case, each operation information by the knob operators 6-1 to 6-5 is input to the
In each band
この場合の各バンド別ゲイン算出回路12の内部構成は、次の図13に示すものとなる。
なお、この図13においても先の図4にて説明した部分については同一符号を付して説明を省略する。
この場合のバンド別ゲイン算出回路12には、先の図4に示したバンド別ゲイン算出回路12が備えていたゲイン算出器24に代えて、ゲイン算出器44が設けられる。このゲイン算出器44としても、位相差算出器22からの位相差信号θlrと、レベル比算出器23からのレベル比信号maglrとが入力される。また、システムコントローラ5からのレンジごとのゲイン指示信号は、このゲイン算出器44に入力されるようになっている。
The internal configuration of each band-specific
In FIG. 13 as well, portions described in FIG. 4 are given the same reference numerals and description thereof is omitted.
In this case, the
このゲイン算出器44に対しては、図示するメモリ部45が設けられる。メモリ部45は例えばROMなどの記憶装置とされ、ここには図示する窓関数対応情報45aが格納される。
この窓関数対応情報45aは、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの1つ1つに、予め定められた対応する窓関数が対応づけられた情報である。この場合も、最終的なゲイン値G-sub(ω)としては位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算して求めるので、この窓関数としては、位相差信号θlrの値(θlr(ω))を変数として位相差側ゲインGθ(ω)を表す位相差側窓関数と、レベル比信号maglrの値(maglr(ω))を変数としてレベル比側ゲインGmag(ω)を表すレベル比側窓関数との2種が用意される。
つまり、窓関数対応情報45aとしては、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの1つ1つに予め定められた対応する位相差側窓関数が対応づけられた情報と、同じくレンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの1つ1つに予め定められた対応するレベル比側窓関数が対応づけられた情報とを含むものとなっている。
なお、このような窓関数対応情報45aついては後の図14、図15にて改めて説明する。
The
The window
That is, as the window
Note that such window
ゲイン算出器44は、システムコントローラ5からのレンジごとのゲイン指示信号を元に、上記窓関数対応情報45aから対応する位相差側窓関数を読み出し、この位相差側窓関数と位相差算出器22からの位相差θlr(ω)とに基づく演算を行うことで、対応する周波数バンドに応じた位相差側ゲインGθ(ω)を算出する。
また、これと共にゲイン算出器44は、レンジごとのゲイン指示信号を元に上記窓関数対応情報45aから対応するレベル比側窓関数を読み出し、このレベル比側窓関数とレベル比算出器23からのレベル比maglr(ω)とに基づく演算を行うことで、対応する周波数バンドに応じたレベル比側ゲインGmag(ω)を算出する。
そしてこの場合のゲイン算出器44としても、
G-sub(ω)=Gθ(ω)×Gmag(ω)
による演算を行ってゲイン値G-sub(ω)を算出する。
The
At the same time, the
And as a
G-sub (ω) = G θ (ω) × G mag (ω)
The gain value G-sub (ω) is calculated by performing the above calculation.
このようにして各バンド別ゲイン算出回路12(12−1〜12−n)において、各周波数バンドごとに設定されるべきゲインG-sub(G-sub1〜G-subn)が算出される。これらゲインG-sub1〜G-subnは、先の図12にも示されているように、ゲイン器13−1〜13−nのうち対応する添え字の付されるゲイン器13に対して入力されそれぞれサブバンド信号sub-L、サブバンド信号sub-Rに与えられるものとなる。
In this way, the gain G-sub (G-sub1 to G-subn) to be set for each frequency band is calculated in each band gain calculation circuit 12 (12-1 to 12-n). These gains G-sub1 to G-subn are input to the
図14、図15は、上述した位相差側窓関数、レベル比側窓関数について説明するための図であり、各図の(a)図では横軸に位相差θlr(ω)、縦軸に位相差側ゲインGθ(ω)をとった場合の位相差側ゲインGθ(ω)の特性(つまり位相差側窓関数)をグラフ化して示し、(b)図では横軸にレベル比maglr(ω)、縦軸にレベル比側ゲインGmag(ω)をとった場合のレベル比側ゲインGmag(ω)の特性(つまりレベル比側窓関数)をグラフ化して示している。 FIGS. 14 and 15 are diagrams for explaining the above-described phase difference side window function and level ratio side window function. In FIG. 14A, the horizontal axis represents the phase difference θ lr (ω), and the vertical axis represents the vertical axis. Fig. 9 shows the characteristics of the phase difference side gain Gθ (ω) when the phase difference side gain Gθ (ω) is taken (that is, the phase difference side window function) in a graph. mag lr (omega), it is characteristic of the level ratio gain G mag when taking a level ratio gain G mag (omega) on the vertical axis (omega) (that level ratio window function) shown as a graph.
先ず、図14は、レンジごとのゲイン指示信号により定位角度レンジ1〜定位角度レンジ5のすべてについて同じゲイン値が指示されたときに応じて設定される窓関数の例をそれぞれ示している。
全ての定位角度レンジのゲインとして同じ値が指示された場合は、これら図14(a)(b)に示されるように、入力される位相差θlr(ω)、レベル比maglr(ω)の値に関わらす、常に一定のゲイン値となるような関数が定められる。
First, FIG. 14 shows examples of window functions that are set in response to the same gain value being instructed for all of the
When the same value is designated as the gain of all the localization angle ranges, as shown in FIGS. 14A and 14B, the input phase difference θ lr (ω) and level ratio mag lr (ω) A function that always has a constant gain value is determined.
そして、図15は、レンジごとのゲイン指示信号により定位角度レンジ1〜定位角度レンジ5についてそれぞれ異なるゲインが指示されたときに応じて設定される窓関数の例を示している。
このような窓関数(位相差側窓関数、及びレベル比側窓関数)は、予め、例えば聴感上の実験を行った結果などに基づき、各定位角度レンジに定位している音源が、指示されたゲイン(音量)で出力できるようにして設定される。
そして、このような窓関数としては、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの1つ1つについて、それぞれ予め定めておくようにする。このようなレンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの1つ1つと、その個々に応じて定めた窓関数とを対応づけて、先の窓関数対応情報45aを生成するようにされる。
FIG. 15 shows an example of the window function that is set when different gains are designated for the
Such window functions (phase difference side window function and level ratio side window function) are instructed in advance for a sound source localized in each localization angle range based on, for example, a result of an audible experiment. It is set so that it can be output with a certain gain (volume).
Such a window function is determined in advance for each of the gain combinations for each localization angle range that can be instructed by the gain instruction signal for each range. Each of the combinations of gains for each localization angle range that can be instructed by such a gain instruction signal for each range is associated with the window function determined in accordance with each of the combinations, and the previous window
このような窓関数対応情報45aとされることにより、ゲイン算出器44は、上述のようにして入力されるレンジごとのゲイン指示信号の値に基づき、対応する適正な位相差側窓関数、レベル比側窓関数を選択することができる。すなわち、ゲイン算出器44にて選択される位相差側窓関数、レベル比側窓関数としては、各定位角度レンジに定位している音源が、レンジごとのゲイン指示信号により指示されるゲイン(音量)でそれぞれ出力することができるようにして設定された窓関数となる。
そして、このように適正に選択された窓関数に基づき、ゲイン算出器44では、位相差θlr(ω)、レベル比maglr(ω)から対応する周波数バンドに設定されるべき適正なゲイン値Gθ(ω)、Gmag(ω)が求まる。
これらゲイン値Gθ(ω)、Gmag(ω)が、先に説明したようにゲイン算出器44にて乗算されて、各ゲイン器13にてゲインG-subとして対応するサブバンド信号sub-L、サブバンド信号sub-Rに与えられる。これにより、合成フィルタバンク14L、合成フィルタバンク14Rで合成されて得られる音声信号Lex、音声信号Rexとしては、各定位角度レンジに定位している音源が、それぞれレンジごとのゲイン指示信号により指示されるゲイン(音量)となるようにできるものとなっている。
すなわち、これによってレンジごとのゲイン指示信号で指示されたゲインで、各定位角度レンジに定位している音源のゲインを調整することができる。
By using the window
Then, based on the window function appropriately selected in this way, the
These gain values G θ (ω) and G mag (ω) are multiplied by the
That is, the gain of the sound source localized in each localization angle range can be adjusted with the gain indicated by the gain instruction signal for each range.
ここで、例えば定位角度レンジ1はギター、定位角度レンジ2はベース、定位角度レンジ3はボーカル、定位角度レンジ4はドラム、定位角度レンジ5はキーボードの音源がそれぞれ定位しているとすれば、このような第3の実施の形態によれば、ユーザはこれらの各パートごとの音量を自由に調整することができる。つまりは、例えばギターの音のみを抽出したりボーカルの音を消したり等、或る定位角度に定位している音源のみを抽出したり或いは消したり等といった指示を、ユーザが手動で自由に行うことが可能となるようにできる。
For example, if the
図16は、上記説明による定位角度レンジごとのゲイン調整動作の動作手順を示したフローチャートである。
先ず、ステップS301〜S304においては、先の図7に示したステップS101〜、S103、及びS105と同様の動作により、Lch信号、Rch信号のバンド分割、フーリエ変換、及び各バンドごとの位相差θlr(ω)、レベル比maglr(ω)の算出が行われる。
FIG. 16 is a flowchart showing the operation procedure of the gain adjustment operation for each localization angle range according to the above description.
First, in steps S301 to S304, the Lch signal, band division of the Rch signal, Fourier transform, and phase difference θ for each band are performed in the same manner as in steps S101 to S103 and S105 shown in FIG. lr (ω) and level ratio mag lr (ω) are calculated.
そして、ステップS305では、レンジごとのゲイン指示信号の各値に応じた位相差側窓関数、レベル比側窓関数の選択が行われる。つまり、各バンド別ゲイン算出回路12内のゲイン算出器44が、システムコントローラ5から入力されるレンジごとのゲイン指示信号の各値に応じ、メモリ部45内の窓関数対応情報45aから該当する位相差側窓関数、及びレベル比側窓関数を選択する。
In step S305, a phase difference side window function and a level ratio side window function corresponding to each value of the gain instruction signal for each range are selected. That is, the
続くステップS306では、バンドごとに、選択した位相差側窓関数と位相差θlr(ω)とに基づき、位相差側ゲインGθ(ω)を算出する。つまり、各バンド別ゲイン算出回路12内のゲイン算出器44が、選択した位相差側窓関数に位相差算出器22からの位相差θlr(ω)を代入してこれを解くことで位相差側ゲインGθ(ω)を算出する。
また、ステップS307では、バンドごとに、選択したレベル比側窓関数とレベル比maglr(ω)とに基づき、レベル比側ゲインGmag(ω)を算出する。すなわち、各バンド別ゲイン算出回路12内のゲイン算出器44が、選択したレベル比側窓関数にレベル比算出器23からのレベル比maglr(ω)を代入してこれを解くことでレベル比側ゲインGmag(ω)を算出する。
In the subsequent step S306, the phase difference side gain G θ (ω) is calculated for each band based on the selected phase difference side window function and the phase difference θ lr (ω). That is, the
In step S307, the level ratio side gain G mag (ω) is calculated for each band based on the selected level ratio side window function and the level ratio mag lr (ω). That is, the
なお、ここでも便宜上、位相差θlr(ω)・位相差側ゲインGθ(ω)と、レベル比maglr(ω)・レベル比側ゲインGmag(ω)とがそれぞれ前後して算出されるもとしたが、実際にはこれらが同時並行して行われるものとなる。 Here, for the sake of convenience, the phase difference θ lr (ω) / phase difference side gain G θ (ω), the level ratio mag lr (ω), and the level ratio side gain G mag (ω) are calculated before and after, respectively. However, in reality, these are performed in parallel.
続くステップS308〜ステップS310では、先の図7のステップS107〜S109と同様に、ゲイン算出器44がバンドごとに位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算してゲイン値G-sub(ω)を算出し、さらにゲイン器13がバンドごとにLch信号、Rch信号に算出されたゲイン値G-sub(ω)を与え、その上で合成フィルタバンク14L、合成フィルタバンク14Rが、各バンドのLch信号、各バンドのRch信号をそれぞれ合成して出力する。
これにより、各定位角度レンジに定位している音源がそれぞれレンジごとのゲイン指示信号により指示されるゲイン(音量)となるようにできる音声信号Lex、音声信号Rexが出力されることになる。
In subsequent steps S308 to S310, the
As a result, the sound signal Lex and the sound signal Rex are output so that the sound source localized in each localization angle range has a gain (volume) indicated by the gain instruction signal for each range.
なお、このような定位角度レンジごとのゲイン調整動作についても、音声信号処理部33のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部33としては、図16に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部33に対してはROM等の記録媒体が備えられ、そこに上記プログラムが記録される。
In addition, although the case where the gain adjustment operation for each localization angle range is realized by the hardware configuration of the audio
とろこで、これまでの説明では、第3の実施の形態としての定位角度レンジごとのゲイン調整を可能とするために、位相差θlr(ω)とレベル比maglr(ω)のみを変数とした窓関数を用いることにより、各バンドに設定されるべきゲイン値G-subを求めるものとしたが、これに代え、位相差ゲインGθ(ω)とレンジごとのゲイン指示信号の各値、レベル比ゲインGmag(ω)とレンジごとのゲイン指示信号の各値とを変数とした関数を用いてゲイン値G-subを求めるようにすることもできる。 In the above description, in order to enable gain adjustment for each localization angle range as the third embodiment, only the phase difference θ lr (ω) and the level ratio mag lr (ω) are variables. The gain value G-sub to be set for each band is obtained by using the window function described above. Instead, the phase difference gain G θ (ω) and each value of the gain instruction signal for each range are obtained. The gain value G-sub can also be obtained using a function in which the level ratio gain G mag (ω) and each value of the gain instruction signal for each range are variables.
その具体的な手法としては、先ず、位相差θlr(ω)のとり得る値(この場合は180°〜−180°)、レベル比θmag(ω)のとり得る値(この場合は1〜−1)を定位角度レンジの数に応じて分割(この場合は5分割)し、この分割された範囲ごとに独立した関数を用いて位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)を算出する。そして、これらレンジごとに独立して求めた位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)の値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算し、これによって各定位角度レンジに定位している音源が、それぞれレンジごとのゲイン指示信号により指示されるゲイン(音量)となるようにするための位相差側ゲインGθ(ω)、レベル比側ゲインGmag(ω)を算出する。
そして、各バンドごとに、このように算出された位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算して最終的なゲイン値G-sub(ω)を得るようにする。
As a specific method, first, a possible value of the phase difference θ lr (ω) (in this case, 180 ° to −180 °) and a possible value of the level ratio θ mag (ω) (in this case, 1 to 1). -1) is divided according to the number of localization angle ranges (in this case, 5 divisions), and the phase difference side gain G θ (ω) and the level ratio side gain G are used using an independent function for each divided range. Calculate mag (ω). Then, the values of the phase difference side gain G θ (ω) and the level ratio side gain G mag (ω) obtained independently for each range are determined by the gain value of each range indicated by the gain instruction signal for each range. Phase difference side gain G θ (ω) and level for multiplying the sound source localized in each localization angle range to have a gain (volume) indicated by a gain indication signal for each range. The specific gain G mag (ω) is calculated.
Then, for each band, a final gain value G-sub (ω) is obtained by multiplying the phase difference side gain G θ (ω) thus calculated and the level ratio side gain G mag (ω). Like that.
ここで、定位角度レンジ1〜5に応じて位相差θlr(ω)を分割するために設定される閾値を180°側から順にT0、T1、T2、T3、T4、T5とする。また、定位角度レンジごとに求められる位相差側ゲインGθ(ω)をレンジ1側から順にGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)とする。さらに、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値を、レンジ1側から順にGset1、Gset2、Gset3、Gset4、Gset5とする。
この場合において、上記説明のようにレンジごとに独立して求めた位相差側ゲインの値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算して位相差側ゲインGθ(ω)を求めることは、次の[数5]により表すことができる。
In this case, the value of the phase difference side gain obtained independently for each range as described above is multiplied by the gain value of each range indicated by the gain instruction signal for each range to obtain the phase difference side gain G θ. Obtaining (ω) can be expressed by the following [Equation 5].
また、同様に、レベル比側ゲインGmag(ω)については、定位角度レンジ1〜5に応じてレベル比maglr(ω)を分割するために設定される閾値を「1」側から順にT0/180、T1/180、T2/180、T3/180、T4/180、T5/180とし、また、定位角度レンジごとに求められるレベル比側ゲインGmag(ω)をレンジ1側から順にGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)とし、さらに、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値を、レンジ1側から順にGset1、Gset2、Gset3、Gset4、Gset5とした場合において、上記説明のようにレンジごとに独立して求めたレベル比側ゲインの値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算してレベル比側ゲインGmag(ω)を求めることは、次の[数6]により表すことができる。
そして、この場合は、上記説明のようにして定位角度レンジごとの位相差側ゲインGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)については、それぞれ定位角度レンジごとに独立して設定された関数を用いて算出するようにされる。
具体的に、位相差側ゲインGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)は、定位角度レンジごとのゲイン窓の左斜辺の傾斜を各々gradientθ1L、gradientθ2L、gradientθ3L、gradientθ4L、gradientθ5Lとし、定位角度レンジごとのゲイン窓の右斜辺の傾斜を各々gradientθ1R、gradientθ2R、gradientθ3R、gradientθ4R、gradientθ5Rとし、また、各定位角度レンジごとのゲイン窓の上底の幅を2で割ったものを各々top_widthθ1、top_widthθ2、top_widthθ3、top_widthθ4、top_widthθ5としたとき、下記の[数7][数8][数9][数10][数11]により求める。
但し、下記[数7]〜[数11]において、0≦Gθ1(ω)≦1、0≦Gθ2(ω)≦1、0≦Gθ3(ω)≦1、0≦Gθ4(ω)≦1、0≦Gθ5(ω)≦1であるとする。
Specifically, the phase difference side gains G θ1 (ω), G θ2 (ω), G θ3 (ω), G θ4 (ω), and G θ5 (ω) are calculated on the left oblique side of the gain window for each localization angle range. The gradient is gradient θ1L , gradient θ2L , gradient θ3L , gradient θ4L , gradient θ5L, and the slope of the right hypotenuse of the gain window for each localization angle range is gradient θ1R , gradient θ2R , gradient θ3R , gradient θ4R , gradient θ5R, and each localization angle ranges for each of the gain window of width respectively divided by 2 to the upper base top_width θ1, top_width θ2, top_width θ3 , top_width θ4, when the top_width .theta.5, [Equation 7 below Equation 8] [Equation 9] [Equation 10] [Equation 11]
However, in the following [Equation 7] to [Equation 11], 0 ≦ G θ1 (ω) ≦ 1, 0 ≦ G θ2 (ω) ≦ 1, 0 ≦ G θ3 (ω) ≦ 1, 0 ≦ G θ4 (ω ) ≦ 1, 0 ≦ G θ5 (ω) ≦ 1.
また、先の説明によれば、定位角度レンジごとのレベル比側ゲインGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)についても、それぞれ定位角度レンジごとに独立して設定された関数を用いて算出するようにされる。
つまり、レベル比側ゲインGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)は、定位角度レンジごとのゲイン窓の左斜辺の傾斜を各々gradientmag1L、gradientmag2L、gradientmag3L、gradientmag4L、gradientmag5Lとし、定位角度レンジごとのゲイン窓の右斜辺の傾斜を各々gradientmag1R、gradientmag2R、gradientmag3R、gradientmag4R、gradientmag5Rとし、また、各定位角度レンジごとのゲイン窓の上底の幅を2で割ったものを各々top_widthmag1、top_widthmag2、top_widthmag3、top_widthmag4、top_widthmag5としたとき、下記の[数12][数13][数14][数15][数16]により求める。
但し、下記[数12]〜[数16]においても、0≦Gmag1(ω)≦1、0≦Gmag2(ω)≦1、0≦Gmag3(ω)≦1、0≦Gmag4(ω)≦1、0≦Gmag5(ω)≦1であるとする。
In other words, the level ratio gains G mag1 (ω), G mag2 (ω), G mag3 (ω), G mag4 (ω), and G mag5 (ω) indicate the slope of the left oblique side of the gain window for each localization angle range. each gradient mag1L, gradient mag2L, gradient mag3L , gradient mag4L, and gradient Mag5L, and localization angle ranges for each of the gain windows of the right oblique side of each gradient Mag1R inclination of, gradient mag2R, gradient mag3R, gradient mag4R, a gradient Mag5R, also, each When the top width of the gain window for each localization angle range divided by 2 is top_width mag1 , top_width mag2 , top_width mag3 , top_width mag4 , and top_width mag5 , the following [ Equation 12] [ Equation 13] 14] [Equation 15] [Equation 16]
However, in the following [ Equation 12] to [ Equation 16], 0 ≦ G mag1 (ω) ≦ 1, 0 ≦ G mag2 (ω) ≦ 1, 0 ≦ G mag3 (ω) ≦ 1, 0 ≦ G mag4 ( omega) and a ≦ 1,0 ≦ G mag5 (ω) ≦ 1.
ここで、閾値T0〜T5については固定値となり、本例のように5分割の等分割とする場合はT0=180、T1=108、T2=36、T3=−36、T4=−108、T5=−180となる。
また、gradientθ1L〜gradientθ5L、gradientθ1R〜gradientθ5R、gradientmag1L〜gradientmag5L、gradientmag1R〜gradientmag5R、top_widthθ1〜top_widthθ5、top_widthmag1〜top_widthmag5の各値は、固定値、またはシステムコントローラ5から適宜指示される値とすることができる。例えばシステムコントローラ5から適宜指示されるようにした場合、各定位角度レンジ間の境界でゲイン値が繋がるような値を選定するようにすればよい。
Here, the threshold values T 0 to T 5 are fixed values, and in the case of equal division of 5 as in this example, T 0 = 180, T 1 = 108, T 2 = 36, T 3 = −36, T 4 = −108 and T 5 = −180.
Moreover, gradient θ1L ~gradient θ5L, gradient θ1R ~gradient θ5R, gradient mag1L ~gradient mag5L, gradient mag1R ~gradient mag5R, top_width θ1 ~top_width θ5, each value of top_width mag1 ~top_width mag5, from a fixed value or a
次の図17は、gradientθ1L=1、gradientθ2L=26、gradientθ3L=20、gradientθ4L=1、gradientθ5L=180とし、またgradientθ1R=1、gradientθ2R=26、gradientθ3R=180、gradientθ4R=1、gradientθ5R=20とし、さらにtop_widthθ1=36、top_widthθ2=30、top_widthθ3=30、top_widthθ4=36、top_widthθ5=30とした場合において、レンジごとのゲイン指示信号により定位角度レンジ1のゲインGset1=1.0、定位角度レンジ2のゲインGset2=1.3、定位角度レンジ3のゲインGset3=1.0、定位角度レンジ4のゲインGset4=0.7、定位角度レンジ5のゲインGset5=1.0が指示された場合において、横軸を位相差θlr(ω)、縦軸を位相差側ゲインGθ(ω)として位相差側ゲインGθ(ω)の特性をグラフ化して示している。
また、図18では、gradientmag1L〜gradientmag5L、gradientmag1R〜gradientmag5Rをすべて「1」とし、さらにtop_widthmag1〜top_widthmag5をすべて「36」とした場合において、レンジごとのゲイン指示信号により定位角度レンジ1のゲインGset1=1.0、定位角度レンジ2のゲインGset2=0.7、定位角度レンジ3のゲインGset3=1.0、定位角度レンジ4のゲインGset4=1.3、定位角度レンジ5のゲインGset5=1.0が指示された場合において、横軸をレベル比maglr(ω)、縦軸をレベル比側ゲインGmag(ω)としてレベル比側ゲインGmag(ω)の特性をグラフ化して示している。
FIG. 17 shows gradient θ1L = 1, gradient θ2L = 26, gradient θ3L = 20, gradient θ4L = 1, gradient θ5L = 180, gradient θ1R = 1, gradient θ2R = 26, gradient θ3R = 180, gradient θ4R. = 1, gradient θ5R = 20, top_width θ1 = 36, top_width θ2 = 30, top_width θ3 = 30, top_width θ4 = 36, top_width θ5 = 30, and the
Further, in FIG. 18, gradient mag1L ~gradient mag5L, gradient mag1R ~gradient mag5R all set to "1", further top_width mag1 all ~top_width mag5 in case of a "36", the localization angle range by the gain designating signals for
先ず図17において、この場合はtop_widthθ1とtop_widthθ4とを「36」とし、gradientθ1Lとgradientθ1Rとを「1」、gradientθ4Lとgradientθ4Rとを「1」としたことで、図示するように定位角度レンジ1と定位角度レンジ4での位相差側ゲインGθ(ω)は全域にわたってフラットとなる特性が得られる。この場合、定位角度レンジ1のゲイン=1.0、定位角度レンジ4のゲイン=0.7であるから、これら定位角度レンジ1(この場合は180<Gθ(ω)≦108)と定位角度レンジ4(この場合は−36>θlr(ω)≧−108)に該当する位相差θlr(ω)の値が算出された周波数バンド(サブバンド信号)に対応する位相差側ゲインGθ(ω)としては、それぞれ「1」と「0.7」となる。
また、それ以外の定位角度レンジ2、定位角度レンジ3、定位角度レンジ5については、それぞれ[gradientθ2L=26,gradientθ2R=26,top_widthθ2=30]、[gradientθ3L=20,gradientθ3R=180,top_widthθ3=30]、[gradientθ5L=180,gradientθ5R=20,top_widthθ5=30]とされたことに応じ、それぞれのレンジのゲイン窓(ゲイン特性)の形状は図のようになる。そして、この場合は定位角度レンジ2のゲイン=1.3、定位角度レンジ3のゲイン=1.0、定位角度レンジ5のゲイン=1.0であることから、各々top_widthの部分のゲイン値は「1.3」、「1.0」、「1.0」となる。また、これら定位角度レンジ2、定位角度レンジ3、定位角度レンジ5のtop_width以外の部分は、先の[数8][数9][数11]に基づく計算(具体的には各式の(1)(3))が行われることで図のような形状が得られる。
First, in FIG. 17, in this case, top_width θ1 and top_width θ4 are set to “36”, gradient θ1L and gradient θ1R are set to “1”, and gradient θ4L and gradient θ4R are set to “1”. The phase difference gain G θ (ω) in the
For the other
また、図18においては、gradientmag1L〜gradientmag5L、gradientmag1R〜gradientmag5Rをすべて「1」とし、さらにtop_widthmag1〜top_widthmag5をすべて「36」としたので、図示するように各定位角度レンジで一定の値が得られる。具体的に、この場合は定位角度レンジ1のゲイン=1.0、定位角度レンジ2のゲイン=0.7、定位角度レンジ3のゲイン=1.0、定位角度レンジ4のゲイン=1.3、定位角度レンジ5のゲイン=1.0が指示された場合なので、定位角度レンジ1に該当するレベル比maglr(ω)の値が算出された周波数バンド(サブバンド信号)に対応するレベル比側ゲインGmag1(ω)の値はすべて「1.0」となる。また、定位角度レンジ2に該当するレベル比maglr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインGmag2(ω)の値はすべて「0.7」、定位角度レンジ3に該当するレベル比maglr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインGmag3(ω)の値はすべて「1.0」、定位角度レンジ4に該当するレベル比maglr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインGmag4(ω)の値はすべて「1.3」、定位角度レンジ5に該当するレベル比maglr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインGmag5(ω)の値はすべて「1.0」となる。
Further, in FIG. 18, gradient mag1L ~gradient mag5L, all gradient mag1R ~gradient mag5R to "1", since more and all the top_width mag1 ~top_width mag5 "36", a constant as shown in each localization angle ranges The value of is obtained. Specifically, in this case, the gain of the
このような手法によれば、レンジごとのゲイン指示信号により指示されたゲイン(音量)で各定位角度レンジに定位している音源を調整するための位相差側ゲインGθ(ω)としては、位相差θlr(ω)と、レンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値(Gset1〜Gset5)とを変数とした関数を用いて算出できる。同様に、レンジごとのゲイン指示信号により指示されたゲイン(音量)で各定位角度レンジに定位している音源を調整するためのレベル比側ゲインGmag(ω)としては、レベル比maglr(ω)と、レンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値(Gset1〜Gset5)とを変数とした関数を用いて算出できる。
すなわち、この場合においてメモリ部45に格納しておくべき関数としては、少なくとも[数7]〜[数11]、[数12]〜[数16]のみとすることができ、先に説明したような各定位角度レンジで設定され得るゲイン値の組み合わせごとに対応させて窓関数を用意する場合よりも、メモリ部45に格納しておくべきデータ容量を削減することができる。
According to such a method, as the phase difference side gain G θ (ω) for adjusting the sound source localized in each localization angle range with the gain (volume) instructed by the gain instruction signal for each range, The phase difference θ lr (ω) and the gain value (G set1 to G set5 ) for each localization angle range indicated by the gain indication signal for each range can be used for calculation. Similarly, as the level ratio side gain G mag (ω) for adjusting the sound source localized in each localization angle range with the gain (volume) instructed by the gain instruction signal for each range, the level ratio mag lr ( ω) and a gain value (G set1 to G set5 ) for each localization angle range indicated by the gain indication signal for each range can be calculated using a function.
That is, in this case, the functions to be stored in the
図19は、第3の実施の形態としてのゲイン調整動作を行うにあたって、上記のように位相差θlr(ω)とレンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値(Gset1〜Gset5)とを変数とした関数と、レベル比maglr(ω)とレンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値(Gset1〜Gset5)とを変数とした関数とを用いてゲイン値を算出する場合の、動作手順を示したフローチャートである。
先ず、この場合、ステップS401〜S404では、先の図16に示したステップS301〜S304と同様に、Lch信号、Rch信号のバンド分割、フーリエ変換、及び各バンドごとの位相差θlr(ω)、レベル比maglr(ω)の算出が行われる。
FIG. 19 shows the gain value for each localization angle range indicated by the phase difference θ lr (ω) and the gain indication signal for each range as described above when performing the gain adjustment operation as the third embodiment. G set1 to G set5 ) as variables, and the level ratio mag lr (ω) and the gain value (G set1 to G set5 ) for each localization angle range indicated by the gain indication signal for each range as variables 6 is a flowchart showing an operation procedure when a gain value is calculated using
First, in this case, in steps S401 to S404, as in steps S301 to S304 shown in FIG. 16, the Lch signal, the band division of the Rch signal, the Fourier transform, and the phase difference θ lr (ω) for each band. The level ratio mag lr (ω) is calculated.
そしてこの場合、次のステップS405では、バンドごとに位相差θlr(ω)と[数7]〜[数11]に基づき、位相差側ゲインGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)を算出するようにされる。すなわち、各バンド別ゲイン算出回路12内におけるゲイン算出器44が、位相差算出器22から入力される位相差θlr(ω)と予め設定された[数7]〜[数11]とに基づく演算を行うことで、位相差側ゲインGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)を算出するものである。
In this case, in the next step S405, phase difference side gains G θ1 (ω), G θ2 (ω), G based on the phase difference θ lr (ω) and [ Equation 7] to [Equation 11] for each band. θ3 (ω), G θ4 (ω), and G θ5 (ω) are calculated. That is, the
そして、続くステップS406では、[数5]に基づき、位相差側ゲインGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)とレンジごとのゲイン指示信号の値(Gset1、Gset2、Gset3、Gset4、Gset5)とから、各バンド対応の位相差側ゲインGθ(ω)を算出する。つまり、各バンド別ゲイン算出回路12におけるゲイン算出器44が、ステップS405にて算出した位相差側ゲインGθ(ω)(つまりGθ1(ω)、Gθ2(ω)、Gθ3(ω)、Gθ4(ω)、Gθ5(ω)の何れか)と、システムコントローラ5から供給されるレンジごとのゲイン指示信号の値とから[数5]に基づく演算を行うことで、対応する周波数バンド(サブバンド信号)に設定されるべき位相差側ゲインGθ(ω)を算出するものである。
In the subsequent step S406, based on [Equation 5], the phase difference side gains G θ1 (ω), G θ2 (ω), G θ3 (ω), G θ4 (ω), G θ5 (ω) and every range The phase difference side gain G θ (ω) corresponding to each band is calculated from the values of the gain instruction signals (G set1 , G set2 , G set3 , G set4 , G set5 ). That is, the
また、ステップS407では、バンドごとにレベル比maglr(ω)と[数12]〜[数16]に基づき、レベル比側ゲインGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)を算出する。つまり、各バンド別ゲイン算出回路12内におけるゲイン算出器44が、レベル比算出器23から入力されるレベル比maglr(ω)と予め設定された[数12]〜[数16]とに基づく演算を行うことで、レベル比側ゲインGmag1(ω)、Gmag2(ω)、G,ag3(ω)、Gmag4(ω)、Gmag5(ω)を算出する。
In step S407, based on the level ratio for each band mag lr and (omega) [Expression 12] - [Expression 16], level ratio gain G mag1 (ω), G mag2 (ω), G mag3 (ω) , G mag4 (ω), G mag5 (ω) are calculated. That is, the
さらに、ステップS408では、[数6]に基づき、レベル比側ゲインGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)とレンジごとのゲイン指示信号の値(Gset1、Gset2、Gset3、Gset4、Gset5)とから、各バンド対応のレベル比側ゲインGmag(ω)を算出する。つまり、各バンド別ゲイン算出回路12におけるゲイン算出器44が、ステップS407にて算出したレベル比側ゲインGmag(ω)(つまりGmag1(ω)、Gmag2(ω)、Gmag3(ω)、Gmag4(ω)、Gmag5(ω)の何れか)と、システムコントローラ5から供給されるレンジごとのゲイン指示信号の値とから[数6]に基づく演算を行うことで、対応する周波数バンド(サブバンド信号)に設定されるべきレベル比側ゲインGmag(ω)を算出する。
Further, in step S408, the level ratio gains G mag1 (ω), G mag2 (ω), G mag3 (ω), G mag4 (ω), G mag5 (ω) and G mag5 (ω) and each range are calculated based on [ Equation 6]. The level ratio side gain G mag (ω) corresponding to each band is calculated from the values of the gain instruction signals (G set1 , G set2 , G set3 , G set4 , G set5 ). That is, the
なお、ここでも便宜上、位相差θlr(ω)・位相差側ゲインGθ(ω)と、レベル比maglr(ω)・レベル比側ゲインGmag(ω)とが前後してそれぞれ算出されるもとしたが、実際にはこれらが同時並行して行われるものとなる。 Here, for the sake of convenience, the phase difference θ lr (ω), the phase difference side gain G θ (ω), the level ratio mag lr (ω), and the level ratio side gain G mag (ω) are calculated before and after, respectively. However, in reality, these are performed in parallel.
その上で、ステップS409〜S411では、先の図16に示したステップS308〜S310と同様に、ゲイン算出器44がバンドごとに位相差側ゲインGθ(ω)とレベル比側ゲインGmag(ω)とを乗算してゲイン値G-subを算出し、ゲイン器13がバンドごとにLch信号、Rch信号にG-sub(ω)を与え、さらに合成フィルタバンク14L、合成フィルタバンク14Rが、各バンドのLch信号、各バンドのRch信号をそれぞれ合成して出力する。
Then, in steps S409 to S411, similarly to steps S308 to S310 shown in FIG. 16, the
なお、このような[数5]〜[数16]を用いて定位角度レンジごとのゲイン調整動作についても、音声信号処理部33のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部33としては、図19に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部33に対してはROM等の記録媒体が備えられ、そこに上記プログラムが記録される。
Although the gain adjustment operation for each localization angle range using [Equation 5] to [Equation 16] is exemplified by the hardware configuration of the audio
ここで、定位角度レンジごとにゲイン調整を行う手法としては、このような[数5]〜[数16]を用いてゲイン値を算出する手法以外にも、例えば各閾値(T0〜T5)の中間点でのゲイン値をレンジごとのゲイン指示信号により指示されたゲイン値とし、その間を直線補間または曲線補間するといった手法も採ることができる。その場合としても、窓関数は使用しないのでその分メモリ部45として必要な容量を削減することができる。
Here, as a method of performing gain adjustment for each localization angle range, in addition to the method of calculating the gain value using [Equation 5] to [Equation 16], for example, each threshold (T 0 to T 5). The gain value at the intermediate point of () is set as the gain value specified by the gain instruction signal for each range, and a method of performing linear interpolation or curve interpolation between the gain values can also be adopted. Even in that case, since the window function is not used, the capacity required for the
また、第3の実施の形態として、定位角度レンジごとのゲイン調整を行うにあたっては、以下のような手法も採ることができる。
つまり、先ずは定位角度レンジ対応に、その定位角度レンジに定位している音源を抽出する音声信号Lexと音声信号Rexを生成する系を備える。つまり、この場合は定位角度レンジ1に定位する音源を抽出するための音声信号Lexと音声信号Rexの生成系と、定位角度レンジ2に定位する音源を抽出するための音声信号Lexと音声信号Rexの生成系と、定位角度レンジ3に定位する音源を抽出するための音声信号Lexと音声信号Rexの生成系と、定位角度レンジ4に定位する音源を抽出するための音声信号Lexと音声信号Rexの生成系と、定位角度レンジ5に定位する音源を抽出するための音声信号Lexと音声信号Rexの生成系とを備える。例えば、このような構成としては、第1の実施の形態の音声信号処理部3を5系統備えるようにしたものと捉えることができる。
その上で、これら複数系統の音声信号Lex・音声信号Rexの出力の1つ1つに対応して、それぞれゲイン調整回路を設け、これらゲイン調整回路において、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値に応じて、それぞれ入力される音声信号Lex・音声信号Rexのゲインを調整して出力する。そして、最終的には、これらゲイン調整回路から出力される各音声信号Lex、各音声信号Rexをそれぞれ合成して出力する。
これによって同様に各定位角度レンジに定位している音源をレンジごとのゲイン指示信号の値に応じて調整することができる。
In addition, as a third embodiment, the following method can be adopted when performing gain adjustment for each localization angle range.
That is, firstly, a system for generating an audio signal Lex and an audio signal Rex for extracting a sound source localized in the localization angle range is provided corresponding to the localization angle range. That is, in this case, the generation system of the audio signal Lex and the audio signal Rex for extracting the sound source localized in the
In addition, a gain adjustment circuit is provided for each of the outputs of the plurality of audio signal Lex and audio signal Rex, and each gain adjustment circuit is instructed by a gain instruction signal for each range. In accordance with the gain value for each localization angle range, the gains of the input audio signal Lex and audio signal Rex are adjusted and output. Finally, the audio signals Lex and the audio signals Rex output from these gain adjustment circuits are respectively synthesized and output.
Accordingly, the sound source localized in each localization angle range can be adjusted in accordance with the value of the gain instruction signal for each range.
<実施の形態の変形例>
以上実施の形態について説明したが、本発明としてはこれまでに説明した各実施の形態に限定されるべきものではない。
例えば各実施の形態では、音声信号はLchとRchの2chのみとしたが、2ch以上の音声信号に対応することもできる。
<Modification of Embodiment>
Although the embodiments have been described above, the present invention should not be limited to the embodiments described so far.
For example, in each embodiment, the audio signal is only 2ch of Lch and Rch. However, it can correspond to an audio signal of 2ch or more.
また、各実施の形態では、各chの音声信号の位相差とレベル比を算出した結果に基づき音声信号に設定されるべきゲイン値を算出するものとしたが、位相差またはレベル比のどちらか一方のみに基づきゲイン値を算出するように構成することもできる。
また、レベル比以外にも、各ch信号の音圧レベルの差を表すものであれば他の要素について算出し、これに基づきゲイン値を算出することもできる。
In each embodiment, the gain value to be set to the audio signal is calculated based on the result of calculating the phase difference and level ratio of the audio signal of each channel. However, either the phase difference or the level ratio is calculated. The gain value can be calculated based only on one side.
In addition to the level ratio, other elements can be calculated as long as they represent the difference in sound pressure level of each channel signal, and the gain value can be calculated based on this.
また、各実施の形態において、メディア再生部2としては、記録媒体から音声信号(及び映像信号)を再生するものとしたが、AM・FM、TV放送などを受信・復調して音声信号(及び映像信号)を出力するチューナ装置として構成することもできる。
In each embodiment, the
或いは、各実施の形態の再生装置としては、このようなメディア再生部2を備えて記録媒体についての再生機能、または放送信号の受信機能を有するように構成される以外にも、例えばアンプ装置などとして、外部で再生(受信)された音声信号を入力し、この入力音声信号に対して音声信号処理を行うように構成することもできる。
Alternatively, the playback device according to each embodiment includes such a
また、第2の実施の形態では、ズーム倍率に応じた音声信号の調整として、例えば上方向キー10c/下方向キー10dによるズームイン/ズームアウト操作に応じ、左右方向キー(10a、10b)で指示された角度に定位している音像の音量について手動で調整できるように構成したが、このような構成を、第1の実施の形態のように音声信号についてのみ再生する場合にも適用することができる。
つまり、音声信号のみについて再生を行う場合にも、指示された角度に定位している音像の音量を上方向キー10c/下方向キー10dなどを利用した手動の操作に応じて調整するように構成するものである。
In the second embodiment, as an adjustment of the audio signal according to the zoom magnification, for example, an instruction is given with the left / right direction keys (10a, 10b) according to the zoom-in / zoom-out operation using the up direction key 10c / down direction key 10d. Although the configuration is such that the volume of the sound image localized at the specified angle can be manually adjusted, such a configuration can be applied to the case of reproducing only the audio signal as in the first embodiment. it can.
That is, even when reproducing only the audio signal, the volume of the sound image localized at the instructed angle is adjusted according to a manual operation using the up key 10c / down key 10d. To do.
また、第2の実施の形態において、例えば上方向キー10c/下方向キー10dによるズームイン/ズームアウト操作に応じ、抽出する音源の範囲を広げたり狭めたりするように構成することもできる。
つまり、上方向キー10cによるズームイン操作に応じて、例えば[数3]及び[数4]におけるtop_widthやgradientの値を小さくし、下方向キー10dによるズームアウト操作に応じてtop_widthやgradientの値を大きくすることで抽出する音源の範囲がズームイン/ズームアウト操作に連動して変化するように構成するものである。
In the second embodiment, for example, the range of the sound source to be extracted can be widened or narrowed according to a zoom-in / zoom-out operation using the up key 10c / down key 10d.
That is, for example, the top_width and gradient values in [Equation 3] and [Equation 4] are reduced according to the zoom-in operation with the up key 10c, and the top_width and gradient values are changed according to the zoom-out operation with the down key 10d. The range of the sound source to be extracted by increasing the size is configured to change in conjunction with the zoom-in / zoom-out operation.
また、第3の実施の形態では、第1の実施の形態のように音声信号についてのみ再生を行う場合において、各定位角度レンジごとのゲイン調整を行う場合を例示したが、第2の実施の形態の場合ように映像信号についての再生も行う場合においても定位角度レンジごとのゲイン調整を行うように構成することもできる。 In the third embodiment, the case where the gain adjustment for each localization angle range is performed in the case of reproducing only the audio signal as in the first embodiment is exemplified. Even in the case of reproducing the video signal as in the case of the embodiment, the gain adjustment for each localization angle range can be performed.
1,30 再生装置、2 メディア再生部、3,33,43 音声信号処理部、4 D/Aコンバータ、5 システムコントローラ、6 操作部、6−1〜6−5 つまみ操作子、7 コマンド受信部、10 リモートコマンダ、10a 右方向キー、10b 左方向キー、10c 上方向キー、10d 下方向キー、11L,11R 分析フィルタバンク、12−1〜12−n バンド別ゲイン算出回路、13−1〜13−n ゲイン器、14L,14R 合成フィルタバンク、21L,21R フーリエ変換器、22 位相差算出器、23 レベル比算出器、24,44 ゲイン算出器、39L,39R ゲイン調整回路、45 メモリ部、45a 窓関数対応情報
1,30 playback device, 2 media playback unit, 3,33,43 audio signal processing unit, 4 D / A converter, 5 system controller, 6 operation unit, 6-1 to 6-5 knob operation unit, 7
Claims (7)
上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手段と、
上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手段と、
上記音声信号と同期した映像信号を入力する映像入力手段と、
上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手段と、
上記映像信号処理手段により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手段と、
上記位相差算出手段と上記レベル比算出手段とにより算出された上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手段により取得された定位角度情報とに基づき、上記分割手段による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手段と
を備える音声信号処理装置。 A dividing means for dividing the input audio signals of the plurality of channels into a plurality of frequency bands, respectively;
Phase difference calculating means for calculating a phase difference of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing means;
Level ratio calculating means for calculating a level ratio of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing means;
Video input means for inputting a video signal synchronized with the audio signal;
Video signal processing means for performing video signal processing so that a part of the video obtained based on the video signal is enlarged;
Localization angle acquisition means for acquiring localization angle information according to the position of a part of the video expanded by the video signal processing means;
A phase difference and level ratio for each of the plurality of frequency bands calculated by the above phase difference calculation means and the level ratio calculating means,-out based on the localization angle information obtained by the localization angle obtaining means, the dividing Sound extraction means for extracting, as a zoom position extraction signal, an audio signal in a frequency band localized at a localization angle indicated by the localization angle information by performing gain adjustment on the divided signal by the means ;
An audio signal processing apparatus comprising:
上記チャンネルごとに、上記入力された音声信号と上記ズーム位置抽出信号とを入力し、上記映像拡大倍率指示手段により指示される上記拡大倍率の上昇に応じては、相対的に上記ズーム位置抽出信号側のゲインが大となるようにゲイン調整を行い、上記拡大倍率の低下に応じては、相対的に上記音声信号側のゲインが大となるようにしてゲイン調整を行う共に、ゲイン調整後の上記音声信号と上記ズーム位置抽出信号とを上記チャンネルごとに合成するゲイン調整・合成手段とを備える
請求項1に記載の音声信号処理装置。 Furthermore, video enlargement magnification instruction means for instructing an enlargement magnification of a part of the video by the video signal processing means ,
For each of the channels, the input audio signal and the zoom position extraction signal are input, and the zoom position extraction signal is relatively determined in response to the increase in the enlargement magnification instructed by the video enlargement magnification instruction means. The gain adjustment is performed so that the gain on the side increases, and the gain adjustment is performed so that the gain on the audio signal side relatively increases in accordance with the decrease in the magnification. Gain adjusting / synthesizing means for synthesizing the audio signal and the zoom position extraction signal for each channel.
The audio signal processing apparatus according to 請 Motomeko 1.
上記拡大倍率の上昇/低下に対し、上記ズーム位置抽出信号側のゲインのみを調整する Only the gain on the zoom position extraction signal side is adjusted for the increase / decrease of the magnification.
請求項2に記載の音声信号処理装置。 The audio signal processing apparatus according to claim 2.
上記拡大倍率の上昇/低下に対し、上記音声信号側のゲインのみを調整する Only the gain on the audio signal side is adjusted for the increase / decrease of the magnification.
請求項2に記載の音声信号処理装置。 The audio signal processing apparatus according to claim 2.
上記拡大倍率の上昇/低下に対し、上記ズーム位置抽出信号と上記音声信号の双方のゲインを調整する The gains of both the zoom position extraction signal and the audio signal are adjusted with respect to the increase / decrease of the magnification.
請求項2に記載の音声信号処理装置。 The audio signal processing apparatus according to claim 2.
上記分割手順により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手順と、
上記分割手順により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手順と、
上記音声信号と同期した映像信号を入力する映像入力手順と、
上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手順と、
上記映像信号処理手順により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手順と、
上記位相差算出手順と上記レベル比算出手順とにより算出した上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手順により取得した定位角度情報とに基づき、上記分割手順による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手順と
を有する音声信号処理方法。 A dividing procedure for dividing the input multi-channel audio signals into a plurality of frequency bands, respectively;
A phase difference calculating procedure for calculating a phase difference of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing procedure;
A level ratio calculation procedure for calculating a level ratio of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the division procedure;
A video input procedure for inputting a video signal synchronized with the audio signal;
A video signal processing procedure for performing video signal processing so that a part of the video obtained based on the video signal is enlarged;
A localization angle acquisition procedure for acquiring localization angle information according to a position of a part of the video expanded by the video signal processing procedure;
A phase difference and level ratio for each of the plurality of frequency bands calculated by the aforementioned phase difference calculation procedure and the level ratio calculating procedure-out based on the localization angle information obtained by the localization angle acquisition procedure, in accordance with the division procedure An audio extraction procedure for extracting an audio signal in a frequency band localized at a localization angle indicated by the localization angle information as a zoom position extraction signal by performing gain adjustment on the divided signal ;
An audio signal processing method comprising:
上記分割処理により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出処理と、
上記分割処理により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算処理と、
上記音声信号と同期した映像信号を入力する映像入力処理と、
上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理実行処理と、
上記映像信号処理実行処理により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得処理と、
上記位相差算出処理と上記レベル比算出処理とにより算出した上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得処理により取得した定位角度情報とに基づき、上記分割処理による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出処理と
を音声信号処理装置に実行させるプログラム。 A division process for dividing the input multi-channel audio signals into a plurality of frequency bands, and
A phase difference calculating process for calculating a phase difference of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the dividing process ;
A level ratio calculation process for calculating a level ratio of the audio signals of the plurality of channels for each of the plurality of frequency bands divided by the division process ;
Video input processing for inputting a video signal synchronized with the audio signal;
Video signal processing execution processing for performing video signal processing so that a part of the video obtained based on the video signal is enlarged;
Localization angle acquisition processing for acquiring localization angle information according to the position of a part of the video expanded by the video signal processing execution processing;
A phase difference and level ratio for each of the plurality of frequency bands, which is calculated by the aforementioned phase difference calculation processing and the level ratio calculation process,-out based on the localization angle information obtained by the localization angle acquisition process, according to the division processing An audio extraction process for extracting an audio signal in a frequency band localized at a localization angle indicated by the localization angle information as a zoom position extraction signal by performing gain adjustment on the divided signal ;
The program to be executed by the audio signal processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008223775A JP4840421B2 (en) | 2008-09-01 | 2008-09-01 | Audio signal processing apparatus, audio signal processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008223775A JP4840421B2 (en) | 2008-09-01 | 2008-09-01 | Audio signal processing apparatus, audio signal processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005327237A Division JP4637725B2 (en) | 2005-11-11 | 2005-11-11 | Audio signal processing apparatus, audio signal processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009010992A true JP2009010992A (en) | 2009-01-15 |
JP4840421B2 JP4840421B2 (en) | 2011-12-21 |
Family
ID=40325521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008223775A Expired - Fee Related JP4840421B2 (en) | 2008-09-01 | 2008-09-01 | Audio signal processing apparatus, audio signal processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4840421B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231089A (en) * | 2009-03-27 | 2010-10-14 | Yamaha Corp | Sound recorder and recorded sound reproducing device |
JP2011033717A (en) * | 2009-07-30 | 2011-02-17 | Secom Co Ltd | Noise suppression device |
JP2011244196A (en) * | 2010-05-18 | 2011-12-01 | Sharp Corp | Audio signal processing apparatus and method, program, and recording medium |
JP2011244197A (en) * | 2010-05-18 | 2011-12-01 | Sharp Corp | Audio signal processing apparatus and method, program, and recording medium |
US8124864B2 (en) | 2009-12-04 | 2012-02-28 | Roland Corporation | User interface apparatus for displaying vocal or instrumental unit signals in an input musical tone signal |
JP2013102327A (en) * | 2011-11-08 | 2013-05-23 | Yamaha Corp | Deflection angle calculating device and sound processing device |
US8908881B2 (en) | 2010-09-30 | 2014-12-09 | Roland Corporation | Sound signal processing device |
JPWO2020003819A1 (en) * | 2018-06-26 | 2021-08-05 | ソニーグループ株式会社 | Audio signal processors, mobile devices, and methods, and programs |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230012207A (en) * | 2021-07-15 | 2023-01-26 | 삼성전자주식회사 | Method for storing image and electronic device supporting the same |
US11838652B2 (en) | 2021-07-15 | 2023-12-05 | Samsung Electronics Co., Ltd. | Method for storing image and electronic device supporting the same |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01280982A (en) * | 1988-05-06 | 1989-11-13 | Nippon Telegr & Teleph Corp <Ntt> | Video interlocking type sound image presence control system |
JPH02121500A (en) * | 1988-10-31 | 1990-05-09 | Toshiba Corp | Acoustic effect device |
JPH04296200A (en) * | 1991-03-26 | 1992-10-20 | Mazda Motor Corp | Acoustic equipment |
WO2000018112A1 (en) * | 1998-09-24 | 2000-03-30 | Fourie, Inc. | Apparatus and method for presenting sound and image |
JP2002078100A (en) * | 2000-09-05 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | Method and system for processing stereophonic signal, and recording medium with recorded stereophonic signal processing program |
JP2003078988A (en) * | 2001-09-06 | 2003-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Sound pickup device, method and program, recording medium |
JP2003284196A (en) * | 2002-03-20 | 2003-10-03 | Sony Corp | Sound image localizing signal processing apparatus and sound image localizing signal processing method |
-
2008
- 2008-09-01 JP JP2008223775A patent/JP4840421B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01280982A (en) * | 1988-05-06 | 1989-11-13 | Nippon Telegr & Teleph Corp <Ntt> | Video interlocking type sound image presence control system |
JPH02121500A (en) * | 1988-10-31 | 1990-05-09 | Toshiba Corp | Acoustic effect device |
JPH04296200A (en) * | 1991-03-26 | 1992-10-20 | Mazda Motor Corp | Acoustic equipment |
WO2000018112A1 (en) * | 1998-09-24 | 2000-03-30 | Fourie, Inc. | Apparatus and method for presenting sound and image |
JP2002078100A (en) * | 2000-09-05 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | Method and system for processing stereophonic signal, and recording medium with recorded stereophonic signal processing program |
JP2003078988A (en) * | 2001-09-06 | 2003-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Sound pickup device, method and program, recording medium |
JP2003284196A (en) * | 2002-03-20 | 2003-10-03 | Sony Corp | Sound image localizing signal processing apparatus and sound image localizing signal processing method |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231089A (en) * | 2009-03-27 | 2010-10-14 | Yamaha Corp | Sound recorder and recorded sound reproducing device |
JP2011033717A (en) * | 2009-07-30 | 2011-02-17 | Secom Co Ltd | Noise suppression device |
US8124864B2 (en) | 2009-12-04 | 2012-02-28 | Roland Corporation | User interface apparatus for displaying vocal or instrumental unit signals in an input musical tone signal |
US8129606B2 (en) | 2009-12-04 | 2012-03-06 | Roland Corporation | Musical tone signal-processing apparatus |
US8207439B2 (en) | 2009-12-04 | 2012-06-26 | Roland Corporation | Musical tone signal-processing apparatus |
JP2011244196A (en) * | 2010-05-18 | 2011-12-01 | Sharp Corp | Audio signal processing apparatus and method, program, and recording medium |
JP2011244197A (en) * | 2010-05-18 | 2011-12-01 | Sharp Corp | Audio signal processing apparatus and method, program, and recording medium |
US8908881B2 (en) | 2010-09-30 | 2014-12-09 | Roland Corporation | Sound signal processing device |
JP2013102327A (en) * | 2011-11-08 | 2013-05-23 | Yamaha Corp | Deflection angle calculating device and sound processing device |
JPWO2020003819A1 (en) * | 2018-06-26 | 2021-08-05 | ソニーグループ株式会社 | Audio signal processors, mobile devices, and methods, and programs |
Also Published As
Publication number | Publication date |
---|---|
JP4840421B2 (en) | 2011-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4637725B2 (en) | Audio signal processing apparatus, audio signal processing method, and program | |
JP4840421B2 (en) | Audio signal processing apparatus, audio signal processing method, and program | |
JP4940671B2 (en) | Audio signal processing apparatus, audio signal processing method, and audio signal processing program | |
JP4234174B2 (en) | Reverberation adjustment device, reverberation adjustment method, reverberation adjustment program, recording medium recording the same, and sound field correction system | |
JP5166030B2 (en) | Audio signal enhancement | |
EP2194733B1 (en) | Sound volume correcting device, sound volume correcting method, sound volume correcting program, and electronic apparatus. | |
KR20080013827A (en) | Apparatus, method and program for processing audio signal | |
US10555108B2 (en) | Filter generation device, method for generating filter, and program | |
US9071215B2 (en) | Audio signal processing device, method, program, and recording medium for processing audio signal to be reproduced by plurality of speakers | |
JP5931182B2 (en) | Apparatus, method and computer program for generating a stereo output signal for providing additional output channels | |
JP2024028526A (en) | Sound field related rendering | |
JP5038145B2 (en) | Localization control apparatus, localization control method, localization control program, and computer-readable recording medium | |
US7920708B2 (en) | Low computation mono to stereo conversion using intra-aural differences | |
CN114270878A (en) | Sound field dependent rendering | |
JP5316560B2 (en) | Volume correction device, volume correction method, and volume correction program | |
KR101993585B1 (en) | Apparatus realtime dividing sound source and acoustic apparatus | |
JP4430105B2 (en) | Sound playback device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4840421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |