JP5219202B2 - Sound signal processing device, headphone device, and sound signal processing method - Google Patents
Sound signal processing device, headphone device, and sound signal processing method Download PDFInfo
- Publication number
- JP5219202B2 JP5219202B2 JP2008257692A JP2008257692A JP5219202B2 JP 5219202 B2 JP5219202 B2 JP 5219202B2 JP 2008257692 A JP2008257692 A JP 2008257692A JP 2008257692 A JP2008257692 A JP 2008257692A JP 5219202 B2 JP5219202 B2 JP 5219202B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signals
- sound signal
- sound signals
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Headphones And Earphones (AREA)
Description
この発明は、音信号処理装置、ヘッドホン装置および音信号処理方法に関する。 The present invention relates to a sound signal processing device, a headphone device, and a sound signal processing method.
脳信号を用いて機械や義足・義手などを操作したり、コンピュータに対して命令を与える技術としてＢＭＩ（Brain Machine Interface）やＢＣＩ（Brain Computer Interface）の研究が行われている。ＢＭＩやＢＣＩは障害者や患者を主たる対象としており、一部実用化が進められているものは、脳への電極装着が必要な侵襲的な手段を用いている。 Researches have been conducted on BMI (Brain Machine Interface) and BCI (Brain Computer Interface) as techniques for operating a machine, a prosthetic leg, a prosthetic hand, and the like using brain signals and giving instructions to a computer. BMI and BCI are mainly targeted at persons with disabilities and patients, and some that are being put into practical use use invasive means that require electrode attachment to the brain.
ＢＭＩやＢＣＩにおいて、より多くのニーズに応えるためには、健常者でも利用できるように、非侵襲的な手段を用いなければならない。侵襲的な手段を用いた方が計測される信号の品質は優れているが、マンマシンインタフェースの用途のためには、信号の精度が落ちても、装着しやすい、小型の計測手段を用いる方が好ましい。また、信号の精度の劣化は信号処理の工夫により、克服すべきである。 In order to meet more needs in BMI and BCI, non-invasive means must be used so that even healthy people can use them. The quality of the signal to be measured is better when using invasive means, but for man-machine interface applications, the use of small measuring means that is easy to wear even if the signal accuracy is reduced. Is preferred. Further, the deterioration of the signal accuracy should be overcome by a device for signal processing.
ＢＭＩやＢＣＩの研究では脳信号を取り出して、機械を制御することを目的とするものが多いが、脳信号をもとにして、脳に対して何らかの刺激をフィードバックすることで脳機能そのものを補助することは考えられていない。たとえば、人間は、「カクテルパーティー効果」としてよく知られているように、複数の音から自分が注聴する音だけを聞き分ける能力を有している。これは主に脳による情報処理の結果であり、脳機能の一つということができる。 Many researches on BMI and BCI aim to extract brain signals and control machines, but assist brain functions themselves by feeding back some stimulus to the brain based on brain signals. It is not considered to do. For example, as is well known as the “cocktail party effect”, humans have the ability to distinguish only the sound that they listen to from a plurality of sounds. This is mainly a result of information processing by the brain and can be said to be one of the brain functions.
本発明はこうした課題に鑑みてなされたものであり、その目的は、脳信号を利用して音信号を処理する音信号処理装置、ヘッドホン装置および音信号処理方法を提供することにある。 The present invention has been made in view of these problems, and an object thereof is to provide a sound signal processing device, a headphone device, and a sound signal processing method for processing a sound signal using a brain signal.
上記課題を解決するために、本発明のある態様の音信号処理装置は、複数の音信号の波形の各々と測定された脳波形の相関値を求める相関計算部と、複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含む。 In order to solve the above problems, a sound signal processing device according to an aspect of the present invention includes a correlation calculation unit that obtains a correlation value between each of a plurality of sound signal waveforms and a measured brain waveform, and a plurality of sound signals. The sound signal having the largest correlation value is specified as a listening sound, and weighted so that the sound signal specified as the listening sound is emphasized over other sound signals, and the plurality of sound signals are A weighting combining unit for combining.
本発明の別の態様は、ヘッドホン装置である。この装置は、脳波形を測定する脳波形測定部と、測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、前記重み付け合成部により合成された音信号を出力する音出力部とを含む。 Another aspect of the present invention is a headphone device. The apparatus includes a brain waveform measurement unit that measures a brain waveform, a correlation calculation unit that obtains a correlation value between the measured brain waveform and the waveform of a plurality of sound signals, and the correlation value is the highest among the plurality of sound signals. A specifying unit that specifies a loud sound signal as a listening sound, a weighting combining unit that combines the plurality of sound signals after weighting the sound signal specified as the listening sound to be emphasized more than other sound signals; And a sound output unit for outputting the sound signal synthesized by the weighting synthesis unit.
本発明のさらに別の態様は、音信号処理方法である。この方法は、測定された脳波形と複数の音信号の波形の相関値を求めるステップと、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含む。 Yet another embodiment of the present invention is a sound signal processing method. The method includes obtaining a correlation value between the measured brain waveform and a plurality of sound signal waveforms, identifying a sound signal having the largest correlation value among the plurality of sound signals as a listening sound, And synthesizing the plurality of sound signals after weighting the sound signal specified as the listening sound so as to be emphasized more than other sound signals.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a data structure, a recording medium, and the like are also effective as an aspect of the present invention.
本発明によれば、脳信号を利用することで、人が聴いている音信号を適切に信号処理することができる。 According to the present invention, a sound signal that a person is listening to can be appropriately processed by using a brain signal.
図１は、本実施の形態に係る音信号処理装置１００の構成図である。 FIG. 1 is a configuration diagram of a sound signal processing apparatus 100 according to the present embodiment.
脳波形測定部１０は、人の脳波を非侵襲的な方法で測定する。音信号の脳内処理を正確に把握するには、リアルタイム性が要求される。そのため、時間分解能の高い脳神経活動信号を扱う必要がある。時間分解能の高い脳信号を計測できる非侵襲的計測装置として、脳磁図（ＭＥＧ；magnetoencephalogram）計と脳波（ＥＥＧ；electroencephalogram）計がある。 The brain waveform measuring unit 10 measures a human brain wave by a non-invasive method. Real-time performance is required to accurately grasp the brain processing of sound signals. Therefore, it is necessary to handle cranial nerve activity signals with high time resolution. As a non-invasive measuring apparatus capable of measuring a brain signal with high temporal resolution, there are a magnetoencephalogram (MEG) meter and an electroencephalogram (EEG) meter.
ここでは脳磁図計を利用した実験例を紹介するが、脳磁図計は装置が大がかりで高価であり、人に対する拘束性も高いため、実験には適しても、実用装置には適さない。そこで、実用的には脳波計を用いるのが好適である。一例として、ペーストレスの電極を人の頭部に装着して脳信号を測定するヘルメット型の脳波測定器具を使用するのが利便性の面で好ましい。 Here, an experimental example using a magnetoencephalograph will be introduced. However, the magnetoencephalograph is large and expensive, and has high restraint on humans, so it is suitable for experiments but not for practical devices. Therefore, it is preferable to use an electroencephalograph practically. As an example, it is preferable in terms of convenience to use a helmet-type electroencephalogram measuring instrument that measures a brain signal by attaching a pasteless electrode to a human head.
リアルタイムデータ処理部３０は、脳波形測定部１０により測定された脳信号と、ユーザがヘッドホンやスピーカーで聴く音楽などの音信号とをリアルタイムで処理する。 The real-time data processing unit 30 processes the brain signal measured by the brain waveform measurement unit 10 and the sound signal such as music that the user listens to through headphones or speakers in real time.
脳波形測定部１０により測定された脳信号は、外来ノイズに加え、自発性（背景活動）脳磁場（脳波）やその他の刺激誘発脳磁場（脳波）などの重ね合わせ波形であり、目的の信号を単独波形として取り出すことは困難である。そこで、波形を単独で取り出すことをせずに、音信号との相関性などを指標にして、脳がどの音に注目しているかを判定する。 The brain signal measured by the brain waveform measuring unit 10 is a superimposed waveform of spontaneous (background activity) brain magnetic field (electroencephalogram) and other stimulus-induced brain magnetic fields (electroencephalogram) in addition to external noise, and the target signal. Is difficult to extract as a single waveform. Therefore, it is determined which sound the brain is paying attention to by using the correlation with the sound signal as an index without taking out the waveform alone.
リアルタイムデータ処理部３０は、Ａ／Ｄ変換部１２と、相関計算部１４と、注聴音特定部１６と、音信号波形データ記憶部１８とを含む。 The real-time data processing unit 30 includes an A / D conversion unit 12, a correlation calculation unit 14, a listening sound specifying unit 16, and a sound signal waveform data storage unit 18.
Ａ／Ｄ変換部１２は、脳波形測定部１０により測定された脳信号をデジタルデータに変換し、相関計算部１４に供給する。音信号波形データ記憶部１８には、ユーザがヘッドホンやスピーカーで聴いている複数の音信号の波形データが音信号処理部４０から供給されて保持される。 The A / D conversion unit 12 converts the brain signal measured by the brain waveform measurement unit 10 into digital data and supplies the digital data to the correlation calculation unit 14. In the sound signal waveform data storage unit 18, waveform data of a plurality of sound signals that the user is listening to with headphones or speakers is supplied from the sound signal processing unit 40 and held.
相関計算部１４は、音信号波形データ記憶部１８から取得した複数の音信号の各々の波形と、測定された脳波形との間で相関を求める。注聴音特定部１６は、複数の音信号の内、相関が最も大きい音信号を注聴音として特定し、特定された注聴音の識別番号を音信号処理部４０に通知する。 The correlation calculation unit 14 obtains a correlation between each waveform of the plurality of sound signals acquired from the sound signal waveform data storage unit 18 and the measured brain waveform. The listening sound specifying unit 16 specifies the sound signal having the highest correlation among the plurality of sound signals as the listening sound, and notifies the sound signal processing unit 40 of the identification number of the specified listening sound.
音信号処理部４０は、複数のマイク５０から入力される音信号を重み付け合成してヘッドホンやスピーカーなどに出力する。音信号処理部４０は、音信号入力部２０と、重み付け合成部２２と、重み設定部２４と、音出力部２６とを含む。 The sound signal processing unit 40 weights and synthesizes sound signals input from the plurality of microphones 50 and outputs the result to headphones or speakers. The sound signal processing unit 40 includes a sound signal input unit 20, a weighting synthesis unit 22, a weight setting unit 24, and a sound output unit 26.
音信号入力部２０は、複数のマイク５０から入力される複数の音信号をＡ／Ｄ変換し、重み付け合成部２２に供給する。また、音信号入力部２０は、複数の音信号のデジタルデータをリアルタイムデータ処理部３０の音信号波形データ記憶部１８に供給する。 The sound signal input unit 20 A / D converts a plurality of sound signals input from the plurality of microphones 50 and supplies the signals to the weighting synthesis unit 22. The sound signal input unit 20 supplies digital data of a plurality of sound signals to the sound signal waveform data storage unit 18 of the real-time data processing unit 30.
重み設定部２４は、注聴音特定部１６から注聴音として特定された音信号を他の音信号よりも強調するように、各マイク５０から入力された音信号に対する重み付けを設定する。重み付け合成部２２は、重み設定部２４により設定された重み付けにしたがって、各マイク５０から入力された音信号を重み付けして合成する。 The weight setting unit 24 sets weights for the sound signals input from the microphones 50 so that the sound signal specified as the listening sound by the listening sound specifying unit 16 is emphasized over the other sound signals. The weighting synthesis unit 22 weights and synthesizes the sound signals input from the microphones 50 in accordance with the weighting set by the weight setting unit 24.
重み付け合成部２２により合成された音信号は音出力部２６に供給される。音出力部２６は合成された音信号をＤ／Ａ変換してヘッドホンやスピーカーなどから出力する。 The sound signal synthesized by the weighting synthesis unit 22 is supplied to the sound output unit 26. The sound output unit 26 performs D / A conversion on the synthesized sound signal and outputs it from headphones or speakers.
図２は、人が音楽を聴いているときの脳波形を説明する図である。図２（ａ）は、曲「禁じられた遊び」を聴いているときに脳波形２００ａを示す。図２（ｂ）は、曲「きらきら星」を聴いているときに脳波形２００ｂを示す。この脳波形はＭＥＧ測定装置により実験的に取得したものである。 FIG. 2 is a diagram for explaining a brain waveform when a person is listening to music. FIG. 2A shows a brain waveform 200a when listening to the song “Forbidden play”. FIG. 2B shows a brain waveform 200b when listening to the song “Kirakira Star”. This brain waveform was experimentally acquired by the MEG measuring device.
図３は、脳波形と曲の音信号波形の相関を説明する図である。図３（ｃ）はＭＥＧチャネルの脳内配置図を示す図である。図３（ａ）、図３（ｂ）は、横軸をＭＥＧチャネル番号として、縦軸を相関の評価値としたグラフである。 FIG. 3 is a diagram for explaining the correlation between the brain waveform and the sound signal waveform of the song. FIG. 3 (c) is a diagram showing an arrangement of MEG channels in the brain. FIG. 3A and FIG. 3B are graphs in which the horizontal axis indicates the MEG channel number and the vertical axis indicates the correlation evaluation value.
図３（ａ）は、曲「禁じられた遊び」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図３（ａ）から、ほとんどのチャネルにおいて、曲「禁じられた遊び」を聴いているときの脳波形は、曲「禁じられた遊び」の音波形と相関が、曲「きらきら星」の音波形との相関よりも大きいことがわかる。 FIG. 3 (a) shows the correlation between the sound signal waveforms of the two songs for each channel regarding the brain waveform when listening to the song “Forbidden play”. It is. The solid line shows the correlation with the sound waveform of the song “Forbidden play”, and the dotted line shows the correlation with the sound waveform of the song “Kirakira star”. From FIG. 3 (a), in most channels, the brain waveform when listening to the song "Forbidden play" correlates with the sound waveform of the song "Forbidden play", and the sound wave of the song "Kirakira star" It can be seen that the correlation with the shape is larger.
図３（ｂ）は、曲「きらきら星」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図３（ｂ）から、ほとんどのチャネルにおいて、曲「きらきら星」を聴いているときの脳波形は、曲「きらきら星」の音波形と相関が、曲「禁じられた遊び」の音波形との相関よりも大きいことがわかる。 FIG. 3 (b) shows how the brain waveform when listening to the song “Kirakira Star” has a correlation for each channel between the sound signal waveforms of the two songs. . The solid line shows the correlation with the sound waveform of the song “Forbidden play”, and the dotted line shows the correlation with the sound waveform of the song “Kirakira star”. From FIG. 3B, in most channels, the brain waveform when listening to the song “Kirakira star” correlates with the waveform of the song “Kirakira star” and the waveform of the song “Forbidden play”. It can be seen that the correlation is greater than
図４は、図３（ａ）、図３（ｂ）の各チャネルにおける相関値を全チャネルで合計した結果を示す図である。左側のグラフは、曲「禁じられた遊び」を聴いているときの二つの曲との相関値を示すものであり、曲「禁じられた遊び」の方が相関が高くなっている。右側のグラフは、曲「きらきら星」を聴いているときの二つの曲との相関値を示すものであり、曲「きらきら星」の方が相関が高くなっている。 FIG. 4 is a diagram showing the result of summing the correlation values in each channel of FIGS. 3A and 3B for all channels. The graph on the left shows the correlation value between the two songs when listening to the song “Forbidden play”, and the song “Forbidden play” has a higher correlation. The graph on the right shows the correlation value between the two songs when listening to the song “Kirakira Hoshi”, and the song “Kirakira Hoshi” has a higher correlation.
このことから、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされてヘッドホンやスピーカーから出力されている状況であっても、ユーザが二つの曲「禁じられた遊び」と「きらきら星」のいずれか一方を注聴している場合は、脳波形はその注聴している曲の音波形との相関が大きく現れることが予想される。 From this, even if the two songs “Forbidden play” and “Kirakira star” are mixed and output from the headphones and speakers, the user can create two songs “Forbidden play” and “Kirakira”. When one of the stars is being listened to, the brain waveform is expected to have a large correlation with the sound waveform of the song being listened to.
図５は、二つの曲がミキシングされた状況で、いずれか一方の曲を注聴した場合の脳波形と音波形の相関を示す図である。被験者は、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされた音をヘッドホンで聴いており、いずれか一方の曲を注聴するように命令が与えられる。１０回の命令の内、３回目と９回目では曲「禁じられた遊び」を注聴するように命令され、それ以外は曲「きらきら星」を注聴するように命令されている。各回において、測定された脳波形と各曲の音波形の相関値がグラフで示されている。黒色のグラフは脳波形と曲「禁じられた遊び」の音波形の相関値、灰色のグラフは脳波形と曲「きらきら星」の音波形の相関値を示す。 FIG. 5 is a diagram showing the correlation between the brain waveform and the sound waveform when one of the two songs is listened to in a situation where the two songs are mixed. The subject is listening to the sound of the two songs “Forbidden Play” and “Kirakira Hoshi” mixed with headphones, and is instructed to listen to one of the songs. Of the ten commands, the third and ninth are commanded to listen to the song “Forbidden Play”, and the others are commanded to listen to the song “Kirakira Hoshi”. At each time, the measured correlation between the brain waveform and the sound waveform of each song is shown in a graph. The black graph shows the correlation value between the brain waveform and the sound waveform of the song “Forbidden play”, and the gray graph shows the correlation value between the brain waveform and the sound waveform of the song “Kirakira Star”.
曲「禁じられた遊び」を注聴するように命令された３回目と９回目では、脳波形は曲「禁じられた遊び」の音波形との相関の方が大きくなっていることがわかる。曲「きらきら星」を注聴するように命令されたそれ以外の回では、脳波形は、総じて曲「きらきら星」の音波形との相関の方が大きくなっていることがわかるが、４回目、５回目、７回目では曲「きらきら星」との相関の方が大きく出ており、エラーとなっている。 It can be seen that in the third and ninth times when the instruction to listen to the song “Forbidden Play” is given, the brain waveform is more correlated with the sound waveform of the song “Forbidden Play”. At other times when it was instructed to listen to the song “Kirakira Hoshi”, the brain waveform is generally more correlated with the sound waveform of the song “Kirakira Hoshi”. In the fifth and seventh times, the correlation with the song “Kirakira Hoshi” is larger, which is an error.
被験者の集中力などの問題もあり、実験結果にはばらつきや誤差があるが、複数の曲を同時に聴いている場合でも、測定された脳波形は、注聴している曲の音波形との相関の方が大きく現れる傾向があることを実験的に確認することができた。 There are also problems such as concentration of the subject, and there are variations and errors in the experimental results, but even when listening to multiple songs at the same time, the measured brain waveform is the same as the sound waveform of the music being listened to. It has been confirmed experimentally that the correlation tends to appear larger.
図６〜図９を参照して、相関計算部１４による脳波形と音信号波形の相関の求め方を説明する。 With reference to FIGS. 6 to 9, how the correlation calculation unit 14 obtains the correlation between the brain waveform and the sound signal waveform will be described.
図６は、単発音（クリック音）に対する脳信号波形を説明する図である。図６（ａ）は、図６（ｂ）のようなクリック音の音刺激を右耳に２秒間与えたときの脳信号の脳内分布を示す。図６（ｃ）は、図６（ａ）に示す２箇所の脳信号波形をグラフにしたものであり、クリック音に対する聴覚誘発脳磁場波形の典型例を示す。 FIG. 6 is a diagram for explaining a brain signal waveform for a single tone (click sound). FIG. 6A shows the distribution of brain signals in the brain when the sound stimulation of the click sound as shown in FIG. 6B is given to the right ear for 2 seconds. FIG. 6C is a graph of the two brain signal waveforms shown in FIG. 6A, and shows a typical example of the auditory evoked brain magnetic field waveform for the click sound.
図７は、単発音（クリック音）を連続して聴いた場合の脳信号波形を説明する図である。図７（ａ）に示すようにクリック音の音刺激を２５ミリ秒間隔で１秒間連続して右耳に与える。理論的には、図７（ｃ）に示すように、単発のクリック音に対するインパルス応答を合成した波形になる。図７（ｂ）は、単発音に対する図６（ｃ）の応答波形を合成した波形である。一方、図７（ｄ）は、実際に測定された脳信号波形である。図７（ｂ）と図７（ｄ）を比較すると、よく一致していることがわかる。これは脳の応答の線形性を示すものである。 FIG. 7 is a diagram for explaining a brain signal waveform when a single sound (click sound) is continuously listened to. As shown in FIG. 7 (a), a click sound stimulus is applied to the right ear continuously for 25 seconds at intervals of 25 milliseconds. Theoretically, as shown in FIG. 7C, a waveform is obtained by synthesizing an impulse response to a single click sound. FIG. 7B is a waveform obtained by synthesizing the response waveform of FIG. On the other hand, FIG. 7D shows a brain signal waveform actually measured. When FIG. 7B and FIG. 7D are compared, it can be seen that they are in good agreement. This shows the linearity of the brain response.
図８は、連続音に対する脳信号波形が生成される原理を説明する図である。連続音に対する脳信号波形は、音圧の強弱すなわち音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションで与えられることが予測される。単発音に対する脳信号波形をフーリエ変換すると高域遮断特性を示すので、音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションは、低域通過処理と同等である。 FIG. 8 is a diagram for explaining the principle of generating brain signal waveforms for continuous sounds. It is predicted that the brain signal waveform for a continuous sound is given by the convolution of the strength of sound pressure, that is, the envelope curve of a sound waveform and the brain signal waveform for a single tone. When the brain signal waveform for a single tone is Fourier transformed to exhibit a high-frequency cutoff characteristic, the convolution of the envelope curve of the sound waveform and the brain signal waveform for a single tone is equivalent to the low-pass processing.
図９は、相関計算部１４が脳波形と音波形の相関を求める方法を説明する図である。信号の時間波形を評価するためには、位相遅れ（時間遅れ）を考慮する必要があるが、これを正確に推測することは困難である。そこで、位相遅れを考慮しなくても済むように、信号のスペクトルを用いて評価する。具体的には、音信号のエンベロープ曲線のスペクトルと脳信号のスペクトルのクロススペクトルを計算し、その低周波領域での大きさを指標とする。 FIG. 9 is a diagram for explaining how the correlation calculation unit 14 obtains the correlation between the brain waveform and the sound waveform. In order to evaluate the time waveform of the signal, it is necessary to consider the phase delay (time delay), but it is difficult to accurately estimate this. Therefore, evaluation is performed using the spectrum of the signal so that the phase delay need not be taken into consideration. Specifically, the spectrum of the envelope curve of the sound signal and the cross spectrum of the spectrum of the brain signal are calculated, and the magnitude in the low frequency region is used as an index.
図９（ａ）は脳信号波形を示す。これをフーリエ変換すると、図９（ｄ）に示す脳信号波形のスペクトルが得られる。 FIG. 9A shows a brain signal waveform. When this is Fourier transformed, a spectrum of the brain signal waveform shown in FIG. 9D is obtained.
図９（ｂ）は音楽波形を示し、この音楽波形のエンベロープ波形は図９（ｃ）のようになる。図９（ｃ）のエンベロープ波形をフーリエ変換することにより、図９（ｅ）に示すエンベロープの複素共役スペクトルが得られる。 FIG. 9B shows a music waveform, and the envelope waveform of this music waveform is as shown in FIG. The complex conjugate spectrum of the envelope shown in FIG. 9 (e) is obtained by Fourier transforming the envelope waveform of FIG. 9 (c).
図９（ｄ）の脳信号波形スペクトルと図９（ｅ）のエンベロープ波形スペクトルのクロススペクトルを計算すると、図９（ｆ）のようになる。このようにして求めたクロススペクトルの低周波領域における大きさ（絶対値）を相関の評価量とし、その値が大きいほど相関が大きいと判断する。 When the cross spectrum of the brain signal waveform spectrum of FIG. 9 (d) and the envelope waveform spectrum of FIG. 9 (e) is calculated, it is as shown in FIG. 9 (f). The magnitude (absolute value) of the cross spectrum obtained in this way in the low frequency region is used as an evaluation amount of the correlation, and it is determined that the correlation is larger as the value is larger.
次に、重み付け合成部２２が複数の音信号を重み付けして合成する方法について説明する。複数の音源から音信号が出力されており、各音源の近傍に個別にマイク５０が備えられており、各マイク５０に各音源からの音信号が入力される場合、重み設定部２４は、入力された複数の音信号に対して、注聴音特定部１６により注聴音として特定された音信号の重みを他の信号の重みを相対的に大きくするように重み付けを設定すればよい。 Next, a method in which the weighting synthesis unit 22 weights and synthesizes a plurality of sound signals will be described. When sound signals are output from a plurality of sound sources, microphones 50 are individually provided in the vicinity of each sound source, and sound signals from each sound source are input to each microphone 50, the weight setting unit 24 inputs With respect to the plurality of sound signals, the weight of the sound signal specified as the listening sound by the listening sound specifying unit 16 may be set so that the weight of the other signal is relatively increased.
複数の音源から音信号が出力されているが、複数のマイク５０が必ずしも各音源の近傍に設けられていない場合は、マイク５０に入力される音を何らかの方法で分離する技術を用いて、注聴音として特定された音信号を取り出して強調する必要がある。 If sound signals are output from a plurality of sound sources, but a plurality of microphones 50 are not necessarily provided in the vicinity of each sound source, a technique for separating sounds input to the microphones 50 by some method is used. It is necessary to take out and emphasize the sound signal specified as the listening sound.
図１０は、音を空間分離する方法を説明する図である。二つの音源Ｓ１、Ｓ２から出力される二つの音信号を左右の耳で聴いている場合を想定する。これは左右の耳にマイクがあるのと同じことである。この場合、左耳に入力される音の大きさは、Ｌｓ＝ａ１Ｍ１＋ｂ１Ｍ２であり、右耳に入力される音の大きさは、Ｒｓ＝ａ２Ｍ１＋ｂ２Ｍ２である。ここで、Ｍ１、Ｍ２は各音源からの音信号の大きさである。ただし、音源Ｓ１、Ｓ２と左右の耳の間の遠近関係から、ａ１＞ａ２、ｂ１＜ｂ２である。 FIG. 10 is a diagram for explaining a method of spatially separating sounds. Assume that two sound signals output from the two sound sources S1 and S2 are listened to by the left and right ears. This is the same as having microphones on the left and right ears. In this case, the volume of sound input to the left ear is Ls = a 1 M1 + b 1 M2, and the volume of sound input to the right ear is Rs = a 2 M1 + b 2 M2. Here, M1 and M2 are the magnitudes of sound signals from the respective sound sources. However, from the perspective relationship between the sound sources S1 and S2 and the left and right ears, a 1 > a 2 and b 1 <b 2 are satisfied.
Ｍ１について解くと、Ｍ１＝（ｂ２Ｌｓ−ｂ１Ｒｓ）／（ａ１ｂ２−ａ２ｂ１）となる。大きさを無視すれば、Ｍ１はＬｓ−αＲｓで与えられる。ただしα＝ｂ１／ｂ２である。ここでαを変えれば、左耳にＭ１だけが聞こえてくる状態を作り出すことができる。より多くのマイクを使用すれば、より多くの音源に対応して、特定の音源からの音信号を分離することができるようになる。 Solving for M1, M1 = (b 2 Ls−b 1 Rs) / (a 1 b 2 −a 2 b 1 ). If the magnitude is ignored, M1 is given by Ls−αRs. However, α = b 1 / b 2 . If α is changed here, it is possible to create a state in which only M1 can be heard in the left ear. If more microphones are used, it is possible to separate sound signals from a specific sound source corresponding to more sound sources.
このように複数の音源からの音信号が複数のマイクで集音されるとき、マイクの指向性や感度を調整することで、特定の音源からの音信号を取り出してマイクに集音させることができる。 When sound signals from multiple sound sources are collected by multiple microphones in this way, the sound signals from a specific sound source can be extracted and collected by the microphones by adjusting the directivity and sensitivity of the microphones. it can.
より高度な音源分離の手法として、ブラインド音源分離（ＢＳＳ；Blind Source Separation）がある。ＢＳＳは、複数のマイクに線形に合成された信号が入力された場合に、音源信号や合成過程の知識を用いずに、観測信号のみから音源信号を推定して分離する技術である。独立成分分析法（ＩＣＡ；Independent Component Analysis）を用いて音源分離する手法もある。 As a more advanced sound source separation method, there is a blind source separation (BSS). BSS is a technique for estimating and separating a sound source signal from only an observation signal without using a sound source signal or knowledge of a synthesis process when linearly synthesized signals are input to a plurality of microphones. There is also a technique for sound source separation using independent component analysis (ICA).
図１１は、音の空間分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。 FIG. 11 is a diagram for explaining a method of weighting and synthesizing a plurality of sound signals using a sound space separation technique.
複数の音源６０ａ〜６０ｄに対して、複数のマイク５０ａ〜５０ｃが配置されたとする。各マイク５０ａ、５０ｂ、５０ｃに集音される音信号に対する重みＷａ、Ｗｂ、Ｗｃを調整して加算することで、上述の音の空間分離技術により、複数の音源６０ａ〜６０ｄから出力された複数の音信号の内、注聴音として特定された音信号を強調した合成信号を生成することができる。 Assume that a plurality of microphones 50a to 50c are arranged for a plurality of sound sources 60a to 60d. By adjusting and adding the weights Wa, Wb, Wc to the sound signals collected by the microphones 50a, 50b, 50c, the plurality of sound sources 60a-60d output from the plurality of sound sources 60a-60d by the sound spatial separation technique described above. The synthesized signal in which the sound signal specified as the listening sound is emphasized can be generated.
図１２は、周波数帯域によって音を分離する技術を用いて複数の音信号を重み付け合成する方法を説明する図である。 FIG. 12 is a diagram for explaining a method of weighting and synthesizing a plurality of sound signals using a technique for separating sounds according to frequency bands.
複数の音源６０ａ〜６０ｅに対して、マイク５０が一つしかない場合、音を空間的に分離することはできない。そこで、マイク５０に入力された音信号を複数の周波数帯域に分離し、各周波数帯域の音信号を重み付けした上で加算する。元の音情報を保持するために、音信号を周波数帯域に分離する際、重なりをもたせて分離させることが好ましい。 When there is only one microphone 50 for the plurality of sound sources 60a to 60e, the sound cannot be spatially separated. Therefore, the sound signal input to the microphone 50 is separated into a plurality of frequency bands, and the sound signals in each frequency band are weighted and added. In order to retain the original sound information, it is preferable to separate the sound signals with an overlap when separating them into frequency bands.
音楽により、周波数スペクトル構造が異なるので、各音源から出力される音信号の周波数スペクトルを解析し、周波数スペクトル構造に合った周波数帯域を音源毎に選択すれば、各音源から出力される音信号をかなりの精度で分離することができる。 Since the frequency spectrum structure differs depending on the music, if the frequency spectrum of the sound signal output from each sound source is analyzed and the frequency band suitable for the frequency spectrum structure is selected for each sound source, the sound signal output from each sound source is It can be separated with considerable accuracy.
以上説明した実施の形態の音信号処理装置によれば、人混みの中で注聴している人の声を強調してユーザの聴覚にフィードバックすることができる。たとえば、高次難聴者の補聴器などの医療用具や健聴者用の聴覚補助装置などに応用することができる。 According to the sound signal processing device of the embodiment described above, it is possible to emphasize the voice of the person who is listening in a crowd and feed it back to the user's hearing. For example, the present invention can be applied to medical devices such as hearing aids for higher-level hearing loss and hearing aid devices for normal hearing.
また、本装置によれば、ユーザが注聴している音を第三者が言語手段を介さずに知ることができる。これにより、言語能力が未熟な幼児や言語障害のある人であっても、特定の音に注聴することで第三者に意思を伝えることができるので、コミュニケーションの手助けになる。また、講演やコンサートなどが行われている会場において、聴衆が講演やコンサートに聴き入っているかどうかをモニタする装置に応用することもできる。 Moreover, according to this apparatus, the sound which the user is listening can be known by a third party without using language means. As a result, even an infant who is immature in language or a person with a language disability can communicate with a third party by listening to a specific sound, which helps communication. In addition, the present invention can be applied to a device that monitors whether or not the audience is listening to a lecture or concert at a venue where a lecture or concert is held.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
１０ 脳波形測定部、 １２ Ａ／Ｄ変換部、 １４ 相関計算部、 １６ 注聴音特定部、 １８ 音信号波形データ記憶部、 ２０ 音信号入力部、 ２２ 重み付け合成部、 ２４ 重み設定部、 ２６ 音出力部、 ３０ リアルタイムデータ処理部、 ４０ 音信号処理部、 ５０ マイク、 ６０ 音源、 １００ 音信号処理装置。 10 brain waveform measurement unit, 12 A / D conversion unit, 14 correlation calculation unit, 16 audible sound identification unit, 18 sound signal waveform data storage unit, 20 sound signal input unit, 22 weighting synthesis unit, 24 weight setting unit, 26 sound Output unit, 30 real-time data processing unit, 40 sound signal processing unit, 50 microphone, 60 sound source, 100 sound signal processing device.
Claims (8)
複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含むことを特徴とする音信号処理装置。 A correlation calculation unit for obtaining a correlation value between each of the waveforms of the plurality of sound signals and the measured brain waveform;
A specifying unit that specifies a sound signal having the largest correlation value as a listening sound among a plurality of sound signals;
A sound signal processing apparatus comprising: a weighting synthesis unit that synthesizes the plurality of sound signals after weighting so that the sound signal specified as the audible sound is emphasized more than other sound signals.
測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、
前記重み付け合成部により合成された音信号を出力する音出力部と
を含むことを特徴とするヘッドホン装置。 A brain waveform measuring unit for measuring brain waveforms;
A correlation calculation unit for obtaining a correlation value between the measured brain waveform and a plurality of sound signal waveforms;
Among the plurality of sound signals, a specifying unit that specifies the sound signal having the largest correlation value as a listening sound,
A weighting synthesis unit that synthesizes the plurality of sound signals after weighting the sound signal identified as the audible sound to be emphasized over other sound signals;
And a sound output unit that outputs the sound signal synthesized by the weighting synthesis unit.
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含むことを特徴とする音信号処理方法。 Determining a correlation value between the measured brain waveform and the waveforms of the plurality of sound signals;
A sound signal having the largest correlation value among the plurality of sound signals is identified as a listening sound;
A sound signal processing method comprising: weighting a sound signal specified as a audible sound so as to be emphasized more than other sound signals, and synthesizing the plurality of sound signals.
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとをコンピュータに実行させることを特徴とするプログラム。 Determining a correlation value between the measured brain waveform and the waveforms of the plurality of sound signals;
A sound signal having the largest correlation value among the plurality of sound signals is identified as a listening sound;
A program for causing a computer to execute a step of synthesizing the plurality of sound signals after weighting a sound signal specified as a audible sound so as to be emphasized more than other sound signals.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008257692A JP5219202B2 (en) | 2008-10-02 | 2008-10-02 | Sound signal processing device, headphone device, and sound signal processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008257692A JP5219202B2 (en) | 2008-10-02 | 2008-10-02 | Sound signal processing device, headphone device, and sound signal processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010082375A JP2010082375A (en) | 2010-04-15 |
| JP5219202B2 true JP5219202B2 (en) | 2013-06-26 |
Family
ID=42246902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008257692A Expired - Fee Related JP5219202B2 (en) | 2008-10-02 | 2008-10-02 | Sound signal processing device, headphone device, and sound signal processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5219202B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479448A (en) * | 2017-09-21 | 2017-12-15 | 广州市润杰医疗器械有限公司 | A kind of device and method for eliminating signal transmitting and receiving delay |
| US10345901B2 (en) | 2015-04-30 | 2019-07-09 | Samsung Electronics Co., Ltd. | Sound outputting apparatus, electronic apparatus, and control method thereof |
| US10824232B2 (en) | 2015-04-30 | 2020-11-03 | Samsung Electronics Co., Ltd. | Sound outputting apparatus, electronic apparatus, and control method thereof |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011135789A1 (en) * | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | Brain wave measuring device, electric noise estimation method, and computer program for executing electric noise estimation method |
| EP2560412A1 (en) * | 2012-10-08 | 2013-02-20 | Oticon A/s | Hearing device with brain-wave dependent audio processing |
| EP2736273A1 (en) * | 2012-11-23 | 2014-05-28 | Oticon A/s | Listening device comprising an interface to signal communication quality and/or wearer load to surroundings |
| KR102370081B1 (en) | 2021-01-07 | 2022-03-03 | 서울과학기술대학교 산학협력단 | Volume controlled headphone using brain wave detection |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2753991B2 (en) * | 1986-03-27 | 1998-05-20 | セイコーエプソン株式会社 | Training equipment |
| JPH0678998A (en) * | 1992-08-31 | 1994-03-22 | Olympus Optical Co Ltd | Acoustic signal control device |
| US6602202B2 (en) * | 2000-05-19 | 2003-08-05 | Baycrest Centre For Geriatric Care | System and methods for objective evaluation of hearing using auditory steady-state responses |
| US6620100B2 (en) * | 2001-10-17 | 2003-09-16 | Natus Medical Inc. | Hearing evaluation device with noise-weighting capabilities |
| US8014853B2 (en) * | 2005-05-11 | 2011-09-06 | Northwestern University | Neurophysiological central auditory processing evaluation system and method |
| WO2008038650A1 (en) * | 2006-09-27 | 2008-04-03 | National University Corporation Chiba University | Evoked potential inspection device and evoked potential inspection system |
-
2008
- 2008-10-02 JP JP2008257692A patent/JP5219202B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10345901B2 (en) | 2015-04-30 | 2019-07-09 | Samsung Electronics Co., Ltd. | Sound outputting apparatus, electronic apparatus, and control method thereof |
| US10824232B2 (en) | 2015-04-30 | 2020-11-03 | Samsung Electronics Co., Ltd. | Sound outputting apparatus, electronic apparatus, and control method thereof |
| CN107479448A (en) * | 2017-09-21 | 2017-12-15 | 广州市润杰医疗器械有限公司 | A kind of device and method for eliminating signal transmitting and receiving delay |
| CN107479448B (en) * | 2017-09-21 | 2019-11-26 | 广州市润杰医疗器械有限公司 | A kind of device and method for eliminating signal transmitting and receiving delay |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010082375A (en) | 2010-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5219202B2 (en) | Sound signal processing device, headphone device, and sound signal processing method | |
| US9432777B2 (en) | Hearing device with brainwave dependent audio processing | |
| Mirkovic et al. | Target speaker detection with concealed EEG around the ear | |
| JP6917373B2 (en) | Personalization of auditory stimuli | |
| JP5577449B2 (en) | Hearing aid suitable for EEG detection and method for adapting such a hearing aid | |
| US11043210B2 (en) | Sound processing apparatus utilizing an electroencephalography (EEG) signal | |
| Biermann et al. | Parallels between timing of onset responses of single neurons in cat and of evoked magnetic fields in human auditory cortex | |
| EP2942011A1 (en) | Device for hearing test and auditory assessment | |
| CN103493512A (en) | Binaural hearing aid system and a method of providing binaural beats | |
| Petoe et al. | On chirp stimuli and neural synchrony in the suprathreshold auditory brainstem response | |
| JP5406414B2 (en) | Unpleasant sound pressure estimation system, unpleasant sound pressure estimation apparatus, unpleasant sound pressure estimation system operating method, and computer program therefor | |
| Silva et al. | Estimating loudness growth from tone-burst evoked responses | |
| Balkenhol et al. | Cochlear implant and hearing aid: objective measures of binaural benefit | |
| Billings et al. | Signal type and signal-to-noise ratio interact to affect cortical auditory evoked potentials | |
| Akeroyd | A binaural beat constructed from a noise (L) | |
| Schvartz-Leyzac et al. | Fundamental-frequency discrimination using noise-band-vocoded harmonic complexes in older listeners with normal hearing | |
| KR102499848B1 (en) | Binaural beat sound output device with improved sound field and its method | |
| Kong et al. | Sensitivity to a break in interaural correlation is co-modulated by intensity level and interaural delay | |
| Chen et al. | Head influence platform for cochlear implant | |
| Verhey et al. | Comodulation detection difference and binaural unmasking | |
| Denk et al. | Measuring hearing instrument sound modification using integrated ear-EEG | |
| CN111544737B (en) | Binaural beat sound output device with improved sound field sense and method thereof | |
| da Silva Souto et al. | Influence of attention on speech-rhythm evoked potentials: first steps towards an auditory brain-computer interface driven by speech | |
| Goldman et al. | Effects of the selective disruption of within-and across-channel cues to comodulation masking release | |
| Santika et al. | Psychophysiological responses to changes in the acoustic design of concert halls |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130301 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5219202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |