JP2009260574A - 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 - Google Patents
音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 Download PDFInfo
- Publication number
- JP2009260574A JP2009260574A JP2008106125A JP2008106125A JP2009260574A JP 2009260574 A JP2009260574 A JP 2009260574A JP 2008106125 A JP2008106125 A JP 2008106125A JP 2008106125 A JP2008106125 A JP 2008106125A JP 2009260574 A JP2009260574 A JP 2009260574A
- Authority
- JP
- Japan
- Prior art keywords
- head
- transfer function
- audio signal
- unit
- related transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
【課題】立体音響の再生処理を行う場合に、演算処理に必要な構成や演算処理量を削減すると共に、良好な再生ができるようにする。
【解決手段】ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて頭部伝達関数データベースとして記憶部32に記憶する。そして、記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を処理部33で抽出する。その抽出した伝達関数を、入力した音声信号に乗算して、バイノーラル立体音響を生成させるための2チャンネルの音声信号を算出部37で得る。
【選択図】図1
【解決手段】ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて頭部伝達関数データベースとして記憶部32に記憶する。そして、記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を処理部33で抽出する。その抽出した伝達関数を、入力した音声信号に乗算して、バイノーラル立体音響を生成させるための2チャンネルの音声信号を算出部37で得る。
【選択図】図1
Description
本発明は、例えば携帯電話端末などの音声信号を扱う比較的小型の電子機器に適用して好適な音声信号処理装置及び音声信号処理方法、並びにその音声信号処理装置を備えた携帯端末に関し、特に、立体音響を再生させる技術に関する。
従来、音声信号を扱うポータブル音声機器が各種実用化されている。例えば、音楽データをダウンロードして記憶し、その記憶した音楽データを、装着されたヘッドホンから再生させる携帯電話端末が普及している。また、携帯電話端末としての機能を備えてなく、音楽データの記憶と再生を行う、いわゆるポータブル型再生装置も各種実用化されている。
このような音楽データなどを再生する機能を備えた機器は、ヘッドホンを接続して、そのヘッドホンから再生させるのが一般的である。また、機器そのものが、小型のスピーカを内蔵して、その内蔵されたスピーカから出力させるようにしたものもある。
通常、この種の機器で音楽再生を行う際には、入力した音声信号が2チャンネルの音声信号であることが一般的である。従って、ヘッドホンから再生させる場合には、その2チャンネルの音声信号をそのままヘッドホンの左右のチャンネルのユニットに供給して出力させるようにしている。ところが、一般的な2チャンネルの音声信号は、ある程度の間隔を離して設置したスピーカとリスナーが向き合ったときに正しい立体音響となる、いわゆるステレオフォニックの音声信号である。
これに対して、ヘッドホンから再生される音声信号として、リスナーの頭部にヘッドホンを装着した際に、正しい立体音響で再生されるバイノーラル方式の音声信号が知られている。
2チャンネルのバイノーラル音声信号を生成させる処理は、近年の集積回路化されたDSPを使用することで可能となっており、高機能化された音声処理装置などで実用化されている。例えば、ビデオ再生装置と組み合わせて使用されるヘッドホン装置として、映画などのビデオプログラムを視聴する際に、立体音響が再生される処理を行うものが実用化されている。
2チャンネルのバイノーラル音声信号を生成させる処理は、近年の集積回路化されたDSPを使用することで可能となっており、高機能化された音声処理装置などで実用化されている。例えば、ビデオ再生装置と組み合わせて使用されるヘッドホン装置として、映画などのビデオプログラムを視聴する際に、立体音響が再生される処理を行うものが実用化されている。
特許文献1には、2チャンネルのバイノーラル方式で集音された音声信号の処理についての開示がある。
特開2005−223713号公報
先に述べたように、ポータブル型の音声再生装置の1つとして、携帯電話端末が普及している。この携帯電話端末に、上述した2チャンネルのバイノーラル音声信号を生成させる処理回路を内蔵させれば、携帯電話端末にヘッドホンを接続して、音楽などを再生させる際に、正しい立体音響で再生させることができ、好ましい。
ところが、従来のバイノーラル音声信号を生成させる処理構成は、DSPと称される非常に大規模な回路構成の集積回路を使用した非常に大規模な演算処理が必要であった。このため、例えば携帯電話端末の如き、ポータブル型の電子機器に内蔵させるのには、演算処理能力、コストなどのいずれの面からも無理があった。演算処理量が多いということは、バッテリの持続時間も短くしてしまい、好ましくない。
また、別の問題として、従来のバイノーラル音声信号を生成させる処理構成は、実際に収音した音を解析したデータに基いて行うために生じる問題がある。即ち、解析用のデータは、人間の頭部を模した形状のダミーヘッドを使用して、実際の音源からの音が、そのダミーヘッドの耳介の部分に装着したマイクロフォンで収音したものである。このため、ダミーヘッドのサイズとほぼ一致した頭部のサイズを有するリスナーが聴取する場合には、適正な立体音響が再現されるが、頭部のサイズが異なるリスナーが聴取する場合には、適正でない可能性がある。
本発明はかかる点に鑑みてなされたものであり、立体音響の再生処理を行う場合に、演算処理に必要な構成や演算処理量を削減すると共に、良好な再生ができるようにすることを目的とする。
本発明は、ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて頭部伝達関数データベースとして記憶する。そして、記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する。その抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る。
本発明によると、制限されたサンプル数に間引いた頭部伝達関数のデータベースを用意することで、音声信号処理を行う機器が必要な記憶手段の記憶容量をそれだけ削減することが出来る。また、そのサンプル数が間引かれた頭部伝達関数を利用して演算処理を行うことで、バイノーラル立体音響を生成するための演算処理量を削減することが出来る。
本発明によると、音声信号処理を行う機器が必要な記憶手段の記憶容量をそれだけ削減することが出来ると共に、バイノーラル立体音響を生成するための演算処理量を削減することが出来る。従って、本発明によると機器構成の簡易化につながり、例えば携帯電話端末の如きポータブル型の電子機器に内蔵させるのに適した構成に出来る。
以下、本発明の実施の形態を、添付図面を参照して説明する。
本実施の形態においては、携帯用として小型に構成された無線通信端末である、携帯電話端末に適用した例としてある。その携帯電話端末が内蔵した音声信号処理機能部において、以下に説明する処理を実行するようにしたものである。
本実施の形態においては、携帯用として小型に構成された無線通信端末である、携帯電話端末に適用した例としてある。その携帯電話端末が内蔵した音声信号処理機能部において、以下に説明する処理を実行するようにしたものである。
まず、図2を参照して、本実施の形態の携帯電話端末の全体の構成例を説明する。
図2に示すように、制御部11を備えて、この制御部11が、携帯電話端末内の各部の処理動作を制御する。制御部11は、制御ライン28を介して、端末内の各部とデータのやり取りをおこなう。
図2に示すように、制御部11を備えて、この制御部11が、携帯電話端末内の各部の処理動作を制御する。制御部11は、制御ライン28を介して、端末内の各部とデータのやり取りをおこなう。
また本実施の形態の携帯電話端末は、通信端末として必要な無線通信処理を行う通信部12を備え、通信部12にアンテナ13が接続してある。この通信部12が、無線電話用の基地局と無線通信を行って、基地局との間で、双方向のデータ伝送を行う。通信部12は、データライン29を介して、基地局側から受信したデータを端末内の各部に送出する。また、端末内の各部17からデータライン29を介して伝送されたデータを、基地局側に送信させる。
データライン29には、通信部13の他に、メモリ14と表示部15と音声処理部17と立体音響処理部21とが接続してある。メモリ14は、本実施の形態の端末を動作させるために必要なプログラムや、ユーザが記憶させた各種データなどを記憶する。ダウンロードなどで得た音楽データなどの音声信号の記憶についても、メモリ14が行う。後述するデータベースについても、このメモリ14を記憶手段として使用しても良い。
表示部15は、液晶表示ディスプレイや有機ELディスプレイなどが表示手段として使用され、制御部11の制御で、各種情報の表示を行う。後述する設定操作時には、この表示部15での表示に従ってユーザは操作部16での設定操作を行う。
操作部16は、携帯電話端末として必要な数字や記号などのダイヤルキー、各種機能キーなどで構成される。これらの操作部16を構成する各キーの操作情報は、制御部11に供給される。
表示部15は、液晶表示ディスプレイや有機ELディスプレイなどが表示手段として使用され、制御部11の制御で、各種情報の表示を行う。後述する設定操作時には、この表示部15での表示に従ってユーザは操作部16での設定操作を行う。
操作部16は、携帯電話端末として必要な数字や記号などのダイヤルキー、各種機能キーなどで構成される。これらの操作部16を構成する各キーの操作情報は、制御部11に供給される。
音声処理部17は、音声信号の処理を行う処理部であり、スピーカ18及びマイクロフォン19が接続してある。このスピーカ18及びマイクロフォン19は、通話時に受話器として使用されるものである。即ち、通信部12から音声処理部17に供給される音声データを、音声処理部17で復調してアナログ音声信号とし、増幅などのアナログ処理を行ってスピーカ18から放音させる。また、マイクロフォン19が集音した音声信号を、音声処理部17でデジタル音声データに変調し、その変調された音声データを通信部12に供給して、無線送信などを行う。
また、音声処理部17に供給される音声データの内で、立体音響として出力させる音声については、次に説明する立体音響処理部21に供給して処理させる。
また、音声処理部17に供給される音声データの内で、立体音響として出力させる音声については、次に説明する立体音響処理部21に供給して処理させる。
そして本実施の形態の携帯電話端末は、立体音響処理部21を備える。立体音響処理部21は、バイノーラル立体音響としての2チャンネルの音声信号を生成する処理部である。この立体音響処理部21で処理する音声信号は、音声処理部17から供給される場合の他に、メモリ14などから読み出してデータライン29を介して供給される場合や、通信部12で受信した音声データがデータライン29を介して供給される場合など、いずれの音声信号であってもよい。立体音響処理部21でバイノーラル立体音響としての2チャンネルの音声信号を生成させる具体的な処理については、図1などを参照して後述する。
立体音響処理部21で生成された音声信号は、携帯電話端末本体に内蔵された左右のチャンネル用の2つのスピーカ22L,22Rから出力させる場合と、出力端子23に接続されたヘッドホン(図示せず)から出力させる場合とがある。スピーカ22L,22Rは、携帯電話端末本体に内蔵されるスピーカであるので、比較的小型なスピーカユニットを使用したスピーカであるが、端末本体の周囲にいるリスナーに対して再生音を聞かせることが出来程度に増幅して出力させるスピーカである。
なお、ヘッドホンから出力させる場合には、出力端子23にヘッドホンを直接接続していわゆる有線接続する場合の他に、例えばBluetooth(商標)方式などでヘッドホンと無線通信する近距離無線通信部を内蔵させて、その近距離無線通信部を介してヘッドホンに音声信号を供給する構成としてもよい。
なお、ヘッドホンから出力させる場合には、出力端子23にヘッドホンを直接接続していわゆる有線接続する場合の他に、例えばBluetooth(商標)方式などでヘッドホンと無線通信する近距離無線通信部を内蔵させて、その近距離無線通信部を介してヘッドホンに音声信号を供給する構成としてもよい。
次に、図2に示した立体音響処理部21の構成例を、図1を参照して説明する。
図1は、本実施の形態による立体音響処理部21の全体構成例を示した図である。
図1の左側から信号の流れに沿って順に説明すると、まず音源方向設定部31を有する。この音源方向設定部31は、出力させる音声信号により生成される立体音響中に音源を定位させる位置を設定するものである。この音源方向は、例えば、図2に示した制御部11の制御に基づいて、処理する音声信号ごとに予め決められた位置とする。或いは、処理する音声信号の付加情報などに、音源位置についての指示がある場合には、その位置とする。或いはまた、図1に示した操作部16のユーザ操作などで、音源位置を自由に設定できるようにしてもよい。
図1は、本実施の形態による立体音響処理部21の全体構成例を示した図である。
図1の左側から信号の流れに沿って順に説明すると、まず音源方向設定部31を有する。この音源方向設定部31は、出力させる音声信号により生成される立体音響中に音源を定位させる位置を設定するものである。この音源方向は、例えば、図2に示した制御部11の制御に基づいて、処理する音声信号ごとに予め決められた位置とする。或いは、処理する音声信号の付加情報などに、音源位置についての指示がある場合には、その位置とする。或いはまた、図1に示した操作部16のユーザ操作などで、音源位置を自由に設定できるようにしてもよい。
音源方向設定部31が出力する音源位置のデータは、HRTF処理部33に供給する。HRTF処理部33は、頭部伝達関数(HRTF:Head-Related Transfer Function)を処理する処理部であり、HRTF(頭部伝達関数)データベース32に格納された頭部伝達関数の中から、適切な頭部伝達関数を抽出する。HRTFデータベース32には、リスナーの位置を中心とした水平方向の周囲360°のそれぞれの音源位置での左右のチャンネルの頭部伝達関数を記憶してある。このデータベース32は、例えば図2に示したメモリ14を使用する。或いは、立体音響処理部21内に専用の記憶部を用意しても良い。本実施の形態においては、このHRTFデータベース32に格納させる頭部伝達関数として、ダミーヘッドを使用して測定された本来の頭部伝達関数のサンプリング値を間引いたサンプリング値として、データ量を大幅に削減したデータとしてある。また、データベースで示される音源位置についても、例えば10°刻みで周囲360°の音源位置のデータとして、比較的粗い位置間隔としてある。
HRTF処理部33で抽出された頭部伝達関数は、パーソナライズ部34に供給する。パーソナライズ部34は、HRTFモデル算出部36が算出した、頭部伝達関数のモデルのデータを使用して、HRTF処理部33から供給される頭部伝達関数を修正する。HRTFモデル算出部36で算出する頭部伝達関数のモデルのデータは、サイズ設定部35で設定されたリスナーの頭部のサイズのデータに基いて算出が行われる。従って、パーソナライズ部34では、サイズ設定部35で設定されたリスナーの頭部のサイズに基いた修正が行われることになる。サイズ設定部35でのリスナーの頭部のサイズの設定は、例えば、図2に示した操作部16の操作で、立体音響の設定画面を表示部15に表示させた上で、リスナーの頭部のサイズと耳介のサイズをユーザ操作で選択することで実行される。設定されたリスナーの頭部及び耳介のサイズの設定値は、メモリ14などに記憶されて読み出される。
パーソナライズ部34で修正された頭部伝達関数は、立体音響算出部37に供給される。立体音響算出部37では、音声信号入力部38に入力した音声信号について、供給される頭部伝達関数を使用した演算処理で、立体音響化されたバイノーラル信号としての2チャンネルの音声信号を得る。
立体音響算出部37で得られた2チャンネルの音声信号は、出力端子23に接続されたヘッドホン24に供給して出力させる。或いは、立体音響算出部37で得られた2チャンネルの音声信号を、クロストークキャンセル部39に供給して、2つのチャンネルのクロストーク成分を除去した上で、携帯電話端末本体に内蔵されたスピーカ22L,22Rから出力させる。既に説明したように携帯電話端末本体からヘッドホン24への伝送については、無線伝送するようにしてもよい。
次に、立体音響処理部21内の各部の具体的な例を、図3以降を参照して説明する。
図3は、HRTFデータベース32に格納させる頭部伝達関数(HRTF)の生成処理例を示した構成である。この図3に示した処理構成は、データベースに格納させるデータを生成させる際の処理であるので、携帯電話端末を製造するメーカー側で、端末に格納させるソフトウェアを製作する際に用意するものである。
図3は、HRTFデータベース32に格納させる頭部伝達関数(HRTF)の生成処理例を示した構成である。この図3に示した処理構成は、データベースに格納させるデータを生成させる際の処理であるので、携帯電話端末を製造するメーカー側で、端末に格納させるソフトウェアを製作する際に用意するものである。
図3に示したように、まず測定された頭部伝達関数を記憶したHRTFデータベース51を用意する。このデータベース51に記憶された頭部伝達関数は、ダミーヘッドの両耳の箇所に装着したマイクロフォンで、それぞれの音源位置での発する音のインパルス応答を収音する測定を行って、その測定値に基いた頭部伝達関数である。この測定に使用するダミーヘッドは、標準的なサイズのものとしてある。それぞれの音源位置から拾った音は、図示しない収音処理構成で、インパルス応答を所定のサンプリング周期による512サンプル点で測定した信号とする。その512サンプル点の信号で構成される頭部伝達関数を、1つの音源位置の頭部伝達関数として記憶する。また、音源位置は、ダミーヘッドの周囲水平方向の360°について、例えば5°刻みの位置に設定してある。それぞれの音源位置の頭部伝達関数には、両耳時間差情報(ITD:Inter-aural Time Differences)と、振幅情報(MPS:Minimum Phase Systems)とがある。
このデータベース51に記憶された頭部伝達関数は、一般的な頭部伝達関数として既知のものであり、既存の頭部伝達関数が使用可能であれば、そのまま使用してよい。
このデータベース51に記憶された頭部伝達関数は、一般的な頭部伝達関数として既知のものであり、既存の頭部伝達関数が使用可能であれば、そのまま使用してよい。
そして、データベース51に記憶された頭部伝達関数の内の、両耳時間差抽出部52で両耳時間差情報ITDを、それぞれの音源位置のデータごとに抽出する。また、データベース51に記憶された頭部伝達関数の内の、振幅情報MPSを、最小位相系変換部53で抽出して必要なデータ形式に変換する。変換された振幅情報MPSは、サンプル数変換部54に供給して、サンプル数を削減させる処理を行う。ここでは、512サンプルの信号を、32サンプルに間引く処理を行う。32サンプル以外のサンプル数に間引くようにしてもよい。
両耳時間差抽出部52で抽出された両耳時間差情報ITDと、サンプル数変換部54でサンプル数が変換された振幅情報MPSは、空間的リサンプリング部55に供給して、1音源位置ごとに32サンプルのインパルス応答値で構成された頭部伝達関数とする。このとき、空間的リサンプリング部55では、5°刻みの音源位置のデータを、10°刻みの音源位置のデータとして、音源位置についても間引くようにしてある。
このようにして空間的リサンプリング部55で得られた、10°刻みの音源位置のそれぞれで32サンプルの信号による頭部伝達関数を、図1に示した携帯電話端末内の処理済HRTFデータベース32に記憶させる。
このようにして空間的リサンプリング部55で得られた、10°刻みの音源位置のそれぞれで32サンプルの信号による頭部伝達関数を、図1に示した携帯電話端末内の処理済HRTFデータベース32に記憶させる。
次に、図4を参照して、図1に示したHRTF処理部33での処理構成例を説明する。
図4に示すように、音源方向設定部31からの音源指示データを、HRTF処理部33内の候補抽出部61に供給する。候補抽出部61では、HRTFデータベース32に記憶された頭部伝達関数の内で、指示された音源位置に近い音源位置の複数の頭部伝達関数を抽出する。例えば、音源位置が正面から右側に13°の位置と指示されたとき、処理済HRTFデータベース32に記憶された10°の頭部伝達関数と20°の頭部伝達関数を抽出する。
抽出された頭部伝達関数の内の両耳時間差情報は、ITD処理部62に供給し、振幅情報はMPS処理部63に供給する。
図4に示すように、音源方向設定部31からの音源指示データを、HRTF処理部33内の候補抽出部61に供給する。候補抽出部61では、HRTFデータベース32に記憶された頭部伝達関数の内で、指示された音源位置に近い音源位置の複数の頭部伝達関数を抽出する。例えば、音源位置が正面から右側に13°の位置と指示されたとき、処理済HRTFデータベース32に記憶された10°の頭部伝達関数と20°の頭部伝達関数を抽出する。
抽出された頭部伝達関数の内の両耳時間差情報は、ITD処理部62に供給し、振幅情報はMPS処理部63に供給する。
そして、それぞれの情報を内挿処理部64に供給する。この内挿処理部64では、ITD処理部62とMPS処理部63から供給される複数の頭部伝達関数を使用して、音源方向設定部31から指定された音源位置の頭部伝達関数を内挿で生成させる。例えば、音源位置が正面から右側に13°であるとき、10°の頭部伝達関数と20°の頭部伝達関数を、それぞれの位置に応じた比率で乗算させる処理を行って、13°の位置の頭部伝達関数を生成させる。指示された音源位置とHRTFデータベース32に格納された音源位置とがほぼ一致する場合には補間は行わない。なお、内挿処理部64での補間は行わない構成として、指示された音源位置を、処理済HRTFデータベース32に格納された音源位置に近似させる構成としてもよい。
図5は、図1に示したパーソナライズ部34での処理構成例を示した図である。
このパーソナライズ部34での処理は、図1に示したサイズ設定部35で既に設定されたリスナーの頭部及び耳介のサイズのデータに基づいて実行される。
ここで、サイズの設定処理状態の例について説明する。例えば携帯電話端末の操作部16を操作して、頭部のサイズ設定モードとし、そのサイズ設定用の画面を、表示部15に表示させる。
図8はその場合の設定画面の例を示した図である。この例では、頭のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。また、耳介のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。図8の例では、頭部のサイズを「標準」として選択してあり、耳介のサイズを、「小」として選択してある。
なお、図8に示した例よりもより細かく選択ができるようにしてもよい。例えば、それぞれのサイズ選択が3段階ではなく、4段階以上選択できるようにしてもよい。また、頭部のサイズとして、水平方向の頭部のサイズと垂直方向の頭部のサイズを個別に選択できるようにしてもよい。或いは、頭部のおおよその形状として、丸形形状、細長形状などから選択させ、その上で、「大」「標準」「小」などのサイズを選択させてもよい。
このパーソナライズ部34での処理は、図1に示したサイズ設定部35で既に設定されたリスナーの頭部及び耳介のサイズのデータに基づいて実行される。
ここで、サイズの設定処理状態の例について説明する。例えば携帯電話端末の操作部16を操作して、頭部のサイズ設定モードとし、そのサイズ設定用の画面を、表示部15に表示させる。
図8はその場合の設定画面の例を示した図である。この例では、頭のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。また、耳介のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。図8の例では、頭部のサイズを「標準」として選択してあり、耳介のサイズを、「小」として選択してある。
なお、図8に示した例よりもより細かく選択ができるようにしてもよい。例えば、それぞれのサイズ選択が3段階ではなく、4段階以上選択できるようにしてもよい。また、頭部のサイズとして、水平方向の頭部のサイズと垂直方向の頭部のサイズを個別に選択できるようにしてもよい。或いは、頭部のおおよその形状として、丸形形状、細長形状などから選択させ、その上で、「大」「標準」「小」などのサイズを選択させてもよい。
サイズに応じた補正処理を行うパーソナライズ部34には、図4に示した内挿処理部64から、内挿された(又は内挿されていない)頭部伝達関数としての、両耳時間差情報ITDと振幅情報MPSとが供給される。さらに、図1に示したサイズ設定部35で既に設定されたリスナーの頭部及び耳介のサイズのデータについても供給される。
また、HRTFモデル測定データ36aを用意し、頭部伝達関数の各サイズでの変化のデータを記憶させておく。HRTFモデル測定データ36aに記憶された頭部伝達関数の各サイズでの変化のデータの内の、そのときに設定されたサイズに応じたデータを抽出部36bで抽出する。
また、HRTFモデル測定データ36aを用意し、頭部伝達関数の各サイズでの変化のデータを記憶させておく。HRTFモデル測定データ36aに記憶された頭部伝達関数の各サイズでの変化のデータの内の、そのときに設定されたサイズに応じたデータを抽出部36bで抽出する。
そして、パーソナライズ部34で、抽出部36bで抽出されたデータを使用して、内挿処理部64から供給された両耳時間差情報ITDと振幅情報MPSとを、現在設定されたサイズに応じて補正された両耳時間差情報ITD′及び振幅情報MPS′とする。サイズ補正処理の詳細はここでは説明しないが、頭部のサイズの大小によって、主として中音域から低音域の周波数帯域の頭部伝達関数に影響がある。また、耳介のサイズの大小によって、主として高音域の周波数帯域の頭部伝達関数に影響がある。
パーソナライズ部34で補正された頭部伝達関数である両耳時間差情報ITD′及び振幅情報MPS′は、図1に示した立体音響算出部37に供給して、音声入力部38に入力した音声信号に対して頭部伝達関数を畳み込んで2チャンネルの音声信号として、バイノーラル方式で立体音響が再現される音声信号とする。
図6は、立体音響算出部37の構成例を示した図である。
パーソナライズ部34で補正された両耳時間差情報ITD′は、フェーズ情報処理部71に供給して、音声入力部38から入力した音声信号に対して、その両耳時間差情報ITD′で示された左右の時差を付与した2チャンネルの音声信号とする。そして、そのフェーズ情報処理部71で得られた左右のチャンネルの音声信号L及びRを、それぞれのチャンネルのFIRフィルタ72L,72Rに供給する。各FIRフィルタ72L,72Rでは、供給される振幅情報MPS′に基づいて振幅を調整して、バイノーラル方式で立体音響が再現される音声信号とする。
パーソナライズ部34で補正された両耳時間差情報ITD′は、フェーズ情報処理部71に供給して、音声入力部38から入力した音声信号に対して、その両耳時間差情報ITD′で示された左右の時差を付与した2チャンネルの音声信号とする。そして、そのフェーズ情報処理部71で得られた左右のチャンネルの音声信号L及びRを、それぞれのチャンネルのFIRフィルタ72L,72Rに供給する。各FIRフィルタ72L,72Rでは、供給される振幅情報MPS′に基づいて振幅を調整して、バイノーラル方式で立体音響が再現される音声信号とする。
図7は、このようして生成されたバイノーラル方式用の2チャンネルの音声信号を出力させる出力部の構成例である。
この例では、2チャンネルの音声信号L,Rを、それぞれ切換スイッチ81L,81Rを介して出力端子23に供給し、出力端子23に接続されたヘッドホン24の左右のドライバユニットから放音させる。このようにすることで、そのヘッドホン24を装着したリスナーには、音源の位置が音源方向設定部31(図1)で設定した方向の音として聞き取れる。
この例では、2チャンネルの音声信号L,Rを、それぞれ切換スイッチ81L,81Rを介して出力端子23に供給し、出力端子23に接続されたヘッドホン24の左右のドライバユニットから放音させる。このようにすることで、そのヘッドホン24を装着したリスナーには、音源の位置が音源方向設定部31(図1)で設定した方向の音として聞き取れる。
また、2チャンネルの音声信号L,Rを、それぞれ切換スイッチ81L,81Rを介してクロストークキャンセル部39に供給する構成としてある。クロストークキャンセル部39は、係数乗算器82L,82Rと加算器83L,83Rと増幅器84L,84Rとで構成されて、2つチャンネルの信号のクロストーク成分をキャンセルして、通常の2チャンネルの音声信号とする。クロストークキャンセル部39でクロストーク成分がキャンセルされた左右のチャンネルの音声信号は、それぞれのチャンネル用に携帯電話端末本体に内蔵されたスピーカ22L,22Rから出力させる。このスピーカ22L,22Rから出力される音声によっても、そのスピーカ22L,22Rと向き合ったリスナーには、音源の位置が音源方向設定部31(図1)で設定した方向の音として聞き取れる。
このように本実施の形態によると、携帯電話端末にバイノーラル方式の音声信号を生成させる立体音響算出部37を内蔵させたので、指定された音源位置の立体音響として、ヘッドホンを装着したリスナーに聴取させることが可能となる。この場合、本実施の形態の場合には、用意する頭部伝達関数のデータベース32として、図3に示したように、本来の頭部伝達関数からサンプル数や音源位置を大幅に削減したデータを保持するようにしたので、データベース32が記憶する情報量を大幅に少なくすることができる。また、データベース32から頭部伝達関数を読み出して演算処理する処理構成についても、少ない情報量の頭部伝達関数を使用した演算であるので、携帯電話端末内の回路の負担が少なくなる。従って、図2に示した携帯電話端末の如き電子機器に、それほど回路などの負担を増やすことなく、立体音響処理回路を内蔵させることが可能になる。
頭部伝達関数のサンプル数を減らすことは、再生される立体音響の再現精度が劣化することにつながる。しかしながら本例においては、リスナーの頭部のサイズを設定して、それぞれの設定に基づいて補正を行い、その点から精度を上げるようにしたので、頭部伝達関数のサンプル数の減少に伴った、立体音響の再現精度の劣化を補うように機能する。頭部のサイズだけでなく、耳介のサイズも設定するようにしたことで、さらに変換精度を向上させることができる。
また、本実施の形態の場合には、図7に示すように、クロストークキャンセル部39を備える構成として、ヘッドホンから再生させる場合と同様の立体音響が、端末本体内のスピーカからも出力可能としたことで、ヘッドホンを使用しない場合にも対処可能である。
なお、ここまで説明した実施の形態では、携帯電話端末に立体音響処理回路を内蔵させた場合の例について説明したが、その他の音声信号(オーディオ信号)を再生処理する各種電子機器に、上述した実施の形態で説明した立体音響処理部を内蔵させてもよい。例えば、音楽データを記憶して再生するポータブル型の音楽再生装置に、上述した実施の形態で説明した立体音響処理部を内蔵させてもよい。
11…制御部、12…通信部、13…アンテナ、14…メモリ、15…表示部、16…操作部、17…音声処理部、18…スピーカ、19…マイクロフォン、21…立体音響処理部、22L,22R…スピーカ、23…出力端子、24…ヘッドホン、28…制御ライン、29…データライン、31…音源方向設定部、32…処理済HRTFデータベース、33…HRTF処理部、34…パーソナライズ部、35…サイズ設定部、36…HRTFモデル算出部、37…立体音響算出部、38…音声入力部、39…クロストークキャンセル部、51…HRTFデータベース、52…両耳時間差抽出部、53…最小位相系変換部、54…サンプル数変換部、55…空間的リサンプリング部、61…候補抽出部、62…ITD処理部、63…MPS処理部、64…内挿処理部、71…フェーズ情報処理部、72L,72R…FIRフィルタ、81L,81R…切換スイッチ
Claims (7)
- ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて記憶する頭部伝達関数データベースと、
前記頭部伝達関数データベースが記憶する制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する伝達関数抽出部と、
前記伝達関数抽出部が抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る立体音響処理部と、
前記立体音響処理部で得た2チャンネルの音声信号を出力させる出力部とを備える
音声信号処理装置。 - 前記伝達関数抽出部が抽出した頭部伝達関数を、指定された頭部のサイズに応じて修正し、修正された頭部伝達関数を、前記立体音響処理部に供給する修正部を備えた
請求項1記載の音声信号処理装置。 - 前記修正部は、耳介のサイズの指定による前記頭部伝達関数の修正についても行う
請求項2記載の音声信号処理装置。 - 前記出力部は、ヘッドホンに音声信号を出力させる端子又は伝送処理部である
請求項1又は2記載の音声信号処理装置。 - 前記出力部は、2チャンネルの音声信号のクロストークをキャンセルするキャンセル処理部と、前記キャンセル処理部でクロストークがキャンセルされた2チャンネルの音声信号を出力する2つのスピーカとを備えた
請求項1又は2記載の音声信号処理装置。 - ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて頭部伝達関数データベースとして記憶し、
前記記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出し、
前記抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る
音声信号処理方法。 - ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて記憶する頭部伝達関数データベースと、
前記頭部伝達関数データベースが記憶する制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する伝達関数抽出部と、
前記伝達関数抽出部が抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る立体音響処理部と、
前記立体音響処理部で得た2チャンネルの音声信号を出力させる出力部とを備える
音声信号処理装置を備えた携帯端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106125A JP2009260574A (ja) | 2008-04-15 | 2008-04-15 | 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106125A JP2009260574A (ja) | 2008-04-15 | 2008-04-15 | 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009260574A true JP2009260574A (ja) | 2009-11-05 |
Family
ID=41387447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008106125A Pending JP2009260574A (ja) | 2008-04-15 | 2008-04-15 | 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009260574A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012054627A (ja) * | 2010-08-31 | 2012-03-15 | Korg Inc | 音響装置 |
WO2013077226A1 (ja) * | 2011-11-24 | 2013-05-30 | ソニー株式会社 | 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体 |
JP2015211235A (ja) * | 2014-04-23 | 2015-11-24 | 国立研究開発法人情報通信研究機構 | 立体音再生装置およびプログラム |
ES2588394A1 (es) * | 2015-04-30 | 2016-11-02 | Universidad Politécnica de Madrid | Maniquí acústico virtual para la toma de sonido biaural |
JP2017026967A (ja) * | 2015-07-28 | 2017-02-02 | 日本電信電話株式会社 | 音生成装置、音生成方法、プログラム |
JPWO2017061218A1 (ja) * | 2015-10-09 | 2018-07-26 | ソニー株式会社 | 音響出力装置、音響生成方法及びプログラム |
WO2020195084A1 (ja) * | 2019-03-22 | 2020-10-01 | ソニー株式会社 | 音響信号処理装置、音響信号処理システム、および音響信号処理方法、並びにプログラム |
JP2020170938A (ja) * | 2019-04-03 | 2020-10-15 | アルパイン株式会社 | 頭部伝達関数学習装置および頭部伝達関数推論装置 |
DE112021003592T5 (de) | 2020-07-02 | 2023-04-13 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm |
KR20230095930A (ko) | 2020-10-23 | 2023-06-29 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
US11743671B2 (en) | 2018-08-17 | 2023-08-29 | Sony Corporation | Signal processing device and signal processing method |
DE112022000838T5 (de) | 2021-01-29 | 2023-11-09 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
-
2008
- 2008-04-15 JP JP2008106125A patent/JP2009260574A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012054627A (ja) * | 2010-08-31 | 2012-03-15 | Korg Inc | 音響装置 |
WO2013077226A1 (ja) * | 2011-11-24 | 2013-05-30 | ソニー株式会社 | 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体 |
CN103947226A (zh) * | 2011-11-24 | 2014-07-23 | 索尼公司 | 声学信号处理设备、声学信号处理方法、程序和记录介质 |
US9253573B2 (en) | 2011-11-24 | 2016-02-02 | Sony Corporation | Acoustic signal processing apparatus, acoustic signal processing method, program, and recording medium |
JP2015211235A (ja) * | 2014-04-23 | 2015-11-24 | 国立研究開発法人情報通信研究機構 | 立体音再生装置およびプログラム |
ES2588394A1 (es) * | 2015-04-30 | 2016-11-02 | Universidad Politécnica de Madrid | Maniquí acústico virtual para la toma de sonido biaural |
JP2017026967A (ja) * | 2015-07-28 | 2017-02-02 | 日本電信電話株式会社 | 音生成装置、音生成方法、プログラム |
JPWO2017061218A1 (ja) * | 2015-10-09 | 2018-07-26 | ソニー株式会社 | 音響出力装置、音響生成方法及びプログラム |
US11743671B2 (en) | 2018-08-17 | 2023-08-29 | Sony Corporation | Signal processing device and signal processing method |
WO2020195084A1 (ja) * | 2019-03-22 | 2020-10-01 | ソニー株式会社 | 音響信号処理装置、音響信号処理システム、および音響信号処理方法、並びにプログラム |
CN113574912A (zh) * | 2019-03-22 | 2021-10-29 | 索尼集团公司 | 声信号处理装置、声信号处理***、声信号处理方法和程序 |
JP7206027B2 (ja) | 2019-04-03 | 2023-01-17 | アルパイン株式会社 | 頭部伝達関数学習装置および頭部伝達関数推論装置 |
JP2020170938A (ja) * | 2019-04-03 | 2020-10-15 | アルパイン株式会社 | 頭部伝達関数学習装置および頭部伝達関数推論装置 |
DE112021003592T5 (de) | 2020-07-02 | 2023-04-13 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm |
KR20230095930A (ko) | 2020-10-23 | 2023-06-29 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
DE112022000838T5 (de) | 2021-01-29 | 2023-11-09 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009260574A (ja) | 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末 | |
KR100878457B1 (ko) | 음상정위 장치 | |
US7715568B2 (en) | Binaural sound reproduction apparatus and method, and recording medium | |
CN108156561B (zh) | 音频信号的处理方法、装置及终端 | |
KR100331192B1 (ko) | 사용자의머리회전을검출하기위한수단을갖춘헤드폰장치 | |
JP3435141B2 (ja) | 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム | |
CN107852563A (zh) | 双耳音频再现 | |
EP3413590A1 (en) | Audio output device, audio output method, program, and audio system | |
US6970569B1 (en) | Audio processing apparatus and audio reproducing method | |
CN104918177A (zh) | 信号处理装置、信号处理方法和程序 | |
US7826630B2 (en) | Sound image localization apparatus | |
US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
JPWO2017056781A1 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
JP2018050222A (ja) | フィルタ生成装置、フィルタ生成方法、及びプログラム | |
JPH09327099A (ja) | 音響再生装置 | |
US8958585B2 (en) | Sound image localization apparatus | |
JP7384162B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
JP2671329B2 (ja) | オーディオ再生装置 | |
JP2008193382A (ja) | 携帯電話機、及び音声調整方法 | |
JP2004128854A (ja) | 音響再生装置 | |
JP2005157278A (ja) | 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム | |
JP2021164109A (ja) | 音場補正方法、音場補正プログラムおよび音場補正システム | |
JP2019168481A (ja) | 処理装置、処理方法、及びプログラム | |
JP2010011083A (ja) | バイノーラル収音再生システム | |
JP2009065452A (ja) | 音像定位制御装置、音像定位制御方法、プログラム、および集積回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090925 |