JP4739762B2 - オーディオ再生装置、オーディオフィードバックシステムおよび方法 - Google Patents

Description

本発明は、
入力オーディオ信号を入力する入力手段と、
前記入力オーディオ信号から導かれる出力オーディオ信号を出力する出力と、
ユーザーが影響することができるある測定値があってその測定値から導かれる数学的コストを入力するコスト入力と、
前記出力オーディオ信号を前記数学的コストに依存して生成することのできる調節ユニットとを有することを特徴とするオーディオ再生装置に関する。

本発明はまた、
オーディオ源と、
ユーザーが影響することができるある測定値を与えるよう構成された測定機器と、
該測定値から数学的なコストを導き出すよう構成された数学的コスト計算ユニットと、
音響生成装置と、
前記オーディオ源から入力オーディオ信号を受け取り、前記数学的コストを受け取り、前記音響生成装置に入力オーディオ信号から前記数学的コストに依存して導かれた出力オーディオ信号を出力する調節ユニットとを有することを特徴とするオーディオフィードバックシステムに関する。

本発明はまた、ユーザーが影響することができるある測定値から導かれる数学的コストに依存して入力オーディオ信号から出力オーディオ信号を導き出す方法にも関する。

本発明はまた、上述した方法を記述する、処理装置によって実行されるコンピュータプログラムにも関する。

本発明はまた前記コンピュータプログラムを保存するデータ担体にも関する。

このようなオーディオ再生装置の実施例はＵＳ−Ａ−４，７８８，９８３から知られている。前記既知の装置はスポーツ活動を行う人が音楽を聴きたい場合に使用するよう設計されている。前記既知の装置はヘッドホンステレオからの入力オーディオ信号を出力オーディオ信号としてヘッドホンに伝達することのできる調節ユニットを有している。該調節ユニットは心拍数測定機器からの数学的コスト信号も受け取るようになっている。ユーザーはたとえば自分の年齢や性別に応じて、トレーニング中に使用したい安全な心拍数の範囲を指定する。心拍数が低すぎれば明らかに十分な運動をしていないことになり、他方、心拍数が高すぎればその運動は健康的ではないかもしれない。前記調節ユニットは、測定された心拍数が所望の範囲内にある場合にのみ前記入力オーディオ信号を伝達し、それ以外の場合にはヘッドホンには全く音声が送られない。

出力オーディオ信号のこのような粗い制御がユーザーフレンドリーでないということが前記既知装置の不都合な点となっている。たとえば指定範囲が狭かったら、ユーザーにとって、音楽が聞こえなくなったのは走るペースが遅すぎたためか速すぎたためか判断するのが難しい。

出力信号の制御に関する限り比較的融通が利くような、冒頭で述べた種類のオーディオ再生装置を提供することが本発明の目的の一つである。

その目的は、前記調節ユニットに、入力オーディオ信号を処理して前記数学的コストに依存する再生品質をもつ出力オーディオ信号を導き出せるよう構成されたオーディオ処理手段を設けることによって実現される。前記の既知のオーディオ再生装置の調節ユニットはスイッチ機能を実装するだけの要素しか含んでいない。心拍数が指定範囲外にある場合にはヘッドホンには何の信号も送られない。これはあまり望ましくない。ユーザーのトレーニングが少し軽すぎただけで、全く何の音も聞こえなくなってしまう。もっと激しく走りはじめようという動機づけになるというより、ユーザーによっては非常にやる気をなくさせることになりうる。変化が徐々に起こり、ある期間ユーザーの運動量が所定以下であってもまだ音楽が聞こえているようにすることが望ましい。さらに、心拍数の測定値は常に信頼できるものではない。たとえば近くの別のユーザーの信号が拾われる場合がそうである。その場合、ユーザーは自分のあずかり知らぬ理由によってペナルティを受けることになってしまう。本発明に基づくオーディオ再生装置は、ユーザーのスポーツ活動に対してより融通の利く形で反応する多くの方針をユーザーに提供するよう構成され、その方針は数学的コストを計算する方針として具体化される。本発明に基づく装置はまた、出力オーディオの呈示についてもより融通の利く方針を提供するよう構成される。単に出力オーディオ信号をオフにするのではなく、本発明の装置は、出力オーディオ信号の再生品質を変更する選択肢を提供するのである。これは音の知覚できる音響心理学的な品質に相関する物理的に測定・決定可能な量である。たとえばオーディオ再生装置は徐々に音の振幅を小さくして音楽を聞こえにくくしていくことができるのでもよい。あるいはまたステレオであれば、オーディオ再生装置がステレオでなくモノラル音声を出力するという形で運動量の足りないユーザーにペナルティを与えることもできる。この場合、独立した出力信号の数が知覚される音響心理学的な品質の再生品質の尺度となる。

ある実施例では、再生品質は仮想音源の三次元的な位置を含み、オーディオ処理手段が出力オーディオ信号によって仮想音源をシミュレートできるようになっている。何らかの音響心理学的な品質を得るために適用されうるあらゆるオーディオ処理機能の集合のうち、中にはユーザーの頭のまわりの三次元空間中で音響的に仮想音源の位置付けを実現しているものもある。これはジョギング走者や屋内自転車練習機でトレーニングをする人など、現実にしろ仮想にしろ、距離を進むユーザーには特に興味深い。ユーザーがあるスピードで走るべきだと装置に指示すると、ある時間にはある場所にいるべきとなる―現実にしろ仮想にしろ。オーディオ再生装置は仮想音源の位置づけをヘッドホンの左右のスピーカーに適切なオーディオ信号を送ることによって行うことができる。仮想音源がたとえばユーザーの前方１メートルの距離にある二つの仮想スピーカーであるといった具合である。ユーザーが走るのが遅すぎたら仮想スピーカーが遠ざかり、これは望むなら前記仮想スピーカーから発される音をだんだん聞こえにくくすることでシミュレートできる。ユーザーは走る速さを上げればスピーカーに追いつくことができる。合成反響を加えることで、ユーザーの前に壁があるような感覚といった、他の三次元的オーディオ位置品質尺度に影響を与えることもできる。

前記実施例の一つの修正例では、前記オーディオ処理手段は、入力オーディオ信号をユーザー依存の頭部伝達関数（ＨＲＴＦ）を用いてフィルタ処理することによって出力オーディオ信号を導き出し、それによって仮想音源の位置をシミュレートするよう構成されているフィルタを有する。ＨＲＴＦによって仮想スピーカーのような音源を正確に位置づけることができる。左右それぞれのヘッドホンスピーカーのための入力オーディオ信号はそれぞれのＨＲＴＦによってフィルタ処理される。ＨＲＴＦは仮想的な室内における音の経路を該室内のある位置にある実際のスピーカーからユーザーの左右それぞれの耳までシミュレートする。

前記実施例の別の修正例または上の修正例のさらなる変形では、前記オーディオ処理手段は、仮想音源の位置を信号振幅と反響追加から選ばれる出力オーディオ信号の属性を変更することによってシミュレートするように構成されたオーディオ処理ユニットを有する。いずれの属性にしても、特定の三次元的なオーディオ位置品質をもった音の感覚を実現する簡単な信号処理関数である。

前記オーディオ処理手段はまた、前記出力オーディオ信号とともにステレオオーディオ信号を構成する第二の出力オーディオ信号を導き出すよう構成されていてもよく、該オーディオ処理手段が前記入力オーディオ信号から前記数学的コストに依存する特定のステレオ品質をもったステレオオーディオ信号を導き出すよう構成されていてもよい。該ステレオ品質に影響を与える信号処理関数にはたとえば次のようなものがある：
ユーザーの運動量が少ないと仮想スピーカーどうしが互いに近づく、
ユーザーの運動量が少ないと左右の仮想スピーカーのオーディオ信号がより似たものになる、
ユーザーの運動量が少ないと一方の仮想スピーカーが消える。

この最後の選択肢は、段階的にしろ急峻にしろ、ドルビー５．１のような多チャンネルサラウンドと２チャンネルステレオとの間の切り替えとしても実装できる。ステレオ音が広く存在していることを考えると、ステレオ品質を変えるというのは有益である。

再生品質が出力オーディオ信号の周波数分布の指定を含むことは有益である。出力オーディオ信号の周波数成分を変えることによって前記オーディオ処理手段は他の効果をシミュレートすることもできる。たとえば運動量が少ないとオーディオ信号の低音域が除去されるというペナルティを受けるなどである。仮想音源の三次元的な位置もそのようなオーディオ処理関数によって影響することができる。たとえば、前記オーディオ処理手段は、音が濃い霧の中を長い距離伝わらなければならないかのように、あるいは仮想的な壁に囲まれた深みにいるかのように高周波を除去するよう構成することができる。

また、オーディオ再生装置が、のちに前記オーディオ処理手段によって出力オーディオ信号を導き出す際に使えるよう再生品質を決定する第一の品質計算ユニットを有することも有益である。再生品質は出力オーディオ信号の属性である。当該オーディオ再生装置は再生品質を出力オーディオ信号について測定することができるが、それにはまず入力オーディオ信号を処理しなければならないが、その処理アルゴリズムは先験的に知られているものではない。関係する再生品質は、第一の品質計算ユニットによって決定することができ、それが前記オーディオ処理手段に送られ、該オーディオ処理手段が対応する処理関数を適用する。たとえば、二つの仮想スピーカーの角度を変更することはステレオ品質に影響する。それに一般にはユーザーが経験するステレオ品質を数値で指定する必要はない。より精度を上げたければ、たとえばユーザーのパネル調査に基づく特定の角度関数をメモリにたくわえておくことができる。また、ユーザーがたとえば自分の走るスピードと角度との間の関係を自分で指定したり、あらかじめ用意されている複数の関数から選択したりすることも可能である。あらかじめ用意されている関数はあるものは角度の変化がゆっくりしており、あるものは速いというふうになっている。

これに代えて、あるいはこれに加えて、当該オーディオ再生装置が出力オーディオ信号の出力品質測度を測定する品質測定手段を有し、のちに前記オーディオ処理手段によって出力オーディオ信号を導き出すのに使えるようパラメータ値を計算するパラメータ値計算手段を有していれば有益である。出力信号の品質が測定されれば、将来の時点で入力オーディオ信号に対する処理を変更するためにフィードバックすることができる。そのようなフィードバック制御ループによって、若干のチューニング期間ののちに所望の再生品質を得ることができる。前記パラメータ値計算手段は、再生品質の測定の結果と所望の値との間の食い違いを考慮に入れることができる。それに応じて前記パラメータ値が変更され、所望のオーディオ出力信号の再生品質が得られるようになるまで処理関数が誘導される。

別の実施形態では、測定機器から受け取れる測定値から数学的コストを導出するよう構成される数学的コスト計算ユニットが設けられる。数学的コストの導出はいかなる種類の装置からでもよい。たとえば当該オーディオ再生装置が競争的なゲームにおいて用いられるなら乱数発生器でもよい。典型的には、前記数学的コストは、走るスピード、心拍数などといったユーザーが影響を与えることのできる測定値を基礎として決定することができる。測定機器はその数学的コストを、たとえば符号化した数字として直接当該装置に送ることもできる。しかし、典型的には前記オーディオ再生装置はその新たな機能を含むことがあり、市販の測定機器とともに用いることができる。

上の実施形態の修正では、前記数学的コスト計算ユニットは、測定値とある設定値との差に基づいて数学的コストを導出するよう構成される。たとえば、ユーザーは望ましい走るスピードを１０ｋｍ／ｈとか望ましい心拍数を１８０ｂｐｍと設定する。そして品質はたとえば実際の走るスピードから１０ｋｍ／ｈを引いた値によって決定される。速く走れば走るほど、再生品質が大きく変化する。あるいは、それに代わるバージョンでは、少しきつく走っても何も起こらないが、かなり激しく走ると前記再生品質が徐々に変化するよう前記オーディオ処理手段が構成され、その度合いは設定値より激しく走っている時間に依存するようにすることもできる。

上の実施形態のさらに別の修正では、あるいは上の実施形態に加える形として、前記数学的コスト計算ユニットは生体測定値から数学的コストを導出するよう構成される。エンジニアリング品質のオーディオシステムと生体測定では全く無関係な技術分野である。一見したところ、誰もこの両者を結び合わせる必要など感じていないようだ。生体測定システムは通常、医師と緊密な協力関係にある技術者によって設計され、この分野における優先事項は測定と安全性の面での厳密さと堅牢さである。オーディオ再生の品質はどちらかというと芸術的な嗜好の問題になる。このことが、生体測定値は通常数字ディスプレイ上に表示されるという現実につながっている。例外は医療用監視装置のビープ音だが、そのような装置のオーディオ機能は芸術的な再生品質というよりは単純を旨として設計されている。トレーニング中における生体測定データのユーザーフレンドリーなフィードバックの必要がある。ユーザーとしてはトレーニング中に絶えずディスプレイを見つめているのはいやだろうが、音なら鳴れば自動的にユーザーの耳にはいる。

このオーディオフィードバックシステムは、前記オーディオ処理手段が、前記数学的コストに依存した再生品質をもつ出力オーディオ信号を導出するよう入力音声信号を処理するように構成されている調節ユニットを有していることを特徴としている。該システムは全体として生産することが有益である。そうすればすべての構成部分が互いに最適な形で調整されたものとして実現できるからである。

ユーザーが影響することのできる測定値から導かれる前記数学的コストに依存して入力オーディオ信号から出力オーディオ信号を導き出す方法は、前記数学的コストに依存した特定の再生品質を用いて出力信号が導き出されることを特徴とする。

本発明に基づくオーディオ再生装置、方法、オーディオフィードバックシステム、コンピュータプログラム、およびデータ担体のこれらのことを含むさまざまな側面は、これから説明する実装および実施を参照することで明らかとなり、明確に説明されることであろう。その際、付属の図面を参照するが、図面はあくまで解説のためのものであって本発明の範囲を限定するものではない。

これらの図面において、点線で描かれた要素は、図１においては仮想要素を、他の図においては所望の実施形態によって設けるかどうかが任意的な要素である。図３におけるオーディオ処理手段の解説のための実施例にあるすべての要素が他の実施例においても必要なわけではない。

図１は本発明に基づくオーディオ再生装置２００のユーザー１００を示している。図ではジョギングしているが、たとえば屋内漕艇練習機でオールこぎをしていてもよい。スポーツ活動をしている間、このユーザーは音楽を聞いている。その音楽は、たとえばＭＰ３プレーヤーのような携帯オーディオプレーヤーなどのオーディオ再生装置２００（図２参照）からの出力オーディオ信号ｏとして得られ、音響生成装置１０２（典型的にはヘッドホン）の左右のスピーカー１１４および１１５によって再生される。音楽の再生品質Ｒは当該オーディオ再生装置２００によって、当該ユーザー１００の運動の実績に依存して変更される。たとえばドルビー５．１とモノラルで低周波なしの間で変えるといった具合である。たとえば、走るスピードが遅すぎたら、再生品質Ｒの低下というペナルティが与えられる。その運動の実績はさまざまなセンサーのうちの少なくとも一つによって測定される。たとえば運動靴に接続した歩数計１０８または心拍計１０６のようなその他の測定機器によって測定信号ｍが与えられる。心拍計１０６としては、この測定はたとえば心電図のＰＱＲＳＴ波形、脈の時系列、または心拍数を表す数値でもよい。オーディオ再生装置２００はこの測定結果ｍを再生品質Ｒに変換する。

前記オーディオ再生装置２００の簡単な形においては、オーディオ再生方針は固定され、ユーザー１００は前記測定結果が数学的コストｃに変換される仕方を指定できるだけである。話をすっきりさせるために、例ではすべての数学的変換が処理装置上で走るソフトウェアアルゴリズムとして実現される実施例について記述してあるが、専用ハードウェア回路を用いることもできることに注意しておく。たとえばユーザー１００は自分の心拍数があるべき範囲として図６ａの［ＬＬ，ＬＵ］のような区間ｉｖを指定することができる。数学的コスト関数６０２は、座標系６００でｘ軸に心拍数の測定値ｍから設定値ｄを引いたもの、ｙ軸に数学的コストｃをとって示されている。この設定値ｄは、ユーザーが自分のトレーニングの目標心拍数としてたとえば１８０ｂｐｍのように指定するものである。区間［ＬＬ，ＬＵ］は設定値ｄについて対称であっても非対称であってもよい。前記数学的コスト関数は、図２のオーディオ再生装置２００のハードウェアにおいて固定されていてもよいし、図３のユーザーインターフェース手段３１１を用いてユーザーがｍ−ｄによって数学的コストがどのように変化するかを指定してもよい。たとえば、図６ａにおけるように、目印値ＭＬおよびＭＵまでは数学的コストは小さい傾きで線形に変化し、前記目印値と区間ｉｖの端点の間では該数学的コストは傾きが急になり、区間ｉｖの外では該数学的コストは非常に急峻に増大する。図６ｂに示した別の数学的コスト関数６０６の指定では、数学的コストはトレーニング区間ｉｖの外側でのみ０でない値をとって線形に変化する。たとえば図６ｂではユーザー１００は走るのが遅すぎたときに負の値となるようなコスト関数を設計している。こうした場合、負のコストは再生に際して、たとえば仮想音源の角度αの負の値に対応させ、速すぎるスピードの場合の正のコストは正の角度αに対応させるといったことが簡単にできる。このようにして、両方の場合が簡単に識別できる。ユーザーはコスト関数を設計するにあたって、たとえばトレーニング区間の端点、コストの変化の速さ（これはオーディオ再生品質Ｒの変化の速さに変換される）、測定値が設定値ｄより小さい場合のみ０でないコストになるようにするか、といったことを自由に選ぶことができる。

ユーザーインターフェース手段３１１は、たとえば処理装置上で走るソフトウェアで、ユーザーに目印値や傾きの数値を入力するよう求める。あるいはユーザーが数学的コスト関数６０２を図として描けるようにしてもよい。固定されたオーディオ再生方針は、たとえば図７で例示されているようなものである。ここでは、再生品質Ｒは、本稿で位置再生品質Ｐと呼ぶものとして具体化されている。これは、出力オーディオ信号ｏの物理的なパラメータの指定で、該出力オーディオ信号が仮想音源のある位置からやってくるとの知覚を生じるようなものなら何でもよい。たとえば、仮想音源がユーザーの頭の近く、あるいは遠くにあるように知覚されるといった具合である。図７では、ユーザーの頭から見た仮想音源の方向の角度αである。もしユーザー１００が望ましい目標スピードで走っていれば、数学的コストｃは０で、角度αもまた０°、すなわち仮想音源がユーザー１００の真正面にある。走者が走るスピードが遅すぎたり速すぎたりすると、数学的コストｃは図６ｂのような指定に従って減ったり増えたりし、仮想音源もそれに応じてユーザー１００のそれぞれ左または右に位置が動く。ユーザー１００が再び望ましいスピードの設定値ｄで走るまで、あるいは一定時間の間望ましいスピードで走るまで、音源がユーザーの背後にとどまるようにしてもよい。あるいはまた、開始時に耳障りな音源がユーザー１００の背後にあって、もっと一生懸命に走る動機付けとなるようにしてもよい。

前記オーディオ再生装置２００のより進んだ形態としては、ユーザー１００は再生品質を数学的コストｃの関数としてどう変化させるかの方針も指定することができる。図３における第一の品質計算ユニット３３０をプログラムすることができる。これはたとえば、出力オーディオ信号ｏと第二の出力オーディオ信号ｏ２によって生成される第一の仮想音源１５２と第二の仮想音源１５４との間の角度１６０とするステレオ品質Ｓを、数学的コストｃの線形関数として出力する。あるいは、ユーザーは、それに代わるか追加されるオーディオ処理関数を選択することもできる。たとえば、仮想室内における仮想スピーカーの距離をシミュレートするため、数学的コストｃの関数としてある量の反響を加えることもできる。

前記オーディオ再生装置２００の別の応用例は、反復運動過多損傷（ＲＳＩ）や不活動の防止である。この場合、ユーザー１００はたとえばパソコン（ＰＣ）の前の椅子だとかテレビ（ＴＶ）の前のカウチに座っている。音響生成装置１０２はたとえばパソコンやテレビに接続されたスピーカーである。設定値ｄは、ユーザー１００が一休みするまでに働く、あるいはテレビを見るつもりの時間である。数学的コストｃはたとえば開始時刻ｔ０以降の経過時間ｔから設定値ｄ、すなわち連続して働いたりテレビを見たりすることが許される時間を引いたものによって決定され、次のように表される。

ｃ＝（ｔ−ｔ_０）−ｄ ｔ−ｔ_０＞ｄの場合
ｃ＝０ ｔ−ｔ_０＜ｄの場合 ［１］
テレビやパソコンのスピーカーが二つあると、仮想音源の位置をシミュレートすることができる。

図２は、オーディオ再生装置２００の最も基本的な形を示す概略図である。入力オーディオ信号ｉは、入力手段２０４を介してたとえば携帯ＭＰ３プレーヤーまたはパソコンのサウンドカードから与えられる。入力オーディオ信号ｉは外部からのものでも、当該オーディオ再生装置２００内部からのものでもよい。内部からの場合には、オーディオ再生装置２００はたとえばＣＤプレーヤーユニットまたは他の何らかの内部オーディオ源２０１を有していることができる。前記入力オーディオ信号ｉはモノラルでも多チャンネルオーディオでもよい。また、数学的コストｃを数学的コスト計算ユニット２１０から受け取るコスト入力２０８があり、測定機器２１２によってなされた測定結果から数学的コストを導出するように構成されている。数学的コスト計算ユニット２１０はオーディオ再生装置２００に組み込むこともできるし、独立させてたとえば測定機器２１２に組み込むこともできる。測定機器２１２は典型的にはオーディオ再生装置２００には組み込まれないが、組み込むことも可能であり、たとえば時計の場合などはそうである。オーディオ再生装置２００は調節ユニット２０２を有しており、該調節ユニットは入力オーディオ信号ｉを処理して数学的コストｃに依存した再生品質Ｒをもつ出力オーディオ信号を導き出すよう構成されているオーディオ処理手段２１６を有する。出力オーディオ信号ｏは出力２０６に行き、該出力にはスピーカー２１４を接続することができる。前記オーディオ処理手段２１６は、再生品質が可変の、したがって知覚できる音響心理学的な品質が可変の出力オーディオ信号につながる単一パラメータ関数を実行するだけでもよいが、図３に示したように複数のオーディオ処理アルゴリズムを交互にあるいは同時に適用することもできる。

図３は、前記オーディオ再生装置２００の前記オーディオ処理手段２１６の実施例であるオーディオ処理手段３１６を示す概略図である。該オーディオ処理手段３１６においては、いくつかの処理ユニットは純粋に当該オーディオ再生装置２００のさまざまな機能を説明するためだけに示されており、他の組み合わせも可能であることは明らかである。このオーディオ処理手段３１６は出力オーディオ信号ｏを第一のスピーカー３１４に、そして必要なら第二の出力オーディオ信号ｏ２を第二のスピーカー３１５に供給するよう構成されている。

多くのオーディオ処理アルゴリズムにとって、再生品質Ｒは前もって設定でき、その後のオーディオ処理はこの再生品質Ｒに依存して選ばれる。たとえば再生品質Ｒはオーディオ処理アルゴリズムのパラメータであってもよい。出力オーディオ信号の振幅が設定されるような場合である。これは、可変ゲイン増幅器によって実現することができる。他の場合では、ユーザーのパネル調査や当該オーディオ再生装置２００の実際のユーザーの好みによって適切な処理アルゴリズムを選んでもよい。たとえば第一、第二、または第三のアルゴリズム３２０、３２２、３２４である。図３の実施例では、第二の測定機器３５２からの第三の数学的コストｃ３がアルゴリズム選択手段３２６に入力される。該アルゴリズム選択手段はたとえば区間の表を有している。第三の数学的コストｃ３が第一の区間にはいれば第一の処理アルゴリズム３２０が選択される、といった具合である。そのような構成によって、第三の数学的コストｃ３の値によって全く異なるアルゴリズムに切り替えることが可能となる。たとえば、第一のアルゴリズムは、第三の数学的コストｃ３が第一の区間のどこに位置するかによって二つの仮想スピーカーの間の角度１６０を変化させる。もし第三の数学的コストｃ３が増大して第一の区間外に出、第二の区間内にはいったら、第二の処理アルゴリズム３２２が選択され、それによってたとえば仮想スピーカーからの信号の振幅が変化したり、両者の間の角度１６０と信号振幅の両方が変化するといった具合である。処理に先立って再生品質が設定されるもう一つの例は、ユーザー１００をとりまく球面上で仮想音源の角位置を頭部伝達関数ＨＲＴＦを用いて設定することである。たとえばユーザー１００がヘッドホンを着用しているとき、入力オーディオ信号ｉはある仮想的な音源の位置からくるようにシミュレートすることができる。それには特定の第一のＨＲＴＦを使って左のヘッドホンスピーカー１１４のための出力オーディオ信号ｏを得、特定の第二のＨＲＴＦを使って右のヘッドホンスピーカー１１５のための第二の出力オーディオ信号ｏ２を得るフィルタ３３２によるフィルタ処理を行う。いずれのＨＲＴＦも前記仮想音源の要求される位置（たとえば単位球上の２つの角として指定される）に依存し、複数の異なる位置についてのＨＲＴＦを含んでいるメモリ３３４から取得することができる。第一の品質計算ユニット３３０はさらなるオーディオ処理に必要な再生品質Ｒを決定する。たとえば、上述した場合だと、第一の品質計算ユニット３３０がＨＲＴＦを取得するのに使われる仮想音源の角度αを第一の数学的コストｃ１の線形関数として計算する。第一の数学的コストｃ１は測定機器３１２から数学的コスト計算ユニット３１０によって導かれ、該数学的コスト計算ユニット３１０はたとえば図６ａのような関数を評価する。ＨＲＴＦを測定によって決める詳細は特許ＷＯ０１／４９０６６および論文Ｆ．Ｌ．Ｗｉｇｈｔｍａｎ ａｎｄ Ｄ．Ｊ．Ｋｉｓｔｌｅｒ：Ｈｅａｄｐｈｏｎｅ ｓｉｍｕｌａｔｉｏｎ ｏｆ ｆｒｅｅ ｆｉｅｌｄ ｌｉｓｔｅｎｉｎｇ．Ｉ：Ｓｔｉｍｕｌｕｓ ｓｙｎｔｈｅｓｉｓ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃ． ｏｆ Ａｍｅｒｉｃａ ８５ ｎｏ．２， Ｆｅｂ．１９８９，ｐｐ．８５８−８６７に見られる。

他の場合には、再生品質Ｒは出力オーディオ信号ｏそのものに対して測定しなければならない。たとえば出力オーディオ信号ｏの再生品質Ｒと特定の処理との間の関係が複雑すぎて定式化できなかったり未知だったりする場合がそうである。この場合、フィードバックを用いることによって、正しい処理アルゴリズムや、パラメータを含む処理アルゴリズムの正しいパラメータを選択することができる。品質測定手段３４４は出力オーディオ信号ｏの出力品質測度Ｍを測定する。出力品質測度Ｍおよび第二の品質計算ユニット３４０からの所望の再生品質Ｒがパラメータ値計算手段３４６に供給される。これら二つのパラメータからパラメータ値ｐｖが計算され、オーディオ処理ユニットはそれに基づいて特定の処理アルゴリズムを選択したり、パラメータを含むアルゴリズムのパラメータを変更したりすることによってその後の処理の進め方を決める。それは制御理論において既知のいかなる技術を用いて行ってもよい。たとえば更新パラメータ値ｐｖは次式［２］のように計算することができる。

ｐｖ＝δ（Ｍ−Ｒ） ［２］
実際にはパラメータ値ｐｖはＭおよびＲのいかなる関数でもよい。必要なら出力品質測度Ｍが所望の音響心理学的品質に対して再生品質とは異なる関数になっていることを考慮に入れてもよい。

出力品質測度Ｍと第一の数学的コストｃ１から導かれる再生品質Ｒとの間にある要求される暗黙的な関数関係はユーザー１００によって指定することができる。ユーザー入力手段３６０―たとえばキーボード、タッチパネル、調整つまみなど―およびユーザーインターフェース手段３１１を用いて、ユーザー１００が所望する測定値ｄを複数指定し、それが対応する第一の数学的コストｃ１および再生品質Ｒに変換されるようにしてもよい。所望の測定値ｄを入力する代わりにユーザー１００は所望の数学的コストｃｓを入力してもよい。この学習段階の間、それぞれの再生品質Ｒに対して、複数の処理アルゴリズムを走査して出力品質測度Ｍとの対応が調べられる。ユーザー１００が所望する音響心理学的な品質に対応する出力品質測度Ｍが得られたら、ユーザー１００は学習制御接続ｌｃを通じて―有線でも無線でもいいので―そのことをパラメータ値計算手段３４６に指示することができる。すると該パラメータ値計算手段３４６は再生品質Ｒとパラメータ値ｐｖの対を保存するので、それ以後は動作中フィードバックは必要なく、測定値ｍに対応する再生品質Ｒから正しいパラメータ値ｐｖをオーディオ処理ユニット３４２に送ることができる。学習制御接続ｌｃはまた、所望の再生品質Ｒをもつ出力オーディオ信号ｏを得るために利用可能な処理のどれを使うべきかを指定するのに用いることもできる。それは出力選択手段３７０を設定することにより行う。

オーディオ処理手段３１６にユーザーの好みを入力するもう一つの例は、第二のユーザー入力手段３６１を用いて例解される。この例では、ユーザー１００は第二の所望の数学的コストｃｓ′および対応する所望の処理アルゴリズム選択ｎａをアルゴリズム選択手段３２６に直接入力することができる。

多くの場合において、知覚される音響心理学的な品質の厳密さ、たとえば仮想音源の厳密な位置といったものは重要でないことに注意しておく。重要なのは、音響心理学的な品質が単調に変化するということなのである。そうすると、再生方針への要件を緩和することができる。たとえば数学的コストに対して仮想音源の角度にいかなる対応をさせたとしてもそれですでに十分かもしれない。

ある選択されたアルゴリズムを特徴づける再生品質Ｒに対応する何らかの知覚できる音響心理学的な品質を生成する処理アルゴリズムは多数設計することができる。たとえば低音周波数の再生は数学的コストに依存して変えることができる。図８に示したように、特定の再生品質Ｒとして、あるいはある再生品質Ｒの一部として、出力オーディオ信号ｏのスペクトル内容を反映して指定ＳＰＥＣを計算することができる。指定ＳＰＥＣの一例は、それより下では実質的に音響エネルギーが存在しないような周波数、たとえば第一の下限周波数ＦＬ１または第二の下限周波数ＦＬ２である。たとえばユーザーが所望スピード近くで走っている場合には低音周波数は第一の下限周波数ＦＬ１まですべて再生されるが、スピードが遅すぎると第一の下限周波数ＦＬ１と第二の下限周波数の間の低音周波数が聞こえなくなるといった具合である。指定ＳＰＥＣのもう一つの例は、低音範囲［ＦＬ１，ＦＬ２］内のエネルギーの、周波数範囲［ＦＬ３，ＦＨ］と比べての割合である。コストｃの関数としていかなる等化方針を用いてもよい。たとえば高音の量をコストｃの関数としてもよい。

一つのおもしろいアルゴリズムは、数学的コスト関数をユーザー１００の頭をとりまく三次元的な雲１５０によって設定する。走るスピードが遅すぎると、頭１５８の仮想位置と雲中のある目印点１５６との間の距離が増加し、数学的コストｃの増大、そして再生品質Ｒの低下につながる。再生品質Ｒはユーザー１００が雲１５０の中にいるかどうかによって変わるようにすることもでき、それはユーザーにトレーニングの酌量を与える。ユーザーの走りに対する雲１５０の相対的な仮想運動はユーザーが信号待ちをしているかどうかを追跡するようにすることさえできる。そのような状況はたとえばユーザーがボタンを押すことによって同定できる。雲１５０の中にいるときは、音はたとえばユーザー１００がある特定の室内にいるように聞こえるようにすることができ、これはその部屋に対応するＨＲＴＦを選択することによって実現できる。ユーザーが雲１５０の外に出ると音は鈍くなる。

仮想音源の距離をシミュレートすることもできる。オーディオ処理ユニット３４２は、たとえば出力オーディオ信号ｏと第二の出力オーディオ信号ｏ２の振幅を変えることによって仮想音源の距離をシミュレートできる。反響を加えることもできる。室内では音源が近くにあれば反響はほとんどないが、音源が遠ければ反響の割合は大きくなる。これに追加して、あるいはこれに代えて、当該仮想音源がその音を反射する仮想回廊を生成することもできる。

ステレオオーディオ信号のステレオ品質Ｓを変更する上でも複数の選択肢が可能である。たとえば第一の仮想音源１５２と第二の仮想音源１５４との間の角度１６０を数学的コストｃの上昇につれて減少させ、ステレオ品質Ｓを下げるようにすることができる。あるいは第一の出力オーディオ信号と第二の出力オーディオ信号の差を小さくすることもできる。あるいはステレオからモノラルへの切り替えスイッチを設けてもよい。ステレオ信号と言ったときは、多チャンネルオーディオも含まれるものと理解され、対応するステレオ品質Ｓはたとえばチャンネル数となる。

ステレオとモノラルの間の漸進的な変化の一例は次式に従って変形ステレオ信号Ｌ′およびＲ′を計算することによって実現される。

Ｌ′＝（１＋ａ）（Ｌ／２）＋（１−ａ）（Ｒ／２）
Ｒ′＝（１−ａ）（Ｌ／２）＋（１＋ａ）（Ｒ／２） ［３］
パラメータａの値を０と１の間で変化させることによってモノラルとステレオの間の変化が実現される。

測定機器３１２および第二の測定機器３５２はいかなるものでもよい。たとえば時計やユーザー１００の位置を示すＧＰＳセンサーである。特に、生体測定機器でもよい。ランニングシューズに接続した歩数計、胸ベルト式または耳たぶ式の心拍計１０６、体温計などである。こうした測定機器はスポーツの実績測定に使われるときに興味深い。測定機器３１２はまた専門的なトレーニング装置に組み込みとすることもできる。たとえばルームランナーの走行ベルトにである。走るスタイルについても、特に不健全な場合にはフィードバックすることができる。

ゲームでの応用では、第二の数学的コストｃ２をコスト決定手段３１３によって設定することができる。これはたとえば乱数発生器でもよい。ユーザー１００の数学的コストは運次第の第二の数学的コストｃ２に設定され、これが上乗せされると、第二の数学的コスト計算ユニット３５０によって第二の測定機器３５２から決定される第三の数学的コストｃ３のレベルを再度達成するためにはユーザーはより激しく走らなければならない。

図４はオーディオフィードバックシステムの実施例の概略図である。オーディオ源４２１は入力オーディオ信号ｉを調節ユニット４０２に与える。前記オーディオ源４２１はたとえば携帯オーディオプレーヤーやフィットネスセンターでのオーディオ配信サーバーでもよい。測定機器４１２は測定ｍを実行し、その結果が数学的コスト計算ユニット４１０によって数学的コストｃに変換され、これもまた調節ユニット４０２に入力される。該調節ユニット４０２はオーディオ処理手段４１６を有しており、該オーディオ処理手段は入力オーディオ信号を処理して数学的コストｃに依存する再生品質Ｒの出力信号を生成し、この出力信号が音響生成手段４１４、たとえばヘッドホンやテレビのスピーカーに送られる。測定機器４１２、数学的コスト計算ユニット４１０、調節ユニット４０２、オーディオ源４２１、および音響生成手段４１４は別個に実現してもよく、いかなる組み合わせで実現してもよい。たとえば、典型的にはオーディオ再生装置は調節ユニット４０２、オーディオ源４２１および数学的コスト計算ユニット４１０を有することができる。

頭部追跡手段を設けて仮想音源の位置がユーザー１００の頭の動きに関して補正されるようにすることもできる。また、たとえばマイクのような、環境からある音を拾って音響生成装置４１４への信号に混ぜ込み、安全性向上をはかることもできる。

たとえばコスト関数などの指定は、ユーザー１００によってなされる代わりに、たとえばインターネットなどの回線を通じて、第二の人物、たとえば個人トレーナーなどから入手してもよい。あるいは前記指定は、ユーザー１００によって別の時点で、たとえばパソコン上でなされてもよい。たとえば、ユーザーはまる一か月ぶんのトレーニング計画を立てることができる。それはたとえば無線で当該オーディオ再生装置にダウンロードすることもできる。さらに関数のパラメータおよび関数をたとえばインターネットからダウンロードし、たとえば同じようなトレーニングセッションを望んでいるユーザー間で共有することもできる。トレーニング中になされてメモリに保存された指定もインターフェースを通じてコンピュータにダウンロードし、たとえばトレーニングの改善などのさらなる分析に供することができる。

上述した実施例は本発明を解説するものであって限定するものでないこと、そして当業者は特許請求の範囲から外れることなく代替手段を考案することができることに注意しておく。本発明の要素の請求項において組み合わされているような組み合わせとは別に、当業者に本発明の範囲内と感じられるような諸要素の他の組み合わせも本発明によってカバーされる。諸要素のいかなる組み合わせも単一の専用要素として実現することができる。請求項において括弧内に示した参照符号があったとしてもそれは請求項を限定することは意図していない。「有する」という語は請求項に記載されていない要素や側面の存在を排除するものではない。要素の単数形の表現はそのような要素が複数存在することを排除するものではない。

本発明はハードウェアによって実装することもできるし、コンピュータ上で走るソフトウェアによって実装することもでき、あらかじめデータ担体に保存されていてもよいし、あるいは信号伝送システムを通じて送信されるのでもよい。

オーディオ再生装置の応用形態を示す概略図である。 オーディオ再生装置の実施形態を示す概略図である。 オーディオ再生装置のオーディオ処理手段の実施形態を示す概略図である。 オーディオフィードバックシステムの実施形態を示す概略図である。 データ担体の実施形態を示す概略図である。 図６ａおよび図６ｂはそれぞれ数学的コストの例を示す概略図である。 位置品質を数学的コストの関数として指定する例を示す概略図である。 オーディオ再生装置によって出力される出力オーディオ信号の周波数スペクトルの例を示す概略図である。

Claims (5)

1. 入力オーディオ信号を入力する入力手段と、
   前記入力オーディオ信号から導かれる出力オーディオ信号を出力する出力と、
   ユーザーが行うトレーニングの量によって影響される測定値から導かれる数学的コストを入力するコスト入力と、
   前記出力オーディオ信号を前記数学的コストに依存して与えることのできる調節ユニットとを有し、
   前記調節ユニットが前記数学的コストに依存する変化した再生品質をもつ出力オーディオ信号を導き出すよう入力オーディオ信号を処理するよう構成されたオーディオ処理手段を有し、
   前記再生品質がある仮想音源の三次元的な位置を含み、前記オーディオ処理手段が前記出力オーディオ信号によって前記仮想音源をシミュレートできることを特徴とするオーディオ再生装置。
2. 前記オーディオ処理手段が、ユーザー依存の頭部伝達関数を用いて前記入力オーディオ信号をフィルタ処理することによって前記出力オーディオ信号を導き出し、それによって前記仮想音源の位置をシミュレートするよう構成されたフィルタを有することを特徴とする、請求項２記載のオーディオ再生装置。
3. 前記オーディオ処理手段が、前記仮想音源の位置を信号振幅と反響追加から選ばれる出力オーディオ信号の属性を変更することによってシミュレートするように構成されたオーディオ処理ユニットを有することを特徴とする、請求項２記載のオーディオ再生装置。
4. オーディオ源と、
   ユーザーが行うトレーニングの量によって影響される測定値を与えるよう構成された測定機器と、
   該測定値から数学的なコストを導き出すよう構成された数学的コスト計算ユニットと、
   音響生成装置と、
   前記オーディオ源から入力オーディオ信号を受け取り、前記数学的コストを受け取り、前記音響生成装置に入力オーディオ信号から前記数学的コストに依存して導かれた出力オーディオ信号を出力する調節ユニットとを有し、
   前記調節ユニットが、前記数学的コストに依存する変化した再生品質をもつ出力オーディオ信号を導き出すよう入力オーディオ信号を処理するよう構成されたオーディオ処理手段を有し、
   前記再生品質がある仮想音源の三次元的な位置を含み、前記オーディオ処理手段が前記出力オーディオ信号によって前記仮想音源をシミュレートできることを特徴とするオーディオフィードバックシステム。
5. ユーザーが行うトレーニングの量によって影響される測定値から導かれる数学的コストに依存して入力オーディオ信号から出力オーディオ信号を導き出す方法であって、前記導き出される出力信号が前記数学的コストに依存した変化した再生品質をもち、
   前記再生品質がある仮想音源の三次元的な位置を含み、前記入力オーディオ信号から出力オーディオ信号を導き出すことが、前記出力オーディオ信号によって前記仮想音源をシミュレートできることを特徴とする方法。

Images