JP2009509185A - 同期音声データ処理のための音声データ処理装置及び方法 - Google Patents

Abstract

音声データ処理装置（１００）であって、第１の音声データ記憶装置（１０１）、及び第１の処理装置（１０２）、を有し、前記第１の音声データ記憶装置（１０１）は第１の音声データを格納するために用いられ、前記第１の処理装置（１０２）は前記第１の音声データ記憶装置（１０１）と結合され、前記第１の音声データが第１の音声再生装置（１０３）により再生可能なように前記第１の音声データを処理するために用いられ、前記第１の処理装置（１０２）は第２の音声データ記憶装置（１０４）と結合された第２の処理装置（１０５）と同期するために用いられ、前記第２の処理装置（１０５）は前記第２の音声データ記憶装置（１０４）に格納された第２の音声データを処理するために用いられ、従って前記第２の音声データは前記第１の音声再生装置による前記第１の音声データの再生と同期した第２の音声再生装置により再生可能である、音声データ処理装置。

Description

本発明は、音声データ処理装置に関する。

更に本発明は、音声データ処理方法に関する。

更に本発明は、プログラム要素に関する。

更に本発明は、コンピューター可読媒体に関する。

音声再生装置はますます重要になっている。特に、携帯型オーディオ／ビデオ・プレーヤー、強力且つ高機能な携帯電話、及び他の携帯型娯楽機器を購入するユーザーの数は次第に増えている。便利な使用のため、このような音声再生装置は多くの場合、イヤホン又はヘッドホンを有する。

知られているヘッドホンは３Ｄ音声処理を有する。このようなシステムでは、左及び右の両チャンネルが同一のデジタル信号プロセッサー（ＤＳＰ）装置又はボックスで処理される。

更に、内蔵型ＭＰ３プレーヤーを備えた最大限の大きさのヘッドホンが知られている。無線受話器（例えばＢｌｕｅｔｏｏｔｈ接続を備える）も存在し、ステレオ・コンテンツの２つの受話器へのストリーミングを可能にする。

また、心地良い音声（例えば海、風、等の音）を生成しユーザーの睡眠を助ける装置も知られている。耳鳴りに苦しんでいる人々は、特に静かな環境、例えばユーザーが就寝しているときに現れ得る一定の甲高い音声が聞こえる。

特許文献１は、１対の補聴器装置を有するシステムを開示する。補聴器装置は、就寝時に枕の下の誘導ループを介しステレオ・システムから信号を無線で受信する。高周波数雑音帯域（水の音）、泡の雑音、交通の音、及び音楽の録音がこのシステムを用い耳鳴りを隠すために用いられている。

特許文献２は無線両耳補聴器システムを開示する。当該システムは直接シーケンス拡散スペクトル技術を用い個々の補聴人工器官の間の動作を同期する。

特許文献３は、２つの補聴器装置を有する保証器システムを開示する。音響領域は補聴器装置間で交換され、異なる傾聴状況のために信号を処理するために用いられる。

特許文献４は、補聴器及び無線親機を開示する。親機はマイクロホンを有し、マイクロホン信号を補聴器へ再生のために無線で送信する。
米国特許出願公開第２００４／０１４１６２４号明細書 米国特許出願公開第６,８３９,４４７ B２号明細書 国際公開第０２／０２８１４３ Ａ３号パンフレット 欧州特許出願公開第１５３１６５０ Ａ２号明細書

本発明の目的は、適度な電力消費を有する音声再生を可能にすることである。

上述の目的を達成するため、独立請求項による音声データ処理装置、音声データ処理方法、プログラム要素及びコンピューター可読媒体が提供される。

本発明の例である実施例によると、音声データ処理装置が提供される。前記音声データ処理装置は、第１の音声データ記憶装置、及び第１の処理装置、を有し、前記第１の音声データ記憶装置は第１の音声信号を表す第１の音声データを格納するために用いられ、前記第１の処理装置は前記第１の音声データ記憶装置と結合され、前記第１の音声データが第１の音声再生装置により再生可能なように前記第１の音声データを処理するために用いられ、前記第１の処理装置は第２の音声信号を表す第２の音声データ記憶装置と結合された第２の処理装置と時間同期するために用いられ、前記第２の処理装置は前記第２の音声データが前記第１の音声再生装置による前記第１の音声データの再生と時間同期した第２の音声再生装置により再生可能なように前記第２の音声データ記憶装置に格納された第２の音声データを処理するために用いられる（特に「処理する」は音声を単に再生すること、又は音声を再生する前に計算若しくは変更を実行することを含む）。

本発明の別の例である実施例によると、音声データ処理方法が提供される。当該音声データ処理方法は、第１の処理装置により、第１の音声信号を表す第１の音声データが第１の音声再生装置により再生可能なように、第１の音声データ記憶装置に格納された前記第１の音声データを処理する段階、第２の処理装置により、第２の音声信号を表す第２の音声データが第２の音声再生装置により再生可能なように、第２の音声データ記憶装置に格納された前記第２の音声データを処理する段階、及び前記第２の音声データが前記第１の音声データの再生と時間同期して再生可能なように、前記第１の処理装置を前記第２の処理装置と時間同期する段階、を有する。

本発明の更に別の例である実施例によると、プログラム構成要素が提供される。当該プログラム構成要素は、プロセッサーにより実行される場合、上述の特徴を有する音声データ処理方法を制御又は実行するために用いられる。

本発明の更に別の例である実施例によると、コンピューター可読媒体が提供される。当該コンピューター可読媒体には、プロセッサーにより実行されると上述の特徴を有する音声データ処理方法を制御又は実行するために用いられるコンピューター・プログラムが格納される。

本発明の実施例による音声処理は、コンピューター・プログラムにより、つまりソフトウェアにより、又は１又は複数の専用電子最適化回路により、つまりハードウェアで、又は複合形式で、つまりソフトウェア構成要素とハードウェア構成要素を用いて実現され得る。

本発明の例である実施例によると、音声装置が提供される。当該音声装置は、音声データ記憶装置、プロセッサー、及び再生装置の２つの並列ストリームを有し、メモリー装置に格納された音声データは接続されたプロセッサーにより処理され、及び再生装置により音響波を発することにより再生される。従って、音声が人間の傾聴者の左耳及び右耳の要件に選択的に調整され得るように、２つの音声ストリームは２つの別個の音声記憶装置を用い並列に処理される。更に、２つの別個の音声コンテンツ記憶装置を設けることは、例えば無線で音声データを共通音声コンテンツ記憶装置から２つの拡声器へ送信する必要をなくし、システムの動作に必要なエネルギー量を低減し得る。

２つのメモリー装置に格納された音声データは、冗長に格納されて良い。換言すると同一のデータが両方のメモリー装置に格納されて良い。或いは、各メモリー装置は個々の人間の耳に音楽又は他の音声コンテンツを供給するために必要な特定の音声データを予め格納して良い。

メモリー装置と２つの個々の経路にあるプロセッサーとの結合が非常に低電気エネルギー量で動作され得るので、このようなシステムは高品質の音声処理及び再生、迅速な音声再生及び音声データ処理装置の低電力動作を提供し得る。

同期は時々、例えば（例えば特定時間数の）待ち時間の終了後に規則的に行われて良い。更に又は代案として、同期は特定の事象が生じた場合に、例えば音声再生装置のユーザーがユーザー・インターフェースを用いた又は操作した（例えば「停止」ボタン又は「開始」ボタンを操作した）後に行われて良い。このような状況では、同期の回復は適切であって良い。

２つの音声記憶装置により定められる２つの音声チャンネルの再生タイミングを同期することにより、左耳の拡声器により発せられる音と右耳の拡声器により発せられる音との間の遅延が回避又は減少され得る。これは音声再生品質を有意に改善し得る。

２つの別個の音声記憶装置を実装することにより、単一の音声記憶装置のデータを２つの拡声器の１つへ無線で送信する必要を回避し得る。このような高コスト且つ電力消費の場合と対照的に、本発明の実施例によるシステムを動作するために必要な電力は有意に低く、携帯型又はバッテリー駆動の音声装置に適切である。半導体メモリーの価格は急速に下落し、ＭＰ３復号化は低電力消費（例えば０．５ｍＷより低い）で行われ得るが、音声の無線送信は重度の圧縮、限られた帯域、及び多量の電力消費を必要とし得る。

無線送信は（大規模バッテリーを必要とし得る）従来技術で可能だが、音声を受話器の音響への適応、３Ｄ音像安定化のための頭部追跡のような左右両チャンネルへのアクセスを必要とする特定の音声処理は、プレーヤーが低帯域及び従って低電力を用いる場合に容易に可能ではない。ＭＰ３又は同様の音声復元は、圧縮形式で格納又は送信され、有利である。

例である実施例によると、２つの受話器はステレオ再生用半導体音声プレーヤーに備えられる。２つの受話器は、制御信号、例えば無線送信チャンネルにより送信される制御信号を用い同期されて良い。従って、同期無線両耳ＭＰイヤホン・システムが提供される。従って、受話器は半導体音声プレーヤーを備えられて良く、左右の耳の間の同期が無線で行われて良い。これは制御信号を送信することにより実行されて良く、非常に小さい電力のみを必要とする。同期は「１サンプルの精度」であり、時刻を記録したパケットを他の側へ送信し、当該パケットに当該側で時刻を記録し返送することにより簡単に得られる。これは対称的な伝達時間及び精度向上のための反復と共に、十分な高精度を得るために十分である。

従って、例である実施例によると、半導体音声プレーヤー（例えばＭＰ３プレーヤー）を備えた受話器が提供されて良く、左右の耳の間の同期が無線で行われて良い。同期信号は受話器により又は遠隔制御装置により生成されて良い。

各受話器は、当該受話器自体の音声チャンネルを格納するだけで良い。或いは、両方の受話器に両方のチャンネルが格納され、ＭＰ３ファイルを３Ｄ操作と共に受話器へアップロード可能にして良い。

受話器は補聴器であって良い。半導体音声（ＳＳＡ）は耳鳴りの治療のために静かな環境で起動され得る。特に、ＳＳＡは音響環境に依存して貢献し得る。ＳＳＡは静的背景雑音を再生して良い。

更に、受話器は、充電及び音声を同期する接続架台とのインターフェースを有して良い。

例である適用分野はＢｌｕｅｔｏｏｔｈ受話器、無線イヤホン、及び補聴器である。

例である実施例によると、同期無線両耳ＭＰイヤホン・システムが提供される。ヘッドホンでは、各チャンネル音声の格納及び処理／復号を各受話器内の音声プレーヤーにより独立に行い、ステレオ音声を処理して良い。更に、イヤホン間の同期は無線で、例えば時間を記録されたパケットを一方のイヤホンから他のイヤホンへ送信し及び他のイヤホンにより時刻を記録されたパケットを返送することにより実現されて良い。

例である実施例による音声データ処理装置は、第１の音声を格納するために用いられる記憶手段、及び前記第１の音声データを再生し第１の再生音声信号を出力するために用いられる再生手段、を有して良い。同期手段は、第１の音声データの前記再生を第２の音声データ処理装置の第２の音声データの再生に対し同期する同期信号を受信するために用いられて良い。

記憶手段は複数の音声チャンネルを有する音声データを格納するために用いられて良い。装置は、格納された複数の音声チャンネルの中から再生されるべき音声データを選択するために用いられる選択手段を更に有して良い。第１の音声信号は、音楽トラックの（人間のユーザーの左耳のための）左チャンネル信号であって良く、また第２の音声信号は（人間のユーザーの右耳のための）右チャンネル信号であって良い。

従って、無線傾聴経験の快適さと同時に電力消費の低減が得られて良い。

例である実施例によると、左側及び右側のヘッドセットは如何なる物理的接続もなくて良い。更に、受話器を無線で同期し、マイクロホン信号が両側で同期してサンプリングされることを保証する。この場合には、ＭＰ３再生のために音声を両側に冗長に格納することが可能である。

特に、（両耳録音又は通信目的で）受話器からのマイクロホン信号の同期キャプチャを参照する。

本発明の例である態様では、両方の受話器がローカルに格納された音声コンテンツを有する。ＭＰ３プレーヤーを備えた現在のヘッドホンは、格納された音声データを有するただ１つのメモリーを有し、またヘッドホン内の２つの受話器と有線で接続される１つの音声プロセッサーを有することが知られている。

例である実施例によると、左右の音声信号を互いに別個に各装置内で計算する３Ｄ音声処理装置を備えた（ステレオ）ヘッドホンの受話器を備えることが可能である。受話器は左又は右の受話器として動作するよう構成され得る。音声信号は各装置間で（再生タイミング、再生振幅、均等化、及び／又は反響音に関し）同期されて良い。

如何なる別個の（ＭＰ３）音声プレーヤーも必要ない。更に、別個の音声プレーヤーでは容易に可能でない特定の音声処理、例えば音声の受話器の音響への適応及び３Ｄ音像安定化のための頭部追跡は、本発明の実施例により可能になり得る。

３Ｄ音声処理の実施例に関し、このような３Ｄ音声処理はＨＲＴＦ（頭部関連伝達関数）に基づいて良い。ＨＲＴＦは（モノラル）音声信号に適用され得る数学的変換のセットとして示されて良い。結果として生じる左右の信号は、実生活の３Ｄ空間から入来する音声を傾聴しているときに人が知覚する信号と同一であって良い。ＨＲＴＦは現実的な音声空間を模擬するために必要な情報を有して良い。一般の人のＨＲＴＦが捉えられると、大部分の人々のために音声を作成するために用いられ得る（何故なら殆どの人々の頭部及び耳、及び従って彼らのＨＲＴＦはフィルターを置き換え可能なほど類似しているからである）。

処理は２つのイヤホンに分離されて良い。両方の受話器はステレオ（又は多チャンネル）音声を受信し、及びＨＲＴＦで処理し左又は右耳の信号を得る。これは適切であり得る。何故なら、全てを一方の側で計算し他方の側へ送信するとより多くの電力消費が必要だからである。例えば、各プレーヤーはＨＲＴＦデータベースを格納して良い。

例である実施例によると、ＭＰ３プレーヤーは２つ、つまり受話器毎に１つ形成される。ユーザーは両方をＵＳＢクレードルに接続し、新たな曲をダウンロードして良い。ＭＰ３復号化は低電力要件、例えば０．５ｍＷで実行されて良い。これと対照的に、Ｂｌｕｅｔｏｏｔｈは音声ストリーミングのために約１００ｍＷを要して良く、望ましくない方法では不明な遅延を導入し得る。

両方の受話器はＤＡＢ無線放送をステレオで受信しＨＲＴＦでフィルターし得る。更に、両方の受話器は独立に頭部回転を検知し、それに応じて３Ｄ音声を調整し得る（或いは、頭部回転信号は双方向無線機を必要とする音声を再生するＭＰ３プレーヤーへ送信されて良い）。別個の頭部回転センサーを受話器毎に、又は共通の頭部回転センサーを用いることが可能である。

音声データ記憶装置は、ハードディスクのようなメモリー装置、又は音声コンテンツ、例えば音楽若しくは他の音声が格納され得る他のメモリー装置であって良い。

プロセッサー装置は、マイクロプロセッサー又はＣＰＵ（中央演算処理装置）であって良く、集積回路として、例えばシリコン技術で製造されて良い。

第１の音声データ及び第２の音声データは、音楽又は如何なる他の音声楽曲の異なる音声チャンネルであって良く、又は完全な音声アイテムであって良い。

音声再生装置は拡声器、イヤホン、ヘッドホン等であって良い。

以下に本発明の更なる例である実施例が記載される。

以下に、音声データ処理装置の例である実施例が記載される。しかしながら、これらの実施例はまた、プログラム構成要素のための及びコンピューター可読媒体のための音声データ処理方法にも適用される。

第１の音声データ記憶装置及び第２の音声データ記憶装置は、物理的に分離したデータ記憶装置として設けられて良い。従って、２つの音声データ記憶装置は、互いに独立に動作し及びそれぞれ音声処理システムの異なる経路に割り当てられる異なるメモリー装置であって良い。従って、音声処理は２つのチャンネルで独立に実行されて良い。但し２つの記憶装置の機能を結合し得る同期を除く。

第１の処理装置は第１の同期インターフェースを有して良い。第２の処理装置は第２の同期インターフェースを有して良い。同期は第１の同期インターフェース及び第２の同期インターフェースを介し実行されて良い。従って、２つのインターフェースは、処理アルゴリズム又は処理装置の動作パラメーターを他と同期させる処理装置（ＤＳＰ）に設けられて良い。従って、人間の両耳へ向けて発せられる音声は、例えば時間及び／又は振幅が同期される。

同期インターフェースは有線方式又は無線方式で同期を実行して良い。例えば、同期インターフェースは有線（抵抗性）接続で互いに、又は更なる同期装置と／を介し接続されて良い。従って、同期は有線接続を介し伝達された電気信号の交換を介し実行されて良い。また、光伝送媒体も例えば光ファイバー等を用いて可能である。或いは、同期信号の送信は有線方式で、例えば異なる同期インターフェース間又は同期インターフェースと別の同期装置との間を伝搬する電磁波の交換を介し実行されて良い。このような電磁波は無線周波数領域、光領域、赤外線領域等に含まれて良い。例えば、この場合にはＢｌｕｅｔｏｏｔｈ通信が可能である。

同期は第１の同期インターフェースと第２の同期インターフェースとの間の同期制御信号の送信を介し実行されて良い。このような制御信号は、音声アイテムの特定部分が再生装置により再生される時間に関する情報を有して良い。この情報は他の処理装置へ提供され、２つの処理装置、つまり第１及び第２の処理装置の制御下で２つの再生装置による音声コンテンツの再生を同期させて良い。

特に、同期は時刻を記録されたパケットの前記第１の同期インターフェースから前記第２の同期インターフェースへの送信を介し、及び前記時刻を記録されたパケットを前記第２の同期インターフェースから前記第１の同期インターフェースへ返送することにより行われて良い。このような時刻を記録されたパケットは、音声再生の同期を確立するために２つの処理装置に必要な全ての情報を有して良い。

第１の処理装置は第１の同期インターフェースを有して良く、第２の処理装置は第２の同期インターフェースを有して良い。また同期は第１の同期インターフェースと第２の同期インターフェースとの間の通信により実行されて良い。換言すると、２つの処理装置は、間に如何なる追加要素も有さず互いに直接通信することが可能である。従って処理装置間の同期のために直接通信が得られる。

或いは、別個の同期装置が、音声データ処理装置内に設けられて良く、同期を実行するために用いられて良い。２つの処理装置の両方の同期インターフェースは、同期の実行を仲介する同期装置と結合される。従って、如何なる直接通信経路も２つの処理装置の間に必要なく、別個の同期装置が同期に関係して良い。例えば、同期装置は各処理装置と別個に通信して良く、及び処理装置と交換されたデータを処理し同期を得て良い。或いは、同期は単に同期インターフェースの１つから生じた信号を他方の同期インターフェースへ伝達して良い。

同期装置と処理装置の如何なる１つとの間の通信は、有線方式又は無線方式で、上述の処理装置の同期インターフェース間の通信と同様に実行されて良い。

同期装置は遠隔制御装置であって良い。このような遠隔制御装置は自動的に制御されて良く、又はユーザーにより制御又は動作されて良い。

第１の音声データは、人間の第１の耳により知覚されるよう第１の音声再生装置により再生可能なように処理されて良い。更に、第２の音声データは、人間の第２の耳により知覚されるよう第２の音声再生装置により再生可能なように処理されて良い。従って、音声データ処理は、両耳により知覚可能なコンテンツが調整される方法で実現されて良い。

第１の音声データ記憶装置に格納された第１の音声データは、第２のデータ記憶装置に格納された第２の音声データと少なくとも部分的に同一であって良い（つまり冗長に格納されて良い）。それらの音声データは完全に同一であっても良い。従って、２つの異なる分離された音声処理／格納経路が設けられて良く、自律的方法で２つのチャンネルを動作させて良い。しかしながら、２つの経路は、例えば時間領域で、周波数領域で、強度領域等で同期されて良い。

或いは、異なる音声データ記憶装置に格納された音声は、部分的に又は完全に異なって良い。例えば、２つの記憶装置に格納された音声データは、２つの異なる音声チャンネルに関連して良い。つまり一方のチャンネルは左耳に、他方のチャンネルは右耳に関連して良い。

第１の処理装置、第１の音声データ記憶装置、及び第１の音声再生装置は、第１の受話器の又は第１のヘッドホンの一部であって良い。同様に、第２の処理装置、第２の音声データ記憶装置、及び第２の音声再生装置は、第２の受話器の又は第２のヘッドホンの一部であって良い。特に、音声データ処理に必要な全ての構成要素又は一部の構成要素は、イヤホン内に又はヘッドセット内に統合されて良い。これは、適正な音声再生品質を備え、時間領域の同期及び３Ｄ音響効果の生成等の機能を含む小型寸法の音声再生システムの製造を可能にする。

音声データ処理装置は、音声処理装置の周囲の音声振幅を検出するために用いられ、及び前記検出された音声振幅が所定の閾値より小さい場合、つまり周囲環境が十分に静かな場合に前記第１の音声再生装置による及び／又は第２の音声再生装置による音声データ再生を開始又は起動するために用いられる音声振幅検出装置、を有する。例えば、耳鳴りに苦しんでいるユーザーはこのような機能を有する音声データ処理装置を用いて良い。無音又は静かな環境では、及び耳鳴りに苦しんでいるユーザーが騒がしい高周波数環境雑音を知覚する場合、音声振幅検出装置はこの静かな環境を検出して良い。環境が非常に静かであり且つ環境から生じる音声信号の強度の所定の閾値を越えていない場合、音声振幅検出装置はこの情報を処理装置へ提供して良く、また音声コンテンツの再生を開始して良い。従って耳鳴りに苦しんでいる人には自動的に背景雑音が聞こえ、背景雑音は例えば眠る前にベッドの中で耳鳴りに苦しんでいる人を安心させ得る。

音声振幅検出装置は、検出された音声振幅に基づく再生振幅で音声データ再生を開始するために用いられて良い。例えば、環境が騒々しいほど音声再生が大きくなる。

音声振幅検出装置は、静的背景雑音に関連する音声コンテンツで音声データ再生を開始するために用いられて良い。このような静的背景雑音は海の音、風、渓流の音等であって良い。 音声データ処理装置は、前記音声処理装置にエネルギー及び／又は音声データを供給し、及び／又は同期を行うために、前記音声データ処理装置の構成要素の少なくとも一部を接続架台と分離可能に接続するために用いられるインターフェースを有する。従って、音声データ処理装置が接続架台に受信されるよう位置付けられると、音声データ処理装置の蓄電池又はバッテリーは、電気エネルギーがシステムへ供給されるように（再び）電力を与えられて良い。更に又は代案として、音声データ処理装置が接続架台にある場合、左右の耳のチャンネル音声成分は同期されて良い。更に、装置が接続架台に置かれると、音楽又は他の音声コンテンツは（自動的に又はユーザーにより定められ）接続架台から２つのメモリー装置へダウンロードされて良い。例えばメモリー装置に格納されたデータをアップロードして良い。

第１の音声データ記憶装置は複数の音声チャンネルに関連する音声データを格納するために用いられ、及び第１の処理装置は、前記第１の音声再生装置により再生するために前記複数の音声チャンネルの中から前記第１の音声データを選択するために用いられる。従って、音声データ処理装置の個々の音声経路は、複数の音声チャンネルの適切な１つを選択し、例えば人間の傾聴者に３次元音響経験を提供して良い。また、第２の音声データ記憶装置は複数の音声チャンネルに関連する音声データを格納するために用いられ、及び第２の処理装置は、前記第２の音声再生装置により再生するために前記複数の音声チャンネルの中から前記第２の音声データを選択するために用いられる。

第１の処理装置は、頭部関連伝達関数（ＨＲＴＦ）フィルタリングに基づく第１の音声データを処理するために用いられて良い。また第２の処理装置は、頭部関連伝達関数（ＨＲＴＦ）フィルタリングに基づく第２の音声データを処理するために用いられて良い。従って、音声信号が入力に供給されると、（処理装置に格納される）ＨＲＴＦデータベースに基づいて良い頭部関連伝達関数フィルタリングは、人間の傾聴者に３次元音響経験を提供して良い。

音声データ処理装置は、前記音声データ処理装置を用い人間の頭部の動きを検出するために用いられ、及び検出された頭部回転情報に基づき第１の処理装置及び／又は第２の処理装置を制御するために用いられる頭部回転検出装置を有して良い。例えば、人間のユーザーが彼女又は彼の頭部を動かすと、この動きは頭部回転検出装置により認識されて良い。そしてこの情報は処理装置による再生パラメーターを制御、調整、適応するために用いられて良く、及びこれらの音声データを同期するために用いられて良い。

音声データ処理装置は、ヘッドホン、イヤホン、補聴器、携帯型音声プレーヤー、携帯型ビデオ・プレーヤー、頭部装着ディスプレイ、イヤホン又はヘッドホンを有する携帯電話、医療用通信システム、身体装着装置、ＤＶＤプレーヤー、ＣＤプレーヤー、ハードディスクに基づくメディアプレーヤー、インターネット無線装置、公共娯楽装置、及びＭＰ３プレーヤーを有するグループの少なくとも１つとして実現されて良い。

しかしながら、本発明の実施例によるシステムは音声データの音声品質の向上を主な目的とするが、当該システムを音声データ及び視覚的データの組み合わせに適用することも可能である。例えば、本発明の実施例は、ヘッドセット又はイヤーセットが用いられる携帯型ビデオ・プレーヤーのような視聴覚用途で実施されて良い。

本発明の上述の態様及び更なる態様は、以下に記載される実施例の例から明らかであり、これら例である実施例を参照して説明される。

本発明は、実施例の例を参照して以下により詳細に記載される。しかし本発明はこれら実施例に限定されない。

図中の説明は概略である。異なる図中で、同様の又は同一の要素は同一の参照符号を与えられる。

図１を参照すると、本発明の例である実施例による音声データ処理装置１００が記載される。音声データ処理装置１００は第１の記憶装置１０１、第１のマイクロプロセッサー１０２、第１の拡声器１０３を有し、構成要素１０１乃至１０３は第１の音声処理チャンネルを形成する。更に、音声データ処理装置１００は第２の記憶装置１０４、第２のマイクロプロセッサー１０５、及び第２の拡声器１０６を有し、第２の音声処理経路を形成する。

この場合、第１の記憶装置１０１は音声コンテンツ、例えばＭＰ３ファイルを格納するハードディスクである。また、第２の記憶装置１０４は音楽楽曲等の音声アイテムを格納するハードディスクである。特に、第１の音声データ・アイテムは第１の記憶装置１０１に格納され、及び第２の音声アイテムは第２の記憶装置１０４に格納される。

第１のマイクロプロセッサー１０２は第１の記憶装置１０１と結合され、及び第１の音声データ・アイテムを処理するために用いられ、従って第１の音声データ・アイテムは第１の拡声器１０３により再生されて良い。同様に第２のマイクロプロセッサー１０５は第２の記憶装置１０４と結合され、及び第２の音声データ・アイテムを処理するために用いられ、従って第２の音声データ・アイテムは第２の拡声器１０６により再生可能であって良い。この場合の「再生」は、再生装置１０３、１０６が再生されるべき音声コンテンツに従い音響波を生成し、従って生成された音響波が人間により知覚可能であることを意味する。

更に、有線同期接続１０７が設けられ、第１のマイクロプロセッサー１０２を第２のマイクロプロセッサー１０５と接続する。有線同期接続１０７により、第１の拡声器１０３による及び第２の拡声器１０６によるデータの再生タイミングは、同期されて良い。従って、音響波１０８、１０９の形式で発せられる音声データは、人間のユーザーの２つの異なる耳へ案内されて良い。特に、音響波１０８は人間のユーザーの左耳の三半規管へ転送され、音響波１０９は人間のユーザーの右耳の三半規管へ案内される。

図１から分かるように、第１の記憶装置１０１及び第２の記憶装置１０４は２つの物理的に離れた装置として設けられる。特に、記載された実施例によると、両装置は共通の音声データベースへのアクセスを共有しない。これと対照的に、個々の音声データは装置１０１、１０４にローカルに格納される。

疑似有線同期は、皮膚の導電性を用いることにより適度になり、２対の電極を通じ受話器の間で情報を交換する。この通信は雑音があり得るので限られた帯域を有するが、同期された情報を送信するのに適する。

記載された実施例によると、第１の記憶装置１０１に格納された第１の音声データ・アイテム及び第２の記憶装置１０４に格納された第２の音声アイテムは同一であり、これらのデータは当該記憶装置に冗長に格納される。マイクロプロセッサー１０２、１０５に実施されたＨＲＴＦフィルターにより、音声データは、音響波１０８、１０９を聴くユーザーが３次元音響経験を有するよう変更され調整されて良い。

更に図１から分かるように、有線同期接続１０７は第１のプロセッサー１０２の第１の同期インターフェース１１０と第２のプロセッサー１０５の第２の同期インターフェース１１１との間に接続される。拡声器１０３、１０６の音声コンテンツの再生を同期するため、同期制御信号は、有線同期接続１０７により確立された双方向通信経路を介し交換される。有線接続は、当該有線接続を用いる前に、ユーザーが当該有線接続を互いに対し保持する場合、又は当該有線接続が持ち運び用の袋内にある場合のみ利用可能である。

例えば、時刻を記録されたパケットは第１のマイクロプロセッサー１０２の第１の同期インターフェース１１０から有線同期接続１０７を介し第２のマイクロプロセッサー１０５の第２の同期インターフェース１１１へ送信されて良い。更に、時刻を記録されたパケットは第２のマイクロプロセッサー１０５の第２の同期インターフェース１１１から有線同期接続１０７を介し第１のマイクロプロセッサー１０２の第１の同期インターフェース１１０へ返送されて良い。時刻の記録は、伝搬遅延が不明な無線通信で有利であり得る。

音声データ処理装置１００は携帯型音声プレーヤーである。

次に図２を参照すると、本発明の例である実施例による音声データ処理装置２００が記載される。音声データ処理装置２００は音声データ処理装置１００と異なる。主な相違点は、同期ブロック２０１が有線同期接続１０７内に接続され、従って第１のマイクロプロセッサー１０２及び第２のマイクロプロセッサー１０５のデータ処理を同期する中間処理要素として機能することである。再び、同期ブロック２０１はマイクロプロセッサー１０２、１０５を有し有線方式で双方向通信が可能である。人工知能及び／又は計算資源が同期ブロック２０１に含まれて良く、従って同期ブロック２０１は如何なる必要な同期計算も中心的に実行して良い。この手段を講じることにより、マイクロプロセッサー１０２、１０５の音声データ処理アルゴリズムは阻害されず、同期情報は前処理方式で両方のマイクロプロセッサー１０２、１０５へ提供され得る。

次に図３を参照すると、本発明の例である実施例による音声データ処理装置３００が記載される。音声データ処理装置３００は音声データ処理装置１００と異なる。相違点は、第１のマイクロプロセッサー１０２の第１の同期インターフェース３０１が無線同期インターフェースとして設けられる点である。また、第２のマイクロプロセッサー１０５の第２の同期インターフェース３０２は、第１の同期インターフェース３０１と無線通信可能なように実現される。従って、マイクロプロセッサー１０２、１０５のデータ処理と再生とを同期するために、無線同期信号３０３は、マイクロプロセッサー１０２、１０５の間で、同期信号を含む（例えば無線周波数領域の）電磁気放射の形式で直接交換されて良い。

次に図４を参照すると、本発明の例である実施例による音声データ処理装置４００が記載される。音声データ処理装置４００は音声データ処理装置３００と異なる。相違点は、遠隔制御装置４０１が中間同期信号前処理装置として設けられる点である。遠隔制御装置４０１は、第１又は第２の同期インターフェース３０１、３０２の何れとも無線通信するために用いられる第３の同期インターフェース４０２を有する。例えば、無線同期信号４０３は第３の同期インターフェース４０２と第１の同期インターフェース３０１との間で交換され得る。同様の方法で、無線同期信号４０４は第３の同期インターフェース４０２と第２の同期インターフェース３０２との間で交換されて良い。この場合には、ユーザーは遠隔制御装置４０１を制御する。或いは、遠隔制御装置４０１は音声データ処理装置４００の残りの構成要素とは別個に制御されて良く、及び別個に格納又は保持されて良い。

次に図５を参照すると、本発明の例である実施例による音声データ処理装置５００が記載される。音声データ処理装置５００は補聴器として用いられる。補聴器５００は、人間の左耳に近い位置で周囲からの音声信号を検出するために用いられる第１のマイクロホン５０１を有する。更に、第２のマイクロホン５０２は、人間の右耳に近い位置で周囲からの音声信号を検出するために用いられる。第１のマイクロホン５０１は、第１のマイクロホン５０１により受信された音声コンテンツを格納するために第１のメモリー装置１０１と結合される。同様の方法で、第２のマイクロホン５０２は、捉えた音声信号を格納するためにメモリー装置１０４へ供給するよう、第２のメモリー装置１０４と結合される。続いて、記憶装置１０１、１０４に格納された音声コンテンツは、マイクロコントローラー１０２、１０５により処理される。マイクロコントローラー１０２、１０５は無線方式で通信可能に結合され、従って再生を同期するために同期信号３０３を無線で交換する。同期はこの場合には音響信号に対し、例えば曲の再生を開始するために手を打つことにより行われても良い。

次に図６を参照すると、本発明の例である実施例による音声データ処理装置６００が記載される。音声データ処理装置６００は音声データ処理装置４００と異なる。相違点は、音声振幅検出センサー６０１が設けられる点である。振幅検出センサー６０１は、音声データ処理装置６００の周囲に存在する音声振幅を検出するために用いられ、並びに検出された音声振幅が閾値より小さい場合に、無音環境も含め、第１の拡声器１０３により及び第２の拡声器１０６により音声データ再生を開始するために用いられる。

耳鳴りに苦しんでいるデータ処理装置６００のユーザーが音声データ処理装置６００を用いる場合、環境が非常に静か（例えば就寝時）になるかも知れない。従って、耳鳴りの音は特にユーザーを当惑させる。音声振幅検出センサー６０１が環境内の雑音は非常に静かであると検出した場合、開始信号６０５が音声振幅検出センサー６０１から音声振幅検出センサー６０１の第１の開始信号インターフェース６０２を介し第１のメモリー装置１０１の第２の開始信号インターフェース６０３へ送信されて良い。また開始信号６０６は第１の開始信号インターフェース６０２から第２のメモリー装置１０４の第３の開始信号インターフェース６０４へ送信されて良い。従って、これらの信号６０５、６０６は、メモリー装置１０１、１０４からプロセッサー１０２、１０５への音声データ・アイテムの転送を開始して良い。従って拡声器１０３、１０６は固定背景雑音（例えば海の音）を発して良い。耳鳴りに苦しんでいるユーザーはこの背景雑音を知覚し、従って耳鳴り信号はユーザーにとってあまり騒がしいとは知覚されない。

次に図７を参照すると、本発明の例である実施例による音声データ処理装置７００が記載される。音声データ処理装置７００は音声データ処理装置３００と異なる。相違点は、第１の頭部回転検出器７０１が設けられ、第１のマイクロプロセッサー１０２と結合される点である。更に、第２の頭部回転検出器７０２が設けられ、第２のマイクロプロセッサー１０５と結合される。第１及び第２の頭部回転検出器７０１，７０２は、受話器７００を携帯する人間のユーザーの頭部の回転を検出する。

更に、頭部回転検出器７０１、７０２により検出された信号は（当該信号は２つの別個の成分であって良く、又は単一の共通成分になるよう結合されて良い）、マイクロプロセッサー１０２、１０５へ供給され、従ってマイクロプロセッサー１０２、１０５に人間のユーザーが頭部を動かしたことを認識させる。
このような状況では、マイクロプロセッサー１０２、１０５は、拡声器１０３、１０６により再生された信号の音声特性を調整することが適切であると決定して良く、音声品質の向上を達成する。

次に図８を参照すると、本発明の例である実施例による音声データ処理装置８００が記載される。音声データ処理装置８００は音声データ・アイテムを格納する記憶データベース８０１を有する。記憶データベース８０１は更新インターフェース８０２と結合される。更新インターフェース８０２は音声データを記憶データベース８０１から受信するために用いられ、音声データ処理装置８００の記憶装置８０３に格納され得る音声データを受信する。記憶装置８０３は再生装置８０４と結合される。再生装置８０４は記憶装置８０４に格納された音声データ信号を処理するために用いられる。再生装置８０４は同期装置８０５と結合される。同期装置８０５は左及び右耳の音声データを無線方式で送信された同期信号８０９に基づき同期する。

更に遠隔制御装置８０８により、遠隔制御信号はユーザー・インターフェース８０６へ無線で送信されて良い。或いは、インターフェース８０６はまた装置８００上又は中に設けられるボタン８０７により動作され得る。ユーザー・インターフェース８０６は制御信号を再生装置８０４へ提供し、従ってデータの再生は当該制御信号に基づき制御される。

音声データを処理する装置１００は、音声データを格納する記憶手段８０３、並びに音声データを再生し及び拡声器（示されない）により再生するために再生された音声信号を出力する再生手段８０４を有する。同期装置８０５は、左の受話器のために再生された音声データを右の受話器のための音声データの再生と同期する同期信号８０９を受信するために用いられる。

記憶手段８０３は複数の音声チャンネルを有する音声データを格納する。装置８００は選択手段８０６乃至８０８を更に有し、格納された複数の音声チャンネルの中から再生されるべき音声データを選択する。第１の音声信号は、音楽トラックの（人間のユーザーの左耳のための）左チャンネル信号であって良く、また第２の音声信号は（人間のユーザーの右耳のための）右チャンネル信号であって良い。

留意すべき点は、「有する」の語が他の要素又は段階を排除しないこと、及び単数を表す語が複数を排除しないことである。また異なる実施例と関連付けられて記載された要素は結合されて良い。また留意すべき点は、請求項の参照符号が、請求項の範囲を制限すると見なされるべきではないことである。

本発明の例である実施例による、有線同期を提供する音声データ処理装置を示す。 本発明の例である実施例による、同期装置により有線同期を提供する音声データ処理装置を示す。 本発明の例である実施例による、無線同期を提供する音声データ処理装置を示す。 本発明の例である実施例による、同期装置により無線同期を提供する音声データ処理装置を示す。 本発明の例である実施例による、補聴器として用いられる音声データ処理装置を示す。 本発明の例である実施例による、無線同期及び振幅検出を提供する音声データ処理装置を示す。 本発明の例である実施例による、無線同期及び頭部回転検出を提供する音声データ処理装置を示す。 本発明の例である実施例による、無線同期を提供する音声データ処理装置の詳細図を示す。

Claims (31)

1. 音声データ処理装置であって、
   第１の音声データ記憶装置、及び
   第１の処理装置、を有し、
   前記第１の音声データ記憶装置は第１の音声データを格納するために用いられ、
   前記第１の処理装置は前記第１の音声データ記憶装置と結合され、前記第１の音声データが第１の音声再生装置により再生可能なように、前記第１の音声データを処理するために用いられ、
   前記第１の処理装置は第２の音声データ記憶装置と結合された第２の処理装置と同期するために用いられ、前記第２の処理装置は前記第２の音声データ記憶装置に格納された第２の音声データを処理するために用いられ、従って前記第２の音声データは前記第１の音声再生装置による前記第１の音声データの再生と同期した第２の音声再生装置により再生可能である、音声データ処理装置。
2. 前記第１の音声再生装置を有する請求項１記載の音声データ処理装置。
3. 前記第２の音声処理装置、前記第２の音声データ記憶装置、及び／又は前記第２の音声再生装置を有する請求項１記載の音声データ処理装置。
4. 前記第１の音声データ記憶装置及び前記第２の音声データ記憶装置は物理的に別個の装置として設けられる、請求項１記載の音声データ処理装置。
5. 前記第１の処理装置は第１の同期インターフェースを有し、前記第２の処理装置は第２の同期インターフェースを有し、前記第１の同期インターフェースを介し、及び前記第２の同期インターフェースを介し同期が行われる、請求項１記載の音声データ処理装置。
6. 前記同期は前記第１の同期インターフェースを介し及び前記第２の同期インターフェースを介し有線方式で又は無線方式で行われる、請求項５記載の音声データ処理装置。
7. 前記同期は前記第１の同期インターフェースと前記第２の同期インターフェースとの間の同期制御信号の送信を介し行われる、請求項５記載の音声データ処理装置。
8. 前記同期は時刻を記録されたパケットの前記第１の同期インターフェースから前記第２の同期インターフェースへの送信を介し、及び前記時刻を記録されたパケットを前記第２の同期インターフェースから前記第１の同期インターフェースへ返送することにより行われる、請求項５記載の音声データ処理装置。
9. 前記同期は前記第１の同期インターフェースと前記第２の同期インターフェースとの間の通信により行われる、請求項５記載の音声データ処理装置。
10. 前記同期を行うために用いられる同期装置を有し、前記第１の同期インターフェースは前記同期装置と結合され、前記第２の同期インターフェースは前記同期装置と結合される、請求項５記載の音声データ処理装置。
11. 前記第１の同期インターフェースは前記同期装置と結合され有線方式又は無線方式で通信し、前記第２の同期インターフェースは前記同期装置と結合され有線方式又は無線方式で通信する、請求項１０記載の音声データ処理装置。
12. 前記同期装置は遠隔制御装置である、請求項１０記載の音声データ処理装置。
13. 前記第１の音声データは、人間の第１の耳により知覚されるよう前記第１の音声再生装置により再生可能なように処理される、請求項１記載の音声データ処理装置。
14. 前記第２の音声データは、人間の第２の耳により知覚されるよう前記第２の音声再生装置により再生可能なように処理される、請求項１記載の音声データ処理装置。
15. 前記第１の音声データ記憶装置に格納された前記第１の音声データは、前記第２の音声データ記憶装置に格納された前記第２の音声データと少なくとも部分的に同一である、請求項１記載の音声データ処理装置。
16. 前記第１の音声データ記憶装置に格納された前記第１の音声データは、前記第２の音声データ記憶装置に格納された前記第２の音声データと少なくとも部分的に異なる、請求項１記載の音声データ処理装置。
17. 前記第１の処理装置、前記第１の音声データ記憶装置、及び前記第１の音声再生装置は第１の受話器の又は第１のヘッドホンの一部である、請求項１記載の音声データ処理装置。
18. 前記第２の処理装置、前記第２の音声データ記憶装置、及び前記第２の音声再生装置は第２の受話器の又は第２のヘッドホンの一部である、請求項１記載の音声データ処理装置。
19. 前記音声データ処理装置の周囲の音声振幅を検出するために用いられ、及び前記検出された音声振幅が所定の閾値より小さい場合に前記第１の音声再生装置による及び／又は第２の音声再生装置による音声データ再生を開始するために用いられる音声振幅検出装置、を有する請求項１記載の音声データ処理装置。
20. 前記音声振幅検出装置は前記検出された音声振幅に基づき決定された再生振幅で音声データ再生を開始するために用いられる、請求項１９記載の音声データ処理装置。
21. 前記音声振幅検出装置は固定背景雑音に関連する音声コンテンツで音声データ再生を開始するために用いられる、請求項１９記載の音声データ処理装置。
22. 前記音声処理装置にエネルギー及び／又は音声データを供給し、及び／又は前記同期を行うために、前記音声データ処理装置の少なくとも一部の構成要素を接続架台と分離可能に接続するために用いられるインターフェースを有する、請求項１記載の音声データ処理装置。
23. 前記第１の音声データ記憶装置は複数の音声チャンネルに関連する音声データを格納するために用いられ、及び前記第１の処理装置は、前記第１の音声再生装置により再生するために前記複数の音声チャンネルの中から前記第１の音声データを選択するために用いられる、請求項１記載の音声データ処理装置。
24. 前記第２の音声データ記憶装置は複数の音声チャンネルに関連する音声データを格納するために用いられ、及び前記第２の処理装置は、前記第２の音声再生装置により再生するために前記複数の音声チャンネルの中から前記第２の音声データを選択するために用いられる、請求項１記載の音声データ処理装置。
25. 前記第１の処理装置は頭部関連伝達関数フィルタリングに基づき前記第１の音声データを処理するために用いられる、請求項１記載の音声データ処理装置。
26. 前記第２の処理装置は頭部関連伝達関数フィルタリングに基づき前記第２の音声データを処理するために用いられる、請求項１記載の音声データ処理装置。
27. 前記音声データ処理装置を用い人間の頭部の動きを検出するために用いられ、及び検出された頭部回転情報に基づき前記第１の処理装置及び／又は前記第２の処理装置を制御するために用いられる頭部回転検出装置、を有する請求項１記載の音声データ処理装置。
28. 携帯型音声プレーヤー、携帯型ビデオ・プレーヤー、頭部装着ディスプレイ、イヤホン又はヘッドホンを有する携帯電話、医療用通信システム、身体装着装置、ＤＶＤプレーヤー、ＣＤプレーヤー、ハードディスクに基づくメディアプレーヤー、インターネット無線装置、公共娯楽装置、及びＭＰ３プレーヤー、ヘッドホン、イヤホン、及び補聴器を有するグループの少なくとも１つとして実現される、請求項１記載の音声データ処理装置。
29. 音声データ処理方法であって、
    第１の処理装置により、第１の音声データが第１の音声再生装置により再生可能なように、第１の音声データ記憶装置に格納された前記第１の音声データを処理する段階、
    第２の処理装置により、第２の音声データが第２の音声再生装置により再生可能なように、第２の音声データ記憶装置に格納された前記第２の音声データを処理する段階、
    前記第２の音声データが前記第１の音声データの再生と同期して再生可能なように、前記第１の処理装置を前記第２の処理装置と同期する段階、を有する音声データ処理方法。
30. プログラム構成要素であって、プロセッサーにより実行されると、音声データ処理方法を制御又は実行するために用いられ、前記方法は、
    第１の処理装置により、第１の音声データが第１の音声再生装置により再生可能なように、第１の音声データ記憶装置に格納された前記第１の音声データを処理する段階、
    第２の処理装置により、第２の音声データが第２の音声再生装置により再生可能なように、第２の音声データ記憶装置に格納された前記第２の音声データを処理する段階、
    前記第２の音声データが前記第１の音声データの再生と同期して再生可能なように、前記第１の処理装置を前記第２の処理装置と同期する段階、を有するプログラム構成要素。
31. コンピューター可読媒体であって、前記コンピューター可読媒体にはプロセッサーにより実行されると音声データ処理方法を制御又は実行するために用いられるコンピューター・プログラムが格納され、
    第１の処理装置により、第１の音声データが第１の音声再生装置により再生可能なように、第１の音声データ記憶装置に格納された前記第１の音声データを処理する段階、
    第２の処理装置により、第２の音声データが第２の音声再生装置により再生可能なように、第２の音声データ記憶装置に格納された前記第２の音声データを処理する段階、
    前記第２の音声データが前記第１の音声データの再生と同期して再生可能なように、前記第１の処理装置を前記第２の処理装置と同期する段階、を有するコンピューター可読媒体。

Images