JP6738342B2 - 聴力を改善するためのシステムおよび方法 - Google Patents

Description

＜関連出願の相互参照＞
本願は、２０１５年２月１３日出願の米国特許仮出願第６２／１１６，２３１号の優先権を主張するものであり、参照によりその開示の全てを本明細書に援用する。

＜技術分野＞
本発明は、概して、聴力のためのシステムおよび方法に関する。より具体的には、本発明は聴力を改善するためのシステムおよび方法である。

補聴器は、ある一定の環境において良好に機能するが、補聴器上のマイクロフォンの場所は、指向性マイクロフォンおよびノイズキャンセルを十分に利用するのに最適な位置にはない。さらに、補聴器は、電力および電池寿命を有効に利用しなければならず、したがって、リアルタイムでのノイズキャンセル増幅や他のオーディオエンハンスメントに活用するのに十分に最適化することができない。加えて、レストランなどのノイズの多い環境によって、硬質表面でのノイズの跳ね返りや方向の変化というさらなる課題が生じている。

本発明の目的は、聴力が損失した個人のために聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、頭部位置および／または注視を判定することにより、対象とするオーディオ領域を増大させる、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、場所認識の解析、頭部または注視の追跡、マイクロフォンの組合せの選択、角度および強度、音声増幅ならびにノイズキャンセルの機能を実行するための小型マイクロプロセッサを含む、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、手に保持されるケースに上記機能が含まれる、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、装置がテーブル上に置かれるか、あるいは、手に持った状態または机などの表面に起立させた状態で使用できるようにゴムで被覆した脚部を有するキックスタンドを有する、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、聴力を改善するためのシステムおよび方法を提供することであり、当該システムは、左耳および／または右耳に向けられ得るパラメトリックスピーカで構成される。

本発明の目的は、外部スピーカ、外部パラメトリックスピーカ、（小型イヤホンを有するかあるいは有しない）スマートフォンそれ自体、補聴器、補助聴覚装置、BLUETOOTH（登録商標）ヘッドセット、人工内耳、ヘッドホン、または聴取もしくは聴力向上のために用いられる他の任意の装置に対して音声パック（sound puck）がオーディオをストリーミングする、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、聴力を改善するためのシステムおよび方法を提供することであり、当該システムは、上記の音声向上に関する目的を達成するために、多数個のカメラを装備したスマートフォンと共に、またその注視追跡能力と統合して使用することができる。

本発明の目的は、タブレット、時計または身体着用型装置である、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、マイクロフォンアレイからの注視追跡向上型音声増幅と同様の目的を達成する専用装置であるが、スマートフォンでもタブレットでもない専用装置を用いる、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、音声パックまたはIHOLDER（登録商標）装置以外の様々な電源によって駆動され得る、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、オーディオが、遅延再生または繰り返し再生のために記録される、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、音声をさらに向上させ通知を再生するためのパラメータが、装置自体で、スマートフォンまたはタブレットで、タッチ入力によって、またはユーザの特定の注視動作もしくは他のジェスチャーによって制御される、聴力を改善するためのシステムおよび方法を提供することである。たとえば、ボリュームを上げるためには素早く上を向き、ボリュームを下げるためには素早く下を向くことができる。通知を再生するには、スマートフォンを長時間注視するだけでもよいし、あるいは指または手を振る、指を鳴らすまたは頭を傾けるといった別のジェスチャーを行ってもよい。

本発明の目的は、聴力を改善するためのシステムおよび方法を提供することであり、ここで、音声をさらに向上させ通知を再生するためのパラメータは、ＥＥＧなどの身体の生命徴候をＥＥＧセンサで検知するためのセンサを装備した小型イヤホン、プロセッサ、ならびにスマートフォンまたは通知再生の機能および起動を制御するための他のプロセッサ／装置へのその後の送信によって、制御される。たとえば、通知を再生するためには、スマートフォンでの通知の再生を起動する事前プログラムされたＥＥＧ信号を得るだけでよい。

本発明の目的は、注視追跡が、目または頭部の位置だけで、または小型イヤホン内にある頭部位置センサによって行われかつ検出され、そして指向性を最適化するためにまたはビーム形成マイクロフォンアルゴリズムおよびノイズキャンセルを駆動するために使用される、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、電力充電回路により、スマートフォンおよび小型イヤホンを充電するためにIHOLDER（登録商標）装置または音声パックも使用する、聴力を改善するためのシステムおよび方法を提供することである。

本発明の目的は、発泡体を有するケースからマイクロフォンを分離すること、ケースに成形用プラスチックを充填すること、およびキャビティ内に吸収性発泡体層を挿入することを実現するケースまたはエンクロージャを提供することである。

本発明は、上記補聴器が有する問題に多くの方法で対処するシステムおよび方法を提供する。まず、複数の指向性マイクロフォンまたはビーム形成マイクロフォンを有するマイクロフォンアレイは、エンクロージャに挿入され、より最適な位置に配置されてもよい。このような位置の例の一つは、レストランのテーブルに着いている聴覚障害者の目の前である。エンクロージャは、多くの形態をとることができ、指向性マイクロフォンまたはビーム形成マイクロフォンの小型または大型のアレイを収容することができる。マイクロフォンからのオーディオ入力を処理するために、エンクロージャは、補聴器で潜在的に可能なものよりも強力な処理回路を含むことができる。なぜなら、外部から電源を供給する、あるいは、より最適には、電池、プロセッサを有する携帯電話、または取り付けられたスマートフォンのスマートフォン電池（たとえば、スマートフォンの卓上ホルダ）によって電源を供給することができるからである。この装置は、BLUETOOTH（登録商標）プロトコル装置および他の無線通信プロトコルを含む、装置自体に含まれる電子部品を用いてもよく、あるいは、処理能力、電池、グラフィック処理ユニットすなわちＧＰＵ、カメラ、BLUETOOTH（登録商標）装置、ならびにジャイロスコープおよび位置検出用加速度計などの他のスマートフォン機能などの、スマートフォンに内蔵される機能のうちのいずれか１つまたは複数を利用してもよい。

エンクロージャの上部でスマートフォンが利用され、このスマートフォンがユーザに向けて上向きに傾斜している（あるいはエンクロージャの一部であるミラーを介して上方に向けられている）場合、内蔵カメラ（またはエンクロージャに内蔵されたカメラ）自体を利用してユーザの頭部位置および注視を監視することができる。注視および頭部位置を把握することは、音声処理アルゴリズムの導出や、指向性マイクロフォンの選択、ビーム形成アルゴリズムおよび処理の最適化に役立ち得る。加えて、頭部位置を判定するセンサを含む小型イヤホンもまた、マイクロフォンの指向性を増大させたり、ビーム形成アルゴリズムを所望の対象とする人物／オーディオに対して導出することができる。サウンドパックは、補聴器、補助聴覚装置、ヘッドホン、小型イヤホン、人工内耳または骨伝導装置を含む、有線および／またはBLUETOOTH（登録商標）を装備した聴覚装置と接続することができる。一実施形態において、注視追跡は必要ではなく、頭部位置は、ジャイロスコープおよび／または加速度計を有する補聴器、ヘッドホン、小型イヤホン、または骨伝導装置を装備して頭部の動きを検出することによって判定され、これによって、どのマイクロフォンがアクティブリスニングに最適となるかを判定する能力が増大する。これは、マイクロフォンアレイの一部および／もしくはマイクロフォン組立体の一部であるセンサ、ならびに／またはスマートフォンに含まれるセンサとペアリングすることによって行うことができる。このペアリングは、頭部位置を判定するためにテーブルに置かれている特定のスマートフォンに対して行うことができる。別の実施形態において、振動といったジェスチャーを検出可能な回路を同様な聴取装置に装備し、それにより、ユーザは装置あるいは眼鏡のツルを指でタッピングすることによって、効果的に「クリック」を行うことができる。多数個のタップコードにより、異なるメッセージおよび／または動作を送信することができる。別の実施形態において、骨伝導「スピーカ」が、眼鏡のツルの後部に、耳の裏でかつ視野に入らないように取り付けられる。この実施形態において、骨伝導装置は、眼鏡の後方にスライドすることができるとともに、快適さを提供する発泡外装体を含むことができる。

「音声パック」またはIHOLDER（登録商標）装置およびスマートフォンからの出力は、BLUETOOTH（登録商標）プロトコルまたは他の無線プロトコルを介して、無線を装備した補聴器、補助聴覚装置、BLUETOOTH（登録商標）プロトコルヘッドセット、小型イヤホン、ヘッドホン、骨伝導聴覚装置または人工内耳に送信することができる。対象とするオーディオ領域についての注視を判定するために、指向性マイクロフォンアレイを利用する能力と、頭部・注視追跡による増大とを組み合わせてもよい。対象とするオーディオ領域についての頭部位置を判定するために、頭部追跡および／もしくは注視追跡、ならびに／またはジャイロスコープ／加速度計を装備した増大構成（augmentation）と組み合わせた指向性マイクロフォンアレイおよび／またはビーム形成マイクロフォンアレイを使用することが可能である。皮膚または眼鏡のツルに取り付けられる、耳の隠れた骨用の骨伝導スピーカおよび／または軟骨伝導スピーカの裏側で、タップ振動検出を用いてマウスクリックまたはタッチ動作を模倣することができる。タッチ動作を模倣するために、特定の注視ジェスチャーを使用することが可能である。オーディオは、繰り返し再生または×秒の再生（たとえば、Tivo）のために記録してもよい。上記再生は、装置または眼鏡のツルでのタップまたはスマートフォンのカメラでの長時間にわたる注視といったジェスチャーの検出により開始することができる。加速度計およびジャイロスコープは動き追跡、睡眠追跡のために用いられてもよく、また、ＥＣＧ、温度および皮膚水分（ただし、これらに限定されない）用のセンサを含み得る。小型の骨伝導スピーカ（「骨伝導装置」）を、耳の裏側で乳様突起（または耳の周囲の任意の骨の場所）に当てて、または耳の裏側で軟骨に当てて装着することができる。これらは、皮膚または耳の後部に密着する独立型であってもよく、あるいは他の音声パック装置とペアリングされた耳の裏側にある眼鏡のツルの後部に取り付けられ、かつ／または摺動させることができる。これらは、快適性をもたらすための発泡体を含んでいてもよく、眼鏡の各種様式とインターフェース接続するために汎用的なものとなる。これらの装置は、頭部位置を判定してマイクロフォン選択および音声最適化を増強するための１つまたは複数のセンサを含み得る。これらは、ジャイロスコープおよび／または加速度計の任意の組み合わせを含み得る。これらの装置は、活動、睡眠追跡等のFitbit式測定に使用することができ、かつ／または温度、皮膚水分および／またはＥＣＧを測定するための他のセンサを含むことができる。上記設計にマイクロプロジェクタを組み込むことが可能である。プロジェクタは、耳の裏にあってもよく、また、眼鏡のツルに沿って延びる光導波管に接続することができ、そして、所望の画像および／またはテキストをユーザの眼鏡の表面に、次いで瞳を通過させて目に投射する。これは、眼鏡にビームスプリッタのコーティングを設けるかあるいは設けることなく行うことができる。これにより、眼鏡を通して画像およびテキストを見ること、加えて、所望のシーンを見ることが可能となる。一実施形態において、この機構は視野から隠れている。ビームスプリッタは、特殊ガラスレンズ、コーティングおよび／または眼鏡用のプラスチックオーバーレイによって実現することができる。

本発明は、また、聴力を改善するためのシステムを提供し、当該システムは、プロセッサシステムと、通信インターフェースと、通信システムと、入力システムと、出力システムとを有するサーバシステムであって、通信ネットワークへのアクセスを有するサーバシステムと、オペレーティングシステムと、通信モジュールと、ウェブブラウザモジュールと、複数のマクロフォンから取得されたオーディオ信号を示す情報を処理してオーディオ信号の音質を向上させ、向上したオーディオ信号を送信するためのアプリケーションソフトウェアを記憶するための聴力改善用の非一時的記憶媒体とを有するメモリシステムと、聴力改善用の非一時的記憶媒体上に存在する聴力改善情報を表示するウェブサイトとを含み、出力システムおよび通信システムは、向上したオーディオ信号をユーザに送信する。

本発明は、聴力を改善するための方法を提供し、当該方法は、複数のマイクロフォンからオーディオ信号を取得するステップと、オーディオ信号を表す情報を通信システム上で通信インターフェースを介してサーバに送信するステップと、送信された情報を処理してオーディオ信号の音質を向上させるステップと、向上したオーディオ信号をユーザに送信するステップとを含む。

本発明を添付の図面に示す例示的かつ非限定的な実施形態によって説明する。図中、同様の参照符号は類似の要素を示す。

３つのマイクロフォンを担持する繰出し片を有する向上したスマートフォンの形態である本発明の実施形態の斜視図である。 図１Ａの実施形態の異なる斜視図であり、向上したスマートフォンから延出した繰出し片を示す。 図１Ａの向上したスマートフォンの正面立面図である。 向上したスマートフォンの背面立面図である。 図１Ａ〜図１Ｄの実施形態の図１ＣのＡ−Ａ部分に沿った側面断面図である。 光学カメラで取得されたユーザの光学画像をユーザの目および他の頭部特徴を特定するために用いられる参照ドットと共に示す斜視図である。 本発明の一実施形態に係るマイクロフォンアレイを示す。 指向性マイクロフォンを示すスマートフォンの斜視図である。 本発明の一実施形態に係る音声パック装置を示す。 会議パック装置の斜視図を示し、スピーカを中間に、ベース周辺部の周囲のビーム形成マイクロフォンおよび上部周辺部の周囲のウェブカムカメラを示す。 本発明の一実施形態に係るスマートフォンホルダを示す。 小型イヤホン用の充電部として用いられるソケットを有するスマートフォンの実施形態を示す。 スマートパックにおいて用いることができるコントロールボタンまたはアイコンを示す。 ネックバンド式小型イヤホンの斜視図を示す。 本発明に係る方法のためのステップのフローチャートを示す。 信号図を示す。 マイクロフォンが外表面に取り付けられたエンクロージャの実施形態を示す。 iPhone６+のケースを用いた実施形態を示す。 マイクロフォンを装置の後方に向けて配置した状態（１８０°方位角）で図１２Ａの装置から得られた測定値のグラフである。 図１２Ａの装置と同様の装置から得られた（ただし、成形カバーを外した状態で）測定値のグラフである。 マイクロフォンをケースの正面に向けて配置した状態（０°方位角）で得られた測定値のグラフである。 マイクロフォンをケースの正面に向けて配置した状態（０°方位角）で得られた測定値のグラフである。 マイクロフォンをケースの正面に向けて配置した状態（０°方位角）で得られた測定値のグラフである。 マイクロフォンをケースの正面に向けて配置した状態（０°方位角）で得られた測定値のグラフである。 テーブルに配置した片面マイクロフォンから得られた測定値のグラフである。 ケースに直接表面実装したマイクロフォンから得られた測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 表面実装マイクロフォンをテーブル上に直接配置して取得された「ケース無し」の基準測定値と、各ケース内測定値との比較を示す測定値のグラフである。 本発明の一実施形態に係る聴力を改善するためのシステムのネットワークベースのシステム概要を示す。 本発明の一実施形態に係るクライアントシステムのブロック図を示す。 本発明の一実施形態に係るサーバシステムのブロック図を示す。

例示的な実施形態の様々な態様について、当業者がその研究を他の当業者に伝えるために一般的に用いる用語を用いて説明する。しかし、説明される側面の一部のみによって本発明が実施され得ることは、当業者には明らかであろう。説明のため、例示的な実施形態の理解を十分に図るべく、特定の数字、材料および構成について記載する。しかし、具体的な詳細事項が無くとも本発明が実施され得ることは、当業者には明らかであろう。また、例示的な実施形態を不明瞭にしないよう、周知の特徴については省略または簡略化している。

各種動作は、本発明の理解に最も有用となるよう、順次、多数の個別の動作として説明する。しかし、説明の順序は、これらの動作が必ず順序に依存するということを示唆していると理解すべきではない。特に、これらの動作は、提示された順序で実施される必要はない。

「一実施形態において」という表現は、同じ実施形態について言及する場合もそうでない場合もある。「備える（comprising）」、「有する（having）」、「含む（including）」という用語は、文脈がそうでないことを示さない限り同義である。

図１Ａ〜図１Ｅは、向上した変形スマートフォンの形態における本発明の実施形態を示す。図１Ａは、スライド式の繰出し片１２を含むように変形および向上したスマートフォン１０の斜視図を示し、繰出し片１２は、延出された際に露出する３つのマイクロフォン１４Ａ、１４Ｂおよび１４Ｃを有する。繰出し片１２を後退させると、マイクロフォン１４Ａ、１４Ｂおよび１４Ｃは後退し、露出から保護される。スマートフォン１０は、ユーザの光学画像を含む光学画像を取得するためのカメラ１６を有する。このカメラは、スマートフォン上の他の位置に置くことが可能である。図１Ａ〜図１Ｅの特定の実施形態において、上記マイクロフォンはビーム形成マイクロフォンであり、その動作については後述する。

図２は、スマートフォンがユーザに対してある位置にあるときに当該ユーザから取得された画像を、ユーザの目および他の頭部特徴を特定するために用いられるドットで示す基準点とともに示す。ユーザの頭部の光学画像からユーザの顔の特徴を特定するために用いられるアルゴリズムは、任意の既知のアルゴリズムであってよい。ここでは、参照座標系に対してヨー＝−３４.２°、ピッチ＝１１.０°およびロール＝１０.３°の値を有する、アルゴリズムから求めたヨー、ピッチおよびロールのパラメータを示す。ユーザの頭部の位置を特定するための他の方法としては、音声パックに含まれるウェブカムを使用すること、位置特定装置を小型イヤホンに埋め込みこと、位置特定装置を眼鏡に埋め込むこと等が挙げられる。勿論、ユーザの頭部を特定する他の方法が当業者によって想到されるであろう。本発明は本明細書に記載の方法に限定されるものではない。

図３は、より詳細には後述するように、複数のビーム形成マイクロフォン（図３においては、このような４つのマイクロフォン）の音響ビームが、マイクロフォンの場所に対する会話中のユーザ３３４の位置に関する情報を用いたアルゴリズムに基づいてどのように規定されるかを平面図で示す。この場合、ビーム形成マイクロフォンのうちの１つは規定された音響ビーム領域３３２を有し、この音響ビーム領域３３２は、会話中のユーザの声を取得しかつ対象とするオーディオの取得を最適化するために、同図の左下に一例を示す背景ノイズと比較して、より大きく、また会話中のユーザの方に向けられている。装置３１０に含まれるオーディオ処理回路３３０は、音響ビーム形成器を形成する。

対象とする音響信号の取得は、ビーム形成マイクロフォンまたは指向性マイクロフォンによって行うことが可能である。ビーム形成マイクロフォンの場合、ユーザの位置および向きに関するデータを用いてビーム形成マイクロフォンのビーム形成パターンを規定して、信号処理アルゴリズムによってユーザの聴力に提供される音響信号を向上させる。

指向性マイクロフォンの場合、アレイとして設けられ得る複数の指向性マイクロフォンが備えられ、これらマイクロフォンのうちの１つまたは複数を所望の音響信号が提供されるように選択して、信号を向上させるとともに、ノイズや他の不要な音を最小限にする。指向性マイクロフォンを用いた実施形態の一例を図４に示す。同図は、合計６つの指向性マイクロフォン１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ、１４Ｅ、１４Ｆを有するスマートフォンを示し、１つの角につき１つのマイクロフォン（１４Ａ、１４Ｃ、１４Ｄおよび１４Ｆ）およびスマートフォン１０の１つの長辺につき１つのマイクロフォン（１４Ｂ、１４Ｅを参照）が配置される。ユーザの位置によっては、指向性マイクロフォンのうちの１つまたは複数を所望の音響信号の受信を最適化するよう有効化し、一方、ノイズの一因となる他のマイクロフォンを無効化する。所望の音響信号が図４の左下からのものである場合、指向性マイクロフォン１４Ｂおよび１４Ｃのいずれか一方または両方を有効化し、それ以外を無効化する。有効化したマイクロフォンの貢献度は、１つのマイクロフォンがその他のマイクロフォンよりも貢献度が高くなるように、標準的なミキシング技術を用いて調整することができる。

図３は、本発明の一実施形態に係るマイクロフォンアレイ３００を示す。

マイクロフォンアレイ３００は、エンクロージャ３１０、複数の指向性マイクロフォンまたはビーム形成マイクロフォン（「マイクロフォン」）３２０および電子処理回路３３０を含み得る。エンクロージャ３１０は、プラスチック、金属または他の適した材料で形成されてもよい。マイクロフォン３２０は、ユーザの音声品質等を向上させ得るマイクロフォンアレイ３２０Ａを含み得る。電子処理回路３３０は、エンクロージャ３１０内に含まれてもよい。電子処理回路３３０は、ユーザが着用する補聴器３３４からのいかなるオーディオ入力よりも聴こえやすいものであり得る複数の向上した音響ビーム３３２を生成し得る。

マイクロフォンアレイ３００は、装置自体に含まれる、BLUETOOTH（登録商標）プロトコルおよび他の適した無線通信プロトコルを利用する電子処理回路３３０を使用するか、あるいは、処理能力、電力、電池、グラフィック処理ユニットすなわちGPU、カメラ、BLUETOOTH（登録商標）通信プロトコルおよび他のスマートフォン機能といったスマートフォン（図７、１２４）に内蔵された機能のうちの任意の１つまたは複数を利用することもできる。

マイクロフォンアレイは、エンクロージャに挿入され、より最適な位置に配置され得る複数のマイクロフォンを有してもよい。そのような例の一つとしては、レストランのテーブルに着いている聴覚障害者の目の前である。エンクロージャは、多くの形態をとることができ、小型または大型の指向性マイクロフォンアレイを収容することができる。マイクロフォンからのオーディオ入力を処理するために、エンクロージャは、補聴器で潜在的に可能なものよりも強力な処理回路を含むことができる。なぜなら、外部から電源を供給する、あるいは、より最適には、電池、プロセッサを有する携帯電話または取り付けられたスマートフォンのスマートフォン電池（たとえば、スマートフォンの卓上ホルダ）によって電源を供給することができるからである。この装置は、BLUETOOTH（登録商標）プロトコルおよび他の無線通信プロトコルを含む、装置自体に含まれる電子部品を用いてもよく、あるいは、処理能力、電源、電池、グラフィック処理ユニットすなわちＧＰＵ、カメラ、BLUETOOTH（登録商標）プロトコル、および他のスマートフォン機能といった、スマートフォンに内蔵される機能のうちのいずれか１つまたは複数を利用してもよい。

エンクロージャの上部でスマートフォンが利用され、このスマートフォンがユーザに向けて上向きに傾斜している場合、内蔵カメラ（またはエンクロージャに内蔵されたカメラ）自体を利用してユーザの頭部位置および注視を監視することができる。注視および頭部位置を把握することは、上記アルゴリズムの導出や、指向性マイクロフォンの選択および処理の最適化に役立ち得る。

図５は、本発明の一実施形態に係る音声パック４００を示す。

音声パック４００は、ケーシング４１０、入力ソケット４２０、出力ソケット４３０および１つまたは複数のスピーカ４４０を含み得る。

ケーシング４１０は、上面４１０Ａおよび周壁板４１０Ｂを含み得る。ケーシング４１０は、プラスチック、金属、鋼、ステンレス鋼等で形成されてもよい。入力ソケット４２０は、ケーシング４１０の周壁板４１０Ｂ上に配置されてもよい。図５は、ＡＵＸＩＮ入力ソケット４２０Ａである入力ソケット４２０、ＡＵＸＯＵＴ表示灯４２２Ａである第１の表示灯４２２、および透明電池表示４２６であり得る第２の表示灯４２４を示す。透明電池表示４２６は、音声パック４００の電池（図示せず）の充電中に該電池が充電されているときに点滅によって通知するための機能表示として機能し得る。透明電池表示４２６は、音声パック４００の前記電池が充電を維持している間は、前記電池が満充電であるときに点灯し続けることによって通知を行う機能表示として機能し得る。出力ソケット４３０は、直流および状態ベクトルソケット、すなわちDC/SV出力ソケット４３２等であってもよい。１つまたは複数のスピーカ４４０は、ケーシング４１０の上面４１０Ａに配置されてもよい。１つまたは複数のスピーカ４４０は、１つまたは複数のパラメトリックスピーカ４４０Ａ等であってもよい。

システムは、IHOLDER（登録商標）装置および／または音声パックを含み得る。システムは、正常な聴取環境において聴力を増強するためにも使用され得る。これは、補聴器、補助聴覚装置、BLUETOOTH（登録商標）プロトコルヘッドセット、小型イヤホン、ヘッドホンまたは人工内耳といった補助聴覚装置への無線接続（BLUETOOTH（登録商標）プロトコルおよびその他）によって実現され得る。また、補聴器のような耳装着型装置を使用することなく音声をユーザの左右の耳に直接向けるためのパラメトリックスピーカをシステム（指向性増大型注視追跡を含む）に装備することができる。

スマートフォンホルダ（この１つのバージョンはIPHONE６（登録商標）装置用のもの、すなわち、IHOLDER（登録商標）装置）は、スマートフォンを、机に座りながら見るのに理想的な角度で机の上で保持する。このホルダの底部は、摺動を防止するためのゴムパッドを有する。IHOLDER（登録商標）装置は、IPHONE（登録商標）装置に対して電力および快適な視認をもたらすことができる。IHOLDER（登録商標）装置は、ユーザの顔を見ることができるように焦点および倍率を理想化した１つまたは複数のカメラを含み、また、２つ以上のカメラを利用して頭部位置および注視を判定してもよい。このIHOLDER（登録商標）カメラは、ユーザを常時監視しており、第１の注視認識ステップを（またはスマートフォンのソフトウェアを介して）行う回路を含む。注視認識の際、IPHONE（登録商標）装置は、ソフトウェアおよび／またはハードウェアのいずれかを介して、マイクロフォンアレイからの理想的なマイクロフォン組み合わせを選択する情報をフィードバックするとともに、ノイズキャンセルも行ってもよい。この機能は、Android、Windowsおよび他のスマートフォン、または同様に機能するがスマートフォンではない専用装置上でも実現され得る。

図７は、本発明の一実施形態に係るスマートフォンホルダ５００を示す。より具体的には、図７は、表面に配置されたスマートフォンホルダ５００を示す。

スマートフォンホルダ５００は、ベース５１０およびスマートフォン取付片５２０を含み得る。

ベース５１０は、底面５１０Ａと、中間部５１０Ｂ’を有する上面５１０Ｂとを含み得る。ベース５１０は、ベース５１０の上面５１０Ｂの中間部５１０Ｂ’を有する上面５１０Ｂに配置された***中心継手５１２を含み得る。ベース５１０の上面５１０Ｂは、***中心継手５１２の周囲に配置された４つの等間隔配置の凹部５１４を含み得る。ベース５１０は、スマートフォンホルダ５００が表面または物体等に配置されている間に動かないようにするために、ベース５１０の底面５１０Ａに配置され得る１つまたは複数のゴムパッド５１６も含み得る。スマートフォン取付片５２０は、中心取付孔５２２を含んでいてもよく、中心取付孔５２２は４つの等間隔配置の取付タブ５２４をその周囲に有する。スマートフォン取付片５２０は、４つの等間隔配置の取付タブ５２４を有する中心取付孔５２２を、位置合わせした***中心継手５１２および４つの等間隔配置の凹部５１４に挿入し、スマートフォン取付片５２０に連結されたスマートフォン１２４を捩じることによりベース５１０に連結されてもよく、これにより、連結されたスマートフォン１２４が定位置に固定される。スマートフォン１２４は、１つまたは複数のカメラ５３０と、ユーザのビデオおよび音声をスマートフォン１２４のオーディオ能力の範囲で取得し得る音声記録アプリ５４０とを含み得る。

図１１Ａは、本発明の一実施形態に係る聴力を改善するための方法のフローチャートを示す。

方法６００は、スマートフォンを、スマートフォンを持つユーザを見ることができる表面で保持するステップ６１０と、クライアントシステムに、スマートフォンを表面に固定しながら電力を供給させるステップ６２０と、ユーザを見ることができるように焦点および倍率を理想化したスマートフォンによってユーザを常時監視するステップ６３０と、スマートフォンのマイクロフォンアレイからの理想的なマイクロフォン組み合わせを選択するクライアントシステムからの聴覚情報をフィードバックするステップ６４０とを含み得る。

保持ステップ６１０における表面は、物体等の表面を含み得る。電力供給ステップ６２０におけるクライアントシステムは、マイクロフォンアレイ、音声パックまたはスマートフォンホルダを含み得る。常時監視ステップ６３０は、ユーザの頭部位置および注視を判定するために利用される２つ以上のカメラを使用してもよい。聴覚情報フィードバックステップ６４０は、１つもしくは複数の外部スピーカ、１つもしくは複数の外部パラメトリックスピーカ、１つもしくは複数の小型イヤホンを有するかあるいは有しないスマートフォン、補聴器、補助聴覚装置、BLUETOOTH（登録商標）プロトコルヘッドセット、人工内耳、一組のヘッドホン、または聴取もしくは聴力の改善に用いられる任意の装置からなる群から選択される装置からの聴覚情報を使用してもよい。聴覚情報フィードバックステップ６４０は、注視追跡、ノイズキャンセル、注視追跡解析、マイクロフォン組合せ選択および音声増幅を実行する１つまたは複数のステップも含み得る。命令が記憶された非一時的コンピュータ記憶媒体は、実行された際に、方法６００全体のステップを実行し得る。

図１１Ｂは、どのように音響信号が入力され、処理され、イヤホンに出力されるかを示すフロー信号図を示す。この場合のマイクロフォンアレイは、３つのマイクロフォンがＢＢＦ（ビーム形成器）に供給される。ＢＢＦは、ユーザの位置および向きを示す顔追跡器の信号もＳＭＡＲＴを介して受信してもよく、ＳＭＡＲＴは、データ信号θ°およびβを出力する。ＳＭＡＲＴは、テーブル・車・ポケットブロックに対しても出力を行い、このブロックは、ケースパラメータブロックに対して出力を行う。ＣＲＣ−アルゴリズムは、音響処理を行う。

聴力を改善するためのシステムおよび方法が使用されるであろう環境の一つは、当該システムおよび方法によって聴力が改善され得るノイズの多い環境（すなわち、レストラン等）であってもよい。

センサおよび／またはマイクロフォンアレイが眼鏡に埋め込まれてもよい。ユーザの眼鏡の前部に小型マイクロフォンを取り付けて、眼鏡に含まれるビーム形成マイクロフォンおよび／または指向性マイクロフォンを用いて、ノイズ中での聴取能力を増強することが可能である。指向性チップおよび／または指向性マイクロフォンが眼鏡に埋め込まれてもよい。別の実施形態において、頭部の位置および追跡は、ジャイロスコープ／加速度計を装備した、小型イヤホン、ヘッドホン、骨伝導装置／軟骨伝導装置、補聴器、人工内耳、または、マイクロフォン選択、最適なオーディオ設定およびノイズキャンセルを最適化するために検出され用いられる他の任意の聴取装置を介して行ってもよい。別の実施形態において、オーディオ出力信号は、スピーカフォンを介して出力することが可能である。システムは、場所を検出しかつ当該場所の最適なオーディオ特性を制御するＧＰＳ装置などの、位置検出センサを含み得る。超小型骨伝導スピーカ（「骨伝導装置」）を耳の裏側で乳様突起（または耳の周囲の任意の骨の場所）に当てて、または耳の裏側で軟骨に当てて装着することができる。これらは、皮膚または耳の後部に密着する独立型であってもよく、あるいは他の音声パック装置とペアリングされた耳の裏側にある眼鏡のツルの後部に取り付けられ、かつ／または摺動させることができる。これらは、快適性をもたらすための発泡体を含んでいてもよく、眼鏡の各種様式とインターフェース接続するために汎用的なものであり得る。これらの装置は、頭部位置を判定してマイクロフォン選択および音声最適化を増強するための１つまたは複数のセンサを含み得る。センサは、ジャイロスコープおよび／または加速度計の任意の組み合わせを含み得る。これらの装置は、活動、睡眠追跡等のＦｉｔｂｉｔ式測定に使用することもでき、かつ／または、温度、皮膚水分および／またはＥＣＧを測定するための他のセンサを含むことができる。

以下の特許および公開特許出願が参照により本明細書に援用され、これらは、信号処理アルゴリズムによってローカル装置上で、あるいは遠隔サーバによって行うことが可能なタイプの信号向上に関する開示を提供する。

米国特許第８，９５３，８１７号は、指向性出力信号を生成するためのシステムおよび方法を開示する。その２つのマイクロフォンを本発明において使用することができ、音声を処理し向上させるためのアルゴリズムを本発明のシステムにおいて使用することができる。

米国特許第８，９４７，９７８号は、音声が到着する方向を推定するシステムおよび方法を開示する。そのマイクロフォンを本発明において使用することができ、音声を処理し向上させるためのアルゴリズムは、本発明のシステムにおいて使用することができ、または音声の発生源の場所を検出することができる。

米国特許第８，７５５，５４７号は、音声の了解度を向上させるための方法およびシステムを開示する。このシステムは、音声信号の音質を向上させるために本発明のシステムで使用することができる。

米国公開特許出願第２０１３／０２２３６４４号は、マイクロフォン構成から受信された信号に含まれる不要な音声を低減するためのシステムおよび方法を記載する。このシステムは、音声信号の音質を向上させるために本発明のシステムにおいて使用することができる。

米国公開特許出願第２０１６／０００５４１７号は、ノイズ低減システムおよび方法を開示する。このシステムは、ノイズを低減し、それによって音声信号の音質を向上させるために、本発明のシステムにおいて使用することができる。

米国公開特許出願第２００８／００６３２２８は、音響的に透明なオクルージョンを低減するシステムおよび方法を開示する。このシステムは、音質または少なくともユーザによる音質の知覚を改善するために本発明のシステムにおいて使用されてもよい。

上記の特許および公開特許出願は、音質を向上させるための、マイクロフォンなどの音響部品およびアルゴリズムの両方を開示する。これらのアルゴリズムは、当業者によって理解されるように、本発明のシステムにおけるアルゴリズムとして使用されてもよい。

図１２Ａは、外表面に取り付けられたマイクロフォンを有するエンクロージャの一実施形態を示す。本実施形態は、ケースの一端にプリズム状成形ゴム片を有しケースの他端に６つの（６）マイクロフォン（番号１〜６を参照）を有する堅牢なiPhone６+ケースの形態であるエンクロージャで構成される。成形ゴム「プリズム」を用いずに測定を行い、その性能に対する影響を調べた。さらなるマイクロフォンの場所（番号６を参照）は、装置の縁部付近に配置した。

図１２Ｂは、堅牢なiPhone6+ケースおよび最適に配置された表面実装マイクロフォンを用いて構成された実施形態を示す。

図１３および図１４は、図１２Ａのマイクロフォン#１からマイクロフォンを装置の後部（１８０°方位角）に向けて配置した状態で得られた測定値を示す。図１２Ａでは成形ゴムは定位置にあるが、図１２Ｂでは成形ゴムは取り外されている。実線は、０°の音源の測定値を示し、他の全ての線はこの０°線を基準としている。０°線は、両方の場合について性能が劣っていることを表しており、ケース自体からの回折が櫛型フィルタリング作用の大きな一因になっていることを示している。これらの結果は、目的の用途では、マイクロフォンの場所はケースの前部寄りとし、装置の後部の音源に対するマイクロフォンの応答不良をデリゲート（delegating）することが好ましいことを示している。

図１５〜図１８は、マイクロフォンの位置をケースの前部（０°方位角）寄りにして取得された測定値の詳細を示す。これらの測定値により、マイクロフォンとケース前方縁との間の距離が測定された性能に及ぼす影響を考察する。図１５の黒丸は、マイクロフォン#６の方位角０°での測定値において生じる５〜６ｋＨｚにおけるノッチを示す。このノッチは、マイクロフォンの場所がさらに奥に移動するにしたがって埋まる。これらの結果から、マイクロフォンの最適な場所は、ケース前方縁から２０ｍｍと５０ｍｍとの間であると思われる。テーブルに配置された単一の表面実装マイクロフォンの測定値により、マイクロフォン応答は線形か無指向性であることが確認された。マイクロフォンのノイズフロアを、図１９に示す、テーブルトップにおける６５ｄＢＳＰＬのＩＬＴＡＳＳ（長期スピーチスペクトル）ノイズの測定値と比較した。これらの結果は、この表面実装マイクロフォンが目的とする用途について許容可能な自己雑音特性を有することを示している。ケースに取り付けたマイクロフォンの測定値は、マイクロフォンの信号の固体伝搬ノイズ汚染および／または空気伝播ノイズ汚染を示している。以下の図２０に示す、ケースに取り付けたマイクロフォンのポーラ測定は、固体伝搬ノイズおよび／または空気伝播ノイズによる遅延信号の追加から生じた強い櫛型フィルタリング作用を示している。汚染源をよりよく理解するため、以下を含む、このプロトタイプの様々な変形例を評価した。
−発泡体を有するケースからマイクロフォンを分離する
−テーブルから装置を分離する
−ケースに成形用プラスチックを充填する
−吸収性ウール層をキャビティ内に挿入する
−吸収性発泡体層をキャビティ内に挿入する
図２１〜図２６は、表面実装マイクロフォンをテーブル上に直接配置して行った「ケース無し」基準測定と、各ケース内測定との比較を示す。最も影響が大きかった変形例は、図２６に示す内蔵発泡体を有するケースであった。この変形例は、以下のいくつかの点で性能を向上させる。第１には、ケースの前面パネルおよび背面パネルをしっかりと押圧してパネル共振の制振効果をもたらし、第２には、キャビティ内の空気伝播放射を吸収する。結果として得られる応答は、他のすべての図面で見られる櫛型フィルタリング作用を含まない。
製品は、試験を行ったプロトタイプに匹敵するような大きさの内部キャビティを好ましくは有さず、パネル共振は、ケース内で面一に取り付けられたスマートフォンの存在により制振されやすくなる。しかし、表面実装マイクロフォンは、空気伝播ノイズ汚染および固体伝搬ノイズ汚染の両方に対して非常に感受性が高い。マイクロフォンは、ケースからの振動絶縁性および吸収性発泡体によって処理が施された隣接内部キャビティを好ましくは含む。

これらの結果により、図１Ａ〜図１Ｅの好適な実施形態によってマイクロフォン配置に関して最良の音響性能が得られることが確認される。

上記設計にマイクロプロジェクタを組み込むことが可能である。プロジェクタは、耳の裏にあってもよく、また、眼鏡のツルに沿って延びる光導波管に接続することができ、そして、所望の画像および／またはテキストをユーザの眼鏡の表面に、次いで瞳を通過させて目に投射する。これは、眼鏡にビームスプリッタのコーティングを設けるかあるいは設けることなく行うことができる。これにより、眼鏡を通して画像およびテキストを見ること、加えて、所望のシーンを見ることが可能となる。一実施形態において、この機構は視野から隠れている。ビームスプリッタは、特殊ガラスレンズ、コーティングおよび／または眼鏡用のプラスチックオーバーレイによって実現することができる。

図２７は、聴力を改善するためのシステム１００のシステム概要を示す。

システム１００は、サーバシステム１０４と、入力システム１０６と、出力システム１０８と、複数のクライアントシステム１１０、１１４、１１６、１１８および１２０と、通信ネットワーク１１２と、携帯型無線装置１２２とを含み得る。他の実施形態において、システム１００は、追加の構成要素を含んでいてもよく、かつ／あるいは上記の構成要素のすべてを含まなくてもよい。

サーバシステム１０４は、１つまたは複数のサーバを含み得る。１つのサーバシステム１０４は、任意の関連ソフトウェアまたは非一時的記憶媒体の販売業者の所有物であってもよい。

入力システム１０６は、サーバシステム１０４に入力を行うために利用されてもよく、キーボードシステム、マウスシステム、トラックボールシステム、トラックパッドシステム、携帯型システム上の複数のボタン、モバイルシステム、スキャナシステム、無線受信機、マイクロフォンシステム、音声システムへの接続、ならびに／または、コンピュータシステム、イントラネットおよび／もしくはインターネットへの接続および／もしくはインターフェースシステム（すなわち、赤外線データ通信機能標準化協会規格（ＩｒＤＡ）、ユニバーサルシリアルバスすなわち（ＵＳＢ））のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。

出力システム１０８は、サーバシステム１０４からの出力を受信するために利用されてもよい。また、出力システム１０８は、モニタシステム、無線送信機、携帯型ディスプレイシステム、モバイルディスプレイシステム、プリンタシステム、スピーカシステム、音声システムに対する接続もしくはインターフェースシステム、１つもしくは複数の周辺機器に対するインターフェースシステム、ならびに／または、コンピュータシステム、イントラネットおよび／もしくはインターネットに対する接続もしくはインターフェースシステムのうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。

システム１００は、情報提供ウェブサイト（図示せず）であってもよいサーバシステム１０４への接続方法の変形例のいくつかを示す。サーバシステム１０４は、複数のクライアントシステム１１０、１１４、１１６、１１８および１２０に直接接続および／または無線接続されてもよく、通信ネットワーク１１２を介して接続されてもよい。クライアントシステム１２０は、クライアントシステム１１８を介してサーバシステム１０４に接続されてもよい。通信ネットワーク１１２は、１つまたは複数のローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、電話ネットワーク、インターネットおよび／または他のネットワークのうちのいずれか１つまたは任意の組み合わせであってよい。通信ネットワーク１１２は、１つまたは複数の無線ポータルを含み得る。クライアントシステム１１０、１１４、１１６、１１８および１２０は、エンドユーザがサーバシステム１０４にアクセスするために利用し得る任意のシステムであってよい。たとえば、クライアントシステム１１０、１１４、１１６、１１８および１２０は、パーソナルコンピュータ、ワークステーション、ラップトップコンピュータ、ゲーム機、携帯型ネットワーク対応式のオーディオプレーヤー／ビデオプレーヤー、モバイル装置および／または他の任意のネットワーク機器であってもよい。

クライアントシステム１２０は、通信ネットワーク１１２と別のシステムとの組み合わせを介してサーバシステム１０４にアクセスしてもよく、この別のシステムは、本例においてはクライアントシステム１１８であってもよい。クライアントシステム１２０は、携帯電話、タブレットまたは携帯型ネットワーク対応式のオーディオプレーヤーまたは音楽プレーヤーといった、ネットワークコンテンツにアクセスするためにも利用され得る携帯型無線装置１２２であってもよい。クライアントシステム１２０は、オペレーティングシステムを有する携帯電話すなわちスマートフォン１２４またはオペレーティングシステムを有するタブレットすなわちＩＰＡＤ（登録商標）装置１２６であってもよい。

図２８は、クライアントシステム２００のブロック図を示す。

クライアントシステム２００は、出力システム２０２、入力システム２０４、メモリシステム２０６、プロセッサシステム２０８、通信システム２１２、入出力システム２１４、ウェブサイト２１６および無線ポータル２１８を含み得る。クライアントシステム２００の他の実施形態は、上記構成要素のすべてを含んでいなくてもよく、かつ／または上記の構成要素に加えてもしくはその代わりに他の実施形態を有していてもよい。

クライアントシステム２００は、図１のネットワーク装置のうちの１つとして利用され得るクライアントシステム１１０、１１４、１１６、１１８、１２０および／または携帯型無線装置１２２、スマートフォン１２４もしくはＩＰＡＤ（登録商標）装置１２６のうちのいずれか１つであってよい。他の実施形態において、クライアントシステム２００は、追加の構成要素を含んでいてもよく、かつ／または上記の構成要素をすべて含まなくてもよい。出力システム２０２は、モニタシステム、無線送信機、携帯型ディスプレイシステム、プリンタシステム、スピーカシステム、音声システムへの接続もしくはインターフェースシステム、周辺装置へのインターフェースシステム、ならびに／またはコンピュータシステム、イントラネットおよび／もしくはインターネットへの接続および／もしくはインターフェースシステムのうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。

入力システム２０４は、キーボードシステム、マウスシステム、トラックボールシステム、トラックパッドシステム、携帯型システム上の１つもしくは複数のボタン、スキャナシステム、無線受信機、マイクロフォンシステム、音声システムへの接続、ならびに／またはコンピュータシステム、イントラネットおよび／もしくはインターネットへの接続もしくはインターフェースシステム（すなわち、赤外線データ通信機能標準化協会規格（ＩｒＤＡ）、ユニバーサルシリアルバスすなわち（ＵＳＢ））のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。メモリシステム２０６は、ハードドライブなどの長期記憶システム、ランダムアクセスメモリなどの短期記憶システム、フロッピードライブまたはリムーバブルドライブおよび／またはフラッシュメモリなどの着脱可能な記憶システムのうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。メモリシステム２０６は、様々な異なる種類の情報を記憶し得る１つまたは複数の機械可読媒体を含み得る。「機械可読媒体」という用語は、機械によって読み込まれ得る形式で情報を保持するように構造的に構成され得る任意の媒体を指すために使用され得る。機械可読媒体の一例は、コンピュータ可読媒体であり得る。メモリシステム２０６は、聴力改善用の非一時的記憶媒体を格納していてもよい。

プロセッサシステム２０８は、多数個の並列プロセッサ、単一のプロセッサ、１つもしくは複数中央プロセッサおよび／または１つもしくは複数の特定のタスク専用の専用プロセッサを有するプロセッサのシステム、のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。プロセッサシステム２０８は、メモリシステム２０６に記憶されたプログラムを実施し得る。通信システム２１２は、出力システム２０２、入力システム２０４、メモリシステム２０６、プロセッサシステム２０８および／または入出力システム２１４を互いに通信可能にリンクし得る。通信システム２１２は、１つもしくは複数の電気ケーブル、光ファイバケーブル、および／または空気もしくは水を介して信号を送信する手段（すなわち、無線通信）等のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。空気および／または水を介して信号を送信する手段のいくつかの例には、赤外線波および／もしくは電波などの電磁波を送信するためのシステムならびに／または音波を送信するためのシステムが含まれ得る。

入出力システム２１４は、入力装置および出力装置としての二重の機能を有する装置を含み得る。たとえば、入出力システム２１４は、１つまたは複数のタッチセンシティブスクリーンを含んでいてもよく、タッチセンシティブスクリーンは、画像を表示し、したがって、出力装置であり得るとともに、画面が指またはスタイラスによって押圧されると入力を受け付けることができる。タッチセンシティブスクリーンは、熱、静電容量および／または圧力に対して感受性を有していてもよい。入出力装置のうちの１つまたは複数が、スタイラスによって発生する電圧または電流に対して感受性を有していてもよい。入出力システム２１４は、必要に応じて設けられるものであり、出力システム２０２および／または出力装置２０４に加えてまたはその代わりに利用されてもよい。

クライアントシステム１１０、１１４、１１６、１１８、１２０および携帯型無線装置１２２は、通信システム２１２に直接結合され得るウェブサイト２１６または無線ポータル２１８に結合されていてもよい。ウェブサイト２１６または無線ポータル２１８はいずれもまた、非一時的記憶媒体と、ウェブサイトを維持し、ウェブサイトへのアクセスを可能にし、ウェブサイトを運営するためのウェブサイトモジュール（図示せず）とを含み得る。

図２９は、聴力を改善するために利用され得るサーバシステム１０４のブロック図を示す。サーバシステム１０４は、電源２２０と、出力システム２３０と、入力システム２４０と、オペレーティングシステム２５１を記憶し得るメモリシステム２５０と、通信モジュール２５２と、ウェブブラウザモジュール２５３と、ウェブサーバアプリケーション２５４と、聴力改善用の非一時的記憶媒体２５６とを含み得る。サーバシステム１０４は、プロセッサシステム２６０、通信インターフェース２７０、通信システム２７５、および入出力システム２８０も含み得る。他の実施形態において、サーバシステム１０４は、追加の構成要素を含んでいてもよく、かつ／または上記の構成要素のすべてを含まなくてもよい。

出力システム２３０は、モニタシステム、携帯型ディスプレイシステム、プリンタシステム、スピーカシステム、音声システムへの接続もしくはインターフェースシステム、１つもしくは複数の周辺機器へのインターフェースシステム、ならびに／またはコンピュータシステム、イントラネットおよび／もしくはインターネットへの接続および／もしくはインターフェースシステムのうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。

入力システム２４０は、キーボードシステム、マウスシステム、トラックボールシステム、トラックパッドシステム、携帯型システム上の１つもしくは複数のボタン、スキャナシステム、マイクロフォンシステム、音声システムへの接続、ならびに／またはコンピュータシステム、イントラネットおよび／もしくはインターネットへの接続および／もしくはインターフェースシステム（すなわち、ＩｒＤＡ、ＵＳＢ）のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。

メモリシステム２５０は、ハードドライブなどの長期記憶システム、ランダムアクセスメモリなどの短期記憶システム、またはフロッピードライブもしくはリムーバブルドライブおよび／またはフラッシュメモリなどの着脱可能な記憶システムのうちのいずれか１つ、いくつか、任意の組み合わせまたはすべて含み得る。メモリシステム２５０は、様々な異なる種類の情報を記憶し得る１つまたは複数の機械可読媒体を含み得る。「機械可読媒体」という用語は、機械によって読み取り可能な情報を保持することが可能な任意の媒体を指すために利用され得る。機械可読媒体の一例は、非一時的記憶媒体などのコンピュータ可読媒体であり得る。メモリシステム２５０は、聴力を改善するための１つまたは複数の機械命令を記憶していてもよい。オペレーティングシステム２５１は、システム１００のすべてのソフトウェアおよびハードウェアを制御し得る。通信モジュール２５２は、サーバシステム１０４が通信ネットワーク１１２上で通信を行うことを可能にし得る。ウェブブラウザモジュール２５３は、インターネットのブラウジングを可能にし得る。ウェブサーバアプリケーション２５４は、ウェブページをリクエストするクライアントシステムに対して複数のウェブページを提供し、それにより、インターネット上でのブラウジングを容易にし得る。聴力改善用の非一時的記憶媒体２５６は、メモリシステム２５０にあってもよい。プロセッサシステム２６０は、多数個の並列プロセッサ、単一のプロセッサ、１つもしくは複数の中央プロセッサおよび／または１つもしくは複数の特定のタスク専用の専用プロセッサを有するプロセッサのシステム、のうちのいずれか１つ、いくつか、任意の組み合わせまたはすべてを含み得る。プロセッサシステム２６０は、メモリシステム２５０に記憶された機械命令を実行してもよい。

別の実施形態において、通信インターフェース２７０は、サーバシステム１０４が通信ネットワーク１１２とインターフェース接続を行うことを可能にしてもよい。この実施形態において、出力システム２３０は、通信インターフェース２７０に通信を送信してもよい。通信システム２７５は、出力システム２３０、入力システム２４０、メモリシステム２５０、プロセッサシステム２６０および／または入出力システム２８０を互いに通信可能にリンクする。通信システム２７５は、１つまたは複数の電気ケーブル、光ファイバケーブルおよび／または空気もしくは水を介した信号の送信（すなわち、無線通信）等のうちの１つ、いくつか、任意の組み合わせまたはすべてを含み得る。空気および／または水を介した信号の送信のいくつかの例には、赤外線波および／もしくは電波などの電磁波を送信するためのシステムならびに／または音波を送信するためのシステムが含まれ得る。

入出力システム２８０は、入力装置および出力装置としての二重の機能を有する装置を含み得る。たとえば、入出力システム２８０は、１つまたは複数のタッチセンシティブスクリーンを含んでいてもよく、タッチセンシティブスクリーンは、画像を表示し、したがって、出力装置であり得るとともに、画面が指またはスタイラスによって押圧されると入力を受け付けることができる。タッチセンシティブスクリーンは、熱および／または圧力に対して感受性を有していてもよい。入出力装置のうちの１つまたは複数が、スタイラスによって発生する電圧または電流に対して感受性を有していてもよい。入出力システム２８０は、必要に応じて設けられるものであり、出力システム２３０および／または入力システム２４０に加えてまたはその代わりに利用されてもよい。

本発明を上記実施形態に関して説明したが、当業者であれば、本発明が説明された実施形態に限定されるものではないことを理解するであろう。本発明は、添付の特許請求の範囲の趣旨および範囲において、変形および変更して実施され得る。よって、上記の説明は、例示であって、本発明を限定するものではなく、本発明は添付の請求の範囲によってのみ定義される。

Claims (32)

1. 聴力を改善するためのシステムであって、
   エンクロージャの外部から音響信号を受信し、マイクロフォン出力信号を生成するための複数のマイクロフォンであって、同一平面上に三角形を成すように配置されるマイクロフォンと、
   ユーザの位置に関する情報を受信し、前記ユーザの頭部の位置を計算するユーザ位置処理回路と、
   前記マイクロフォン出力信号および前記ユーザの頭部の位置に関する情報を受信し、前記マイクロフォンによって受信され、前記ユーザの聴覚欠損プロファイルに合わせて調整した前記音響信号と比較して音響音質が向上したオーディオ出力信号を生成する処理回路であって、ノイズ低減のために、前記ユーザーの位置によって少なくとも１つの前記マイクロフォンが無効化される、処理回路と、
   オーディオ出力信号を前記ユーザに提供する補助聴覚装置と
   を備えるシステム。
2. 前記ユーザ位置処理回路は、
   前記ユーザの頭部の光学画像を取得するための視野を有するカメラと、
   ユーザの頭部の位置および注視の向きを計算する位置処理回路とを含み、
   前記位置および注視の向きは、前記オーディオ出力信号の方向、強度、角度および品質のうち少なくとも１つを最適化するために前記処理回路によって受信される、請求項１に記載のシステム。
3. 前記複数のマイクロフォン、ユーザ位置処理回路およびオーディオ送信機が、卓上型装置、スマートウォッチ、電子タブレット、および身体着用型装置のうち1つの中に位置する、請求項１に記載のシステム。
4. 前記卓上型装置はスマートフォンの形態であって、前記複数のマイクロフォンは、前記スマートフォンから出退可能である出退自在な繰出し片上に位置する、請求項３に記載のシステム。
5. 前記複数のマイクロフォンはビーム形成マイクロフォンを備え、前記処理回路は各マイクロフォンのビーム形成パターンを規定するビーム形成アルゴリズムを実行する、請求項１に記載のシステム。
6. 前記ユーザのジェスチャーを検出し、前記オーディオ出力信号の特性を制御するための制御信号を出力するセンサを含む、請求項１に記載のシステム。
7. 前記センサは、前記ユーザの長時間にわたる注視ジェスチャーを検出し、長時間にわたる注視ジェスチャーの検出により、前記ユーザに対する通知が起動される、請求項６に記載のシステム。
8. ヘッドセットをさらに含み、前記ヘッドセットは、複数のマイクロフォンおよび頭部の動きと位置とを検出するためのセンサのうち少なくとも１つを含む、請求項１に記載のシステム。
9. 前記センサおよびマイクロフォンアレイは、組み合わされかつ眼鏡の形態である、請求項８に記載のシステム。
10. 前記ヘッドセットは、小型イヤホン（earbud）、イヤホン、補聴器、補助聴覚装置、BLUETOOTH（登録商標）ヘッドセット、人工内耳、およびヘッドホンの少なくとも１つの形態である、請求項８に記載のシステム。
11. 前記補助聴覚装置は、オーディオスピーカ、無線搭載補聴器、BLUETOOTH（登録商標）ヘッドセット、小型イヤホン、ヘッドホン、骨伝導聴覚装置および人工内耳のうち少なくとも１つを備える、請求項１に記載のシステム。
12. 前記補助聴覚装置は小型イヤホンであり、前記小型イヤホンはＥＥＧセンサを有し、前記オーディオ出力信号は前記ＥＥＧセンサの出力に応じるものである、請求項１に記載のシステム。
13. 前記オーディオ出力信号を前記補助聴覚装置に送信するためのオーディオ送信機をさらに含む、請求項１に記載のシステム。
14. 前記複数のマイクロフォンおよび処理回路は、エンクロージャに組み込まれたウェブカムと会議電話通話およびビデオ会議能力とを有する会議パック（conference puck）の形態である、請求項１に記載のシステム。
15. 前記会議パックは、前記ユーザの場所を検出するウェブカムを含む、請求項１４に記載のシステム。
16. 携帯型装置が水平面で平らに横たわることができるよう前記ユーザの頭部を指すように適合されたミラーを有する前記携帯型装置を含む、請求項１に記載のシステム。
17. 遅延再生または繰り返し再生のために前記オーディオ出力信号を記憶するためのオーディオ記憶媒体をさらに含む、請求項１に記載のシステム。
18. 眼球運動、ＥＥＧ活性、頭部位置またはユーザのタッチのうち少なくとも１つを検出するセンサをさらに含む、請求項１に記載のシステム。
19. 注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択、ノイズキャンセルおよび抑制、ならびに音声増幅のうち少なくとも１つを実行するクライアントシステムをさらに備える、請求項１に記載のシステム。
20. 前記クライアントシステムは、ケーシングと、入力ソケットと、出力ソケットと、少なくとも１つのスピーカと、透明な電池表示を有する第２の表示灯とを有する音声パック（sound puck）を備える、請求項１９に記載のシステム。
21. 前記クライアントシステムは、ベース取付片、スマートフォン取付片およびスマートフォンを有するスマートフォンホルダをさらに備える、請求項１９に記載のシステム。
22. 聴力を改善するための方法であって、
    スマートフォンを、前記スマートフォンを持つユーザを前記スマートフォンに含まれるカメラで見ることができる位置で保持して、前記ユーザの場所を検出するステップと、
    前記スマートフォンに含まれる複数のビーム形成マイクロフォンであって、同一平面上に三角形を成すよう配置されているマイクロフォンによってオーディオ信号を取得するステップと、
    前記複数のビーム形成マイクロフォンの角度および強度を定めるビーム形成アルゴリズムを用いる前記ビーム形成マイクロフォンのうち少なくとも１つから処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップであって、ノイズ低減のために、前記ユーザの位置によって少なくとも１つのビーム形成マイクロフォンが無効化される、ステップとを含む方法。
23. 前記複数のビーム形成マイクロフォンは、マイクロフォンアレイ、音声パック、会議パックおよびスマートフォンからなる群から選択される形態である、聴力を改善するための請求項２２に記載の方法。
24. 前記ユーザの頭部位置および注視を判定するために利用される複数のカメラを使用することを含む、聴力を改善するための請求項２２に記載の方法。
25. 前記ユーザの頭部位置を検出するためのセンサを有する小型イヤホンを使用することを含む、聴力を改善するための請求項２２に記載の方法。
26. 前記向上したオーディオ信号は、少なくとも１つの外部スピーカ、少なくとも１つまたは複数の外部パラメトリックスピーカ、少なくとも１つの小型イヤホンを有するかあるいは有しない前記スマートフォン、補聴器、補助聴覚装置、BLUETOOTH（登録商標）ヘッドセット、人工内耳、骨伝導聴覚装置および一組のヘッドホンからなる群から選択される装置によって出力される、聴力を改善するための請求項２２に記載の方法。
27. 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも１つも行う、聴力を改善するための請求項２２に記載の方法。
28. 実行されたときに、ユーザに向上したオーディオ信号を提供するための方法を実行する命令を記憶した非一時的コンピュータ記憶媒体であって、前記方法が、
    スマートフォンに含まれる複数のビーム形成マイクロフォンであって、同一平面上に三角形を成すよう配置されているマイクロフォンによってオーディオ信号を受信するステップと、
    前記ユーザが見えるように焦点が合わされかつ倍率が拡大されたカメラを有する前記スマートフォンによって、前記ユーザの位置を監視するステップと、
    前記複数のビーム形成マイクロフォンを用いて処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップであって、ノイズ低減のために、前記ユーザの位置によって少なくとも１つのビーム形成マイクロフォンが無効化される、ステップと
    を含む非一時的コンピュータ記憶媒体。
29. 前記スマートフォンは、マイクロフォンアレイ、音声パックおよびスマートフォンホルダからなる群から選択されるクライアントシステムに接続される、請求項２８に記載の非一時的コンピュータ記憶媒体。
30. ユーザの頭部位置および注視を判定するために複数のカメラが利用される、請求項２８に記載の非一時的コンピュータ記憶媒体。
31. 前記向上したオーディオ信号は、外部スピーカ、前記スマートフォンに含まれる小型イヤホン、補聴器、補助聴覚装置、BLUETOOTH（登録商標）ヘッドセット、人工内耳および一組のヘッドホンからなる群から選択される装置によって出力される、請求項２８に記載の非一時的コンピュータ記憶媒体。
32. 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも１つも実行する、請求項２８に記載の非一時的コンピュータ記憶媒体。

Images