JP3670180B2 - 補聴器 - Google Patents
補聴器 Download PDFInfo
- Publication number
- JP3670180B2 JP3670180B2 JP33845899A JP33845899A JP3670180B2 JP 3670180 B2 JP3670180 B2 JP 3670180B2 JP 33845899 A JP33845899 A JP 33845899A JP 33845899 A JP33845899 A JP 33845899A JP 3670180 B2 JP3670180 B2 JP 3670180B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition result
- recognition
- output
- voice
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、マイクロホン等により検出した音声を聴力障害者が理解しやすい形式に加工変換して提示する補聴器、音声言語障害を持つ者より発せられた音声や音声言語障害を是正するために用いる補助的装置や手段（例として喉頭摘出後の代用発声法（speech production substitutes））により発せられた音声を加工変換して出力する補聴器に関する。
【０００２】
【従来の技術】
補聴器には、気導方式と、骨導方式とが従来から使用されている。補聴器の種類としては、箱形補聴器、耳かけ補聴器、ＣＲＯＳ（Contra-lateral Routing of Signal）補聴器、耳穴形補聴器がある。また、従来の処理方式として分けると、アナログ補聴器とディジタル補聴器とがある。また、補聴器には、小寺の報告によると集団で使用する大型のもの（卓上訓練用補聴器、集団訓練用補聴器）、個人的に使用する小型のものがある（小寺一興、補聴器の選択と評価 図説耳鼻咽喉科new approach メジカルビュ−,39,1996参照）。
【０００３】
このディジタル補聴器は、マイクロホンで検出した音声を先ずＡ／Ｄ（analog／digital）変換処理することでディジタルデータを生成する。そして、このディジタル補聴器は、例えばフーリエ変換処理を施すことにより入力されたディジタルデータを周波数スペクトルに分解することで解析を行い、各周波数帯域毎に音声の感覚的な大きさに基づいた増幅度の算出を行う。そして、このディジタル補聴器は、各周波数帯域毎に増幅されたディジタルデータをディジタルフィルターに通過させてＤ／Ａ変換処理を行って再び音声を使用者の耳に出力するように構成されている。これにより、ディジタル補聴器は、話し手の音声を雑音の少ない状態で使用者に聞かせていた。
【０００４】
また、従来において、例えば喉頭摘出により音声障害をもつ人は、通常の声帯振動による発声機構を失い、音声生成が困難になる。
【０００５】
現在まで、喉頭摘出後の代用発声法として、音源としての振動体の性質から大別するとゴム膜（笛式人工喉頭）やブザー（電気人工喉頭（経皮型、埋込み型））等の人工材料を用いる方法と、下咽頭や食道粘膜を使用する方法（食道発声、気管食道瘻発声、ボイスプロステーシス（voice prostheses）使用の気管食道瘻発声）がある。また、その他の代用発声法としては、***を動かしたときに生じる筋電図を利用したものや聴力障害による発声障害者のために種々の音声処理技術を利用した発声発話訓練装置、パラトグラフ（palatograph）によるものや口腔内の振動子によるものが報告されている。
【０００６】
【発明が解決しようとする課題】
しかし、上述したディジタル補聴器では、各周波数帯域毎にディジタルデータを増幅させる処理を行っているだけなので、マイクロホンにより周囲の音を無作為に収音し、雑音をそのまま再生してしまい使用者の不快感が残り、アナログ補聴器と比べても、種々の聴力検査において大幅な改善はなかった。また、従来のディジタル補聴器では、難聴者の身体状態、利用状態及び使用目的に応じて検出した音声に対する処理を適応させることはなされていなかった。
【０００７】
そこで、本発明の目的は、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる補聴器を提供することにある。
【０００８】
また、上記代用発声法に共通してみられるのは、喉頭摘出前の本人自身の本来の正常な状態での声帯振動によるものではないので、生成する音声の音質が良くなく、本来正常であった本人が発していた声とはかけ離れているという問題点が挙げられる。
【０００９】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力して自然な会話を行わせることができる補聴器を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決する本発明に係る補聴器は、音声言語障害を有した使用者から発せられた音声及び／又は外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号に基づいて音声認識をする処理を行う音声認識手段と、音声データを記憶する記憶手段と、上記音声認識手段からの認識結果に基づいて上記記憶手段に記憶された音声データを組み合わせ、出力する音声を示す音声情報を生成する音声情報生成手段と、上記音声情報生成手段で生成された音声情報を音声に変換して外部に出力する使用者音声出力手段と、上記音声認識手段で認識された認識結果を上記外部からの音声として使用者に出力する外部音声出力手段とを備えることを特徴とするものである。
【００１１】
このような補聴器は、外部からの音声を使用者に出力するとともに、障害を有して発せられた音声を発声した使用者に出力する。
【００１２】
本発明に係る補聴器は、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように変換する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果、である音声情報を出力して使用者に音声を提示するための認識結果を出力して認識結果である音声情報を使用者に提示する出力手段とを備えることを特徴とするものである。
【００１３】
このような補聴器は、変換手段で認識結果の内容を変更することで出力結果を変更して使用者に変換手段で変更された音声等を提示する。このような補聴器によれば、使用者の身体状態、利用状態及び使用目的に応じて自在に変換方式を変更して認識結果を提示する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１５】
本発明は、例えば図１及び図２に示すように構成された補聴器１に適用される。この補聴器１は、図１に示すように、ヘッドマウントディスプレイ （head-mounted display: HMD）２と、音声認識、音声情報の生成等を行うコンピュータ部３との間を光ファイバーケーブル４で接続してなる携帯型のものである。また、コンピュータ部３は、例えば使用者の腰部に装着されるような支持部５に付属して配設されており、当該支持部５に付属したバッテリ６から電力が供給されることで駆動するとともに、ＨＭＤ２を駆動させる。
【００１６】
ＨＭＤ２は、使用者の目前に配置されるディスプレイ部７と、使用者からの音声を検出する使用者用マイクロホン８と、使用者に音声を出力する音声出力部９と、使用者の頭部に上述の各部を配置させるように支持する支持部５と、外部からの音声等を検出する外部用マイクロホン１１とを備える。
【００１７】
ディスプレイ部７は、使用者の目前に配されることで例えば使用者用マイクロホン８及び／又は後述の外部用マイクロホン１１で検出した音声の意味内容等を表示する。なお、このディスプレイ部７は、コンピュータ部３からの命令に応じて、上述の音声の意味内容のみならず、他の情報を表示しても良い。
【００１８】
使用者用マイクロホン８は、使用者の口元付近に配設され、使用者が発した音声を検出する。そして、この使用者用マイクロホン８は、使用者からの音声を電気信号に変換してコンピュータ部３に出力する。
【００１９】
外部用マイクロホン１１は、丸板状に形成された音声出力部９の側面に設けられる。この外部用マイクロホン１１は、外部からの音声を検出して電気信号に変換してコンピュータ部３に出力する。
【００２０】
この使用者用マイクロホン８及び外部用マイクロホン１１は、配設する位置を問わず、使用者の操作に応じて、種々のマイク（骨導マイク、気導音と骨導音を拾い上げるマイクをもつ超小型送受話一体ユニットのマイク（日本電信電話株式会社製）、無指向性マイク、単一指向性（超指向性等）マイク、双指向性マイク、ダイナミックマイク、コンデンサーマイク（エレクトレットマイク）、ズームマイク、ステレオマイク、ＭＳステレオマイク、ワイヤレスマイク）、セラミックマイク、マグネティックマイク、マイクロフォンアレイを用いても良い。また、イヤホンとしては、マグネティックイヤホンが使用可能である。これらのマイクの収音技術として、また、伝送技術としてエコーキャンセラ等を用いても良い。また、これらのマイクロホン８，１１は、従来より採用されている利得調整器と音声調整器と出力制御装置（maximam output power control式、automatic recruitment control コンプレッション式等）を適用したものが使用可能である。
【００２１】
更に、使用者用マイクロホン８及び外部用マイクロホン１１は、図１に示すように、別個に設ける一例のみならず、一体に構成されたものであっても良い。
【００２２】
支持部５は、例えば形状記憶合金等の弾性材料等からなり、使用者の頭部に固定可能とすることで、上述のディスプレイ部７，使用者用マイクロホン８，音声出力部９を所定の位置に配設可能とする。なお、この図１に示した支持部５は、使用者の額から後頭部に亘って支持部材を配設することでディスプレイ部７等を所定位置に配設するものの一例について説明したが、所謂ヘッドホン型の支持部であっても良いことは勿論であり、音声出力部９を両耳について設けても良い。
【００２３】
コンピュータ部３は、例えば使用者の腰部に装着される支持部５に付属されてなる。このコンピュータ部３は、図２に示すように、例えばマイクロホン８，１１で検出して生成した電気信号が入力される。このコンピュータ部３は、電気信号を処理するためのプログラムを格納した記録媒体、この記録媒体に格納されたプログラムに従って音声認識、音声情報の生成処理を行うＣＰＵ（Central Processing Unit）等を備えてなる。なお、このコンピュータ部３は、腰部のみならず、頭部のＨＭＤ２と一体化しても良い。
【００２４】
コンピュータ部３は、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声から生成した電気信号に基づいて、記録媒体に格納されたプログラムを起動することで、ＣＰＵにより音声認識処理を行うことで、認識結果を得る。これにより、コンピュータ部３は、ＣＰＵにより、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声の内容を得る。
【００２５】
つぎに、本発明を適用した補聴器１の電気的な構成について図２を用いて説明する。この補聴器１は、音声を検出して音声信号を生成する上述のマイクロホン８，１１に相当するマイクロホン２１と、マイクロホン２１で生成された音声信号が入力され音声認識処理を行う上述のコンピュータ部３に含まれる信号処理部２２、信号処理部２２からの認識結果に基づいて音声情報を生成する上述のコンピュータ部３に含まれる音声情報生成部２３と、音声データが記憶され信号処理部２２及び音声情報生成部２３にその内容が読み込まれる上述のコンピュータ部３に含まれる記憶部２４と、音声情報生成部２３からの音声情報を用いて音声を出力する上述の音声出力部９に相当するスピーカ部２５と、音声情報生成部２３からの音声情報を用いて当該音声情報が示す内容を表示する上述のディスプレイ部７に相当する表示部２６とを備える。
【００２６】
上記マイクロホン２１は、例えば喉頭摘出後の代用発声法を用いて発せられた使用者からの音声又は外部からの音声を検出して、当該音声に基づく音声信号を生成する。そして、このマイクロホン２１は、生成した音声信号を信号処理部２２に出力する。
【００２７】
また、このマイクロホン２１は、使用者の口元付近に配設され、使用者が発した音声を検出する。また、このマイクロホン２１は、外部からの音声を検出して音声信号を生成する。なお、以下の説明においては、使用者の音声を検出するマイクロホンを上述と同様に使用者用マイクロホン８と呼び、外部からの音声を検出するマイクロホンを上述と同様に外部用マイクロホン１１と呼び、双方を総称するときには単にマイクロホン２１と呼ぶ。
【００２８】
上記代用発声法としては、例えば人工喉頭（電気式、笛式）、食道発声及び種々の音声再建術を実現するための機構である。
【００２９】
上記信号処理部２２は、マイクロホン２１からの音声信号を用いて音声認識処理を行う。この信号処理部２２は、例えば内部に備えられたメモリに格納した音声認識処理を行うためのプログラムに従った処理を行うことにより音声認識処理を実行する。具体的には、この信号処理部２２は、使用者の音声をサンプリングして生成し記憶部２４に格納された音声データを参照し、マイクロホン２１からの音声信号を言語として認識する処理を行う。この結果、この信号処理部２２は、マイクロホン２１からの音声信号に応じて認識結果を生成する。
【００３０】
この信号処理部２２は、例えば認識対象音声による分類と対象話者による分類の音声認識処理があり、認識対象音声による分類の音声認識処理では単語音声認識（isolated word recognition）と連続音声認識（continuous speech recognition）がある。また、音声情報生成部２３は、連続単語音声認識には連続単語音声認識（continuous word recognition）と文音声認識（sentence speech recognition）、会話音声認識（conversational speech recognition）、音声理解（speech understanding）がある。また対象話者による分類では不特定話者型（speaker independent）、特定話者型（speaker dependent）、話者適応型（speaker adaptive）等がある。この信号処理部２２が行う音声認識手法としては、ダイナミックプログラミング（Dynamic Programming）マッチングによるもの、音声の特徴によるもの、隠れマルコフモデル（ＨＭＭ）によるものがある。
【００３１】
また、信号処理部２２は、入力した音声を用いて話者認識を行う。このとき、信号処理部２２は、使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いて話者認識結果を生成して音声情報生成部２３に出力する。また、信号処理部２２は、話者による変動が小さな特徴量を用いる方法、マルチテンプレート法、統計的手法を用いて不特定話者認識を行う。また、話者適応には、個人差の正規化法、話者間の音声データの対応関係によるもの、モデルパラメータの更新によるもの、話者選択によるものがある。この信号処理部２２では、以上の音声認識を使用者の身体状態、利用状態及び使用目的に応じて行う。
【００３２】
ここで、使用者の身体状態とは使用者の難聴や言語障害の程度等を意味し、利用状態とは使用者が補聴器１を使用する環境（室内、野外、騒音下）等を意味し、使用目的とは使用者が補聴器１を利用するときの目的、すなわち認識の向上させることや、使用者が理解しやすいようにすること等であって、例えば普段話す人と対話することや、不特定多数の人と対話することや、音楽（オペラ、演歌）を観覧することや、講演を聴くことや、言語障害者と対話することである。
【００３３】
また、この信号処理部２２は、マイクロホン２１に入力した音声を記憶し、学習する機能を有する。具体的には、信号処理部２２は、マイクロホン２１で検出した音声の波形データを保持しておき、後の音声認識処理に用いる。これにより、信号処理部２２は、更に音声認識を向上させる。更に、この信号処理部２２は、学習機能を備えることで出力する結果を正確にすることができる。
【００３４】
上記記憶部２４には、上記信号処理部２２が入力された音声を認識するときに、入力された音声を検出することで生成した音声波形と比較される音声モデルを示すデータが格納されている。また、記憶部２４には、例えば喉頭摘出前に発声した声帯振動による発声機構を持つ使用者の音声や、出力することを希望する音声を予めサンプリングして得たデータが音声データとして格納されている。
【００３５】
音声情報生成部２３は、信号処理部２２からの認識結果及び記憶部２４に格納された使用者の音声を示す音声データを用いて、音声情報を生成する。このとき音声情報生成部２３は、認識結果に応じて、記憶部２４に格納された音声データを組み合わせるとともに、認識結果を加工変換して音声情報を生成する。このとき、音声情報生成部２３は、内蔵したＣＰＵ、音声情報生成プログラムを用いて音声情報を生成する。
【００３６】
また、この音声情報生成部２３は、認識結果を用いて音声から音声分析し、当該音声分析した音声の内容に応じて、音声データを再構成するという処理を行うことで、音声を示す音声情報を生成する。そして、音声情報生成部２３は、生成した音声情報をスピーカ部２５及び表示部２６に出力する。
【００３７】
更に、音声情報生成部２３は、信号処理部２２からの認識結果を、使用者の身体状態、利用状態及び使用目的に応じて加工、変換、合成等をして音声情報を生成する処理を行う。更に、この音声情報生成部２３は、マイクロホン２１で検出された音声を使用者に提示するための処理を認識結果及び／又は加工等をして得た認識結果について行う。
【００３８】
更にまた、音声情報生成部２３は、認識結果から生成した音声情報を修飾して新たな音声情報を生成しても良い。このとき、音声情報生成部２３は、使用者の身体状態、利用状態及び使用目的に基づいて、更に使用者が理解し易い言葉を付け加えることで、使用者の音声の認識を更に向上させる。
【００３９】
更にまた、この音声情報生成部２３は、音声情報を表示部２６に出力するときに音声の意味内容を画像として表示部２６に出力する。音声情報生成部２３は、例えば使用者又は使用者の話者及び外部からの音声が入力されて信号処理部２２からの認識結果として物体を示す認識結果が入力されたときには、当該物体を示す画像データを表示部２６に出力して表示させる処理を行う。
【００４０】
更にまた、この音声情報生成部２３は、信号処理部２２からの認識結果に応じて、以前にスピーカ部２５又は表示部２６に出力した音声情報を再度出力する。音声情報生成部２３は、音声情報を出力した後に、使用者又は使用者に対する話者がもう一度聞き直したいことに応じて発した音声を示す認識結果が入力されたと判定したときには、スピーカ部２５又は表示部２６に出力した音声情報を再度出力する処理を行う。また、音声情報生成部２３は、例えば使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いた話者認識結果に基づいて、以前にスピーカ部２５又は表示部２６に出力した音声情報を再度出力しても良い。更に、音声情報生成部２３は、人工知能の機能を用いて音声対話を行うことで、スピーカ部２５又は表示部２６に出力した音声情報を再度出力しても良い。
【００４１】
更にまた、音声情報生成部２３は、再度出力する処理を行うか否かを操作入力部２８からの操作入力命令に応じて切り換えても良い。すなわち、使用者が再度出力する処理を行うか否かの切換を操作入力部２８を操作することで決定し、操作入力部２８をスイッチとして用いる。
【００４２】
また、この音声情報生成部２３は、再度音声情報を出力するとき、以前に出力した音声情報を再度出力するか、以前に出力した音声情報とは異なる音声情報を出力するかを、信号処理部２２を介して入力される操作入力部２８からの操作入力信号に応じて選択する。
【００４３】
表示部２６は、上記音声情報生成部２３で生成した音声情報が示す音声、カメラ機構２９で撮像した画像等を表示する。
【００４４】
操作入力部２８は、スイッチ、キーボード、マウス等でも良く、使用者に操作されることで、操作入力信号を生成する。
【００４５】
このような補聴器１は、マイクロホン２１で検出した音声について信号処理部２２で音声認識処理をして、認識結果に基づいて音声情報生成部２３でプログラムを起動することで使用者に応じた処理を行うことができる。これにより、補聴器１は、スピーカ部２５にマイクロホン２１からの音声を出力するとともに、表示部２６に表示するので、音声に対する使用者の認識を向上させることができる。視覚聴覚同時に矛盾する音韻情報を提示した場合にいずれの情報とも異なった音韻に異聴が生ずるというMuGurk効果（MuGurk H and MacDonald J: Hearing lips and seeing voice,Nature 264,746-8,1976参照）や、乳児がすでに聴覚からの音声情報と視覚からの口形の情報との対応関係を獲得しているとの報告（Kuhl PK et al. Human processing of auditory-visual information in speech perception. ICSLP'94 S11.4,Yokohama,1994）や視覚が音源方向の知覚に影響を与える（腹話術効果）、及び人間は無意識のうちに音源かどうかを学習し、区別するなどの報告は人間のコミュニケーションが本来マルチモーダルなものであるとする仮説を支持するものである（Saitou H and Mori T:視覚認知と聴覚認知Ohmsha,119-20,1999参照）。以上のことは、視覚が聴覚に影響を及ぼしていることを意味し、表示部２６に認識結果等を表示することで音声情報を補足し、音声に対する使用者の認識を向上させる。この補聴器１では、音声のみならず、表示部２６に表示する画像を通じて話者に音声の意味内容を伝達し、対話することができる。
【００４６】
更に、この補聴器１によれば、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声を認識した結果に応じて表示部２６に表示する音声の意味内容及びスピーカ部２５から出力する音声の内容を変更させることができるので、更に音声に対する使用者の認識を向上させることができる。従って、この補聴器１によれば、音声情報生成部２３により音声認識処理を変更するプログラムを実行することにより、身体状態（難聴の程度等）、利用状態及び使用目的に応じて認識処理を変更することで、使用者が理解しやすい音声の意味的な情報を表示することで更に認識を向上させることができる。
【００４７】
スピーカ部２５は、上記音声情報生成部２３で生成した音声を出力する。このスピーカ部２５としては、例えば使用者から話し手に対して音声を出力するものであっても良く、更には、使用者が発した音声を使用者の耳に対して発声するように音声を出力するものであっても良い。また、使用者の耳に対して発声するように音声を出力するスピーカ部２５は、スピーカユニットの変換方式としてダイナミック型や静電型（コンデンサ型、エレクトロスタティック型）によるものでも良く、形状としてはヘッドフォン（オープンエア型、クローズド型、カナルタイプ等のイン・ザ・イヤー型等）によるものでも良い。また、スピーカ部２５は、従来の補聴器、拡声器、集音器のスピーカによるものでも良く、使用者から話者に対して音声を出力するスピーカ部２５は従来から用いられているスピーカ装置でよい。
【００４８】
また、スピーカ部２５は、音声情報に基づいて出力する音声と逆位相の音を出力するようにしても良い。これにより、スピーカ部２５から出力する音声に含まれる雑音成分を除去し、使用者及び／又は使用者に対する話者に雑音の少ない音声を出力する。
【００４９】
また、この補聴器１は、外部の通信ネットワークと接続された通信回路２７を備えている。この通信回路２７は、電話、携帯電話、インターネットや無線、衛星通信等の通信ネットワークを介して例えば音声言語障害を有する者から発せられた音声が入力される。この通信回路２７は、外部からの音声や音声を示すデータを信号処理部２２に入力する。また、この通信回路２７は、音声情報生成部２３で生成した音声情報を外部のネットワークに出力する。
【００５０】
また、この通信回路２７は、信号処理部２２、音声情報生成部２３を介して文字放送、文字ラジオを表示部２６で表示させても良い。このとき、通信回路２７は、文字放送等を受信するためのチューナ機能を備え、使用者の所望のデータを受信する。
【００５１】
このように構成された補聴器１は、例えば喉頭摘出後に電気式人工喉頭を使って発声された音声がマイクロホン２１に入力された場合であっても、信号処理部２２で音声認識し、記憶部２４に格納された喉頭摘出前にサンプリングした音声を示す音声データを用いて音声情報生成部２３で出力する音声を示す音声情報を生成するので、スピーカ部２５から喉頭摘出前の使用者の音声に近似した音声を出力することができる。
【００５２】
なお、上述した本発明を適用した補聴器１の説明においては、マイクロホン２１で検出される喉頭摘出した人の音声である一例について説明したが、聴力障害による言語障害の一つである構音障害（articulation disorders）を持つ者からの音声を検出したときであっても良い。このとき、補聴器１は、言語障害の音声を音声データとして記憶部２４に記憶しておき、当該発声者が発声したことに応じて記憶部２４に格納された発声者の音声を示す音声データを参照して信号処理部２２で音声認識処理を行い、音声情報生成部２３で認識結果に応じて音声データを組み合わせることで音声情報を生成する処理を行うことにより、スピーカ部２５から音声言語障害のない音声を出力するとともに、表示部２６により音声情報に基づいた音声内容を表示することができる。
【００５３】
したがってこの補聴器１によれば、例えば喉頭摘出者が代用発声法により発生した音声を表示部２６に表示することで不自然な音声を訂正させることができる。
【００５４】
更に、補聴器１は、例えば聴力障害による構音障害を持つ者は発声のためのフィードバックが得られず、「きょうは（今日は）」という音声が「きょんわあ」となってしまうのを上述した処理を行うことにより正常な「きょうは（今日は）」という音声に訂正してスピーカ部２５から出力することができる。
【００５５】
更に、この補聴器１は、表示部２６を備えているので、発声者の音声をスピーカ部２５から正常な音声にして出力するとともに、発声者の音声内容を表示することにより音声障害者や難聴者の言語訓練学習にとって好適なシステムを提供することができる。
【００５６】
つぎに、上述の音声情報生成部２３が信号処理部２２からの認識結果を加工、変換して音声情報を生成する処理、音声データを組み合わせる処理で適用することができる種々の例について述べる。なお、変換処理等の種々の例は、以下に述べる例に限定するものではない。
【００５７】
音声情報生成部２３は、信号処理部２２からの認識結果を変換するとき、人工知能技術を用いて認識結果を加工変換して音声情報を生成しても良い。音声情報生成部２３は、例えば音声対話システムを用いる。ここで、特に聴力の低下した老人は相手話者の言ったことを再度聞き直すことがあるが、このシステムを用いて認識結果を加工変換することにより、補聴器１と使用者とが対話して以前に記憶した相手話者の言ったことの情報を得て、使用者の音声認識を向上させることができ、聞き直す手間を省略することができる。
【００５８】
このようなシステムは、マルチモーダル対話システムである表情つき音声対話システムを用いることで実現可能である。このマルチモーダル対話システムでは、ポインティングデバイスとタブレットを利用する入力技術である直接操作・ペンジェスチャ技術、テキスト入力技術、音声認識等の音声入出力技術、人間の視覚、聴覚、触覚、力覚を利用した仮想現実感技術、ノンバーバルモダリティ技術の技術要素をモダリティとし組み合わせて用いる。このとき、音声情報生成部２３は、言語情報を補足する手段、対話の文脈情報（或いはその補足手段）、使用者の認知的負担或いは心理的抵抗感を軽減する手段として各モダリティを用いる。なお、ノンバーバルインターフェースとして身振り（gesture）インターフェースを用いてもよい。その場合ジェスチャーインターフェースの計測として装着型センサによる身振り計測には身振りトラッキングが必要であり手袋型デバイス、磁気や光学的位置計測を用い、身振りの非接触計測にはマーカを立体解析したりする映像や３Ｄ再構成によるものを用いてもよい。
【００５９】
なお、このマルチモーダル対話システムの詳細は文献「Nagao K and Takeuchi A,Speech dialogue with facial displays: Multimodal human-computer conversation.Proc.32nd Ann Meeting of the Association for Computational Linguistics,102-9,Morgan Kaufmann Publishers,1994及びTakeuchi A and Nagao K,Communicative facial displays as a new conversational modality.Proc ACM/IFIP Conf on Human Factors in Computing Systems（INTERCHI'93）,187-93, ACM Press,1993」に記載されている。
【００６０】
このような人工知能機能を用いた音声対話システムとしては、マイクホン２１で検出した音声を、信号処理部２２でＡ／Ｄ変換、音響分析、ベクトル量子化の後、音声認識モジュールによって、上位スコアをもつ単語レベルの最良仮説を生成するシステムが使用可能である。ここで、音声情報生成部２３は、隠れマルコフモデル（ＨＭＭ）に基づく音韻モデルを用いて、ベクトル量子コードから音素を推定し、単語列を生成する。音声情報生成部２３は、生成した単語列を、構文・意味解析モジュールにより意味表現に変換する。このとき、音声情報生成部２３は、単一化文法を用いて構文解析を行い、次にフレーム型知識ベースと事例ベース（例文を解析して得られた文パターン）を用いて曖昧さの解消を行う。発話の意味内容の決定後、プラン認識モジュールにより使用者の意図を認識する。これは対話の進行に従い動的に修正・拡張されていく使用者の信念モデルと対話のゴールに関するプランに基づいている。意図を認識する課程で、主題の管理や、代名詞の照応解消、省略の補完などを行う。そして使用者の意図に基づいて協調的な応答を生成するモジュールが起動する。このモジュールはあらかじめ用意されたテンプレートの発話パターンに領域知識により得られた応答に関する情報を埋め込むことにより発話を生成する。この応答は音声合成モジュールにより音声となる。なお、この信号処理部２２及び音声情報生成部２３が行う処理としては、例えば文献（Nagao N,A preferential constraint satisfaction technique for natural language analysis. Proc 10th European Conf on Artificial Intelligence ,523-7,John Wiley&Sons,1992）、（Tanaka H,Natural language processing and its applications,330-５,1999,電子情報通信学会編 コロナ社）、（Nagao K, Abduction and dynamic preference in plan-based dialogue understanding.Proc 13th Int joint Conf on Artificial Intelligence,1186-92,Morgan Kaufmann Publishers,1993）に記載された処理を行うことでも実現可能である。
【００６１】
また、音声情報生成部２３は、人工知能機能を用いて行う処理として、システムの擬人化を行い、音声認識、構文・意味解析、プラン認識より表情パラメータ調節、表情アニメーションを表示部２６を用いて行うことにより、視覚的手段を用いて音声対話に対して使用者の認知的負担、心理的抵抗感を軽減する。なお、この音声情報生成部２３が行う処理としては、FACS（Facial Action Coding System；Ekman P and Friesen WV, Facial Action Coding System.Consulting Psychologists Press Palo Alto,Calif,1978）に記載された処理を行うことができる。
【００６２】
更にまた、音声情報生成部２３は、音声対話コンピュータシステム（参照Nakano M et al,柔軟な話者交代を行う音声対話システムDUG-1,言語処理学会第５回年次大会論文集,161-4,1999）としては話し言葉を理解する逐次理解方式（Incremental Utterance Understanding：Nakano M, Understanding unsegmented user utterances in real-time spoken dialogue systems.Proc of the 37th Ann meeting of the association for computational linguistics,200-7）と内容の逐次変更が可能な逐次生成方式（Incremental Utterance Production：Dohsaka K and Shimazu A,A computational model of incremental utterance production in task-oriented dialogues. Proc of the 16th Int Conf on Computational Linguistics, 304-9, 1996. 及びDohsaka K and Shimazu A,System architecture for spoken utterance production in collaborative dialogue. Working Notes of IJCAI 1997 Workshop on Collaboration, Cooperation and Conflict in Dialogue Systems, 1997及び Dohsaka K et al,複数の対話ドメインにおける協調的対話原則の分析、電子情報通信学会技術研究報告NLC-97-58,25-32,1998）による音声と画像を用いる人工知能システムである。ここで、音声情報生成部２３は、理解と応答のプロセスが平行動作する。また、音声情報生成部２３は、ISTARプロトコール（参照Hirasawa J,Implementation of coordinative nodding behavior on spoken dialogue systems, ICSLP-98,2347-50,1998）を用いて音声認識と同時に単語候補を言語処理部に逐次的に送る。
【００６３】
すなわち、音声対話システムDUG-1で用いている技術を用いることにより、補聴器１では、例えば所定のデータ量（文節）ごとに使用者及び／又外部からの音声を音声認識するとともに、音声情報を生成する処理を行う。音声情報生成部２３では、使用者及び／又は外部からの音声に応じて、音声認識処理、音声情報認識処理を随時中止、開始することができ、効率的な処理を行うことができる。更に、この補聴器１では、使用者の音声に応じて、音声認識処理、音声情報生成処理を制御することができるので、柔軟に話者の交替を実現することができる。すなわち、音声情報を生成している最中に使用者及び／又は外部からの音声を検出することで処理を変更し、使用者に提示する音声情報の内容を変更等の処理を行うことができる。
【００６４】
更にまた、音声情報生成部２３は、キーワードスポティングを用いて使用者の自由な発話を理解する処理を行っても良い（Takabayashi Y,音声自由対話システム TOSBURG II −使用者中心のマルチモーダルインターフェースの実現に向けて−.信学論 vol J77-D-II No.8 1417-28,1994）。
【００６５】
この音声情報生成部２３は、例えばアクセント等の処理を行うように変換処理を行って音声情報を出力しても良い。このとき、音声情報生成部２３は、必要に応じて、特定の発音についてはアクセントの強弱を変化させるように音声情報を変換して出力するようにする。
【００６６】
音声情報生成部２３は、音声データを合成するとき、どのような内容の音声でも合成するときには規則による音声合成、滑らかな音声を合成するために可変長単位を用いた音声合成、自然な音声を合成するための韻律制御、また音声の個人性付与のために音質変換を行って音声情報を生成しても良い。これは、例えば書籍「"自動翻訳電話" ATR国際電気通信基礎技術研究所編 pp.177-209, 1994オーム社」に記載されている技術を適用することにより実現可能である。
【００６７】
また、ボコーダ（vocoder）処理を用いても高品質の音声を合成することが可能である。例えば音声分析変換合成法STRAIGHT（speech transformation and representation based on adaptive interpolation of weighted spectrogram）等を施すことで実現可能である（文献「Maeda N et al,Voice Conversion with STRAIGHT. TECHNICAL REPORT OF IEICE, EA98-9,31-6, 1998」参照）。
【００６８】
更に、この音声情報生成部２３は、文字情報から音声を作り出す音声合成（text to speech synthesis）技術を用いることにより話の内容に関する情報（音韻性情報）や音の高さや大きさに関する情報（韻律情報）を聴力障害者の難聴の特性に合わせてその人の最も聞き易い音の高さに調整することも可能であり、他に話速変換技術（voice speed converting）、周波数圧縮（frequency compress）処理などの音声特徴量の変換処理を行う。また出力する音声の帯域を調整する帯域拡張（frequency band expansion）処理や、音声強調（speech enhancement）処理等を音声情報に施す。帯域拡張処理、音声強調処理としては、例えば「Abe M, "Speech Modification Methods for Fundamental Frequency, Duration and Speaker Individuality," TECHNICAL REPORT OF IEICE, SP93-137,69-75, 1994」にて示されている技術を用いることで実現可能である。なお、上述したように、信号処理部２２及び音声情報生成部２３で音声認識処理をして認識結果を加工変換する場合のみならず、上記処理のみを行ってスピーカ部２５に出力しても良い。また、この補聴器１では、認識結果及び／又は上記処理のみを行った結果を同時に又は時間差を付けて出力しても良い。また、この補聴器１では、認識結果及び／又は上記処理のみを行った結果をスピーカ部２５又は表示部２６の右チャンネルと左チャンネルとで異なる内容を出力しても良い。
【００６９】
更にまた、上記音声情報生成部２３は、認識結果を用いて音声から言語を理解し、当該理解した言語を用いて音声データから音声情報を構成するという処理を行うのみならず、他の処理を認識結果に基づいて理解した言語を必要に応じて加工変換する処理を行っても良い。すなわち、この音声情報生成部２３は、音声情報を構成するとともに、音声情報としてスピーカ部２５に出力するときの速度を変化させる話速変換処理を行っても良い。すなわち、この話速変換処理は、使用者の状態に応じて適当な話速を選択することによりなされる。
【００７０】
更にまた、この音声情報生成部２３は、認識結果に応じて、例えば日本語の音声情報を英語の音声情報に変換して出力するような翻訳処理を行って出力しても良く、通信機能と合わせて自動翻訳電話にも応用可能である。更には音声情報生成部２３は自動要約（automatic abstracting）を行い、「United States of America」を「USA」と要約するように変換して音声情報を出力しても良い。
【００７１】
音声情報生成部２３が行う他の自動要約処理としては、例えば文章内から要約に役立ちそうな手がかり表現を拾い出し、それらをもとに読解可能な文表現を生成する生成派の処理（文献「McKeown K and Radev DR,Generating Summaries ofMultiple News Articles. In Proc of 18th Ann Int ACM SIGIR Conf on Res and Development in Information Retrieval,74-82, 1995 及び Hovy E,Automated Discourse Generation using Discourse Structure Relations, Artificial Intelligence, 63, 341-85, 1993」参照）、要約を「切り抜き」と考えて処理し客観的評価が可能となるように問題を設定しようという立場の抽出派の処理（文献「Kupiec J et al,A Trainable Document Summarizer, In Proc of 14th AnnInt ACM SIGIR Conf on Res and Development in Information Retrieval, 68-73, 1995」、及び「Miike S, et al, A Full-text Retrieval System with a Dynamic Abstruct Generation Function.Proc of 17th Ann Int ACM SIGIR Conference on Res and Development in Information Retrieval,152-9, 1994」及び「Edmundson HP,New Method in Automatic Extracting. J of the ACM, 16,264-85, 1969」参照）がある。更に、この音声情報生成部２３は、例えば文献「Nakazawa M, et al.Text summary generation system from spontaneous speech,日本音響学会講演論文集 1-6-1,1-2, 1998」に記載されている手法（Partial Matching MethodとIncremental Reference Interval-Free連続DPを用いて重要キーワードの抽出を行い、Incremental Path Methodを用いて単語認識を行う）を用いることが可能である。
【００７２】
更にまた、この音声情報生成部２３は、認識結果に応じて、特定の音素、母音、子音、アクセント等において、消去したり、音声を出力することに代えてブザー音、あくび音、せき音、単調な音等を音声情報とともに出力するように制御しても良い。このとき、音声情報生成部２３は、例えば文献「Warren RM andPerceptual Restoration of Missing Speech Sounds, Science vol.167 ,392-393, 1970」や文献「Warren RM,Obusek CJ, "Speech perception and phonemic restoration,” Perception and psychophysics vol.9 ,358-362, 1971」に記載されている手法を実現した処理を音声情報について行う。
【００７３】
更にまた、音声情報生成部２３は、認識結果を用いてホーン調となるように音質を変換させて音声情報を出力しても良い。上記ホーン調とは、集音管を使ったもので、約２０００Ｈｚ以下の帯域の音声を増幅させて、利得を約１５ｄＢ程度とすることである。すなわち、このホーン調とは、管共鳴を用いた重低音を再生する技術により出力される音質である。この音声情報生成部２３は、例えばUS PATENT 4628528により公知となされいているアコースティックウェーブ・ガイド（acoustic wave guide）技術を用いて出力される音質に近似した音に変換して音声情報を出力する。ここで、音声情報生成部２３は、例えば低音のみを通過させるフィルター処理を行って音声情報を出力する処理を行っても良く、例えばSUVAG（Systeme Universel Verbo-tonal d'Audition-Guberina）機器を用いることにより、所定の周波数帯域の音声のみを通過させる種々のフィルタ処理を行って音声情報を出力する処理を行っても良い。
【００７４】
更にまた、この音声情報生成部２３は、例えばマイクロホン２１に音楽が入力されたと判断したときには、音声情報を変換して表示部２６に音符や色を表示するように処理を行っても良い。また、この音声情報生成部２３は、音声のリズムなどが分かるために変換した音声のリズムを信号が点滅するように音声情報を変換して表示部２６に表示しても良い。
【００７５】
更にまた、この音声情報生成部２３は、例えば警報等の発信音がマイクロホン２１に入力されたと判断したときには、音声情報を変換することで表示部２６に警報等がマイクロホン２１で検出された旨の表示を行ったり、スピーカ部２５に警報の内容を知らせるような内容を出力しても良く、例えば救急車や非常ベルのサイレンを聞いたら表示するだけでなく大音量で「救急車ですよ」や「火事ですよ」とスピーカ部２５から出力するとともに、表示部２６に救急車や火事を示す画像を表示することで難聴者に非常事態を伝えることができ、最悪の事態を避けることができる。
【００７６】
更にまた、音声情報生成部２３は、過去に行った変換合成処理について記憶する機能を備えていても良い。これにより、音声情報生成部２３は、過去に行った変換合成処理の改良を自動的に行う学習処理を行うことができ、変換合成処理の処理効率を向上させることができる。
【００７７】
更にまた、この信号処理部２２及び音声情報生成部２３は、話し手の音声のみについての認識結果を生成して音声情報を生成し、スピーカ部２５及び/又はディスプレイ部７に提示することで使用者に知らせる一例のみならず、例えば特定の雑音に対してのみ音声認識を行っても良い。要するに、信号処理部２２及び音声情報生成部２３は、入力した音について音声認識処理を行って、認識結果を使用者の身体状態、利用状態及び使用目的に応じて変換することで使用者が理解し易い表現で音声情報を生成して出力する処理を行う。
【００７８】
更にまた、上述した本発明を適用した補聴器１の説明おいては、記憶部２４に予めサンプリングして格納した音声データを音声情報生成部２３により組み合わせることにより音声情報を生成して出力するものの一例について説明したが、上記音声情報生成部２３は、記憶部２４に記憶された音声データを組み合わせて音声情報を生成するときに格納された音声データに変換処理を施す音声データ変換部を備えていても良い。このような音声データ変換部を備えた補聴器１は、例えばスピーカ部２５から出力する音声の音質を変化させることができる。
【００７９】
更にまた、上述した本発明を適用した補聴器１の説明おいては、例えば喉頭摘出前の使用者の音声を予めサンプリングすることにより得た音声データを記憶部２４に格納するものの一例について説明したが、記憶部２４には、一つの音声データのみならず複数の音声データを予めサンプリングして格納しても良い。すなわち記憶部２４には、例えば喉頭摘出前に発せられた音声を予めサンプリングした音声データ、及び前記喉頭摘出前に発せられた音声に近似した音声データを格納しても良く、更には全く異なる音質の音声データを格納しても良く、更にまた、喉頭摘出前の音声データを生成し易い音声データを格納しても良い。このように複数の音声データが記憶部２４に格納されているとき、音声情報生成部２３は、各音声データの関係を例えば関係式等を用いて関連づけを行って選択的に音声データを用いて音声情報を生成しても良い。
【００８０】
また、上述の補聴器１は、サンプリングして記憶部２４に格納した音声データを合成することで音声情報を生成して出力する一例について説明したが、記憶部２４に記憶されている音声データを合成することで生成した音声情報に、音声情報生成部２３によりボコーダ処理を施すことにより、サンプリングして記憶されている音声データが示す音声とは異なる音質の音声に変換して出力しても良い。このとき、音声情報生成部２３は、ボコーダ処理を用いた例としてSTRAIGHTを施す。
【００８１】
更にまた、信号処理部２２は、話者認識（speaker recognition）処理を入力される音声について行って各話者に対応した認識結果を生成しても良い。そして、この信号処理部２２では、各話者に関する情報を認識結果とともにスピーカ部２５や表示部２６に出力することで使用者に提示しても良い。
【００８２】
補聴器１で話者認識を行うときには、ベクトル量子化（文献Soong FK and Rosenberg AE,On the use of instantaneous and transitional spectral information in speaker recognition.Proc of ICASSP’86,877-80,1986）によるものでも良い。このベクトル量子化を利用した話者認識では、準備段階の処理として登録話者用の学習用音声データからスペクトルの特徴を表すパラメータを抽出して、これらをクラスタリングすることによりコードブックを作成する。ベクトル量子化による方法は話者の特徴が作成された符号帳に反映されていると考える手法である。認識時には入力された音声と全ての登録話者のコードブックを用いてベクトル量子化を行い、入力音声全体に対して量子化ひずみ（スペクトルの誤差）を計算する。この結果を用いて話者の識別や照合の判定を行う。
【００８３】
また、補聴器１で話者認識を行うときには、ＨＭＭ (文献Zheng YC and Yuan BZ,Text-dependent speaker identification using circular hidden Markov models.Proc of ICASSP’88,580-2,1988）よる方法であっても良い。この方法では、準備段階の処理として登録話者の学習用音声データからＨＭＭを作成する。ＨＭＭを用いる方法では話者の特徴は状態間の遷移確率とシンボルの出力確率に反映されると考える。話者認識の段階では入力音声を用いて全ての登録話者のＨＭＭによる尤度を計算して判定を行う。ＨＭＭの構造としてleft~to~rightモデルに対してエルゴティックなHMMを用いてもよい。
【００８４】
更にまた、補聴器１では、ATR-MATRIX system（ＡＴＲ音声翻訳通信研究所製：参照 Takezawa T et al, ATR-MATRIX: A spontaneous speech translation system between English and Japanese. ATR J2,29-33,June1999）で用いられている音声認識（ATRSPREC）、音声合成（CHATR）、言語翻訳（TDMT）を行うことで、マイクロホン２１で入力した音声を翻訳して出力することができる。
【００８５】
上記音声認識（ATRSPREC）では、大語彙連続音声認識を行い、音声認識ツールを用いて音声認識に必要な音響モデルと言語モデルの構築、及び信号処理から探索までの工程を処理する。この音声認識では、行った処理をツール群として完結し、ツール同士の組み合わせることができる。また、この音声認識を行うとき、不特定話者の音声認識を行っても良い。
【００８６】
上記音声合成（CHATR）では、あらかじめデータベース化された多量の音声単位から、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成する。このため、滑らかな音声が出力することができる。この音声合成では、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成することができる。また、この音声合成を行うときには、音声情報生成部２３は、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行っても良い。
【００８７】
上記言語翻訳（TDMT）では、文の構造を判断する処理、対話用例を用いた対話特有のくだけた表現などの多様な表現を扱って言語翻訳を行う。また、この言語翻訳では、マイクロホン２１が一部聞き取れなかった部分があっても、翻訳できる部分はなるべく翻訳する部分翻訳処理を行い、一文全体を正確に翻訳できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。
【００８８】
また、上記音声認識、音声合成、言語翻訳を行うときには、通信回路２７を介して携帯電話等の通信機器と接続して双方向の対話可能である。
【００８９】
上記音声認識、音声合成、言語翻訳を行う補聴器１では、例えば日英双方向の音声翻訳システムの利用、ほぼリアルタイムの認識、翻訳、合成、話し始めの指示をシステムに与える必要がなく、全二重の対話が可能自然な発話に対する、質の高い認識、翻訳、合成「あのー」、「えーと」といった言葉や、多少くだけた表現があっても認識が可能 となる。
【００９０】
更にまた、音声情報生成部２３は、上記音声認識（ATRSPREC）において、信号処理部２２からの認識結果に基づいて文の構造を判断するだけでなく、対話用例を用いることにより、対話特有のくだけた表現などの多様な表現に対応した音声情報を生成する。また、音声情報生成部２３は、マイクロホン２１で会話中の一部が聞き取れなかった部分があっても、音声情報を生成することができる部分はなるべく音声情報を生成する。これにより、音声情報生成部２３は、一文全体の音声情報を正確に生成できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。このとき、音声情報生成部２３は、翻訳処理（部分翻訳機能）を行って音声情報を生成しても良い。
【００９１】
また、音声情報生成部２３は、上記音声合成（CHATR）において、予めデータベース化して記憶された多量の音声単位の音声データから、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成して音声情報を生成する。これにより、音声情報生成部２３は、滑らかな音声を出力するための音声情報を生成する。また、音声情報生成部２３は、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成処理を行っても良く、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行って音声情報を生成しても良い。
【００９２】
更にまた、音声情報生成部２３は、マイクロホン２１からの音声から、特定の音源の音のみを抽出してスピーカ部２５及び／又は表示部２６に出力しても良い。これにより、補聴器１は、複数の音源から到来する音の混合の中から、特定の音源の音のみを抽出して聞くことができるカクテルパーティ現象を人工的に作ることができる。
【００９３】
更にまた、音声情報生成部２３は、音韻的に近い例を用いて誤りを含んだ認識結果を訂正する手法を用いて聞き間違いを修正して音声情報を生成しても良い（文献Ishikawa K, Sumida E: A computer recovering its own misheard-Guessing the original sentence form a recognition result based on familiar expressions- ATR J 37,10-11,1999）。このとき、音声情報生成部２３は、使用者の身体状態、利用状態及び使用目的応じて処理を行って、使用者にとってわかりやすい形態に加工変換する。
【００９４】
なお、上述した補聴器１の説明においては、マイクロホン２１で検出した音声について音声認識処理、音声生成処理を行う一例について説明したが、使用者等により操作される操作入力部２８を備え当該操作入力部２８に入力されたデータを音声及び／又は画像とするように信号処理部２２により変換しても良い。また、この操作入力部２８は、例えば使用者の指に装着され、指の動きを検出することでデータを生成して信号処理部２２に出力するものであっても良い。
【００９５】
また、この補聴器１は、例えば使用者が液晶画面等をペンにより接触させることで文字及び/又は画像を描き、その軌跡を取り込むことによる画像に基づいて文字及び/又は画像データを生成する文字及び/又は画像データ生成機構を備えていても良い。補聴器１は、生成した文字及び/又は画像データを信号処理部２２及び音声情報生成部２３により認識・変換等の処理を行って出力する。
【００９６】
更に、上述の補聴器１は、マイクロホン２１等からの音声を用いて信号処理部２２により音声認識処理を行う一例に限らず、例えば使用者及び/又は使用者以外の人が装着する鼻音センサ、呼気流センサ、頸部振動センサからの検出信号及びマイクロホン２１等からの信号を用いて音声認識処理を行っても良い。このように、補聴器１は、マイクロホン２１のみならず上記各センサを用いることにより、信号処理部２２による認識率を更に向上させることができる。
【００９７】
更に、この補聴器１は、例えば自動焦点機能やズーム機能を搭載したデジタルカメラにより動画像や静止画像等を撮像するカメラ機構２９を図２に示すように備え、表示部２６に表示するものであっても良い。このカメラ機構２９は例えば図１のディスプレイ部７と一体に搭載されても良い。また、上記カメラ機構２９としては、デジタルカメラを用いても良い。
【００９８】
また、この補聴器１に備えられたカメラ機構２９は、撮像した画像を使用者の視力や乱視等の状態に合わせて歪ませたり拡大させたりする画像変換処理を施して表示部２６に表示する眼鏡機能を備えていても良い。
【００９９】
このような補聴器１は、例えばカメラ機構２９からＣＰＵ等からなる信号処理回路を経由して表示部２６に撮像した画像を表示する。この補聴器１は、このようなカメラ機構２９により例えば話者を撮像した画像を使用者に提示することで、使用者の認識を向上させる。また、この補聴器１は、撮像した画像を通信回路２７を介して外部のネットワークに出力しても良く、更には外部のネットワークからカメラ機構２９で撮像した画像を入力して通信回路２７及び信号処理回路等を介して表示部２６に表示しても良い。
【０１００】
更に、この補聴器１では、話者を撮像した画像を用いて信号処理部２２で顔面認識処理、物体認識処理を行って音声情報生成部２３を介して表示部２６に表示しても良い。これにより、補聴器１では、撮像対象者の***、顔の表情、全体の雰囲気等を使用者に提示して、使用者の音声認識を向上させる。
【０１０１】
撮像機能を用いた顔の認識において顔の個人性特徴を抽出して個人認識をおこなうものとして、以下の方法があるがこれらに限られるものではない。
【０１０２】
濃淡画像のマッチングにより識別するための特徴表現の一つとしてパターンをモザイク化し、各ブロック内の画素の平均濃度をブロックの代表値とすることで濃淡画像を低次元ベクトルに情報圧縮して表現する方法でＭ特徴といわれている方法である。また、ＫＩ特徴という濃淡顔画像の特徴表現で、Karhunen-Loeve（ＫＬ）展開を顔画像の標本集合に適応して求められる直交基底画像を固有顔とよび、任意の顔画像をこの固有顔を用いて展開した係数から構成される低次元の特徴ベクトルで記述する方法である。更に、顔画像集合のＫＬ展開による次元圧縮に基づくＫＩ特徴によるもの照合パターンをまずフーリエスペクトルに変換しＫＩ特徴の場合と同様に標本集合をＫＬ展開することで次元圧縮を行って得られる低次元の特徴スペクトルであるＫＦ特徴による識別を行う方法がある。以上の方法によるものが顔画像認識に用いることが可能であり、それらを用いて顔の認識を行うことは対話者が誰であるかという個人識別情報をコンピュータに与えることになり、使用者にとって対話者に対する情報が得られ、音声情報に対する認識が増す。なお、このような処理は、文献「小杉 信：“ニューラルネットを用いた顔画像の識別と特徴抽出”，情処学ＣＶ研報，73-2（1991-07）」、文献「Turk MA and Pentland AP,Face recognition using eigenface.Proc CVPR,586-91（1991-06）」、文献「Akamatsu S et al,Robust face intification by pattern matching Based on KL expansion of the Fourier Spectrum 信学論 vol J76-D-II No.7,1363-73,1993」、文献「Edwards GJ et al,Learning to identify and track faces in image seguences,Proc of FG '98,260-5,1998」に記載されている。
【０１０３】
この補聴器１では、物体認識を行うときには、物体を示すパターンをモザイク化しておき、実際に撮像した画像とマッチングを取ることにより物体の識別を行う。そして、この補聴器１では、マッチングがとれた物体の動きベクトルを検出することで、物体の追尾を行う。これにより、物体から発せられる音声から生成される音声情報に対する認識が増す。この物体認識処理は、ＳｏｎｙＣＳＬから提案されているUbiquitous Talker（文献Nagao K and Rekimoto J,Ubiquitous Talker:Spoken language interaction with real world objects. Proc 14th IJCAI-95,1284-90,Morgan Kaufmann Publishers,1995）で用いられてる技術を採用することができる。
【０１０４】
更に、この補聴器１は、静止画撮像用デジタルカメラのようにシャッターを押すことで静止画を撮像しても良い。更に、カメラ機構２９は、動画像を生成して信号処理部２２に出力しても良い。このカメラ機構２９により動画像を撮像するときの信号方式としては、例えばＭＰＥＧ（Moving Picture Experts Group）方式などを用いる。更にまた、この補聴器１に備えられるカメラ機構２９は、３次元画像を撮像することで、話者や話者の***を撮像して表示部２６に表示させることで更に使用者の認識を向上させることができる。
【０１０５】
このような補聴器１は、使用者自身の発した音声や相手の発した音声等及び／又はその場の情景を撮像した画像を記録し再生することで、言語学習における復習することができ言語学習に役立てることができる。
【０１０６】
また、この補聴器１によれば、画像を拡大処理等して表示部２６に表示することで相手を確認し全体の雰囲気をつかめ音声聴取の正確さが向上し、更に読唇（lip reading）を行うことが可能となり認識を上昇させる。
【０１０７】
更にまた、この補聴器１は、例えばスイッチ機構が設けられており、マイクロホン２１で検出した音声をスピーカ部２５により出力するか、カメラ機構２９により撮像した画等像を表示部２６により出力するか、又は音声及び画像の双方を出力するかを使用者により制御可能としても良い。このときスイッチ機構は、使用者に操作されることで、音声情報生成部２３から出力を制御する。
【０１０８】
また例として、スイッチ機構は、使用者及び／又は使用者以外の音声を検出して、例えば「音声」という音声を検出したときにはマイクロホン２１で検出した音声をスピーカ部２５により出力するように切り換え、例えば「画像」という音声を検出したときにはカメラ機構２９により撮像した画等像を表示部２６により出力するように切り換え、「音声、画像」という音声を検出したときには音声及び画像の双方を出力するするように切り換えても良く、以上のような音声認識を用いたスイッチ制御機構を備えていても良い。また、ジェスチャーインターフェースを用いることで、ジェスチャー認識によるスイッチ制御システムとしても良い。
【０１０９】
更にまた、このスイッチ機構は、カメラ機構２９のズーム状態等のパラメータを切り換えることでカメラ機構２９で画像を撮像するときの状態を切り換える機能を備えていても良い。
【０１１０】
つぎに、この補聴器１において、音声情報生成部２３により作成した音声情報を出力する機構の種々の例について説明する。なお、本発明は、以下に説明する出力する機構に限られることはないことは勿論である。
【０１１１】
すなわち、この補聴器１において、音声情報を出力する機構としてはスピーカ部２５や表示部２６に限らず、例えば骨導や皮膚刺激を利用したものであっても良い。この音声情報を出力する機構は、例えば小さな磁石を鼓膜等に装着し、磁石を振動させるものや、骨を通して信号を蝸牛に伝達するものであっても良い。
【０１１２】
このような補聴器１は、例えば圧挺板を備え、音声情報生成部２３により変換することにより得た信号を前記圧挺板に出力するようにしたものや、皮膚刺激を用いたタクタイルエイド（Tactile Aid）等の触覚による補償技術を利用したものであっても良く、これらの骨振動や皮膚刺激等を用いた技術を利用することで、音声情報生成部２３からの信号を使用者に伝達することができる。皮膚刺激を利用した補聴器１においては、音声情報生成部２３からの音声情報が入力されるタクタイルエイド用振動子アレイが備えられており、タクタイルエイドと当該振動子アレイを介してスピーカ部２５から出力する音声を出力しても良い。
【０１１３】
また、上述した補聴器１の説明においては、音声情報を音声として出力するときの処理の一例について説明したが、これに限らず、例えば人工中耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器１は、音声情報を電気信号としてコイル、振動子を介して使用者に提示しても良い。
【０１１４】
更には、この補聴器１は、人工内耳機構を備え、人工内耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器１は、例えば埋め込み電極、スピーチプロセッサ等からなる人工内耳システムに音声情報を電気信号として供給して使用者に提示しても良い。
【０１１５】
更には、この補聴器１は、脳幹インプラント（Auditory Brainstem Implant）機構を備え、聴性脳幹インプラントにより使用者に音声情報を提示するものであっても良い。すなわち、この補聴器１は、例えば埋め込み電極、スピーチプロセッサ等からなる脳幹インプラントシステムに音声情報を電気信号として供給して使用者に提示しても良い。
【０１１６】
更にまた、この補聴器１は、使用者の身体状態、利用状態及び使用目的に応じて、例えば超音波帯域の音声が認識可能な難聴者に対しては認識結果及び加工変換した認識結果を音声情報として超音波帯域の音声に変調・加工変換して出力しても良い。更にまた、この補聴器１は、超音波出力機構（bone conduction ultrasound）を用いて超音波周波数帯域の信号を生成し、超音波振動子等を介して使用者に出力しても良い。
【０１１７】
更にまた、この補聴器１は、ヘッドホンの接触子を耳珠に当て、骨伝導をおこしさらに耳珠、外耳道内壁の振動が気導音となるシステムである骨伝導ユニットを備え、当該骨伝導ユニットを使用して音声情報を使用者に提示しても良い。この骨導ユニットとしては、聴覚障害者用ヘッドホンシステムであるライブホン（日本電信電話株式会社製）が使用可能である。
【０１１８】
更にまた、この補聴器１は、スピーカ部２５、表示部２６等の複数の出力手段を備える一例について説明したが、これらの出力手段を組み合わせて用いても良く、更には各出力手段を単独で出力しても良い。また、この補聴器１では、マイクロホン２１に入力した音声の音圧レベルを変化させる従来の補聴器の機能を用いて音声を出力するとともに、上述した他の出力手段で認識結果を提示しても良い。
【０１１９】
更にまた、この補聴器１は、スピーカ部２５及び／又は表示部２６から出力する出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部部２３で制御するスイッチ機構を備えていても良く、複数回に亘って出力結果を出力するか一回に限って出力結果を出力するかを制御するスイッチ機構を備えていても良い。
【０１２０】
また、この補聴器１の説明においては、図２に示したような一例について説明したが、入力された音声について上述した種々の加工変換処理を行って表示部２６に表示させる第１の処理を行うＣＰＵと、入力された音声について上述した種々の加工変換処理を行ってスピーカ部２５に出力結果を出力するための第２の処理を行うＣＰＵと、カメラ機構２９で撮像した画像を表示するための第３の処理を行うＣＰＵとを備えたものであっても良い。
【０１２１】
このような補聴器１は、各処理を行うＣＰＵを独立に動作させて第１の処理又は第２の処理を行わせて出力させても良く、更には各処理を行うＣＰＵを同時に動作させて第１の処理、第２の処理、及び第３の処理を行わせて出力させても良く、更には、第１及び第２の処理、第１及び第３の処理又は第２及び第３の処理を行うＣＰＵを同時に動作させて出力させても良い。
【０１２２】
更にまた、補聴器１は、使用者の身体状態、利用状態及び使用目的に応じて上述した種々の出力機構からの出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部２３で制御しても良い。
【０１２３】
更に、この補聴器１は、複数のＣＰＵを有し、上述した複数のＣＰＵで行う第１〜第３処理のうち、少なくとも１の処理をひとつのＣＰＵで行うとともに、残りの処理を他のＣＰＵで行っても良い。
【０１２４】
例えば、この補聴器１において、ひとつのＣＰＵが入力された音声を文字データとして加工変換を行って表示部２６に出力する処理（text to speech synthesis）を行うとともに、又はひとつのＣＰＵが入力された音声に対して文字データとして加工変換を行って他のＣＰＵが入力された同じ音声に対してSTRAIGHT処理を行ったりしてスピーカ部２５に出力する処理を行い、他のＣＰＵが入力された音声に対してボコーダ処理のうち、例えば音声分析合成法STRAIGHTを用いた処理を行ってスピーカ部２５に出力する処理を行っても良い。すなわちこの補聴器１は、スピーカ部２５に出力する信号と、表示部２６に出力信号とで異なる処理を異なるＣＰＵにより行うものであっても良い。
【０１２５】
更に、この補聴器１においては、上述した種々の加工変換処理を行って上述の種々の出力機構に出力する処理を行うＣＰＵを有するとともに、加工変換処理を施さないでマイクロホン２１に入力された音声を出力しても良い。
【０１２６】
更に、この補聴器１においては、上述した種々の加工変換処理の一を行うためのＣＰＵと、他の加工変換処理を行うＣＰＵとを別個に備えていても良い。
【０１２７】
更に、この補聴器１においては、上述のように認識結果や加工変換した認識結果や撮像した画像等について音声情報生成部２３で変換する処理を行うとともに、従来と同様に音声を検出して得た電気信号を増幅させて音質調整、利得調整や圧縮調整等を行いスピーカ部２５に出力するものであっても良い。
【０１２８】
なお、この補聴器１において、信号処理部２２及び音声情報生成部２３で行う処理を、例えばフーリエ変換、ボコーダ処理（STRAIGHT等）の処理を組み合わせて適用することで、上述した処理を行っても良い。
【０１２９】
また、本発明を適用した補聴器１では、個人的に使用する小型のタイプの補聴器について説明したが、集団で用いる大型のもの（卓上訓練用補聴器や集団訓練用補聴器）にも用いてもよい。
【０１３０】
視覚ディスプレイとしてＨＭＤ、Head-coupled display（頭部結合型表示装置）があげられる。以下に例を示す。双眼式ＨＭＤ（左右眼毎に視差画像を提示し立体視を可能とするものや左右眼双方に同じ画像を提示し見かけ上の大画面を与えるもの）、単眼式、シースルー型ＨＭＤ、視覚補助や視覚強調機能のついたディスプレイ、眼鏡型の双眼望遠鏡に自動焦点機能付でVisual filterを用いたもの、接眼部にコンタクトレンズを使用するシステム、網膜投影型（Virtual Retinal Display、Retinal projection display、網膜投影型の中間型）、視線入力機能付きＨＭＤ（製品名HAQ-200（島津製作所））や頭部以外（首、肩、顔面、眼、腕、手など）にマウントするディスプレイ、立体ディスプレイ（投影式オブジェクト指向型ディスプレイ（例 head-mounted projector：Iinami M et al., Head-mounted projector（II）-implementation Proc 4th Ann Conf Of Virtual Reality Society of Japan 59-62,1999）、リンク式の立体ディスプレイ、大画面のディスプレイ（spatial immnersive display）（例omnimax、 CAVE（Cruz-Neira C et al. Surrounded-screen projection-based virtual reality: The design and implementation of the CAVE, Proc of SIGGRAPH'93,135-42,1993参照）、ＣＡＶＥ型立体映像表示装置であるＣＡＢＩＮ（Hirose M et al. 電子情報通信学会論文誌Vol J81-D-II No.5.888-96,1998）、ＣＡＶＥ等の投影ディスプレイとＨＭＤの両方の特徴をもつ小型超広視野ディスプレイ（Endo T et al. Ultra wide field of view compact display. Proc 4th Ann Conf of Virtual Reality Society of Japan,55-58,1999）、アーチスクリーン）が使用可能である。
【０１３１】
特に大画面のディスプレイのものは大型補聴器として用いるときに使用してもよい。また、上述した補聴器１では、音の再現方法としてバイノーラル方式（３次元音響システムはHead-Related Transfer Functionを用いた空間音源定位システムを用いる：例 Convolvotron & Acoustetron II（Crystal River Engineering）,ダイナミック型ドライバユニットとエレクトレットマイクロフォンを使用した補聴器TE-H50（Sony））を使用してもよく、実際と近い音場をつくったり、トランスオーラル方式（トラッキング機能付きのトランスオーラル方式が３次元映像再現におけるＣＡＶＥに対応する）を用いたりするものは主に大型の補聴器システムの場合に用いるのが好ましい。
【０１３２】
更にまた、上述のＨＭＤ２は、頭頂部に３次元位置検出センサーを備えていても良い。このようなＨＭＤ２を備えた補聴器１では、使用者の頭の動きに合わせてディスプレイ表示を変化させることが可能となる。
【０１３３】
強調現実感（Augmented reality（ＡＲ））を利用した補聴器１では、使用者の動作に関するセンサを備え、センサで検出した情報、マイクロホン２１で検出し音声情報生成部２３で生成した音声情報とを用いることで、ＡＲ空間を生成する。音声情報生成部２３は、種々のセンサシステムとＶＲ形成システムを統合するシステムとディスプレイシステムによりなるバーチャルリアリティ（Virtual realtiy（ＶＲ））システムとを協調的に用いることにより、実空間にＶＲ空間を適切に重畳することで、現実感を強調するＡＲの空間をつくることが可能となる。これにより補聴器１では視覚ディスプレイを用いるときに、顔面部にある画像からの情報を、情報が来るたびに大幅に視線をはずすことなく、ただ画像が目の前にあるだけでなく、画像情報が、いかにもそこにあるように自然に受けいれるようになり自然な状態で視覚からの情報を受け取ることが可能となる。以上を実行するには以下のシステムがある。
【０１３４】
このような補聴器１は、図３に示すように、ＡＲ空間を形成するためには、仮想環境映像生成のための３Ｄグラフィックアクセラレータを音声情報生成部２３の内部に搭載することでコンピュータグラフィックスの立体視が可能な構成とし、更に無線通信システムを搭載する。この補聴器１に使用者の位置と姿勢の情報を取得するため、センサ３１として頭部に小型ジャイロセンサ（例 データテックGU-3011）を、使用者の腰に加速度センサ（例 データテックGU-3012）を接続する。以上のセンサ３１からの情報を音声情報生成部２３で処理を行った後、使用者の右目、左目に対応するスキャンコンバータ３２ａ、３２ｂで処理をして表示部２６に映像が行くというシステム（Ban Y et al, Manual-less operation with wearable augmented reality system.Proc 3th Ann Conf of Virtual Reality society of Japan,313-4,1998参照）を用いることで可能となる。
【０１３５】
また、この補聴器１では、センサ３１に加えて状況認識システム（例Ubiquitous Talker（Sony CSL））とＶＲシステムを形成する他のシステムである以下の種々のセンサシステムとＶＲ形成システムを統合するシステムとディスプレイシステム、及び、この補聴器１とを協調的に用いることにより、ＡＲ空間を強化することも可能であり、マルチモダリティを用いて音声情報を補足可能となる。
【０１３６】
このようなＶＲ等の空間を形成するには、先ず、使用者がセンサ３１に本人から情報を送り、その情報がＶＲ形成システムを統合するシステムに送られ、ディスプレイシステムから使用者に情報が送られることで実現する。
【０１３７】
上記センサ３１（情報入力システム）として以下のデバイスがある。
【０１３８】
特に人体の動きの取り込みや、空間に作用するデバイスとして光学式３次元位置センサ（ExpertVision HiRES ＆ Face Tracker（MotionAnalysis））、磁気式３次元位置センサ（InsideTrack（Polhemus）,3SPACE system（POLHEMUS）, Bird（Ascension Tech.））、機械式３Ｄディジタイザ（MicroScribe 3D Extra（Immersion））、磁気式３Ｄディジタイザ（Model 350 （Polhemus））、音波式３Ｄディジタイザ（Sonic Digitizer（Science Accessories））、光学式３Ｄスキャナー（3D Laser Scanner（アステックス））、生体センサ（体内の電気で測る）サイバーフィンガー（ＮＴＴヒューマンインタフェース研究所）、手袋型デバイス（DetaGlove（VPL Res），Super Glove（日商エレクトロニクス）Cyber Glove（Virtual Tech））、フォースフィードバック（Haptic Master（日商エレクトロニクス）、PHANToM（SensAble Devices））、３Ｄマウス（Space Controller（Logitech））、視線センサ（眼球運動分析装置（ATR視聴覚機構研究所製））、体全体の動きの計測に関するシステム（DateSuit（VPL Res））、モーションキャプチャーシステム（HiRES（Motion Analysis））、加速度センサ（三次元半導体加速度センサ（NEC製））、視線入力機能付きＨＭＤがある。
【０１３９】
また、ＡＲを実現するためには、表示部２６のみならず、触覚を利用した触覚ディスプレイ、触圧ディスプレイ、力覚ディスプレイがある。触覚ディスプレイにより音声を触覚により伝え、聴覚だけでなく触覚をも加えることで音声の認識をあげことが可能となる。この触覚ディスプレイとしては、例えば振動子アレイ（オプタコンや触覚マウス、タクチュアルボコーダ等）、触知ピンアレイ（ペーパーレスブレイル等）などが使用可能である。他にwater jet、air jet.PHANToM（SensAble Devices）、Haptic Master（日商エレクトロニクス）などがある。具体的には、補聴器１は、ＶＲな空間でＶＲキーボードを表示し、信号処理部２２及び音声情報生成部２３での処理をＶＲキーボードまたはＶＲスイッチにより制御する。これにより、わざわざキーボードを用意したり、スイッチまで手を伸ばしたりすることが無くなり、使用者の操作を楽にし、耳に装着するのみの補聴器と近い装用感を得ることができる。
【０１４０】
前庭感覚ディスプレイとしては、ウオッシュアウトとウオッシュバックにより狭い動作範囲の装置でも多様な加速度表現ができるシステム（モーションベット）が使用可能である。
【０１４１】
ＶＲシステムを統合するシステムとしては、以下のものがあり、それら限定されることはないが、Ｃ、Ｃ＋＋のライブラリとして供給され、表示とそのデータベース、デバイス入力、干渉計算、イベント管理などをサポートし、アプリケーションの部分は使用者がライブラリを使用してプログラミングするものや、ユーザプログラミングを必要とせずデータベースやイベント設定をアプリケーションツールで行い、そのままＶＲシュミレーションを実行するシステムなどを使用してもよい。またこの補聴器１に関する個々のシステム間を通信にてつなげてもよい。また、状況を高い臨場感を保って伝送するのに広帯域の通信路を使用しても良い。また、補聴器１では、３Ｄコンピュータグラフィックスの分野で用いられている以下の技術を用いてもよい。現実に起こり得ることを忠実に画像として提示し、非現実的な空間を作り、実際には不可能なことも画像として提示することがコンセプトとなる。３Ｄコンピュータグラフィックスでは、以下のモデリング技術、レンダリング技術、アニメーション技術により可能となる。複雑で精密なモデルを作るモデリング技術としては、ワイヤーフレームモデリング、サーフェスモデリング、ソリッドモデリング、べジエ曲線、Ｂ−スプライン曲線、ＮＵＲＢＳ曲線、ブール演算（ブーリアン演算）、自由形状変形、自由形状モデリング、パーティクル、スイープ、フィレット、ロフティング、メタボール等がある。また、質感や陰影をつけリアルな物体を追求するためにレンダリング技術としては、シェーディング、テクスチュアマッピング、レンダリングアルゴリズム、モーションブラー、アンチエリアシング、デプスキューイングがある。また、作成したモデルを動かし、現実の世界をシミュレーションするためのアニメーション技術としては、キーフレーム法、インバースキネマティクス、モーフィング、シュリンクラップアニメーション、αチャンネルがある。また、サウンドレンダリングとして「文献Takala T,Computer Graphics （Proc SIGGRAPH 1992）Vol26,No2,211-20」に記載されている技術を用いても良い。
【０１４２】
このようなＶＲシステムを統合するシステムとしては、例えばDivision Incのシステム（VRランタイムソフトウェア[dVS]、ＶＲ空間構築ソフトウェア[dVISE]、ＶＲ開発用ライブラリ[VC Toolkit]、SENSE８社のWorldToolKitと、WorldUp、Superscape社のＶＲＴ、ソリッドレイ社のRealMaster、モデルなしのＶＲの生成として、文献「Hirose M et al. A study of image editing technology for synthetic sensation. Proc ICAT'94,63-70,1994」に記載されている方法等を使用しても良い。
【０１４３】
また、本実施の形態では、ＨＭＤ２と、コンピュータ部３との間を光ファイバーケーブル４で接続してなる携帯型の補聴器１について説明したが、ＨＭＤ２とコンピュータ部３との間をワイヤレスとし、ＨＭＤ２とコンピュータ部３との間を無線や赤外線を用いた信号伝送方式等により情報の送受信を行っても良い。更に、この補聴器１においては、ＨＭＤ２とコンピュータ部３との間をワイヤレスとする場合のみならず、図２に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良く、少なくともコンピュータ部３を使用者に装着させずにＨＭＤ２と情報の送受信を行っても良い。更にまた、この補聴器１においては、使用者の身体状態、利用状態、使用目的に応じて、図２に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良い。これにより、補聴器１は、使用者が装着する装置の重量、体積を軽減し、使用者の身体の自由度を向上させ、使用者の認識を更に向上させることができる。
【０１４４】
また、補聴器１では、通信回路２７を介して信号処理部２２及び音声情報生成部２３で行う処理の制御及びバージョンアップ、修理等をしても良い。これにより、補聴器１では、通信回路２７を通じて視覚ディスプレイ、聴覚ディスプレイ等を通じて修理、制御、調整等を受けることができる。
【０１４５】
また、本発明を適用した補聴器１によれば、合成した音声を表示することで使用者に提示することができるので、例えば事務（ウェアブルコンピュータとして）、通信（自動翻訳電話への応用など）、産業医学領域（メンタルヘルスなど）、医療現場（聴力検査への利用）、外国語学習、言語訓練、娯楽（テレビゲーム）、個人用のホームシアター、コンサートや試合等の観戦、番組製作（アニメーション、実写映像、ニュース、音楽制作）、水中（ダイビングでの水中における会話など）、諜報活動や軍事、騒音下などの悪条件での作業業務（建築現場工場など）、スポーツ（自動車やヨット等のレースや、山や海等の冒険時、選手の試合時や練習時での選手同士や選手とコーチ間の意志疎通や情報変換）、や宇宙空間での作業、運輸（宇宙船や飛行機のパイロット）、カーナビゲーションシステム、ＶＲとＡＲとを用いた種々のシミュレーション作業（遠隔手術（マイクロサージュリー）など）等、教育、トレーニング、内科治療、傷病治療、政治、旅行、買い物、マーケティング、広告、宗教、デザインの分野、アミューズメントパーク等におけるFish-tank VR display、裸眼立体視システム、テレイグジスタンス視覚システムなどを用いたＶＲやＡＲや、テレエグシスタンスやアールキューブを利用したもの、電話やインターネットでの応対業務にも適用可能であり、音声言語障害者のみならず、重病患者、重度身体障害者のコミュニケーション、介護学校等の広い分野で使用可能である。
【０１４６】
【発明の効果】
以上詳細に説明したように、本発明に係る補聴器は、音声言語障害者を検出して得た認識結果に基づいて予め記憶した音声データを組み合わせて音声情報を音声に変換して外部に出力するとともに、外部からの音声を使用者に出力することができるので、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力することで使用者の聴覚を補うことができる。
【０１４７】
本発明に係る補聴器は、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように加工変換する変換手段を備えているので、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる。
【図面の簡単な説明】
【図１】本発明を適用した補聴器の外観の一例を示すブロック図である。
【図２】本発明を適用した補聴器の構成を示すブロック図である。
【図３】本発明を適用した補聴器でＡＲ空間を作るための構成について示すブロック図である。
【符号の説明】
１ 音声生成装置、２ ヘッドマウントディスプレイ、３ コンピュータ部、７ ディスプレイ部、８ 使用者用マイクロホン、１１ 外部用マイクロホン、２１ マイクロホン、２３ 音声情報生成部、２４ 記憶部、２５ スピーカ部、２６ 表示部
【発明の属する技術分野】
本発明は、マイクロホン等により検出した音声を聴力障害者が理解しやすい形式に加工変換して提示する補聴器、音声言語障害を持つ者より発せられた音声や音声言語障害を是正するために用いる補助的装置や手段（例として喉頭摘出後の代用発声法（speech production substitutes））により発せられた音声を加工変換して出力する補聴器に関する。
【０００２】
【従来の技術】
補聴器には、気導方式と、骨導方式とが従来から使用されている。補聴器の種類としては、箱形補聴器、耳かけ補聴器、ＣＲＯＳ（Contra-lateral Routing of Signal）補聴器、耳穴形補聴器がある。また、従来の処理方式として分けると、アナログ補聴器とディジタル補聴器とがある。また、補聴器には、小寺の報告によると集団で使用する大型のもの（卓上訓練用補聴器、集団訓練用補聴器）、個人的に使用する小型のものがある（小寺一興、補聴器の選択と評価 図説耳鼻咽喉科new approach メジカルビュ−,39,1996参照）。
【０００３】
このディジタル補聴器は、マイクロホンで検出した音声を先ずＡ／Ｄ（analog／digital）変換処理することでディジタルデータを生成する。そして、このディジタル補聴器は、例えばフーリエ変換処理を施すことにより入力されたディジタルデータを周波数スペクトルに分解することで解析を行い、各周波数帯域毎に音声の感覚的な大きさに基づいた増幅度の算出を行う。そして、このディジタル補聴器は、各周波数帯域毎に増幅されたディジタルデータをディジタルフィルターに通過させてＤ／Ａ変換処理を行って再び音声を使用者の耳に出力するように構成されている。これにより、ディジタル補聴器は、話し手の音声を雑音の少ない状態で使用者に聞かせていた。
【０００４】
また、従来において、例えば喉頭摘出により音声障害をもつ人は、通常の声帯振動による発声機構を失い、音声生成が困難になる。
【０００５】
現在まで、喉頭摘出後の代用発声法として、音源としての振動体の性質から大別するとゴム膜（笛式人工喉頭）やブザー（電気人工喉頭（経皮型、埋込み型））等の人工材料を用いる方法と、下咽頭や食道粘膜を使用する方法（食道発声、気管食道瘻発声、ボイスプロステーシス（voice prostheses）使用の気管食道瘻発声）がある。また、その他の代用発声法としては、***を動かしたときに生じる筋電図を利用したものや聴力障害による発声障害者のために種々の音声処理技術を利用した発声発話訓練装置、パラトグラフ（palatograph）によるものや口腔内の振動子によるものが報告されている。
【０００６】
【発明が解決しようとする課題】
しかし、上述したディジタル補聴器では、各周波数帯域毎にディジタルデータを増幅させる処理を行っているだけなので、マイクロホンにより周囲の音を無作為に収音し、雑音をそのまま再生してしまい使用者の不快感が残り、アナログ補聴器と比べても、種々の聴力検査において大幅な改善はなかった。また、従来のディジタル補聴器では、難聴者の身体状態、利用状態及び使用目的に応じて検出した音声に対する処理を適応させることはなされていなかった。
【０００７】
そこで、本発明の目的は、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる補聴器を提供することにある。
【０００８】
また、上記代用発声法に共通してみられるのは、喉頭摘出前の本人自身の本来の正常な状態での声帯振動によるものではないので、生成する音声の音質が良くなく、本来正常であった本人が発していた声とはかけ離れているという問題点が挙げられる。
【０００９】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力して自然な会話を行わせることができる補聴器を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決する本発明に係る補聴器は、音声言語障害を有した使用者から発せられた音声及び／又は外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号に基づいて音声認識をする処理を行う音声認識手段と、音声データを記憶する記憶手段と、上記音声認識手段からの認識結果に基づいて上記記憶手段に記憶された音声データを組み合わせ、出力する音声を示す音声情報を生成する音声情報生成手段と、上記音声情報生成手段で生成された音声情報を音声に変換して外部に出力する使用者音声出力手段と、上記音声認識手段で認識された認識結果を上記外部からの音声として使用者に出力する外部音声出力手段とを備えることを特徴とするものである。
【００１１】
このような補聴器は、外部からの音声を使用者に出力するとともに、障害を有して発せられた音声を発声した使用者に出力する。
【００１２】
本発明に係る補聴器は、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように変換する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果、である音声情報を出力して使用者に音声を提示するための認識結果を出力して認識結果である音声情報を使用者に提示する出力手段とを備えることを特徴とするものである。
【００１３】
このような補聴器は、変換手段で認識結果の内容を変更することで出力結果を変更して使用者に変換手段で変更された音声等を提示する。このような補聴器によれば、使用者の身体状態、利用状態及び使用目的に応じて自在に変換方式を変更して認識結果を提示する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１５】
本発明は、例えば図１及び図２に示すように構成された補聴器１に適用される。この補聴器１は、図１に示すように、ヘッドマウントディスプレイ （head-mounted display: HMD）２と、音声認識、音声情報の生成等を行うコンピュータ部３との間を光ファイバーケーブル４で接続してなる携帯型のものである。また、コンピュータ部３は、例えば使用者の腰部に装着されるような支持部５に付属して配設されており、当該支持部５に付属したバッテリ６から電力が供給されることで駆動するとともに、ＨＭＤ２を駆動させる。
【００１６】
ＨＭＤ２は、使用者の目前に配置されるディスプレイ部７と、使用者からの音声を検出する使用者用マイクロホン８と、使用者に音声を出力する音声出力部９と、使用者の頭部に上述の各部を配置させるように支持する支持部５と、外部からの音声等を検出する外部用マイクロホン１１とを備える。
【００１７】
ディスプレイ部７は、使用者の目前に配されることで例えば使用者用マイクロホン８及び／又は後述の外部用マイクロホン１１で検出した音声の意味内容等を表示する。なお、このディスプレイ部７は、コンピュータ部３からの命令に応じて、上述の音声の意味内容のみならず、他の情報を表示しても良い。
【００１８】
使用者用マイクロホン８は、使用者の口元付近に配設され、使用者が発した音声を検出する。そして、この使用者用マイクロホン８は、使用者からの音声を電気信号に変換してコンピュータ部３に出力する。
【００１９】
外部用マイクロホン１１は、丸板状に形成された音声出力部９の側面に設けられる。この外部用マイクロホン１１は、外部からの音声を検出して電気信号に変換してコンピュータ部３に出力する。
【００２０】
この使用者用マイクロホン８及び外部用マイクロホン１１は、配設する位置を問わず、使用者の操作に応じて、種々のマイク（骨導マイク、気導音と骨導音を拾い上げるマイクをもつ超小型送受話一体ユニットのマイク（日本電信電話株式会社製）、無指向性マイク、単一指向性（超指向性等）マイク、双指向性マイク、ダイナミックマイク、コンデンサーマイク（エレクトレットマイク）、ズームマイク、ステレオマイク、ＭＳステレオマイク、ワイヤレスマイク）、セラミックマイク、マグネティックマイク、マイクロフォンアレイを用いても良い。また、イヤホンとしては、マグネティックイヤホンが使用可能である。これらのマイクの収音技術として、また、伝送技術としてエコーキャンセラ等を用いても良い。また、これらのマイクロホン８，１１は、従来より採用されている利得調整器と音声調整器と出力制御装置（maximam output power control式、automatic recruitment control コンプレッション式等）を適用したものが使用可能である。
【００２１】
更に、使用者用マイクロホン８及び外部用マイクロホン１１は、図１に示すように、別個に設ける一例のみならず、一体に構成されたものであっても良い。
【００２２】
支持部５は、例えば形状記憶合金等の弾性材料等からなり、使用者の頭部に固定可能とすることで、上述のディスプレイ部７，使用者用マイクロホン８，音声出力部９を所定の位置に配設可能とする。なお、この図１に示した支持部５は、使用者の額から後頭部に亘って支持部材を配設することでディスプレイ部７等を所定位置に配設するものの一例について説明したが、所謂ヘッドホン型の支持部であっても良いことは勿論であり、音声出力部９を両耳について設けても良い。
【００２３】
コンピュータ部３は、例えば使用者の腰部に装着される支持部５に付属されてなる。このコンピュータ部３は、図２に示すように、例えばマイクロホン８，１１で検出して生成した電気信号が入力される。このコンピュータ部３は、電気信号を処理するためのプログラムを格納した記録媒体、この記録媒体に格納されたプログラムに従って音声認識、音声情報の生成処理を行うＣＰＵ（Central Processing Unit）等を備えてなる。なお、このコンピュータ部３は、腰部のみならず、頭部のＨＭＤ２と一体化しても良い。
【００２４】
コンピュータ部３は、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声から生成した電気信号に基づいて、記録媒体に格納されたプログラムを起動することで、ＣＰＵにより音声認識処理を行うことで、認識結果を得る。これにより、コンピュータ部３は、ＣＰＵにより、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声の内容を得る。
【００２５】
つぎに、本発明を適用した補聴器１の電気的な構成について図２を用いて説明する。この補聴器１は、音声を検出して音声信号を生成する上述のマイクロホン８，１１に相当するマイクロホン２１と、マイクロホン２１で生成された音声信号が入力され音声認識処理を行う上述のコンピュータ部３に含まれる信号処理部２２、信号処理部２２からの認識結果に基づいて音声情報を生成する上述のコンピュータ部３に含まれる音声情報生成部２３と、音声データが記憶され信号処理部２２及び音声情報生成部２３にその内容が読み込まれる上述のコンピュータ部３に含まれる記憶部２４と、音声情報生成部２３からの音声情報を用いて音声を出力する上述の音声出力部９に相当するスピーカ部２５と、音声情報生成部２３からの音声情報を用いて当該音声情報が示す内容を表示する上述のディスプレイ部７に相当する表示部２６とを備える。
【００２６】
上記マイクロホン２１は、例えば喉頭摘出後の代用発声法を用いて発せられた使用者からの音声又は外部からの音声を検出して、当該音声に基づく音声信号を生成する。そして、このマイクロホン２１は、生成した音声信号を信号処理部２２に出力する。
【００２７】
また、このマイクロホン２１は、使用者の口元付近に配設され、使用者が発した音声を検出する。また、このマイクロホン２１は、外部からの音声を検出して音声信号を生成する。なお、以下の説明においては、使用者の音声を検出するマイクロホンを上述と同様に使用者用マイクロホン８と呼び、外部からの音声を検出するマイクロホンを上述と同様に外部用マイクロホン１１と呼び、双方を総称するときには単にマイクロホン２１と呼ぶ。
【００２８】
上記代用発声法としては、例えば人工喉頭（電気式、笛式）、食道発声及び種々の音声再建術を実現するための機構である。
【００２９】
上記信号処理部２２は、マイクロホン２１からの音声信号を用いて音声認識処理を行う。この信号処理部２２は、例えば内部に備えられたメモリに格納した音声認識処理を行うためのプログラムに従った処理を行うことにより音声認識処理を実行する。具体的には、この信号処理部２２は、使用者の音声をサンプリングして生成し記憶部２４に格納された音声データを参照し、マイクロホン２１からの音声信号を言語として認識する処理を行う。この結果、この信号処理部２２は、マイクロホン２１からの音声信号に応じて認識結果を生成する。
【００３０】
この信号処理部２２は、例えば認識対象音声による分類と対象話者による分類の音声認識処理があり、認識対象音声による分類の音声認識処理では単語音声認識（isolated word recognition）と連続音声認識（continuous speech recognition）がある。また、音声情報生成部２３は、連続単語音声認識には連続単語音声認識（continuous word recognition）と文音声認識（sentence speech recognition）、会話音声認識（conversational speech recognition）、音声理解（speech understanding）がある。また対象話者による分類では不特定話者型（speaker independent）、特定話者型（speaker dependent）、話者適応型（speaker adaptive）等がある。この信号処理部２２が行う音声認識手法としては、ダイナミックプログラミング（Dynamic Programming）マッチングによるもの、音声の特徴によるもの、隠れマルコフモデル（ＨＭＭ）によるものがある。
【００３１】
また、信号処理部２２は、入力した音声を用いて話者認識を行う。このとき、信号処理部２２は、使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いて話者認識結果を生成して音声情報生成部２３に出力する。また、信号処理部２２は、話者による変動が小さな特徴量を用いる方法、マルチテンプレート法、統計的手法を用いて不特定話者認識を行う。また、話者適応には、個人差の正規化法、話者間の音声データの対応関係によるもの、モデルパラメータの更新によるもの、話者選択によるものがある。この信号処理部２２では、以上の音声認識を使用者の身体状態、利用状態及び使用目的に応じて行う。
【００３２】
ここで、使用者の身体状態とは使用者の難聴や言語障害の程度等を意味し、利用状態とは使用者が補聴器１を使用する環境（室内、野外、騒音下）等を意味し、使用目的とは使用者が補聴器１を利用するときの目的、すなわち認識の向上させることや、使用者が理解しやすいようにすること等であって、例えば普段話す人と対話することや、不特定多数の人と対話することや、音楽（オペラ、演歌）を観覧することや、講演を聴くことや、言語障害者と対話することである。
【００３３】
また、この信号処理部２２は、マイクロホン２１に入力した音声を記憶し、学習する機能を有する。具体的には、信号処理部２２は、マイクロホン２１で検出した音声の波形データを保持しておき、後の音声認識処理に用いる。これにより、信号処理部２２は、更に音声認識を向上させる。更に、この信号処理部２２は、学習機能を備えることで出力する結果を正確にすることができる。
【００３４】
上記記憶部２４には、上記信号処理部２２が入力された音声を認識するときに、入力された音声を検出することで生成した音声波形と比較される音声モデルを示すデータが格納されている。また、記憶部２４には、例えば喉頭摘出前に発声した声帯振動による発声機構を持つ使用者の音声や、出力することを希望する音声を予めサンプリングして得たデータが音声データとして格納されている。
【００３５】
音声情報生成部２３は、信号処理部２２からの認識結果及び記憶部２４に格納された使用者の音声を示す音声データを用いて、音声情報を生成する。このとき音声情報生成部２３は、認識結果に応じて、記憶部２４に格納された音声データを組み合わせるとともに、認識結果を加工変換して音声情報を生成する。このとき、音声情報生成部２３は、内蔵したＣＰＵ、音声情報生成プログラムを用いて音声情報を生成する。
【００３６】
また、この音声情報生成部２３は、認識結果を用いて音声から音声分析し、当該音声分析した音声の内容に応じて、音声データを再構成するという処理を行うことで、音声を示す音声情報を生成する。そして、音声情報生成部２３は、生成した音声情報をスピーカ部２５及び表示部２６に出力する。
【００３７】
更に、音声情報生成部２３は、信号処理部２２からの認識結果を、使用者の身体状態、利用状態及び使用目的に応じて加工、変換、合成等をして音声情報を生成する処理を行う。更に、この音声情報生成部２３は、マイクロホン２１で検出された音声を使用者に提示するための処理を認識結果及び／又は加工等をして得た認識結果について行う。
【００３８】
更にまた、音声情報生成部２３は、認識結果から生成した音声情報を修飾して新たな音声情報を生成しても良い。このとき、音声情報生成部２３は、使用者の身体状態、利用状態及び使用目的に基づいて、更に使用者が理解し易い言葉を付け加えることで、使用者の音声の認識を更に向上させる。
【００３９】
更にまた、この音声情報生成部２３は、音声情報を表示部２６に出力するときに音声の意味内容を画像として表示部２６に出力する。音声情報生成部２３は、例えば使用者又は使用者の話者及び外部からの音声が入力されて信号処理部２２からの認識結果として物体を示す認識結果が入力されたときには、当該物体を示す画像データを表示部２６に出力して表示させる処理を行う。
【００４０】
更にまた、この音声情報生成部２３は、信号処理部２２からの認識結果に応じて、以前にスピーカ部２５又は表示部２６に出力した音声情報を再度出力する。音声情報生成部２３は、音声情報を出力した後に、使用者又は使用者に対する話者がもう一度聞き直したいことに応じて発した音声を示す認識結果が入力されたと判定したときには、スピーカ部２５又は表示部２６に出力した音声情報を再度出力する処理を行う。また、音声情報生成部２３は、例えば使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いた話者認識結果に基づいて、以前にスピーカ部２５又は表示部２６に出力した音声情報を再度出力しても良い。更に、音声情報生成部２３は、人工知能の機能を用いて音声対話を行うことで、スピーカ部２５又は表示部２６に出力した音声情報を再度出力しても良い。
【００４１】
更にまた、音声情報生成部２３は、再度出力する処理を行うか否かを操作入力部２８からの操作入力命令に応じて切り換えても良い。すなわち、使用者が再度出力する処理を行うか否かの切換を操作入力部２８を操作することで決定し、操作入力部２８をスイッチとして用いる。
【００４２】
また、この音声情報生成部２３は、再度音声情報を出力するとき、以前に出力した音声情報を再度出力するか、以前に出力した音声情報とは異なる音声情報を出力するかを、信号処理部２２を介して入力される操作入力部２８からの操作入力信号に応じて選択する。
【００４３】
表示部２６は、上記音声情報生成部２３で生成した音声情報が示す音声、カメラ機構２９で撮像した画像等を表示する。
【００４４】
操作入力部２８は、スイッチ、キーボード、マウス等でも良く、使用者に操作されることで、操作入力信号を生成する。
【００４５】
このような補聴器１は、マイクロホン２１で検出した音声について信号処理部２２で音声認識処理をして、認識結果に基づいて音声情報生成部２３でプログラムを起動することで使用者に応じた処理を行うことができる。これにより、補聴器１は、スピーカ部２５にマイクロホン２１からの音声を出力するとともに、表示部２６に表示するので、音声に対する使用者の認識を向上させることができる。視覚聴覚同時に矛盾する音韻情報を提示した場合にいずれの情報とも異なった音韻に異聴が生ずるというMuGurk効果（MuGurk H and MacDonald J: Hearing lips and seeing voice,Nature 264,746-8,1976参照）や、乳児がすでに聴覚からの音声情報と視覚からの口形の情報との対応関係を獲得しているとの報告（Kuhl PK et al. Human processing of auditory-visual information in speech perception. ICSLP'94 S11.4,Yokohama,1994）や視覚が音源方向の知覚に影響を与える（腹話術効果）、及び人間は無意識のうちに音源かどうかを学習し、区別するなどの報告は人間のコミュニケーションが本来マルチモーダルなものであるとする仮説を支持するものである（Saitou H and Mori T:視覚認知と聴覚認知Ohmsha,119-20,1999参照）。以上のことは、視覚が聴覚に影響を及ぼしていることを意味し、表示部２６に認識結果等を表示することで音声情報を補足し、音声に対する使用者の認識を向上させる。この補聴器１では、音声のみならず、表示部２６に表示する画像を通じて話者に音声の意味内容を伝達し、対話することができる。
【００４６】
更に、この補聴器１によれば、使用者用マイクロホン８及び／又は外部用マイクロホン１１で検出した音声を認識した結果に応じて表示部２６に表示する音声の意味内容及びスピーカ部２５から出力する音声の内容を変更させることができるので、更に音声に対する使用者の認識を向上させることができる。従って、この補聴器１によれば、音声情報生成部２３により音声認識処理を変更するプログラムを実行することにより、身体状態（難聴の程度等）、利用状態及び使用目的に応じて認識処理を変更することで、使用者が理解しやすい音声の意味的な情報を表示することで更に認識を向上させることができる。
【００４７】
スピーカ部２５は、上記音声情報生成部２３で生成した音声を出力する。このスピーカ部２５としては、例えば使用者から話し手に対して音声を出力するものであっても良く、更には、使用者が発した音声を使用者の耳に対して発声するように音声を出力するものであっても良い。また、使用者の耳に対して発声するように音声を出力するスピーカ部２５は、スピーカユニットの変換方式としてダイナミック型や静電型（コンデンサ型、エレクトロスタティック型）によるものでも良く、形状としてはヘッドフォン（オープンエア型、クローズド型、カナルタイプ等のイン・ザ・イヤー型等）によるものでも良い。また、スピーカ部２５は、従来の補聴器、拡声器、集音器のスピーカによるものでも良く、使用者から話者に対して音声を出力するスピーカ部２５は従来から用いられているスピーカ装置でよい。
【００４８】
また、スピーカ部２５は、音声情報に基づいて出力する音声と逆位相の音を出力するようにしても良い。これにより、スピーカ部２５から出力する音声に含まれる雑音成分を除去し、使用者及び／又は使用者に対する話者に雑音の少ない音声を出力する。
【００４９】
また、この補聴器１は、外部の通信ネットワークと接続された通信回路２７を備えている。この通信回路２７は、電話、携帯電話、インターネットや無線、衛星通信等の通信ネットワークを介して例えば音声言語障害を有する者から発せられた音声が入力される。この通信回路２７は、外部からの音声や音声を示すデータを信号処理部２２に入力する。また、この通信回路２７は、音声情報生成部２３で生成した音声情報を外部のネットワークに出力する。
【００５０】
また、この通信回路２７は、信号処理部２２、音声情報生成部２３を介して文字放送、文字ラジオを表示部２６で表示させても良い。このとき、通信回路２７は、文字放送等を受信するためのチューナ機能を備え、使用者の所望のデータを受信する。
【００５１】
このように構成された補聴器１は、例えば喉頭摘出後に電気式人工喉頭を使って発声された音声がマイクロホン２１に入力された場合であっても、信号処理部２２で音声認識し、記憶部２４に格納された喉頭摘出前にサンプリングした音声を示す音声データを用いて音声情報生成部２３で出力する音声を示す音声情報を生成するので、スピーカ部２５から喉頭摘出前の使用者の音声に近似した音声を出力することができる。
【００５２】
なお、上述した本発明を適用した補聴器１の説明においては、マイクロホン２１で検出される喉頭摘出した人の音声である一例について説明したが、聴力障害による言語障害の一つである構音障害（articulation disorders）を持つ者からの音声を検出したときであっても良い。このとき、補聴器１は、言語障害の音声を音声データとして記憶部２４に記憶しておき、当該発声者が発声したことに応じて記憶部２４に格納された発声者の音声を示す音声データを参照して信号処理部２２で音声認識処理を行い、音声情報生成部２３で認識結果に応じて音声データを組み合わせることで音声情報を生成する処理を行うことにより、スピーカ部２５から音声言語障害のない音声を出力するとともに、表示部２６により音声情報に基づいた音声内容を表示することができる。
【００５３】
したがってこの補聴器１によれば、例えば喉頭摘出者が代用発声法により発生した音声を表示部２６に表示することで不自然な音声を訂正させることができる。
【００５４】
更に、補聴器１は、例えば聴力障害による構音障害を持つ者は発声のためのフィードバックが得られず、「きょうは（今日は）」という音声が「きょんわあ」となってしまうのを上述した処理を行うことにより正常な「きょうは（今日は）」という音声に訂正してスピーカ部２５から出力することができる。
【００５５】
更に、この補聴器１は、表示部２６を備えているので、発声者の音声をスピーカ部２５から正常な音声にして出力するとともに、発声者の音声内容を表示することにより音声障害者や難聴者の言語訓練学習にとって好適なシステムを提供することができる。
【００５６】
つぎに、上述の音声情報生成部２３が信号処理部２２からの認識結果を加工、変換して音声情報を生成する処理、音声データを組み合わせる処理で適用することができる種々の例について述べる。なお、変換処理等の種々の例は、以下に述べる例に限定するものではない。
【００５７】
音声情報生成部２３は、信号処理部２２からの認識結果を変換するとき、人工知能技術を用いて認識結果を加工変換して音声情報を生成しても良い。音声情報生成部２３は、例えば音声対話システムを用いる。ここで、特に聴力の低下した老人は相手話者の言ったことを再度聞き直すことがあるが、このシステムを用いて認識結果を加工変換することにより、補聴器１と使用者とが対話して以前に記憶した相手話者の言ったことの情報を得て、使用者の音声認識を向上させることができ、聞き直す手間を省略することができる。
【００５８】
このようなシステムは、マルチモーダル対話システムである表情つき音声対話システムを用いることで実現可能である。このマルチモーダル対話システムでは、ポインティングデバイスとタブレットを利用する入力技術である直接操作・ペンジェスチャ技術、テキスト入力技術、音声認識等の音声入出力技術、人間の視覚、聴覚、触覚、力覚を利用した仮想現実感技術、ノンバーバルモダリティ技術の技術要素をモダリティとし組み合わせて用いる。このとき、音声情報生成部２３は、言語情報を補足する手段、対話の文脈情報（或いはその補足手段）、使用者の認知的負担或いは心理的抵抗感を軽減する手段として各モダリティを用いる。なお、ノンバーバルインターフェースとして身振り（gesture）インターフェースを用いてもよい。その場合ジェスチャーインターフェースの計測として装着型センサによる身振り計測には身振りトラッキングが必要であり手袋型デバイス、磁気や光学的位置計測を用い、身振りの非接触計測にはマーカを立体解析したりする映像や３Ｄ再構成によるものを用いてもよい。
【００５９】
なお、このマルチモーダル対話システムの詳細は文献「Nagao K and Takeuchi A,Speech dialogue with facial displays: Multimodal human-computer conversation.Proc.32nd Ann Meeting of the Association for Computational Linguistics,102-9,Morgan Kaufmann Publishers,1994及びTakeuchi A and Nagao K,Communicative facial displays as a new conversational modality.Proc ACM/IFIP Conf on Human Factors in Computing Systems（INTERCHI'93）,187-93, ACM Press,1993」に記載されている。
【００６０】
このような人工知能機能を用いた音声対話システムとしては、マイクホン２１で検出した音声を、信号処理部２２でＡ／Ｄ変換、音響分析、ベクトル量子化の後、音声認識モジュールによって、上位スコアをもつ単語レベルの最良仮説を生成するシステムが使用可能である。ここで、音声情報生成部２３は、隠れマルコフモデル（ＨＭＭ）に基づく音韻モデルを用いて、ベクトル量子コードから音素を推定し、単語列を生成する。音声情報生成部２３は、生成した単語列を、構文・意味解析モジュールにより意味表現に変換する。このとき、音声情報生成部２３は、単一化文法を用いて構文解析を行い、次にフレーム型知識ベースと事例ベース（例文を解析して得られた文パターン）を用いて曖昧さの解消を行う。発話の意味内容の決定後、プラン認識モジュールにより使用者の意図を認識する。これは対話の進行に従い動的に修正・拡張されていく使用者の信念モデルと対話のゴールに関するプランに基づいている。意図を認識する課程で、主題の管理や、代名詞の照応解消、省略の補完などを行う。そして使用者の意図に基づいて協調的な応答を生成するモジュールが起動する。このモジュールはあらかじめ用意されたテンプレートの発話パターンに領域知識により得られた応答に関する情報を埋め込むことにより発話を生成する。この応答は音声合成モジュールにより音声となる。なお、この信号処理部２２及び音声情報生成部２３が行う処理としては、例えば文献（Nagao N,A preferential constraint satisfaction technique for natural language analysis. Proc 10th European Conf on Artificial Intelligence ,523-7,John Wiley&Sons,1992）、（Tanaka H,Natural language processing and its applications,330-５,1999,電子情報通信学会編 コロナ社）、（Nagao K, Abduction and dynamic preference in plan-based dialogue understanding.Proc 13th Int joint Conf on Artificial Intelligence,1186-92,Morgan Kaufmann Publishers,1993）に記載された処理を行うことでも実現可能である。
【００６１】
また、音声情報生成部２３は、人工知能機能を用いて行う処理として、システムの擬人化を行い、音声認識、構文・意味解析、プラン認識より表情パラメータ調節、表情アニメーションを表示部２６を用いて行うことにより、視覚的手段を用いて音声対話に対して使用者の認知的負担、心理的抵抗感を軽減する。なお、この音声情報生成部２３が行う処理としては、FACS（Facial Action Coding System；Ekman P and Friesen WV, Facial Action Coding System.Consulting Psychologists Press Palo Alto,Calif,1978）に記載された処理を行うことができる。
【００６２】
更にまた、音声情報生成部２３は、音声対話コンピュータシステム（参照Nakano M et al,柔軟な話者交代を行う音声対話システムDUG-1,言語処理学会第５回年次大会論文集,161-4,1999）としては話し言葉を理解する逐次理解方式（Incremental Utterance Understanding：Nakano M, Understanding unsegmented user utterances in real-time spoken dialogue systems.Proc of the 37th Ann meeting of the association for computational linguistics,200-7）と内容の逐次変更が可能な逐次生成方式（Incremental Utterance Production：Dohsaka K and Shimazu A,A computational model of incremental utterance production in task-oriented dialogues. Proc of the 16th Int Conf on Computational Linguistics, 304-9, 1996. 及びDohsaka K and Shimazu A,System architecture for spoken utterance production in collaborative dialogue. Working Notes of IJCAI 1997 Workshop on Collaboration, Cooperation and Conflict in Dialogue Systems, 1997及び Dohsaka K et al,複数の対話ドメインにおける協調的対話原則の分析、電子情報通信学会技術研究報告NLC-97-58,25-32,1998）による音声と画像を用いる人工知能システムである。ここで、音声情報生成部２３は、理解と応答のプロセスが平行動作する。また、音声情報生成部２３は、ISTARプロトコール（参照Hirasawa J,Implementation of coordinative nodding behavior on spoken dialogue systems, ICSLP-98,2347-50,1998）を用いて音声認識と同時に単語候補を言語処理部に逐次的に送る。
【００６３】
すなわち、音声対話システムDUG-1で用いている技術を用いることにより、補聴器１では、例えば所定のデータ量（文節）ごとに使用者及び／又外部からの音声を音声認識するとともに、音声情報を生成する処理を行う。音声情報生成部２３では、使用者及び／又は外部からの音声に応じて、音声認識処理、音声情報認識処理を随時中止、開始することができ、効率的な処理を行うことができる。更に、この補聴器１では、使用者の音声に応じて、音声認識処理、音声情報生成処理を制御することができるので、柔軟に話者の交替を実現することができる。すなわち、音声情報を生成している最中に使用者及び／又は外部からの音声を検出することで処理を変更し、使用者に提示する音声情報の内容を変更等の処理を行うことができる。
【００６４】
更にまた、音声情報生成部２３は、キーワードスポティングを用いて使用者の自由な発話を理解する処理を行っても良い（Takabayashi Y,音声自由対話システム TOSBURG II −使用者中心のマルチモーダルインターフェースの実現に向けて−.信学論 vol J77-D-II No.8 1417-28,1994）。
【００６５】
この音声情報生成部２３は、例えばアクセント等の処理を行うように変換処理を行って音声情報を出力しても良い。このとき、音声情報生成部２３は、必要に応じて、特定の発音についてはアクセントの強弱を変化させるように音声情報を変換して出力するようにする。
【００６６】
音声情報生成部２３は、音声データを合成するとき、どのような内容の音声でも合成するときには規則による音声合成、滑らかな音声を合成するために可変長単位を用いた音声合成、自然な音声を合成するための韻律制御、また音声の個人性付与のために音質変換を行って音声情報を生成しても良い。これは、例えば書籍「"自動翻訳電話" ATR国際電気通信基礎技術研究所編 pp.177-209, 1994オーム社」に記載されている技術を適用することにより実現可能である。
【００６７】
また、ボコーダ（vocoder）処理を用いても高品質の音声を合成することが可能である。例えば音声分析変換合成法STRAIGHT（speech transformation and representation based on adaptive interpolation of weighted spectrogram）等を施すことで実現可能である（文献「Maeda N et al,Voice Conversion with STRAIGHT. TECHNICAL REPORT OF IEICE, EA98-9,31-6, 1998」参照）。
【００６８】
更に、この音声情報生成部２３は、文字情報から音声を作り出す音声合成（text to speech synthesis）技術を用いることにより話の内容に関する情報（音韻性情報）や音の高さや大きさに関する情報（韻律情報）を聴力障害者の難聴の特性に合わせてその人の最も聞き易い音の高さに調整することも可能であり、他に話速変換技術（voice speed converting）、周波数圧縮（frequency compress）処理などの音声特徴量の変換処理を行う。また出力する音声の帯域を調整する帯域拡張（frequency band expansion）処理や、音声強調（speech enhancement）処理等を音声情報に施す。帯域拡張処理、音声強調処理としては、例えば「Abe M, "Speech Modification Methods for Fundamental Frequency, Duration and Speaker Individuality," TECHNICAL REPORT OF IEICE, SP93-137,69-75, 1994」にて示されている技術を用いることで実現可能である。なお、上述したように、信号処理部２２及び音声情報生成部２３で音声認識処理をして認識結果を加工変換する場合のみならず、上記処理のみを行ってスピーカ部２５に出力しても良い。また、この補聴器１では、認識結果及び／又は上記処理のみを行った結果を同時に又は時間差を付けて出力しても良い。また、この補聴器１では、認識結果及び／又は上記処理のみを行った結果をスピーカ部２５又は表示部２６の右チャンネルと左チャンネルとで異なる内容を出力しても良い。
【００６９】
更にまた、上記音声情報生成部２３は、認識結果を用いて音声から言語を理解し、当該理解した言語を用いて音声データから音声情報を構成するという処理を行うのみならず、他の処理を認識結果に基づいて理解した言語を必要に応じて加工変換する処理を行っても良い。すなわち、この音声情報生成部２３は、音声情報を構成するとともに、音声情報としてスピーカ部２５に出力するときの速度を変化させる話速変換処理を行っても良い。すなわち、この話速変換処理は、使用者の状態に応じて適当な話速を選択することによりなされる。
【００７０】
更にまた、この音声情報生成部２３は、認識結果に応じて、例えば日本語の音声情報を英語の音声情報に変換して出力するような翻訳処理を行って出力しても良く、通信機能と合わせて自動翻訳電話にも応用可能である。更には音声情報生成部２３は自動要約（automatic abstracting）を行い、「United States of America」を「USA」と要約するように変換して音声情報を出力しても良い。
【００７１】
音声情報生成部２３が行う他の自動要約処理としては、例えば文章内から要約に役立ちそうな手がかり表現を拾い出し、それらをもとに読解可能な文表現を生成する生成派の処理（文献「McKeown K and Radev DR,Generating Summaries ofMultiple News Articles. In Proc of 18th Ann Int ACM SIGIR Conf on Res and Development in Information Retrieval,74-82, 1995 及び Hovy E,Automated Discourse Generation using Discourse Structure Relations, Artificial Intelligence, 63, 341-85, 1993」参照）、要約を「切り抜き」と考えて処理し客観的評価が可能となるように問題を設定しようという立場の抽出派の処理（文献「Kupiec J et al,A Trainable Document Summarizer, In Proc of 14th AnnInt ACM SIGIR Conf on Res and Development in Information Retrieval, 68-73, 1995」、及び「Miike S, et al, A Full-text Retrieval System with a Dynamic Abstruct Generation Function.Proc of 17th Ann Int ACM SIGIR Conference on Res and Development in Information Retrieval,152-9, 1994」及び「Edmundson HP,New Method in Automatic Extracting. J of the ACM, 16,264-85, 1969」参照）がある。更に、この音声情報生成部２３は、例えば文献「Nakazawa M, et al.Text summary generation system from spontaneous speech,日本音響学会講演論文集 1-6-1,1-2, 1998」に記載されている手法（Partial Matching MethodとIncremental Reference Interval-Free連続DPを用いて重要キーワードの抽出を行い、Incremental Path Methodを用いて単語認識を行う）を用いることが可能である。
【００７２】
更にまた、この音声情報生成部２３は、認識結果に応じて、特定の音素、母音、子音、アクセント等において、消去したり、音声を出力することに代えてブザー音、あくび音、せき音、単調な音等を音声情報とともに出力するように制御しても良い。このとき、音声情報生成部２３は、例えば文献「Warren RM andPerceptual Restoration of Missing Speech Sounds, Science vol.167 ,392-393, 1970」や文献「Warren RM,Obusek CJ, "Speech perception and phonemic restoration,” Perception and psychophysics vol.9 ,358-362, 1971」に記載されている手法を実現した処理を音声情報について行う。
【００７３】
更にまた、音声情報生成部２３は、認識結果を用いてホーン調となるように音質を変換させて音声情報を出力しても良い。上記ホーン調とは、集音管を使ったもので、約２０００Ｈｚ以下の帯域の音声を増幅させて、利得を約１５ｄＢ程度とすることである。すなわち、このホーン調とは、管共鳴を用いた重低音を再生する技術により出力される音質である。この音声情報生成部２３は、例えばUS PATENT 4628528により公知となされいているアコースティックウェーブ・ガイド（acoustic wave guide）技術を用いて出力される音質に近似した音に変換して音声情報を出力する。ここで、音声情報生成部２３は、例えば低音のみを通過させるフィルター処理を行って音声情報を出力する処理を行っても良く、例えばSUVAG（Systeme Universel Verbo-tonal d'Audition-Guberina）機器を用いることにより、所定の周波数帯域の音声のみを通過させる種々のフィルタ処理を行って音声情報を出力する処理を行っても良い。
【００７４】
更にまた、この音声情報生成部２３は、例えばマイクロホン２１に音楽が入力されたと判断したときには、音声情報を変換して表示部２６に音符や色を表示するように処理を行っても良い。また、この音声情報生成部２３は、音声のリズムなどが分かるために変換した音声のリズムを信号が点滅するように音声情報を変換して表示部２６に表示しても良い。
【００７５】
更にまた、この音声情報生成部２３は、例えば警報等の発信音がマイクロホン２１に入力されたと判断したときには、音声情報を変換することで表示部２６に警報等がマイクロホン２１で検出された旨の表示を行ったり、スピーカ部２５に警報の内容を知らせるような内容を出力しても良く、例えば救急車や非常ベルのサイレンを聞いたら表示するだけでなく大音量で「救急車ですよ」や「火事ですよ」とスピーカ部２５から出力するとともに、表示部２６に救急車や火事を示す画像を表示することで難聴者に非常事態を伝えることができ、最悪の事態を避けることができる。
【００７６】
更にまた、音声情報生成部２３は、過去に行った変換合成処理について記憶する機能を備えていても良い。これにより、音声情報生成部２３は、過去に行った変換合成処理の改良を自動的に行う学習処理を行うことができ、変換合成処理の処理効率を向上させることができる。
【００７７】
更にまた、この信号処理部２２及び音声情報生成部２３は、話し手の音声のみについての認識結果を生成して音声情報を生成し、スピーカ部２５及び/又はディスプレイ部７に提示することで使用者に知らせる一例のみならず、例えば特定の雑音に対してのみ音声認識を行っても良い。要するに、信号処理部２２及び音声情報生成部２３は、入力した音について音声認識処理を行って、認識結果を使用者の身体状態、利用状態及び使用目的に応じて変換することで使用者が理解し易い表現で音声情報を生成して出力する処理を行う。
【００７８】
更にまた、上述した本発明を適用した補聴器１の説明おいては、記憶部２４に予めサンプリングして格納した音声データを音声情報生成部２３により組み合わせることにより音声情報を生成して出力するものの一例について説明したが、上記音声情報生成部２３は、記憶部２４に記憶された音声データを組み合わせて音声情報を生成するときに格納された音声データに変換処理を施す音声データ変換部を備えていても良い。このような音声データ変換部を備えた補聴器１は、例えばスピーカ部２５から出力する音声の音質を変化させることができる。
【００７９】
更にまた、上述した本発明を適用した補聴器１の説明おいては、例えば喉頭摘出前の使用者の音声を予めサンプリングすることにより得た音声データを記憶部２４に格納するものの一例について説明したが、記憶部２４には、一つの音声データのみならず複数の音声データを予めサンプリングして格納しても良い。すなわち記憶部２４には、例えば喉頭摘出前に発せられた音声を予めサンプリングした音声データ、及び前記喉頭摘出前に発せられた音声に近似した音声データを格納しても良く、更には全く異なる音質の音声データを格納しても良く、更にまた、喉頭摘出前の音声データを生成し易い音声データを格納しても良い。このように複数の音声データが記憶部２４に格納されているとき、音声情報生成部２３は、各音声データの関係を例えば関係式等を用いて関連づけを行って選択的に音声データを用いて音声情報を生成しても良い。
【００８０】
また、上述の補聴器１は、サンプリングして記憶部２４に格納した音声データを合成することで音声情報を生成して出力する一例について説明したが、記憶部２４に記憶されている音声データを合成することで生成した音声情報に、音声情報生成部２３によりボコーダ処理を施すことにより、サンプリングして記憶されている音声データが示す音声とは異なる音質の音声に変換して出力しても良い。このとき、音声情報生成部２３は、ボコーダ処理を用いた例としてSTRAIGHTを施す。
【００８１】
更にまた、信号処理部２２は、話者認識（speaker recognition）処理を入力される音声について行って各話者に対応した認識結果を生成しても良い。そして、この信号処理部２２では、各話者に関する情報を認識結果とともにスピーカ部２５や表示部２６に出力することで使用者に提示しても良い。
【００８２】
補聴器１で話者認識を行うときには、ベクトル量子化（文献Soong FK and Rosenberg AE,On the use of instantaneous and transitional spectral information in speaker recognition.Proc of ICASSP’86,877-80,1986）によるものでも良い。このベクトル量子化を利用した話者認識では、準備段階の処理として登録話者用の学習用音声データからスペクトルの特徴を表すパラメータを抽出して、これらをクラスタリングすることによりコードブックを作成する。ベクトル量子化による方法は話者の特徴が作成された符号帳に反映されていると考える手法である。認識時には入力された音声と全ての登録話者のコードブックを用いてベクトル量子化を行い、入力音声全体に対して量子化ひずみ（スペクトルの誤差）を計算する。この結果を用いて話者の識別や照合の判定を行う。
【００８３】
また、補聴器１で話者認識を行うときには、ＨＭＭ (文献Zheng YC and Yuan BZ,Text-dependent speaker identification using circular hidden Markov models.Proc of ICASSP’88,580-2,1988）よる方法であっても良い。この方法では、準備段階の処理として登録話者の学習用音声データからＨＭＭを作成する。ＨＭＭを用いる方法では話者の特徴は状態間の遷移確率とシンボルの出力確率に反映されると考える。話者認識の段階では入力音声を用いて全ての登録話者のＨＭＭによる尤度を計算して判定を行う。ＨＭＭの構造としてleft~to~rightモデルに対してエルゴティックなHMMを用いてもよい。
【００８４】
更にまた、補聴器１では、ATR-MATRIX system（ＡＴＲ音声翻訳通信研究所製：参照 Takezawa T et al, ATR-MATRIX: A spontaneous speech translation system between English and Japanese. ATR J2,29-33,June1999）で用いられている音声認識（ATRSPREC）、音声合成（CHATR）、言語翻訳（TDMT）を行うことで、マイクロホン２１で入力した音声を翻訳して出力することができる。
【００８５】
上記音声認識（ATRSPREC）では、大語彙連続音声認識を行い、音声認識ツールを用いて音声認識に必要な音響モデルと言語モデルの構築、及び信号処理から探索までの工程を処理する。この音声認識では、行った処理をツール群として完結し、ツール同士の組み合わせることができる。また、この音声認識を行うとき、不特定話者の音声認識を行っても良い。
【００８６】
上記音声合成（CHATR）では、あらかじめデータベース化された多量の音声単位から、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成する。このため、滑らかな音声が出力することができる。この音声合成では、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成することができる。また、この音声合成を行うときには、音声情報生成部２３は、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行っても良い。
【００８７】
上記言語翻訳（TDMT）では、文の構造を判断する処理、対話用例を用いた対話特有のくだけた表現などの多様な表現を扱って言語翻訳を行う。また、この言語翻訳では、マイクロホン２１が一部聞き取れなかった部分があっても、翻訳できる部分はなるべく翻訳する部分翻訳処理を行い、一文全体を正確に翻訳できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。
【００８８】
また、上記音声認識、音声合成、言語翻訳を行うときには、通信回路２７を介して携帯電話等の通信機器と接続して双方向の対話可能である。
【００８９】
上記音声認識、音声合成、言語翻訳を行う補聴器１では、例えば日英双方向の音声翻訳システムの利用、ほぼリアルタイムの認識、翻訳、合成、話し始めの指示をシステムに与える必要がなく、全二重の対話が可能自然な発話に対する、質の高い認識、翻訳、合成「あのー」、「えーと」といった言葉や、多少くだけた表現があっても認識が可能 となる。
【００９０】
更にまた、音声情報生成部２３は、上記音声認識（ATRSPREC）において、信号処理部２２からの認識結果に基づいて文の構造を判断するだけでなく、対話用例を用いることにより、対話特有のくだけた表現などの多様な表現に対応した音声情報を生成する。また、音声情報生成部２３は、マイクロホン２１で会話中の一部が聞き取れなかった部分があっても、音声情報を生成することができる部分はなるべく音声情報を生成する。これにより、音声情報生成部２３は、一文全体の音声情報を正確に生成できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。このとき、音声情報生成部２３は、翻訳処理（部分翻訳機能）を行って音声情報を生成しても良い。
【００９１】
また、音声情報生成部２３は、上記音声合成（CHATR）において、予めデータベース化して記憶された多量の音声単位の音声データから、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成して音声情報を生成する。これにより、音声情報生成部２３は、滑らかな音声を出力するための音声情報を生成する。また、音声情報生成部２３は、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成処理を行っても良く、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行って音声情報を生成しても良い。
【００９２】
更にまた、音声情報生成部２３は、マイクロホン２１からの音声から、特定の音源の音のみを抽出してスピーカ部２５及び／又は表示部２６に出力しても良い。これにより、補聴器１は、複数の音源から到来する音の混合の中から、特定の音源の音のみを抽出して聞くことができるカクテルパーティ現象を人工的に作ることができる。
【００９３】
更にまた、音声情報生成部２３は、音韻的に近い例を用いて誤りを含んだ認識結果を訂正する手法を用いて聞き間違いを修正して音声情報を生成しても良い（文献Ishikawa K, Sumida E: A computer recovering its own misheard-Guessing the original sentence form a recognition result based on familiar expressions- ATR J 37,10-11,1999）。このとき、音声情報生成部２３は、使用者の身体状態、利用状態及び使用目的応じて処理を行って、使用者にとってわかりやすい形態に加工変換する。
【００９４】
なお、上述した補聴器１の説明においては、マイクロホン２１で検出した音声について音声認識処理、音声生成処理を行う一例について説明したが、使用者等により操作される操作入力部２８を備え当該操作入力部２８に入力されたデータを音声及び／又は画像とするように信号処理部２２により変換しても良い。また、この操作入力部２８は、例えば使用者の指に装着され、指の動きを検出することでデータを生成して信号処理部２２に出力するものであっても良い。
【００９５】
また、この補聴器１は、例えば使用者が液晶画面等をペンにより接触させることで文字及び/又は画像を描き、その軌跡を取り込むことによる画像に基づいて文字及び/又は画像データを生成する文字及び/又は画像データ生成機構を備えていても良い。補聴器１は、生成した文字及び/又は画像データを信号処理部２２及び音声情報生成部２３により認識・変換等の処理を行って出力する。
【００９６】
更に、上述の補聴器１は、マイクロホン２１等からの音声を用いて信号処理部２２により音声認識処理を行う一例に限らず、例えば使用者及び/又は使用者以外の人が装着する鼻音センサ、呼気流センサ、頸部振動センサからの検出信号及びマイクロホン２１等からの信号を用いて音声認識処理を行っても良い。このように、補聴器１は、マイクロホン２１のみならず上記各センサを用いることにより、信号処理部２２による認識率を更に向上させることができる。
【００９７】
更に、この補聴器１は、例えば自動焦点機能やズーム機能を搭載したデジタルカメラにより動画像や静止画像等を撮像するカメラ機構２９を図２に示すように備え、表示部２６に表示するものであっても良い。このカメラ機構２９は例えば図１のディスプレイ部７と一体に搭載されても良い。また、上記カメラ機構２９としては、デジタルカメラを用いても良い。
【００９８】
また、この補聴器１に備えられたカメラ機構２９は、撮像した画像を使用者の視力や乱視等の状態に合わせて歪ませたり拡大させたりする画像変換処理を施して表示部２６に表示する眼鏡機能を備えていても良い。
【００９９】
このような補聴器１は、例えばカメラ機構２９からＣＰＵ等からなる信号処理回路を経由して表示部２６に撮像した画像を表示する。この補聴器１は、このようなカメラ機構２９により例えば話者を撮像した画像を使用者に提示することで、使用者の認識を向上させる。また、この補聴器１は、撮像した画像を通信回路２７を介して外部のネットワークに出力しても良く、更には外部のネットワークからカメラ機構２９で撮像した画像を入力して通信回路２７及び信号処理回路等を介して表示部２６に表示しても良い。
【０１００】
更に、この補聴器１では、話者を撮像した画像を用いて信号処理部２２で顔面認識処理、物体認識処理を行って音声情報生成部２３を介して表示部２６に表示しても良い。これにより、補聴器１では、撮像対象者の***、顔の表情、全体の雰囲気等を使用者に提示して、使用者の音声認識を向上させる。
【０１０１】
撮像機能を用いた顔の認識において顔の個人性特徴を抽出して個人認識をおこなうものとして、以下の方法があるがこれらに限られるものではない。
【０１０２】
濃淡画像のマッチングにより識別するための特徴表現の一つとしてパターンをモザイク化し、各ブロック内の画素の平均濃度をブロックの代表値とすることで濃淡画像を低次元ベクトルに情報圧縮して表現する方法でＭ特徴といわれている方法である。また、ＫＩ特徴という濃淡顔画像の特徴表現で、Karhunen-Loeve（ＫＬ）展開を顔画像の標本集合に適応して求められる直交基底画像を固有顔とよび、任意の顔画像をこの固有顔を用いて展開した係数から構成される低次元の特徴ベクトルで記述する方法である。更に、顔画像集合のＫＬ展開による次元圧縮に基づくＫＩ特徴によるもの照合パターンをまずフーリエスペクトルに変換しＫＩ特徴の場合と同様に標本集合をＫＬ展開することで次元圧縮を行って得られる低次元の特徴スペクトルであるＫＦ特徴による識別を行う方法がある。以上の方法によるものが顔画像認識に用いることが可能であり、それらを用いて顔の認識を行うことは対話者が誰であるかという個人識別情報をコンピュータに与えることになり、使用者にとって対話者に対する情報が得られ、音声情報に対する認識が増す。なお、このような処理は、文献「小杉 信：“ニューラルネットを用いた顔画像の識別と特徴抽出”，情処学ＣＶ研報，73-2（1991-07）」、文献「Turk MA and Pentland AP,Face recognition using eigenface.Proc CVPR,586-91（1991-06）」、文献「Akamatsu S et al,Robust face intification by pattern matching Based on KL expansion of the Fourier Spectrum 信学論 vol J76-D-II No.7,1363-73,1993」、文献「Edwards GJ et al,Learning to identify and track faces in image seguences,Proc of FG '98,260-5,1998」に記載されている。
【０１０３】
この補聴器１では、物体認識を行うときには、物体を示すパターンをモザイク化しておき、実際に撮像した画像とマッチングを取ることにより物体の識別を行う。そして、この補聴器１では、マッチングがとれた物体の動きベクトルを検出することで、物体の追尾を行う。これにより、物体から発せられる音声から生成される音声情報に対する認識が増す。この物体認識処理は、ＳｏｎｙＣＳＬから提案されているUbiquitous Talker（文献Nagao K and Rekimoto J,Ubiquitous Talker:Spoken language interaction with real world objects. Proc 14th IJCAI-95,1284-90,Morgan Kaufmann Publishers,1995）で用いられてる技術を採用することができる。
【０１０４】
更に、この補聴器１は、静止画撮像用デジタルカメラのようにシャッターを押すことで静止画を撮像しても良い。更に、カメラ機構２９は、動画像を生成して信号処理部２２に出力しても良い。このカメラ機構２９により動画像を撮像するときの信号方式としては、例えばＭＰＥＧ（Moving Picture Experts Group）方式などを用いる。更にまた、この補聴器１に備えられるカメラ機構２９は、３次元画像を撮像することで、話者や話者の***を撮像して表示部２６に表示させることで更に使用者の認識を向上させることができる。
【０１０５】
このような補聴器１は、使用者自身の発した音声や相手の発した音声等及び／又はその場の情景を撮像した画像を記録し再生することで、言語学習における復習することができ言語学習に役立てることができる。
【０１０６】
また、この補聴器１によれば、画像を拡大処理等して表示部２６に表示することで相手を確認し全体の雰囲気をつかめ音声聴取の正確さが向上し、更に読唇（lip reading）を行うことが可能となり認識を上昇させる。
【０１０７】
更にまた、この補聴器１は、例えばスイッチ機構が設けられており、マイクロホン２１で検出した音声をスピーカ部２５により出力するか、カメラ機構２９により撮像した画等像を表示部２６により出力するか、又は音声及び画像の双方を出力するかを使用者により制御可能としても良い。このときスイッチ機構は、使用者に操作されることで、音声情報生成部２３から出力を制御する。
【０１０８】
また例として、スイッチ機構は、使用者及び／又は使用者以外の音声を検出して、例えば「音声」という音声を検出したときにはマイクロホン２１で検出した音声をスピーカ部２５により出力するように切り換え、例えば「画像」という音声を検出したときにはカメラ機構２９により撮像した画等像を表示部２６により出力するように切り換え、「音声、画像」という音声を検出したときには音声及び画像の双方を出力するするように切り換えても良く、以上のような音声認識を用いたスイッチ制御機構を備えていても良い。また、ジェスチャーインターフェースを用いることで、ジェスチャー認識によるスイッチ制御システムとしても良い。
【０１０９】
更にまた、このスイッチ機構は、カメラ機構２９のズーム状態等のパラメータを切り換えることでカメラ機構２９で画像を撮像するときの状態を切り換える機能を備えていても良い。
【０１１０】
つぎに、この補聴器１において、音声情報生成部２３により作成した音声情報を出力する機構の種々の例について説明する。なお、本発明は、以下に説明する出力する機構に限られることはないことは勿論である。
【０１１１】
すなわち、この補聴器１において、音声情報を出力する機構としてはスピーカ部２５や表示部２６に限らず、例えば骨導や皮膚刺激を利用したものであっても良い。この音声情報を出力する機構は、例えば小さな磁石を鼓膜等に装着し、磁石を振動させるものや、骨を通して信号を蝸牛に伝達するものであっても良い。
【０１１２】
このような補聴器１は、例えば圧挺板を備え、音声情報生成部２３により変換することにより得た信号を前記圧挺板に出力するようにしたものや、皮膚刺激を用いたタクタイルエイド（Tactile Aid）等の触覚による補償技術を利用したものであっても良く、これらの骨振動や皮膚刺激等を用いた技術を利用することで、音声情報生成部２３からの信号を使用者に伝達することができる。皮膚刺激を利用した補聴器１においては、音声情報生成部２３からの音声情報が入力されるタクタイルエイド用振動子アレイが備えられており、タクタイルエイドと当該振動子アレイを介してスピーカ部２５から出力する音声を出力しても良い。
【０１１３】
また、上述した補聴器１の説明においては、音声情報を音声として出力するときの処理の一例について説明したが、これに限らず、例えば人工中耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器１は、音声情報を電気信号としてコイル、振動子を介して使用者に提示しても良い。
【０１１４】
更には、この補聴器１は、人工内耳機構を備え、人工内耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器１は、例えば埋め込み電極、スピーチプロセッサ等からなる人工内耳システムに音声情報を電気信号として供給して使用者に提示しても良い。
【０１１５】
更には、この補聴器１は、脳幹インプラント（Auditory Brainstem Implant）機構を備え、聴性脳幹インプラントにより使用者に音声情報を提示するものであっても良い。すなわち、この補聴器１は、例えば埋め込み電極、スピーチプロセッサ等からなる脳幹インプラントシステムに音声情報を電気信号として供給して使用者に提示しても良い。
【０１１６】
更にまた、この補聴器１は、使用者の身体状態、利用状態及び使用目的に応じて、例えば超音波帯域の音声が認識可能な難聴者に対しては認識結果及び加工変換した認識結果を音声情報として超音波帯域の音声に変調・加工変換して出力しても良い。更にまた、この補聴器１は、超音波出力機構（bone conduction ultrasound）を用いて超音波周波数帯域の信号を生成し、超音波振動子等を介して使用者に出力しても良い。
【０１１７】
更にまた、この補聴器１は、ヘッドホンの接触子を耳珠に当て、骨伝導をおこしさらに耳珠、外耳道内壁の振動が気導音となるシステムである骨伝導ユニットを備え、当該骨伝導ユニットを使用して音声情報を使用者に提示しても良い。この骨導ユニットとしては、聴覚障害者用ヘッドホンシステムであるライブホン（日本電信電話株式会社製）が使用可能である。
【０１１８】
更にまた、この補聴器１は、スピーカ部２５、表示部２６等の複数の出力手段を備える一例について説明したが、これらの出力手段を組み合わせて用いても良く、更には各出力手段を単独で出力しても良い。また、この補聴器１では、マイクロホン２１に入力した音声の音圧レベルを変化させる従来の補聴器の機能を用いて音声を出力するとともに、上述した他の出力手段で認識結果を提示しても良い。
【０１１９】
更にまた、この補聴器１は、スピーカ部２５及び／又は表示部２６から出力する出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部部２３で制御するスイッチ機構を備えていても良く、複数回に亘って出力結果を出力するか一回に限って出力結果を出力するかを制御するスイッチ機構を備えていても良い。
【０１２０】
また、この補聴器１の説明においては、図２に示したような一例について説明したが、入力された音声について上述した種々の加工変換処理を行って表示部２６に表示させる第１の処理を行うＣＰＵと、入力された音声について上述した種々の加工変換処理を行ってスピーカ部２５に出力結果を出力するための第２の処理を行うＣＰＵと、カメラ機構２９で撮像した画像を表示するための第３の処理を行うＣＰＵとを備えたものであっても良い。
【０１２１】
このような補聴器１は、各処理を行うＣＰＵを独立に動作させて第１の処理又は第２の処理を行わせて出力させても良く、更には各処理を行うＣＰＵを同時に動作させて第１の処理、第２の処理、及び第３の処理を行わせて出力させても良く、更には、第１及び第２の処理、第１及び第３の処理又は第２及び第３の処理を行うＣＰＵを同時に動作させて出力させても良い。
【０１２２】
更にまた、補聴器１は、使用者の身体状態、利用状態及び使用目的に応じて上述した種々の出力機構からの出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部２３で制御しても良い。
【０１２３】
更に、この補聴器１は、複数のＣＰＵを有し、上述した複数のＣＰＵで行う第１〜第３処理のうち、少なくとも１の処理をひとつのＣＰＵで行うとともに、残りの処理を他のＣＰＵで行っても良い。
【０１２４】
例えば、この補聴器１において、ひとつのＣＰＵが入力された音声を文字データとして加工変換を行って表示部２６に出力する処理（text to speech synthesis）を行うとともに、又はひとつのＣＰＵが入力された音声に対して文字データとして加工変換を行って他のＣＰＵが入力された同じ音声に対してSTRAIGHT処理を行ったりしてスピーカ部２５に出力する処理を行い、他のＣＰＵが入力された音声に対してボコーダ処理のうち、例えば音声分析合成法STRAIGHTを用いた処理を行ってスピーカ部２５に出力する処理を行っても良い。すなわちこの補聴器１は、スピーカ部２５に出力する信号と、表示部２６に出力信号とで異なる処理を異なるＣＰＵにより行うものであっても良い。
【０１２５】
更に、この補聴器１においては、上述した種々の加工変換処理を行って上述の種々の出力機構に出力する処理を行うＣＰＵを有するとともに、加工変換処理を施さないでマイクロホン２１に入力された音声を出力しても良い。
【０１２６】
更に、この補聴器１においては、上述した種々の加工変換処理の一を行うためのＣＰＵと、他の加工変換処理を行うＣＰＵとを別個に備えていても良い。
【０１２７】
更に、この補聴器１においては、上述のように認識結果や加工変換した認識結果や撮像した画像等について音声情報生成部２３で変換する処理を行うとともに、従来と同様に音声を検出して得た電気信号を増幅させて音質調整、利得調整や圧縮調整等を行いスピーカ部２５に出力するものであっても良い。
【０１２８】
なお、この補聴器１において、信号処理部２２及び音声情報生成部２３で行う処理を、例えばフーリエ変換、ボコーダ処理（STRAIGHT等）の処理を組み合わせて適用することで、上述した処理を行っても良い。
【０１２９】
また、本発明を適用した補聴器１では、個人的に使用する小型のタイプの補聴器について説明したが、集団で用いる大型のもの（卓上訓練用補聴器や集団訓練用補聴器）にも用いてもよい。
【０１３０】
視覚ディスプレイとしてＨＭＤ、Head-coupled display（頭部結合型表示装置）があげられる。以下に例を示す。双眼式ＨＭＤ（左右眼毎に視差画像を提示し立体視を可能とするものや左右眼双方に同じ画像を提示し見かけ上の大画面を与えるもの）、単眼式、シースルー型ＨＭＤ、視覚補助や視覚強調機能のついたディスプレイ、眼鏡型の双眼望遠鏡に自動焦点機能付でVisual filterを用いたもの、接眼部にコンタクトレンズを使用するシステム、網膜投影型（Virtual Retinal Display、Retinal projection display、網膜投影型の中間型）、視線入力機能付きＨＭＤ（製品名HAQ-200（島津製作所））や頭部以外（首、肩、顔面、眼、腕、手など）にマウントするディスプレイ、立体ディスプレイ（投影式オブジェクト指向型ディスプレイ（例 head-mounted projector：Iinami M et al., Head-mounted projector（II）-implementation Proc 4th Ann Conf Of Virtual Reality Society of Japan 59-62,1999）、リンク式の立体ディスプレイ、大画面のディスプレイ（spatial immnersive display）（例omnimax、 CAVE（Cruz-Neira C et al. Surrounded-screen projection-based virtual reality: The design and implementation of the CAVE, Proc of SIGGRAPH'93,135-42,1993参照）、ＣＡＶＥ型立体映像表示装置であるＣＡＢＩＮ（Hirose M et al. 電子情報通信学会論文誌Vol J81-D-II No.5.888-96,1998）、ＣＡＶＥ等の投影ディスプレイとＨＭＤの両方の特徴をもつ小型超広視野ディスプレイ（Endo T et al. Ultra wide field of view compact display. Proc 4th Ann Conf of Virtual Reality Society of Japan,55-58,1999）、アーチスクリーン）が使用可能である。
【０１３１】
特に大画面のディスプレイのものは大型補聴器として用いるときに使用してもよい。また、上述した補聴器１では、音の再現方法としてバイノーラル方式（３次元音響システムはHead-Related Transfer Functionを用いた空間音源定位システムを用いる：例 Convolvotron & Acoustetron II（Crystal River Engineering）,ダイナミック型ドライバユニットとエレクトレットマイクロフォンを使用した補聴器TE-H50（Sony））を使用してもよく、実際と近い音場をつくったり、トランスオーラル方式（トラッキング機能付きのトランスオーラル方式が３次元映像再現におけるＣＡＶＥに対応する）を用いたりするものは主に大型の補聴器システムの場合に用いるのが好ましい。
【０１３２】
更にまた、上述のＨＭＤ２は、頭頂部に３次元位置検出センサーを備えていても良い。このようなＨＭＤ２を備えた補聴器１では、使用者の頭の動きに合わせてディスプレイ表示を変化させることが可能となる。
【０１３３】
強調現実感（Augmented reality（ＡＲ））を利用した補聴器１では、使用者の動作に関するセンサを備え、センサで検出した情報、マイクロホン２１で検出し音声情報生成部２３で生成した音声情報とを用いることで、ＡＲ空間を生成する。音声情報生成部２３は、種々のセンサシステムとＶＲ形成システムを統合するシステムとディスプレイシステムによりなるバーチャルリアリティ（Virtual realtiy（ＶＲ））システムとを協調的に用いることにより、実空間にＶＲ空間を適切に重畳することで、現実感を強調するＡＲの空間をつくることが可能となる。これにより補聴器１では視覚ディスプレイを用いるときに、顔面部にある画像からの情報を、情報が来るたびに大幅に視線をはずすことなく、ただ画像が目の前にあるだけでなく、画像情報が、いかにもそこにあるように自然に受けいれるようになり自然な状態で視覚からの情報を受け取ることが可能となる。以上を実行するには以下のシステムがある。
【０１３４】
このような補聴器１は、図３に示すように、ＡＲ空間を形成するためには、仮想環境映像生成のための３Ｄグラフィックアクセラレータを音声情報生成部２３の内部に搭載することでコンピュータグラフィックスの立体視が可能な構成とし、更に無線通信システムを搭載する。この補聴器１に使用者の位置と姿勢の情報を取得するため、センサ３１として頭部に小型ジャイロセンサ（例 データテックGU-3011）を、使用者の腰に加速度センサ（例 データテックGU-3012）を接続する。以上のセンサ３１からの情報を音声情報生成部２３で処理を行った後、使用者の右目、左目に対応するスキャンコンバータ３２ａ、３２ｂで処理をして表示部２６に映像が行くというシステム（Ban Y et al, Manual-less operation with wearable augmented reality system.Proc 3th Ann Conf of Virtual Reality society of Japan,313-4,1998参照）を用いることで可能となる。
【０１３５】
また、この補聴器１では、センサ３１に加えて状況認識システム（例Ubiquitous Talker（Sony CSL））とＶＲシステムを形成する他のシステムである以下の種々のセンサシステムとＶＲ形成システムを統合するシステムとディスプレイシステム、及び、この補聴器１とを協調的に用いることにより、ＡＲ空間を強化することも可能であり、マルチモダリティを用いて音声情報を補足可能となる。
【０１３６】
このようなＶＲ等の空間を形成するには、先ず、使用者がセンサ３１に本人から情報を送り、その情報がＶＲ形成システムを統合するシステムに送られ、ディスプレイシステムから使用者に情報が送られることで実現する。
【０１３７】
上記センサ３１（情報入力システム）として以下のデバイスがある。
【０１３８】
特に人体の動きの取り込みや、空間に作用するデバイスとして光学式３次元位置センサ（ExpertVision HiRES ＆ Face Tracker（MotionAnalysis））、磁気式３次元位置センサ（InsideTrack（Polhemus）,3SPACE system（POLHEMUS）, Bird（Ascension Tech.））、機械式３Ｄディジタイザ（MicroScribe 3D Extra（Immersion））、磁気式３Ｄディジタイザ（Model 350 （Polhemus））、音波式３Ｄディジタイザ（Sonic Digitizer（Science Accessories））、光学式３Ｄスキャナー（3D Laser Scanner（アステックス））、生体センサ（体内の電気で測る）サイバーフィンガー（ＮＴＴヒューマンインタフェース研究所）、手袋型デバイス（DetaGlove（VPL Res），Super Glove（日商エレクトロニクス）Cyber Glove（Virtual Tech））、フォースフィードバック（Haptic Master（日商エレクトロニクス）、PHANToM（SensAble Devices））、３Ｄマウス（Space Controller（Logitech））、視線センサ（眼球運動分析装置（ATR視聴覚機構研究所製））、体全体の動きの計測に関するシステム（DateSuit（VPL Res））、モーションキャプチャーシステム（HiRES（Motion Analysis））、加速度センサ（三次元半導体加速度センサ（NEC製））、視線入力機能付きＨＭＤがある。
【０１３９】
また、ＡＲを実現するためには、表示部２６のみならず、触覚を利用した触覚ディスプレイ、触圧ディスプレイ、力覚ディスプレイがある。触覚ディスプレイにより音声を触覚により伝え、聴覚だけでなく触覚をも加えることで音声の認識をあげことが可能となる。この触覚ディスプレイとしては、例えば振動子アレイ（オプタコンや触覚マウス、タクチュアルボコーダ等）、触知ピンアレイ（ペーパーレスブレイル等）などが使用可能である。他にwater jet、air jet.PHANToM（SensAble Devices）、Haptic Master（日商エレクトロニクス）などがある。具体的には、補聴器１は、ＶＲな空間でＶＲキーボードを表示し、信号処理部２２及び音声情報生成部２３での処理をＶＲキーボードまたはＶＲスイッチにより制御する。これにより、わざわざキーボードを用意したり、スイッチまで手を伸ばしたりすることが無くなり、使用者の操作を楽にし、耳に装着するのみの補聴器と近い装用感を得ることができる。
【０１４０】
前庭感覚ディスプレイとしては、ウオッシュアウトとウオッシュバックにより狭い動作範囲の装置でも多様な加速度表現ができるシステム（モーションベット）が使用可能である。
【０１４１】
ＶＲシステムを統合するシステムとしては、以下のものがあり、それら限定されることはないが、Ｃ、Ｃ＋＋のライブラリとして供給され、表示とそのデータベース、デバイス入力、干渉計算、イベント管理などをサポートし、アプリケーションの部分は使用者がライブラリを使用してプログラミングするものや、ユーザプログラミングを必要とせずデータベースやイベント設定をアプリケーションツールで行い、そのままＶＲシュミレーションを実行するシステムなどを使用してもよい。またこの補聴器１に関する個々のシステム間を通信にてつなげてもよい。また、状況を高い臨場感を保って伝送するのに広帯域の通信路を使用しても良い。また、補聴器１では、３Ｄコンピュータグラフィックスの分野で用いられている以下の技術を用いてもよい。現実に起こり得ることを忠実に画像として提示し、非現実的な空間を作り、実際には不可能なことも画像として提示することがコンセプトとなる。３Ｄコンピュータグラフィックスでは、以下のモデリング技術、レンダリング技術、アニメーション技術により可能となる。複雑で精密なモデルを作るモデリング技術としては、ワイヤーフレームモデリング、サーフェスモデリング、ソリッドモデリング、べジエ曲線、Ｂ−スプライン曲線、ＮＵＲＢＳ曲線、ブール演算（ブーリアン演算）、自由形状変形、自由形状モデリング、パーティクル、スイープ、フィレット、ロフティング、メタボール等がある。また、質感や陰影をつけリアルな物体を追求するためにレンダリング技術としては、シェーディング、テクスチュアマッピング、レンダリングアルゴリズム、モーションブラー、アンチエリアシング、デプスキューイングがある。また、作成したモデルを動かし、現実の世界をシミュレーションするためのアニメーション技術としては、キーフレーム法、インバースキネマティクス、モーフィング、シュリンクラップアニメーション、αチャンネルがある。また、サウンドレンダリングとして「文献Takala T,Computer Graphics （Proc SIGGRAPH 1992）Vol26,No2,211-20」に記載されている技術を用いても良い。
【０１４２】
このようなＶＲシステムを統合するシステムとしては、例えばDivision Incのシステム（VRランタイムソフトウェア[dVS]、ＶＲ空間構築ソフトウェア[dVISE]、ＶＲ開発用ライブラリ[VC Toolkit]、SENSE８社のWorldToolKitと、WorldUp、Superscape社のＶＲＴ、ソリッドレイ社のRealMaster、モデルなしのＶＲの生成として、文献「Hirose M et al. A study of image editing technology for synthetic sensation. Proc ICAT'94,63-70,1994」に記載されている方法等を使用しても良い。
【０１４３】
また、本実施の形態では、ＨＭＤ２と、コンピュータ部３との間を光ファイバーケーブル４で接続してなる携帯型の補聴器１について説明したが、ＨＭＤ２とコンピュータ部３との間をワイヤレスとし、ＨＭＤ２とコンピュータ部３との間を無線や赤外線を用いた信号伝送方式等により情報の送受信を行っても良い。更に、この補聴器１においては、ＨＭＤ２とコンピュータ部３との間をワイヤレスとする場合のみならず、図２に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良く、少なくともコンピュータ部３を使用者に装着させずにＨＭＤ２と情報の送受信を行っても良い。更にまた、この補聴器１においては、使用者の身体状態、利用状態、使用目的に応じて、図２に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良い。これにより、補聴器１は、使用者が装着する装置の重量、体積を軽減し、使用者の身体の自由度を向上させ、使用者の認識を更に向上させることができる。
【０１４４】
また、補聴器１では、通信回路２７を介して信号処理部２２及び音声情報生成部２３で行う処理の制御及びバージョンアップ、修理等をしても良い。これにより、補聴器１では、通信回路２７を通じて視覚ディスプレイ、聴覚ディスプレイ等を通じて修理、制御、調整等を受けることができる。
【０１４５】
また、本発明を適用した補聴器１によれば、合成した音声を表示することで使用者に提示することができるので、例えば事務（ウェアブルコンピュータとして）、通信（自動翻訳電話への応用など）、産業医学領域（メンタルヘルスなど）、医療現場（聴力検査への利用）、外国語学習、言語訓練、娯楽（テレビゲーム）、個人用のホームシアター、コンサートや試合等の観戦、番組製作（アニメーション、実写映像、ニュース、音楽制作）、水中（ダイビングでの水中における会話など）、諜報活動や軍事、騒音下などの悪条件での作業業務（建築現場工場など）、スポーツ（自動車やヨット等のレースや、山や海等の冒険時、選手の試合時や練習時での選手同士や選手とコーチ間の意志疎通や情報変換）、や宇宙空間での作業、運輸（宇宙船や飛行機のパイロット）、カーナビゲーションシステム、ＶＲとＡＲとを用いた種々のシミュレーション作業（遠隔手術（マイクロサージュリー）など）等、教育、トレーニング、内科治療、傷病治療、政治、旅行、買い物、マーケティング、広告、宗教、デザインの分野、アミューズメントパーク等におけるFish-tank VR display、裸眼立体視システム、テレイグジスタンス視覚システムなどを用いたＶＲやＡＲや、テレエグシスタンスやアールキューブを利用したもの、電話やインターネットでの応対業務にも適用可能であり、音声言語障害者のみならず、重病患者、重度身体障害者のコミュニケーション、介護学校等の広い分野で使用可能である。
【０１４６】
【発明の効果】
以上詳細に説明したように、本発明に係る補聴器は、音声言語障害者を検出して得た認識結果に基づいて予め記憶した音声データを組み合わせて音声情報を音声に変換して外部に出力するとともに、外部からの音声を使用者に出力することができるので、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力することで使用者の聴覚を補うことができる。
【０１４７】
本発明に係る補聴器は、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように加工変換する変換手段を備えているので、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる。
【図面の簡単な説明】
【図１】本発明を適用した補聴器の外観の一例を示すブロック図である。
【図２】本発明を適用した補聴器の構成を示すブロック図である。
【図３】本発明を適用した補聴器でＡＲ空間を作るための構成について示すブロック図である。
【符号の説明】
１ 音声生成装置、２ ヘッドマウントディスプレイ、３ コンピュータ部、７ ディスプレイ部、８ 使用者用マイクロホン、１１ 外部用マイクロホン、２１ マイクロホン、２３ 音声情報生成部、２４ 記憶部、２５ スピーカ部、２６ 表示部
Claims (10)
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力制御手段は、上記認識手段からの認識結果に基づいて、上記認識手段による認識結果及び／又は認識結果を上記変換手段により加工変換した認識結果を、再度上記出力手段から出力するように制御することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は人工内耳機構からなり、上記出力制御手段は、上記認識結果及び／又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は圧挺板からなり、上記出力制御手段は、上記圧挺板に上記認識結果及び／又は上記変換された認識結果を振動として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は人工中耳機構からなり、上記出力制御手段は、上記認識結果及び／又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、超音波出力機構からなり、上記出力制御手段は、上記超音波出力機構に上記認識結果及び／又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、タクタイルエイド用振動子アレイからなり、上記出力制御手段は、上記振動子アレイに上記認識結果及び／又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、聴性脳幹インプラント機構からなり、上記出力制御手段は、上記聴性脳幹インプラント機構に上記認識結果及び／又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記音響電気変換手段、認識手段、変換手段、出力制御手段及び出力手段を複数の装置にて実現し、該複数の装置間を無線通信網にて接続し、少なくとも音声情報の送受信を行うことを特徴とする補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記音響電気変換手段は外部から検出された音声から生成した電気信号を用いて上記音声信号を生成するものである補聴器。
- 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び／又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段と、表示部と、上記認識手段による認識結果及び／又は上記変換手段により変換された認識結果である音声情報を上記表示部へ出力する手段とを備える補聴器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33845899A JP3670180B2 (ja) | 1999-02-16 | 1999-11-29 | 補聴器 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3755999 | 1999-02-16 | ||
| JP11-37559 | 1999-02-16 | ||
| JP33845899A JP3670180B2 (ja) | 1999-02-16 | 1999-11-29 | 補聴器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308198A JP2000308198A (ja) | 2000-11-02 |
| JP3670180B2 true JP3670180B2 (ja) | 2005-07-13 |
Family
ID=26376682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33845899A Expired - Lifetime JP3670180B2 (ja) | 1999-02-16 | 1999-11-29 | 補聴器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3670180B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004023638A1 (ja) * | 2002-08-30 | 2004-03-18 | Shinko Mechatronics Corporation | 超磁歪デバイスおよびそれを用いた応用機器 |
| JP3973530B2 (ja) | 2002-10-10 | 2007-09-12 | 裕 力丸 | 補聴器、訓練装置、ゲーム装置、および音出力装置 |
| WO2005009073A1 (ja) * | 2003-07-18 | 2005-01-27 | Hiroshi Hosoi | 音声入力装置 |
| US7257372B2 (en) * | 2003-09-30 | 2007-08-14 | Sony Ericsson Mobile Communications Ab | Bluetooth enabled hearing aid |
| JP2005117484A (ja) * | 2003-10-09 | 2005-04-28 | Katsuro Aoki | 人工喉頭使用者用拡声装置 |
| JP4705349B2 (ja) * | 2004-08-20 | 2011-06-22 | 株式会社タムラ製作所 | ワイヤレスマイクシステム、音声伝送再生方法、ワイヤレスマイク送信機、音声送信方法及びプログラム |
| JP4541111B2 (ja) * | 2004-11-17 | 2010-09-08 | Ｎｅｃトーキン株式会社 | 骨伝導スピーカの使用方法及び骨伝導受話装置の使用方法 |
| JP2008304649A (ja) * | 2007-06-06 | 2008-12-18 | Toshiba Corp | 可視光通信装置及び水中用可視光通信システム |
| JP2010224392A (ja) * | 2009-03-25 | 2010-10-07 | Oki Electric Ind Co Ltd | 発話補助装置、方法及びプログラム |
| CN102959618B (zh) * | 2010-06-28 | 2015-08-05 | 三菱电机株式会社 | 声音识别装置 |
| JP2013127536A (ja) * | 2011-12-19 | 2013-06-27 | Sharp Corp | 音声出力装置、当該音声出力装置を備える通信端末、当該音声出力装置を備える補聴器、音声出力装置を制御するためのプログラム、音声出力装置の使用者に応じた音声を提供するための方法、および、音声出力装置の変換データを更新するためのシステム |
| CN102915753B (zh) * | 2012-10-23 | 2015-09-30 | 华为终端有限公司 | 一种电子设备的智能控制音量的方法及实现装置 |
| US20140270291A1 (en) * | 2013-03-15 | 2014-09-18 | Mark C. Flynn | Fitting a Bilateral Hearing Prosthesis System |
| WO2015046034A1 (ja) * | 2013-09-30 | 2015-04-02 | 株式会社Ｊｖｃケンウッド | 声量報知装置、データ送信機、データ受信機及び声量報知システム |
| JP6290827B2 (ja) * | 2015-06-05 | 2018-03-07 | リウ チン フォンＣｈｉｎｇ−Ｆｅｎｇ ＬＩＵ | オーディオ信号を処理する方法及び補聴器システム |
| JP6599828B2 (ja) * | 2016-08-29 | 2019-10-30 | 株式会社テクノリンク | 音処理方法、音処理装置、及びプログラム |
| JP6858381B2 (ja) * | 2017-11-30 | 2021-04-14 | 国立研究開発法人産業技術総合研究所 | コンテンツ作成方法 |
| US11687759B2 (en) * | 2018-05-01 | 2023-06-27 | Semiconductor Components Industries, Llc | Neural network accelerator |
| JP6598323B1 (ja) * | 2018-06-01 | 2019-10-30 | 学校法人北里研究所 | 補聴器及びプログラム |
| JP6730651B1 (ja) * | 2019-03-01 | 2020-07-29 | 富士通クライアントコンピューティング株式会社 | 音声変換装置、音声変換システム及びプログラム |
| EP3944235A4 (en) * | 2019-03-18 | 2022-03-23 | Fujitsu Limited | SPEAKER RECOGNITION PROGRAM, SPEAKER RECOGNITION METHOD AND SPEAKER RECOGNITION DEVICE |
| JP2021026098A (ja) * | 2019-08-02 | 2021-02-22 | 株式会社三菱ケミカルホールディングス | コミュニケーション支援装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5155604A (en) * | 1974-11-11 | 1976-05-15 | Fujitsu Ltd | Gengopponyakusochi |
| JPS60143100A (ja) * | 1983-12-29 | 1985-07-29 | Matsushita Electric Ind Co Ltd | 補聴器 |
| DE3431584A1 (de) * | 1984-08-28 | 1986-03-13 | Siemens AG, 1000 Berlin und 8000 München | Hoerhilfegeraet |
| JPS61114472U (ja) * | 1984-12-28 | 1986-07-19 | ||
| JPS62224349A (ja) * | 1986-03-27 | 1987-10-02 | 三輪 敬之 | 人工中耳 |
| JPS62231981A (ja) * | 1986-04-01 | 1987-10-12 | 株式会社ジャパンアート | 聴力障害者の為の画像表現方法 |
| JPS63249560A (ja) * | 1987-04-02 | 1988-10-17 | 日本電気エンジニアリング株式会社 | ろうあ者向眼鏡組込型音声検知装置 |
| JP2740866B2 (ja) * | 1988-10-04 | 1998-04-15 | セイコーエプソン株式会社 | 電子機器 |
| JPH0335296A (ja) * | 1989-06-30 | 1991-02-15 | Sharp Corp | テキスト音声合成装置 |
| JPH0753168B2 (ja) * | 1990-01-11 | 1995-06-07 | リオン株式会社 | 植込み型聴取装置 |
| JPH04156033A (ja) * | 1990-10-19 | 1992-05-28 | Nippon Telegr & Teleph Corp <Ntt> | 電話回線接続機能付き難聴者無線会話装置 |
| JPH04249990A (ja) * | 1991-01-05 | 1992-09-04 | Toshiba Corp | 画像信号処理装置 |
| JP3308567B2 (ja) * | 1991-08-23 | 2002-07-29 | 株式会社日立製作所 | ディジタル音声処理装置及びディジタル音声処理方法 |
| JPH05289608A (ja) * | 1992-04-10 | 1993-11-05 | Sanyo Electric Works Ltd | ろうあ者用会話補助装置及び翻訳用会話補助装置 |
| JP3068370B2 (ja) * | 1993-06-21 | 2000-07-24 | 株式会社東芝 | 携帯用音声認識出力補助装置 |
| JPH0784592A (ja) * | 1993-09-14 | 1995-03-31 | Fujitsu Ltd | 音声認識装置 |
| JP3455921B2 (ja) * | 1993-12-24 | 2003-10-14 | 日本電信電話株式会社 | 発声代行装置 |
| JPH07191599A (ja) * | 1993-12-27 | 1995-07-28 | Matsushita Electric Ind Co Ltd | 映像機器 |
| JPH07327213A (ja) * | 1994-05-31 | 1995-12-12 | Hitachi Ltd | テレビ電話装置 |
| JPH0865647A (ja) * | 1994-08-22 | 1996-03-08 | Toshiba Corp | 携帯テレビ電話装置 |
| JP3334353B2 (ja) * | 1994-09-02 | 2002-10-15 | ソニー株式会社 | 聴覚補助装置 |
| AUPM883794A0 (en) * | 1994-10-17 | 1994-11-10 | University Of Melbourne, The | Multiple pulse stimulation |
| JPH08212228A (ja) * | 1995-02-02 | 1996-08-20 | Sanyo Electric Co Ltd | 要約文作成装置および要約音声作成装置 |
| JPH09292971A (ja) * | 1996-04-26 | 1997-11-11 | Sony Corp | 翻訳装置 |
| JPH10108152A (ja) * | 1996-09-27 | 1998-04-24 | Sanyo Electric Co Ltd | 携帯情報端末 |
| JPH10228367A (ja) * | 1997-02-14 | 1998-08-25 | Omron Corp | データ伝送端末 |
-
1999
- 1999-11-29 JP JP33845899A patent/JP3670180B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000308198A (ja) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4439740B2 (ja) | 音声変換装置及び方法 | |
| JP3670180B2 (ja) | 補聴器 | |
| Nakajima et al. | Non-audible murmur (NAM) recognition | |
| CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
| US6925438B2 (en) | Method and apparatus for providing an animated display with translated speech | |
| US5826234A (en) | Device and method for dubbing an audio-visual presentation which generates synthesized speech and corresponding facial movements | |
| CN1679371B (zh) | 传声器和通信接口*** | |
| CN108702580A (zh) | 具有自动语音转录的听力辅助 | |
| US11068668B2 (en) | Natural language translation in augmented reality(AR) | |
| CN107112026A (zh) | 用于智能语音识别和处理的***、方法和装置 | |
| JP2013008031A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
| Beskow et al. | Synface–a talking head telephone for the hearing-impaired | |
| Jin et al. | EarCommand: " Hearing" Your Silent Speech Commands In Ear | |
| CN115705841A (zh) | 使用加速度计感测骨传导的语音识别 | |
| EP4139917A1 (en) | Voice grafting using machine learning | |
| CN116524791A (zh) | 一种基于元宇宙的唇语学习辅助训练***及其应用 | |
| Priya et al. | Indian and English language to sign language translator-an automated portable two way communicator for bridging normal and deprived ones | |
| JP4381404B2 (ja) | 音声合成システム、音声合成方法、音声合成プログラム | |
| US11069259B2 (en) | Transmodal translation of feature vectors to audio for assistive devices | |
| JP6889597B2 (ja) | ロボット | |
| Williams | Auditory virtual environments | |
| Beskow et al. | Visualization of speech and audio for hearing impaired persons | |
| Virkkunen | Automatic speech recognition for the hearing impaired in an augmented reality application | |
| Beautemps et al. | Telma: Telephony for the hearing-impaired people. from models to user tests | |
| CN116095548A (zh) | 一种交互耳机及其*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040830 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040906 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040906 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3670180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |