以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。また、携帯電子機器1は、薄い板状の筐体としてもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、タイマ36と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32、タイマ36等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、出力音補正部34の補正パラメータを設定する補正パラメータ設定部22a、補正パラメータ設定部22aで設定する各種測定試験の制御を実行する測定制御部22b、音声認識処理を行う音声解析部22c、音声のスペクトル分析を行うスペクトル分析部22d、所定の提示音(テスト音)を生成する提示音生成部22e、測定制御部22bで実行される各種測定試験で検出される測定結果(利用者の応答の検出結果)を判定する測定結果判定部22fおよび提示音生成部22eで生成した提示音を補正する提示音補正部22gを有する。補正パラメータ設定部22a、測定制御部22b、音声解析部22c、スペクトル分析部22d、提示音生成部22e、測定結果判定部22fおよび提示音補正部22gがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部22a、測定制御部22b、音声解析部22c、スペクトル分析部22d、提示音生成部22e、測定結果判定部22fおよび提示音補正部22gの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしてもよい。また、処理部22の各部で実行する処理については、携帯電子機器1の動作とともに後ほど説明する。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
ここで、本実施形態の記憶部24は、個人情報記憶部24a、測定結果蓄積部24bおよび提示音データ24cを有する。個人情報記憶部24aは、利用者のプロフィール、メール、ブラウザを用いたWebページの取得履歴等の各種情報が記憶されている。個人情報記憶部24aは、記憶部24が記憶している他のデータに対するリンク情報のみを記憶していてもよい。例えば、個人情報記憶部24aは、メール機能に関連する記憶領域に記憶されているメールの記憶領域のアドレスの情報を記憶していてもよい。測定結果蓄積部24bは、測定制御部22bが実行した各種測定試験の測定結果および測定結果判定部22fで判定した判定結果のデータが保存されている。測定結果蓄積部24bが蓄積したデータは、補正パラメータ設定部22aが補正パラメータを決定する際に使用される。また、測定結果蓄積部24bは、処理部22による処理に基づいて、蓄積したデータの一部を削除することもできる。提示音データ24cは、各種測定試験で使用する多数の提示音が保存されている。ここで、本実施形態において、提示音とは、補正パラメータの設定時に利用者が聞き取る対象の音声であり、単語、文章である。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーが利用者の操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、利用者の指示として処理部22へ入力される。また、操作部13は、操作キー13A、方向及び決定キー13Bに加えて、あるいは操作キー13A、方向及び決定キー13Bに代えて、表示部32に積層されたタッチセンサを備えていてもよい。つまり、携帯電子機器1は、表示部32と操作部13の両方の機能を備えたタッチパネルディスプレイを設けてもよい。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して補正を行って音声処理部30に出力する。なお、出力音補正部34が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部34は、ハードウェア回路で実現してもよいし、CPUとプログラムで実現してもよい。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしてもよい。また、出力音補正部34の機能を、送受信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしてもよい。
タイマ36は、時間経過を測定する処理部である。本実施形態の携帯電子機器1は、処理部22に対して独立に時間経過を測定するタイマを備えた構成を例示しているが、処理部22にタイマ機能を持たせてもよい。
ここで、人間の聴覚について図4〜図9を参照して説明する。図4は、人間の聴力の周波数特性を示す図である。図5は、難聴者の聴力の周波数特性の例を示す図である。図6は、可聴閾値及び不快閾値の例を示す図である。図7は、図6に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図8は、図7の高音(子音)を単純に増幅した図である。図9は、図8の大きい音に対して圧縮処理を行った図である。
図4は、人間の耳に入る音の大きさと人間が聴こえる(感じる)音の大きさとの関係を示している。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者(高齢者、耳の病気を有する者等)の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。したがって、一般的なイメージでは、耳に入る音を単純に増幅してやればよいと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、10dBの変化を20dBの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理)を行う必要がある。また、図5は、難聴者の聴力の周波数特性を示している。図5に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図5に示す特性は、一例であり、利用者によって聴こえる周波数特性は異なる。
図6は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示している。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、40dBで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、90dBで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図6に示すように、難聴者は、可聴閾値42と不快閾値44とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値46及び不快閾値48がともに、出力される音の大きさに対して一定となる。
次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、調整しないで出力される、つまり、健聴者の使用状態と同じ状態で出力させる母音は、範囲50で囲まれる周波数と音の大きさとの範囲の音で出力される。同様に、有声子音は、範囲52で囲まれる周波数と音の大きさとの範囲の音で出力され、無声子音は、範囲54で囲まれる周波数と音の大きさとの範囲の音で出力される。ここで、図7に示すように、難聴者の音が聞こえる範囲、可聴閾値42と不快閾値44の間には、母音の範囲50と、有声子音の範囲52の一部とが入るが、有声子音の範囲52の一部と、無声子音の範囲54の全部が入らない。このため、難聴者は、健聴者と同様の出力で音声を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえない。
図8は、図7の高音(子音)を単純に増幅した図である。図8に示す母音の範囲50aは、図7に示す母音の範囲50と同様の範囲としている。また、有声子音の範囲52aは、図7に示す有声子音の範囲52よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。無声子音の範囲54aも、図7に示す無声子音の範囲54よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。図8に示すように、聞こえにくい周波数領域の音声、つまり、有声子音の範囲52aと、無声子音の範囲54aを単純に増幅すると、音の大きさが大きい範囲が不快閾値44を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明瞭に聞こえなくなる。
これに対して、図9は、本実施形態の携帯電子機器1の出力音補正部34により、音声を補正、具体的には、図8の大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインより小さくする処理)を行った図である。図9に示す母音の範囲50bは、図8に示す母音の範囲50aよりも大きい音に対するゲインを小さくしている。また、有声子音の範囲52bは、図8に示す有声子音の範囲52aよりも大きい音に対するゲインを小さくしている。また、無声子音の範囲54bも、図8に示す無声子音の範囲54aよりも大きい音に対するゲインを小さくしている。図9に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音の範囲50b、有声子音の範囲52b及び無声子音の範囲54bを快適な音の大きさ(可聴閾値42と不快閾値44との間の大きさ)に含まれるようにすることができる。携帯電子機器1は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値42と不快閾値44との間の大きさの音声として利用者に聞こえるように補正を行うパラメータである。携帯電子機器1は、出力音補正部34により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部30に出力する。これにより、携帯電子機器1は、耳が聞こえにくい利用者でも、好適に音声を聞くことが可能となる。
次に、図10から図17を用いて、携帯電子機器の補正パラメータ設定動作を説明する。まず、図10から図12を用いて、携帯電子機器が補正パラメータの設定時に実行する測定試験の一例の動作について説明する。図10から図12は、それぞれ携帯電子機器の動作の一例を説明するためのフロー図である。なお、図10から図12に示す動作は、処理部22の各部、具体的には補正パラメータ設定部22a、測定制御部22b、音声解析部22c、スペクトル分析部22d、提示音生成部22e、測定結果判定部22fおよび提示音補正部22gが各機能を実行することで実現することができる。なお、図10から図12に示す処理は、測定試験の一例であるため、主に測定制御部22bが他の各部と連動しつつ、種々の制御を実行する。
処理部22は、ステップS12として、聞き取れる条件で提示音を出力する。つまり、処理部22は、提示音生成部22eが記憶部24の提示音データ24cに保存されている提示音から出力する提示音を決定し、利用者が聞き取れる大きさ(聴力が低く、聞こえにくい利用者でも聞こえる大きさ)、速さで提示音を、音声処理部30を介してレシーバ16またはスピーカ17から出力する。また、処理部22の提示音生成部22eは、聞きやすい単語を提示音として選択する設定とすることが好ましい。また、処理部22は、ステップS12で提示音を出力したらタイマ36による時間の計測を開始する。
処理部22は、ステップS12で提示音を出力したら、ステップS14として利用者の応答を検出する。処理部22は、ステップS12で提示音を出力する前後または同時に、出力した提示音に対する応答を入力するための画面(例えば、提示音の回答を入力する空欄を有する画面、提示音がどれであるかを選択するための選択肢を有する画面)を表示部32に表示させる。処理部22は、応答を入力するための画面を表示した状態で利用者が操作部13に入力した操作を利用者の応答として検出する。
処理部22は、ステップS14で応答を検出したら、ステップS16として、応答時間を検出する。ここで、応答時間とは、提示音を出力してから利用者の応答を検出するまでの経過時間である。処理部22は、測定結果判定部22fによりタイマ36で測定した時間に基づいて応答時間を検出する。処理部22は、測定結果判定部22fにより検出した応答時間と出力した提示音と応用の検出時に表示した画像の情報等を測定結果蓄積部24bに保存する。
処理部22は、ステップS16で応答時間を検出したら、ステップS18として、データの蓄積が完了したかを判定する。処理部22は、測定制御部22bによりステップS12からステップS16の処理を実行し取得したデータの蓄積量が予め設定した条件を満足するかを判定する。ステップS18の判定条件としては、ステップS12からステップS16の処理を繰り返し行った回数、ステップS14で検出した応答が正解であった回数等である。処理部22は、ステップS18でデータの蓄積が完了していない(No)と判定したら、ステップS12に進み、ステップS12からステップS16の処理を再度実行する。処理部22は、ステップS12からステップS16の処理を再度実行する場合、前回と同様の提示音を出力してもよいし、異なる提示音を出力してもよい。
処理部22は、ステップS18で蓄積が完了した(Yes)と判定したら、ステップS20として、応答時間のしきい値を決定する。具体的には、処理部22は、測定結果判定部22fによりステップS12からステップS16の処理を繰り返し、測定結果蓄積部24bに蓄積した聞こえやすい提示音が出力された場合の応答時間に基づいて、利用者が応答を入力する際に、迷ったか否かを判定する基準とする応答時間のしきい値を決定する。測定結果判定部22fは、設定した応答時間のしきい値の情報を測定結果蓄積部24bに保存する。
処理部22は、ステップS20でしきい値を決定したら、ステップS22としてテスト用の提示音を出力する。つまり、携帯電子機器1の処理部22は、提示音生成部22eにより提示音データ24cからテスト用の提示音を読み出しテスト用の提示音を生成し、音声処理部30を介してレシーバ16またはスピーカ17から出力する。なお、テスト用の提示音としては、聞き間違いが発生しやすい単語、文章を用いることが好ましい。提示音としては、例えば、「安全」や「完全」や「断然」を用いることができる。「安全」と「完全」と「断然」とは、互いに聞き間違いしやすい音声である。また、提示音としては、「売り上げ」や「おみやげ」や「もみあげ」も用いることができる。また、このほかにも、「環境」や「反響」や「探求」も用いることができる。また、提示音は、不快閾値と可聴閾値とを設定できるように、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。また、携帯電子機器1は、提示音を、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)で出力することが好ましい。また、処理部22は、ステップS12で提示音を出力したらタイマ36による時間の計測を開始する。
処理部22は、ステップS22でテスト用の提示音を出力したら、ステップS24として利用者の応答を検出する。処理部22は、ステップS22で提示音を出力する前後または同時に、出力した提示音に対する応答を入力するための画面(例えば、提示音の回答を入力する空欄を有する画面、提示音がどれであるかを選択するための選択肢を有する画面)を表示部32に表示させる。処理部22は、応答を入力するための画面を表示した状態で利用者が操作部13に入力した操作を利用者の応答として検出する。なお、処理部22は、応答を検出したら、ステップS16と同様に応答時間も検出する。
処理部22は、ステップS24で応答を検出したら、ステップS26として正解(正答)であるかを判定する。具体的には、処理部22は、測定結果判定部22fにより、ステップS24で検出した応答が正解であるか、つまり正答の応答が入力されたか誤答の応答が入力されたかを判定する。処理部22は、ステップS26で正解である(Yes)と判定したら、ステップS28に進み、ステップS26で正解ではない(No)つまり誤答であると判定したら、ステップS32に進む。
処理部22は、ステップS26でYesと判定したら、ステップS28として、応答時間≦しきい値であるかを判定する。つまり、処理部22は、測定結果判定部22fにより、ステップS24で検出した応答にかかった応答時間が、ステップS20で決定したしきい値以下の時間であるかを判定する。処理部22は、ステップS28で応答時間≦しきい値である(Yes)、つまり、応答時間がしきい値以下の時間である、つまり、応答時間がしきい値と同じ時間またはしきい値よりも短い時間であると判定したら、ステップS32に進む。
処理部22は、ステップS28で応答時間≦しきい値ではない(No)、つまり応答時間>しきい値であり、応答時間がしきい値よりも長い時間であると判定したら、ステップS30にとして、再視聴設定をした後、ステップS32に進む。なお、再視聴設定とは、該当する提示音を再度テスト用の提示音として出力する設定である。
処理部22は、ステップS26でNo、ステップS28でYesと判定されたら、またはステップS30の処理を実行したら、ステップS32として、重み付け処理を実行する。ここで重み付け処理とは、テスト用の提示音に対して応答を入力するまでの応答時間や再視聴設定の回数(リトライの回数)等に基づいて、提示音の測定結果に重み付けを行う処理である。本実施形態の処理部22は、応答が正答である提示音の測定結果に対して重み付け処理を行う。例えば、処理部22は、測定結果判定部22fにより、しきい値以下の応答時間で正解した場合の正解率を100%とし、応答時間がしきい値に対して乖離した割合に従って正解率に重み付けを行う。具体的には、処理部22は、応答時間がしきい値より10%遅かった場合の正解率を90%とし、応答時間がしきい値より20%遅かった場合の正解率を80%とする。また、処理部22は、再視聴の回数に従って正解率に重み付けを行う場合、再視聴の回数が1回の場合(つまり同じ提示音を2回使用した場合)の正解率を90%、再視聴の回数が2回の場合(つまり同じ提示音を3回使用した場合)の正解率を80%、再視聴の回数が3回の場合(つまり同じ提示音を4回使用した場合)の正解率を70%とする。なお、処理部22は、測定結果判定部22fにより重み付け処理を行ったら、処理結果を測定結果蓄積部24bに保存する。
処理部22は、ステップS32で重み付け処理を行ったら、ステップS34として補正値調整処理を行う。つまり、処理部22は、補正パラメータ設定部22aにより、ステップS32で重み付けした結果および正誤の判定結果等に基づいて、提示音に対応する補正パラメータの調整処理を行う。
処理部22は、ステップS34で補正値調整処理を実行したら、ステップS36として補正処理終了かを判定する。処理部22は、測定制御部22bによりステップS22からステップS34の処理が予め設定した条件を満足するかを判定する。ステップS36の判定条件としては、ステップS22からステップS34の処理を繰り返し行った回数、ステップS30で再視聴設定した提示音の再視聴が完了しているか、調整対象の補正パラメータの補正に関連する提示音をテスト用の提示音として出力し調整が完了しているか等である。処理部22は、ステップS36で補正処理が終了していない(No)と判定したら、ステップS22に進み、ステップS22からステップS34の処理を再度実行する。処理部22は、ステップS22からステップS34の処理を再度実行する場合、再視聴設定の提示音をテスト用の提示音としてもよいし、異なる提示音をテスト用の提示音としてもよい。
処理部22は、ステップS36で補正処理が終了した(Yes)と判定したら、本処理を終了する。
携帯電子機器1は、図10に示すように、応答時間に基づいて、測定結果に重み付けを行い、その重み付け結果に基づいて、出力音声を補正する補正パラメータを調整することで、より高い精度で補正パラメータを設定することができる。携帯電子機器1は、より適切な補正パラメータを設定できることで、出力音補正部34による補正パラメータを用いた音声の補正でより適切な補正を実行することができる。これにより、携帯電子機器1は、マイク15、スピーカ17から、利用者がより聞き取りやすい音声を出力させることができる。
携帯電子機器1は、提示音を出力し、利用者がどう聞こえたかを応答として検出する。ここで、利用者は、提示音が聞こえにくい場合であっても、ある程度聞こえているため応答を入力することができるため、偶然正解してしまうことがある。また、応答の入力方法が2択の場合は、全く聞こえなくても、5割の確率で正解してしまう。このため、正解した提示音が聞こえていると判定すると、利用者の特性にあっていない補正パラメータが設定されてしまう。
これに対して、本実施形態の携帯電子機器1は、応答時間に基づいて、重み付け処理を実行する。ここで、利用者は、提示音を上手く聞き取れなかった場合は、迷うため、通常よりも応答時間が長くなる。これにより、携帯電子機器1は、応答時間を検出し、応答時間がしきい値より時間がかかった場合、正常に聞き取れずに迷っていた、または、わからずに適当に入力した、と判定し、正答しても重み付けを軽くする。このように、応答時間を計測し、応答時間がしきい値以上である場合は、正答しても正解率を低くすることで、迷った状態で入力された応答の影響を小さくすることができる。以上より、携帯電子機器1は、正誤の判定に加え、応答時間を加味して重み付けを行い、その結果に基づいて補正パラメータを設定することで、提示音が聞こえていたか否かをより正確に判定して補正パラメータを設定することができる。
また、応答時間が長くかつ応答が正答である場合は、応答時間が短くかつ応答が正答である場合よりも提示音が聞こえにくい音である判定結果を算出することで、迷った時間がより長い提示音はより聞こえにくい音であると判定することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。
また、携帯電子機器1は、応答時間がしきい値よりも長い場合は、再視聴設定とし、再度提示音として出力し、当該提示音に対する測定試験をもう一度実行することで、当該提示音が聞こえているかをより正確に判定することができる。これにより、たまたま時間がかかってしまった場合と、実際に聞こえにくくて迷った場合を識別することができる。また、同じ提示音を複数回テストすることで、実際に聞こえていなくてたまたま正解したのか、聞こえにくいがある程度聞こえているのかも判定することができる。例えば、携帯電子機器1は、連続正答した場合は聞こえにくい、正答と誤答とが混在する場合は聞こえていないと判定することができる。なお、携帯電子機器1は、再視聴設定で出力する際に同じ出力条件で提示音を出力することで、上記判定をより確実に実行することができる。また、携帯電子機器1は、再視聴設定で出力する際に提示音の出力条件を適宜調整することで、同じ提示音が聞こえやすい条件を抽出することができる。
また、本実施形態のように、再視聴設定とされた回数に基づいても重み付け処理を行うことで、たまたま時間がかかっただけなのか、聞こえなくて毎回迷っているのかを判定することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。
さらに、処理部22は、様々な単語、文章の提示音を用いて図10に示すフローを繰り返し実行することで、補正パラメータを利用者に適した値に収束させ、利用者により聞こえやすい音声を出力することができる。
また、処理部22は、図10に示すフローを定期的(例えば、3ヶ月毎、6ヶ月毎等)に実行することで、利用者の聴力に変化があった場合であっても、利用者により聞こえやすい音声を出力することができる。
また、携帯電子機器1は、ステップS12からステップS18の処理を実行し、聞き取れる条件での提示音に対する応答を検出し、ステップS20でその結果に基づいて応答時間のしきい値を決定することで、利用者に適した応答時間をしきい値として設定することができる。つまり、携帯電子機器1は、動作がゆっくりである利用者に対して長い応答時間をしきい値とすることができ、動作がすばやい利用者に対して短い応答時間をしきい値とすることができる。これにより、応答の入力に悩んでいるか否かをより適切に判定することができる。
次に、図11を用いて、提示音の選択動作の一例について説明する。まず、処理部22は、ステップS40として、個人情報を取得する。具体的には、処理部22は、測定制御部22bにより個人情報記憶部24aに保存されている各種情報を読み出す。処理部22は、ステップS40で個人情報を読み出したら、ステップS42として、個人情報を解析する。具体的には、処理部22は、測定制御部22bにより個人情報に含まれているメール、プロフィール(性別、趣味、出身地)、Webページの閲覧履歴等から、利用者が普段使用している言葉、その傾向を解析する。
処理部22は、ステップS42で個人情報を解析したら、ステップS44として解析結果に基づいて聞きなれている提示音を抽出し、本処理を終了する。具体的には、処理部22は、測定制御部22bによる解析結果に基づいて、提示音データ24cに含まれる複数の提示音のうち、聞きなれている提示音を抽出する。また、処理部22は、聞きなれている提示音を抽出することで、他の提示音は聞きなれてない提示音とすることができる。なお、処理部22は、提示音データ24cに記憶している提示音を予めテーマ、分野毎に分類しておき、聞きなれているか否かを分類毎に判定してもよい。また、処理部22は、ステップS42の解析結果に基づいて、提示音を聞きなれている、やや聞きなれている、聞きなれていない、聞いたことがない可能性がある、等複数に分類するようにしてもよい。
ここで、処理部22は、聞きなれている提示音を上述したステップS12の提示音として利用し、聞きなれていない提示音をステップS22のテスト用の提示音とする。これにより、利用者が慣れているため、聞き取りやすく感じたり、予測しやすかったりして、正解する確率が高くなる提示音を、しきい値の設定に使用し、利用者が聞きなれていない提示音をテスト用の提示音とすることができる。これにより、補正パラメータの調整のための測定試験の際に、利用者が正答を予想できる可能性をより少なくすることができ、利用者の聴力の特性をより適切に検出することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。
また、処理部22は、ステップS44の抽出結果に基づいて、正答した提示音に対する重み付けを行うようにしてもよい。これにより、聞きなれていて予測しやすい言葉は、正答した場合でも正解率を低くすることで、予測により正答した可能性を加味して補正パラメータを調整することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。
次に、図12を用いて、提示音の出力動作の一例について説明する。まず、処理部22は、ステップS50として、周囲の音声を取得する。つまり、処理部22は、測定制御部22bにより、マイク15で周囲の音声を取得する。処理部22は、取得した周囲の音声を音声解析部22cとスペクトル分析部22dとで解析する。なお、本実施形態では、音声解析部22cとスペクトル分析部22dとの2つで解析したが、周囲の音声を解析できればよく、音声解析部22cとスペクトル分析部22dとの一方で解析してもよい。また、音声解析部22cとスペクトル分析部22dとを1つの音声解析部としてもよい。
処理部22は、ステップS50で周囲の音声を取得し、解析したら、ステップS52として、提示音の出力条件を補正する。具体的には、処理部22は、提示音補正部22gにより、提示音の出力音声の出力条件を周囲の音声に対応した出力条件に補正する。つまり、提示音補正部22gは、周囲の条件の分析結果に基づいて提示音の出力条件を補正する。
処理部22は、ステップS52で提示音の出力条件を補正したら、ステップS54として、提示音を出力する。つまり、処理部22は、提示音補正部22gによって出力条件を補正した提示音をレシーバ16またはスピーカ17から出力する。
携帯電子機器1は、周囲の音声を取得して解析し、その解析結果に基づいて提示音補正部22gで、提示音の出力条件を補正することで、測定試験環境の周囲の音に対応した提示音を出力することができる。提示音の聞こえ方は、周囲の環境、特に周囲の音声によって変わるが、本実施形態の携帯電子機器1は、周囲の音声に基づいて、出力する提示音の出力条件を補正することで、測定試験時の周囲の環境の影響を低減することができる。これにより、利用者の特性に対応した補正パラメータを設定することができる。
例えば、周囲の音声の周波数毎の出力分布を検出し、周囲の音声の周波数毎の出力分布に基づいて、提示音を構成する音声のうち周囲の音声から出力が一定の大きさ以上の周波数帯部分を持ち上げる(増幅する)補正を行う。これにより、周囲の音声によって提示音が聞こえにくくなることを抑制し、どの環境においても同じような音で提示音が聞こえるようにすることができる。
なお、本実施形態では、周囲の音声(ノイズ)の検出結果に基づいて、提示音を補正したがこれに限定されない。携帯電子機器1は、周囲の音声に基づいて応答に対する重み付け処理を行うようにしてもよい。例えば、周囲の音声が大きい(ノイズが大きい)状態で正答した場合は、周囲の音声が小さい(ノイズが小さい)状態で正答した場合よりも正解率を高くするようにしてもよい。このように、周囲の音声に基づいて応答に対する重み付け処理を行うことでも測定試験時の周囲の環境の影響を低減することができる。これにより、利用者の特性に対応した補正パラメータを設定することができる。
次に、図13を用いて、応答の検出動作、利用者が応答を入力するために表示する画面の一例について説明する。図13は、それぞれ、携帯電子機器の動作を説明するための説明図である。より具体的には、補正パラメータの設定動作の際に、ディスプレイ2に表示させる画面を示す図である。なお、以下では、提示音として「いなか(田舎)」を出力した場合として説明する。
携帯電子機器1は、提示音を出力したら、表示部32に図13に示す画面60を表示させる。ここで、画面60は、聞き取った音を入力する画面であり、メッセージ61と、選択肢62、64と、カーソル66と、が表示される。メッセージ61は、利用者に入力(選択)を即す、つまり利用者が行う動作を示唆するメッセージであり、「何と聞こえましたか?」という文章である。また、選択肢62、64は、提示音に対して利用者が操作部13を操作して選択する文字列である。本実施形態では、2つの選択肢が表示され、一方の選択肢が正答の選択肢となり、他方の選択肢が誤答の選択肢となる。具体的には、選択肢62は、「ひなた」であり、誤答の選択肢となる。選択肢64は、「いなか」であり正解の選択肢となる。カーソル66は、どの選択肢を選択している状態であるかを示す指示指標であり、図13では、選択肢62を選択した状態である。また、利用者が選択肢64を選択する操作を入力すると、カーソル66の表示が消え、点線68で示す領域にカーソルとして丸い印が表示される。携帯電機器1は、画面60を表示している状態で、決定操作(例えば決定ボタンの押下)を検出したら、当該決定操作の入力時にカーソルが選択している選択肢を応答として検出する。
携帯電子機器1は、図13に示すように、表示部32に提示音がどの音であったかを選択させる選択肢を含む画面を表示し、利用者に選択操作を入力させることで、利用者の応答を検出することができる。また、携帯電子機器1は、応答として選択肢を選択させるようにすることで、利用者が選択肢を入力するのみで応答を検出できる。これにより、利用者は簡単に応答を入力することができ、測定試験に係る利用者への負荷を低減することができる。ここで、図13では選択肢を2つ表示させた場合としたが、これに限定されず、3つ以上の選択肢を表示させるようにしてもよい。
ここで、図13に示す例は、利用者が選択肢を選択する操作で応答を入力したが、これに限定されない。携帯電子機器1は、提示音がどのように聞こえたかの応答を、文字の入力で検出してもよい。以下、図14から図16を用いて、応答の検出動作、利用者が応答を入力するために表示する画面の他の例について説明する。
ここで、図14から図16は、それぞれ、携帯電子機器の動作を説明するための説明図である。携帯電子機器1は、提示音を出力したら、図14に示す画面70を表示させる。ここで、画面70は、聞き取った音を入力する画面であり、メッセージ72と、表示欄74a、74b、74cと、カーソル76とが表示される。メッセージ72は、利用者に入力を即す、つまり利用者が行う動作を示唆するメッセージであり、「何と聞こえましたか?キーで入力してください」という文章である。また、表示欄74a、74b、74cは、利用者が操作部13を操作して入力した文字を表示させる表示領域であり、提示音の文字数に対応した数の入力欄、つまり、本実施形態では、「いなか」に対応した3つの表示欄が表示される。カーソル76は、どの入力欄に文字を入力する状態であるかを示す指示指標であり、図14では、表示欄74aの直下に表示されている。
携帯電子機器1は、図14に示す画面70を表示させている状態で、操作部13が操作され、文字が入力されたら、入力された文字を表示欄74a、74b、74cに表示させる。ここで、図15に示す画面70aは、文字として「ひなた」が入力された状態である。画面70aでは、表示欄74aに「ひ」が表示され、表示欄74bに「な」が表示され、表示欄74cに「た」が表示される。また、カーソル76は、表示欄74cの直下に表示されている。携帯電子機器1は、その後、入力決定操作が入力されたら、当該入力決定操作の入力時に各表示欄74a、74b、74cに表示している文字を利用者の応答として検出する。
携帯電子機器1は、図15の画面70aに示すように、文字として、「ひなた」が入力され、入力決定操作が入力されたら、提示音の文字と入力された文字とを比較し、図16に示すように、提示音の文字と、入力された文字とが一致したか否かを利用者に通知する画面70bを表示させる。ここで、画面70bは、表示欄74aに「ひ」が表示され、表示欄74bに「な」が表示され、表示欄74cに「た」が表示される。さらに、画面70bには、不一致を示す印80aが、表示欄74aに重ねて表示され、一致を示す印80bが、表示欄74bに重ねて表示され、不一致を示す印80cが、表示欄74cに重ねて表示される。
また、携帯電子機器1は、提示音の文字と応答(つまり入力された文字)とを比較し、比較結果に基づいて、補正パラメータを設定する。具体的には、携帯電子機器1は、「いなか」と「ひなた」とを母音と子音とに分解し、「INAKA」と、「HINATA」とを比較する。ここで、「INAKA」と、「HINATA」とは、いずれも母音が「I」、「A」、「A」であるため、母音が一致している。これに対して、子音なしと子音「H」とを聞き間違え、子音「K」と子音「T」とを聞き間違えている。以上の結果から、対象となる音声、本実施形態では子音「H」、「K」、「T」に対応する周波数域の閾値(不快閾値または可聴閾値)を調整し、設定する。携帯電子機器1は、以上のようにして、ディスプレイ2に画面を表示させつつ、提示音を出力し、制御を行うことで、補正パラメータの調整を周波数域毎、各母音、各有声子音、各無声子音で行うことができる。
また、携帯電子機器1は、図14から図16に示すように、利用者が入力した入力文字を応答として検出することで、聴こえた音声を文字として入力できるため、利用者の入力を確実、かつ間違えることなく検出することができ、より高い精度で音声の補正を行うことができる。
また、携帯電子機器1は、補正パラメータを調整しつつ、本実施形態のように、文字を入力させ、その結果、つまり、一致しているか否かの結果をディスプレイ2に表示させることで、利用者に徐々に聴こえやすくなっていることを認知させることができる。これにより、利用者に高い満足度かつ少ないストレスで、補正パラメータの設定を実施させることができる。また、利用者にゲーム感覚で補正パラメータの設定を実施させることができる。
また、上記実施形態では、文字入力の入力欄を文字数に対応した数としたが、これに限定されない。例えば、単にテキスト入力画面を表示させるようにしてもよい。
また、携帯電子機器1は、提示音として単語を用い、利用者に聴こえた単語を入力させ、比較を行うことで、電話による通信や、テレビ放送の視聴時に実際に聞くことになる、言葉を用いて、補正処理を行うことができる。これにより、より適切に補正パラメータを調整することができ、電話による会話や、テレビ放送の視聴をより円滑に行うことができる。
次に、図17を用いて、補正パラメータの調整方法の一例として、提示音と入力文字が一致しないことに基づいた、補正パラメータの調整の処理について説明する。ここで、図17は、携帯電子機器の動作の一例を示すフロー図である。
まず、処理部22は、ステップS140として、母音が不一致であるかを判定する。処理部22は、ステップS140で母音が不一致である(ステップS140でYes)と判定したら、ステップS142として、母音の周波数域で対象の周波数を特定する。つまり、不一致の母音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS142で周波数を特定したら、ステップS150に進む。
また、ステップS140で母音が不一致ではない(ステップS140でNo)、つまり、母音は全て一致していると判定したら、ステップS144として、有声子音が不一致であるかを判定する。処理部22は、ステップS144で有声子音が不一致である(ステップS144でYes)と判定したら、ステップS146として、有声子音の周波数域で対象の周波数を特定する。つまり、不一致の有声子音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS146で周波数を特定したら、ステップS150に進む。
また、処理部22は、ステップS144で有声子音が不一致ではない(ステップS144でNo)、つまり、不一致な音声は、無声子音であると判定したら、ステップS148として、無声子音の周波数域で対象の周波数を特定する。つまり、不一致の無声子音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS148で周波数を特定したら、ステップS150に進む。
処理部22は、ステップS142、ステップS146、ステップS148の処理が終了したら、ステップS150として、不一致音の出力は、不快閾値に近いかを判定する。つまり、処理部22は、ステップS150として、不一致音の出力の大きさが、不快閾値に近いか、可聴閾値に近いかを判定し、聞き間違いをした原因が、利用者の不快閾値よりも大きい音声であるためか、可聴閾値よりも小さいためであるかを判定する。
処理部22は、ステップS150で、不一致音の出力は、不快閾値に近い(ステップS150でYes)、つまり、不一致音の出力は、可聴閾値よりも不快閾値に近いと判定したら、ステップS152として、該当する周波数の不快閾値を重み付け係数に基づいて低下させる。つまり調整対象の周波数の不快閾値をより小さい値とする。処理部22は、ステップS152の処理が終了したら、ステップS156に進む。
処理部22は、ステップS150で、不一致音の出力は、不快閾値に近くない(ステップS150でNo)、つまり、不一致音の出力は、不快閾値よりも可聴閾値に近いと判定したら、ステップS154として、該当する周波数の可聴閾値を重み付け係数に基づいて上昇させる。つまり調整対象の周波数の可聴閾値をより大きな値とする。処理部22は、ステップS154の処理が終了したら、ステップS156に進む。
処理部22は、ステップS152、ステップS154の処理が終了したら、ステップS156として、不一致音を全て補正したか、つまり不一致音に対する補正処理を完了したかを判定する。処理部22は、ステップS156で、不一致音を全て補正していない(ステップS156でNo)、つまり、補正処理を行っていない不一致音があると判定したら、ステップS140に進み上記処理を繰り返す。これにより、処理部22は、不一致と判定した全ての音に対して、閾値の補正処理を行う。また、処理部22は、ステップS156で、不一致音を全て補正した(ステップS156でYes)と判定したら、処理を終了する。
携帯電子機器1は、以上のようにして、周波数毎に補正パラメータを設定する。携帯電子機器1は、音声信号が入力されたら、出力音補正部34が、設定した補正パラメータに基づいて、音声信号を補正し音声処理部30に出力する。これにより、携帯電子機器1は、利用者の聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定した補正パラメータによって音声信号を補正することができ、利用者により聞こえやすい音声を出力することができる。
また、処理部22は、本実施形態のように、提示音を、母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することで、より聴こえやすい音声を出力することができる。
ここで、携帯電子機器1は、上述したように利用者の特性により適した補正パラメータを設定することができるため、補正パラメータを周波数毎に設定し、さらに母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することが好ましいが、これに限定されない。携帯電子機器1は、補正パラメータの設定基準、設定単位は種々の単位とすることができる。補正パラメータの設定基準、設定単位を種々の場合としても、応答の検出結果を、少なくとも応答時間に基づいて重み付けし、その結果に基づいて補正パラメータを設定することで、利用者の特性に合わせた補正パラメータを設定することができる。
また、携帯電子機器1は、提示音として提示音データに記憶されている提示音を用いたが、提示音の出力方法として種々の出力方法を用いることができる。例えば、通話で使用した音声をサンプリングして用いてもよい。また、特定の通話相手に予め用意したテキスト情報を読み上げてもらい、そのテキスト情報と音声情報を取得し、利用者が音声情報を聞きながら、聴こえた文字情報を入力するようにしても、補正パラメータを設定することができる。なお、提示音として、特定の対象の音声を用いることで、特定の対象の音声をより聞きやすくすることができ、特定の対象との通話をより円滑に行うことができる。予め用意した提示音以外を用いる場合は、音声解析部22cとスペクトル分析部22dで提示音を解析し、出力する提示音の正答や音声の構成を検出しておくことで、適切な測定試験を行うことができる。
ここで、処理部22は、音声処理部30で実際に出力する周波数に対応して補正パラメータを設定することが好ましく、より好ましくは、電話通信で用いられる周波数に対応して補正パラメータを設定することが好ましい。このように、実際に使用する周波数に対して補正パラメータを設定することで、携帯電子機器1から出力される音声をより聞きやすい音声にすることができる。ここで、補正パラメータを設定する周波数としては、例えば、CELP(符号励振線形予測符号化)方式、EVRC(可変ビットレート音声コーデック)方式、AMR(適応型マルチレート)方式で用いられる周波数に対して設定することが好ましい。
なお、本実施形態では、補正パラメータの設定処理を、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行ってもよい。この場合、携帯電子機器1は、サーバから送信された音声の出力、画像の表示等を行い、利用者から入力された操作をデータとしてサーバに送信する。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器1にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器1とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。