JP5717574B2 - 携帯電子機器 - Google Patents

Description

本発明は、音声を出力する携帯電子機器に関する。

携帯電話機、携帯テレビ等の携帯電子機器は、音声を出力する。ここで、携帯電子機器の利用者の中には、加齢等によって、聴力が低下し、出力される音声が聞こえにくい利用者がいる。

これに対して、例えば、特許文献１には、レシーバ等から出力される音声の周波数特性及びレベルを年齢による聴覚変化に合わせて補正する音声補正機能付き移動機が記載されている。

特開２０００−２０９６９８号公報

ここで、聴力低下の要因は、加齢、病気、騒音曝露等様々であり、聴力低下の程度も千差万別である。そのため、特許文献１に記載されているように、レシーバ等から出力される音声の周波数特性及びレベルを年齢に合わせて補正するだけでは、利用者にとって十分満足できる音声の補正をすることができない。

本発明は、出力する音声を適正に補正することができ、利用者により聞こえやすい音声を出力することができる携帯電子機器を提供することを目的とする。

本発明に係る携帯電子機器は、筐体と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、入力を受け付ける入力部と、時間を計測するタイマと、前記音発生部により発生させる提示音を生成する提示音生成部、前記音発生部で発生させた提示音に対する応答を前記入力部により受け付けたら、前記応答を判定する測定結果判定部および前記測定結果判定部の判定結果に基づいて音の大きさを調整する補正パラメータを設定する補正パラメータ設定部を有する処理部と、前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備え、前記測定結果判定部は、前記提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、前記応答の正誤の結果を前記応答時間で重み付けした判定結果を算出することを特徴とする。

ここで、前記測定結果判定部は、前記応答時間が長くかつ前記応答が正答である場合は、前記応答時間が短くかつ前記応答が正答である場合よりも提示音が聞こえにくい音である判定結果を算出することが好ましい。

また、前記提示音生成部は、前記測定結果判定部で前記応答時間が長いと判定された提示音を設定された回数、提示音として出力することが好ましい。

また、前記提示音生成部は、前記提示音として聞こえやすい提示音を生成し、前記測定結果判定部は、前記聞こえやすい提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、当該応答時間に基づいて、前記重み付けの判定基準を設定することが好ましい。

また、利用者の個人情報を記憶する個人情報記憶部をさらに有し、前記測定結果判定部は、前記個人情報記憶部に記憶されている利用者の個人情報に基づいて前記提示音の聞こえやすさを判定し、前記応答の正誤の結果を前記聞こえやすさに基づいてさらに重み付けした判定結果を算出することが好ましい。

また、前記提示音生成部は、前記個人情報に基づいて前記提示音として聞こえやすい提示音を生成し、前記測定結果判定部は、前記聞こえやすい提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、当該応答時間に基づいて、前記重み付けの判定基準を設定することが好ましい。

また、周囲の音声を取得する音声取得部をさらに有し、前記処理部は、前記音声取得部が取得した音声を解析する音声解析部を有し、前記測定結果判定部は、前記音声解析部が解析した周囲の音声の解析結果に基づいて前記提示音の聞こえやすさを判定し、前記応答の正誤の結果を前記聞こえやすさに基づいてさらに重み付けした判定結果を算出することが好ましい。

また、前記処理部は、前記提示音生成部で生成した提示音の出力条件を、前記音声解析部が解析した周囲の音声の解析結果に基づいて補正する提示音補正部をさらに有することが好ましい。

また、前記補正パラメータ設定部は、前記測定結果判定部の判定結果に基づいて、音の大きさを調整する補正パラメータを音声周波数毎に設定し、前記補正部は、音声周波数毎に音の大きさを調整する補正パラメータに基づいて、音声信号を補正することが好ましい。

また、前記筐体に設けられて、画像を表示する画像表示部をさらに有し、前記入力部は、操作入力を受け付ける操作部であり、前記測定結果判定部は、前記音発生部から出力された出力音声と、前記操作部に入力された選択操作とを比較し、選択結果に基づいて判定結果を算出することが好ましい。

また、前記筐体に設けられて、画像を表示する画像表示部をさらに有し、前記入力部は、操作入力を受け付ける操作部であり、前記測定結果判定部は、前記音発生部から出力された出力音声と、前記操作部から入力された入力文字とを比較し、出力音声と入力文字とで一致しない音に対応する周波数毎に判定結果を算出することが好ましい。

また、前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることが好ましい。

また、前記提示音生成部は、前記提示音として、不快閾値より小さい音及び可聴閾値より大きい音の少なくとも一方を生成し、前記音発生部により発生させることが好ましい。

また、前記測定結果判定部は、音声を、母音、有声子音、無声子音に分けて、判定することが好ましい。

本発明に係る携帯電子機器は、筐体と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、入力を受け付ける入力部と、周囲の音声を取得する音声取得部と、前記音発生部により発生させる提示音を生成する提示音生成部、前記音声取得部が取得した音声を解析する音声解析部、前記提示音生成部で生成した提示音の出力条件を、前記音声解析部が解析した周囲の音声の解析結果に基づいて補正する提示音補正部、前記音発生部で発生させた提示音に対する応答を前記入力部により受け付けたら、前記応答を判定する測定結果判定部および前記測定結果判定部の判定結果に基づいて音の大きさを調整する補正パラメータを設定する補正パラメータ設定部を有する処理部と、前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、備えることを特徴とする。

本発明の携帯電子機器は、個々の利用者の聴力に合わせて、出力する音声を適正に補正することができ、利用者により聞こえやすい音声を出力することができるという効果を奏する。

図１は、携帯電子機器の一実施形態の概略構成を示す正面図である。 図２は、図１に示す携帯電子機器の側面図である。 図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。 図４は、人間の聴力の周波数特性を示す図である。 図５は、難聴者の聴力の周波数特性の例を示す図である。 図６は、可聴閾値及び不快閾値の例を示す図である。 図７は、図６に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。 図８は、図７の高音（子音）を単純に増幅した図である。 図９は、図８の大きい音に対して圧縮処理を行った図である。 図１０は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１１は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１２は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１３は、携帯電子機器の動作を説明するための説明図である。 図１４は、携帯電子機器の動作を説明するための説明図である。 図１５は、携帯電子機器の動作を説明するための説明図である。 図１６は、携帯電子機器の動作を説明するための説明図である。 図１７は、携帯電子機器の動作の一例を説明するためのフロー図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。また、携帯電子機器１は、薄い板状の筐体としてもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。

第２筐体１ＣＢの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器１と基地局との間で通話や電子メール等に係る電波（電磁波）の送受信に用いられる。また、第２筐体１ＣＢには、マイク１５が設けられる。マイク１５は、図２に示す、携帯電子機器１の操作面１ＰＣ側に配置される。

図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、出力音補正部３４と、タイマ３６と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２、タイマ３６等の動作を制御する。

携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。

処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。

本実施形態において、処理部２２は、出力音補正部３４の補正パラメータを設定する補正パラメータ設定部２２ａ、補正パラメータ設定部２２ａで設定する各種測定試験の制御を実行する測定制御部２２ｂ、音声認識処理を行う音声解析部２２ｃ、音声のスペクトル分析を行うスペクトル分析部２２ｄ、所定の提示音（テスト音）を生成する提示音生成部２２ｅ、測定制御部２２ｂで実行される各種測定試験で検出される測定結果（利用者の応答の検出結果）を判定する測定結果判定部２２ｆおよび提示音生成部２２ｅで生成した提示音を補正する提示音補正部２２ｇを有する。補正パラメータ設定部２２ａ、測定制御部２２ｂ、音声解析部２２ｃ、スペクトル分析部２２ｄ、提示音生成部２２ｅ、測定結果判定部２２ｆおよび提示音補正部２２ｇがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部２２ａ、測定制御部２２ｂ、音声解析部２２ｃ、スペクトル分析部２２ｄ、提示音生成部２２ｅ、測定結果判定部２２ｆおよび提示音補正部２２ｇの機能を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器１に送信するようにしてもよい。また、処理部２２の各部で実行する処理については、携帯電子機器１の動作とともに後ほど説明する。

記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。

ここで、本実施形態の記憶部２４は、個人情報記憶部２４ａ、測定結果蓄積部２４ｂおよび提示音データ２４ｃを有する。個人情報記憶部２４ａは、利用者のプロフィール、メール、ブラウザを用いたＷｅｂページの取得履歴等の各種情報が記憶されている。個人情報記憶部２４ａは、記憶部２４が記憶している他のデータに対するリンク情報のみを記憶していてもよい。例えば、個人情報記憶部２４ａは、メール機能に関連する記憶領域に記憶されているメールの記憶領域のアドレスの情報を記憶していてもよい。測定結果蓄積部２４ｂは、測定制御部２２ｂが実行した各種測定試験の測定結果および測定結果判定部２２ｆで判定した判定結果のデータが保存されている。測定結果蓄積部２４ｂが蓄積したデータは、補正パラメータ設定部２２ａが補正パラメータを決定する際に使用される。また、測定結果蓄積部２４ｂは、処理部２２による処理に基づいて、蓄積したデータの一部を削除することもできる。提示音データ２４ｃは、各種測定試験で使用する多数の提示音が保存されている。ここで、本実施形態において、提示音とは、補正パラメータの設定時に利用者が聞き取る対象の音声であり、単語、文章である。

なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。

送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーが利用者の操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、利用者の指示として処理部２２へ入力される。また、操作部１３は、操作キー１３Ａ、方向及び決定キー１３Ｂに加えて、あるいは操作キー１３Ａ、方向及び決定キー１３Ｂに代えて、表示部３２に積層されたタッチセンサを備えていてもよい。つまり、携帯電子機器１は、表示部３２と操作部１３の両方の機能を備えたタッチパネルディスプレイを設けてもよい。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から出力音補正部３４を介して送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。

表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。

出力音補正部３４は、処理部２２により設定される補正パラメータに基づいて、処理部２２から送られる音声データに対して補正を行って音声処理部３０に出力する。なお、出力音補正部３４が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部３４は、ハードウェア回路で実現してもよいし、ＣＰＵとプログラムで実現してもよい。出力音補正部３４をＣＰＵとプログラムで実現する場合、出力音補正部３４を処理部２２内で実現するようにしてもよい。また、出力音補正部３４の機能を、送受信部２６を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器１に送信するようにしてもよい。

タイマ３６は、時間経過を測定する処理部である。本実施形態の携帯電子機器１は、処理部２２に対して独立に時間経過を測定するタイマを備えた構成を例示しているが、処理部２２にタイマ機能を持たせてもよい。

ここで、人間の聴覚について図４〜図９を参照して説明する。図４は、人間の聴力の周波数特性を示す図である。図５は、難聴者の聴力の周波数特性の例を示す図である。図６は、可聴閾値及び不快閾値の例を示す図である。図７は、図６に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図８は、図７の高音（子音）を単純に増幅した図である。図９は、図８の大きい音に対して圧縮処理を行った図である。

図４は、人間の耳に入る音の大きさと人間が聴こえる（感じる）音の大きさとの関係を示している。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者（高齢者、耳の病気を有する者等）の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。したがって、一般的なイメージでは、耳に入る音を単純に増幅してやればよいと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、１０ｄＢの変化を２０ｄＢの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理（大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理）を行う必要がある。また、図５は、難聴者の聴力の周波数特性を示している。図５に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図５に示す特性は、一例であり、利用者によって聴こえる周波数特性は異なる。

図６は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示している。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、４０ｄＢで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、９０ｄＢで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図６に示すように、難聴者は、可聴閾値４２と不快閾値４４とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値４６及び不快閾値４８がともに、出力される音の大きさに対して一定となる。

次に、図７は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図７に示すように、調整しないで出力される、つまり、健聴者の使用状態と同じ状態で出力させる母音は、範囲５０で囲まれる周波数と音の大きさとの範囲の音で出力される。同様に、有声子音は、範囲５２で囲まれる周波数と音の大きさとの範囲の音で出力され、無声子音は、範囲５４で囲まれる周波数と音の大きさとの範囲の音で出力される。ここで、図７に示すように、難聴者の音が聞こえる範囲、可聴閾値４２と不快閾値４４の間には、母音の範囲５０と、有声子音の範囲５２の一部とが入るが、有声子音の範囲５２の一部と、無声子音の範囲５４の全部が入らない。このため、難聴者は、健聴者と同様の出力で音声を出力させると、母音は聴こえるが、子音（有声子音、無声子音）は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえない。

図８は、図７の高音（子音）を単純に増幅した図である。図８に示す母音の範囲５０ａは、図７に示す母音の範囲５０と同様の範囲としている。また、有声子音の範囲５２ａは、図７に示す有声子音の範囲５２よりも全体的に音の大きさが大きくなる方向、つまり範囲が図８中上方向に移動するように設定している。無声子音の範囲５４ａも、図７に示す無声子音の範囲５４よりも全体的に音の大きさが大きくなる方向、つまり範囲が図８中上方向に移動するように設定している。図８に示すように、聞こえにくい周波数領域の音声、つまり、有声子音の範囲５２ａと、無声子音の範囲５４ａを単純に増幅すると、音の大きさが大きい範囲が不快閾値４４を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明瞭に聞こえなくなる。

これに対して、図９は、本実施形態の携帯電子機器１の出力音補正部３４により、音声を補正、具体的には、図８の大きい音に対して圧縮処理（大きい音に対するゲインを小さい音に対するゲインより小さくする処理）を行った図である。図９に示す母音の範囲５０ｂは、図８に示す母音の範囲５０ａよりも大きい音に対するゲインを小さくしている。また、有声子音の範囲５２ｂは、図８に示す有声子音の範囲５２ａよりも大きい音に対するゲインを小さくしている。また、無声子音の範囲５４ｂも、図８に示す無声子音の範囲５４ａよりも大きい音に対するゲインを小さくしている。図９に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音の範囲５０ｂ、有声子音の範囲５２ｂ及び無声子音の範囲５４ｂを快適な音の大きさ（可聴閾値４２と不快閾値４４との間の大きさ）に含まれるようにすることができる。携帯電子機器１は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値４２と不快閾値４４との間の大きさの音声として利用者に聞こえるように補正を行うパラメータである。携帯電子機器１は、出力音補正部３４により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部３０に出力する。これにより、携帯電子機器１は、耳が聞こえにくい利用者でも、好適に音声を聞くことが可能となる。

次に、図１０から図１７を用いて、携帯電子機器の補正パラメータ設定動作を説明する。まず、図１０から図１２を用いて、携帯電子機器が補正パラメータの設定時に実行する測定試験の一例の動作について説明する。図１０から図１２は、それぞれ携帯電子機器の動作の一例を説明するためのフロー図である。なお、図１０から図１２に示す動作は、処理部２２の各部、具体的には補正パラメータ設定部２２ａ、測定制御部２２ｂ、音声解析部２２ｃ、スペクトル分析部２２ｄ、提示音生成部２２ｅ、測定結果判定部２２ｆおよび提示音補正部２２ｇが各機能を実行することで実現することができる。なお、図１０から図１２に示す処理は、測定試験の一例であるため、主に測定制御部２２ｂが他の各部と連動しつつ、種々の制御を実行する。

処理部２２は、ステップＳ１２として、聞き取れる条件で提示音を出力する。つまり、処理部２２は、提示音生成部２２ｅが記憶部２４の提示音データ２４ｃに保存されている提示音から出力する提示音を決定し、利用者が聞き取れる大きさ（聴力が低く、聞こえにくい利用者でも聞こえる大きさ）、速さで提示音を、音声処理部３０を介してレシーバ１６またはスピーカ１７から出力する。また、処理部２２の提示音生成部２２ｅは、聞きやすい単語を提示音として選択する設定とすることが好ましい。また、処理部２２は、ステップＳ１２で提示音を出力したらタイマ３６による時間の計測を開始する。

処理部２２は、ステップＳ１２で提示音を出力したら、ステップＳ１４として利用者の応答を検出する。処理部２２は、ステップＳ１２で提示音を出力する前後または同時に、出力した提示音に対する応答を入力するための画面（例えば、提示音の回答を入力する空欄を有する画面、提示音がどれであるかを選択するための選択肢を有する画面）を表示部３２に表示させる。処理部２２は、応答を入力するための画面を表示した状態で利用者が操作部１３に入力した操作を利用者の応答として検出する。

処理部２２は、ステップＳ１４で応答を検出したら、ステップＳ１６として、応答時間を検出する。ここで、応答時間とは、提示音を出力してから利用者の応答を検出するまでの経過時間である。処理部２２は、測定結果判定部２２ｆによりタイマ３６で測定した時間に基づいて応答時間を検出する。処理部２２は、測定結果判定部２２ｆにより検出した応答時間と出力した提示音と応用の検出時に表示した画像の情報等を測定結果蓄積部２４ｂに保存する。

処理部２２は、ステップＳ１６で応答時間を検出したら、ステップＳ１８として、データの蓄積が完了したかを判定する。処理部２２は、測定制御部２２ｂによりステップＳ１２からステップＳ１６の処理を実行し取得したデータの蓄積量が予め設定した条件を満足するかを判定する。ステップＳ１８の判定条件としては、ステップＳ１２からステップＳ１６の処理を繰り返し行った回数、ステップＳ１４で検出した応答が正解であった回数等である。処理部２２は、ステップＳ１８でデータの蓄積が完了していない（Ｎｏ）と判定したら、ステップＳ１２に進み、ステップＳ１２からステップＳ１６の処理を再度実行する。処理部２２は、ステップＳ１２からステップＳ１６の処理を再度実行する場合、前回と同様の提示音を出力してもよいし、異なる提示音を出力してもよい。

処理部２２は、ステップＳ１８で蓄積が完了した（Ｙｅｓ）と判定したら、ステップＳ２０として、応答時間のしきい値を決定する。具体的には、処理部２２は、測定結果判定部２２ｆによりステップＳ１２からステップＳ１６の処理を繰り返し、測定結果蓄積部２４ｂに蓄積した聞こえやすい提示音が出力された場合の応答時間に基づいて、利用者が応答を入力する際に、迷ったか否かを判定する基準とする応答時間のしきい値を決定する。測定結果判定部２２ｆは、設定した応答時間のしきい値の情報を測定結果蓄積部２４ｂに保存する。

処理部２２は、ステップＳ２０でしきい値を決定したら、ステップＳ２２としてテスト用の提示音を出力する。つまり、携帯電子機器１の処理部２２は、提示音生成部２２ｅにより提示音データ２４ｃからテスト用の提示音を読み出しテスト用の提示音を生成し、音声処理部３０を介してレシーバ１６またはスピーカ１７から出力する。なお、テスト用の提示音としては、聞き間違いが発生しやすい単語、文章を用いることが好ましい。提示音としては、例えば、「安全」や「完全」や「断然」を用いることができる。「安全」と「完全」と「断然」とは、互いに聞き間違いしやすい音声である。また、提示音としては、「売り上げ」や「おみやげ」や「もみあげ」も用いることができる。また、このほかにも、「環境」や「反響」や「探求」も用いることができる。また、提示音は、不快閾値と可聴閾値とを設定できるように、設定された不快閾値ぎりぎりの音（例えば、不快閾値よりわずかに小さい音）や設定された可聴閾値ぎりぎりの音（例えば、可聴閾値よりわずかに大きい音）を用いることが好ましい。また、携帯電子機器１は、提示音を、設定された不快閾値ぎりぎりの音（例えば、不快閾値よりわずかに小さい音）や設定された可聴閾値ぎりぎりの音（例えば、可聴閾値よりわずかに大きい音）で出力することが好ましい。また、処理部２２は、ステップＳ１２で提示音を出力したらタイマ３６による時間の計測を開始する。

処理部２２は、ステップＳ２２でテスト用の提示音を出力したら、ステップＳ２４として利用者の応答を検出する。処理部２２は、ステップＳ２２で提示音を出力する前後または同時に、出力した提示音に対する応答を入力するための画面（例えば、提示音の回答を入力する空欄を有する画面、提示音がどれであるかを選択するための選択肢を有する画面）を表示部３２に表示させる。処理部２２は、応答を入力するための画面を表示した状態で利用者が操作部１３に入力した操作を利用者の応答として検出する。なお、処理部２２は、応答を検出したら、ステップＳ１６と同様に応答時間も検出する。

処理部２２は、ステップＳ２４で応答を検出したら、ステップＳ２６として正解（正答）であるかを判定する。具体的には、処理部２２は、測定結果判定部２２ｆにより、ステップＳ２４で検出した応答が正解であるか、つまり正答の応答が入力されたか誤答の応答が入力されたかを判定する。処理部２２は、ステップＳ２６で正解である（Ｙｅｓ）と判定したら、ステップＳ２８に進み、ステップＳ２６で正解ではない（Ｎｏ）つまり誤答であると判定したら、ステップＳ３２に進む。

処理部２２は、ステップＳ２６でＹｅｓと判定したら、ステップＳ２８として、応答時間≦しきい値であるかを判定する。つまり、処理部２２は、測定結果判定部２２ｆにより、ステップＳ２４で検出した応答にかかった応答時間が、ステップＳ２０で決定したしきい値以下の時間であるかを判定する。処理部２２は、ステップＳ２８で応答時間≦しきい値である（Ｙｅｓ）、つまり、応答時間がしきい値以下の時間である、つまり、応答時間がしきい値と同じ時間またはしきい値よりも短い時間であると判定したら、ステップＳ３２に進む。

処理部２２は、ステップＳ２８で応答時間≦しきい値ではない（Ｎｏ）、つまり応答時間＞しきい値であり、応答時間がしきい値よりも長い時間であると判定したら、ステップＳ３０にとして、再視聴設定をした後、ステップＳ３２に進む。なお、再視聴設定とは、該当する提示音を再度テスト用の提示音として出力する設定である。

処理部２２は、ステップＳ２６でＮｏ、ステップＳ２８でＹｅｓと判定されたら、またはステップＳ３０の処理を実行したら、ステップＳ３２として、重み付け処理を実行する。ここで重み付け処理とは、テスト用の提示音に対して応答を入力するまでの応答時間や再視聴設定の回数（リトライの回数）等に基づいて、提示音の測定結果に重み付けを行う処理である。本実施形態の処理部２２は、応答が正答である提示音の測定結果に対して重み付け処理を行う。例えば、処理部２２は、測定結果判定部２２ｆにより、しきい値以下の応答時間で正解した場合の正解率を１００％とし、応答時間がしきい値に対して乖離した割合に従って正解率に重み付けを行う。具体的には、処理部２２は、応答時間がしきい値より１０％遅かった場合の正解率を９０％とし、応答時間がしきい値より２０％遅かった場合の正解率を８０％とする。また、処理部２２は、再視聴の回数に従って正解率に重み付けを行う場合、再視聴の回数が１回の場合（つまり同じ提示音を２回使用した場合）の正解率を９０％、再視聴の回数が２回の場合（つまり同じ提示音を３回使用した場合）の正解率を８０％、再視聴の回数が３回の場合（つまり同じ提示音を４回使用した場合）の正解率を７０％とする。なお、処理部２２は、測定結果判定部２２ｆにより重み付け処理を行ったら、処理結果を測定結果蓄積部２４ｂに保存する。

処理部２２は、ステップＳ３２で重み付け処理を行ったら、ステップＳ３４として補正値調整処理を行う。つまり、処理部２２は、補正パラメータ設定部２２ａにより、ステップＳ３２で重み付けした結果および正誤の判定結果等に基づいて、提示音に対応する補正パラメータの調整処理を行う。

処理部２２は、ステップＳ３４で補正値調整処理を実行したら、ステップＳ３６として補正処理終了かを判定する。処理部２２は、測定制御部２２ｂによりステップＳ２２からステップＳ３４の処理が予め設定した条件を満足するかを判定する。ステップＳ３６の判定条件としては、ステップＳ２２からステップＳ３４の処理を繰り返し行った回数、ステップＳ３０で再視聴設定した提示音の再視聴が完了しているか、調整対象の補正パラメータの補正に関連する提示音をテスト用の提示音として出力し調整が完了しているか等である。処理部２２は、ステップＳ３６で補正処理が終了していない（Ｎｏ）と判定したら、ステップＳ２２に進み、ステップＳ２２からステップＳ３４の処理を再度実行する。処理部２２は、ステップＳ２２からステップＳ３４の処理を再度実行する場合、再視聴設定の提示音をテスト用の提示音としてもよいし、異なる提示音をテスト用の提示音としてもよい。

処理部２２は、ステップＳ３６で補正処理が終了した（Ｙｅｓ）と判定したら、本処理を終了する。

携帯電子機器１は、図１０に示すように、応答時間に基づいて、測定結果に重み付けを行い、その重み付け結果に基づいて、出力音声を補正する補正パラメータを調整することで、より高い精度で補正パラメータを設定することができる。携帯電子機器１は、より適切な補正パラメータを設定できることで、出力音補正部３４による補正パラメータを用いた音声の補正でより適切な補正を実行することができる。これにより、携帯電子機器１は、マイク１５、スピーカ１７から、利用者がより聞き取りやすい音声を出力させることができる。

携帯電子機器１は、提示音を出力し、利用者がどう聞こえたかを応答として検出する。ここで、利用者は、提示音が聞こえにくい場合であっても、ある程度聞こえているため応答を入力することができるため、偶然正解してしまうことがある。また、応答の入力方法が２択の場合は、全く聞こえなくても、５割の確率で正解してしまう。このため、正解した提示音が聞こえていると判定すると、利用者の特性にあっていない補正パラメータが設定されてしまう。

これに対して、本実施形態の携帯電子機器１は、応答時間に基づいて、重み付け処理を実行する。ここで、利用者は、提示音を上手く聞き取れなかった場合は、迷うため、通常よりも応答時間が長くなる。これにより、携帯電子機器１は、応答時間を検出し、応答時間がしきい値より時間がかかった場合、正常に聞き取れずに迷っていた、または、わからずに適当に入力した、と判定し、正答しても重み付けを軽くする。このように、応答時間を計測し、応答時間がしきい値以上である場合は、正答しても正解率を低くすることで、迷った状態で入力された応答の影響を小さくすることができる。以上より、携帯電子機器１は、正誤の判定に加え、応答時間を加味して重み付けを行い、その結果に基づいて補正パラメータを設定することで、提示音が聞こえていたか否かをより正確に判定して補正パラメータを設定することができる。

また、応答時間が長くかつ応答が正答である場合は、応答時間が短くかつ応答が正答である場合よりも提示音が聞こえにくい音である判定結果を算出することで、迷った時間がより長い提示音はより聞こえにくい音であると判定することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。

また、携帯電子機器１は、応答時間がしきい値よりも長い場合は、再視聴設定とし、再度提示音として出力し、当該提示音に対する測定試験をもう一度実行することで、当該提示音が聞こえているかをより正確に判定することができる。これにより、たまたま時間がかかってしまった場合と、実際に聞こえにくくて迷った場合を識別することができる。また、同じ提示音を複数回テストすることで、実際に聞こえていなくてたまたま正解したのか、聞こえにくいがある程度聞こえているのかも判定することができる。例えば、携帯電子機器１は、連続正答した場合は聞こえにくい、正答と誤答とが混在する場合は聞こえていないと判定することができる。なお、携帯電子機器１は、再視聴設定で出力する際に同じ出力条件で提示音を出力することで、上記判定をより確実に実行することができる。また、携帯電子機器１は、再視聴設定で出力する際に提示音の出力条件を適宜調整することで、同じ提示音が聞こえやすい条件を抽出することができる。

また、本実施形態のように、再視聴設定とされた回数に基づいても重み付け処理を行うことで、たまたま時間がかかっただけなのか、聞こえなくて毎回迷っているのかを判定することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。

さらに、処理部２２は、様々な単語、文章の提示音を用いて図１０に示すフローを繰り返し実行することで、補正パラメータを利用者に適した値に収束させ、利用者により聞こえやすい音声を出力することができる。

また、処理部２２は、図１０に示すフローを定期的（例えば、３ヶ月毎、６ヶ月毎等）に実行することで、利用者の聴力に変化があった場合であっても、利用者により聞こえやすい音声を出力することができる。

また、携帯電子機器１は、ステップＳ１２からステップＳ１８の処理を実行し、聞き取れる条件での提示音に対する応答を検出し、ステップＳ２０でその結果に基づいて応答時間のしきい値を決定することで、利用者に適した応答時間をしきい値として設定することができる。つまり、携帯電子機器１は、動作がゆっくりである利用者に対して長い応答時間をしきい値とすることができ、動作がすばやい利用者に対して短い応答時間をしきい値とすることができる。これにより、応答の入力に悩んでいるか否かをより適切に判定することができる。

次に、図１１を用いて、提示音の選択動作の一例について説明する。まず、処理部２２は、ステップＳ４０として、個人情報を取得する。具体的には、処理部２２は、測定制御部２２ｂにより個人情報記憶部２４ａに保存されている各種情報を読み出す。処理部２２は、ステップＳ４０で個人情報を読み出したら、ステップＳ４２として、個人情報を解析する。具体的には、処理部２２は、測定制御部２２ｂにより個人情報に含まれているメール、プロフィール（性別、趣味、出身地）、Ｗｅｂページの閲覧履歴等から、利用者が普段使用している言葉、その傾向を解析する。

処理部２２は、ステップＳ４２で個人情報を解析したら、ステップＳ４４として解析結果に基づいて聞きなれている提示音を抽出し、本処理を終了する。具体的には、処理部２２は、測定制御部２２ｂによる解析結果に基づいて、提示音データ２４ｃに含まれる複数の提示音のうち、聞きなれている提示音を抽出する。また、処理部２２は、聞きなれている提示音を抽出することで、他の提示音は聞きなれてない提示音とすることができる。なお、処理部２２は、提示音データ２４ｃに記憶している提示音を予めテーマ、分野毎に分類しておき、聞きなれているか否かを分類毎に判定してもよい。また、処理部２２は、ステップＳ４２の解析結果に基づいて、提示音を聞きなれている、やや聞きなれている、聞きなれていない、聞いたことがない可能性がある、等複数に分類するようにしてもよい。

ここで、処理部２２は、聞きなれている提示音を上述したステップＳ１２の提示音として利用し、聞きなれていない提示音をステップＳ２２のテスト用の提示音とする。これにより、利用者が慣れているため、聞き取りやすく感じたり、予測しやすかったりして、正解する確率が高くなる提示音を、しきい値の設定に使用し、利用者が聞きなれていない提示音をテスト用の提示音とすることができる。これにより、補正パラメータの調整のための測定試験の際に、利用者が正答を予想できる可能性をより少なくすることができ、利用者の聴力の特性をより適切に検出することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。

また、処理部２２は、ステップＳ４４の抽出結果に基づいて、正答した提示音に対する重み付けを行うようにしてもよい。これにより、聞きなれていて予測しやすい言葉は、正答した場合でも正解率を低くすることで、予測により正答した可能性を加味して補正パラメータを調整することができる。これにより、利用者の特性により対応した補正パラメータを設定することができる。

次に、図１２を用いて、提示音の出力動作の一例について説明する。まず、処理部２２は、ステップＳ５０として、周囲の音声を取得する。つまり、処理部２２は、測定制御部２２ｂにより、マイク１５で周囲の音声を取得する。処理部２２は、取得した周囲の音声を音声解析部２２ｃとスペクトル分析部２２ｄとで解析する。なお、本実施形態では、音声解析部２２ｃとスペクトル分析部２２ｄとの２つで解析したが、周囲の音声を解析できればよく、音声解析部２２ｃとスペクトル分析部２２ｄとの一方で解析してもよい。また、音声解析部２２ｃとスペクトル分析部２２ｄとを１つの音声解析部としてもよい。

処理部２２は、ステップＳ５０で周囲の音声を取得し、解析したら、ステップＳ５２として、提示音の出力条件を補正する。具体的には、処理部２２は、提示音補正部２２ｇにより、提示音の出力音声の出力条件を周囲の音声に対応した出力条件に補正する。つまり、提示音補正部２２ｇは、周囲の条件の分析結果に基づいて提示音の出力条件を補正する。

処理部２２は、ステップＳ５２で提示音の出力条件を補正したら、ステップＳ５４として、提示音を出力する。つまり、処理部２２は、提示音補正部２２ｇによって出力条件を補正した提示音をレシーバ１６またはスピーカ１７から出力する。

携帯電子機器１は、周囲の音声を取得して解析し、その解析結果に基づいて提示音補正部２２ｇで、提示音の出力条件を補正することで、測定試験環境の周囲の音に対応した提示音を出力することができる。提示音の聞こえ方は、周囲の環境、特に周囲の音声によって変わるが、本実施形態の携帯電子機器１は、周囲の音声に基づいて、出力する提示音の出力条件を補正することで、測定試験時の周囲の環境の影響を低減することができる。これにより、利用者の特性に対応した補正パラメータを設定することができる。

例えば、周囲の音声の周波数毎の出力分布を検出し、周囲の音声の周波数毎の出力分布に基づいて、提示音を構成する音声のうち周囲の音声から出力が一定の大きさ以上の周波数帯部分を持ち上げる（増幅する）補正を行う。これにより、周囲の音声によって提示音が聞こえにくくなることを抑制し、どの環境においても同じような音で提示音が聞こえるようにすることができる。

なお、本実施形態では、周囲の音声（ノイズ）の検出結果に基づいて、提示音を補正したがこれに限定されない。携帯電子機器１は、周囲の音声に基づいて応答に対する重み付け処理を行うようにしてもよい。例えば、周囲の音声が大きい（ノイズが大きい）状態で正答した場合は、周囲の音声が小さい（ノイズが小さい）状態で正答した場合よりも正解率を高くするようにしてもよい。このように、周囲の音声に基づいて応答に対する重み付け処理を行うことでも測定試験時の周囲の環境の影響を低減することができる。これにより、利用者の特性に対応した補正パラメータを設定することができる。

次に、図１３を用いて、応答の検出動作、利用者が応答を入力するために表示する画面の一例について説明する。図１３は、それぞれ、携帯電子機器の動作を説明するための説明図である。より具体的には、補正パラメータの設定動作の際に、ディスプレイ２に表示させる画面を示す図である。なお、以下では、提示音として「いなか（田舎）」を出力した場合として説明する。

携帯電子機器１は、提示音を出力したら、表示部３２に図１３に示す画面６０を表示させる。ここで、画面６０は、聞き取った音を入力する画面であり、メッセージ６１と、選択肢６２、６４と、カーソル６６と、が表示される。メッセージ６１は、利用者に入力（選択）を即す、つまり利用者が行う動作を示唆するメッセージであり、「何と聞こえましたか？」という文章である。また、選択肢６２、６４は、提示音に対して利用者が操作部１３を操作して選択する文字列である。本実施形態では、２つの選択肢が表示され、一方の選択肢が正答の選択肢となり、他方の選択肢が誤答の選択肢となる。具体的には、選択肢６２は、「ひなた」であり、誤答の選択肢となる。選択肢６４は、「いなか」であり正解の選択肢となる。カーソル６６は、どの選択肢を選択している状態であるかを示す指示指標であり、図１３では、選択肢６２を選択した状態である。また、利用者が選択肢６４を選択する操作を入力すると、カーソル６６の表示が消え、点線６８で示す領域にカーソルとして丸い印が表示される。携帯電機器１は、画面６０を表示している状態で、決定操作（例えば決定ボタンの押下）を検出したら、当該決定操作の入力時にカーソルが選択している選択肢を応答として検出する。

携帯電子機器１は、図１３に示すように、表示部３２に提示音がどの音であったかを選択させる選択肢を含む画面を表示し、利用者に選択操作を入力させることで、利用者の応答を検出することができる。また、携帯電子機器１は、応答として選択肢を選択させるようにすることで、利用者が選択肢を入力するのみで応答を検出できる。これにより、利用者は簡単に応答を入力することができ、測定試験に係る利用者への負荷を低減することができる。ここで、図１３では選択肢を２つ表示させた場合としたが、これに限定されず、３つ以上の選択肢を表示させるようにしてもよい。

ここで、図１３に示す例は、利用者が選択肢を選択する操作で応答を入力したが、これに限定されない。携帯電子機器１は、提示音がどのように聞こえたかの応答を、文字の入力で検出してもよい。以下、図１４から図１６を用いて、応答の検出動作、利用者が応答を入力するために表示する画面の他の例について説明する。

ここで、図１４から図１６は、それぞれ、携帯電子機器の動作を説明するための説明図である。携帯電子機器１は、提示音を出力したら、図１４に示す画面７０を表示させる。ここで、画面７０は、聞き取った音を入力する画面であり、メッセージ７２と、表示欄７４ａ、７４ｂ、７４ｃと、カーソル７６とが表示される。メッセージ７２は、利用者に入力を即す、つまり利用者が行う動作を示唆するメッセージであり、「何と聞こえましたか？キーで入力してください」という文章である。また、表示欄７４ａ、７４ｂ、７４ｃは、利用者が操作部１３を操作して入力した文字を表示させる表示領域であり、提示音の文字数に対応した数の入力欄、つまり、本実施形態では、「いなか」に対応した３つの表示欄が表示される。カーソル７６は、どの入力欄に文字を入力する状態であるかを示す指示指標であり、図１４では、表示欄７４ａの直下に表示されている。

携帯電子機器１は、図１４に示す画面７０を表示させている状態で、操作部１３が操作され、文字が入力されたら、入力された文字を表示欄７４ａ、７４ｂ、７４ｃに表示させる。ここで、図１５に示す画面７０ａは、文字として「ひなた」が入力された状態である。画面７０ａでは、表示欄７４ａに「ひ」が表示され、表示欄７４ｂに「な」が表示され、表示欄７４ｃに「た」が表示される。また、カーソル７６は、表示欄７４ｃの直下に表示されている。携帯電子機器１は、その後、入力決定操作が入力されたら、当該入力決定操作の入力時に各表示欄７４ａ、７４ｂ、７４ｃに表示している文字を利用者の応答として検出する。

携帯電子機器１は、図１５の画面７０ａに示すように、文字として、「ひなた」が入力され、入力決定操作が入力されたら、提示音の文字と入力された文字とを比較し、図１６に示すように、提示音の文字と、入力された文字とが一致したか否かを利用者に通知する画面７０ｂを表示させる。ここで、画面７０ｂは、表示欄７４ａに「ひ」が表示され、表示欄７４ｂに「な」が表示され、表示欄７４ｃに「た」が表示される。さらに、画面７０ｂには、不一致を示す印８０ａが、表示欄７４ａに重ねて表示され、一致を示す印８０ｂが、表示欄７４ｂに重ねて表示され、不一致を示す印８０ｃが、表示欄７４ｃに重ねて表示される。

また、携帯電子機器１は、提示音の文字と応答（つまり入力された文字）とを比較し、比較結果に基づいて、補正パラメータを設定する。具体的には、携帯電子機器１は、「いなか」と「ひなた」とを母音と子音とに分解し、「ＩＮＡＫＡ」と、「ＨＩＮＡＴＡ」とを比較する。ここで、「ＩＮＡＫＡ」と、「ＨＩＮＡＴＡ」とは、いずれも母音が「Ｉ」、「Ａ」、「Ａ」であるため、母音が一致している。これに対して、子音なしと子音「Ｈ」とを聞き間違え、子音「Ｋ」と子音「Ｔ」とを聞き間違えている。以上の結果から、対象となる音声、本実施形態では子音「Ｈ」、「Ｋ」、「Ｔ」に対応する周波数域の閾値（不快閾値または可聴閾値）を調整し、設定する。携帯電子機器１は、以上のようにして、ディスプレイ２に画面を表示させつつ、提示音を出力し、制御を行うことで、補正パラメータの調整を周波数域毎、各母音、各有声子音、各無声子音で行うことができる。

また、携帯電子機器１は、図１４から図１６に示すように、利用者が入力した入力文字を応答として検出することで、聴こえた音声を文字として入力できるため、利用者の入力を確実、かつ間違えることなく検出することができ、より高い精度で音声の補正を行うことができる。

また、携帯電子機器１は、補正パラメータを調整しつつ、本実施形態のように、文字を入力させ、その結果、つまり、一致しているか否かの結果をディスプレイ２に表示させることで、利用者に徐々に聴こえやすくなっていることを認知させることができる。これにより、利用者に高い満足度かつ少ないストレスで、補正パラメータの設定を実施させることができる。また、利用者にゲーム感覚で補正パラメータの設定を実施させることができる。

また、上記実施形態では、文字入力の入力欄を文字数に対応した数としたが、これに限定されない。例えば、単にテキスト入力画面を表示させるようにしてもよい。

また、携帯電子機器１は、提示音として単語を用い、利用者に聴こえた単語を入力させ、比較を行うことで、電話による通信や、テレビ放送の視聴時に実際に聞くことになる、言葉を用いて、補正処理を行うことができる。これにより、より適切に補正パラメータを調整することができ、電話による会話や、テレビ放送の視聴をより円滑に行うことができる。

次に、図１７を用いて、補正パラメータの調整方法の一例として、提示音と入力文字が一致しないことに基づいた、補正パラメータの調整の処理について説明する。ここで、図１７は、携帯電子機器の動作の一例を示すフロー図である。

まず、処理部２２は、ステップＳ１４０として、母音が不一致であるかを判定する。処理部２２は、ステップＳ１４０で母音が不一致である（ステップＳ１４０でＹｅｓ）と判定したら、ステップＳ１４２として、母音の周波数域で対象の周波数を特定する。つまり、不一致の母音に対応する周波数の帯域、または１つ以上の周波数を特定する。処理部２２は、ステップＳ１４２で周波数を特定したら、ステップＳ１５０に進む。

また、ステップＳ１４０で母音が不一致ではない（ステップＳ１４０でＮｏ）、つまり、母音は全て一致していると判定したら、ステップＳ１４４として、有声子音が不一致であるかを判定する。処理部２２は、ステップＳ１４４で有声子音が不一致である（ステップＳ１４４でＹｅｓ）と判定したら、ステップＳ１４６として、有声子音の周波数域で対象の周波数を特定する。つまり、不一致の有声子音に対応する周波数の帯域、または１つ以上の周波数を特定する。処理部２２は、ステップＳ１４６で周波数を特定したら、ステップＳ１５０に進む。

また、処理部２２は、ステップＳ１４４で有声子音が不一致ではない（ステップＳ１４４でＮｏ）、つまり、不一致な音声は、無声子音であると判定したら、ステップＳ１４８として、無声子音の周波数域で対象の周波数を特定する。つまり、不一致の無声子音に対応する周波数の帯域、または１つ以上の周波数を特定する。処理部２２は、ステップＳ１４８で周波数を特定したら、ステップＳ１５０に進む。

処理部２２は、ステップＳ１４２、ステップＳ１４６、ステップＳ１４８の処理が終了したら、ステップＳ１５０として、不一致音の出力は、不快閾値に近いかを判定する。つまり、処理部２２は、ステップＳ１５０として、不一致音の出力の大きさが、不快閾値に近いか、可聴閾値に近いかを判定し、聞き間違いをした原因が、利用者の不快閾値よりも大きい音声であるためか、可聴閾値よりも小さいためであるかを判定する。

処理部２２は、ステップＳ１５０で、不一致音の出力は、不快閾値に近い（ステップＳ１５０でＹｅｓ）、つまり、不一致音の出力は、可聴閾値よりも不快閾値に近いと判定したら、ステップＳ１５２として、該当する周波数の不快閾値を重み付け係数に基づいて低下させる。つまり調整対象の周波数の不快閾値をより小さい値とする。処理部２２は、ステップＳ１５２の処理が終了したら、ステップＳ１５６に進む。

処理部２２は、ステップＳ１５０で、不一致音の出力は、不快閾値に近くない（ステップＳ１５０でＮｏ）、つまり、不一致音の出力は、不快閾値よりも可聴閾値に近いと判定したら、ステップＳ１５４として、該当する周波数の可聴閾値を重み付け係数に基づいて上昇させる。つまり調整対象の周波数の可聴閾値をより大きな値とする。処理部２２は、ステップＳ１５４の処理が終了したら、ステップＳ１５６に進む。

処理部２２は、ステップＳ１５２、ステップＳ１５４の処理が終了したら、ステップＳ１５６として、不一致音を全て補正したか、つまり不一致音に対する補正処理を完了したかを判定する。処理部２２は、ステップＳ１５６で、不一致音を全て補正していない（ステップＳ１５６でＮｏ）、つまり、補正処理を行っていない不一致音があると判定したら、ステップＳ１４０に進み上記処理を繰り返す。これにより、処理部２２は、不一致と判定した全ての音に対して、閾値の補正処理を行う。また、処理部２２は、ステップＳ１５６で、不一致音を全て補正した（ステップＳ１５６でＹｅｓ）と判定したら、処理を終了する。

携帯電子機器１は、以上のようにして、周波数毎に補正パラメータを設定する。携帯電子機器１は、音声信号が入力されたら、出力音補正部３４が、設定した補正パラメータに基づいて、音声信号を補正し音声処理部３０に出力する。これにより、携帯電子機器１は、利用者の聴こえ（音声の聞こえ方、聴覚の特性）に合わせて設定した補正パラメータによって音声信号を補正することができ、利用者により聞こえやすい音声を出力することができる。

また、処理部２２は、本実施形態のように、提示音を、母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することで、より聴こえやすい音声を出力することができる。

ここで、携帯電子機器１は、上述したように利用者の特性により適した補正パラメータを設定することができるため、補正パラメータを周波数毎に設定し、さらに母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することが好ましいが、これに限定されない。携帯電子機器１は、補正パラメータの設定基準、設定単位は種々の単位とすることができる。補正パラメータの設定基準、設定単位を種々の場合としても、応答の検出結果を、少なくとも応答時間に基づいて重み付けし、その結果に基づいて補正パラメータを設定することで、利用者の特性に合わせた補正パラメータを設定することができる。

また、携帯電子機器１は、提示音として提示音データに記憶されている提示音を用いたが、提示音の出力方法として種々の出力方法を用いることができる。例えば、通話で使用した音声をサンプリングして用いてもよい。また、特定の通話相手に予め用意したテキスト情報を読み上げてもらい、そのテキスト情報と音声情報を取得し、利用者が音声情報を聞きながら、聴こえた文字情報を入力するようにしても、補正パラメータを設定することができる。なお、提示音として、特定の対象の音声を用いることで、特定の対象の音声をより聞きやすくすることができ、特定の対象との通話をより円滑に行うことができる。予め用意した提示音以外を用いる場合は、音声解析部２２ｃとスペクトル分析部２２ｄで提示音を解析し、出力する提示音の正答や音声の構成を検出しておくことで、適切な測定試験を行うことができる。

ここで、処理部２２は、音声処理部３０で実際に出力する周波数に対応して補正パラメータを設定することが好ましく、より好ましくは、電話通信で用いられる周波数に対応して補正パラメータを設定することが好ましい。このように、実際に使用する周波数に対して補正パラメータを設定することで、携帯電子機器１から出力される音声をより聞きやすい音声にすることができる。ここで、補正パラメータを設定する周波数としては、例えば、ＣＥＬＰ（符号励振線形予測符号化）方式、ＥＶＲＣ（可変ビットレート音声コーデック）方式、ＡＭＲ（適応型マルチレート）方式で用いられる周波数に対して設定することが好ましい。

なお、本実施形態では、補正パラメータの設定処理を、処理部２２で行ったが、本発明はこれに限定されない。携帯電子機器１は、各種演算処理を、送受信部２６を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行ってもよい。この場合、携帯電子機器１は、サーバから送信された音声の出力、画像の表示等を行い、利用者から入力された操作をデータとしてサーバに送信する。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器１にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器１とを１つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器１は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。

１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ 補正パラメータ設定部
２２ｂ 測定制御部
２２ｃ 音声解析部
２２ｄ スペクトル分析部
２２ｅ 提示音生成部
２２ｆ 測定結果判定部
２２ｇ 提示音補正部
２４ 記憶部
２４ａ 個人情報記憶部
２４ｂ 測定結果蓄積部
２４ｃ 提示音データ
３０ 音声処理部
３２ 表示部
３４ 出力音補正部
３６ タイマ

Claims (14)

1. 筐体と、
   前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、
   前記筐体に設けられて、入力を受け付ける入力部と、
   時間を計測するタイマと、
   前記音発生部により発生させる提示音を生成する提示音生成部、前記音発生部で発生させた提示音に対する応答を前記入力部により受け付けたら、前記応答を判定する測定結果判定部および前記測定結果判定部の判定結果に基づいて音の大きさを調整する補正パラメータを設定する補正パラメータ設定部を有する処理部と、
   前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備え、
   前記測定結果判定部は、前記提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、前記応答の正誤の結果を前記応答時間で重み付けした判定結果を算出することを特徴とする携帯電子機器。
2. 前記測定結果判定部は、前記応答時間が長くかつ前記応答が正答である場合は、前記応答時間が短くかつ前記応答が正答である場合よりも提示音が聞こえにくい音である判定結果を算出することを特徴とする請求項１に記載の携帯電子機器。
3. 前記提示音生成部は、前記測定結果判定部で前記応答時間が長いと判定された提示音を設定された回数、提示音として出力することを特徴とする請求項１または２に記載の携帯電子機器。
4. 前記提示音生成部は、前記提示音として聞こえやすい提示音を生成し、
   前記測定結果判定部は、前記聞こえやすい提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、当該応答時間に基づいて、前記重み付けの判定基準を設定することを特徴とする請求項１から３のいずれか一項に記載の携帯電子機器。
5. 利用者の個人情報を記憶する個人情報記憶部をさらに有し、
   前記測定結果判定部は、前記個人情報記憶部に記憶されている利用者の個人情報に基づいて前記提示音の聞こえやすさを判定し、前記応答の正誤の結果を前記聞こえやすさに基づいてさらに重み付けした判定結果を算出することを特徴とする請求項１から４のいずれか一項に記載の携帯電子機器。
6. 前記提示音生成部は、前記個人情報に基づいて前記提示音として聞こえやすい提示音を生成し、
   前記測定結果判定部は、前記聞こえやすい提示音を発生させてから前記応答が入力されるまでの応答時間を前記タイマで検出し、当該応答時間に基づいて、前記重み付けの判定基準を設定することを特徴とする請求項５に記載の携帯電子機器。
7. 周囲の音声を取得する音声取得部をさらに有し、
   前記処理部は、前記音声取得部が取得した音声を解析する音声解析部を有し、
   前記測定結果判定部は、前記音声解析部が解析した周囲の音声の解析結果に基づいて前記提示音の聞こえやすさを判定し、前記応答の正誤の結果を前記聞こえやすさに基づいてさらに重み付けした判定結果を算出することを特徴とする請求項１から６のいずれか一項に記載の携帯電子機器。
8. 前記処理部は、前記提示音生成部で生成した提示音の出力条件を、前記音声解析部が解析した周囲の音声の解析結果に基づいて補正する提示音補正部をさらに有することを特徴とする請求項７に記載の携帯電子機器。
9. 前記補正パラメータ設定部は、前記測定結果判定部の判定結果に基づいて、音の大きさを調整する補正パラメータを音声周波数毎に設定し、
   前記補正部は、音声周波数毎に音の大きさを調整する補正パラメータに基づいて、音声信号を補正することを特徴とする請求項１から８のいずれか一項に記載の携帯電子機器。
10. 前記筐体に設けられて、画像を表示する画像表示部をさらに有し、
    前記入力部は、操作入力を受け付ける操作部であり、
    前記測定結果判定部は、前記音発生部から出力された出力音声と、前記操作部に入力された選択操作とを比較し、選択結果に基づいて判定結果を算出することを特徴とする請求項１から９のいずれか一項に記載の携帯電子機器。
11. 前記筐体に設けられて、画像を表示する画像表示部をさらに有し、
    前記入力部は、操作入力を受け付ける操作部であり、
    前記測定結果判定部は、前記音発生部から出力された出力音声と、前記操作部から入力された入力文字とを比較し、出力音声と入力文字とで一致しない音に対応する周波数毎に判定結果を算出することを特徴とする請求項９に記載の携帯電子機器。
12. 前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることを特徴とする請求項１から１１のいずれか一項に記載の携帯電子機器。
13. 前記提示音生成部は、前記提示音として、不快閾値より小さい音及び可聴閾値より大きい音の少なくとも一方を生成し、前記音発生部により発生させることを特徴とする請求項１２に記載の携帯電子機器。
14. 前記測定結果判定部は、音声を、母音、有声子音、無声子音に分けて、判定することを特徴とする請求項１から１３のいずれか一項に記載の携帯電子機器。

Images