JP2008234585A

JP2008234585A - 携帯情報端末および入力制御プログラム

Info

Publication number: JP2008234585A
Application number: JP2007077218A
Authority: JP
Inventors: Masayuki Yoshima; 政幸與島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2008-10-02
Anticipated expiration: 2027-03-23
Also published as: JP5082529B2

Abstract

【課題】文字や記号の入力の際に音によるサポートを可能にし、しかも入力処理を効率的に行うことのできる携帯情報端末およびこれに使用する入力制御プログラムを得る。
【解決手段】携帯情報端末１００は液晶ディスプレイ１０２の上にタッチパネル１０３を配置しており、入力する文字や記号を一覧から選択したり手書き入力が可能である。たとえばタッチパネル１０３で文字を選択すると、設定された言語でその文字の読みが平面スピーカ１０８から音で出力される。照度センサを取り付けて周囲が明るいときのみ音声を出力したり、バックライトの明るさとの関係で音声を出力するか否かの判別を行うしきい値を変動させることもできる。
【選択図】図１

Description

本発明は、携帯電話機等の持ち運びができる通信端末としての携帯情報端末およびこれに使用する入力制御プログラムに係わり、特にタッチパネルを用いて文字や記号等からなる個々の入力対象の入力操作を行う場合に好適な携帯情報端末およびこれに使用する入力制御プログラムに関する。

携帯電話機、ＰＨＳ（Personal Handy-phone System）あるいは通信機能を備えたＰＤＡ（Personal Digital Assistant）等の携帯情報端末を用いた情報通信が盛んに行われている。このような携帯情報端末は、気軽に持ち運べるサイズでありながら、表示部が大きくて見やすくなければならないという要請が存在する。このため、特に表示部と操作部を同一の筐体上に配置した装置では、操作部に十分な数のキースイッチを配置することができない。したがって、この種の多くの携帯情報端末では、ダイヤル操作に使用するテンキー等のわずかなキースイッチを用いて、これらに「ア」行とか「カ」行といった文字のグループを割り当てている。そして、押下するキースイッチの回数でグループ内の個々の文字を指定するという入力手法を採用している。

このような入力手法を採用すると、たとえば「ア」行の先頭の文字「ア」は「ア」行に対応するキースイッチを１度押下するだけでよいが、文字「イ」は「ア」行に対応するキースイッチを２度押す必要があり、文字「オ」は「ア」行に対応するキースイッチを５度押す必要がある。したがって、各文字の出現頻度を一切考慮しないとすると、「ア」行というグループが５文字（５種類の母音）で構成されているので、入力する文字を最終的に確定させるためにはキースイッチを平均３回押す必要がある。

そこで、キースイッチの押下回数を１回分だけ減らして、各文字の入力を２回の操作で行えるようにすることが提案されている（たとえば特許文献１参照）。この提案では、「ア」行の文字「ア」を１番目の文字、文字「イ」を２番目の文字というように認識する。文字「オ」は５番目の文字となる。そして、テンキーの１番目の操作で「ア」行「カ」行といったグループを指定して、何番目の文字であるかをテンキーの２番目の押下の際に指定する。したがって、たとえば文字「ア」を入力するときには「ア」行に対応するキースイッチを１度押して、続いて数字「１」のテンキーを１回押すことになる。また、文字「オ」を入力するときには「ア」行に対応するキースイッチを１度押して、数字「５」のテンキーを１回押すことになる。

このような文字の入力手法を採用すると、母音が「ア」、「イ」、「ウ」、「エ」、「オ」のいずれであるかを判別できる文字の場合には比較的にスムーズに文字の入力操作を行うことができる。しかしながら、文字「ン」や句読点のように母音と関係のない入力文字の場合には、同一グループ内での目的とする文字に対応する番号を入力する際に、どのキースイッチを押すべきかを判別できない。

そこで、この提案ではそれぞれのキースイッチにタッチセンサを取り付けている。そして、ユーザが指をこれらのキースイッチの上でスライドさせると、タッチしたキースイッチに対応する文字の音がスピーカから出力されるようになっている。したがって、ユーザは所望の音が出力されなかったときには次の数字キーを指でタッチして対応する音を出力させる。そして、最終的に所望の音が出力された数字キーを押下することで文字の選択を行う。

一例として文字「ン」が「ワ」行のグループに組み込まれているものとする。この場合、ユーザはまず「ワ」行に対応するキースイッチを押下する。次に、指を数字「１」、数字「２」というように数字キーの各場所に順に移動させる。すると、たとえは順に「ワ」、「てん（、）」、「まる（。）」というように発音がスピーカから行われ、数字「４」を指で軽くタッチしたときに「ン」という発音が出力されたとする。この場合、ユーザはこの段階で数字「４」が文字「ン」に対応することが分かる。そこで、この数字「４」を押下して、文字「ン」を入力することになる。
特開２０００−２４２３９９号公報（第００２８段落、第００２９段落、図５）

このように、この提案による文字の入力手法では、グループ名の特定と、該当するグループにおける番号の特定という２段階の入力操作で文字の入力を確定している。このため、最初に説明した「ア」行等のキースイッチを所望の文字が現われるまで繰り返し押下する入力手法と異なり、数字を指定するために気軽にテンキーを押すことができない。すなわち、数字を指定するためにテンキーを押す前に、そのテンキーを押した場合に確定する文字を確認しておく必要があり、このために装置側が事前確認用の音声をその都度出力することが必須となる。

したがって、この提案による文字の入力手法を採用すると、テンキーに手が触れるたびに対応する音声が出力される。そこでユーザは、音声を確認してからそのテンキーを押下するか次のテンキーにタッチするかを習慣付けられることになって、文字の入力速度が遅くなるという問題があった。

このような習慣を付けずに、音声を確認しないでテンキーを押すようにした場合、押下した数字が合っているかいないかにかかわらず、その段階で文字の入力が確定する。したがって、「ア」行等のキースイッチを繰り返し押してシーケンシャルにその中の文字を順に指定する手法と異なり、次に訂正のつもりでテンキーを押すと、次の文字の入力のためにこのテンキーに対応するグループが指定されてしまうことになる。そして、更にそのテンキーを押すと、そのグループにおけるそのテンキーで指定された文字が次の文字として入力されてしまう。

このようにこの提案の手法では、１つのキースイッチを反覆して押下すると、２回押下するたびに次々と文字が入力されてしまう。したがって、文字の入力にミスが発生したような場合には、改めて文字の削除処理を行う必要が生じてしまう。すなわち、音声による確認を無視して文字の入力を行うと、入力ミスを行った場合に処理に手間取るという問題が発生する。

そこで本発明の目的は、文字や記号等からなる個々の入力対象の入力の際に音によるサポートを可能にし、しかも入力処理を効率的に行うことのできる携帯情報端末およびこれに使用する入力制御プログラムを提供することにある。

請求項１記載の発明では、（イ）表示用の画面と、（ロ）前記した画面の押下位置を検出する押下位置検出手段と、（ハ）入力する文字や記号等からなる個々の入力対象を選択させるために前記した画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、（ニ）この入力対象リスト登録手段に登録された前記した複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて予め定めた表音モードごとに複数通り登録した表音モード別音声登録手段と、（ホ）この表音モード別音声登録手段に登録した音声の表音モードを選択する表音モード選択手段と、（へ）入力対象リスト登録手段に登録されたリストの前記した複数の入力対象を前記した画面に表示する入力対象リスト表示手段と、（ト）この入力対象リスト表示手段によって前記した画面にリストの前記した複数の入力対象が表示されている状態で押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を表音モード選択手段で選択した音声で出力する入力対象識別用音声出力手段とを携帯情報端末に具備させる。

すなわち本発明では、入力する文字や記号等からなる個々の入力対象を選択させるために、画面に一度に表示する複数の入力対象についてのリストを入力対象リスト登録手段に登録しておき、また、表音モード別音声登録手段に、前記した複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて予め定めた表音モードごとに複数通り登録しておく。そして、画面にリストを構成する複数の入力対象が表示されている状態で、押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を表音モード選択手段で選択した音声で出力する。たとえば日本語と英語の表音モードがあり、日本語が選択されていれば、選択された入力対象を日本語の読みで発声し、英語の表音モードであればこれを英語の読みで発声する。これにより、ディスプレイに表示された文字等の入力対象の入力処理を、屋外等の表示視認性が悪く使用環境が良くない状態でも、ユーザに適した表音モードによる音声のサポートで効率的に行うことができる。

ここで表音モードの選択は、表示用の画面を用いて行うこともできるし、定の初期設定画面で予め選択させることもできる。また、ヘルプ機能を呼び出す専用の記号としてのヘルプ機能呼出記号を前記した画面に表示して、これを画面上で選択することで、ヘルプ機能対応音声情報登録手段に登録された音声を出力してヘルプ機能を実現することもできる。

請求項５記載の発明では、（イ）表示用の画面と、（ロ）前記した画面の押下位置を検出する押下位置検出手段と、（ハ）入力する文字や記号等からなる個々の入力対象を選択させるために前記した画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、（ニ）前記した画面を除いた画面周囲の照度を測定する画面周囲測光手段と、（ホ）この画面周囲測光手段によって測定した前記した画面の周囲の照度を所定のしきい値と比較する照度比較手段と、（へ）入力対象リスト登録手段に登録された前記した複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて登録した音声登録手段と、（ト）入力対象リスト登録手段に登録されたリストの前記した複数の入力対象を前記した画面に表示する入力対象リスト表示手段と、（チ）この入力対象リスト表示手段によって前記した画面にリストの前記した複数の入力対象が表示されている状態で照度比較手段が前記したしきい値よりも前記した画面の周囲が明るいと判別したとき、押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を出力する入力対象識別用音声出力手段とを携帯情報端末に具備させる。

すなわち本発明では、画面に表示された文字や記号等からなる個々の入力対象を選択させるときに、画面の周囲が明るいと選択操作が困難であることに鑑みて、画面周囲測光手段でこの画面を除いた画面周囲の照度を測定し、この照度を所定のしきい値と比較して、しきい値よりも前記した画面の周囲が明るいと判別したときには、押下位置検出手段が押下した位置の入力対象を識別するための音声を出力することしている。これにより、屋外等の表示視認性が悪い環境では、選択した入力対象が何かを音で確認することができ、効率的な入力処理が可能になる。

請求項６記載の発明では、（イ）表示用の画面と、（ロ）この表示用の画面の明るさを調整するバックライト調整手段と、（ハ）このバックライト調整手段によって調整するバックライトの明るさに対応させて変動するしきい値を登録するしきい値登録手段と、（ニ）前記した画面の押下位置を検出する押下位置検出手段と、（ホ）入力する文字や記号等からなる個々の入力対象を選択させるために前記した画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、（へ）前記した画面を除いた画面周囲の照度を測定する画面周囲測光手段と、（ト）この画面周囲測光手段によって測定した前記した画面の周囲の照度をバックライト調整手段によって調整されたバックライトの明るさに対応するしきい値登録手段に登録されたしきい値と比較する照度比較手段と、（チ）入力対象リスト登録手段に登録された前記した複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて登録した音声登録手段と、（リ）入力対象リスト登録手段に登録されたリストの前記した複数の入力対象を前記した画面に表示する入力対象リスト表示手段と、（ヌ）この入力対象リスト表示手段によって前記した画面にリストの前記した複数の入力対象が表示されている状態で照度比較手段が前記したしきい値よりも前記した画面の周囲が明るいと判別したとき、押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を出力する入力対象識別用音声出力手段を携帯情報端末に具備させる。

すなわち本発明では、請求項６記載の発明が単純に画面の周囲の照度に応じて音声のサポートをオン・オフしていたのに対して、バックライト調整手段によって調整するバックライトの明るさに対応させて変動するしきい値を用いて表示画面の視認性をより厳密に判別し、音声のサポートをオン・オフするようにしている。

ここで、音声のサポートが行われるときには、ユーザに応じて最適な表音モードが選択されるようにしてもよい。

請求項８記載の発明では、表示用の画面と、この表示用の画面を背面から照明するバックライトと、入力する文字や記号等からなる個々の入力対象を選択させるために前記した画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段とを備えた携帯情報端末のコンピュータに、入力制御プログラムとして、（イ）入力対象リスト登録手段に登録されたリストの前記した複数の入力対象を前記した画面に表示する入力対象リスト表示処理と、（ロ）この入力対象リスト表示処理で前記した画面に複数の入力対象が表示された状態で前記した画面の押下位置を検出する押下位置検出処理と、（ハ）この押下位置検出処理で前記した画面の押下位置が検出されたときの前記した画面を除いた画面周囲の照度を判別する画面周囲照度判別処理と、（ニ）この画面周囲照度判別処理で前記した画面を除いた画面周囲の照度が判別されたときの表示用の画面のバックライトの明るさの調整量を判別するバックライト調整量判別処理と、（ホ）前記した画面周囲照度判別処理で判別した前記した画面を除いた画面周囲の照度とバックライト調整量判別処理で判別したバックライトの明るさの調整量から定まるしきい値とを比較する比較処理と、（へ）この比較処理で画面周囲照度判別処理で判別した前記した画面を除いた画面周囲の照度の方が明るいと判別されたとき、押下位置検出処理で検出した押下位置の入力対象に対応する音声を出力する音声出力処理とを実行させることを特徴としている。

すなわち本発明では、請求項６記載の発明と同様の技術思想を、携帯情報端末の入力制御プログラムとして実現している。

以上説明したように本発明によれば、文字や記号等からなる個々の入力対象を選択したとき、これを表わした音を出力することができるので、いわゆるブラインドタッチを行ったような場合や目の不自由な人にとってもどのような入力を行うかを容易に確認することができる。また、携帯情報端末に必須機能として備わっている音声出力機能を入力操作に使用して入力対象の選択を行うので、入力操作専用のデバイスの占める面積を減少させることができ、装置の小型化や表示用の画面の大型化に寄与することができる。

更に、表示用の画面と音声を用いて文字等の入力対象を選択して入力するので、表示用の画面に表示する入力対象の表示内容や表示の配置を適宜変更することが可能になる。したがって、個々のユーザのニーズや身体的特徴に合った表示形態や使用方法で入力操作が可能になって、この意味でも入力操作の効率化に寄与することになる。

以下実施例につき本発明を詳細に説明する。

図１は本発明の一実施例における携帯情報端末の外観を表わしたものである。携帯情報端末１００は、手の平の上に置ける大きさの箱型の装置本体１０１を有している。装置本体１０１の前面には、比較的大きな液晶ディスプレイ１０２が配置されており、その表面にはタッチパネル１０３が取り付けられている。装置本体１０１の前面における液晶ディスプレイ１０２の下側のスペースには、発呼・受信キー１０４と電源キー１０５が配置されている。発呼・受信キー１０４は、ユーザが他人に電話を掛けるときにダイヤル操作を開始する際に使用したり、他人から電話が掛かってきたときにこれに応答するために使用される。電源キー１０５は、この携帯情報端末１００の電源をオン・オフするためのキースイッチである。

発呼・受信キー１０４と電源キー１０５の間の領域には、通話用のマイクロフォン１０６が配置されており、装置本体１０１の前面におけるこれと反対の位置には通話用スピーカ１０７が配置されている。また、液晶ディスプレイ１０２には、図示しない超磁歪素子（エキサイタ）が接続されており、音楽や通話以外の音声を出力するための平面スピーカ１０８を構成している。

図２は、本実施例の携帯情報端末の回路構成の概要を表わしたものである。携帯情報端末１００は、図示しないＣＰＵ（Central Processing Unit）を搭載すると共に音声合成機能を備えたマイクロコントローラ１２１を備えている。マイクロコントローラ１２１は、携帯情報端末１００を構成する各種の回路部品と接続されている。

このうちメモリ１２２は、制御プログラム格納領域１２３と、液晶ディスプレイ１０２に表示する文字のリストとこれらの文字を音声によって読み上げたり手書き文字を認識するためのデータを格納した表示関連データ格納領域１２４と、各種処理のためのワーク領域１２５とによって構成されている。制御プログラム格納領域１２３に格納されている制御プログラムは、ＣＰＵが実行するようになっている。通話音声処理回路１２６は、通話用のマイクロフォン１０６と通話用スピーカ１０７と接続されている。エキスパンダ駆動部１２８は、図示しないエキスパンダとその駆動回路から構成されている。エキスパンダは液晶ディスプレイ１０２を構成する部品の一部を振動させて音を出力することで平面スピーカ１０８を実現している。

表示制御回路１２９は、液晶ディスプレイ１０２の表示制御を行うと共に、この液晶ディスプレイ１０２を背面から照明するためのバックライト１３１の点灯制御を行う。座標入力回路１３２は、タッチパネル１０３におけるタッチされた箇所の座標の検出を行うようになっている。無線モジュール１３３は、この携帯情報端末１００が携帯電話機としての基本的な機能を実現するためのモジュールで構成されている。入力回路１３４は、発呼・受信キー１０４と電源キー１０５を接続しており、ユーザの操作によってこれらのキー情報をマイクロコントローラ１２１に入力するようになっている。

図３は、本実施例の携帯情報端末の全体的な制御の概要を表わしたものである。図１および図２と共に説明する。図３に示した制御は、メモリ１２２の制御プログラム格納領域１２３に格納された制御プログラムをマイクロコントローラ１２１の前記したＣＰＵが実行することによって実現する。後に説明する他の制御についても同様である。

携帯情報端末１００の電源がオフとなっている状態でユーザが電源キー１０５を押すと（ステップＳ２０１：Ｙ）、装置本体１０１内の各部に内蔵電池（図示せず）を通じて電源が供給される（ステップＳ２０２）。これにより携帯情報端末１００の液晶ディスプレイ１０２にメニュー画面が表示される（ステップＳ２０３）。この状態で無線モジュール１３３は通信の待機モードとなり、発呼・受信キー１０４が押下されるか（ステップＳ２０４）、タッチパネル１０３がタッチされるか（ステップＳ２０５）、あるいは電源キー１０５が再度押されるか（ステップＳ２０６）の監視を行う状態となる。

ここで発呼・受信キー１０４が押下されると（ステップＳ２０４：Ｙ）、着信があったかどうかのチェックが行われ（ステップＳ２０７）、着信中であれば（Ｙ）、これに応答して通話モードが実行される（ステップＳ２０８）。これに対して着信が行われていない場合に発呼・受信キー１０４が押下された場合には（ステップＳ２０７：Ｎ）、新たに通話を開始するための発呼モードが実行される（ステップＳ２０９）。通話モード（ステップＳ２０８）あるいは発呼モード（ステップＳ２０９）による処理が終了すると、再びステップＳ２０３に戻ってメニュー画面が表示される。

以上と異なり、メニュー画面が表示されている状態（ステップＳ２０３）でユーザがタッチパネル１０３をタッチした場合には（ステップＳ２０５：Ｙ）、液晶ディスプレイ１０２のタッチされた位置に基づいて対応する処理モードが実行される（ステップＳ２１０）。この後、再びステップＳ２０３に戻ってメニュー画面が表示される。

一方、メニュー画面が表示されている状態（ステップＳ２０３）でユーザが電源キー１０５を押した場合には（ステップＳ２０６：Ｙ）、マイクロコントローラ１２１と入力回路１３４のような最小限の回路装置を除いて電源の供給が断たれる（ステップＳ２１１）。そして、再びステップＳ２０１で電源キー１０５が押されるのを待機するモードとなる（リターン）。

図４は、一例としてユーザが発呼する場合の液晶ディスプレイの表示状態を表わしたものである。ユーザが図３のステップＳ２０４で発呼・受信キー１０４を押して他人に電話を掛けようとした場合、液晶ディスプレイ１０２には発呼の際に使用する数字等の文字や記号に対応した各種のボタンが表示される。通話に使用する各種のボタン１４１の下側には、メニューボタン１４２と言語・方言ボタン１４３と入力切替ボタン１４４が表示される。

このうちメニューボタン１４２はメニュー画面に戻るためのボタンである。言語・方言ボタン１４３は、日本語、英語、スペイン語のような幾つかの言語による発音を切り替えることができると共に、日本語の場合には標準語、関西弁、東北弁のような標準語や方言を選択することができる。更に、発声する者の性別や年齢をユーザの好みに応じて選択することもできる。これらの選択項目は多肢にわたるので、図示しない初期設定画面でこれらのうちの幾つかに限定して、そのユーザの選択対象としてプリセットすることができる。ユーザは言語・方言ボタン１４３をタッチするたびに、たとえばプリセットした言語等の選択内容を１つずつシーケンシャルに切り替えることができる。入力切替ボタン１４４は、タッチパネルに表示される文字を使用するか手書きで文字を認識させるかを選択させるボタンである。

図５は、発呼時のタッチパネル処理の様子を表わしたものである。図２と共に説明する。図１に示したディスプレイ１０２に図４に示した表示が現われている状態で、マイクロコントローラ１２１は座標入力回路１３２からタッチパネル１０３のタッチされた点の座標データを入力して、図４に示したボタン１４１〜１４４のいずれが押されたかを判別する。この結果、ボタン１４１〜１４４のいずれか１つについて押下が検出されたら（ステップＳ２２１：Ｙ）、マイクロコントローラ１２１はそのボタンについての入力処理を行う（ステップＳ２２２）。たとえば数字ボタン「６」のタッチが検出されたときには、数字「６」を入力する。

次にマイクロコントローラ１２１は、前記した初期設定画面で、ボタンに対してタッチが行われた際に発声がオン（発声モード）となっているか、オフ（発声禁止モード）となっているかをチェックする（ステップＳ２２３）。発声がオフとなっている場合には（Ｎ）、平面スピーカ１０８が数字「６」を発声することなく、処理が終了する（リターン）。

これに対してステップＳ２２３で発声がオンとなっていると判別された場合（Ｙ）、マイクロコントローラ１２１は、タッチされたボタンをキーにして表示関連データ格納領域１２４から必要な発声用の言語データを読み出して、エキスパンダ駆動部１２８に送出する（ステップＳ２２４）。エキスパンダ駆動部１２８では、送られてきた言語データに応じて液晶ディスプレイ１０２を構成する所定の部品を振動させて音声を出力する。

たとえば、ユーザが数字ボタン「６」をタッチしたものとし、言語・方言ボタン１４３が日本語の標準語を選択していたとすると、エキスパンダ駆動部１２８には「Ｒｏｋｕ」という発声用の言語データが送られ、平面スピーカ１０８は数字「６」を日本語の標準語で発声することになる。また、ユーザが同様に数字ボタン「６」をタッチして、言語・方言ボタン１４３が英語を選択していた場合、エキスパンダ駆動部１２８には「Ｓｉｘ」を発声するための言語データが送られ、平面スピーカ１０８は数字「６」を英語で発声することになる。これにより、ユーザは入力した文字が数字「６」であることを確認することができる。

この例の場合、ユーザがたとえばダイヤル操作のためにボタン１４１の該当するものをタッチすれば、前記した従来技術と異なり、タッチしたその時点で入力は確定する。したがって、音声を聞き終わって次のボタンをタッチする必要はなく、ボタン１４１のそれぞれ該当するものを連続してタッチすることもできる。たとえば数字「６」、「３」、「２」、「１」を連続して手早く入力することができる。この場合、エキスパンダ駆動部１２８には、これらの入力を後追いするような形でこれらの数字の発声が連続して行われる。したがって、ユーザは平面スピーカ１０８から出力される音声を聞いて、入力に間違いがないかを容易に確認でき、しかもダイヤル情報の送出処理自体は迅速に行うことができる。

以上、発呼の際のタッチパネル１０３による入力処理について説明したが、これに限るものではない。その他の処理においてもユーザはディスプレイ１０２に文字や各種のアイコンを表示して、これらを個々に表わす音声を出力させることで、屋外等の比較的明るい場所でダイヤル操作を行う場合のように画面の視認性の悪い環境化でも、所要の機能を誤りなく効率よく操作することができる。

＜発明の変形例＞

図６は、本発明の変形例における携帯情報端末の外観を表わしたものである。図６で図１と同一部分には同一の符号を付しており、これらの説明を適宜省略する。この変形例の携帯情報端末１００Ａでは、装置本体１０１Ａの前面における左上の角の位置に照度センサ３０１が配置されており、液晶ディスプレイ１０２の近傍の照度を測定するようになっている。また、装置本体１０１Ａの前面における右下の角の位置には、バックライトの明るさを増加させるためのアップキー３０２と、明るさを低下させるためのダウンキー３０３が配置されている。

図７は、この変形例における携帯情報端末の回路構成の概要を表わしたものである。図７で図２と同一部分には同一の符号を付しており、これらの説明を適宜省略する。この変形例の携帯情報端末１００Ａでは、入力回路１３４Ａに新たに照度センサ３０１、アップキー３０２およびダウンキー３０３が接続されている。照度センサ３０１は照度をアナログ信号として入力する。このため入力回路１３４Ａには、このアナログ信号をディジタル信号に変換するためのＡ／Ｄ変換器（図示せず）が配置されている。

また、メモリ１２２Ａには、実施例の制御プログラム格納領域１２３に格納された制御プログラムとは若干異なった制御プログラムを格納する制御プログラム格納領域１２３Ａが格納されている。また、メモリ１２２Ａには、新たに音声しきい値テーブル３１１が配置されている。音声しきい値テーブル３１１は、照度センサ３０１によって測定された照度とバックライト１３１の明るさとの関係で音声の出力をオン・オフするしきい値を定めたテーブルである。

図８は、この音声しきい値テーブルの内容を示したものである。音声しきい値テーブル３１１は、バックライト１３１（図７）の明るさ調整の行われる５段階のそれぞれと照度センサ３０１（図７）の測定した照度の５段階のそれぞれを組み合わせた形で、各照度についてエキスパンダ駆動部１２８（図７）の駆動をオン・オフするしきい値ＴＨ₁₁〜ＴＨ₅₅を定めたものである。

音声の出力をオン・オフするこれらのしきい値ＴＨ₁₁〜ＴＨ₅₅は、実験によって求めた標準的な値であるが、視認性はユーザの視力とも関係する場合がある。そこで、所定の初期設定画面でしきい値の加減量を調整できるようにしておいてもよい。

図９は、この変形例における発呼時のタッチパネル処理の様子を表わしたものである。図７と共に説明する。また、図９で図５と同一の処理に対しては同一のステップ番号を付しており、これらの説明を適宜省略する。

この変形例では、液晶ディスプレイ１０２上でボタンのタッチが行われ（ステップＳ２２１：Ｙ）、マイクロコントローラ１２１がそのボタンについての入力処理を行ったら（ステップＳ２２２）、前記した初期設定画面で、ボタンに対してタッチが行われた際に発声がオン（発声モード）となっているかどうかのチェックが行われる（ステップＳ２２３）。発声がオンとなっている場合（ステップＳ２２３：Ｙ）、マイクロコントローラ１２１は、タッチされたボタンをキーにして表示関連データ格納領域１２４から必要な発声用の言語データを読み出して、エキスパンダ駆動部１２８に送出する（ステップＳ２２４）。エキスパンダ駆動部１２８では、送られてきた言語データに応じて液晶ディスプレイ１０２を構成する所定の部品を振動させて音声を出力する。

一方、発声がオンになっていない場合（ステップＳ２２３：Ｎ）、この変形例では発声が照度に依存する設定になっているかの判別が前記した初期設定画面の設定内容を用いて行われる（ステップＳ４０１）。発声が照度に依存する設定になっている場合（Ｙ）、マイクロコントローラ１２１は、照度センサ３０１の照度の値と現在設定されているバックライト１３１の明るさの設定値を読み出す（ステップＳ４０２）。そして、音声しきい値テーブル３１１から対応するしきい値を読み出して（ステップＳ４０３）、照度センサ３０１の照度の値がこのしきい値よりも大きいかを比較する（ステップＳ４０４）。

この結果、照度センサ３０１の照度の値がしきい値よりも大きい場合には（Ｙ）、周囲の明るさが液晶ディスプレイ１０２の表示内容に比べて明るいことが想定される。この場合には、表示内容が判読し難い可能性が大きい。そこでこの場合には、ステップＳ２２４に進んでタッチしたボタンに対応する音声が出力される。

一方、ステップＳ４０４で照度センサ３０１の照度の値がしきい値と等しいかこれ以下であった場合には（Ｎ）、周囲の明るさが液晶ディスプレイ１０２の表示内容に比べて暗いことが想定される。この場合には、表示内容が判読しやすい可能性が大きい。そこで、この場合にはステップＳ２２４に進むことなく、すなわちボタンに対応する音声を出力することなく、処理を終了する（リターン）。ステップＳ４０１で発声をオフとしていると判別された場合（Ｎ）も、同様にステップＳ２２４に進むことなく、すなわちボタンに対応する音声を出力することなく、処理を終了する（リターン）。

なお、この変形例では、照度・しきい値テーブル３１１を用いてバックライト１３１の明るさも考慮しながら音声のオン・オフを判別したが、単に照度センサ３０１の測定した照度を基にして、音声をオン・オフする制御を行ってもよい。

図１０は、この変形例におけるタッチパネルから入力する際の表示画面の一例を表わしたものである。この変形例では液晶ディスプレイ１０２の３分の１ほどが表示エリア３２１となっており、その下側がボタン選択エリア３２２となっている。ユーザがボタン選択エリア３２２のたとえば数字「６」を矢印３２３で示すようにタッチすると、日本語の場合には「Ｒｏｋｕ」という音声が出力され、英語を選択した場合には「Ｓｉｘ」という音声が出力されることになる。このとき、表示エリア３２１には数字「６」が入力されている。

なお、この変形例ではボタン選択エリア３２２に「？」マークの質問ボタン（ヘルプボタン）３２４が配置されている。この質問ボタン３２４は、ヘルプ支援機能を呼び出すためのボタンである。たとえば、所定の機能の詳細が不明なときに、質問ボタン３２４をタッチすることで、音声により機能内容の説明が行われるようになっている。

図１１は、手書き入力モードにおけるタッチパネルから入力する際の表示画面の一例を表わしたものである。手書き入力モードでは、液晶ディスプレイ１０２の表示エリア３２１Ａ以外の領域が手書き入力エリア３２５となる。表示エリア３２１Ａには、手書きした文字を認識させるための認識ボタン３２６と、手書きを１アクション過去に戻すための復帰ボタン３２７と、手書き内容を消去するための消去ボタン３２８が配置されている。

ユーザは、新たに文字やアイコン等の記号を手書きする際には、必要に応じて消去ボタン３２８を押して手書き入力エリア３２５の入力内容をクリアする。そして、手書き文字の入力を終了した時点で認識ボタン３２６を押す。図示のように数字「６」を手書きした時点で認識ボタン３２６を押すと、図７に示したマイクロコントローラ１２１が表示関連データ格納領域１２４を検索して該当する文字や記号を認識して、これを発声する。このとき、発声された認識結果が相違する場合、ユーザは認識ボタン３２６を再度押して、次の候補の音声を出力させる。このように認識ボタン３２６を複数回押せば、最後に押したときの音声に対応する文字や記号が認識結果として確定する。

なお、認識した文字、記号およびこれらの候補を音声で出力する代わりに、表示エリア３２１Ａに認識した文字や記号をこれらの候補も含めて表示するようにし、これらをタッチパネル１０３のタッチされた位置で選択するようにしてもよい。この場合には、文字や記号の特定はタッチパネル１０３を使用して行うことができ、音声でその確認を行うことになる。このとき音声を出力するか否かは照度センサ３０１の測定した照度やバックライト１３１の明るさを基にして決定することができることはもちろんである。

このように本発明の変形例によれば、照度センサ３０１の測定した照度やバックライト１３１の明るさを基にして音声のオン・オフを設定することができる。したがって、屋外等ディスプレイの視認性が悪い環境やユーザの視力の特徴といった入力環境に応じて、適宜、音声読み上げによる入力支援機能を活用してデータの入力操作を行うことが可能になり、タッチパネル１０３の操作性の向上による入力の効率化と信頼性の向上を図ることができる。

以上説明した実施例では、携帯情報端末１００として１つの筐体からなる装置を示したが、折り畳み式の携帯情報端末に対しても本発明を適用することができることは当然である。また、実施例および変形例では平面スピーカ１０８を使用した例を示したが、通常のコーン紙とボイスコイルを使用したスピーカを用いて音声を出力することも可能なことは当然である。

本発明の一実施例における携帯情報端末の正面図である。本実施例の携帯情報端末の回路構成の概要を表わしたブロック図である。本実施例の携帯情報端末の全体的な制御の概要を表わした流れ図である。本実施例でユーザが発呼する場合の液晶ディスプレイの表示状態を表わした正面図である。本実施例で発呼時のタッチパネル処理の様子を表わした流れ図である。本発明の変形例における携帯情報端末の外観を表わした正面図である。変形例における携帯情報端末の回路構成の概要を表わしたブロック図である。変形例における音声しきい値テーブルの内容を示した説明図である。変形例における発呼時のタッチパネル処理の様子を表わした流れ図である。変形例におけるタッチパネルから入力する際の表示画面の一例を表わした平面図である。変形例で手書き入力モードにおけるタッチパネルから入力する際の表示画面の一例を表わした平面図である。

符号の説明

１００、１００Ａ携帯情報端末
１０２液晶ディスプレイ
１０３タッチパネル
１０８平面スピーカ
１２１マイクロコントローラ
１２３、１２３Ａ制御プログラム格納領域
１２４表示関連データ格納領域
１３１バックライト
３０１照度センサ
３０２アップキー
３０３ダウンキー
３１１音声しきい値テーブル
３２２ボタン選択エリア
３２４質問ボタン
３２５手書き入力エリア

Claims

表示用の画面と、
前記画面の押下位置を検出する押下位置検出手段と、
入力する文字や記号等からなる個々の入力対象を選択させるために前記画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、
この入力対象リスト登録手段に登録された前記複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて予め定めた表音モードごとに複数通り登録した表音モード別音声登録手段と、
この表音モード別音声登録手段に登録した音声の表音モードを選択する表音モード選択手段と、
前記入力対象リスト登録手段に登録された前記リストの前記複数の入力対象を前記画面に表示する入力対象リスト表示手段と、
この入力対象リスト表示手段によって前記画面に前記リストの前記複数の入力対象が表示されている状態で前記押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を前記表音モード選択手段で選択した音声で出力する入力対象識別用音声出力手段
とを具備することを特徴とする携帯情報端末。
前記表音モード選択手段は、選択可能な表音モードを前記画面に表示して前記押下位置検出手段によってその１つのモードを選択させることを特徴とする請求項１記載の携帯情報端末。
前記表音モード選択手段は、選択可能な表音モードの中の１つのモードを所定の初期設定画面で選択させることを特徴とする請求項１記載の携帯情報端末。
ヘルプ機能を呼び出す専用の記号としてのヘルプ機能呼出記号を前記画面に表示するヘルプ機能呼出記号表示手段と、
前記ヘルプ機能呼出記号に対応した説明を音声で行うための音声情報を登録したヘルプ機能対応音声情報登録手段と、
前記押下位置検出手段が前記ヘルプ機能呼出記号表示手段によって表示されたヘルプ機能呼出記号に対応する画面位置の押下を検出したときヘルプ機能対応音声情報登録手段に登録された音声を出力するヘルプ機能用音声出力手段
とを更に具備することを特徴とする請求項１記載の携帯情報端末。
表示用の画面と、
前記画面の押下位置を検出する押下位置検出手段と、
入力する文字や記号等からなる個々の入力対象を選択させるために前記画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、
前記画面を除いた画面周囲の照度を測定する画面周囲測光手段と、
この画面周囲測光手段によって測定した前記画面の周囲の照度を所定のしきい値と比較する照度比較手段と、
前記入力対象リスト登録手段に登録された前記複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて登録した音声登録手段と、
前記入力対象リスト登録手段に登録された前記リストの前記複数の入力対象を前記画面に表示する入力対象リスト表示手段と、
この入力対象リスト表示手段によって前記画面に前記リストの前記複数の入力対象が表示されている状態で前記照度比較手段が前記しきい値よりも前記画面の周囲が明るいと判別したとき、前記押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を出力する入力対象識別用音声出力手段
とを具備することを特徴とする携帯情報端末。
表示用の画面と、
この表示用の画面の明るさを調整するバックライト調整手段と、
このバックライト調整手段によって調整するバックライトの明るさに対応させて変動するしきい値を登録するしきい値登録手段と、
前記画面の押下位置を検出する押下位置検出手段と、
入力する文字や記号等からなる個々の入力対象を選択させるために前記画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段と、
前記画面を除いた画面周囲の照度を測定する画面周囲測光手段と、
この画面周囲測光手段によって測定した前記画面の周囲の照度を前記バックライト調整手段によって調整されたバックライトの明るさに対応する前記しきい値登録手段に登録されたしきい値と比較する照度比較手段と、
前記入力対象リスト登録手段に登録された前記複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて登録した音声登録手段と、
前記入力対象リスト登録手段に登録された前記リストの前記複数の入力対象を前記画面に表示する入力対象リスト表示手段と、
この入力対象リスト表示手段によって前記画面に前記リストの前記複数の入力対象が表示されている状態で前記照度比較手段が前記しきい値よりも前記画面の周囲が明るいと判別したとき、前記押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を出力する入力対象識別用音声出力手段
とを具備することを特徴とする携帯情報端末。
前記入力対象リスト登録手段は、前記複数の入力対象のそれぞれを識別させるための音声をこれらの入力対象に対応させて予め定めた表音モードごとに複数通り登録しており、前記入力対象識別用音声出力手段は前記押下位置検出手段が押下位置を検出するたびに該当する入力対象を識別するための音声を予め選択した表音モードに対応した音声で出力することを特徴とする請求項６記載の携帯情報端末。
表示用の画面と、この表示用の画面を背面から照明するバックライトと、入力する文字や記号等からなる個々の入力対象を選択させるために前記画面に一度に表示する複数の入力対象についてのリストを登録した入力対象リスト登録手段とを備えた携帯情報端末のコンピュータに、
前記入力対象リスト登録手段に登録された前記リストの前記複数の入力対象を前記画面に表示する入力対象リスト表示処理と、
この入力対象リスト表示処理で前記画面に複数の入力対象が表示された状態で前記画面の押下位置を検出する押下位置検出処理と、
この押下位置検出処理で前記画面の押下位置が検出されたときの前記画面を除いた画面周囲の照度を判別する画面周囲照度判別処理と、
この画面周囲照度判別処理で前記画面を除いた画面周囲の照度が判別されたときの表示用の画面のバックライトの明るさの調整量を判別するバックライト調整量判別処理と、
前記画面周囲照度判別処理で判別した前記画面を除いた画面周囲の照度とバックライト調整量判別処理で判別したバックライトの明るさの調整量から定まるしきい値とを比較する比較処理と、
この比較処理で前記画面周囲照度判別処理で判別した前記画面を除いた画面周囲の照度の方が明るいと判別されたとき、前記押下位置検出処理で検出した押下位置の入力対象に対応する音声を出力する音声出力処理
とを実行させることを特徴とする入力制御プログラム。