WO2005069114A1 - 移動体通信端末 - Google Patents

Abstract

　携帯性を確保しつつ、操作性に優れ且つ自由度の高いユーザ操作が可能になる移動体通信端末を提供する。 　この移動体通信端末は、画像投影部１３０とキー選択検知部（操作検知手段）１８０と主制御部（データ処理手段）１１１とを備える。画像投影部１３０は、利用者が操作する操作機器の操作面を仮想的に示す操作面画像を投影する。キー選択検知部１８０は、画像投影部１３０で投影された操作面画像（キー配列画像）上における操作を検知する。主制御部１１１は、キー選択検知部１８０で検知された操作の検知結果に基づいて所定のデータ処理を実行する。

Description

明 細 書

移動体通信端末

技術分野

[0001] 本発明は、移動体通信ネットワークを介して通信可能な携帯電話機等の移動体通 信端末に関するものである。

背景技術

[0002] 従来の携帯電話機等の移動体通信端末は、複数のキーが配置されたキー操作部 が本体部分に設けられていた。利用者は、例えば移動体通信端末を手で保持した 状態でキー操作部のキーを指で選択して押下することによりキー入力を行うことがで きる。このキー入力操作により、移動体通信端末の制御部で所定のデータ処理が実 行され、入力した電話番号やメール内容のデータをメモリに格納したり、通話を開始 したり、メールを送信したりすることができる。

発明の開示

発明が解決しょうとする課題

[0003] ところが、上記従来の携帯電話機等の移動体通信端末は、携帯性の確保すべく小 型化が図られているため、キー操作部は小型のキーを必要最小限だけ配置した構成 になっている。そのため、通常のコンピュータ装置のキーボードに比較してキー入力 操作時の操作性が悪いという問題点があった。一方、通常のコンピュータ装置のキー ボードと同程度の操作性を達成できるようにキー操作部を構成しょうとすると、キー操 作部のサイズが大きくなつてしまい、移動体通信端末の携帯性を確保することが難し くなつてしまうという問題点があった。このように移動体通信端末では、携帯性とキー の操作性との両立を図ることが難しかった。

また、最近の携帯電話機等の移動体通信端末では、本来の通話機能に加えて、ゲ ームゃ音楽出力等の多様なアプリケーションプログラムをインストールして実行するこ とができるようになってきている。このようなアプリケーションプログラムを実行する場合 、利用者とのインターフェースとなるキー操作面のキー配列を、そのアプリケーション プログラムの内容に応じたものに切り換えることができると便利である。例えば、ピアノ 演奏のアプリケーションプログラムを実行するときはピアノのキー配列上でキーを選択 する操作を行ってピアノ演奏を行うことができれば便利である。また、ゲームのアプリ ケーシヨンプログラムを実行するときは、そのゲームの内容に特化されたキー配列上 でキーを選択する操作を行ってゲームを進行することができれば便利である。

なお、以上は、投影面上に投影される画像によって仮想的に表現される操作機器 がキーボードである場合について説明した力 ポインティングデバイスなどの他の操 作機器である場合についても、上記問題と同様の問題が発生し得る。

[0004] 本発明は上述の背景に鑑みてなされたものである。本発明の目的は、携帯性を確 保しつつ、操作性に優れ且つ自由度の高いユーザ操作が可能になる移動体通信端 末を提供することである。

課題を解決するための手段

[0005] 上記目的を達成するために、本発明に係る移動体通信端末は、利用者が操作する 操作機器の操作面を仮想的に示す操作面画像を投影する画像投影手段と、該画像 投影手段で投影された該操作面画像上における操作を検知する操作検知手段と、 該操作検知手段で検知された操作の検知結果に基づいて所定のデータ処理を実行 するデータ処理手段とを備えたことを特徴とするものである。

この移動体通信端末では、画像投影手段により利用者が操作可能な面に仮想的 な操作面画像が投影される。利用者は、投影されている操作面画像上で操作を行う 。この操作は操作検知手段で検知され、その検知された操作の検知結果に基づいて 、その操作に対応する所定のデータ処理がデータ処理手段で実行される。

[0006] 上記移動体通信端末において、上記画像投影手段は、互いに異なる複数種類の 操作面画像のそれぞれについて投影可能に構成され、上記操作検知手段は、該複 数種類の操作面画像上における操作物体の位置、向き及び動きの少なくとも一つか ら操作の内容を認識する互いに異なる複数種類の認識機能を有するものであるのが 好ましい。ここで、上記認識機能における操作の内容の認識は、上記操作面画像上 における操作物体の位置、向き及び動きのいずれか一つ力 認識するものであって もいいし、上記操作面画像上における操作物体の位置、向き及び動きのいずれか二 つ以上の組み合わせから認識するものであってもよい。また、上記「操作物体」は、操 作の際に操作面画像上において動く物体であり、利用者自身の指等の体の一部の ほか、入力ペン、ポインティングツール (ポインタ部材)等の操作補助具などが含まれ る。

この移動体通信端末では、画像投影手段により、互いに異なる複数種類の操作面 画像の少なくとも一つが投影される。この投影された操作面画像上で操作を行う。こ の利用者による操作の内容は、操作検知手段が有する互いに異なる複数種類の認 識機能のうち上記投影されている操作面画像に対応する認識機能を用いて認識さ れる。この操作の内容の認識結果に基づいて、その操作に対応する所定のデータ処 理がデータ処理手段で実行される。よって、互いに異なる複数種類の操作面画像そ れぞれにつレ、て操作を正確に検知し、その操作に対応する所定のデータ処理を確 実に実行することができる。

[0007] また、上記移動体通信端末において、上記複数種類の認識機能の少なくとも一つ を指定するための指定手段を備え、上記画像投影手段は、該指定手段で指定され た認識機能に対応する操作面画像を投影するものであり、上記操作検知手段は、該 指定手段で指定された認識機能を用いて該操作面画像上における操作を検知する ものであるのが好ましい。

この移動体通信端末では、利用者が指定手段を用いて複数の認識機能の少なくと も 1つを指定することができる。この指定された認識機能に対応する操作面画像が、 画像投影手段により投影される。この投影された操作面画像上の操作は、上記指定 手段で指定された認識機能を用いて検知される。よって、上記操作検知手段が有す る複数種類の認識機能の中から操作の検知に用いる認識機能を利用者が指定する こと力 sできる。

[0008] また、上記移動体通信端末において、アプリケーションプログラムの実行環境を管 理するアプリケーション実行管理手段を備え、上記画像投影手段は、該アプリケーシ ヨン実行管理手段から受けた指定情報で指定された認識機能に対応する操作面画 像を投影するものであり、上記操作検知手段は、該アプリケーション実行管理手段か ら受けた指定情報で指定された認識機能を用いて上記操作面画像上における操作 を検知するものであるのが好ましい。 この移動体通信端末では、アプリケーション実行管理手段からの指定情報により複 数の認識機能の少なくとも 1つを指定することができる。この指定された認識機能に 対応する操作面画像が、画像投影手段により投影される。この投影された操作面画 像上の利用者による操作は、上記指定情報で指定された認識機能を用いて検知さ れる。よって、上記操作検知手段が有する複数種類の認識機能の中から操作の検知 に用いる認識機能をアプリケーションプログラムで指定することができる。

[0009] また、上記移動体通信端末において、上記複数種類の操作面画像の少なくとも一 つを指定するための指定手段を備え、上記画像投影手段は、該指定手段で指定さ れた操作面画像を投影するものであり、上記操作検知手段は、該指定手段で指定さ れた操作面画像に対応する認識機能を用いて該操作面画像上における操作を検知 するものであるのが好ましい。

この移動体通信端末では、利用者が指定手段を用いて複数の操作面画像の少な くとも 1つを指定することができる。この指定された操作面画像が、画像投影手段によ り投影される。この投影された操作面画像上の操作は、上記指定手段で指定された 操作面画像に対応する認識機能を用いて検知される。よって、上記画像投影手段で 投影可能な複数種類の操作面画像の中から操作の検知に用いる操作面画像を利 用者が指定することができる。

[0010] また、上記移動体通信端末において、アプリケーションプログラムの実行環境を管 理するアプリケーション実行管理手段を備え、上記画像投影手段は、該アプリケーシ ヨン実行管理手段から受けた指定情報で指定された操作面画像を投影するものであ り、上記操作検知手段は、該アプリケーション実行管理手段から受けた指定情報で 指定された操作面画像に対応する認識機能を用いて該操作面画像上における操作 を検知するものであるのが好ましい。

この移動体通信端末では、アプリケーション実行管理手段からの指定情報により複 数の操作面画像の少なくとも 1つを指定することができる。この指定された操作面画 像が、画像投影手段により投影される。この投影された操作面画像上の利用者によ る操作は、上記指定情報で指定された操作面画像に対応する認識機能を用いて検 知される。よって、上記画像投影手段で投影可能な複数種類の操作面画像の中から 操作の検知に用いる操作面画像をアプリケーションプログラムで指定することができ る。

また、上記移動体通信端末において、複数種類の操作面画像それぞれに対応した 複数の画像データを記憶する記憶手段と、複数のアプリケーションプログラムの中か ら選択されたアプリケーションプログラムを実行するアプリケーションプログラム実行管 理手段と、該選択されたアプリケーションプログラムの内容に従って、操作面画像選 択命令を生成する命令生成手段と備え、上記画像投影手段は、上記命令生成手段 で生成された操作面画像選択命令に基づき、上記記憶手段に記憶された複数の画 像データの中から 1つの画像データを選択し、選択した画像データの操作面画像を 投影するものであり、上記アプリケーションプログラム実行管理手段は、該選択された アプリケーションプログラムの実行中、該アプリケーションプログラムの内容に従い、 上記操作検知手段により検知された操作に対応するデータ処理を行うものであるの が好ましい。

この移動体通信端末では、複数のアプリケーションプログラムの中から、選択的に アプリケーションプログラムが実行される。そして、投影された操作面画像に対して利 用者が操作することにより、実行されたアプリケーションプログラムの内容に従ったデ ータ処理が行われる。本移動体通信端末において、利用者が操作する操作面画像 は、記憶手段に記憶されている複数種類のキー配列画像の中から、選択的に実行さ れるアプリケーションプログラムの内容に従って選択される。よって、利用者は、アプリ ケーシヨンプログラムを使用する場合、そのアプリケーションプログラムに適した操作 面画像に対して操作を行うことが可能となる。すなわち、移動体通信端末を様々な用 途で利用可能にするアプリケーションプログラムごとに適した操作部の画像である操 作面画像を用いて、利用者がアプリケーションプログラムを利用することが可能となる また、本移動体通信端末においては、アプリケーションプログラムの内容に従って 操作面画像選択命令が生成され、この命令に基づいて画像投影手段により投影さ せる操作面画像が選択される。そして、本移動体通信端末においては、未開発のァ プリケーシヨンプログラムに適すると予想される複数種類の操作面画像を予め記憶手 段に記憶しておくことができる。よって、アプリケーションプログラムの開発元は、新た なアプリケーションプログラムを開発する際、これに適した操作面画像を選択するた めの操作面画像選択命令をそのアプリケーションプログラムの内容に付カ卩すれば、 操作面画像を新たに独自で開発する必要がなくなる。その結果、アプリケーションプ ログラムの開発負担の増大を防ぐことが可能となる。

また、上記移動体通信端末において、複数のアプリケーションプログラムの中から 選択されたアプリケーションプログラムを実行し、該アプリケーションプログラムの内容 に従って上記操作検知手段により検知された操作に対応するデータ処理を行うアブ リケーシヨンプログラム実行管理手段と、該選択されたアプリケーションプログラムの 内容に含まれる操作面画像の画像データを読み出すデータ読出手段とを備え、上 記画像投影手段は、上記データ読出手段により読み出した画像データに基づく操作 面画像を、該選択されたアプリケーションプログラムの実行の際に投影するものであ るのが好ましい。

前述の移動体通信端末において、利用者がアプリケーションプログラムに適した操 作面画像に対して操作を行うためには、そのアプリケーションプログラムに適した操 作面画像を予め取得し、これを記憶手段に記憶しておくという前処理が必要となる。 この前処理が利用者にとって不便なものであると、当該移動体通信端末の利便性が 悪くなる。本移動体通信端末において、利用者が操作する操作面画像は、そのアブ リケーシヨンプログラムに含まれている画像データに基づくものであり、この操作面画 像の画像データは、これに対応するアプリケーションプログラムの取得の際に一緒に 取得することができる。従って、上記投影される操作面画像は、個々のアプリケーショ ンプログラムに最適化された専用のキー配列等がなされた操作面画像とすることがで きる。以上により、移動体通信端末を様々な用途で利用可能にするアプリケーション プログラムごとに適した操作部の画像である各操作面画像の取得が容易となるととも に、利用者は、アプリケーションプログラムを利用するにあたり、最適な操作面画像を 操作することができるので、使い勝手がよくなる。

なお、アプリケーションプログラムの内容に含まれる操作面画像の画像データは、ァ プリケーシヨンプログラムの取得の際に一緒に取得されるものであればよぐアプリケ ーシヨンプログラムのプログラム内部に組み込まれたものであっても、アプリケーション プログラムに付加された別のデータであってもよい。

[0013] 上記移動体通信端末において、上記操作検知手段は、上記操作面画像上におけ る操作を検知するものであり、該操作検知手段により検知した操作の内容に応じて、 上記操作面画像の少なくとも一部を変更する制御手段を備えるのが好ましい。

この移動体通信端末では、操作検知手段により検知した操作の内容に応じて操作 面画像の少なくとも一部が変更される。利用者は、操作面画像を見ながらこれに対し て操作を行っている間、その操作面画像が変更されたことを視認することで、自分が 誤った操作をしたか否かを認識することが可能になる。例えば、操作面画像に対して 利用者が誤って操作したときに操作面画像の少なくとも一部を変更すれば、これを見 た利用者にその誤りを認識させることができる。以上のように、操作面画像が変更さ れたことを視認することで、 自分が誤った操作をしたか否かを認識することが可能に なるので、その操作面画像を見ながらこの画像が仮想的に表現する操作機器を操作 するような不慣れな利用者であっても、自分の操作の誤りを迅速に認識することが可 能となる。その結果、操作面画像によって表現される仮想的な操作機器を用いる場 合における利用者の利便性を向上させることが可能になる。

なお、上記「操作面画像の変更」には、その変更箇所に表示されている画像を他の 画像に変更することのほか、その変更箇所の色彩や輝度のみ変更することも含まれ る。

[0014] また、上記移動体通信端末において、上記制御手段は、上記操作検知手段により 検知した操作の対象となっている画像部分を変更するものであるのが好ましい。 この移動体通信端末では、操作面画像に対して利用者が操作したときにその操作 対象の画像部分が変更されるので、これを見た利用者に対して自分が意図した操作 ができたか否かを認識させることができる。よって、不慣れな利用者に対して自分が 意図した操作をきちんと行うことができたか否かを認識させることができるので、利用 者は操作結果を確認しながら正確な操作を行うことができるようになる。

[0015] また、上記移動体通信端末において、上記画像投影手段は、光源と、該光源から 出射した光を変調するための空間光変調部と、該空間光変調部から出射される光像 を外部の投影面に結像して投影するための投影結像用光学系とを用いて構成され ているのが好ましい。

この移動体通信端末では、光源から出射した光を空間光変調部で変調し、空間光 変調部から出射される光像を投影結像用光学系で外部の投影面に結像して投影す る。この空間光変調部での変調を制御することにより、投影面に投影する操作面画像 の種類を切り換えることができる。このように空間光変調部での変調を制御することに より、投影面に投影する操作面画像の種類を容易に切り換えることができる。

[0016] また、上記移動体通信端末において、上記光源から出射した光を拡散して外部の 照射面に均一照射するための拡散照射用光学系を備え、上記光源及び上記空間 光変調部が、投影対象の光像の生成と、拡散照射対象の光の生成とに兼用されて レ、るのが好ましい。

この移動体通信端末では、光源及びその光源から出射した光を変調するための空 間光変調部を、拡散照射対象の光の生成と投影対象の光像の生成とに兼用してい る。このように光源及び空間光変調部を兼用することにより、拡散照射対象の光を生 成するための光学部品と、投影対象の光像を生成するための光学部品とを個別に設 けた場合に比して部品点数を減らすことができる。

[0017] また、上記移動体通信端末において、光像を電気信号に変換して画像データを生 成するカメラ部と、撮像対象の光像を該カメラ部上に結像するためのカメラ結像用光 学系とを備え、上記操作検知手段は、上記操作面画像上における操作を行う操作物 体の位置、向き及び動きの少なくとも一つを検知する操作物体検知手段と、該操作 物体検知手段の検知結果に基づいて該操作物体の位置、向き又は動きに対応する 操作検知データを生成する操作検知データ生成手段とを用いて構成され、上記カメ ラ部及び上記カメラ結像用光学系が上記操作物体検知手段として兼用されているの が好ましい。ここで、上記操作物体検知手段は、上記操作面画像上における操作物 体の位置、向き及び動きのいずれか一つを検知するものであってもいいし、上記操 作面画像上における操作物体の位置、向き及び動きのいずれか二つ以上の組み合 わせを検知するものであってもよレ、。

この移動体通信端末では、上記操作検知手段を構成する操作物体検知手段に兼 用したカメラ結像用光学系及びカメラ部により、上記仮想的な操作面画像上における 操作物体の位置、向き及び動きの少なくとも一つを 3次元的な画像として検知する。 この 3次元的な操作物体の画像情報に基づいて画像処理などを行うことにより、上記 操作面画像上の操作物体の位置、向き及び動きの少なくとも一つを検知することが できるので、操作面画像上における操作内容の検知の精度を高めることができる。ま た、通常の風景や人物等の撮像に用いるカメラ結像用光学系及びカメラ部を上記操 作物体検知手段に兼用してレ、るので、上記操作検知手段のうち操作面画像上で操 作する動きをしている操作物体を検知する部分を個別に設けた場合に比して、部品 点数を減らすことができる。

[0018] また、上記移動体通信端末において、上記画像投影手段で投影する上記操作面 画像は、複数のキーが配列されたキーボードを仮想的に示すキー配列画像であり、 上記操作検知手段は、該キー配列画像上のどのキーが選択された力を検知するも のであるのが好ましい。

この移動体通信端末では、画像投影手段により利用者が操作可能な面に、上記操 作面画像として仮想的なキー配列画像が投影される。利用者は、投影されているキ 一配列画像上でキーを選択する操作を行う。この利用者によるキーの選択はキー選 択検知手段で検知され、その選択されたキーに対応する所定のデータ処理がデータ 処理手段で実行される。以上のように物理的なキーボードを接続することなぐこれを 接続したときと同様の操作を利用者が行うことができるので、移動体通信端末の小型 化及び携帯性の向上などを図ることができる。

ここで、上記「キー配列画像」は、移動体通信端末に対して利用者がデータ入力や 動作制御のための操作に使用する複数のキーが配列した仮想的な画像である。この 「キー配列画像」としては、パーソナルコンピュータで通常使用されるキーボードと同 じょうなキー配列を有する仮想的なキー配列画像や、ピアノ等の楽器などの鍵盤と同 じょうなキー配列を有する仮想的なキー配列画像などがある。

[0019] なお、上記画像投影手段により投影される操作面画像は二次元的な画像であって もレ、レ、し、あた力も三次元空間の中に操作機器が存在するように視認されるホロダラ フィー技術等によって三次元空間に投影される三次元的な画像であってもよい。 また、上記「移動体通信端末」としては、 PDC (Personal Digital Cellular)方式、 GS 丄 VI (Global system for Mobile Communication)方式、 TIA (Telecommunications Industry Association)方式等の携帯電話機、 IMT (International Mobile

Telecommunications)—2000で標準化された携帯電話機、 TD—SCDMA (Time Division Synchronous Code Division Multiple Access)方式の一つである fD_SCD MA (MC : Multi Carrier)方式の携帯電話機、 PHS (Personal Handyphone System) 、自動車電話機などが挙げられる。また、この「移動体通信端末」としては、上記電話 機のほか、電話機能を有しなレ、 PDA (Personal Digital Assistance)等の移動型の情 報通信端末も挙げられる。

また、上記移動体通信端末におけるデータ処理や制御は、それらに設けられたコ ンピュータで所定のプログラム（アプリケーションプログラムを含む。）を実行することに よって実現することもできる。また、このコンピュータで用いるプログラムの受け渡しは 、デジタル情報としてプログラムを記録した FD, CD— ROM等の記録媒体を用いて 行なってもレ、レ、し、コンピュータネットワーク等の通信ネットワークを用いて行なっても よい。

本発明に係る移動体通信端末に設けられたコンピュータで実行可能なプログラムと しては、次のようなアプリケーションプログラムが挙げられる。

例えば、本発明に係るアプリケーションプログラムは、複数種類の仮想的な操作面 画像それぞれに対応した複数の画像データを記憶する記憶手段と、該記憶手段に 記憶された画像データに基づいて該操作面画像を投影するための画像投影手段と 、該画像投影手段により投影された操作面画像上の操作を検知する操作検知手段 と、該記憶手段に記憶された複数の画像データの中から 1つの画像データを選択し 、選択した画像データの操作面画像を該画像投影手段により投影させる制御手段と を備えた電子機器に設けられるコンピュータで実行可能なアプリケーションプログラム であって、上記記憶手段に記憶された複数の画像データの中から上記画像投影手 段に投影させる操作面画像の画像データを上記制御手段に選択させるための画像 選択命令を生成する命令生成手段、及び、上記操作検知手段により検知された操 作に対応するデータ処理を行うデータ処理手段として、上記コンピュータを機能させ ることを特 ί数とするものである。

また、本発明に係る他のアプリケーションプログラムは、仮想的な操作面画像を投 影するための画像投影手段と、該画像投影手段により投影されたキー配列画像上の 操作を検知する操作検知手段と、複数のアプリケーションプログラムの中から選択さ れたアプリケーションプログラムを実行するアプリケーションプログラム実行管理手段 と、該選択されたアプリケーションプログラムの内容に含まれる該操作面画像の画像 データを読み出すデータ読出手段と、該データ読出手段により読み出した画像デー タに基づく操作面画像を、該選択されたアプリケーションプログラムの実行の際に、 上記画像投影手段により投影させる制御手段とを有する電子機器に設けられるコン ピュータで実行可能なアプリケーションプログラムであって、上記データ読出手段によ り読み出される上記操作面画像の画像データを含むとともに、上記操作検知手段に より検知された操作に対応するデータ処理を行うデータ処理手段として上記コンビュ ータを機能させることを特徴とするものである。

また、上記アプリケーションプログラムは、移動体通信端末のプラットフォームに依 存しないアプリケーションプログラムだけでなぐ移動体通信端末のプラットフォーム に依存するアプリケーションプログラムも含まれる。

発明の効果

[0021] 本発明によれば、キーボード等の別部材を接続したりすることなぐ利用者が操作 可能な面上に仮想的な操作面画像を投影し、その操作面画像上で操作を行うことが できるので、移動体通信端末の携帯性を確保することができる。しかも、データ処理 手段で実行する所定のデータ処理の内容に応じた任意の操作面画像を投影して用 いることができるので、操作性に優れ且つ自由度の高い操作が可能になる。

図面の簡単な説明

[0022] [図 1]本発明の第 1の実施形態に係る携帯電話機の概略構成の一例を示すブロック 図。

[図 2]同携帯電話機の画像投影部の一構成例を示すブロック図。

[図 3]画像投影部の他の構成例を示すブロック図。

[図 4Α]画像投影部の更に他の構成例を示す携帯電話機のカメラ'照明ランプ機能利 用時における内部構成図。

園 4B]同携帯電話機の画像投影機能利用時における内部構成図。

園 5A]画像投影部の更に他の構成例を示すブロック図。

園 5B]同画像投影部を備えた携帯電話機の部分側面図。

園 6A]キーボード画像を投影している携帯電話機の斜視図。

園 6B]ゲームコントローラ画像を投影している携帯電話機の斜視図。

園 7]同携帯電話機のキー選択検知部の一構成例を示すブロック図。

園 8]キーボード画像を投影している携帯電話機の側面図。

園 9]キー選択操作の検知の原理を示す説明図。

園 10]変形例に係るキー選択操作の検知の原理を示す説明図。

園 11]キー選択検知部の他の構成例を示すブロック図。

[図 12]本発明の第 2の実施形態に係る携帯電話機が利用可能な移動体通信システ ムの全体構成を説明するための説明図。

園 13]同移動体通信システムを構成するダウンロードサーバのハードウェア構成の一 例を示す概略構成図。

[図 14]同移動体通信システムで使用可能な携帯電話機の概略構成の一例を示すブ ロック図。

園 15]同携帯電話機におけるソフトウェア構造の一例を示す説明図。

園 16]同携帯電話機でアプリケーションプログラムを実行する際の制御の流れの一 例を示すフローチャート。

園 17]本発明の第 3の実施形態に係る携帯電話機でアプリケーションプログラムを実 行する際の制御の流れの一例を示すフローチャート。

園 18]同携帯電話機のキー選択検知部の一構成例を示すブロック図。

園 19]本発明の第 4の実施形態に係る携帯電話機における選択キー画像変更処理 に関する制御ブロック図。

園 20]同選択キー画像変更処理によりキー画像の色が変更された様子を説明するた めの携帯電話機の斜視図。

園 21]利用者が誤ってキー操作したときの様子を説明するための携帯電話機の斜視 図。

[図 22]変形例に係る携帯電話機が有する操作位置検知部の一構成例を示すブロッ ク図。

[図 23]変形例において、利用者が描レ、た文字の軌跡部分の色が変更された様子を 説明するための携帯電話機の斜視図。

[図 24]他の変形例において、メニュー画面のうち利用者が選択したメニューの色が変 更された様子を説明するための携帯電話機の斜視図。

[図 25]更に他の変形例に係る携帯電話機の斜視図。

[図 26A]同携帯電話機の通常の動作モード (カメラ'照明ランプ機能利用時）における 内部構成図。

[図 26B]同携帯電話機のキー入力動作モード (画像投影機能利用時)における内部 構成図。

符号の説明

100 携帯電話機

100a 本体部

100b 蓋部

111 主制御部

113 無線通信部

119 表示部（液晶ディスプレイ）

130 画像投影部

140 カメラ咅 B

150 アプリケーションプログラム実行管理部

180 キー選択検知部

161 第 1の光出射 '検知部

162 第 2の光出射 '検知部

163 光源駆動部

164 キー選択データ生成部

200 投影面 210 キーボード画像

210a 選択対象のキー

300 指

310 ゲームコントローラ画像

405 手書き入力操作面画像

410 メニュー選択画像

発明を実施するための最良の形態

[0024] 〔実施形態 1〕

まず、本発明の第 1の実施形態について説明する。

図 1は、本実施形態 1に係る移動体通信端末 (電子機器)としての携帯電話機の全 体構成の一例を示すブロック図である。この携帯電話機の本体部分 100は、制御手 段としての主制御部 111、記憶手段としての内部メモリ 112、通信手段としての無線 通信部 113及びアンテナ 114を備えている。また、主制御部 111には、音声処理部 1 15を介してマイク 116及びスピーカ 117が接続され、画像処理部 118を介して画像 表示部 119が接続され、更に携帯電話機本体に設けられているキー操作部 120が 接続されている。

また、本実施形態の携帯電話機は、利用者が視認可能な外部投影面 (以下、単に 「投影面」という） 200に画像を投影するための画像投影手段としての画像投影部 13 0と、人物や風景などの画像を撮像する撮像手段としてのカメラ部 140とを備えている 。さらに、同携帯電話機は、利用者が操作可能な投影面 200に投影された操作面画 像としてのキーボード画像 (仮想的なキー配列画像）上のどのキーが選択されたかを 検知する操作検知手段としてのキー選択検知部 (キー選択検知手段） 180を備えて いる。画像投影部 130及びキー選択検知部 180の詳しい構成及び動作については 後述する。

[0025] 上記主制御部 111は例えば CPU、キャッシュメモリ、システムバス等で構成され、 所定の制御プログラムを実行することにより内部メモリ 112や無線通信部 113等の各 部との間でデータの送受信を行ったり各部を制御したりする。また、主制御部 111は 、画像投影部 130による画像投影やキー選択検知部 180によるキー選択検知を制 御する制御手段としても用いられる。更に、主制御部 111は、キー選択検知部 180か ら出力される検知データとしてのキー選択データに基づいて、利用者のキー選択操 作に対応する所定のデータ処理、すなわち、利用者によって選択されたキーに対応 する所定のデータ処理を実行するデータ処理手段としても用いられる。このデータ処 理としては、例えば選択されたキーに対応する文字データをディスプレイに表示した り内部メモリに記憶したりするデータ処理や、ゲーム等のアプリケーションプログラム の実行内容を変化させたりするデータ処理が挙げられる。

[0026] 上記内部メモリ 112は例えば RAMや ROMなどの半導体メモリで構成され、主制 御部 111で実行する制御プログラムや各種データを記憶するものである。また、この 内部メモリ 112は、情報提供サイトなどからダウンロードした画像、音楽、プログラム等 のコンテンツデータを記憶するコンテンツデータ記憶手段としても用いられる。更に、 この内部メモリ 112は、スピーカ 117から出力する音のデータ、画像表示部 119に表 示する画像データ、画像投影部 130で投影する画像データ、キー選択検知部 180 で検知したキー選択データを記憶するデータ記憶手段としても用いられる。

[0027] 上記無線通信部 113は主制御部 111で制御され、アンテナ 114を介して、所定の 通信方式により通信ネットワークとしての携帯電話通信網の基地局との間で無線通 信を行うものである。この無線通信により、特定の携帯電話機等との間で音声電話通 信を行ったり、電子メールの送受信や情報提供サイトからのコンテンツダウンロード等 のデータ通信を行ったりすることができる。

[0028] 上記音声処理部 115は、マイクロフォン 116から入力された送話音声信号を所定 方式で符号化して主制御部 111に送る。また、この音声処理部 115は、無線通信部 113で受信した受話音声信号を復号化してスピーカ 117から出力する。更に、この音 声処理部 115は、内部メモリ 112に記憶されてレ、る着信メロディやアプリケーションプ ログラムで用いる効果音等の音信号をスピーカ 117から出力する。音を出力する音 出力手段は、音声処理部 115及びスピーカ 117を用レ、て構成されてレ、る。

[0029] 上記画像処理部 118は、無線通信部 113で受信した画像データや、内部メモリ 11 2に記憶されているアイコンやメニュー、着信通知画像等の画像データを処理し、液 晶ディスプレイ (LCD)等からなる画像表示部 119に表示させる。 [0030] 上記キー操作部 120は、データ入力キー（テンキー、 *キー、 #キー）、通話開始 キー、終話キー、スクロールキー、多機能キー等を備え、電話の発信や着信のほか、 表示部 119に表示される情報のスクロールや選択等に用いる。

また、このキー操作部 120は、キー選択検知部 180が有する複数の認識機能とし てのキー選択検知機能の少なくとも 1つを指定するための指定手段としても用いられ る。

[0031] 図 2は、上記画像投影部 130の一構成例を示すブロック図である。この画像投影部 130はビーム光源 131と光学スキャナー 132とそれらを駆動するための駆動制御部 1 33とを用いて構成されている。ビーム光源 131としては、 LD (半導体レーザ）や LED (発光ダイオード)等を用いることができる。ビーム光源 131から出射されるビーム光 の強度は、主制御部 111から送られてきた制御データに基づいて駆動制御部 133に より制御される。光学スキャナー 132は、ビーム光源 131から発したビーム光を 2次元 的に走査しながら投影面 200に投射する光学装置である。光学スキャナー 132によ るビーム光の走査は、ビーム光源 131と同様に駆動制御部 133により駆動制御され る。この光学スキャナー 132としては、例えば小型で高速走査が可能なガルバノミラ 一を用いたものを使用することができる。また、上記駆動制御部 133は、画像データ を記憶する画像メモリを有し、予め設定登録された投影対象の画像データや、主制 御部 111から制御データとともに送られてきた投影対象の画像データが記憶される。 この画像メモリに記憶されている画像データに基づいて、上記ビーム光源 131及び 光学スキャナー 132が駆動制御される。

上記ビーム光源 131として互いに波長が異なる複数種類のビーム光（例えば 3原色 ビーム光）を出射可能なものを用レ、、各ビーム光を同時に走査して投射すれば、カラ 一画像を投影面 200上に投影することができる。

また、上記ビーム光源 131として、互いに独立に強度制御可能な発光点力 S1列状に 並んだ 1次元アレイ素子からなる光源を用いることもできる。この場合は、光源から出 射されたライン状の光を光学スキャナー 132で 1次元的に走查すればよい。

また、上記ビーム光源 131として、互いに独立に強度制御可能な発光点が 2次元 的に並んだ 2次元アレイ素子からなる光源を用いることもできる。この場合は、光学ス キヤナー 132の代わりに、光源上に表示された 2次元的な画像を拡大して投影面 20 0上に投影する拡大投影光学系を用いる。

[0032] 図 3は、上記画像投影部 130の他の構成例を示すブロック図である。この画像投影 部 130は、ランプ等の光源 134と、空間光変調器 135と、拡大投影光学系 136と、駆 動制御部 133とを用いて構成されている。

空間光変調器 135としては、例えば通常の携帯電話機等で使用されている液晶デ イスプレイを用いることができる。この場合は、透過型の液晶ディスプレイでの表示モ 一ドとは反対に画像を白黒反転させて表示する。このように白黒反転して表示した液 晶ディスプレイの表面に光源 134からの光を照射し、その反射像を拡大投影光学系 136で拡大して投影面 200上に投影する。なお、この液晶ディスプレイとしては、通 常の携帯電話機等で設けられている液晶ディスプレイを兼用してもよい。

また、空間光変調器 135としては、互いに独立に傾きを制御可能な小型のミラーを 2次元的に並べたものを使用することもできる。この場合は、画像データに基づいて、 各ミラーの傾きを制御し、各ミラーから投影面 200側へ向かう光の反射光をオン/ォ フする。この空間光変調器 135からの反射像は、拡大投影光学系 136で拡大して投 影面 200上に投影される。

[0033] 図 4A及び図 4Bはそれぞれ、更に他の構成例に係る画像投影部を備えた携帯電 話機の内部構成図である。本構成例の画像投影部 130は、投影対象の光像を生成 するための光生成部 130'と、光生成部 130'で生成した光像を投影面 200上に結 像して投影するための投影結像光学系とを用いて構成されている。この光生成部 13 0'としては、後述の LED部 137及び液晶パネル部 138が兼用され、上記投影結像 光学系としては後述のカメラ結像用光学系 150が兼用されている。 LED部 137から 出射した光は、画像データに基づいて制御された液晶パネル部 138で変調され、こ れにより、投影対象の光像が生成される。この投影対象の光像は、投影結像用光学 系として兼用したカメラ結像用光学系 150によって投影面 200に投影される。

また、この構成例におけるカメラ機能は、光像を電気信号に変換して画像データを 生成するカメラ部 140と、撮像対象の光像をカメラ部 140上に結像するためのカメラ 結像用光学系 150とにより実現される。カメラ部 140は、 CMOS型撮像デバイスや C CD型撮像デバイス等で構成され、これらの撮像デバイスの駆動や撮像した画像デ ータの保存等は主制御部 111によって制御される。カメラ結像用光学系 150は、ズ ーム機能を持たせるように複数のレンズの位置を変化させる駆動機構を有し、この駆 動機構は主制御部 111から制御される。撮像対象の光像は、カメラ結像用光学系 15 0でカメラ部 140の受光面上に結像される。この結像された光像がカメラ部 140で電 気信号に変換されて画像データが生成される。カメラ部 140で生成された画像デー タは、内部メモリ 112等のデータ記憶部に保存される。

更に、この構成例における照明ランプ機能は、光源としての LED部 137及び空間 光変調部としての液晶パネル部 138からなる光生成部 130と、その光源から出射し た光を拡散して外部の照射面に均一照射するための拡散照射用光学系 155とにより 実現される。 LED部 137は、例えば白色の高輝度発光ダイオードによって構成され 、主制御部 111によって発光の ONZOFF等が制御される。液晶パネル部 138は、 主制御部 111からの制御データに基づいて、 2次元的に形成された多数の画素の透 過率を互いに独立に制御できるように構成されている。本構成例では、透過型の液 晶パネルを用いている力 反射型の液晶パネルを用いてもよレ、。 LED部 137から出 射した光は、全面の画素について光透過率が最大になるように制御された液晶パネ ル部 138で均一に透過され、拡散照射対象の光が生成される。この液晶パネル部 1 38で生成された拡散照射対象の光が拡散照射用光学系 155で拡散させて外部の 照射面に均一照射される。

図 4A及び図 4Bに示す構成例では、上記カメラ機能及び照明ランプ機能と上記画 像投影の機能を切り換えて利用するために、カメラ部 140及び光生成部 130' (LED 部 137及び液晶パネル部 138)を所定の位置に連動して移動できるように構成され ている。

図 4Aに示すようにカメラ機能及び照明ランプ機能を利用する場合は、カメラ部 140 及び光生成部 130' (LED部 137及び液晶パネル部 138)を次の位置に移動させて おく。すなわち、光生成部 130' (LED部 137及び液晶パネル部 138)を、拡散照射 用光学系 155に向けて光を出射する拡散照射用位置 Aに移動させておく。また、カメ ラ部 140を、カメラ結像用光学系 150からの光像を受ける結像用位置 Bに移動させて おく。一方、図 4Bに示すように画像投影の機能を利用する場合は、カメラ部 140及 び光生成部 130' (LED部 137及び液晶パネル部 138)を、図中の黒塗りの矢印で 示す方向に沿って次の位置に移動させておく。すなわち、光生成部 130' (LED部 1 37及び液晶パネル部 138)を、カメラ部 140と入れ替えて結像用位置 Bに移動させ ておく。また、カメラ部 140を、結像用位置 Bから退避した退避位置 Cに移動させてお く。このように移動させた状態で、例えば待ち受け状態でカメラ結像用光学系 150が 露出した開口を所望の投影面 200に向けて机の上に置いたり、携帯電話機用の充 電器にセットしたりしておく。また、利用者は、キー操作部 120を操作することにより画 像投影を行う画像投影モードのいずれかに設定する。

[0035] また、図 5Aに示すように携帯電話機の画像表示部 119が 2つの液晶ディスプレイ（ 正面ディスプレイ 119a及び背面ディスプレイ 119b)で構成されてレ、る場合は、一方 の背面ディスプレイ 119aを画像投影部の光源として兼用してもよい。この場合、背面 ディスプレイ 119aに表示された画像は、拡大投影光学系 136によって投影面 200上 に投影される。この拡大投影光学系 136は、携帯電話機本体 100に対して着脱可能 に構成されている。通常は携帯電話機本体 100から取り外されており、画像投影に 使用するときに、両端部に設けられた装着固定部 136aによって携帯電話機本体 10 0の背面ディスプレイ 119b上に装着することができる。また、図 5Bのように背面ディス プレイ 119bの画像を投影する場合は、背面ディスプレイ 119bの光量を通常の画像 表示時よりも高めるように主制御部 111で制御するのが好ましい。この場合は、投影 された画像の視認性を向上させることができる。また、図 5A及び図 5Bの構成におい て、背面ディスプレイ 119bの画像を左右反転して投影する投影光学系 136を使用 する場合がある。この場合は、画像投影時に、通常の画像表示時とは左右反転させ て背面ディスプレイ 119bに画像を表示する。これにより、文字情報等の画像を通常 の画像表示時と同じ左右正しい向きで投影することができる。

[0036] なお、画像投影部 130の構成は図 2 図 5の構成に限定されるものではなレ、。例え ば、ホログラム素子を用いて投影するような構成であってもよレ、。

[0037] 図 6A及び図 6Bはそれぞれ、上記画像投影部 130を備えた折り畳み式の携帯電 話機 100の本体力も離れた位置で利用者が操作可能な投影面上の所定の投影エリ ァに操作面画像としての仮想的なキー配列画像を投影している様子を示した説明図 である。図 6Aは、キー配列画像が、パソコンで通常使用されるキーボードの操作面 を表すキーボード画像 210である例を示すものである。図 6Bは、キー配列画像が、 ゲーム機で使用されるコントローラの操作面を表すゲームコントローラ画像 310である 例を示すものである。この携帯電話機 100は、画像投影部 130の光出射口を所望の 投影面に向けて机の上に置いたり、携帯電話機用の充電器にセットしたりしておく。 この画像投影部 130で投影エリアに投影されたキー配列画像 210, 310上のどのキ 一が選択されたかは、キー選択検知部 180で検知される。

[0038] 次に、本実施形態の携帯電話機におけるキー選択検知部 180について説明する。

図 7は、上記キー選択検知部 180の一構成例の概略構成を示すブロック図である。 このキー選択検知部 180は、操作物体検知手段（キー入力動作検知手段）としての キー入力動作検知部 160と、操作検知データ生成手段 (キー選択データ生成手段） としてのキー選択データ生成部 170とを用いて構成されている。キー入力動作検知 部 160は、上記キー配列画像 210, 310上におけるキー選択のための指やポインタ 一等のキー入力操作物体による操作 (キー入力動作)を検知するものであり、携帯電 話機 100の本体部 100aのヒンジ部近傍の両端に設けられた 2つの光出射 '検知部 1 61、 162と、光源駆動部 163とを用いて構成されている。また、キー選択データ生成 部 170は、キー入力動作検知部 160の検知結果に基づいてキー入力操作物体によ るキー入力動作に対応するキー選択データを生成するものである。

[0039] 本実施形態の携帯電話機でキー配列画像 210, 310を投影してキー入力を行うと きは、図 6A及び図 6Bに示すように、蓋部 100bを回転軸 Aを中心に矢印 Bのように 1 80度回転させて携帯電話機を設置する。このように設置することにより、利用者がキ 一配列画像 210, 310上でキー入力操作を行いながら、表示部（液晶ディスプレイ） 119に表示される文字情報や実行中のゲームなどの画像を確認することができる。 各光出射'検知部 161、 162は、レーザ光を出射する半導体レーザ等からなるレー ザ光源 161a， 162aと、フォトトランジスタや CCDアレイ素子などからなる受光センサ 161b, 162bとにより構成されてレ、る。レーザ光源 161a， 162aはそれぞれ、キー配 列画像 210, 310が投影されている投影エリアの面に沿ってその投影エリア上のキ 一配列画像 210, 310の全体をカバーするようにレーザ光を扇状にスキャンして出射 する。受光センサ 161b, 162bはそれぞれ、各レーザ光源 161a, 162aからのレーザ 光が利用者の指 300やポインタ一部材で遮られて反射してきた反射レーザ光を受光 し、検知信号を出力する。

[0040] なお、図 7の構成の場合、上記 2つの受光センサ 161b, 162bは、それぞれ組にな つてレ、るレーザ光源からのレーザ光のみを受光する必要がある力 両方のレーザ光 源 161a， 162aから出射して反射した反射レーザ光を同時に受光して誤検知するお それがある。例えば、レーザ光源 161aから出射して反射した反射レーザ光を、組に なっている受光センサ 161bではなぐもう一つの受光センサ 162bで受光して誤検知 する場合がある。そこで、上記誤検知を防止するために、各光出射'検知部 161、 16 2で用いるレーザ光の波長を互いに異ならせるのが好ましい。また、レーザ光の波長 を異ならせる代わりに又はレーザ光の波長を異ならせるとともに、各光出射'検知部 1 61、 162で用いるレーザ光を互いに異なるコードで変調するようにしてもよレ、。この場 合、各光出射'検知部 161、 162ではそれぞれ所定のコードで変調された反射レー ザ光のみを受光して復調処理して検知信号として出力することができる。

[0041] 上記光源駆動部 163は、前述の主制御部 1 11からの制御指令に応じて制御され、 上記レーザ光源 161a, 162a及び受光センサ 161b, 162bに所定の駆動電圧を印 加したり駆動電流を供給したりする。また、光源駆動部 163は、主制御部 111からの 制御指令に応じて、レーザ光源 161a, 162aから出射されるレーザ光出射角度を変 化させる。

[0042] 上記キー選択データ生成部 170は、前述の主制御部 111からの制御指令に応じて 制御され、上記受光センサ 16 lb, 162bで反射レーザ光が検知されたときの各レー ザ光出射角度 Θ 1、 Θ 2のデータを用いて演算することにより、どのキーが選択された かを示すキー選択データを生成する。この演算は、上記投影しているキー配列画像 の種類に対応する所定の演算用データテーブルや演算アルゴリズムを用レ、て行わ れる。

なお、このキー選択データ生成部 170は、主制御部 111内に設け、主制御部 11 1 を兼用するように構成してもよレ、。 [0043] 図 8はキー配列画像を投影している携帯電話機の部分側面図である。また、図 9は 上記キー選択検知部 180におけるキー選択操作の検知の原理を説明する説明図で ある。なお、これらの図は、図 6Aに示すキーボード画像 210に対応するものであるが 、図 6Bに示すゲームコントローラ画像 310においても同様である。

図 8及び図 9において、例えば指 300やポインタ一等を符号 210aで示す選択対象 のキー（例えば、アルファベットの「G」）の位置に移動させて選択すると、各光出射- 検知部 161、 162のレーザ光源 161a, 162aから角度を走査して出射されるレーザ 光 Ul、 Li2が遮られて反射される。このレーザ光 Lil、 Li2はそれぞれ所定の出射角 度 Θ 1、 Θ 2になったときに反射される。各反射レーザ光 Lrl、 Lr2はそれぞれ対応す る受光センサ 161b， 162bで受光される。この受光センサ 161b， 162bで各反射レ 一ザ光 Lrl、 Lr2が検知されたときのレーザ光源 161a， 162aの出射角度 Θ 1、 Θ 2の データが、上記キー選択データ生成部 170に送られてキー選択データの生成に用 レ、られる。すなわち、上記レーザ光源 161a, 162aの出射角度 Θ 1、 Θ 2の値がわか ると、選択されたキーの位置（図 9中の「G」キーの画像が投影された位置）がー意的 に決まるため、その選択された「G」キーを識別するキー選択データを生成することが できる。

2つのキーや 3つ以上のキーを同時に選択した場合も、同様な原理により、各キー の選択を検知して複数のキー選択データを生成することができる。

[0044] 主制御部 111は、上記キー選択検知部 180のキー選択データ生成部 170から出 力されるキー選択データに基づいて、その選択されたキーに対応する所定のデータ 処理を実行する。例えば、選択されたキーに対応する文字データを表示部 (液晶ディ スプレイ） 119に表示したり内部メモリに記憶したりする。また、上記キー選択データ に基づレ、て、ゲーム等のアプリケーションプログラムの実行内容を変化させる。

[0045] なお、上記出射角度 Θ 1、 Θ 2の値からキー選択データを生成するときの演算用デ ータテーブルは、上記画像投影部 130で投影するキー配列画像 120， 130との関係 で予め設定したものを用いる。または、上記キー配列画像 120， 130を用いたキー入 力を行う前に、そのキー配列画像上の所定の基準キー（四隅のキーや中央のキー） について出射角度を測定し、その値を用いて演算用データテーブルを補正し、上記 キー選択データをより正確に求めて生成するようにしてもょレ、。

[0046] また、上記図 9の例では、各光出射'検知部 161、 162における出射角度 Θ 1、 Θ 2 の値を求めている力 図 10に示すように各光出射 ·検知部 161、 162と選択対象の キーとの距離 Dl、 D2の値を求めるようにしてもよレ、。この距離 Dl、 D2の値は、例え ば、各光出射'検知部 161、 162の受光センサ 161b, 162bで受光する各反射レー ザ光 Lrl、 Lr2の減衰の程度から求めることができる。また、上記距離 Dl、 D2の値は 、出射レーザ光 L 、 Li2とそれぞれ対応する反射レーザ光 Lrl、 Lr2との干渉から求 めてもよい。

[0047] また、図 6—図 10の例では光出射 ·検知部 161、 162を 2箇所に設けている力 3箇 所又は 4箇所以上に設けて上記キー選択の検知をより正確に行うようにしてもよい。 また、利用者の指がホームポジションにあるときに上記光出射'検知部 161、 162か らのレーザ光を遮っている場合は、選択対象のキー画像の上で指の上下動に伴う反 射レーザ光の受光強度の変化を利用してもよい。例えば、利用者が選択対象のキー 画像の上で指を上下動させたとき、受光センサ 161b, 162bで受光する各反射レー ザ光 Lrl、 Lr2の強度が一定期間だけゼロレベルになる。この各反射レーザ光 Lrl、 L r2の強度の変化があつたときに、そのキーが選択されたと判定し、キー選択データを 生成する。

[0048] 次に、上記キー選択検知部 180における複数のキー選択検知機能の切り換えにつ いて説明する。

本実施形態のキー選択検知部 180は、キーの種類や配置が互いに異なる複数種 類のキー配列画像のそれぞれについて、そのキー配列画像上における利用者の指 や操作補助具等の操作物体の位置、向き及び動きの少なくとも一つからキー選択操 作の内容を認識する互いに異なる複数種類の認識機能としてのキー選択検知機能 を有している。

前述の図 7に示すキー選択検知部 180のキー選択データ生成部 164は、 3種類の キー選択検知機能を備えている。第 1のキー選択検知機能及び第 2のキー選択検知 機能はそれぞれ、図 6Aに示したキーボード画像 210に対応したキーボード画像用 認識エンジンで実現される。第 1のキー選択検知機能は、パーソナルコンピュータで 通常使用される日本語のキーボード画像 210に対応したキーボード用認識エンジン 1で実現される。第 2のキー選択検知機能は、英語用に特化されたキーボード画像 2 10に対応したキーボード用認識エンジン 2で実現される。また、第 3のキー選択検知 機能は、携帯電話機で実行するピアノ演奏用のアプリケーションプログラムで使用す るピアノ鍵盤のキー配列画像に対応したピアノ鍵盤用認識エンジンで実現される。

[0049] 図 11は、上記キー選択検知部 180の他の構成例を示すブロック図である。このキ 一選択検知部 180のキー選択データ生成部 170は、 2種類のキー選択検知機能を 備えている。第 1のキー選択検知機能は、図 6Aに示したキーボード画像 210に対応 したキーボード画像用認識エンジンで実現される。また、第 2のキー選択検知機能は 、図 6Bに示したゲームコントローラ画像 310に対応したゲームコントローラ画像用認 識エンジンで実現される。

[0050] 各認識エンジンは、各用途のために予め設計された演算用データテーブル及び演 算アルゴリズムに基づいて作成されたキー選択認識用演算プログラムで構成される。 各認識エンジンは、演算用データテーブル及び演算アルゴリズムのうち少なくとも一 方が異なる。

[0051] 上記キー選択検知機能を切り換えることきは、携帯電話機本体にあるキーを操作し 、キー選択認識エンジン指定用の画面を表示部（液晶ディスプレイ） 119に表示する 。そして、例えば図 7に示す 3つの認識エンジン（キーボード用認識エンジン 1、キー ボード用認識エンジン 2、ピアノ鍵盤用認識エンジン）の中からいずれか一つの認識 エンジンを指定し、画面上の確定用アイコン (例えば「〇K」）をクリックする。これにより 、利用者が希望するキー選択機能を実現する認識エンジンを指定することができる。 キー選択検知部では、主制御部 111により、上記認識エンジンの指定データに基づ き、利用者が指定した認識エンジンを用いてキー選択検知の処理を実行するように 制御される。また、画像投影部 130は、主制御部 111により、上記認識エンジンの指 定データに基づき、メモリに記憶されている複数種類のキー配列画像の中から、利用 者が指定したキー選択検知機能 (認識エンジン）に対応したキー配列画像を選択し て投影するように制御される。

[0052] なお、上記キー選択検知機能 (認識エンジン）を指定する代わりに、キー配列画像（ キーボード画像、ピアノ鍵盤画像、ゲームコントローラ画像）を利用者が指定するよう にしてもよい。この場合は、利用者によって指定されたキー配列画像が投影されると ともに、そのキー配列画像に対応する認識エンジンを用いてキー選択検知の処理を 実行するように制御される。

[0053] 以上、本実施形態 1によれば、キーボード等の別部材を接続したりすることなぐ利 用者が操作可能な面上に仮想的なキー配列画像を投影し、そのキー配列画像上で キーを選択する操作を行うことができるので、携帯電話機の携帯性を確保することが できる。し力、も、主制御部 111で実行する所定のデータ処理の内容に応じた任意の キー配列画像を投影して用いることができるので、操作性に優れ且つ自由度の高い キー配列によるキーの選択操作が可能になる。

また、本実施形態 1によれば、複数種類のキー配列画像のいずれかのキー配列画 像上で利用者がキーを選択する操作を行うときに、その利用者によるキーの選択を、 利用者が用いたキー配列画像に対応するキー選択検知機能を用いて検知すること ができる。したがって、複数種類のキー配列画像それぞれついてキーの選択操作を 正確に検知し、その選択したキーに対応する文字情報の表示やゲーム進行などの 所定のデータ処理を確実に実行することができる。

また、本実施形態 1によれば、上記 3種類のキー選択検知機能の中から、利用者が 希望するキー選択の検知に用いるキー選択検知機能や投影対象のキー配列画像を 利用者が指定することができる。

また、本実施形態 1によれば、上記 3種類のキー選択検知機能から選択されたキー 選択検知機能に対応するキー配列画像を、外部投影面 200上に投影して用いること ができるので、キー配列画像を印刷等で形成した部材を用意する必要がなレ、。しか も、キー配列画像を投影する場合は、キー選択検知手段によるキー選択検知に適す る位置にキー配列画像の位置を調整して投影できるので、キー配列画像の基準位 置を合わせる検知ゃ操作を行うことなぐキー選択を精度良く検知することができる。

[0054] 〔実施形態 2〕

次に、本発明の第 2の実施形態について説明する。

なお、本実施形態 2に係る移動体通信端末としての携帯電話機の基本的な構成及 び動作等については、前述の第 1の実施形態の場合と同様なものを採用することが できるため、共通する部分の説明を省略する。以下、前述の第 1の実施形態における 構成や動作と異なる部分について説明する。

[0055] 本実施形態 2の携帯電話機 100は、プラットフォームに依存しないオブジェクト指向 プログラミングによって開発されたアプリケーションプログラムを実行可能に構成され ている。具体的には、上記キー選択検知部 180によるキー選択検知動作や、画像投 影部 130の起動及びその画像投影部 130によるキー配列画像の投影動作は、アブ リケーシヨンプログラムからの指令に基づいて実行される。このアプリケーションプログ ラムとしては、 JAVA (登録商標）、 C、 C+ +等のプログラム言語で記述されたアプリ ケーシヨンプログラムなどが挙げられる。また、これらのアプリケーションプログラムの 実行環境は、 JAVA (登録商標）の VM (Virtual Machine)や BREW (登録商標）等の ミドルウェアによって構築される。このアプリケーションプログラムは、携帯電話機 100 にプレインストールされているものであってもいいし、通信ネットワークとしての携帯電 話通信網を介してダウンロードサーノくからダウンロードし携帯電話機 100に保存して 登録したものでもよい。

[0056] 図 12は、本実施形態の携帯電話機 100で利用するアプリケーションプログラムを取 得することができる移動体通信システムの全体構成を説明するための説明図である。 この移動体通信システムにおいて、利用者 1が使用する携帯電話機 100は、利用 者 1によって登録されたアプリケーションプログラムを、上記アプリケーションプロダラ ム実行管理部 125において実行可能な構成になっている。本実施形態において、こ のアプリケーションプログラムは、プラットフォームに依存しないオブジェクト指向プロ グラミングによって開発されたものである。このようなアプリケーションプログラムとして は、 JAVA (登録商標）で記述されたアプリケーションプログラム、 BREW (登録商標） のアプリケーション実行環境上で動作するアプリケーションプログラムなどが挙げられ る。上記携帯電話機 100は、通信ネットワークとしての携帯電話通信網 10に接続可 能である。また、この携帯電話通信網 10には、プログラム提供用サーバとしてのアブ リケーシヨンプログラムダウンロードサーバ（以下、「ダウンロードサーノ 」という。）11が 接続されている。このダウンロードサーバ 11は、携帯電話機 100からのダウンロード 要求を受け付けると、その要求に係るアプリケーションプログラムを携帯電話機 100 に対して送信する。

[0057] ダウンロードサーバ 11から提供されるアプリケーションプログラムは、アプリケーショ ンプログラムの開発元 2から提供される。具体的には、例えば、アプリケーションプロ グラム開発元 2側のパーソナルコンピュータ等から、専用回線や公衆回線を介してダ ゥンロードサーバ 11にアップロードして提供する。なお、開発したアプリケーションプ ログラムを記録した光ディスクや磁気ディスク等の記録媒体を、アプリケーションプロ グラム開発元 2からダウンロードサーバ 11を管理 ·運営する通信事業者に送り、その 記録媒体内のアプリケーションプログラムをダウンロードサーバ 11で読み取るようにし て、提供してもよレ、。このようにして提供されたアプリケーションプログラムは、携帯電 話機 100から携帯電話通信網 10を介してダウンロード可能な状態でダウンロードサ ーバ 11に登録される。

[0058] 図 13は、上記ダウンロードサーバ 11のハードウェア構成を示す概略構成図である 。このダウンロードサーバ 11は、システムバス 12、 CPU13、内部記憶装置、外部記 憶装置 16、入力装置 17及び出力装置 18を備えている。上記内部記憶装置は、 RA M14や ROM15等で構成されている。上記外部記憶装置 16は、ハードディスクドラ イブ (HDD)や光ディスクドライブ等で構成されている。上記入力装置 17は、マウス やキーボード等で構成されている。上記出力装置 18は、ディスプレイやプリンタ等で 構成されている。更に、このダウンロードサーバ 11は、携帯電話通信網 10を介して 各利用者 1の携帯電話機 100と通信するための携帯電話用通信装置 19を備えてい る。

上記 CPU13や RAM14等の構成要素は、システムバス 12を介して、互いにデー タゃプログラムの命令等のやり取りを行っている。このダウンロードサーバ 11を所定 の手順に従って動作させるためのプログラムは、 ROM15や外部記憶装置 16に記憶 されており、必要に応じて CPU13や RAM14上の作業エリアに呼び出されて実行さ れる。また、このダウンロードサーバ 11には、携帯電話機 100に提供するアプリケー シヨンプログラムが外部記憶装置 16に記憶されている。ダウンロードサーバ 11は、携 帯電話機 100からのダウンロード要求に応じ、 CPU13、 RAM14、携帯電話通信網 用通信装置 19等が協働して、外部記憶装置 16に記憶されているアプリケーションプ ログラムを、携帯電話通信網 10を介して携帯電話機 100に送信する機能を有してい る。なお、このダウンロードサーバ 11は、専用の制御装置として構成してもいいし、汎 用のコンピュータシステムを用いて構成してもよレ、。また、 1台のコンピュータで構成し てもいいし、複数の機能をそれぞれ受け持つ複数台のコンピュータをネットワークで 結んで構成してもよい。

図 14は、アプリケーションプログラムを実行可能な携帯電話機の概略構成の一例 を示すブロック図であり、図 15は、その携帯電話機におけるソフトウェア構造の一例 を示す説明図である。この携帯電話機は、前述の主制御部 111等のほか、アプリケ ーシヨンプログラムの実行環境を管理するアプリケーションプログラム実行管理手段と してのアプリケーションプログラム実行管理部 125を備えている。このアプリケーション プログラム実行管理部 125は、システムバス、 CPUや RAM等で構成され、アプリケ ーシヨンプログラムを実行するための所定のミドルウェアにしたがって動作する。ァプ リケーシヨンプログラム実行管理部 125は、図 15のソフトウェア構造上において中央 の「プログラム実行環境」に対応しており、オブジェクト指向プログラミングで開発され たアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、 アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環 境を管理する。

ここで、アプリケーションプログラムは、クラスライブラリ API (アプリケーションインタ 一フェース）を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼 び出して使用できるようになつている。この関数等のクラスライブラリの呼び出しの履 歴は、アプリケーションプログラムの仮想的な実行環境 (仮想マシン: VM)が終了す るまで保持される。また、プログラム実行環境内の実行環境管理ライブラリは、電話機 プラットフォーム APIを介して後述の電話機プラットフォーム内の電話機プラットフォ ームライブラリを呼び出して使用できるようになつている。

上記画像投影及びキー選択検知の制御は、アプリケーションプログラム実行管理 部 125から主制御部 111を介して画像投影部 130やキー選択検知部 180に制御指 令を送ることによって実行する。なお、アプリケーションプログラム実行管理部 125力、 ら画像投影部 130やキー選択検知部 180に制御指令を直接送ることによって実行す るように構成してもよい。

[0060] 上記構成の携帯電話機において、待ち受け用アプリケーションプログラムやゲーム などのアプリケーションプログラムの実行中に、キー配列画像の画像投影やキー選択 検知を行うときは、アプリケーションプログラムからアプリケーションプログラム実行環 境に対し、画像投影起動要求指令やキー選択検知要求指令のための所定の関数の 呼び出しを行う。この関数の呼び出しを受けたアプリケーションプログラム実行環境は 、主制御部 111に対し、画像投影起動要求指令やキー選択検知要求指令を送る。こ の画像投影起動要求指令やキー選択検知要求指令を受けた主制御部 111は、画 像投影部 130に対して起動要求指令及び画像投影用制御データを送るとともに、キ 一選択検知部 180に起動要求指令を送る。

画像投影部 130は、上記起動要求指令に応じて起動し、上記画像投影用制御デ ータに基づいて制御データで指定された所定のキー配列画像の投影を開始する。ま た、キー選択検知部 180は、上記起動要求指令に応じて起動し、画像投影部 130で 投影された仮想的なキー配列画像上におけるキー選択を検知することができる待機 状態になる。

[0061] 図 16は、本実施形態 2に係る携帯電話機におけるアプリケーションプログラムの実 行処理の流れの一例を示すフローチャートである。アプリケーションプログラムを実行 する場合、まず、利用者 1は、その実行対象となるアプリケーションプログラムを上記 ダウンロードサーバ 11からダウンロードして取得し、これを登録する。具体的には、利 用者 1は、携帯電話機 100のキー操作部 120のキーを操作して、ダウンロードサーバ 11にアクセスする。これにより、ダウンロード可能なアプリケーションプログラムを選択 するためのダウンロード選択画面が表示部 119に表示される。そして、そのダウン口 ード選択画面において、実行対象となるアプリケーションプログラムを選択すると、主 制御部 111が無線通信部 113を制御して、そのアプリケーションプログラムをダウン口 ードサーバ 11からダウンロードする。このようにしてダウンロードされたアプリケーショ ンプログラムは、主制御部 111により、内部メモリ 112に記憶される。

[0062] 利用者 1は、ダウンロードしたアプリケーションプログラムを実行する場合、まず、キ 一操作部 120のキーを操作して、実行するアプリケーションプログラムを選択するた めのアプリケーション選択画面を表示部 119上に表示させる。そして、そのアプリケー シヨン選択画面において、実行対象のアプリケーションプログラムをキー操作部 120 のキーを操作して選択する。すると、図 15に示した電話機プラットフォームすなわち 図 14に示した主制御部 111に、アプリケーションプログラムの実行指示が入力される (Sl)。これにより、主制御部 111は、実行指示に係るアプリケーションプログラムを読 み出してこれを起動する（S2)。アプリケーションプログラムが起動すると、図 15に示 したアプリケーション実行環境すなわち図 14に示したアプリケーションプログラム実行 管理部 125上で、そのアプリケーションプログラムが動作する。

アプリケーションプログラムが起動すると、アプリケーションプログラム実行管理部 12 5は、命令生成手段として機能し、アプリケーションプログラムの内容に従ってキー配 列画像選択命令を生成する（S3)。このキー配列画像選択命令は、そのアプリケーシ ヨンプログラムのプロパティ情報中に記述されたキー配列画像 IDに対応する認識ェ ンジンの選択及びキー配列画像の選択を主制御部 111に行わせるためのものである 。本実施形態において、携帯電話機 100の内部メモリ 112には、前述の図 6Aに示し たキーボード画像 210の画像データと、図 6Bに示したゲームコントローラ画像 310の 画像データが、それぞれキー配列画像 IDに関連づけられた状態で、予め記憶され ている。よって、本実施形態 2においては、そのアプリケーションプログラムの開発元 2 は、そのアプリケーションプログラムに適したキー配列画像として、キーボード画像 21 0かゲームコントローラ画像 310のいずれかを選択し、選択したキー配列画像の IDを 、そのアプリケーションプログラムのプロパティ情報に記述する。例えば、そのアプリケ ーシヨンプログラムが文字入力に関するもの（ワープロ等）である場合、キーボード画 像 210に対応するキー配列画像 IDをプロパティ情報に記述する。また、例えば、そ のアプリケーションプログラムがゲームアプリケーションに関するものである場合、ゲ ームコントローラ画像 310に対応するキー配列画像 IDをプロパティ情報に記述する。 本実施形態 2によれば、アプリケーションプログラムの開発元 2は、アプリケーションプ ログラムの開発の際に、予め携帯電話機 100に記憶されているキー配列画像を利用 することで、独自にキー配列画像を作成する必要がなくなり、開発負担が軽減される なお、本実施形態 2では、説明を簡単にするため、携帯電話機 100に予め記憶し ておくキー配列画像は 2種類である力 より多くの種類のアプリケーションプログラム に対応させる場合には、 3種類以上のキー配列画像を予め携帯電話機 100に記憶し ておいてもよい。

[0064] アプリケーションプログラム実行管理部 125で生成されたキー配列画像選択命令は 、電話機プラットフォームの主制御部 111に送られる。この命令を受けた主制御部 11 1は、キー選択検知部 180が複数有するキー選択検知機能 (認識エンジン）の中から 、その命令に係るキー配列画像 IDに対応した認識エンジンを選択する（S4)。そして 、主制御部 111は、上記キー配列画像選択命令に係るキー配列画像 IDに対応した 認識エンジンを指定するための指定データを、キー選択データ生成部 170に送る。 これにより、キー選択データ生成部 170は、その指定データに基づき、指定された認 識エンジンを用いてキー選択検知の処理を実行する。

[0065] また、上記キー配列画像選択命令を受けた主制御部 111は、内部メモリ 112の中 から、その命令に係るキー配列画像 IDに対応した画像データを選択して読み出す。 そして、画像投影部 130を制御して、読み出した画像データに基づくキー配列画像 2 10, 310を投影面 200に投影させる（S5)。これにより、投影面 200には、起動したァ プリケーシヨンプログラムに適したキー配列画像 210, 310が投影される。そして、利 用者は、アプリケーションプログラムを利用するために、そのキー配列画像 210, 310 に対してキー操作を行うと (S6)、これがキー選択検知部 180のキー入力動作検知部 160で検知され、その検知結果がキー選択データ生成部 170に送られる。キー選択 データ生成部 170は、その検知結果に基づき、上記 S4において選択された認識ェ ンジンを用いてキー選択検知の処理を実行して、キー選択データを生成し、これを主 制御部 111に送る。このキー選択データは、主制御部 111からアプリケーションプロ グラム実行管理部 125に送られる。アプリケーションプログラム実行管理部 125は、デ ータ処理手段として機能し、実行中のアプリケーションプログラムの内容に従レ、、その キー選択データに基づいて選択されたキーに対応するデータ処理を行う（S7)。例え ば、実行中のアプリケーションプログラムがワープロである場合、選択されたキーに対 応する文字を表示部 1 19に表示するためのデータ処理を行う。また、実行中のアプリ ケーシヨンプログラムがゲームである場合、例えば表示部 119に表示されているゲー ムキャラクタに、選択されたキーに対応する動作をさせるためのデータ処理を行う。

[0066] 以上、本実施形態 2によれば、実行するアプリケーションプログラムがワープロであ る場合には、利用者は、そのワープロに適した操作部（キーボード画像 210)を操作 してそのアプリケーションプログラムを利用することができる。また、実行するアプリケ ーシヨンプログラムがゲームである場合には、利用者は、そのゲームに適した操作部 (ゲームコントローラ画像 310)を操作してそのアプリケーションプログラムを利用する こと力 Sできる。このように、利用者は、アプリケーションプログラムごとに適した操作部を 操作してそのアプリケーションプログラムを利用できるので、利用者の使い勝手が向 上する。しかも、本実施形態 2によれば、キーボード等の物理的な操作部を接続した りすることなぐ利用者が操作可能な面上に仮想的なキー配列画像 210， 310を投影 し、そのキー配列画像上でキーを選択する操作を行うことができるので、携帯電話機 100の携帯性を確保することができる。

[0067] なお、本実施形態 2では、キー配列画像 210, 310ごとに個別に認識エンジンを有 し、アプリケーションプログラム実行管理部 125で生成されたキー配列画像選択命令 に基づいて、対応する認識エンジンを選択する場合を例に挙げた。すなわち、本実 施形態の携帯電話機 100においては、そのキー選択検知部 180が複数種類のキー 選択検知機能 (認識エンジン）を有しており、主制御部 11 1が、アプリケーションプロ グラム実行管理部 125で生成されたキー配列画像選択命令に基づいて、画像投影 部 130により投影されるキー配列画像 210, 310に対応した認識エンジンを選択する 検知機能選択手段として機能する。そして、キー選択検知部 180は、アプリケーショ ンプログラムの実行中には、主制御部 111により選択された認識エンジンを用いてキ ー検知処理を行う。し力 、複数のキー配列画像 210， 310に共通の認識エンジンを 用いれば、認識エンジンの選択処理（S4)を不要とすることも可能である。例えば、キ 一入力動作検知部 160の検知結果に基づいて投影エリア内で利用者が操作した操 作位置の位置座標データを生成し、これをアプリケーションプログラム実行管理部 12 5に受け渡すようにする。そして、個々のアプリケーションプログラムにおいて、位置座 標データとキーとの対応関係を特定するようにすればよい。

[0068] 〔実施形態 3〕

次に、本発明の第 3の実施形態について説明する。

なお、本実施形態 3に係る移動体通信端末としての携帯電話機の基本的な構成及 び動作等については、前述の第 1の実施形態及び第 2の実施形態の場合と同様なも のを採用することができるため、共通する部分の説明を省略する。以下、前述の第 1 の実施形態及び第 2の実施形態における構成や動作と異なる部分について説明す る。

[0069] 本実施形態 3の携帯電話機 100は、前述の第 2の実施形態と同様に、プラットフォ ームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーション プログラムを実行可能に構成されている。この携帯電話機 100は、図 14に示すように 主制御部 111等のほカ アプリケーションプログラムの実行環境を管理するアプリケ ーシヨンプログラム実行管理手段としてのアプリケーションプログラム実行管理部 125 を備えている。

[0070] 図 17は、本実施形態 3におけるアプリケーションプログラムの実行処理の流れの一 例を示すフローチャートである。図 18は、本実施形態 3におけるキー選択検知部 48 0の一構成例の概略構成を示すブロック図である。

本実施形態 3において、アプリケーションプログラムを実行する場合、上記実施形 態 1の場合と同様に、利用者 1は、その実行対象となるアプリケーションプログラムを 上記ダウンロードサーバ 11からダウンロードして取得し、これを登録する。

ここで、本実施形態 3のアプリケーションプログラムには、そのアプリケーションプロ グラムの実行の際に画像投影部 130により投影されるキー配列画像 (キーボード画 像 210、ゲームコントローラ画像 310)の画像データが含まれている。なお、この画像 データは、アプリケーションプログラムのプログラム内部に組み込まれたデータであつ ても、アプリケーションプログラムに付加された別のデータであってもよレ、。すなわち、 この画像データは、少なくともアプリケーションプログラムの取得の際に一緒に取得さ れるものであればよレ、。このように、本実施形態 3では、アプリケーションプログラムの 実行の際に投影されるキー配列画像 210， 310の画像データはアプリケーションプロ グラムと一緒に提供される。よって、そのアプリケーションプログラムの開発元 2は、そ のアプリケーションプログラムに最適化されたキー配列がなされたキー配列画像を独 自に作成し、そのアプリケーションプログラムの実行時に、このキー配列画像を用い て利用者に操作させることができる。例えば、そのアプリケーションプログラムが文字 入力に関するもの（ワープロ等）である場合、前述の図 6Aに示したキーボード画像 2 10の画像データをそのアプリケーションプログラムに含ませれば、利用者は、使い勝 手よくそのアプリケーションプログラムを利用することができる。また、例えば、そのァ プリケーシヨンプログラムがゲームアプリケーションに関するものである場合、図 6Bに 示したゲームコントローラ画像 310の画像データをそのアプリケーションプログラムに 含ませれば、利用者は、使い勝手よくそのアプリケーションプログラムを利用すること ができる。

[0071] なお、互いに異なるアプリケーションプログラムであっても、ともにゲームアプリケー シヨンに関するもののように同種のアプリケーションプログラムであれば、キー配列画 像を共用することも可能である。しかし、例えば、複数のアプリケーションプログラムが いずれもゲームアプリケーションに関するものであっても、例えばゲームに使用する ボタン数が互いに異なる場合がある。そして、ゲームに使用するボタン数が 4つである 場合には、図 6Bに示したゲームコントローラ画像 310を利用することができなレ、。逆 に、ゲームに使用するボタン数が 2つである場合には、図 6Bに示したゲームコント口 ーラ画像 310では不要なボタンが存在し、利用者の操作ミスを引き起こす原因となる 。このように同種のアプリケーションプログラムであっても、その具体的な内容によって 最適なキー配列は異なる。したがって、アプリケーションプログラムの実行時に用いる キー配列画像を、個々のアプリケーションプログラムごとに個別に用意することは、利 用者の使レ、勝手を高める上で重要である。

[0072] また、本実施形態 3のアプリケーションプログラムには、そのアプリケーションプログ ラムの実行中にキー選択検知部 480においてキー選択データの生成に用いられる キー選択検知用データも含まれている。このキー選択検知用データは、投影される キー配列画像ごとにキー選択検知部 480がそれぞれ異なるデータを用いたり又はそ れぞれ異なる処理を行ったりする場合の、そのデータ又は処理に関わるデータであ る。本実施形態 3のキー選択検知用データは、キー選択検知部 480のキー選択デー タ生成部 470における認識エンジンが用いる演算用データテーブルである。このキ 一選択検知用データが認識エンジンで用いられることで、このアプリケーションプログ ラムに含まれる画像データに基づくキー配列画像に対して利用者が操作したキーに ついて、正常なキー選択データを生成することができる。この他、キー選択検知用デ ータは、認識エンジンで用いる演算アルゴリズムであってもよいし、演算用データテ 一ブル及び演算アルゴリズムであってもよい。なお、このキー選択検知用データも、 アプリケーションプログラムのプログラム内部に組み込まれたデータであっても、ァプ リケーシヨンプログラムに付加された別のデータであってもよレ、。すなわち、少なくとも アプリケーションプログラムの取得時に一緒に取得されるものであればよい。

[0073] 利用者 1は、ダウンロードしたアプリケーションプログラムを実行する場合、まず、キ 一操作部 120のキーを操作して、実行するアプリケーションプログラムを選択するた めのアプリケーション選択画面を表示部 119上に表示させる。そして、そのアプリケー シヨン選択画面において、実行対象のアプリケーションプログラムをキー操作部 120 のキーを操作して選択する。すると、図 15に示した電話機プラットフォームすなわち 図 14に示した主制御部 111に、アプリケーションプログラムの実行指示が入力される (Sl l)。これにより、主制御部 111は、実行指示に係るアプリケーションプログラムを 読み出してこれを起動する（S12)。アプリケーションプログラムが起動すると、図 15に 示したアプリケーション実行環境すなわち図 14に示したアプリケーションプログラム実 行管理部 125上で、そのアプリケーションプログラムが動作する。

[0074] アプリケーションプログラムが起動すると、アプリケーションプログラム実行管理部 12 5は、データ読出手段として機能し、アプリケーションプログラムから画像データ及び キー選択検知用データを読み出す（S 13)。そして、この画像データ及びキー選択検 知用データは、アプリケーションプログラム実行管理部 125で生成されたキー配列画 像表示指令とともに、電話機プラットフォームの主制御部 111に送られる。この指令を 受けた主制御部 111は、キー選択検知部 480に対してキー選択検知用データを送り 、このキー選択検知用データに係る演算用データテーブルを認識エンジンに登録す る（S14)。具体的に説明すると、図 18に示すように、キー選択検知部 480のキー選 択データ生成部 470はキー選択検知機能を備えている。このキー選択検知機能は、 当該アプリケーションプログラムに対応するキー配列画像が図 6Aに示したキーボー ド画像 210である場合には、登録されたキー選択検知用データにより、そのキーボー ド画像 210に対応したキーボード画像用認識エンジンで実現される。また、当該アブ リケーシヨンプログラムに対応するキー配列画像が図 6Bに示したゲームコントローラ 画像 310である場合には、登録されたキー選択検知用データにより、そのキーボード 画像 310に対応したゲームコントローラ画像用認識エンジンで実現される。なお、認 識エンジンは、登録されたキー選択検知用データによる演算用データテーブルと、 演算アルゴリズムに基づいて作成されたキー選択認識用演算プログラムで構成され る。キー選択データ生成部 470は、登録されたキー選択検知用データに基づく認識 エンジンを用いて、キー選択検知の処理を実行する。

[0075] また、上記キー配列画像表示指令を受けた主制御部 111は、アプリケーションプロ グラム実行管理部 125から受けた画像データに基づくキー配列画像 210, 310を、 画像投影部 130を制御して投影面 200に投影させる（S15)。これにより、投影面 20 0には、起動したアプリケーションプログラムに含まれていた画像データに基づくキー 配列画像、すなわち、そのアプリケーションプログラムに最適化されたキー配列画像 が投影される。そして、利用者は、アプリケーションプログラムを利用するために、その キー配列画像 210, 310に対してキー操作を行うと（S16)、これがキー選択検知部 4 80のキー入力動作検知部 160で検知され、その検知結果がキー選択データ生成部 470に送られる。キー選択データ生成部 470は、その検知結果に基づき、上記 S14 において登録されたキー選択検知用データに基づく認識エンジンを用いてキー選択 検知の処理を実行して、キー選択データを生成し、これを主制御部 111に送る。この キー選択データは、主制御部 111からアプリケーションプログラム実行管理部 125に 送られる。アプリケーションプログラム実行管理部 125は、データ処理手段として機能 し、実行中のアプリケーションプログラムの内容に従い、上記実施形態 2と同様に、そ のキー選択データに基づレ、て選択されたキーに対応するデータ処理を行う（S 17)。

[0076] 以上、本実施形態 3によれば、実行するアプリケーションプログラムがワープロであ る場合には、利用者は、そのワープロに最適な操作部（キーボード画像 210)を操作 してそのアプリケーションプログラムを利用することができる。また、実行するアプリケ ーシヨンプログラムがゲームである場合には、利用者は、そのゲームに最適な操作部

(ゲームコントローラ画像 310)を操作してそのアプリケーションプログラムを利用する こと力 Sできる。このように、利用者は、アプリケーションプログラムごとに最適な操作部 を操作してそのアプリケーションプログラムを利用できるので、利用者の使い勝手が 向上する。しかも、本実施形態 3によれば、キーボード等の物理的な操作部を接続し たりすることなぐ利用者が操作可能な面上に仮想的なキー配列画像 210， 310を投 影し、そのキー配列画像上でキーを選択する操作を行うことができるので、携帯電話 機 100の携帯性を確保することができる。

なお、本実施形態 3では、アプリケーションプログラムの起動時に、そのアプリケー シヨンプログラムからキー選択検知用データを読み出して（S13)、これを登録する（S 14)場合について説明した力 起動時以外のタイミングであってもよい。例えば、アブ リケーシヨンプログラムをダウンロードした時に、そのアプリケーションプログラムからキ 一選択検知用データを読み出して、これを登録するようにしてもよい。この場合、複数 のアプリケーションプログラムをダウンロードした場合、複数のキー選択検知用データ が登録され、キー選択検知部 480には複数の認識エンジンが存在することになる。よ つて、アプリケーションプログラムの実行の際には、自己に含まれていたキー選択検 知用データに係る認識エンジンを選択的に用いることになる。

また、本実施形態 3では、アプリケーションプログラムの起動時に、そのアプリケーシ ヨンプログラムから画像データを読み出して（S13)、これに基づくキー配列画像 210 , 310を投影する（S15)場合について説明したが、別の工程を採用することもできる 。例えば、アプリケーションプログラムをダウンロードした時に、そのアプリケーションプ ログラムから画像データを読み出して、これを内部メモリ 112に登録しておき、アプリ ケーシヨンプログラムの実行の際に、その画像データを読み出してこれに基づくキー 配列画像 210, 310を投影するようにしてもよい。この場合、複数のアプリケーション プログラムをダウンロードした場合、複数の画像データが内部メモリ 112に登録される ため、アプリケーションプログラムの実行の際には、 自己に含まれていた画像データ を選択的に読み出すことになる。 また、本実施形態 3の携帯電話機 100においては、アプリケーションプログラムの内 容に、その画像データに基づくキー配列画像に対応するキー選択検知用データが 含まれている。そして、アプリケーションプログラム実行管理部 125は、選択されたァ プリケーシヨンプログラムの内容に含まれる上記キー配列画像の画像データ及びキ 一選択検知用データを読み出し、キー選択検知部 480は、アプリケーションプロダラ ムの実行中、読み出したキー選択検知用データにより構築されるキー選択検知機能 (認識エンジン）を用いてキー検知処理を行う。しかし、複数のキー配列画像 210, 3 10に共通の認識エンジンを用いれば、アプリケーションプログラムの内容にキー選択 検知用データを含ませ、そのデータを読み出して認識エンジンを構築する必要はな レ、。例えば、キー入力動作検知部 160の検知結果に基づいて投影エリア内で利用 者が操作した操作位置の位置座標データを生成し、これをアプリケーションプロダラ ム実行管理部 125に受け渡すようにする。そして、個々のアプリケーションプログラム において、位置座標データとキーとの対応関係を特定するようにすればよい。

[0078] 〔実施形態 4〕

次に、本発明の第 4の実施形態について説明する。

なお、本実施形態 4に係る移動体通信端末としての携帯電話機の基本的な構成及 び動作等については、前述の第 1の実施形態一第 3の実施形態の場合と同様なもの を採用することができるため、共通する部分の説明を省略する。以下、前述の第 1の 実施形態一第 3の実施形態における構成や動作と異なる部分について説明する。

[0079] 本実施形態 4の携帯電話機 100は、利用者の操作位置に応じて操作面画像として のキーボード画像 210を変更する制御を行う。この制御は、利用者がキーを選択した とき、そのキー画像の色を変更して、利用者に対して自分が意図したキーを操作でき たか否力 ^認識させる選択キー画像変更処理を実行する。

[0080] 図 19は、本実施形態 4に係る携帯電話機における選択キー画像変更処理に関す る制御ブロック図である。上述したように、利用者が仮想的なキーボード画像 210に 対して例えば指 300を使ってキー操作を行った場合、その指 300が操作検知手段と してのキー選択検知部 180に検知され、そのキー選択データが主制御部 111に送ら れる。すると、主制御部 111は、そのキー選択データに対応する所定のデータ処理 を行うとともに、そのキー選択データに対応するキーの色を変更するための選択キー 色変更命令を画像投影部 130に送る。これを受け取った画像投影部 130は、現在投 影しているキーボード画像 210の画像データについて、選択キー色変更命令に係る キーの画像部分の色のパラメータを、その命令に従って変更する。そして、変更後の 画像データに基づくキーボード画像 210を、投影面 200上に投影する。

[0081] このような処理を行うことで、図 20に示すように、利用者が操作した操作位置に対 応するキー Cの色が変更される。よって、利用者は、その色の変更によって、 自分の 操作がきちんと受け付けられたかどうかを認識することができる。

また、その色の変更によって、利用者は、自分が意図したキーをきちんと操作でき たか否力も認識することができる。例えば、図 21に示すように、利用者がキー Cを操 作しょうとした力 誤ってキー Cとその下のキー Dとの間あたりを操作してしまったとす る。この場合、従来はそのキー操作によりどちらのキーが受け付けられたか否かは、 そのキー操作により入力された文字等を画面で確認するまでは認識することができな 力つた。これに対し、本実施形態によれば、受け付けられたキーの色が即座に変更さ れるので、キーボード画像 210を見ながら操作している利用者は、図示の場合には、 キー Dが受け付けられたことをすぐに認識することができる。よって、利用者は、キー Cを操作しょうとしたにもかかわらず、その下のキー Dを誤って操作してしまったことに 即座に気づくことができる。

[0082] 以上、本実施形態 4によれば、キーボード等の別部材を接続したりすることなぐ利 用者が操作可能な面上に仮想的なキーボード画像 210を投影し、そのキーボード画 像上でキーを選択する操作を行うことができるので、携帯電話機の携帯性を確保す ること力 Sできる。し力、も、本実施形態 4によれば、キーボード画像 210上で利用者がキ 一を選択する操作を行った場合、その利用者の操作位置に対応するキーの画像、 すなわち、携帯電話機に受け付けられたキーの画像の色が変更される。よって、禾 IJ 用者は、受け付けられたキーの操作結果として表示された文字等を画像表示部 119 で確認しなくても、自分が操作しているキーボード画像 210を見ているだけで、受け 付けられたキーを確認することができる。したがって、キーボードを見ながらキー操作 を行うようなキーボード操作に不慣れな利用者であっても、誤った操作をしてしまった 場合にその誤りに即座に気づくことができる。

[0083] 〔実施形態 4の変形例〕

上記実施形態 4では、画像投影部 130による投影画像によって操作面が仮想的に 表現される操作機器がキーボードである場合について説明したが、本発明は、様々 な操作機器について適用することができる。以下の変形例では、画像投影部 130に よる投影画像によって操作面が仮想的に表現される操作機器が手書き入力用の操 作機器である場合の例について示す。

[0084] 図 22は、実施形態 4の変形例に係る携帯電話機が有する操作検知手段としての操 作位置検知部 380の一構成例の概略構成を示すブロック図である。この操作位置検 知部 380は、上記実施形態 4におけるキー選択データ生成部 170に代えて、操作位 置データ生成部 370を有する以外は、上記キー選択検知部 180と同様である。操作 位置データ生成部 370は、各光出射 '検知部 161 , 162の検知結果に基づいて、手 書き入力操作面画像 405上における利用者の操作位置を示す操作位置データを連 続的に生成し、これを主制御部 111に連続的に出力する。これにより、主制御部 111 は、利用者の指 300が操作した手書き入力操作面画像 405上の操作位置を連続的 に把握することができる。すなわち、主制御部 111は、操作位置データ生成部 370か ら連続的に出力される操作位置データから、利用者の操作位置の軌跡を把握するこ とができる。そして、主制御部 111は、手書き入力操作面画像 405上において利用 者が指 300で描いた文字や絵などを、文字として認識する文字認識処理や、画像と して認識する処理などのデータ処理を行う。

[0085] また、主制御部 111は、手書き入力操作面画像 405に対して利用者が指 300で文 字等を描いたとき、その文字等の軌跡部分の画像の色を変更する入力軌跡画像変 更処理を実行する。

具体的に説明すると、主制御部 111は、操作位置データ生成部 370からの操作位 置データを受けたら、その操作位置データに対応する操作位置の画像の色を変更 するための操作位置色変更命令を画像投影部 130に送る。これを受け取った画像 投影部 130は、上記実施形態 4の場合と同様に、現在投影している手書き入力操作 面画像 405の画像データについて、その操作位置色変更命令に係る操作位置の画 像部分の色のパラメータを、その命令に従って変更する。そして、変更後の画像デー タに基づく手書き入力操作面画像 405を、投影面 200上に投影する。

[0086] このような処理を、操作位置データ生成部 370からの操作位置データを受け取るた びに繰り返すことで、図 23に示すように、利用者が操作した操作位置に対応する位 置の色が変更される。よって、利用者は、その色の変更によって自分の操作してきた 操作位置の変化である手書き入力の軌跡を認識することができ、 自分が描いている 文字を把握することができる。本変形例によれば、利用者は、 自分が操作する対象で ある手書き入力操作面画像 405を見ながら、自分が描いている文字を確認できるの で、自分の意図している文字をきちんと描けていない場合に、これを即座に気づくこ とができる。

[0087] なお、上記実施形態 4及びその変形例では、利用者が操作したときにその操作位 置に対応する画像の色を変更する場合について説明したが、画像の輝度を変更した り、あるいは、別の画像に変更したりしてもよい。

また、上記実施形態 4及びその変形例では、画像投影部 130による投影画像によ つて仮想的に表現される操作機器が、キーボードである場合、手書き入力用の操作 機器である場合について説明したが、本発明は、その他にも様々な操作機器につい て適用することができる。例えば、ピアノの鍵盤のような操作機器についても適用する こと力 Sできる。また、図 24に示すように、画像投影部 130によってメニュー画面の画像 を投影し、そのメニュー画面の選択のためのタツチパネルのような操作機器として利 用することもできる。この場合、投影面 200上に投影されたメニュー選択画像 (操作面 画像) 410中のあるメニュー Eを利用者が選択したとき、上記と同様に、その選択され たメニュー部分の画像の色等を変更する。

[0088] また、上記実施形態 4及びその変形例の携帯電話機 100は、前述の実施形態 2や 実施形態 3のように、プラットフォームに依存しないオブジェクト指向プログラミングに よって開発されたアプリケーションプログラムを実行可能に構成してもよい。

[0089] なお、上記各実施形態のキー選択検知部 180は、レーザ光の反射を利用して携帯 電話機本体に対する選択対象キーの位置の角度や距離を求めることによりキー選択 を検知するように構成している力 キー選択検知部は、この構成に限定されるもので はない。

例えば、上記仮想的なキー配列画像上でキーを選択してレ、る指先やポインタ部材 の動きを撮像し、その 2次元的な画像又は 3次元的な画像をパターン認識し、そのパ ターン認識結果に基づいてキー選択操作を検知するように構成してもよい。この場合 は、図 25に示すように、上記指先やポインタ部材の位置、向き、動き等の撮像に、上 記各実施形態の携帯電話機 100に設けられているカメラ部 140を兼用するように構 成してもよレ、。また、この場合の投影結像光学系 151は、図 26A及び図 26Bに示す ようにカメラ結像用光学系 150とは独立に設けられ、カメラ部 140は、カメラ結像用光 学系 150が配置されてレ、るカメラ位置 Cに固定配置されてレ、る。このカメラ部 140は、 通常の動作モード実行中には人物や風景等の画像の撮影に使用されるとともに、仮 想的なキー配列画像上でのキー入力動作モードの実行中にはキー入力動作をして レ、る指先やポインタ部材の動きの撮像に使用される。また、図 26A及び図 26Bの構 成例において、光生成部 130'は、拡散照射用位置 Aと投影用位置 Bとの間で移動 可能になっており、投影対象の光像の生成と拡散照射対象の光の生成とに兼用され る。

[0090] 特に、上記実施形態 4及びその変形例においては、上記操作面画像 210, 405, 4 10上での指 300の動きを撮像し、その 2次元的な画像又は 3次元的な画像をパター ン認識し、そのパターン認識結果に基づいて利用者の操作位置を検知するように構 成してもよレ、。この場合は、上記指 300の動きの撮像に、携帯電話機 100に設けられ ているカメラ部 140を兼用するように構成してもよい。このカメラ部 140は、通常の動 作モード実行中には人物や風景等の画像の撮影に使用されるとともに、操作面画像 210, 405, 410上での入力動作モードの実行中には入力動作をしている指 300の 動きの撮像に使用される。

[0091] なお、図 25の携帯電話機 100の構成例では、画像投影部 130から出射したキー配 列画像の光像が、携帯電話機本体に設けられたキー操作部 120の上方を通過し、 携帯電話機から離れた投影エリア上に投影される。このキー配列画像上で指先ゃポ インタ部材の動きは、画像投影部 130に隣接して設けられているカメラ部 140で撮像 される。カメラ部 140で撮像された 2次元的な画像又は 3次元的な画像のデータは、 携帯電話機内部に設けた画像処理部で処理され、キー選択の検知に用いられる。

[0092] また、上記各実施形態において、上記キー選択検知部 180を、上記レーザのような 光ではなく超音波の反射を利用して指先やポインタ部材の位置を測定することにより キー選択を検知するように構成してもよい。例えば、上記実施形態 4のキー選択検知 部 180や上記変形例の操作位置検知部 380を、上記レーザのような光ではなく超音 波の反射を利用して指 300の位置を検知するように構成してもよい。

[0093] また、上記各実施形態において、上記画像投影部 130により、上記仮想的なキー 配列画像だけでなぐ上記表示部 119で表示するような画像を投影するようにしても よい。例えば、キー配列画像上で行うキー選択に関連した文字情報やゲーム等の画 像も投影するようにしてもよレ、。この文字情報やゲーム等の画像は、例えば携帯電話 機と上記仮想的なキー配列画像との間に投影すると視認しゃすい。

[0094] また、上記各実施形態において、上記画像投影部 130及びキー選択検知部 180 の起動や画像投影動作及びキー選択検知動作を実行させるアプリケーションプログ ラムは、着信通知画像を投影する待ち受け用アプリケーションプログラムであってもい レ、し、その他の例えばプロジェクタ機能や仮想的なキー配列画像上でのキー選択検 知の制御に特化したアプリケーションプログラムであってもよい。

[0095] 以上、本発明の好ましい実施形態を説明したが、本発明の範囲又は精神から逸脱 することなぐ請求の範囲に記載された技術的事項の範囲内において、開示した実 施形態に種々の変更をカ卩えることができる。

例えば、本発明は、上記携帯電話機だけでなぐアプリケーションプログラムを実行 可能なものであれば、 PHS、 自動車電話機等の電話機、携帯型の PDA等の移動体 通信端末の場合についても適用でき、同様な効果が得られるものである。

また、本発明は、キーボードの操作面の画像であるキーボード画像やゲームコント ローラの操作面の画像であるゲームコントローラ画像のほ力、、各種操作機器の操作 面画像についても適用することができる。例えば、本発明は、ピアノ等の楽器の操作 面の画像である鍵盤画像、手書き入力装置の入力面画像、各種機器のメニュー選択 画像などの場合にも適用することができる。

また、上記操作面画像は、画像投影手段で投影する投影画像のほか、シート等の 面上に印刷等で予め形成された画像であってもよい。

Claims

請求の範囲

[1] 利用者が操作する操作機器の操作面を仮想的に示す操作面画像を投影する画像 投影手段と、

該画像投影手段で投影された該操作面画像上における操作を検知する操作検知 手段と、

該操作検知手段で検知された操作の検知結果に基づいて所定のデータ処理を実 行するデータ処理手段とを備えたことを特徴とする移動体通信端末。

[2] 請求項 1の移動体通信端末において、

上記画像投影手段は、互いに異なる複数種類の操作面画像のそれぞれについて 投影可能に構成され、

上記操作検知手段は、該複数種類の操作面画像上における操作物体の位置、向 き及び動きの少なくとも一つから操作の内容を認識する互いに異なる複数種類の認 識機能を有することを特徴とする移動体通信端末。

[3] 請求項 2の移動体通信端末において、

上記複数種類の認識機能の少なくとも一つを指定するための指定手段を備え、 上記画像投影手段は、該指定手段で指定された認識機能に対応する操作面画像 を投影し、

上記操作検知手段は、該指定手段で指定された認識機能を用いて該操作面画像 上における操作を検知することを特徴とする移動体通信端末。

[4] 請求項 2の移動体通信端末において、

アプリケーションプログラムの実行環境を管理するアプリケーション実行管理手段を 備え、

上記画像投影手段は、該アプリケーション実行管理手段から受けた指定情報で指 定された認識機能に対応する操作面画像を投影し、

上記操作検知手段は、該アプリケーション実行管理手段から受けた指定情報で指 定された認識機能を用いて上記操作面画像上における操作を検知することを特徴と する移動体通信端末。

[5] 請求項 2の移動体通信端末において、 上記複数種類の操作面画像の少なくとも一つを指定するための指定手段を備え、 上記画像投影手段は、該指定手段で指定された操作面画像を投影し、 上記操作検知手段は、該指定手段で指定された操作面画像に対応する認識機能 を用いて該操作面画像上における操作を検知することを特徴とする移動体通信端末

[6] 請求項 2の移動体通信端末において、

アプリケーションプログラムの実行環境を管理するアプリケーション実行管理手段を 備え、

上記画像投影手段は、該アプリケーション実行管理手段から受けた指定情報で指 定された操作面画像を投影し、

上記操作検知手段は、該アプリケーション実行管理手段から受けた指定情報で指 定された操作面画像に対応する認識機能を用いて該操作面画像上における操作を 検知することを特徴とする移動体通信端末。

[7] 請求項 1の移動体通信端末において、

複数種類の操作面画像それぞれに対応した複数の画像データを記憶する記憶手 段と、

複数のアプリケーションプログラムの中から選択されたアプリケーションプログラムを 実行するアプリケーションプログラム実行管理手段と、

該選択されたアプリケーションプログラムの内容に従って、操作面画像選択命令を 生成する命令生成手段と備え、

上記画像投影手段は、上記命令生成手段で生成された操作面画像選択命令に基 づき、上記記憶手段に記憶された複数の画像データの中から 1つの画像データを選 択し、選択した画像データの操作面画像を投影し、

上記アプリケーションプログラム実行管理手段は、該選択されたアプリケーションプ ログラムの実行中、該アプリケーションプログラムの内容に従レ、、上記操作検知手段 により検知された操作に対応するデータ処理を行うことを特徴とする移動体通信端末

[8] 請求項 1の移動体通信端末において、 複数のアプリケーションプログラムの中から選択されたアプリケーションプログラムを 実行し、該アプリケーションプログラムの内容に従って上記操作検知手段により検知 された操作に対応するデータ処理を行うアプリケーションプログラム実行管理手段と、 該選択されたアプリケーションプログラムの内容に含まれる操作面画像の画像デー タを読み出すデータ読出手段とを備え、

上記画像投影手段は、上記データ読出手段により読み出した画像データに基づく 操作面画像を、該選択されたアプリケーションプログラムの実行の際に投影すること を特徴とする移動体通信端末。

請求項 1乃至 8のレ、ずれかの移動体通信端末にぉレ、て、

上記操作検知手段は、上記操作面画像上における操作を検知するものであり、該 操作検知手段により検知した操作の内容に応じて、上記操作面画像の少なくとも一 部を変更する制御手段を備えたことを特徴とする移動体通信端末。

請求項 9の移動体通信端末において、

上記制御手段は、上記操作検知手段により検知した操作の対象となっている画像 部分を変更するものであることを特徴とする移動体通信端末。

請求項 1乃至 10のいずれかの移動体通信端末において、

上記画像投影手段は、光源と、該光源から出射した光を変調するための空間光変 調部と、該空間光変調部から出射される光像を外部の投影面に結像して投影するた めの投影結像用光学系とを用いて構成されていることを特徴とする移動体通信端末 請求項 11の移動体通信端末において、

上記光源から出射した光を拡散して外部の照射面に均一照射するための拡散照 射用光学系を備え、

上記光源及び上記空間光変調部が、投影対象の光像の生成と、拡散照射対象の 光の生成とに兼用されていることを特徴とする移動体通信端末。

請求項 12の移動体通信端末において、

光像を電気信号に変換して画像データを生成するカメラ部と、撮像対象の光像を 該カメラ部上に結像するためのカメラ結像用光学系とを備え、 上記操作検知手段は、上記操作面画像上における操作を行う操作物体の位置、 向き及び動きの少なくとも一つを検知する操作物体検知手段と、該操作物体検知手 段の検知結果に基づいて該操作物体の位置、向き又は動きに対応する操作検知デ ータを生成する操作検知データ生成手段とを用いて構成され、

上記カメラ部及び上記カメラ結像用光学系が上記操作物体検知手段として兼用さ れてレ、ることを特徴とする移動体通信端末。

請求項 1乃至 13のレ、ずれかの移動体通信端末にぉレ、て、

上記画像投影手段で投影する上記操作面画像は、複数のキーが配列されたキー ボードを仮想的に示すキー配列画像であり、

上記操作検知手段は、該キー配列画像上のどのキーが選択された力、を検知するこ とを特徴とする移動体通信端末。