JP4679342B2 - 仮想キー入力装置及び情報端末装置 - Google Patents

Description

本発明は、仮想キー入力装置及び情報端末装置に関し、より詳細には、仮想キーボードやタッチパネル等の仮想キー入力装置、及びその仮想キー入力装置を備えた携帯電話機や携帯情報端末等の情報端末装置に関する。

文字、数字等を情報端末装置に入力する装置として、キーボード或いはテンキー等、物理的な入力デバイスを利用するキー入力装置以外に、画面にキーを表示し、接触を検知して入力を行なうタッチパネルによる入力装置（ソフトキーボードともいう）が存在する。

また、近年、キーボードを平面に投影し、投影されたキーボードを入力装置とする仮想キーボード（バーチャルキーボードともいう）が存在する（例えば、非特許文献１を参照）。非特許文献１に記載の仮想キーボードは、図５で例示するように、キーボードイメージを投影するための赤色半導体レーザモジュール２１及びその発光方向に設けられたホログラフィック光学素子、並びに、キーの検知を行う赤外（不可視）半導体レーザ投影モジュール２２ｃ及びＣＭＯＳカメラモジュール２２ａで構成される。

まず、赤色半導体レーザモジュール２１から発せられた赤外線レーザをホログラフィック光学素子に放射することによりレーザが分散、キーボードのイメージを投影する。このユニットは単にキーボードのイメージを投影するだけで、キーの検知には全く無関係である。赤外半導体レーザ投影モジュール２２ｃは、人には見えない位置検知用赤外レーザを机などの投影面に平行して扇状に放射する。ＣＭＯＳカメラモジュール２２ａは、赤外半導体レーザ投影モジュールで放射されるレーザの反射光（指に当たり反射した光）をＣＭＯＳカメラでとらえて、キーのイメージを押した位置を検出する。

また、特許文献１には、表示装置にキーボードイメージを表示し、操作者の指の位置を表示して入力相当の作業を行えるようにする仮想キーボードシステムが開示されている。このシステムは、所定位置に取り付けられ、仮想キーボードの基準位置が設定された基準センサと、キー入力を行う指先の基準センサからの相対位置および指先の動きを検出する指先センサと、仮想キーボードのキートップイメージを表示する第１の表示手段と、表示された前記キートップイメージに指先センサによって検出された指先の位置を表示する第２の表示手段と、指先センサからの検出信号によってキー入力が行われたことを検知し、キートップイメージに表示された前記指先の位置のキーを特定する入力キー検知手段と、検知された入力キーのキーコードを生成してコンピュータ応用機器に伝達する入力キーコード生成手段とを具備する。

これら仮想キー入力装置（仮想入力装置ともいう）は物理的なキーを必要としないため、情報端末装置が小型化できるというメリットがあり、今後、特に携帯型の情報端末装置への搭載が進むと考えられる。
特開２０００−２４２３９４号公報 田中、"Ｑｗｅｒｔｅｒｓ Ｃｌｉｎｉｃ バーチャルキーボード（Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ）"、［ｏｎｌｉｎｅ］、平成１６年１２月５日、［平成１７年８月４日検索］、インターネット＜ＵＲＬ： ｈｔｔｐ：／／ｐａｒｋ１６．ｗａｋｗａｋ．ｃｏｍ／〜ｅｘ４／ｋｂ／ｍａｉｎ＿ｖｋｂ．ｈｔｍ＞

しかしながら、特に携帯型の情報端末装置は通常軽量であるため、周囲からの振動の影響を受け易くなる。また、携帯型でなくても情報端末装置は、周囲からの振動の影響を多少なりとも受ける。その結果として、仮想キーボードやタッチパネル（ソフトキーボード）等の仮想キー入力装置を備えた情報端末装置では、振動による影響を受けて誤入力が発生し易くなる。

このように、非特許文献１及び特許文献１をはじめとする従来技術には、振動による影響について考慮されているものがなく、振動による影響から誤入力が発生し得る。

本発明は、上述のごとき実情に鑑みてなされたものであり、周囲からの振動を受けても誤入力が発生し難い仮想キー入力装置、及びその仮想キー入力装置を備えた携帯電話機や携帯情報端末等の情報端末装置を提供することをその目的とする。

上述の課題を解決するために、本発明の第１の技術手段は、１つ以上のキーイメージを表示するキー表示手段と、該キー表示手段で表示したキーイメージそれぞれが、ユーザによって指定されたことを検出する指定キー検出手段とを備え、該指定キー検出手段で検出されたキーイメージに対応する情報を入力情報とする仮想キー入力装置であって、当該仮想キー入力装置自身の動きを検出する動き検出手段と、該動き検出手段で検出された動きが所定レベルを超えるものであるか否かを判定し、前記所定レベルを超えるものと判定された場合に、前記入力情報に対する補正候補を提示する候補提示手段と、該候補提示手段で提示した補正候補の中からユーザに選択入力させる入力決定手段とを有し、該入力決定手段で選択入力された補正候補を前記入力情報とすることを特徴としたものである。

第２の技術手段は、第１の技術手段における仮想キー入力装置を備えた充電器付き情報端末装置であって、前記キー表示手段を当該情報端末装置の本体側に設け、前記指定キー検出手段を前記充電器側に設け、前記充電器側で検出した情報を前記本体側へ送信する送信手段を設けたことを特徴としたものである。

第３の技術手段は、第１の技術手段における仮想キー入力装置を備えた充電器付き情報端末装置であって、前記キー表示手段を当該情報端末装置の本体側に設け、前記指定キー検出手段を前記充電器側と前記本体側とに分散して設けたことを特徴としたものである。

本発明によれば、仮想キー入力装置を用いた場合、周囲からの振動を受けても誤入力が発生し難くなる。

図１は、本発明の一実施形態に係る仮想キー入力装置を備えた情報端末装置の一構成例を示すブロック図で、図中、１は情報端末装置、１０は仮想キー入力装置、１１はキー表示手段、１２は指定キー検出手段、１３は出力手段、１４は動き検出手段、１５は動き補償手段、１６は各種処理手段、ＫＩはキーボードイメージ、ｋＩは個々のキーイメージである。

本発明に係る仮想キー入力装置は、仮想入力装置或いは仮想キー入力装置ともいえ、図１の仮想キー入力装置１０で例示するように、キー表示手段１１、指定キー検出手段１２、及び動き検出手段１４を少なくとも備え、好ましくは動き補償手段１５を備えるものとする。

キー表示手段１１は、複数のキーイメージｋＩをもつキーボードイメージＫＩを表示する手段である。キーボードイメージＫＩは、複数のキーイメージｋＩの配列であるが、所謂キーボードの形態で配列されるものとは限らず、例えば、単に数個の入力ボタンのイメージを配置しただけといったものであってもよい。

指定キー検出手段１２は、キー表示手段１１で表示したキーボードイメージＫＩ中のキーイメージｋＩそれぞれが、ユーザによって指定されたことを検出する。すなわち、指定キー検出手段１２は、ユーザによって或るキーイメージｋＩが指などで指定されることで選択されたことを検出する。

仮想キー入力装置１０は、キー指定検出手段１２で検出されたキーイメージｋＩに対応する情報（コード又はキーコード）を入力情報として、出力手段１３で、例えば装置１０が組み込まれた情報端末装置１の本体側へ出力する。なお、出力手段１３としては、単に所定の伝送経路で伝送できるような制御が可能となっていればよい。出力された入力情報に基づき、情報端末装置１の本体では各種処理手段１６にて、文字表示及び記憶などの各種処理が実行される。

キー表示手段１１及び／又は指定キー検出手段１２は、動き検出手段１４で動きが検出された場合、その後、動きが未検出となった時点で処理を開始するようにするとよい。このように、衝撃等が無検出、すなわち静止状態になってから、後述の投影等のキー表示やキー検出を開始することで、特に投影型のキー表示手段１１を備えた情報端末装置１において、誤入力を防ぐことができる。

本発明の主たる特徴部分である動き検出手段１４は、仮想キー入力装置１０自身の動きを検出する。動き検出手段１４は、仮想キー入力装置１０自身の移動量（実際には例えば移動方向及びその方向への移動量）を検出する移動量検出手段、若しくは、仮想キー入力装置１０自身に加えられる衝撃を検出する衝撃検出手段を備え、動きを検出するようにすればよい。ここで、移動量検出手段としては、カメラ及びカメラで撮影した画像を画像解析するなどして背景などとの比較によって移動量を求める手段や、静電容量型等の多軸加速度センサ、或いは仮想キー入力装置が情報端末装置と独立である場合には、メジャー等、情報端末との距離測定を行なう手段を備えた物理的接続手段による距離の変化によって移動量を測定する等が、例として挙げられるが、これに限ったものではない。また、衝撃検出手段は、衝撃検知手段であるともいえ、このような移動量検出手段でその主要部が構成される場合もある。このように、本発明でいう動き検出手段１４とは、移動量、衝撃、振動、傾きなどの物理現象を検出できるものであればよい。

動き補償手段１５は、動き検出手段１４で検出された動きに基づいて、その動きを補償するための所定の処理を実行する。ここで所定の処理とは、後述するが、最終的に動きを補うために処理を停止するといった処理も含むものとし、要するに動き補償手段１５では検出結果に応じた処理を実行できればよい。この動き補償手段１５は、上述のごとき仮想キー入力装置１０に組み込み、動き補償手段１５として仮想キー入力装置１０の演算処理装置を機能させるためのプログラムとして実現できる。また、動き補償手段１５と同様に、各手段１１〜１４，１６は、それらの一部をプログラムとして装置内に組み込むことで実現できる。また、本発明は、これらプログラムを記録したコンピュータ読取可能な記録媒体としての形態も採用できる。

また、上述及び後述の動き補償手段１５の代わりとして、情報端末装置１１側の制御停止などといった処理により動きを補償してもよい。すなわち、動き補償手段１５を情報端末装置１の本体側に設けてもよく、この場合の出力手段１３は、動き補償手段１５は情報端末装置１の本体側に制御停止のコードを伝送するのではなく、単に動き検出手段１４での動き検出結果を伝送するだけとなる。

本発明に係る仮想キー入力装置１０及びそれを備えた情報端末装置１によれば、周囲からの振動を受けても誤入力が発生し難くなる。すなわち、本発明に係る仮想キー入力装置１０としてのユーザインターフェースは、周囲からの振動の影響を受け難く、誤入力の防止・補正が可能となり、振動による影響について考慮されていない従来のユーザインターフェースに比べて性能を格段に向上させたものであるといえる。

本発明の他の実施形態として、動き補償手段１５は、動き検出手段１４で検出された動きが所定レベル（閾値）を超えるものであるか否かを判定する判定手段を有するよう構成することが好ましい。そして、動き補償手段１５は、その判定手段で所定レベルを超えるものと判定された場合のみ、所定の処理を実行するものとすればよい。動き検出手段１４が動き検出センサ（移動量検出センサや衝撃検出センサ）でなるときには、この判定手段は、実質的に動き検出センサに検出の閾値及び閾値判定手段として組み込まれることとなる。この閾値は、例えば衝撃の大きさによって動作を制御することを目的とした閾値となる。このような判定手段を備えることで、例えば手振れなどの少々の動きでは上述の所定の処理は実行しないで済むようになる。

図２は、本発明の他の実施形態に係る仮想キー入力装置を備えた携帯情報端末装置の一構成例を示すブロック図で、図１の情報端末装置の一例を示すブロック図である。また、図３は、図２の携帯情報端末装置における仮想キー入力装置（仮想入力操作部）の一構成例を示すブロック図、図４は、図２の携帯情報端末装置の外観を示す概略図、図５は、図４の携帯情報端末装置に適用したキー表示手段及び指定キー検出手段を説明するための概略図である。

図２の携帯情報端末装置２としては、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）をはじめ、携帯電話機やモバイルＰＣ等が挙げられ、以下、携帯電話機２で説明する。携帯電話機２は、仮想キー入力装置１０の一例としての仮想入力操作部２０、無線部３１、通信制御部３２、画像処理部３３、撮像部３４、不揮発性メモリ３５、揮発性メモリ３７、発光部３８、表示ドライバ３９、操作部４０、表示部４１、マイクロフォン（マイク）４２、スピーカ４３、及びそれらを制御する主制御部３６で構成される。

携帯電話機２は、アンテナに接続された無線部３１を通信制御部３２で制御することにより無線通信がなされる。撮像部３４は写真撮影用のカメラであり、撮像部３４で撮影された画像は画像処理部３３にて画像処理が施され、不揮発性メモリ３５等に保存される。発光部３８は、発光ダイオード（ＬＥＤ）等でなり、着信や通信中を表すことや、撮像部３４での画像撮影を補助するために用いられる。揮発性メモリ３７は、画像処理部３３、主制御部３６、及び表示ドライバ３９のバッファメモリとして用いられる。表示ドライバ３９は、液晶表示装置等の表示部４１で画像を表示するためのドライバである。マイク４２及びスピーカ４３は通話時に主として用いられ、マイク４２は他の音声入力時にも用いられ、スピーカ４３はコンテンツ再生時や着信時などにも音声を発する。

また、操作部４０は、１〜９やアルファベットの入力を可能とする数字キーや機能キーをはじめとするユーザ操作部であり、電話番号の入力やメール文章の入力などを行うためのもので、本発明に係る仮想入力操作部２０とは別の操作部である。仮想入力操作部２０でも基本的に操作部４０と同等のユーザ入力を可能とすることが好ましいが、特に大きさの問題で操作が困難となるメール文章の入力などで操作部４０に代わって入力可能としておけばよい。

図３乃至図５で例示する仮想入力操作部２０は、キーイメージ投影部２１、カメラ２２ａ、キー入力判定部２２ｂ、位置検出用レーザ投射部２２ｃ、衝撃検知部２４、及びそれらを制御する制御部２３で構成される。従って、この例では、上述のキー表示手段１１として、キーボードイメージＫＩを投影するイメージ投影手段を採用したものである。この形態を採用した場合、上述の仮想キー入力装置１０（及び仮想入力操作部２０）は所謂仮想キーボードに該当することとなる。

さらに、この例では、上述の指定キー検出手段１２として検出光投射手段及び反射光検出手段を有する。検出光投射手段は、ユーザによって指定された位置を検出するための検出光（マーカ）を投射する手段で、位置検出用マーカ投影手段ともいえる。反射光検出手段は、その検出光投影手段で投影された検出光に対し、障害物からの所定レベルの反射光をユーザによって指定されたキーイメージｋＩの位置からの反射光として検出する手段であり、撮像手段ともいえる。

このような仮想キーボードは、例えば非特許文献１に記載のものを適用すればよい。検出光投射手段として、図３で例示するようにキーイメージ投影部２１が適用できる。キーイメージ投影部２１は、図５の例ではキーボードイメージを投影するための赤色半導体レーザモジュール２１及びその発光方向に設けられたホログラフィック光学素子が適用できる。

併せて反射光検出手段として、図３で例示するように、カメラ２２ａ、キー入力判定部２２ｂ、及び位置検出用レーザ投影部２２ｃが適用できる。例えば、位置検出用レーザ投影部２２ｃとして図５で例示の赤外（不可視）半導体レーザ投影モジュール２２ｃが、カメラ２２ａとして図５で例示のＣＭＯＳカメラモジュール２２ａが適用できる。キー入力判定部２２ｂは、ＣＭＯＳカメラモジュール２２ａでとらえた赤外半導体レーザ投影モジュールで放射されるレーザの反射光（指に当たり反射した光）を、キーのイメージを押した位置として検出した結果により、キー入力の有無を判定する。

図４で例示する携帯電話機２は、表示部４１と操作部４０との間で折り畳み可能となっており、仮想入力操作部２０により、携帯電話機２を操作してその結果を表示部４１に表示させる場合には、図示したように操作部４０のある本体を机上に置き、表示部４１側をユーザに視認可能なように立てる。そして、携帯電話機２の表示部４１の上に配設されたキーイメージ投影部２１からキーボードイメージＫＩを投射する。その状態で、携帯電話機２の最下端の側面に配設された位置検出用レーザ投影部２２ｃからレーザを図５（Ｂ）でも例示するように放射しておき、図５（Ｃ）で例示するようにユーザが或るキーイメージｋＩを指Ｆで触れたことをそのレーザの反射光を、表示部４１の上に配設されたカメラ２２ａでとらえることで検出し、表示部４１でそのキーイメージｋＩが意味するキーの文字（１〜９、Ａ〜Ｚ等）を表示する。なお、図４で図示したように、カメラ２２ａは写真撮影用の撮像部３４と兼ねてもよいが、別々に構成してもよい。

その他、特許文献１をはじめとする従来技術に記載されたキー表示及び指定キー検出に係わる構成を採用してもよい。さらに、上述の検出光投射手段及び反射光検出手段の代わりとして、投影されたキーボード上の指の位置を画像認識技術を用いて検出するなどが考えられる。そして、イメージ投影手段を用いた場合、動き検出手段１４は、イメージ投影手段の投影元付近の動きを検出する手段であることが、キーイメージＫＩのより精確な動きを予測できるので好ましい。

また、キー表示手段１１は、表示画面（タッチパネル）上にキーボードイメージＫＩを表示する画像表示手段であってもよく（図示せず）、この形態を採用した場合、仮想キー入力装置１０は所謂ソフトキーボードに該当することとなる。そして、この形態における指定キー検出手段１２は、表示画面上（タッチパネル上）でユーザによって押下された位置を、ユーザによって指定されたキーイメージｋＩの位置として検出する押下位置検出手段である。ここで、押下とは、当然、触れるだけも含むものとする。また、押下位置検出手段としては、従来の感圧式や静電式のものなどを適用すればよく、ユーザのタッチ位置を検出して出力できればよい。

図６は、本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図で、図３の仮想入力操作部２０での入力処理例を示すフロー図である。仮想入力操作部２０で入力中にユーザ本人や他人が仮想入力操作部２０（それを備えた携帯電話機２）にぶつかると、仮想キー入力装置１０が動いてしまい、入力位置（すなわちキーボードイメージＫＩの位置）が変化してしまう。しかしながら、ユーザの入力スピードが速い場合、仮想入力操作部２０が移動する前の入力位置、すなわちキーイメージ投影部２１で移動前に投影していたキーボードイメージＫＩにて入力を行なってしまう可能性がある。このような場合に、図６で例示する入力処理例が有効となる。

まず、衝撃検知部２４が衝撃を検知すると（ステップＳ１でＹＥＳ）、その衝撃が閾値以上であるか否かを判定手段で判定する（ステップＳ２）。ステップＳ２の判定の結果、衝撃が閾値以上であった場合、キー入力判定部２２ｂでユーザのキー入力の有無を判定し（ステップＳ３）、入力が有った場合にはそのキー入力を無効とする（ステップＳ４）。ステップＳ４でのキー入力の無効化は、出力手段からの出力を停止する、或いは位置検出用レーザ投影部２２ｃのレーザ投影を停止することなどで実行する。

キー入力を無効にした後、一定期間が経過したか否かを判定し（ステップＳ５）、一定期間が経過したとき、キーイメージ投影部２１でキーボードイメージＫＩの投影を再開するなど、キー入力を有効化する（ステップＳ６）。この処理例では、このように、携帯電話機２が衝撃を検出した場合にキー自体を無効化することで、誤入力を防止する。

図６で説明する仮想入力操作部２０を実現するためには、図１で説明した仮想キー入力装置１０で説明すると、動き補償手段１５に入力無効化手段を備えるとよい。この入力無効化手段は、上述の判定手段での判定結果として動き検出手段１４で動きを検出した場合、仮想キー入力装置１０における入力を無効とする。

図７は、本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図で、図３の仮想入力操作部２０での入力処理例を示すフロー図である。上述のごとく、ユーザの入力スピードが速い場合、仮想入力操作部２０が移動する前の入力位置にて入力を行なってしまう可能性があり、このような場合に図７で例示する入力処理例も有効となる。

まず、衝撃検知部２４が衝撃を検知すると（ステップＳ１１でＹＥＳ）、その衝撃が閾値以上であるか否かを判定手段で判定する（ステップＳ１２）。ステップＳ１２の判定の結果、衝撃が閾値以上であった場合、キーイメージ投影部２１でのそのキーボードイメージＫＩの投影を停止（中止）する（ステップＳ１３）。キーボードイメージの投影を中止した後、一定期間が経過したか否かを判定し（ステップＳ１４）、一定期間が経過したとき、キーボードイメージＫＩの投影を再開する（ステップＳ１５）。この処理例では、このように、携帯電話機２が衝撃を検出した場合にキー表示を中止することで、誤入力を防止する。

図７で説明する仮想入力操作部２０を実現するためには、図１で説明した仮想キー入力装置１０で説明すると、図６で説明した形態と同じく動き補償手段１５に入力無効化手段を備えるとよい。この入力無効化手段は、上述の判定手段での判定結果として動き検出手段１４で動きを検出した場合、仮想キー入力装置１０における入力を無効とする。

図７で説明する入力無効化手段は、キー表示手段１１によるキーボードイメージＫＩの表示を中止する手段を有するものとする。特にキー表示手段１１が投影式の表示手段であった場合には、動き検出に基づき、仮想キー入力装置１０の表示（投影等）を中止することで、投影式の眩しさによってユーザ本人や他人に不快な思いをさせなくて済む。但し、キーボードイメージＫＩの表示の停止だけでは、停止した直後にユーザが指を動かしている可能性があるので、同時に指定キー検出手段１２によるキー検出も停止するようにしておくとよい。

図８は、本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図で、図３の仮想入力操作部２０での入力処理例を示すフロー図である。上述のごとく、ユーザの入力スピードが速い場合、仮想入力操作部２０が移動する前の入力位置にて入力を行なってしまう可能性があり、このような場合に図８で例示する入力処理例も有効となる。

まず、衝撃検知部２４が衝撃を検知すると（ステップＳ２１でＹＥＳ）、その衝撃による移動量（基本的に平面的な２方向の移動量）を算出する（ステップＳ２２）。次に、ステップＳ２２で算出した移動量が閾値以上であるか否かを判定手段で判定する（ステップＳ２３）。ステップＳ２３の判定の結果、移動量が閾値以上であった場合、キー入力判定部２２ｂでユーザのキー入力の有無を判定する（ステップＳ２４）。

ステップＳ２４で入力が有ると判定された場合には、位置補正入力モードをオンにする（ステップＳ２５）。位置補正入力モードがオンのときには、算出した移動量（移動ベクトル）分、キー入力されたキーイメージｋＩから離間した他のキーイメージｋＩが指定されたものとして、そのイメージに対応するキーの情報を出力する。具体的にはＱＷＥＲＴＹキーボードの場合、「Ｓ」を入力しようとした瞬間に仮想入力操作部２０が衝撃を受け、右に移動してしまい、「Ｆ」を押してしまったと仮定すると、仮想入力操作部２０は移動量を検出して実際にはユーザが意図していた「Ｓ」を入力することで誤入力を防止することができる。

位置補正入力モードがオンになった後、一定期間が経過したか否かを判定し（ステップＳ２６）、一定期間が経過したとき、位置補正入力モードをオフにする（ステップＳ２７）。この処理例では、このように、携帯電話機２が衝撃を検出した場合にその移動量を算出して、移動量に応じた位置補正を行い、移動前の位置での入力であると認識することで、誤入力を防止する。また、他の実施形態でも同様であるが、ユーザの入力スピードに基づいて、時間に関する判定の閾値や予め定めた一定期間などを変更するようにしてもよい。

図８で説明する仮想入力操作部２０を実現するためには、図１で説明した仮想キー入力装置１０で説明すると、動き補償手段１５に動き補正手段を備えるとよい。この動き補正手段は、動き検出手段１４で検出された動きに応じて、指定キー検出手段１２で検出されたキーイメージｋＩ（例えばキー「Ｆ」）を、他のキーイメージｋＩ（例えばその隣のキー「Ｓ」）が検出されたものとして補正する。すなわち、この動き補正手段は、指定キー検出手段１２で検出された結果を、実際に検出されたキーイメージから動き検出手段１４で検出された動きに応じた他のキーイメージへ自動的に補正する手段であり、ここで補正された結果が入力情報として出力されることとなる。この動き補正手段を上述の判定手段と併用する場合には、判定手段で判定後に、所定レベルを超える動きがあった場合のみ、動き補正を行うようにすればよい。

上述した動き補正手段における自動補正入力は、例えば、動き検出手段１４で検出された動きに応じて移動方向及び移動量を計算し、その移動方向及び移動量（２方向の移動量でもよい）分だけ戻した位置に該当する他のキーイメージｋＩを自動入力する。ここで、動き検出手段１４にて移動方向及び移動量そのものを検出しておき、その結果を用いて自動入力してもよい。

また、上述した動き補償手段１５は、自動補正入力を行わなくてもよく、候補提示手段及び入力決定手段を有するようにしてもよい。この候補提示手段は、動き検出手段１４で検出された動き（例えば移動量）に応じて、他のキーイメージｋＩの補正候補を、ユーザに分かるように文字入力情報で表示部４１などに提示する。例えば、入力された語句が意味をなさない場合には移動量を加味して正しいと思われるものを変換候補として提示する。そして、入力決定手段は、その候補提示手段で提示した補正候補の中からユーザに選択入力させ、結果として、この入力決定手段で選択入力された補正候補を入力情報として出力する。この候補提示手段及び入力決定手段を上述の判定手段と併用する場合には、判定手段で判定後に、所定レベルを超える動きがあった場合のみ、候補の提示を行うようにすればよい。

また、他の実施形態として、動き補償手段１５は、入力補正手段を有することが好ましい。この入力補正手段は、動き検出手段１４で動きが検出されたことを契機として、入力情報を、例えば前に入力された文字などから推測して自動的に補正する。ここでは、動きが検出された事実を、指定キー検出手段１２で誤ったキーイメージｋＩが検出されているはずとみなす訳である。この入力補正手段としては、辞書部の文字変換機能を利用してもよい。すなわち、入力された語句が意味をなさない場合には意味をなすものに修正して提示するなど、入力の修正を行なう。この入力補正手段を上述の判定手段と併用する場合には、判定手段で判定後に、所定レベルを超える動きがあった場合のみ、入力補正を行うようにすればよい。

さらに、上述した動き補償手段１５は、入力補正手段を備えなくてもよく、候補提示手段及び入力決定手段を有するようにしてもよい。この候補提示手段は、動き検出手段１４で動きが検出されたことを契機として、入力情報に対する補正候補を、ユーザに分かるように文字入力情報（キーボードの指定文字の情報等）で提示する。ここでも、動きが検出された事実を、指定キー検出手段１２で誤ったキーイメージｋＩが検出されているはずであるとみなす訳である。補正候補としては、入力の変換候補が挙げられ、例えば、入力された語句が意味をなさない場合には正しいと思われるものを変換候補として提示するとよい。そして、入力決定手段は、その候補提示手段で提示した補正候補の中からユーザに選択入力させ、結果として、この入力決定手段で選択入力された補正候補を入力情報として出力する。この候補提示手段及び入力決定手段を上述の判定手段と併用する場合には、判定手段で判定後に、所定レベルを超える動きがあった場合のみ、候補の提示を行うようにすればよい。

また、他の実施形態として、動き補償手段１５は、上述の判定手段での判定結果として動き検出手段１４で動きを検出した場合、ユーザに対して警告を提示する警告提示手段を有することが好ましい。さらに、警告提示手段は、次の表示変更手段、警告音出力手段、及び表示色変更指示手段のいずれか１又は複数を有することが好ましい。

表示変更手段は、キー表示手段１１によるキーボードイメージＫＩの表示を変更する手段であり、例えば、キーボードの色や表示内容を変えることや、警告等を表示することなどが挙げられる。警告音出力手段は、警告音を発する手段であり、スピーカ４３及びそれに音声信号を出力する手段などからなる。

表示色変更指示手段は、指定キー検出手段１２の検出結果として、指定されたキーイメージｋＩの情報と共に、そのキーイメージｋＩの表示色を通常の色と異ならしめる情報を出力する手段である。この表示色変更指示手段を有する形態では、情報表示手段の一例としての表示部４１で、入力情報を順次表示するようにしておき、指定キー検出手段１２で指定されたキーイメージの情報と共にそのキーイメージの表示色を通常の色と異ならしめる情報を、入力情報として表示部４１で表示する。表示色変更指示手段により、衝撃検出に基づき入力情報の表示色を変更するようにすることで、誤入力の可能性を示唆することが可能となる。表示色の変更は、通常の入力は青色で確定後が黒色とすると、衝撃検出時には赤色にするなどが考えられ、ユーザは赤字を視認することでバックスペースなどのキー入力でその赤文字が間違っていたら削除するようにすればよい。

本発明の他の実施形態として、動き補償手段１５は、上述の判定手段での判定結果として動き検出手段１４で動きを検出した場合、以前の状態へ復帰する復帰手段（復帰指示手段とも言える）を有することが好ましい。この復帰手段は、表示部４１での表示状態を衝撃を検知する以前の表示状態へ復帰するための指示などを出力する手段である。復帰手段は、衝撃を検知してから一定時間経過後に指示を実行してもよいし、一定数（一定回数）のキー入力後に指示を実行してもよい。また、復帰手段は、表示部４１やキーボードイメージＫＩに表示された解除ボタンの操作によるものとしてもよい。

また、復帰手段は、入力位置復帰手段を有するようにしてもよい。この入力位置復帰手段を有する形態では、情報表示手段の一例としての表示部４１で、入力情報を順次表示するように且つ現時点での表示上の入力位置をカーソル等のマークや色の差などで示すようにしておく。すなわち、入力位置とは、カーソル位置で代表されるような、現在、文章上でどの位置に文字を入力しようとしているのかといった位置を指す。入力位置復帰手段は、動き検出手段１４で動きが検出された時点をユーザに対して示すため、検出時点で最後に入力決定済となっていたキーイメージに対する入力情報の表示部４１における表示位置の直後に、カーソル等の入力位置を復帰させる。但し、ここでの復帰とは、元に戻す際に、単語単位で戻すなどの処理を施すようにしてもよい。

また、入力位置復帰手段は、動き検出手段１４で動きが検出された後のキー入力数を算出し、算出されたキー入力数だけカーソル等の入力位置を戻すキー入力数算出手段を有するようにしてもよい。さらに、入力位置復帰手段は、カーソル等の入力位置の復帰時表示方法を通常時の表示方法と異ならしめるようにしてもよい。例えば、カーソル表示するとき、通常時と復帰した時とで、その表示色を異ならせたり、点滅パターンを変えるなどがある。

具体的に、「明日１０時に新宿コマ劇」とユーザが入力しようとしているときに、「新宿」と「コマ劇」の間でユーザが接触するなどして、例えば文字入力の結果として「明日１０時に新宿じょな」などと入力されてしまい、その時点で文字入力をストップしたと仮定する。このケースでは、「明日１０時に新宿じょな」が出力手段で表示部４１側に出力されていることとなる。上述の入力位置復帰手段を備えない形態では、動きを検出しても、入力中止後の表示カーソルは「な」の後ろになっている。しかしながら、上述の入力位置復帰手段を備えた形態では、動きを検出して、入力位置補正手段によって、動きが検出された時点の「新宿」の後（「じょな」の前）に入力位置を補正することができる。従って、ユーザはそこから正しい入力を行なうことができる。なお、「じょな」はそのカーソル位置で新たな入力がなされたときに、削除されるようになっていてもよい。

本発明の他の実施形態として、動き補償手段１５は、上述の判定手段での判定結果として動き検出手段１４で動きを検出した場合、指定キー検出手段１２での検出基準を、動きが発生した後の位置とする手段を有することが好ましい。特に、移動量が検出できる仮想入力操作部２０において、衝撃を検知した後の位置を基準入力位置に変更する手段を備えるとよい。これにより、移動後の入力位置を基準にしてキー入力が可能となる。なお、衝撃によりユーザが入力し難い位置にキーボードイメージＫＩが移動した場合には、ユーザが再度入力し易い元の位置に戻すので、その戻しを衝撃として検知して同様の基準設定を行えばよい。このように、ユーザが直ぐに位置を戻す場合も考えられるので、変更は一定時間経過後とし、途中に余計な基準設定を行わず、最初の位置から戻した位置までによって基準設定を実行することが好ましい。また、基準位置の変更は一定数（一定回数）のキー入力後としてもよく、また、表示部４１やキーボードイメージＫＩ表示される解除ボタンの操作によって基準位置の変更がなされるようにしてもよい。前者の場合、一定数に至るまでのキー入力は無視するなどすればよい。

以上の実施形態に係る情報端末装置１は、仮想キー入力装置１０を入力手段の一つとして用いるもので、その入力結果を少なくとも一つの処理（各種処理手段１６の一手段）に用いるものである。しかしながら、本発明では仮想キー入力装置の適用形態として、図９で例示するようなものも採用できる。なお、動き検出手段１４の設置位置としては、情報端末装置１における仮想キー入力装置１０以外の部分に設けられ、仮想キー入力装置１０自身の動きとして情報端末装置１自身の動きを検出するようにしてもよい。

図９は、本発明の他の実施形態に係る仮想キー入力システムの３つの例を説明するための概略図である。図９で例示する仮想キー入力システムは、情報端末装置（携帯電話機２で例示）に対して、その充電器３を用いるものとする。この充電器３で使用するキー入力に係わる電源はコンセントから得てもよいし、逆に携帯電話機２の本体から得るようにしてもよい。仮想キー入力装置１０が投影型のキー表示手段１１を備える場合には、仮想キー入力装置１０の一部又は全部を充電器３側に組み込み易い。また、図示の例は、携帯電話機２を、クローズドポジションからビューアポジションへと画面部分を回転させて、充電器３に差し込んだ例であるが、これに限ったものではない。さらに、動き補償手段１５等の説明しない手段については、携帯電話機２及び充電器３のいずれに備えてもよい。

図９（Ａ）で例示するシステムは、仮想入力操作部２０を備えた充電器付き携帯電話機２である。このシステムでは、携帯電話機２を充電する充電手段として充電器３を設け、仮想入力操作部２０で入力された情報を携帯電話機２に送信する送信手段（図示せず）を設けている。送信手段としては、ｂｌｕｅｔｏｏｔｈなどの通信手段を充電器３に設けておけば携帯電話機２の本体に入力情報を送信することができる。

そして、このシステムでは、キー表示手段１１（キーイメージ投影部２１）を携帯電話機２の本体側に設け、指定キー検出手段１２（カメラ２２ａ、キー入力判定部２２ｂ、及び位置検出用レーザ投影部２２ｃ）を充電器３側と本体２側とに分散して設けている。特に、指定キー検出手段１２として、本体２側にカメラ２２ａ（撮像部３４を代用した例）を、充電器３側にキー入力判定部２２ｂ及び位置検出用レーザ投影部２２ｃを設けている。なお、キー入力判定部２２ｂは本体２側に設けられてもよい。

図９（Ｂ）で例示するシステムは、仮想入力操作部２０を備えた充電器付き携帯電話機２である。このシステムでは、キー表示手段１１（キーイメージ投影部２１）を携帯電話機２の本体側に設け、指定キー検出手段１２（カメラ２２ａ、キー入力判定部２２ｂ、及び位置検出用レーザ投影部２２ｃ）を充電器３側に設け、充電器３側で検出した情報を本体２側へ送信する上述のごとき送信手段（図示せず）を設けている。なお、キー入力判定部２２ｂは本体２側に設けられてもよい。

図９（Ｃ）で例示するシステムは、携帯電話機２と、仮想入力操作部２０を備えた充電器である。このシステムでは、キー表示手段１１（キーイメージ投影部２１）及び指定キー検出手段１２（カメラ２２ａ、キー入力判定部２２ｂ、及び位置検出用レーザ投影部２２ｃ）を充電器３側に設け、充電器３側で検出した情報を本体２側へ送信する上述のごとき送信手段（図示せず）を設けている。なお、キー入力判定部２２ｂは本体２側に設けられてもよい。

以上、本発明では、例えば、仮想キー入力装置を備えた情報端末にさらに衝撃を検知する手段を備え、衝撃が検知された場合、入力を無効にしたりキー表示手段の投影／表示を中止したりすることで、誤入力を防ぐことが可能となる。

本発明の一実施形態に係る仮想キー入力装置を備えた情報端末装置の一構成例を示すブロック図である。 本発明の他の実施形態に係る仮想キー入力装置を備えた携帯情報端末装置の一構成例を示すブロック図である。 図２の携帯情報端末装置における仮想キー入力装置（仮想入力操作部）の一構成例を示すブロック図である。 図２の携帯情報端末装置の外観を示す概略図である。 図４の携帯情報端末装置に適用したキー表示手段及び指定キー検出手段を説明するための概略図である。 本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図である。 本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図である。 本発明の他の実施形態に係る仮想キー入力装置の処理例を説明するためのフロー図である。 本発明の他の実施形態に係る仮想キー入力システムの３つの例を説明するための概略図である。

符号の説明

１…情報端末装置、２…携帯情報端末装置（携帯電話機）、３…充電器、１０…仮想キー入力装置、１１…キー表示手段、１２…指定キー検出手段、１３…出力手段、１４…動き検出手段、１５…動き補償手段、１６…各種処理手段、２０…仮想入力操作部、２１…キーイメージ投影部、２２ａ…カメラ、２２ｂ…キー入力判定部、２２ｃ…位置検出用レーザ投射部、２３…制御部、２４…衝撃検知部、３１…無線部、３２…通信制御部、３３…画像処理部、３４…撮像部、３５…不揮発性メモリ、３６…主制御部、３７…揮発性メモリ、３８…発光部、３９…表示ドライバ、４０…操作部、４１…表示部、４２…マイクロフォン（マイク）、４３…スピーカ、ＫＩ…キーボードイメージ、ｋＩ…キーイメージ。

Claims (3)

1. １つ以上のキーイメージを表示するキー表示手段と、該キー表示手段で表示したキーイメージそれぞれが、ユーザによって指定されたことを検出する指定キー検出手段とを備え、該指定キー検出手段で検出されたキーイメージに対応する情報を入力情報とする仮想キー入力装置であって、
   当該仮想キー入力装置自身の動きを検出する動き検出手段と、該動き検出手段で検出された動きが所定レベルを超えるものであるか否かを判定し、前記所定レベルを超えるものと判定された場合に、前記入力情報に対する補正候補を提示する候補提示手段と、該候補提示手段で提示した補正候補の中からユーザに選択入力させる入力決定手段とを有し、該入力決定手段で選択入力された補正候補を前記入力情報とすることを特徴とする仮想キー入力装置。
2. 請求項１に記載の仮想キー入力装置を備えた充電器付き情報端末装置であって、前記キー表示手段を当該情報端末装置の本体側に設け、前記指定キー検出手段を前記充電器側に設け、前記充電器側で検出した情報を前記本体側へ送信する送信手段を設けたことを特徴とする充電器付き情報端末装置。
3. 請求項１に記載の仮想キー入力装置を備えた充電器付き情報端末装置であって、前記キー表示手段を当該情報端末装置の本体側に設け、前記指定キー検出手段を前記充電器側と前記本体側とに分散して設けたことを特徴とする充電器付き情報端末装置。

Images