JP4752887B2

JP4752887B2 - 情報処理装置、情報処理方法およびコンピュータプログラム

Info

Publication number: JP4752887B2
Application number: JP2008234511A
Authority: JP
Inventors: 麗子宮崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-09-12
Filing date: 2008-09-12
Publication date: 2011-08-17
Anticipated expiration: 2028-09-12
Also published as: US8471825B2; US20130257737A1; EP2163975B1; US8860680B2; EP2163975A2; ATE540352T1; CN101673177B; US9569106B2; CN101673177A; EP2163975A3; JP2010067135A; US20100066695A1; US20150012875A1

Description

本発明は、情報処理装置、情報処理方法およびコンピュータプログラムに関し、より詳細には、オンスクリーンキーボードを備える情報処理装置、情報処理方法およびコンピュータプログラムに関する。

タッチセンサは、直感的で使いやすいユーザインタフェースを実現可能であることから、従来から交通機関の発券機や銀行のＡＴＭ等に使用されていた。近年では、タッチセンサはユーザの動作を検出することも可能となり、従来のボタン操作にはない機器の操作を実現することができるようになった。これにより、近年、携帯電話機やゲーム機器などの携帯機器にタッチセンサが多く用いられるようになっている。

タッチパネルを搭載した機器には、物理的なキーボードではなく、画面上から文字等を入力するソフトウェアキーボードであるオンスクリーンキーボードを備えるものもある（例えば、特許文献１〜５）。オンスクリーンキーボードには、ユーザが容易に文字を入力することができる一方で、ユーザの指によってキーが遮蔽されるという問題があった。このような問題に対して、ユーザがフォーカス使用としているキーを認識することができるようにする対策が取られている。例えば、上記特許文献では、ユーザによりフォーカスされているキーあるいはその周辺のキーのサイズを拡大したり、フォーカスされているキーを指で遮蔽される領域外に表示されるようにずらしたりする処理がなされている。

特開２００２−２９７２９３号公報特開平０８−２３４９０９号公報特開平０５−１９７４７１号公報特開平０２−１３６９１４号公報特開２００８−９７５９号公報

しかし、キーを拡大する処理では、キーの拡大によって相隣接するキー同士が遮蔽し合ってしまうという問題があった。また、キーを移動する処理では、ユーザがキーをタッチした状態で指を画面上で移動させ、表示を確認した後に指を画面上から離すことでキーを確定することができる。しかし、ユーザのタッチした位置がユーザの意図したキー上にある場合はそのままタップ操作を行うことでキーを確定することができるが、ユーザのタッチした位置がユーザの意図したキー上にない場合には、意図したキー上に指をずらさなければならない。一度画面上から指を離すと現在フォーカスされているキーの操作を確定してしまうことになり、そのキーの操作を取り消す操作を行わなければならないからである。このような打ち間違いが多発すると考えられ、ユーザの操作負荷が大きくなることは容易に想像される。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、操作体によって操作される複数の入力領域を表示する表示部と、操作体と表示部の表面との近接距離を検出する検出部と、操作体が一の入力領域に所定の距離以上近接したときに操作体が近接している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部とを備える、情報処理装置が提供される。

本発明によれば、検出部により操作体が表示部に近接または接触していることが検知されると、領域制御部は、操作体が近接または接触している入力領域を拡大する。これとともに、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる。このように、入力領域を拡大させ、かつ入力領域同士の重複を回避させることにより、ユーザは所望の入力領域を容易に選択することができ、他の入力領域を誤って選択するのを防止することができる。

ここで、領域制御部は、操作体の近接距離に応じて変更後の入力領域の大きさを決定するサイズ決定部と、変更後の大きさにされた相隣接する入力領域同士が重複しない理想位置を算出する理想位置算出部と、を備えることができる。

また、理想位置算出部は、変更後の入力領域の大きさにおいて他の入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、相隣接する入力領域の対を決定するペア決定部と、入力領域の対について、対応する重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、対応する重複回避領域の現在の相対位置と理想相対位置との差を最小化して理想位置を算出する理想位置決定部と、を備えるようにしてもよい。

ここで、理想相対位置決定部は、対となる入力領域に対応する重複回避領域の現在位置が重複しない場合、重複回避領域の現在位置を理想相対位置とし、対となる入力領域に対応する重複回避領域の現在位置が重複する場合、重複回避領域の中心を結ぶ基準線方向に一の重複回避領域を他の重複回避領域と重複しないように移動させた位置を理想相対位置とすることもできる。

また、サイズ決定部は、すべての入力領域が所定の範囲に納まるように前記入力領域の拡大率を最適化するようにしてもよい。

さらに、本発明にかかる情報処理装置は、ユーザが入力する入力情報を予測する予測部をさらに備えることもできる。このとき、領域制御部は、予測部の予測した入力情報である予測入力情報に基づいて、入力領域の表示を変更するようにしてもよい。

ここで、予測部は、入力領域から既に入力された既入力情報を解析して、予測入力情報を入力するために次に操作される入力領域を次操作領域として予測することもできる。このとき、領域制御部は、予測された次操作領域の表示を変更するようにする。

また、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域を表示部に表示する表示ステップと、操作体と表示部の表面との近接距離を検出する検出ステップと、操作体が一の前記入力領域に所定の距離以上近接したときに操作体が近接している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御ステップと、を含む、情報処理方法が提供される。

ここで、領域制御ステップは、操作体の近接距離に応じて変更後の入力領域の大きさを決定するサイズ決定ステップと、変更後の大きさにされた相隣接する入力領域同士が重複しない理想位置を算出する理想位置算出ステップと、を含むようにしてもよい。

また、理想位置算出ステップは、変更後の入力領域の大きさにおいて他の入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定ステップと、相隣接する入力領域の対を決定するペア決定ステップと、入力領域の対について、対応する重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定ステップと、対応する重複回避領域の現在の相対位置と理想相対位置との差を最小化して理想位置を算出する理想位置決定ステップと、を含むこともできる。

理想相対位置決定ステップでは、対となる入力領域に対応する重複回避領域の現在位置が重複しない場合、重複回避領域の現在位置を理想相対位置とし、対となる入力領域に対応する重複回避領域の現在位置が重複する場合、重複回避領域の中心を結ぶ基準線方向に一の重複回避領域を他の重複回避領域と重複しないように移動させた位置を理想相対位置とするようにしてもよい。

また、サイズ決定ステップでは、すべての入力領域が所定の範囲に納まるように入力領域の拡大率を最適化してもよい。

さらに、本発明の情報処理方法は、ユーザが入力する入力情報を予測する予測ステップを含むこともできる。ここで、領域制御ステップは、予測した入力情報である予測入力情報に基づいて、入力領域の表示を変更するようにしてもよい。

また、予測ステップでは、入力領域から既に入力された既入力情報を解析して、予測入力情報を入力するために次に操作される入力領域を次操作領域として予測するようにしてもよい。このとき、領域制御ステップは、予測された次操作領域の表示を変更することもできる。

さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記情報処理装置として機能させるコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、コンピュータプログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびＭＯ（ＭａｇｎｅｔｏＯｐｔｉｃａｌ）ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ、ＤＶＤ−Ｒ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−ＲａｙＤｉｓｃ（登録商標））などがあげられる。

以上説明したように本発明によれば、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な情報処理装置、情報処理方法およびコンピュータプログラムを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
まず、図１および図２に基づいて、本発明の第１の実施形態にかかる情報処理装置１００の概略構成について説明する。なお、図１は、本実施形態にかかる情報処理装置１００の概略構成を示す平面図である。図２は、本実施形態にかかる情報処理装置１００の機能構成を示すブロック図である。

＜情報処理装置の構成＞
本実施形態にかかる情報処理装置１００は、タッチパネルを搭載したディスプレイパネル１１０を備える機器であり、例えば銀行のＡＴＭや、ＰＤＡや携帯電話機、ＭＰ３プレーやなどの携帯機器などである。本実施形態にかかるディスプレイパネル１１０は、表示部（図２の符号１１２）と、表示部への操作を検出する検出部（図２の符号１１４）とを備える。ディスプレイパネル１１０の表示部には、例えば図１のように、入力された文字が表示される入力表示部１０２と、アルファベット等の文字や記号を入力するための複数のキーからなるキー入力部１０４と、入力キーや決定キーなどの固定入力部１０６とが表示される。

このようなオンスクリーンキーボードを備える情報処理装置１００から文字を入力する場合、ユーザは、入力する文字に対応するキーの位置を指などで触れる操作を行う。このとき、そのキーの入力を検知する検出部によって表示部に対する所定の距離以上の指の近接あるいは接触が検知されると、文字が入力されたと判断されて入力表示部１０２に当該文字が表示される。以下、本実施形態にかかる情報処理装置１００の機能構成について詳細に説明する。

本実施形態にかかる情報処理装置１００は、図２に示すように、ディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。

ディスプレイパネル１１０は、ユーザの指、手などの操作体を検知することでユーザの操作を受ける機能部であって、上述したように、表示部１１２と、検出部１１４とからなる。表示部１１２は、例えば液晶ディスプレイであって、情報処理部１２０を介して表示処理部１４０により駆動制御される。表示部１１２には、図１に示すようなオンスクリーンキーボードや、当該キーボードから入力された文字等が表示される。検出部１１４は、表示部１１２に表示されたオンスクリーンキーボードへの入力操作を検知する。本実施形態にかかるディスプレイパネル１１０は光量の変化（影の濃さ）を検出することで操作体の近接を検知する光学方式のタッチセンサを備える。このとき、検出部１１４は、受光部として赤色、緑色、青色の３色の画素とともに１組の画素セットとしてディスプレイパネル１１０に組み込んで設けることができる。検出部１１４は、受光した光を電気信号に変換し、情報処理部１２０へ送信する。

情報処理部１２０は、ディスプレイパネル１１０と領域制御部１３０および表示処理部１４０との間の授受される情報を処理するドライバである。情報処理部１２０は、検出部１１４から受信した電気信号に基づいて操作体の近接位置を算出し、近接位置情報として領域制御部１３０へ送信する。近接位置情報は、例えば表示部１１２の中心を原点とした３次元座標により表現される。また、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。

領域制御部１３０は、操作体の近接位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する。領域制御部１３０は、例えば、サイズ決定部１３２と、理想位置算出部１３４とからなる。

サイズ決定部１３２は、情報処理部１２０から受信した近接位置情報に基づいて、入力キーのサイズを決定する。本実施形態にかかる情報処理装置１００では、操作体が近接している位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、近接位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。

理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定する。また、理想位置算出部１３４は、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。

表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。

以上、本実施形態にかかる情報処理装置１００の構成について説明した。情報処理装置１００は、ユーザによるキー入力を円滑にするため、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。そこで、以下、図３および図４に基づいて、本実施形態にかかる情報処理装置１００の表示処理方法について説明する。なお、図３は、本実施形態にかかる情報処理装置１００の表示処理方法を示すフローチャートである。図４は、本実施形態にかかるフォーカス表示処理を示すフローチャートである。

＜キーの表示処理方法＞
まず、図３に基づいて、本実施形態にかかる表示処理方法について説明する。本実施形態にかかる情報処理装置１００は、ユーザの指や手などの操作体の近接を検出部１１４により検出することにより、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、上述したように、受光量の変化に基づいて操作体の近接距離を検出することができる。操作体が表示部１１２に接近すると、その接近位置に設けられた検出部１１４が検出する光量は低下する。検出部１１４は、検出した光量を電気信号に変換して情報処理部１２０へ送信する。情報処理部１２０は、受信した電気信号から操作体によりフォーカスされているキーの位置（近接位置）を特定する。

次いで、操作体が所定の距離以上表示部１１２に近接していると判断すると、フォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、当該フォーカス表示処理の詳細については後述する。

フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。

このように、本実施形態にかかる情報処理装置１００は、表示部１１２に対する操作体の近接または接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示する。以下、図４に基づいて、本実施形態にかかるフォーカス表示処理について詳細に説明する。

＜フォーカス表示処理＞
本実施形態にかかるフォーカス表示処理は、図４に示すように、まず、変更後のキーのサイズを決定する（ステップＳ２１０）。サイズ決定部１３２は、操作体が近接する近接位置のキー（フォーカスキー）およびその周囲に位置するキーのサイズを通常の基本サイズより大きく設定する。例えば、フォーカスキーのサイズは基本サイズの約４倍のサイズとし、その周囲に位置するキーのサイズは基本サイズの約２倍のサイズとし、その他のキーのサイズは基本サイズとする。このように、サイズ決定部１３２は変更後のキーのサイズを決定する。ここで、フォーカスキーの周囲に位置するキーとは、例えば、フォーカスキーと相隣接するキーとすることができる。また、キーの形状は、変更前後で相似形となるように変更してもよく、変更前後で相違するようにしてもよい。なお、入力キーや決定キーなどの固定入力部１０６の位置およびサイズは変更されないものとする。

次いで、キー同士の重複を回避する重複回避領域を決定する（ステップＳ２２０）。重複回避領域は、なるべく他のキーとの重複を回避したい領域として各キーに対して設けられる。重複回避領域は、例えばステップＳ２１０にて決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。

ここで、ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネル１１０の状態を図５に示す。図５に示すように、ディスプレイパネル１１０には、略円形のキー２００が複数配列されている。ここで、操作体であるユーザの指１０がディスプレイパネル１１０に近づけられ、アルファベット「Ｇ」に最も近接していることが検出されたとする。このとき、アルファベット「Ｇ」は基本サイズの約４倍のサイズに、その周囲のキー２００は基本サイズの約２倍のサイズに、その他のキー２００は基本サイズのままとする。

変更後のキー２００のサイズが決定されると、各キー２００の重複回避領域２１０が決定される。かかる例において、重複回避領域２１０は、変更後の略円形のキー２００の領域を含む最小の矩形として設定される。なお、重複回避領域２１０は、正方形や長方形などの矩形状であってもよく、円形であってもよい。

さらに、各キーの重複回避領域２１０が重複しないように表示するための重複回避処理が行われる。まず、キー同士の近接関係を抽出する（ステップＳ２３０）。ステップＳ２３０は、相隣接するキー同士の重複を回避する理想相対位置を算出するための前処理として行われる。本実施形態では、例えば重複回避領域２１０の中心を入力点群とするドロネー三角形分割を行い、キー同士の近接関係を抽出する。ドロネー三角形分割を行うことにより、近接するキー２００をより速く認識することができる。かかる処理によって定義されたドロネー辺２２０は、図６に示すようになる。

次いで、理想相対位置が算出される（ステップＳ２４０）。ステップＳ２４０では、ステップＳ２３０において算出されたドロネー辺２２０で結ばれた重複回避領域の対において、これらの重複がなくなる理想的な相対位置を算出する。ここで、図７に基づいて、理想相対位置の算出方法の一例を説明する。なお、図７は、理想相対位置の算出方法の一例を説明する説明図であって、説明の便宜上、一の重複回避領域２１０ａ、２１０ｂの対のみを示している。

図７の左図は、現在（表示領域変更前）の重複回避領域２１０ａ、２１０ｂを示す。ここで、重複回避領域２１０ａの中心位置をｖ_ｉ、重複回避領域２１０ｂの中心位置をｖ_ｊとする。重複回避領域２１０ａ、２１０ｂが重複する場合、各重複回避領域２１０ａ、２１０ｂの中心位置ｖ_ｉ、ｖ_ｊを結び、基準線２１５を決定する。次いで、図７の中央図に示すように、一方の重複回避領域（図７では、重複回避領域２１０ｂ）を基準線に２１５に沿って、他方の重複回避領域（図７では、重複回避領域２１０ａ）との重複がなくなるまで平行移動させる。これにより、相隣接するキー２００の相対の方向を変えることなくキー２００の位置を変更することができる。

そして、図７の右図に示す２つの重複回避領域２１０ａ、２１０ｂの重複がなくなったときの位置を理想相対位置とすることができる。なお、このとき、各重複回避領域２１０ａ、２１０ｂを最短距離で移動できるように、両者が重複する部分のｘｙ方向の長短も考慮するのがよい。一方、重複回避領域２１０ａ、２１０ｂが重複しない場合には、現在の位置を理想相対位置とすることができる。

理想相対位置が算出されると、現在の相対位置と理想相対位置との差を最小化する。この最小化処理には、例えば最小二乗法を用いることができる。このとき、画面の中心を算出される重複回避領域２１０全体の重心とすることで、表示領域を固定することができる。現在の相対位置と理想相対位置との差の最小化処理は、以下の数式１により行うことができる。

・・・（数式１）

ここで、ｖ_ｉ、ｖ_ｊは、対となる重複回避領域２１０の各中心位置であって、ドロネー辺の始点および終点に相当する。ｄｖ_ｉｊは、ｖ_ｊからみたｖ_ｉの理想相対位置を示す。ｎはドロネー辺を構成する頂点数、すなわち重複回避領域数を示す。ｃは、全重複回避領域の重心であって、本実施形態では表示部１１２の画面の中心座標である。このように、数式１により、この算出値を最小化するｖ_ｉの各位置を算出する。なお、本実施形態では、処理の高速化のため、数式１の処理を１回のみ行うが、完全にキー同士が重複しないようになるとは限らない。そこで、キーの重複を完全になくすため、当該処理を複数回繰り返して変更後の位置の精度を高めるようにしてもよい。

そして、各重複回避領域２１０を移動させる理想位置ｖ_ｉｎｅｗが決定され、ディスプレイパネル１１０に表示される（ステップＳ２５０）。このように、本実施形態にかかるフォーカス表示処理を行うことにより、指に近いキーは拡大されて表示されるが、拡大されるキーの周辺のキーはそれを避けるように平行移動しながら自身のキーのサイズも拡大させる。そして、さらに指から離れた位置のキーは、基本位置および基本サイズを保持しようとさせることができる。

ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を図８に示す。図８に示すように、数式１により算出された変更後のキーの重複回避領域の位置である理想位置２３０は、現在の重複回避領域２１０の位置と比較して、フォーカスされたキーは拡大され、かつ周囲のキーはその拡大されたキーから避けるような位置となる。

その後、図８に示す位置からユーザの指１０がさらにディスプレイパネル１１０に近づいて接触した場合、例えば図９に示すように、フォーカスされるアルファベット「Ｇ」のキーのサイズが、ユーザの指１０が接触する前と比較してさらに大きくなる。このとき、アルファベット「Ｇ」のキーの周囲のキーは、図８と比較して小さくなる。これにより、ユーザの入力するキーをより入力しやすくすることができ、他のキーを誤って入力するのを防止できる。

また、ユーザが指１０をディスプレイパネル１１０上に接触させたまま指先をアルファベット「Ｔ」のキーへ移動させるような動作をとったとする。このとき、情報処理装置１００は、ディスプレイパネル１１０の検出部１１４により操作体である指１０の方向性を検知して、入力する可能性の高いキーのサイズを大きくするようにすることもできる。例えば、図１０に示すように、指先の移動方向に位置するアルファベット「Ｔ」、「Ｆ」および「Ｙ」のキーのサイズを図９の状態と比較して大きくする。また、指先の移動方向とは反対側に位置するアルファベット「Ｂ」、「Ｖ」および「Ｈ」、また現在指１０が置かれているアルファベット「Ｇ」のキーのサイズを図９の状態と比較して小さくする。これにより、ユーザの入力する可能性の高いキーをより入力しやすくする一方で、入力される可能性の低いキーを誤って操作するのを防止できる。

以上、第１の実施形態にかかる情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、表示部１１２に対して操作体が近接または接触されたフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。

なお、ステップＳ２１０において、キー入力部１０４全体の面積が変化しないように、個々のキーの拡大率を最適化するようにしてもよい。例えば、フォーカスキーから離れた位置にあるキーは基本サイズよりも小さくするなどして、キー入力部１０４のキー２００を所定の表示領域内に納まるように調整する。これにより、多点入力により拡大するキーが増えたとしても、キー入力部１０４全体をディスプレイパネル１１０の表示領域からはみ出さないようにすることも可能である。

（第２の実施形態）
次に、図１１に基づいて、本発明の第２の実施形態にかかる情報処理装置３００について説明する。本実施形態にかかる情報処理装置３００は、第１の実施形態にかかる情報処理装置１００と比較して、入力情報を予測する予測部３５０を備える点で相違する。以下、図１１に基づいて、本実施形態にかかる情報処理装置３００の構成およびそれによる処理について、第１の実施形態との相違点を主に説明する。なお、図１１は、本実施形態にかかる情報処理装置３００の機能構成を示すブロック図である。

＜情報処理装置の構成＞
本実施形態にかかる情報処理装置３００は、図１１に示すように、表示部３１２および検出部３１４を備えるディスプレイパネル３１０と、情報処理部３２０と、サイズ決定部３３２および理想位置算出部３３４を備える領域制御部３３０と、表示処理部３４０と、予測部３５０とを備える。ここで、ディスプレイパネル３１０、情報処理部３２０、領域制御部３３０および表示処理部３４０は、第１の実施形態にかかるディスプレイパネル１１０、情報処理部１２０、領域制御部１３０および表示処理部１４０と同様の機能、構成を有する。したがって、ここではその説明を省略する。

予測部３５０は、ユーザが入力する入力情報を予測する機能部である。予測部３５０は、操作体のディスプレイパネル３１０への近接あるいは接触が検出部３１４により検出されると、既に入力された文字から入力される単語を予測し、１または複数の候補文字列（予測入力情報）を自動生成する。そして、予測部３５０は、候補文字列の読み仮名を解析して、情報処理部３２０を介してその解析結果を領域制御部３３０へ送信する。

＜予測変換機能への適用＞
本実施形態にかかる情報処理装置３００は、上述の予測部３５０によってユーザが入力しようとする文字から入力される単語を予測することができる。予測変換処理は、既存の手法を用いて行うことができる。予測部３５０は、予測した単語の読み仮名をさらに解析して、各候補文字列について次に打つべき文字を取得する。次に打つべき文字は、候補文字列を絞り込むための文字ともいえる。予測部３５０は、情報処理部３２０を介して、取得した文字を領域制御部３３０へ送信する。

次に打つべき文字の候補を受信した領域制御部３３０は、まず、サイズ決定部３３２により変更後のキーのサイズを決定する。例えば、次に打つべき文字のキーのサイズは基本サイズより大きくし、その他の文字のキーは基本サイズのままとする。次いで、キー同士の重複を回避する重複回避領域を決定する。重複回避領域は、第１の実施形態と同様にサイズ決定部３３２により決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。

さらに、各キーの重複回避領域が重複しないように表示するため、キー同士の近接関係を抽出した後、理想相対位置が算出される。キー同士の近接関係から重複回避領域の対が決定されると、各対について、２つの重複回避領域が重複しないような位置となる理想相対位置を算出する。かかる処理は、第１の実施形態と同様に行うことができる。理想相対位置が算出されると、例えば上記数式１を用いて、現在の相対位置と理想相対位置との差を最小化する。このようにして移動後の各キーの位置（理想位置）を算出することができる。

このように、予測変換機能に第１の実施形態において説明したフォーカス表示処理を適用することにより、候補文字列の次に打つべき文字のキーは拡大して表示され、その周囲のキーは基本サイズで表示されるようにすることができる。また、周囲のキーは、次に打つべきキーとの重複を避けるように表示される。これにより、ユーザが次に打つべきキーを打ちやすくすることができ、候補文字列の絞り込みを円滑にすることができる。

本実施形態にかかる情報処理装置３００は、キーの拡大と重複回避を行うことによりキー入力を円滑にしたが、例えば、次に打つべきキーの色を他のキーの色と相違させることにより、次に打つべきキーをユーザに促すこともできる。また、情報処理装置３００は、予測された単語である１または複数の候補文字列をキーディスプレイパネル３１０の表示部３１２に表示して、ユーザがその候補文字列を選択できるようにすることもできる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ディスプレイパネルは光学方式のタッチセンサを備えていたが、本発明はかかる例に限定されない。例えば、通常の静電容量方式のタッチセンサや低硬膜方式のタッチセンサを用いることもできる。また、例えばパーソナルコンピュータにおいて、マウスを用いてマウスカーソルを操作してキー入力を行う場合にも、マウスカーソル位置から各キーへの距離を算出することにより、上記実施形態と同様にフォーカスするキーの拡大と重複回避処理を行うことができる。

また、上記実施形態では、オンスクリーンキーボードの表示処理について説明したが、本発明はかかる例に限定されない。例えば、ホーム画面におけるメニュー選択や、ミュージックプレーヤにおけるテキストやジャケット写真等イメージからの選曲、フォトビューアにおける写真の選択、動画プレーヤにおけるサムネイルの選択に適用することもできる。さらには、地図アプリやＷｅｂブラウザなどにおける特定個所の拡大表示とその周辺の重複回避処理に適用することもできる。

さらに、上記実施形態では、表示部および検出部を備えるディスプレイパネルは、キーのサイズの拡大および重複回避処理を行う領域制御部および表示処理部とともに設けられていたが、本発明はかかる例に限定されない。ディスプレイパネルと領域制御部および表示処理部とを別体として設けることもできる。例えば、キーのサイズの拡大および重複回避処理をディスプレイパネルと接続されたコンピュータ等で行ってもよい。

本発明の第１の実施形態にかかる情報処理装置の概略構成を示す平面図である。同実施形態にかかる情報処理装置の機能構成を示すブロック図である。同実施形態にかかる情報処理装置の表示処理方法を示すフローチャートである。同実施形態にかかるフォーカス表示処理を示すフローチャートである。ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネルの状態を示す説明図である。ステップＳ２３０の処理が行われたときのディスプレイパネルの状態を示す説明図である。理想相対位置の算出方法の一例を示す説明図である。ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を示す説明図である。本実施形態にかかるフォーカス表示処理が実行された場合のキーのサイズおよび配置の一例を示す説明図である。本実施形態にかかるフォーカス表示処理が実行された場合のキーのサイズおよび配置の他の例を示す説明図である。本発明の第２の実施形態にかかる情報処理装置の機能構成を示すブロック図である。

符号の説明

１００、３００情報処理装置
１１０、３１０ディスプレイパネル
１１２、３１２表示部
１１４、３１４検出部
１２０、３２０情報処理部
１３０、３３０領域制御部
１３２、３３２サイズ決定部
１３４、３３４理想位置算出部
１４０、３４０表示処理部
２００キー
２１０、２１０ａ、２１０ｂ重複回避領域
２２０ドロネー辺
２３０理想位置
３５０予測部

Claims

操作体によって操作される複数の入力領域を表示する表示部と、
操作体と前記表示部の表面との近接距離を検出する検出部と、
前記操作体が一の前記入力領域に所定の距離以上近接したときに前記操作体が近接している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御部と、
を備え、
前記領域制御部は、
操作体の近接距離に応じて変更後の前記入力領域の大きさを決定するサイズ決定部と、
変更後の大きさにされた相隣接する前記入力領域同士が重複しない理想位置を算出する理想位置算出部と、
を備え、
前記理想位置算出部は、
変更後の前記入力領域の大きさにおいて他の前記入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、
相隣接する前記入力領域の対を決定するペア決定部と、
前記入力領域の対について、対応する前記重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、
対応する前記重複回避領域の現在の相対位置と前記理想相対位置との差を最小化して前記理想位置を算出する理想位置決定部と、
を備える、情報処理装置。
前記理想相対位置決定部は、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複しない場合、前記重複回避領域の現在位置を前記理想相対位置とし、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複する場合、前記重複回避領域の中心を結ぶ基準線方向に一の前記重複回避領域を他の前記重複回避領域と重複しないように移動させた位置を前記理想相対位置とする、請求項１に記載の情報処理装置。
前記サイズ決定部は、すべての前記入力領域が所定の範囲に納まるように前記入力領域の拡大率を最適化する、請求項１に記載の情報処理装置。
前記複数の入力領域に対して文字がそれぞれ対応付けられているとき、
ユーザが前記入力領域を操作して入力する文字列を予測する予測部をさらに備え、
前記予測部は、
前記入力領域から既に入力された既入力文字を予測変換処理により解析して、入力が予測される予測文字列を予測し、
前記予測文字列の読み仮名をさらに解析して、前記予測文字列を入力するために次に操作すべき前記入力領域を次操作領域として予測し、
前記領域制御部は、予測された前記次操作領域の表示を変更する、請求項１に記載の情報処理装置。
操作体によって操作される複数の入力領域を表示部に表示する表示ステップと、
操作体と前記表示部の表面との近接距離を検出する検出ステップと、
前記操作体が一の前記入力領域に所定の距離以上近接したときに前記操作体が近接している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御ステップと、
を含み、
前記領域制御ステップは、
操作体の近接距離に応じて変更後の前記入力領域の大きさを決定するサイズ決定ステップと、
変更後の大きさにされた相隣接する前記入力領域同士が重複しない理想位置を算出する理想位置算出ステップと、
を含み、
前記理想位置算出ステップは、
変更後の前記入力領域の大きさにおいて他の前記入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定ステップと、
相隣接する前記入力領域の対を決定するペア決定ステップと、
前記入力領域の対について、対応する前記重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定ステップと、
対応する前記重複回避領域の現在の相対位置と前記理想相対位置との差を最小化して前記理想位置を算出する理想位置決定ステップと、
を含む、情報処理方法。
前記理想相対位置決定ステップでは、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複しない場合、前記重複回避領域の現在位置を前記理想相対位置とし、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複する場合、前記重複回避領域の中心を結ぶ基準線方向に一の前記重複回避領域を他の前記重複回避領域と重複しないように移動させた位置を前記理想相対位置とする、請求項５に記載の情報処理方法。
前記サイズ決定ステップでは、すべての前記入力領域が所定の範囲に納まるように前記入力領域の拡大率を最適化する、請求項５に記載の情報処理方法。
前記複数の入力領域に対して文字がそれぞれ対応付けられているとき、
ユーザが前記入力領域を操作して入力する文字列を予測する予測ステップをさらに含み、
前記予測ステップでは、
前記入力領域から既に入力された既入力文字を予測変換処理により解析して、入力が予測される予測文字列を予測し、
前記予測文字列の読み仮名をさらに解析して、前記予測文字列を入力するために次に操作すべき前記入力領域を次操作領域として予測し、
前記領域制御ステップは、予測された前記次操作領域の表示を変更する、請求項５に記載の情報処理方法。
コンピュータを、
操作体によって操作される複数の入力領域を表示部に表示させる表示手段と、
操作体と前記表示部の表面との近接距離を検出する検出手段と、
前記操作体が一の前記入力領域に所定の距離以上近接したときに前記操作体が近接している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御手段と、
を備え、
前記領域制御手段は、
操作体の近接距離に応じて変更後の前記入力領域の大きさを決定するサイズ決定手段と、
変更後の大きさにされた相隣接する前記入力領域同士が重複しない理想位置を算出する理想位置算出手段と、
を備え、
前記理想位置算出手段は、
変更後の前記入力領域の大きさにおいて他の前記入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定手段と、
相隣接する前記入力領域の対を決定するペア決定手段と、
前記入力領域の対について、対応する前記重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定手段と、
対応する前記重複回避領域の現在の相対位置と前記理想相対位置との差を最小化して前記理想位置を算出する理想位置決定手段と、
を備える、情報処理装置として機能させるためのコンピュータプログラム。