JP2012150761A - 情報処理装置および情報処理プログラム - Google Patents

Abstract

【課題】ユーザの利便性を向上することを課題とする。
【解決手段】情報処理装置１００は、記憶部１１０、検出部１２０、表示入力ユニット１３０、ストローク処理部１４０、文字認識部１５０および表示制御ユニット１６０を有する。検出部１２０は、表示部１３１に対するユーザの指の位置を逐次検出する。表示制御ユニット１６０は、ユーザの指と表示面との距離が第一の距離と第二の距離との間であると判定した場合には、ユーザの指の位置に応じて表示面内の領域を拡大表示する。また、表示制御ユニット１６０は、ユーザの指と表示面との距離が第二の距離以下であると判定した場合には、ユーザの指と表示面との距離が第二の距離になった時点で拡大表示されている領域を固定して拡大表示する。
【選択図】図５

Description

本願の開示する技術は、情報処理装置および情報処理プログラムに関連する。

従来、パーソナルコンピュータなどの情報処理装置において、例えば、板状のタブレットと専用のペン型入力装置を有するポインティングデバイスをユーザが操作することにより、ディスプレイに表示された領域を拡大あるいは縮小できる技術がある。例えば、従来の情報処理装置は、まず、ユーザの操作によってタブレット上を移動するペン型入力装置の位置座標を読み取り、この位置座標に応じてディスプレイに表示されたカーソルの位置を移動させる。そして、従来の情報処理装置は、ペン型入力装置がタブレットに接近すると、カーソル位置に対応するディスプレイに表示された領域を拡大表示する。

また、パーソナルコンピュータや携帯電話などの情報処理装置が有するディスプレイに対して、ユーザによりタッチ操作で入力された文字情報などを認識する技術がある。例えば、このような情報処理装置は、ディスプレイに表示されたウィンドウ上の入力ボックスに対して、ユーザにより連続して入力された時系列の位置情報を取得し、取得した位置情報に基づいて文字認識を実行する。

特開平７−２１９７００号公報 特開２００１−１８４４５８号公報

ところで、上記の従来技術では、例えば、ペン型入力装置がタブレットに接近すると、ディスプレイに表示された領域が拡大された状態で固定されてしまう。この結果、拡大表示された領域の背面に、この領域の周辺にある文字などが隠れた状態で固定されてしまう。このため、ユーザは、拡大された領域の周辺にある文字などを参照することができない。一方、ディスプレイに表示された領域を拡大した状態で固定しないようにすることも考えられる。しかし、このような場合には、拡大された領域に対して文字を入力するぺン型入力装置の移動に伴い、拡大表示される領域がずれていくので、文字入力を行いたいユーザにとって不便である。

開示の技術は、上記に鑑みてなされたものであって、参照を容易にする拡大表示および入力操作を容易にする拡大表示の双方を実現することが可能な情報処理装置および情報処理プログラムを提供することを目的とする。

本願の開示する情報処理装置は、一つの態様において、検出部と、第一の判定部と、第二の判定部と、表示制御部とを有する。検出部は、表示部の表示面に対する物体の位置を検出する。第一の判定部は、前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が第一の距離と当該第一の距離よりも小さな第二の距離との間であるか否かを判定する。第二の判定部は、前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が前記第二の距離以下であるか否かを判定する。表示制御部は、前記表示面と前記物体との距離が前記第一の距離と前記第二の距離との間であると前記第一の判定部により判定された場合には、前記検出部により検出された物体の位置に応じて前記表示面内の領域を拡大表示し、前記表示面と前記物体との距離が前記第二の距離以下であると前記第二の判定部により判定された場合には、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示されている領域を固定して拡大表示する。

本願の開示する技術の一つの態様によれば、参照を容易にする拡大表示および入力操作を容易にする拡大表示の双方を実現できる。

図１は、実施例１に係る情報処理装置の説明に用いる図である。 図２は、実施例１に係る情報処理装置の説明に用いる図である。 図３は、実施例１に係る情報処理装置の説明に用いる図である。 図４は、実施例１に係る情報処理装置の説明に用いる図である。 図５は、実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図６は、実施例１に係る表示制御部の説明に用いる図である。 図７は、実施例１に係る情報処理装置の処理の流れを示す図である。 図８は、情報処理プログラムを実行する電子機器の一例を示す図である。

本願の開示する情報処理装置および情報処理プログラムの一実施形態として後述する実施例は、本願が開示する技術を限定するものでなく、処理内容に矛盾を生じさせない範囲で適宜組み合わせることができる。

図１〜図４は、実施例１に係る情報処理装置の説明に用いる図である。図１および図３は、情報処理装置が有する表示部の表示面１０と、表示面をタッチ操作するユーザの指２０との位置関係の変化を表している。図２は、図１における表示面と指との位置関係のときの表示領域の一例を表している。図４は、図３における表示面と指との位置関係のときの表示領域の一例を表している。なお、表示領域１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆとは、表示面において情報が表示されている領域を表す。

また、図１、３に示すｘおよびｙは、表示面内の位置を特定するための座標軸であり、互いに直交する。また、図１、３に示すｚは、表示面に対する指の位置を特定するための座標軸であり、表示面に対して鉛直である。

以下に説明するように、実施例１に係る情報処理装置は、表示面１０に対する指２０の３次元位置の座標を逐次検出し、表示面１０と指２０との位置関係に基づいて表示面１０の表示制御を実行する。

図１は、ユーザの指２０が表示面１０に近づいた後に水平方向に移動した場合の指２０と表示面１０との位置関係の変化を表す。実施例１に係る情報処理装置は、図１のａに示すように、表示面１０からの指２０の高さ「ｚ´」が「ｚ´＞ｚ_２」の範囲にある場合には、表示面１０の表示領域を拡大する処理を行わない。つまり、図２の１０ａに示すように、表示面１０内の表示領域のうち、表示面１０に表示された「和文英訳問題」のどの箇所も、実施例１に係る情報処理装置によって拡大表示されることはない。

次に、図１のｂに示すように、実施例１に係る情報処理装置は、指２０が表示面１０に近づき、表示面１０からの指２０の高さ「ｚ´」が「ｚ_１＜ｚ´≦ｚ_２」の範囲にある場合には、指２０の位置（ｘ_ａ´，ｙ_ａ´）に応じて表示面１０の表示領域を拡大表示する。つまり、図２の１０ｂに示すように、表示面１０内の表示領域のうち、指２０の位置（ｘ_ａ´，ｙ_ａ´）に対応する「ｆａｖｏｒｉｔｅ」の「ｏ」の部分を中心とした表示領域１１ｂが、実施例１に係る情報処理装置によって拡大表示される。

続いて、図１のｃに示すように、実施例１に係る情報処理装置は、指２０が移動し、表示面１０からの指２０の高さ「ｚ´」が「ｚ_１＜ｚ´≦ｚ_２」の範囲にある場合には、移動先の指２０の位置（ｘ_ｂ´，ｙ_ｂ´）に応じて表示面１０の表示領域を拡大表示する。つまり、図２の１０ｃに示すように、指２０の位置（ｘ_ｂ´，ｙ_ｂ´）に対応する「ｍｙ」の「ｍ」の部分を中心とした表示領域１１ｃが、実施例１に係る情報処理装置によって拡大表示される。

このように、実施例１に係る情報処理装置は、指２０が表示面１０に近づくと表示面１０内の表示領域を拡大表示し、指２０の移動に応じて拡大表示する領域を柔軟に変更する。このため、図２の１０ｂに示すように、拡大表示された表示領域１１ｂにより表示領域上の「ｉｓ ｍｙ」の部分が隠れてしまっても、図２の１０ｃに示すように、指２０の移動に応じて「ｉｓ ｍｙ」を含む表示領域１１ｃを拡大表示できる。このようなことから、ユーザは、拡大された領域の周辺にある文字などを参照することができる。

次に、図３は、図１よりも、指２０が表示面１０に接近した後に水平方向に移動した場合の指２０と表示面１０との位置関係を表す。図３のｄに示すように、実施例１に係る情報処理装置は、指２０が表示面１０に近づき、表示面１０からの指２０の高さ「ｚ´」が「ｚ_１＜ｚ´≦ｚ_２」の範囲にある場合には、指２０の位置（ｘ_ｃ´，ｙ_ｃ´）に応じて表示面１０の表示領域を拡大表示する。つまり、図４の１０ｄに示すように、表示面１０内の表示領域のうち、指２０の位置（ｘ_ｃ´，ｙ_ｃ´）に対応する「Ｔｈｉｓ」の「ｈ」と「ｉ」との間あたりの部分を中心とした表示領域１１ｄが、実施例１に係る情報処理装置によって拡大表示される。ここまでは、図１のａおよび図２の１０ａに示す場合と同様である。

次に、図３のｅに示すように、実施例１に係る情報処理装置は、指２０が表示面１０に接近し、表示面１０からの指２０の高さ「ｚ´」が「ｚ´＝ｚ_１」となった時点で、その時点の指２０の位置（ｘ_ｃ´，ｙ_ｃ´）に応じて拡大表示した表示領域を固定する。つまり、図４の１０ｅに示すように、表示面１０内の表示領域のうち、指２０の位置（ｘ_ｃ´，ｙ_ｃ´）に対応する「Ｔｈｉｓ」の「ｈ」と「ｉ」との間あたりの部分を中心とする表示領域１１ｄの拡大表示が、実施例１に係る情報処理装置により固定される。

続いて、表示領域の拡大表示が固定された後、図４のｆに示すように指２０が移動しても、実施例１に係る情報処理装置は、表示面１０からの指２０の高さ「ｚ´」が「ｚ´＜ｚ_１」であれば、拡大表示済みの表示領域の固定を継続する。つまり、図３のｆに示すように、拡大表示の固定後に指２０の位置が（ｘ_ｃ´，ｙ_ｃ´）から（ｘ_ｄ´，ｙ_ｄ´）に移動しても、実施例１に係る情報処理装置により、表示領域１１ｄの拡大表示の固定が継続される。

このようなことから、実施例１に係る情報処理装置は、指２０の表示面１０への接近に応じて表示領域の拡大表示を固定する。このため、指２０が移動しても、図４のｆに示すように、指の移動に伴って拡大表示される表示領域がずれていくことがない。このようなことから、拡大表示された領域に文字入力を行いたいユーザにとって便利である。

上述してきたように、実施例１に係る情報処理装置は、指２０が表示面１０に近づくと表示面１０内の表示領域を拡大表示し、指２０の移動に応じて拡大表示する領域を柔軟に変更する。さらに、実施例１に係る情報処理装置は、指２０が表示面１０にさらに接近すると表示領域の拡大表示を固定する。一般的に、ユーザは、拡大表示して参照したい箇所に指を近づけて移動させ、操作したい箇所に指をさらに接近させるといった直感的な行動をとる。実施例１に係る情報処理装置は、このようなユーザの直感的な行動に沿った拡大表示を行うことができ、参照を容易にする拡大表示および入力操作を容易にする拡大表示の双方を実現できる。

［情報処理装置の構成（実施例１）］
図５は、実施例１に係る情報処理装置の構成を示す機能ブロック図である。図５に示すように、実施例１に係る情報処理装置１００は、記憶部１１０、検出部１２０、表示入力ユニット１３０、ストローク処理部１４０、文字認識部１５０および表示制御ユニット１６０を有する。なお、図５には、実施例１に係る情報処理装置を説明する上で必要となる機能ブロックのみを図示する。

記憶部１１０は、後述する表示部１３１に表示される情報を記憶する。例えば、記憶部１１０は、表示部１３１に表示されるウィンドウに関する各種情報を記憶し、ウィンドウを構成する文字列やウィンドウ上の各種オブジェクトの情報、ウィンドウが有する各機能に対応したコンポーネントの情報などを記憶する。各種オブジェクトの情報としては、ウィンドウ上における入力ボックスの配置位置（座標）や入力ボックスのサイズなどを記憶する。

検出部１２０は、後述する表示部１３１に対する物体の位置の３次元位置の座標を逐次検出する。例えば、検出部１２０は、既存の静電容量方式などを用いて、表示部１３１にユーザの指が接近したときの静電容量の変化を測定することにより、表示部１３１から離れて位置するユーザの指の３次元位置を検知し、検知した位置に対応する座標を検出する。なお、検出部１２０は、静電容量方式を用いて指の３次元位置の座標を検出する場合に限られるものではない。例えば、検出部１２０は、カメラなどを用いて表示部１３１と指との位置関係を撮影し、撮影により得られる画像を解析することにより、指の３次元位置の座標を検出することもできる。

表示入力ユニット１３０は、図５に示すように、表示部１３１および座標検出部１３２を有する。なお、以下では、ユーザの指が表示部１３１に接触した状態を「タッチ」と表記し、表示部１３１に触れたユーザの指の位置を「タッチ座標」と表記するものとする。

表示部１３１は、後述する表示制御ユニット１６０の制御下で、記憶部１１０に記憶されている情報を表示する。例えば、表示部１３１は、記憶部１１０に記憶されている情報を参照して、ウィンドウを構成する文字列やウィンドウ上の各種オブジェクトの情報を表示する。また、後述する文字認識部１５０から送られてくる各座標に基づいて、各座標に対応する画素をデフォルトの色で反転表示させることで、後述する文字認識部１５０による認識結果、つまりユーザにより入力された文字を表示する。表示部１３１は、例えば、上述した図２、４に示すように、ウィンドウ上のアクティブな入力ボックスにユーザの入力した文字を表示する。

座標検出部１３２は、後述する表示制御部１６２からタッチが開始された旨を受信すると、以後、所定のサンプリングレートで、タッチ座標（ｘ´，ｙ´）を逐次検出する。そして、座標検出部１３２は、検出したタッチ座標（ｘ´，ｙ´）を後述するストローク処理部１４０に送出する。また、座標検出部１３２は、所定のサンプリングレート内で、タッチ座標を所定時間検出しない場合には、タッチ終了の通知を後述するストローク処理部１４０に送る。

ストローク処理部１４０は、後述する表示制御部１６２からタッチが開始された旨を受信すると、座標検出部１３２により検出されたタッチ座標を取得するたびに、取得したタッチ座標のデータと時刻データとを対応付けて逐次保存する。ここで、ストローク処理部１４０により、内部的に備えられた記憶部に対して時系列で保存される一連のタッチ座標のデータはストローク情報と呼ばれる。そして、ストローク処理部１４０は、タッチ終了を判定すると、タッチ終了処理を文字認識部１５０に依頼するとともに、タッチが終了された旨を表示制御部１６２に送信する。文字認識部１５０は、ストローク処理部１４０により保存されたストローク情報を用いて文字認識を実行する。

ストローク処理部１４０および文字認識部１５０による処理は、特許第２５８１６９２号公報や特開２０００−１０５７９８号公報などに開示された既存技術を用いて実現されるが、以下に処理方法の一例を説明する。

基本的には、ストローク処理部１４０は、上述したストローク情報を逐次保存するとともに、タッチ開始時処理、タッチ継続処理およびタッチ終了処理を文字認識部１５０に依頼する。例えば、ストローク処理部１４０は、表示制御部１６２からタッチが開始された旨を受信すると、タッチ開始時処理を後述する文字認識部１５０に依頼する。次に、ストローク処理部１４０は、座標検出部１３２からタッチ座標のデータを取得し、タッチ座標のデータに対応付けて時刻データを保存する。続いて、ストローク処理部１４０は、座標検出部１３２からのタッチ終了通知を受信の有無に基づいて、タッチ終了の判定を行う。例えば、ストローク処理部１４０は、座標検出部１３２からタッチ終了の通知を受信した場合には、タッチ終了と判定し、タッチ終了処理を後述する文字認識部１５０に依頼する。一方、ストローク処理部１４０は、座標検出部１３２からタッチ終了の通知を受信しない場合には、タッチ終了ではないと判定し、タッチ継続処理を後述する文字認識部１５０に依頼する。

文字認識部１５０は、ストローク処理部１４０からの依頼を受け付けると、ストローク処理部１４０からストローク情報を逐次取得して文字認識処理を実行する。なお、文字認識部１５０は、ストローク処理部１４０から、タッチ開始時処理、タッチ継続処理およびタッチ終了処理の依頼をそれぞれ受け付けて、これらの依頼に従って文字認識処理を実行する。文字認識部１５０は、認識結果として、認識した文字を形成する座標の情報を表示入力ユニット１３０に送る。

なお、タッチ開始時処理は、文字の区切り判定処理などを含む処理である。例えば、タッチ開始時処理はタッチ開始時間と、直前のストローク処理の終了時間が予め指定された閾値を越えているかどうかを判定する。そして、タッチ開始時処理は、判定の結果、閾値を超えている場合には、直前までのストローク処理までに集積された一群のストロークを一文字として取り扱う。タッチ継続処理は、文字の軌跡をフィードバックして表示部１３１に表示する処理や、文字のストロークの残りの軌跡を予測して予測結果をフィードバックして表示部１３１に表示する処理などを含む処理である。タッチ終了処理は、次のストロークを予測して表示部１３１に表示する処理や、部分的な文字列からの予測候補文字列の推定する処理などを含む処理である。

なお、ストローク処理部１４０は文字認識部１５０に処理を依頼し、文字認識部１５０はストローク処理部１４０からの依頼に従って文字認識を行うが、上述した手順に限られるものではなく、次のような手順でもよい。例えば、ストローク処理部１４０はタッチ終了の通知をのみを文字認識部１５０に送信する。文字認識部１５０はストローク処理部１４０からタッチ終了の通知を受信すると、それまでに保存されたストローク情報を用いて文字認識を実行する。

表示制御ユニット１６０は、図５に示すように、判定部１６１および表示制御部１６２を有する。

判定部１６１は、検出部１２０により検出された座標を逐次取得し、取得した座標に基づいて、ユーザの指と表示部１３１の表示面との距離が一定距離以下であるか否かを判定する。例えば、判定部１６１は、検出部１２０から座標を受信すると、検出部１２０により検出されたｚ座標の値「ｚ´」が「ｚ_２」以下であるか否か（「ｚ´≦ｚ_２」であるか否か）を判定する。判定部１６１は、判定の結果、「ｚ´≦ｚ_２」である場合には、表示制御部１６２に対して、検出部１２０により検出された座標に対応する表示部１３１の表示面の領域を拡大表示するように依頼する。例えば、判定部１６１は、検出部１２０により検出されたｘ座標の値「ｘ´」およびｙ座標の値「ｙ´」に対応する表示面のｘｙ平面上の位置を中心とする領域を所定のサイズに拡大表示するように依頼する。一方、判定部１６１は、判定の結果、「ｚ´≦ｚ_２」ではない場合には、検出部１２０から次の座標を受信するまで待機し、受信すると、「ｚ´≦ｚ_２」であるか否かの判定に戻る。

また、判定部１６１は、表示制御部１６２により拡大表示が実行された後、ｚ座標の値「ｚ´」が「ｚ_１」以下であるか否か（「ｚ´≦ｚ_１」であるか否か）を判定する。判定部１６１は、判定の結果、「ｚ´≦ｚ_１」である場合には、表示制御部１６２に対して、拡大表示を所定時間固定するように依頼する。一方、判定部１６１は、判定の結果、「ｚ´≦ｚ_１」ではない場合には、検出部１２０から次の座標を受信するまで待機し、受信すると、「ｚ´≦ｚ_２」であるか否かの判定に戻る。

上述したように、判定部１６１は、検出部１２０により検出された座標を取得するたびに、「ｚ´≦ｚ_２」であるかを判定し、判定結果に応じて拡大表示の依頼を表示制御部１６２に送る。続いて、判定部１６１は、「ｚ´≦ｚ_１」であるかを判定し、判定結果に応じて拡大表示固定の依頼を表示制御部１６２に送る。このように、判定部１６１は、検出部１２０により指の位置が検出されている間、ユーザの指と表示部１３１の表示面との距離についての判定を繰り返し実行する。

表示制御部１６２は、判定部１６１からの依頼を受け付けると、表示部１３１の表示制御を実行する。なお、表示部１３１の表示面に表示された表示領域には、ウィンドウに表示された情報や入力ボックス、文字認識部１５０によりリアルタイムに文字認識された文字情報などが表示されている。例えば、表示制御部１６２は、判定部１６１から拡大表示の依頼を受け付けると、検出部１２０により検出されたｘ座標の値「ｘ´」およびｙ座標の値「ｙ´」に対応する表示面のｘｙ平面上の位置（ｘ´，ｙ´）を特定する。続いて、表示制御部１６２は、特定した位置（ｘ´，ｙ´）に対応する情報を記憶部１１０から取得し、取得した情報を用いて、特定した位置（ｘ´，ｙ´）に対応する表示面内の表示領域を拡大表示する。例えば、表示制御部１６２は、表示面の位置（ｘ´，ｙ´）に対応する画素を中心として、所定のサイズで表示面の表示領域を切り出す。そして、表示制御部１６２は、切り出した表示領域に含まれる各画素を所定の倍率で拡大し、表示領域全体と重畳させて表示部１３１に表示する。なお、表示制御部１６２は、指２０の位置に対応する表示領域を拡大表示した後、次に検出された指２０の位置が異なる場合には、指２０の位置に応じて拡大表示する表示領域を柔軟に変更する。例えば、一つ前の指の位置で拡大表示していた表示領域を元のサイズに戻し、現在の指２０の位置に対応する表示領域を拡大表示する。

また、表示制御部１６２は、検出部１２０により検出されたｘ座標およびｙ座標（指の位置）に対応する表示面のｘｙ平面上の位置（ｘ´，ｙ´）を特定し、特定した位置（ｘ´，ｙ´）に対応する表示面内の表示領域を拡大表示する場合を説明した。しかしながら、これに限定されるものではなく、次のような処理を行ってもよい。例えば、表示制御部１６２は、検出部１２０により検出されたｘ座標およびｙ座標に対応する表示面のｘｙ平面上の位置（ｘ´，ｙ´）に、入力ボックスがあるか否かを判定する。そして、情報処理装置１００は、入力ボックスがある場合には、表示領域のうち入力ボックスのみを所定の倍率で表示部１３１に拡大表示する。あるいは、情報処理装置１００は、表示領域の中から入力ボックスを含む所定サイズの領域を切り出し、切り出した領域を所定の倍率で表示部１３１に拡大表示する。

なお、表示制御部１６２は、表示面のｘｙ平面上の位置（ｘ´，ｙ´）に、入力ボックスがあるか否かを判定した結果、入力ボックスが無い場合には、例えば、拡大表示を行わず、判定部１６１から次の依頼があるまで待機する。

また、表示制御部１６２は、判定部１６１から拡大表示の固定依頼を受け付けると、依頼を受け付けた時点で拡大表示している表示領域を固定して拡大表示する（以下、固定拡大表示と記載する）。続いて、表示制御部１６２は、固定拡大表示を開始した後、検出部１２０により検出された座標を逐次受信し、受信した座標に基づいて、タッチの開始を繰り返し判定する。例えば、表示制御部１６２は、検出部１２０により検出されたｚ座標の値「ｚ´」が「０」であるか否かを判定することによって、タッチの開始を判定する。表示制御部１６２は、判定の結果、ｚ座標の値「ｚ´」が「０」である場合には、上述した座標検出部１３２およびストローク処理部１４０にタッチが開始された旨を送出する。

一方、表示制御部１６２は、判定の結果、ｚ座標の値「ｚ´」が「０」ではない場合、つまりタッチが開始されていない場合には、指と表示面との位置関係が固定拡大表示の解除条件に該当するか否かを判定する。表示制御部１６２は、例えば、指が、表示面からＺ_１以上の距離に離れた状態が所定時間継続していることを解除条件として採用する。そして、表示制御部１６２は、この解除条件に該当するものと判定した場合には、拡大表示の固定を解除する。以下、図６を用いて、拡大表示の固定の解除条件について説明する。

図６は、実施例１に係る表示制御部の説明に用いる図である。図６は、ユーザの指と表示部１３１の表示面との位置関係の時系列変化を表すグラフである。図６に示すグラフの縦軸「Ｖ」は指と表示面との間の距離を示し、図６に示すグラフの横軸「Ｔ」は時間を示し、図６に示すグラフのＶ_Ｔは指と表示面との距離の時系列変化を示す曲線である。また、図６に示すＡＴ_Ｒは拡大表示の固定が継続されるグラフ上の領域を示し、図６に示すＴ_Ｒは拡大表示の固定が継続される時間を示す。図６に示すＡＺ_１は、指と表示面との距離がＺ_１以下であるグラフ上の領域を示す。また、図６に示すＡＺ_２は、指と表示面との距離がＺ_２以下であるグラフ上の領域を示す。

図６に示すＰ_１やＰ_２のように、表示制御部１６２は、指が、表示面からＺ_１以上の距離に離れることがあった場合に、その状態が長く継続することを解除条件とする。言い換えれば、表示制御部１６２は、指が、表示面からＺ_１以上の距離に離れることがあった場合でも、その状態が長く継続しなければ固定拡大表示を継続する。例えば、ユーザが、拡大表示された入力ボックスに文字を入力している最中に、指を表示面からＺ_１以上の距離に離す場合も考えられる。このような場合であっても、指を表示面からＺ_１以上の距離に離している時間がごく短い時間である場合には、例外的な事象として取り扱い、表示制御部１６２により固定拡大表示を継続させることで、文字入力の際の利便性を向上させる趣旨である。

そして、表示制御部１６２は、上述した判定の結果、指と表示面との位置関係が固定拡大表示の解除条件に該当する場合には、固定拡大表示を解除し、表示部１３１で拡大表示されている表示領域を拡大前のサイズに戻す。例えば、表示制御部１６２は、表示領域を拡大表示したときの所定の倍率に基づいて、拡大表示されている表示領域に含まれる各画素を縮小することにより、表示領域を拡大前のサイズに戻す。なお、表示制御部１６２は、固定拡大表示された表示領域内に対してユーザにより文字入力がされていても、文字として反転表示された各画素のサイズが縮小されることにより、拡大前の表示領域にサイズに合わせて文字の大きさも縮小される。これとは反対に、表示制御部１６２は、判定の結果、指と表示面との位置関係が固定拡大表示の解除条件に該当しない場合には、検出部１２０から次の座標を受信するまで待機し、受信すると、上述したタッチの開始の判定に戻る。

なお、表示制御部１６２は、表示面からＺ_１以上の距離に指が離れた状態が所定時間継続する場合を解除条件として採用する場合に限られるものではなく、次のような解除条件を採用することもできる。例えば、表示制御部１６２は、表示面からＺ_１よりも大きくＺ_２よりも小さい距離に離れた状態での水平方向への指の移動距離が所定距離以上である場合や、固定拡大表示された表示領域外に指の位置がある場合を解除条件として採用できる。これらの解除条件を設けた趣旨は、固定拡大表示された表示領域に対してユーザの操作が行われる可能性が低い状態や、固定拡大表示を継続する必要性が少ない状態に対処する点にある。なお、表示制御部１６２は、上述した各解除条件の少なくとも一つ又は複数を組み合わせて採用することもできる。

上述してきたように、表示制御部１６２は、固定拡大表示を開始した後、タッチの開始の判定、拡大表示の固定の解除判定を順に実行する。なお、表示制御部１６２は、上述したストローク処理部１４０からタッチが終了された旨を受信した場合も同様に、タッチの開始の判定、拡大表示の固定の解除判定を順に実行する。

なお、図５に示す記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ（flash memory）などの半導体メモリ素子などに該当する。また、図５に示す表示制御ユニット１６０は、ＲＡＭ（Random Access Memory）やフラッシュメモリ（flash memory）などの半導体メモリ素子などの記憶部を有する。また、図５に示す検出部１２０、表示入力ユニット１３０、ストローク処理部１４０、文字認識部１５０および表示制御ユニット１６０は、電子回路や集積回路に該当する。なお、電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。

［情報処理装置による処理（実施例１）］
図７は、実施例１に係る情報処理装置の処理の流れを示す図である。なお、図７に示す処理は、例えば、表示部１３１にウィンドウなどが表示されている場合に繰り返し実行される。

図７に示すように、判定部１６１は、検出部１２０から座標（Ｘ，Ｙ，Ｚ）を受信する（ステップＳ１０１）。次に、判定部１６１は、検出部１２０により検出されたＺ座標が「Ｚ_２」以下であるか、つまり「Ｚ≦Ｚ_２」であるか否かを判定する（ステップＳ１０２）。判定の結果、「Ｚ≦Ｚ_２」である場合には（ステップＳ１０２，Ｙｅｓ）、表示制御部１６２は、座標（Ｘ，Ｙ）の周辺領域を拡大表示する（ステップＳ１０３）。続いて、判定部１６１は、Ｚ座標が「Ｚ_１」以下であるか、つまり「Ｚ≦Ｚ_１」であるか否かを判定する（ステップＳ１０４）。判定の結果、「Ｚ≦Ｚ_１」である場合には（ステップＳ１０４，Ｙｅｓ）、表示制御部１６２は、表示部１３１における拡大表示をロックする（ステップＳ１０５）。

次に、表示制御部１６２は、検出部１２０から座標（Ｘ，Ｙ，Ｚ）を受信し（ステップＳ１０６）、受信した座標に基づいてタッチの開始を判定する（ステップＳ１０７）。判定の結果、タッチが開始されたものと判定された場合には（ステップＳ１０７，Ｙｅｓ）、ストローク処理部１４０は、文字認識部１５０にタッチ開始時処理を依頼する（ステップＳ１０８）。

続いて、ストローク処理部１４０は、座標検出部１３２からタッチ座標（Ｘ，Ｙ）のデータを受信し（ステップＳ１０９）、タッチ座標および時刻を対応付けて保存する（ステップＳ１１０）。次に、ストローク処理部１４０は、座標検出部１３２からのタッチ終了通知を受信の有無に基づいて、タッチ終了の判定を行う（ステップＳ１１１）。判定の結果、座標検出部１３２からタッチ終了の通知を受信した場合には、ストローク処理部１４０は、タッチ終了と判定し（ステップＳ１１１，Ｙｅｓ）、タッチ終了処理を文字認識部１５０に依頼する（ステップＳ１１２）。そして、処理は、上述したステップＳ１０６に戻る。一方、ストローク処理部１４０は、座標検出部１３２からタッチ終了の通知を受信しない場合には、タッチ終了ではないと判定し（ステップＳ１１１，Ｎｏ）、タッチ継続処理を文字認識部１５０に依頼する（ステップＳ１１３）。そして、処理は、上述したステップＳ１０９に戻る。

ここで、上述したステップＳ１０７の判定の結果、タッチが開始されたものと判定されなかった場合には（ステップＳ１０７，Ｎｏ）、表示制御部１６２は、拡大表示のロックを解除するか否かを判定する（ステップＳ１１４）。判定の結果、ロックを解除するものと判定した場合には（ステップＳ１１４，Ｙｅｓ）、表示制御部１６２は、拡大表示のロックを解除する（ステップＳ１１５）。そして、処理は、上述したステップＳ１０１に戻る。一方、判定の結果、ロックを解除するものと判定しなかった場合には（ステップＳ１１４，Ｎｏ）、表示制御部１６２は拡大表示のロックを解除しない。そして、処理は、上述したステップＳ１０７に戻る。

ここで、ステップＳ１０２の判定の結果、「Ｚ≦Ｚ_２」ではない場合には（ステップＳ１０２，Ｎｏ）、判定部１６１は、上述したステップＳ１０１の処理に戻る。また、ステップＳ１０４の判定の結果、「Ｚ≦Ｚ_１」でない場合には（ステップＳ１０４，Ｎｏ）、判定部１６１は、上述したステップＳ１０１の処理に戻る。

なお、上述したステップＳ１０８〜ステップＳ１１３は、ストローク処理部１４０によるストローク情報の保存、およびストローク処理部１４０から文字認識部１５０への処理依頼の順序を示しており、既存の技術を用いて実行することができる。そして、上述したステップＳ１０８〜ステップＳ１１３までの処理は、図７に示す順序で行われる場合に限られるものではなく、処理内容に矛盾を生じさせない範囲で適宜入替および変更が可能である。

［実施例１による効果］
上述してきたように、実施例１に係る情報処理装置１００は、ユーザの指の表示面からの高さｚ´が「ｚ_１＜ｚ´≦ｚ_２」の範囲にある場合には、表示面１０内の表示領域を拡大表示し、指２０の移動に応じて拡大表示する領域を柔軟に変更する。さらに、実施例１に係る情報処理装置１００は、ユーザの指の表示面からの高さｚ´が「０≦ｚ´≦ｚ_１」の範囲にある場合には、拡大表示した表示領域を固定する。このようなことから、実施例１に係る情報処理装置１００は、ユーザの直感的な行動に沿った拡大表示を行うことができ、参照を容易にする拡大表示および入力操作を容易にする拡大表示の双方を実現できる。

また、実施例１に係る情報処理装置１００は、拡大表示した表示領域を固定するので、例えば、入力ボックスにおいて一筆で入力できない文字の入力が中断されてしまうことを回避できる。

また、実施例１に係る情報処理装置１００は、所定の解除条件に該当しない限り、拡大表示した表示領域の固定を継続する。このため、実施例１に係る情報処理装置１００は、例えば、入力ボックスにおいて複数の文字を入力している最中に、文字入力が中断されてしまうことを回避できる。

例えば、タッチ操作により文字入力が行われる場合、ペン型入力装置または指の上げ下げ動作を伴う。ここで、ひらがなの「い」の左側部分を書く場合、ユーザは、「い」の左側部分を書き終えるまで、ペン型入力装置をタブレットに接触させて操作を行う。続いて、ユーザは、ペン型入力装置をタブレットから一旦引き上げ、「い」の右側部分を書き終えるまで、再び、ペン型入力装置をタブレットに接触させて操作を行う。このように、タッチ操作により文字入力が行われる場合、文字入力が完了するまで、ペン型入力装置または指の上下動作が繰り返されることとなる。従来は、拡大表示された領域に対するユーザの操作開始を契機として拡大表示が解除される。よって、従来では、ひらがなの「い」の左側部分を書く操作が行われた場合、ユーザの操作が開始されたものとして、「い」の右側部分を書き終える前に、拡大表示が解除される恐れがあり、文字入力を行うユーザにとって不便なものとなる可能性もある。これに対して、実施例１は、上述したように、指を表示面から離すことがあっても拡大表示を継続させることができるので、文字入力の際の利便性を向上できる。

以下は、本願の開示する情報処理装置および情報処理プログラムの他の実施形態について説明したものである。

（１）装置構成等
例えば、図５に示した情報処理装置１００の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図５に示した表示制御ユニット１６０の判定部１６１と表示制御部１６２とを機能的または物理的に統合してもよい。このように、情報処理装置１００の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

（２）情報処理プログラム
また、上述の実施例にて説明した情報処理装置により実行される各種の処理は、例えば、マイクロプロセッサなどの電子機器で所定のプログラムを実行することによって実現することもできる。

そこで、以下では、図８を用いて、上述の実施例にて説明した情報処理装置により実行される処理と同様の機能を実現する情報処理プログラムを実行するコンピュータの一例を説明する。図８は、情報処理プログラムを実行する電子機器の一例を示す図である。

図８に示すように、上述の実施例にて説明した情報処理装置により実行される各種処理を実現する電子機器２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２１０を有する。

また、図８に示すように、電子機器２００は、ポインティングデバイスやタッチパネルなどを用いてユーザにより入力される情報や、ポインティングデバイスやユーザの指の３次元位置の情報などの入力を受け付ける入力インターフェース２２０を有する。また、図８に示すように、電子機器２００は、ディスプレイに各種情報を出力するための出力インターフェース２３０を有する。

また、図８に示すように、電子機器２００は、ＣＰＵ２１０により各種処理を実現するためのプログラムやデータ等を記憶するハードディスク装置２４０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）などのメモリ２５０とを有する。そして、各装置２１０〜２５０は、バス２６０に接続される。

なお、電子機器２００は、ＣＰＵ２１０の代わりに、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路を用いることもできる。また、電子機器２００は、ＲＡＭなどのメモリ２５０の代わりに、フラッシュメモリ（flash memory）などの半導体メモリ素子を用いることもできる。

ハードディスク装置２４０には、上述の実施例にて説明した情報処理装置の機能と同様の機能を発揮する情報処理プログラム２４１および情報処理用データ２４２が記憶されている。なお、電子機器２００は、情報処理プログラム２４１を、ネットワークを介して通信可能に接続された複数のコンピュータの記憶部に適宜分散させて記憶させておくこともできる。

そして、ＣＰＵ２１０が、情報処理プログラム２４１をハードディスク装置２４０から読み出してメモリ２５０に展開することにより、図８に示すように、情報処理プログラム２４１は情報処理プロセス２５１として機能する。情報処理プロセス２５１は、ハードディスク装置２４０から読み出した情報処理用データ２４２等の各種データを適宜メモリ２５０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。

なお、情報処理プロセス２５１は、例えば、図５に示した表示制御ユニット１６０の判定部１６１や表示制御部１６２にて実行される処理、例えば、図７に示すステップＳ１０１〜１０７、Ｓ１１４、Ｓ１１５の処理等を含む。

なお、情報処理プログラム２４１については、必ずしも最初からハードディスク装置２４０に記憶させておく必要はない。例えば、電子機器２００によるデータの読み込みや書込みが可能なフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、電子機器２００がこれらから各プログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して、電子機器２００が実装されたＥＣＵに接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、電子機器２００がこれらから各プログラムを読み出して実行するようにしてもよい。

上述してきた実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）表示部の表示面に対する物体の位置を検出する検出部と、
前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が第一の距離と当該第一の距離よりも小さな第二の距離との間であるか否かを判定する第一の判定部と、
前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が前記第二の距離以下であるか否かを判定する第二の判定部と、
前記表示面と前記物体との距離が前記第一の距離と前記第二の距離との間であると前記第一の判定部により判定された場合には、前記検出部により検出された物体の位置に応じて前記表示面内の領域を拡大表示し、前記表示面と前記物体との距離が前記第二の距離以下であると前記第二の判定部により判定された場合には、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示されている領域を固定して拡大表示する表示制御部と
を有することを特徴とする情報処理装置。

（付記２）前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離よりも大きいか否かを判定し、前記表示面と前記物体との距離が前記第二の距離よりも大きいとする判定結果が所定時間継続して得られることを条件として、前記拡大表示の固定を解除することを特徴とする付記１に記載の情報処理装置。

（付記３）前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるか否かを判定し、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるとする判定結果が続けて得られる間に、前記物体が水平方向に移動した距離が所定の距離を越えていることを条件として、前記拡大表示の固定を解除することを特徴とする付記１に記載の情報処理装置。

（付記４）前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示された領域とは対応しない位置に前記物体が位置することを条件として、前記拡大表示の固定を解除することを特徴とする付記１に記載の情報処理装置。

（付記５）コンピュータに、
表示部の表示面に対する物体の位置を検出し、
検出された位置に基づいて前記物体と前記表示面との距離が第一の距離と当該第一の距離よりも小さな第二の距離との間であるか否かを判定し、
前記表示面と前記物体との距離が前記第一の距離と前記第二の距離との間であると前記第一の判定部により判定された場合には、前記物体の位置に応じて前記表示面内の領域を拡大表示し、
前記物体の位置に基づいて前記物体と前記表示面との距離が前記第二の距離以下であるか否かを判定し、
前記表示面と前記物体との距離が前記第二の距離以下であると判定された場合には、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示されている領域を固定して拡大表示する
処理を実行させることを特徴とする情報処理プログラム。

（付記６）前記領域を固定して拡大表示する処理は、前記表示面と前記物体との距離が前記第二の距離よりも大きいか否かを判定し、前記表示面と前記物体との距離が前記第二の距離よりも大きいとする判定結果が所定時間継続して得られることを条件として、前記拡大表示の固定を解除することを特徴とする付記５に記載の情報処理プログラム。

（付記７）前記領域を固定して拡大表示する処理は、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるか否かを判定し、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるとする判定結果が続けて得られる間に、前記物体が水平方向に移動した距離が所定の距離を越えていることを条件として、前記拡大表示の固定を解除することを特徴とする付記５に記載の情報処理プログラム。

（付記８）前記領域を固定して拡大表示する処理は、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示された領域とは対応しない位置に前記物体が位置することを条件として、前記拡大表示の固定を解除することを特徴とする付記５に記載の情報処理プログラム。

１００ 情報処理装置
１１０ 記憶部
１２０ 検出部
１３０ 表示入力ユニット
１３１ 表示部
１３２ 座標検出部
１４０ ストローク処理部
１５０ 文字認識部
１６０ 表示制御ユニット
１６１ 判定部
１６２ 表示制御部
２００ 電子機器
２１０ ＣＰＵ
２２０ 入力インターフェース
２３０ 出力インターフェース
２４０ ハードディスク装置
２４１ 情報処理プログラム
２４２ 情報処理用データ
２５０ メモリ
２５１ 情報処理プロセス

Claims (5)

1. 表示部の表示面に対する物体の位置を検出する検出部と、
   前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が第一の距離と当該第一の距離よりも小さな第二の距離との間であるか否かを判定する第一の判定部と、
   前記検出部により検出された位置に基づいて前記物体と前記表示面との距離が前記第二の距離以下であるか否かを判定する第二の判定部と、
   前記表示面と前記物体との距離が前記第一の距離と前記第二の距離との間であると前記第一の判定部により判定された場合には、前記検出部により検出された物体の位置に応じて前記表示面内の領域を拡大表示し、前記表示面と前記物体との距離が前記第二の距離以下であると前記第二の判定部により判定された場合には、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示されている領域を固定して拡大表示する表示制御部と
   を有することを特徴とする情報処理装置。
2. 前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離よりも大きいか否かを判定し、前記表示面と前記物体との距離が前記第二の距離よりも大きいとする判定結果が所定時間継続して得られることを条件として、前記拡大表示の固定を解除することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるか否かを判定し、前記表示面と前記物体との距離が前記第二の距離と前記第一の距離との間にあるとする判定結果が続けて得られる間に、前記物体が水平方向に移動した距離が所定の距離を越えていることを条件として、前記拡大表示の固定を解除することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示された領域とは対応しない位置に前記物体が位置することを条件として、前記拡大表示の固定を解除することを特徴とする請求項１に記載の情報処理装置。
5. コンピュータに、
   表示部の表示面に対する物体の位置を検出し、
   検出された位置に基づいて前記物体と前記表示面との距離が第一の距離と当該第一の距離よりも小さな第二の距離との間であるか否かを判定し、
   前記表示面と前記物体との距離が前記第一の距離と前記第二の距離との間であると前記第一の判定部により判定された場合には、前記物体の位置に応じて前記表示面内の領域を拡大表示し、
   前記物体の位置に基づいて前記物体と前記表示面との距離が前記第二の距離以下であるか否かを判定し、
   前記表示面と前記物体との距離が前記第二の距離以下であると判定された場合には、前記表示面と前記物体との距離が前記第二の距離になった時点で拡大表示されている領域を固定して拡大表示する
   処理を実行させることを特徴とする情報処理プログラム。

Images