JP2015200979A - 情報処理装置およびコンピュータプログラム - Google Patents

Abstract

【課題】タッチパネルに表示される画面情報を拡大するときのユーザの閲覧性および操作性を高めることができる情報処理装置を提供する。
【解決手段】拡大鏡３１２の内外でタッチダウンされたことが、表示画面を表示させるアプリケーションに通知される。これにより、拡大鏡３１２の内側のタッチダウンの場合は、拡大鏡３１２の拡大元の表示４０２が他の表示４０３に変わる。拡大鏡３１２の外側のタッチダウンの場合は、もとの表示４０４のまま、拡大鏡３１２が表示される。
【選択図】図１１

Description

本発明は、複数の指示点を検出可能なタッチパネルを備えた情報処理装置の画面表示制御技術に関する。

タッチパネルを備え、ユーザがその表示画面に指やペン等を触れることで操作が可能な情報処理装置が普及している。タッチパネルは、ユーザの指やペンが接触した位置に応じた座標を出力する入力デバイスである。情報処理装置では、このタッチパネルにおけるタッチダウン、タッチオン、ムーブ、タッチアップ、タッチオフ、マルチタッチ等の操作を検出して所定の動作を実行することができる。

タッチダウンとは、タッチパネルを指やペンで触れたことをいう。タッチオンは、タッチパネルを指やペンで触れている状態であることをいう。ムーブとは、タッチパネルを指やペンで触れたまま移動していることをいう。タッチアップは、タッチパネルへ触れていた指やペンを離したことをいう。タッチオフとは、タッチパネルに何も触れていない状態をいう。マルチタッチとは、指などが複数点に同時に触れたことをいう。

また、ピンチイン、ピンチアウトのような操作の検出も可能となっている。ピンチインとは、ユーザが人差し指と親指の２本の指を同時に使ってタッチパネルに触れ、タッチパネルの表面をつまむように２点の距離を縮める操作である。ピンチアウトは、２点の距離を広げる操作である。

このような情報処理装置では、また、タッチパネルの表示画面上に、文字列、図形、画像、操作ボタン等の様々な可視情報を表示することができる。しかし、表示画面に多くの可視情報が表示されると、表示される文字等が非常に小さくなり、その内容が読み取りにくくなる。そのため、ユーザが所望の可視情報に到達できない場合がある。

タッチパネルによる操作に特有となる問題もある。例えば、ユーザがタッチパネルのある領域を指で押圧する際に、押圧する指がその領域に重なり、領域に記述されている文字等が隠れてしまうことがある。また、小さな領域を押圧する際に、指と目的の領域との位置合わせが困難となる。このような事情により、従来は、ユーザがタッチパネル上で正確な操作を行えないという問題があった。

このような問題を解決するため、特許文献１には、「拡大鏡」と呼ばれる機能が開示されている。この機能は、表示画面上の所定の領域の内容を、表示画面上に別途設けた、表示画面よりも小さい別ウィンドウに所定の倍率で拡大して表示する機能である。
また、特許文献２には、拡大表示された領域に対する操作が行われたときに、もとの領域の座標に変換して通知する一方で、拡大表示された領域外に対する操作が行われたときは、拡大鏡を閉じる機能が提供されている（例えば、特許文献２）。

特開２０１２−１７８１７５号公報 特開２００１−２４２９８１号公報

例えば事務機器や携帯端末の多くは、タッチパネルに、それが選択されることにより所定の機能を提供するボタン画像領域を表示させる。つまり、タッチパネルを機能の選択画面ないし操作画面として使用する。ユーザは、操作したいボタン画像領域を拡大鏡で拡大表示させることができるので、視認性を高める利点がある。
しかし、以下の問題があり、拡大鏡の利点を十分に活用することができない。
・拡大鏡を表示させても、タッチアップした時点で消える。
・拡大鏡で拡大表示される部分は画像なので、操作に反応しない。
・拡大鏡を終了させる場合、拡大鏡の領域外で終了操作する。そのため、終了操作を選択する位置までの視点移動を伴う。

本発明は、このような問題を解消し、タッチパネルに表示される画面情報を拡大するときのユーザの閲覧性および操作性を高める情報処理装置を提供することを課題とする。

本発明の情報処理装置は、表示画面における操作位置および操作の種類を検出する検出手段と、前記検出手段で検出された操作位置および操作の種類と予め定めた条件とを対比することにより、前記操作位置を包含する所定の表示領域を拡大した拡大表示領域を表示し、又は表示中の前記拡大表示領域を非表示にする制御手段と、表示された前記拡大表示領域を含む前記表示画面において検出された操作位置および操作の種類を、当該表示画面に画面情報を提供するアプリケーションに対して通知する通知手段とを備えて成る。

本発明では、拡大表示領域を含む表示画面に対する操作位置および操作の種類が、画面情報を提供するアプリケーションに通知される。そのため、アプリケーションは、拡大表示領域の内外に対する操作を認識することができるので、例えば拡大表示領域を閉じないと表示画面の他の領域に対する操作ができないということがなくなる。

本実施形態の情報処理装置のハードウェア構成図。 本実施形態の情報処理装置の機能構成図。 拡大鏡の計算の概念を示す図。 拡大鏡へのタッチダウンの概念を示す図。 入力情報を受けた時の処理手順説明図。 拡大鏡表示の処理手順説明図。 （ａ）〜（ｃ）は拡大鏡の表示・移動の説明図。 拡大鏡へのタッチダウンの処理手順説明図。 拡大鏡非表示の処理手順説明図。 拡大鏡非表示の判定処理の手順説明図。 （ａ）〜（ｄ）はタッチダウン通知時の表示画面。

以下、本発明の実施の形態例を説明する。本実施形態では、携帯端末、事務機器など、据え置き型のものに比べてサイズが小さい表示画面を有する情報処理装置の例について説明する。この情報処理装置では、拡大表示領域、すなわち、上記の拡大鏡に相当する領域を表示画面に表示させる。そのため、本明細書では、拡大表示領域を「拡大鏡」と呼ぶ。

図１は、本実施形態に係る情報処理装置のハードウェア構成図である。この情報処理装置は、ＣＰＵ（Central Processing Unit）１１１、ＲＡＭ（Random Access Memory）１１２、ＲＯＭ（Read Only Memory）１１３をシステムバス１１０に接続して構成される。システムバス１１０には、また、入力制御部１１４、表示制御部１１５、外部メモリＩ／Ｆ（Ｉ／Ｆはインタフェースの略。以下同じ。）１１６、通信Ｉ／Ｆコントローラ１１７も接続されている。これらの部品は、システムバス１１０を介して互いにデータの受け渡しを行うことができる。

ＣＰＵ１１１は、コンピュータプログラムを実行することにより、情報処理装置１０１の動作を制御する。また、後述する構成の機能を情報処理装置１０１において実現する。ＲＡＭ１１２は、揮発性のメモリであり、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１３は、不揮発性のメモリである。このＲＯＭ１１３には、画像データその他のデータ、ＣＰＵ１１１が動作するための各種コンピュータプログラムなどが、それぞれ所定の領域に記録されている。画像データはディスプレイ１１９に表示させる画面情報の一例となる画像を生成するためのデータである。

入力制御部１１４には、入力デバイスであるタッチパネル１１８、キーボード（不図示）やマウス（不図示）などが接続されている。入力制御部１１４は、入力デバイスを通じて受け付けたユーザの操作位置および操作の種類を表す入力情報を生成し、これをＣＰＵ１１１に通知する。
表示制御部１１５には、表示デバイスであるディスプレイ１１９が接続されている。表示制御部１１５は、ＣＰＵ１１１から供給される表示制御信号に基づいて、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面をディスプレイ１１９に表示させる。

本実施形態では、タッチパネル１１８とディスプレイ１１９とを一体に構成する。すなわち、タッチパネル１１８を、光の透過率がディスプレイ１１９の表示を妨げないように構成し、ディスプレイ１１９の表示面の上層に取り付ける。これにより、タッチパネル１１８における入力座標と、ディスプレイ１１９の表示座標とを１対１に対応付けることができる。そのため、あたかもユーザがディスプレイ１１９の表示画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
なお、タッチパネル１１８は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式のいずれの方式のものを用いても良い。

外部メモリＩ／Ｆ１１６には、外部メモリ１２０が接続されている。外部メモリ１２０は、例えばハードディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、メモリーカードである。外部メモリＩ／Ｆ１１６は、ＣＰＵ１１１の制御に基づき、装着された外部メモリ１２０からのデータの読み出しや、当該外部メモリ１２０に対するデータの書き込みを行う。

通信Ｉ／Ｆコントローラ１１７は、ＣＰＵ１１１の制御に基づき、例えばＬＡＮやインターネット、有線、無線等の各種ネットワーク１０２に対する通信を行う。

図２は、情報処理装置１０１の機能構成図である。情報処理装置１０１は、コンピュータプログラムをＣＰＵ１１１が実行することにより、図示のように、画面制御部２０１および拡大鏡制御部２２１の機能を構築する。
画面制御部２０１は、入力情報制御部２１０、入力情報通知部２１１、画面表示部２１２、画面管理部２１３の詳細機能を含んでいる。また、拡大鏡制御部２２１は、拡大鏡入力制御部２３１、拡大鏡表示制御部２３２、拡大鏡入力情報格納部２４１、拡大鏡表示情報格納部２４２および拡大鏡通知再発行制御部２５０の詳細機能を含んでいる。

入力情報制御部２１０は、タッチパネル１１８（ディスプレイ１１９）の表示画面におけるタッチパネル１１８の表示状態、ユーザによる操作位置および操作の種類を検出する検出手段として動作する。すなわち、入力情報制御部２１０は、タッチパネル１１８への操作位置を、情報処理装置１０１で扱うことができる論理的なデータ、すなわちｘ座標、ｙ座標およびこれらの変化値に変換する。また、操作位置およびその変化値と所定の条件との対比により、上述したタッチダウン、タッチオン、ムーブ、タッチアップ、タッチオフなどの操作の種類を検出する。

「所定の条件」とは、例えば操作の特徴を識別するための操作パターンなどである。時間の変化も条件の一つとなる。つまり、一定時間何もしない状態も操作の種類の一つとなる。また、タッチパネル１１８の表面で移動する指やペンの移動情報（移動方向、移動量、移動速度など）も条件の一つとなる。そのため、例えばムーブの移動方向についても検知可能となる。その際、タッチ位置の座標変化に基づいて、タッチパネル１１８の垂直成分・水平成分毎に検知する。

また、タッチオンやムーブしている位置（座標）を同時に検知可能である。例えば、２点のタッチオンの状態から、その２点の位置を結ぶ線分の方向に対して、２点間の距離情報（間隔など）を縮めたり伸ばしたりするように指を移動する操作の検知が可能である。このような操作は「ピンチ」と呼ばれる。入力情報制御部２１０は、２つの位置のそれぞれ、もしくは一方の位置がムーブした状態をピンチと判断し、２点の位置を結ぶ線分の中心点座標、２点間の距離情報を算定可能にする。
入力情報制御部２１０は、検出した操作位置および操作の種類を表す入力情報を入力情報通知部２１１へ通知する。

入力情報通知部２１１は、入力情報制御部２１０から通知された入力情報を、情報処理装置１０１で動作する１つ以上のアプリケーションソフトウェア（以下、「ＡＰ」という。）に通知する。このＡＰは、表示画面に画面情報を提供するものである。このとき、入力情報通知部２１１は、入力情報を、すべてのＡＰに通知しても構わないし、特定のＡＰにだけ通知しても構わない。通知を受けたい旨を指示したＡＰにだけ通知をしても構わない。

画面表示部２１２は、画面管理部２１３からの要求を受けて、表示画面の情報を、表示制御部１１５を介してディスプレイ１１９に出力する。

画面管理部２１３は、１つ以上のＡＰの画面情報を格納している。画面管理部２１３は、また、画面の切替要求を受信すると、指定された画面を最前面に移動させる。画面管理部２１３は、また、画面の管理構造に基づき、最前面の画面が非表示になった場合には、適切な画面、通常は直前の画面を最前面にする。例えば、後述する拡大鏡を最前面に表示したり、これが非表示になったときは直前の画面を最前面に移動させたりすることができる。さらに、画面管理部２１３は、画面の切替要求に従う処理の実行により発生する可能性のある画面の再描画要求をＡＰに通知し、ＡＰに画面を更新させる。画面管理部２１３は、画面の表示要求を画面表示部２１２に対して行う。

さらに、画面管理部２１３は、上述した画面切り替え処理によって、発生する可能性のある画面の再描画要求をＡＰに通知し、ＡＰに画面を更新させる。さらに、画面管理部２１３は、画面の表示要求を画面表示部２１２に行う機能を有する。また、画面管理部２１３は、入力処理とＡＰの動作結果を管理し、特定の入力処理の結果を通知する機能を有する。例えば、ＡＰに対するタッチダウンの結果を要求された場合、画面の遷移が行われていれば、画面遷移発生と応答し、行われていなければ、画面遷移未発生と応答する。また、画面管理部２１３は、情報処理装置１０１の省電力移行の通知を受信し、入力情報に変換した上で、入力情報通知部２１１に省電力移行情報をＡＰに通知するように要求する。なお、省電力移行は、情報処理装置１０１の稼働状態の一例である。

拡大鏡制御部２２１は、画面制御部２０１と連動して拡大鏡の表示、非表示、変更に関する制御を行う制御手段として動作する。すなわち、拡大鏡制御部２２１は、入力情報制御部２１０で検出した操作位置および操作の種類に応じて、タッチパネル１１８（ディスプレイ１１９）への、拡大鏡の表示、非表示、変更を制御する。また、入力情報のＡＰへの通知なども制御する。

拡大鏡入力制御部２３１は、入力情報通知部２１１から通知された入力情報を、現在の表示画面の可視状態を表す情報として拡大鏡入力情報格納部２４１に格納する。また、入力情報が表す操作位置および操作の種類に応じて、以下の動作を行う。
・操作位置を包含する表示領域、すなわち、拡大元となる領域を特定する。
・拡大鏡の大きさ（拡大表示領域のサイズ）を計算する。
・表示画面において拡大鏡を表示させる領域を計算する。その際、拡大元の表示領域が拡大鏡によって隠れたり、どの部分の拡大なのかが不明とならないように、表示領域との関連付けを行う。関連付けは、拡大元となる表示領域とを結ぶ画像表示などで行う。
・算出された領域の情報を拡大鏡表示情報格納部２４２に格納する。
・拡大鏡表示制御部２３２に対して拡大鏡の表示、再表示の要求その他の通知を行う。

拡大鏡表示制御部２３２は、入力情報が表す操作位置および操作の種類に応じて、以下のような制御動作を行う。
・拡大鏡に表示させる画面情報の拡大率を変更する。
・画面管理部２１３に対して拡大鏡を表示する際の画面の更新を要求する。
・入力情報制御部２１０で検出した操作の種類と、予め定めた拡大鏡を表示するための条件（以下、表示条件）とを対比し、操作の種類が表示条件を満たすかどうかを判定する。
・入力情報制御部２１０で検出した操作の種類と、予め定めた、拡大鏡を非表示するための条件（以下、非表示条件）を満たすかどうかを判定する。
・表示条件、非表示条件の設定を受け付け、受け付けた表示条件、非表示条件を拡大鏡表示情報格納部２４２などに格納する。
・予め「常時表示モード」が「有効」に設定されているときは、ＡＰが自装置で起動している限り、検出された操作位置および操作の種類に関わらず、拡大鏡を常時表示させる。「常時表示モード」が「無効」のときは、非表示条件を満たすときに拡大鏡を非表示にする。

表示条件、非表示条件もまた、拡大鏡の表示制御を行う上での条件の一つとなる。表示条件を満たすのは、例えば以下の操作がなされたことである。
・検出された操作の種類が長押し（タッチオンが所定の時間以上継続した）であること。すなわち、同じ操作状態が一定時間継続する操作（長押し）であれば表示可能とする。
・検出された操作の種類がダブルタップ（タッチオンを所定時間内に２回検出した）であること。
・上記の操作の種類に関わらず、情報処理装置１０１において特定の入力キーが押下されること。

非表示条件を満たすのは、例えば以下の操作がなされ、あるいは、自装置の状態が検出されたことである。
・表示画面に対する特定の操作が規定時間経過したこと。例えば、検出された操作の種類がタッチアップであり、タッチアップ後、規定時間経過したこと。
・表示画面と異なる画面の遷移が検出されたこと。
・自装置の稼働状態が予め定めた状態、例えば省電力移行の状態であること。
・情報処理装置１０１において特定の入力キーが押下されること。
拡大鏡入力情報格納部２４１には、最新の入力情報が格納されている。例えば、ユーザがタッチパネル１１８上のある位置（座標ｘ、ｙ）をタッチオンしている場合には、入力状態格納部には、ｘ、ｙ、タッチオンという情報が格納されている。

拡大鏡表示情報格納部２４２は、以下の情報を格納する。
・拡大鏡の拡大率。
・拡大鏡自体の大きさを表す情報。
・拡大鏡が出力されているかどうかの状態（可視状態）を表す情報。
・拡大鏡および押下された領域に関する座標・大きさに関する情報。
なお、拡大率、拡大鏡自体の大きさの情報の初期値は、固定値、あるいは、タッチパネル１１８を介してユーザに入力された値、あるいは、ＡＰから指定された値でも構わない。換言すると、これらの情報は、本実施の形態に特に限定されるものではない。
・設定された拡大鏡の表示条件、非表示条件

拡大鏡通知再発行制御部２５０は、拡大鏡表示制御部２３２からリアルタッチダウン通知の要求があったときに、拡大対象元のＡＰに対するタッチダウン通知の再発行を入力情報通知部２１１へ要求する。拡大鏡表示制御部２３２からこのような要求があるのは、予めこのような通知の機能が設定され、かつ、拡大鏡の表示中に、拡大鏡あるいは拡大鏡の外部領域に対するタッチダウンが検出された場合である。

拡大鏡内のタッチダウンについては、入力情報のうち、操作位置（入力座標）を拡大前の表示領域の座標に変換する。そして、操作位置（入力座標）を変換後の座標、操作の種類をタッチダウンとした入力情報を生成する。拡大鏡通知再発行制御部２５０は、このように生成された入力情報を、もとの入力情報と異なるという意味で、便宜上、「変換入力情報」と呼ぶ。この変換入力情報に基づいて、ユーザが行った操作を再現できるように、入力情報制御部２１０にＡＰへの通知の再発行を要求する。

一方、拡大鏡の外部領域に対するタッチダウンについては、そのまま、通知の再発行を入力情報制御部２１０に要求する。
なお、いずれの場合も、拡大鏡通知再発行制御部２５０は、通知の再発行を要求した入力情報（変換入力情報）については、拡大鏡入力情報格納部２４１において、再発行であることを表す再発行フラグを関連付ける。入力情報に、この再発行フラグが関連付けられている場合は有効とし、拡大鏡通知再発行制御部２５０が受信した入力情報に対して同じ処理を繰り返すことを防止できるようにする。他方、再発行フラグが関連付けられていない場合は無効とし、リアルタッチダウン位置の算出等を可能にする。

拡大鏡通知再発行制御部２５０は、また、入力情報制御部２１０による通知を契機に、ＡＰが操作の種類に応じて画面情報に対する処理を行った旨、あるいは何も行わなかった旨の返答の受取を画面管理部２１３に要求する。また、当該返答の結果を反映した画面情報を拡大鏡に表示させるために拡大鏡表示制御部２３２に要求する。

なお、拡大鏡入力制御部２３１、拡大鏡表示制御部２３２および拡大鏡通知再発行制御部２５０は、いずれも拡大鏡の制御に関する機能であり、これらを一つの機能モジュールで実現しても良い。以下の説明では、動作の主体としてこれらを区別する必要がない場合は、拡大鏡制御部２２１の動作として説明する。

図３は、拡大鏡の計算の概念を示している。表示画面３０１はディスプレイ１１９上で画像が表示される領域を表す。拡大対象となる表示領域３１１は、拡大元（拡大前）の領域を表す。拡大鏡３１２は、表示領域３１１を拡大表示する領域である。
表示画面３０１の原点３３１から、操作位置（入力点）３２１のｘ座標、ｙ座標をそれぞれ、ｐx，ｐyとし、表示領域３１１からの拡大鏡３１２の相対的な横幅、縦幅をそれぞれ、ｄxoffset、ｄyoffsetとする。また、表示領域３１１の横幅、縦幅をｓwidth、ｓheightとする。さらに、表示領域３１１の始点のｘ座標、ｙ座標をｓx、ｓyとし、ｐx、ｐyからｓx、ｓyまでの相対的な横幅、縦幅をそれぞれｓxoffset，ｓyoffsetとする。また、拡大鏡３１２の始点３２２のｘ座標、ｙ座標をそれぞれ、ｄx，ｄy、横幅、縦幅をｄwidth、ｄheightとする。また、拡大鏡表示情報格納部２４２に格納されている拡大率をｒとする。なお、拡大率ｒは、ｘ成分、ｙ成分でそれぞれ異なる値を有しても構わない。

拡大鏡表示制御部２３２は、表示領域３１１の情報である、ｓx、ｓyを以下のように算出する。
ｓx＝ｐx−ｓxoffset
ｓy＝ｐy−ｓyoffset

また、拡大鏡３１２の情報である、ｄx，ｄy，ｄwidth，ｄheightを以下のように算出する。
ｄx＝ｐx−ｄxoffset
ｄy＝ｐy−ｄyoffset
ｄwidth＝ｓwidth×ｒ
ｄheight＝ｓheight×ｒ

なお、ｒ、ｓxoffset，ｓyoffset、ｓwidth，ｓheight、ｄxoffset、ｄyoffsetは固定値、あるいは、タッチパネル１１８を介してユーザから入力された値、あるいは、ＡＰから指定された値でも構わない。換言すると、これらの値は、本実施の形態例に限定されるものではない。

次に、タッチダウン時の拡大鏡と表示領域との関係について説明する。図４は、上述したリアルタッチダウンの概念図である。拡大鏡３１２の内部でタッチダウンの操作がなされると（そのような操作の種類が検出されると）、入力情報通知部２１１からタッチダウンの操作が行われたことと、そのタッチダウンの操作位置（入力点の座標）が通知される。例えば、図４に示される操作位置４０１でタッチダウンが検出されたとする。この操作位置４０１のｘ成分、ｙ成分をそれぞれｔx、ｔyとする。なお、ｔx、ｔyは、拡大鏡３１２の始点ｄx，ｄyからｔoffsetx、ｔoffsetyの距離の位置にある。

ｔoffsetx、ｔoffsetyは以下のように算出される。
ｔoffsetx＝ｔx−ｄx
ｔoffsety＝ｔy−ｄy

この操作位置に対応する表示領域３１１の位置（座標）４０２は、拡大鏡３１２における操作位置（ｔx、ｔy）を拡大率ｒを基に座標変換して得られる表示画面３０１上の位置（座標）となる。この座標変換された操作位置を「リアルタッチダウン位置」と呼ぶ。リアルタッチダウン位置４０２のｘ成分、ｙ成分をそれぞれｒtx、ｒtyは、それぞれｓx、ｓyからｒtoffsetx、ｒtoffsetyの距離の位置にある。

拡大鏡表示制御部２３２は、タッチダウンの操作位置４０１からリアルタッチダウン位置４０２を以下のように算出する。
ｒtoffsetx＝（ｔoffsetx）／ｒ
ｒtoffsety＝（ｔoffsety）／ｒ
ｒtx＝ｓx＋ｒtoffsetx
＝ｐx−ｓxoffset＋（ｔx−ｄx）／ｒ
ｒty＝ｓy＋ｒtoffsety
＝ｐy−ｓyoffset＋（ｔy−ｄy）／ｒ

拡大鏡表示制御部２３２は、以下の２つの条件式を満たしたとき、タッチダウン位置４０１が拡大鏡３１２の中にあると判定し、そうでなければ外部領域にあると判定する。
ｄx＜＝ｔx ＜＝ｄx＋ｄwidth
ｄy＜＝ｔy＜＝ｄy＋ｄheight

図５は、拡大鏡表示制御部２３２が、入力情報を受信したときの処理手順説明図である。拡大鏡表示制御部２３２は、拡大鏡３１２の可視状態を判定し（Ｓ５０１）、拡大鏡３１２が非表示であれば（Ｓ５０１：Ｙ）、入力情報が表す操作の種類がタッチダウンかどうかを判定する（Ｓ５０２）。タッチダウンであれば（Ｓ５０２：Ｙ）、拡大鏡３１２の表示条件を満たすかどうかを判定する（Ｓ５０３）。満たす場合は（Ｓ５０３：Ｙ）、拡大鏡表示の処理（Ｓ５０４）に移行する。この処理については後述する。
Ｓ５０２においてタッチダウンでなかった場合（Ｓ５０２：Ｎ）、又はＳ５０３において表示条件を満たさない場合は（Ｓ５０３：Ｎ）、処理を終了する。

Ｓ５０１において、拡大鏡が表示中であった場合（Ｓ５０１：Ｎ）、拡大鏡表示制御部２３２は、拡大鏡入力情報格納部２４１から入力情報を取得し、操作の種類がムーブかどうかを判定する（Ｓ５０５）。ムーブであれば（Ｓ５０５：Ｙ）、拡大鏡表示の処理（Ｓ５０４）を続ける。つまり、このムーブのときは、表示中の拡大鏡が移動していることを表す。

Ｓ５０５においてムーブでないと判定した場合は（Ｓ５０５：Ｎ）、拡大鏡入力情報格納部２４１から入力情報を取得し、操作の種類がタッチアップかどうかを判定する（Ｓ５０６）。タッチアップであった場合、拡大鏡表示制御部２３２は、拡大鏡の非表示条件を満たすかをどうかを判定する（Ｓ５０７）。満たさない場合は処理を終了し（Ｓ５０７：Ｎ）、満たす場合は（Ｓ５０７：Ｙ）、拡大鏡非表示の処理（Ｓ５０８）に移行する。この処理については後述する。

Ｓ５０６においてタッチアップでないと判定した場合は（Ｓ５０６：Ｎ）、拡大鏡入力情報格納部２４１から入力情報を取得し、操作の種類がタッチダウンかどうかを判定する（Ｓ５０９）。タッチダウンであれば（Ｓ５０９：Ｙ）、リアルタッチダウン通知処理を行い（Ｓ５１０）、その後、Ｓ５０７へ移行する。リアルタッチダウン通知処理は、拡大鏡３１２に対するタッチダウン通知を拡大対象となる表示領域３１１を扱うＡＰへ通知する処理である。この詳細については、後述する。

Ｓ５０９においてタッチダウンでないと判定した場合は（Ｓ５０９：Ｎ）、操作の種類が省電力移行かどうかを判定する（Ｓ５１１）。省電力移行であればＳ５０７へ移行し（Ｓ５１１：ＹＥＳ）、そうでなければ（Ｓ５１１：ＮＯ）、処理を終了する。

図６は、拡大鏡表示の処理の手順説明図である。
拡大鏡表示制御部２３２は、表示条件を満たすと、拡大鏡の大きさおよび拡大鏡を表示させる領域を算出し（Ｓ６０１）、算出結果を拡大鏡表示情報格納部２４２へ格納する（Ｓ６０２）。
その後、画面管理部２１３で管理されている最前面のＡＰ上の表示画面の座標（ｓｘ、ｓｙ）から横幅ｓwidth、縦幅ｓheightの表示領域３１１に対応する画面情報を取得する（Ｓ６０３）。そして、取得した画面情報を拡大鏡表示情報格納部２４２より取得した拡大率ｒで拡大した拡大画面情報を生成する（Ｓ６０４）。また、拡大鏡３１２に拡大画面情報を転送する（Ｓ６０４）。
拡大鏡表示制御部２３２は、画面管理部２１３に、拡大鏡３１２を表示するように画面更新を要求する（Ｓ６０５）。画面管理部２１３は、画面表示部２１２に、最前面のＡＰの上に拡大鏡３１２を表示するように要求する（Ｓ６０６）。
拡大鏡表示制御部２３２は、拡大鏡３１２が表示中であるものとし、拡大鏡表示情報格納部２４２に格納されている可視状態の情報を更新する（Ｓ６０７）。

次に、図７を参照して、拡大鏡３１２の実際の表示例を説明する。図７（ａ）は、情報処理装置１０１で動作中のＡＰについての表示画面がディスプレイ１１９に表示されていることを示す。図７（ｂ）は、図７（ａ）の状態において「両面」という文字を含んだボタン画像領域が操作位置（入力点の座標）３２１として検出され、座標３２２を始点とする拡大鏡３１２が表示されていることを示す。図７（ｃ）は、図７（ｂ）の状態から、ムーブ８０１によって、操作位置３２１ａが操作位置３２１ｂに変更されている。そして、それに応じて、拡大鏡３１２の始点の座標３２２ａが座標３２２ｂに変化したことを示す。図７（ｃ）の例では、「両面」から「濃度」という文字を含んだボタン画像領域が拡大されている。

図８は、リアルタッチダウン通知の処理手順説明図である。
拡大鏡通知再発行制御部２５０は、拡大鏡表示制御部２３２からリアルタッチダウン通知要求を受信すると（Ｓ８０１）、タッチダウンの再発行フラグが無効かどうかを判定する（Ｓ８０２）。上述したとおり、入力情報に再発行フラグが関連付けられていない場合は、無効となる。無効であれば（Ｓ８０２：Ｙ）、タッチダウン操作位置４０１が拡大鏡３１２の内側かどうかを判定する（Ｓ８０３）。拡大鏡３１２の内側であれば（Ｓ８０３：Ｙ）、リアルタッチダウン位置４０２を算出する（Ｓ８０４）。

その後、算出したリアルタッチダウン位置４０２に対応する位置を管理するＡＰに向けて、タッチダウン通知を発行するように入力情報制御部２１０へ要求する（Ｓ８０５）。Ｓ８０３において、タッチダウン操作位置４０１が拡大鏡３１２の内側でなかった場合は（Ｓ８０３：Ｎ）、そのタッチダウン操作位置４０１のまま、上記のＡＰに向けてタッチダウン通知を発行するように入力情報制御部２１０に要求する（Ｓ８０６）。

拡大鏡通知再発行制御部２５０は、上記要求後は、再発行フラグを有効にする（Ｓ８０７）。つまり、再発行フラグを入力情報に関連付ける。その後、画面管理部２１３に再発行したタッチダウン通知に対するＡＰの動作結果を要求する（Ｓ８０８）。

拡大鏡通知再発行制御部２５０は、取得したＡＰの動作結果が、画面遷移を伴うものかどうかを判定する（Ｓ８０９）。伴わない場合は処理を終え（Ｓ８０９：Ｎ）、伴う場合は（Ｓ８０９：ＹＥＳ）、拡大鏡の非表示条件のうち、画面遷移を伴う条件を有効にするように更新する（Ｓ８１０）。
なお、Ｓ８０２において、再発行フラグが有効であった場合（Ｓ８０２：Ｎ）、拡大鏡通知再発行制御部２５０は、再発行フラグを無効にし（Ｓ８１１）、その後、処理を終える。

図９は、拡大鏡非表示の処理手順説明図である。本実施形態では、入力情報制御部２１０で検出された操作の種類と予め定めた非表示条件との対比により、拡大鏡を非表示にするかどうかを判定する。そして、非表示条件を満たす操作の種類を検出するまで拡大鏡を表示画面に表示させる。

そのため、拡大鏡表示制御部２３２は、検出された操作位置ないし操作の種類が拡大鏡３１２の非表示条件を満たすと、拡大鏡表示情報格納部２４２から拡大鏡の領域情報を取得する（Ｓ９０１）。そして、画面管理部２１３に、取得した領域情報と合わせて拡大鏡３１２の非表示を要求する（Ｓ９０２）。画面管理部２１３は、画面表示部２１２に、画面更新を要求するとともに、領域情報を基に、拡大鏡３１２によって覆い隠されていた拡大領域の再描画を要求する（Ｓ９０３）。
拡大鏡表示制御部２３２は、拡大鏡３１２が非表示になったものとし、拡大鏡表示情報格納部２４２に格納されている可視状態の情報を更新する（Ｓ９０４）。

本実施形態の情報処理装置１０１では、表示中の拡大鏡の非表示条件を様々に設定することができる。以下、図１１を参照して、拡大鏡非表示の詳細な処理手順を説明する。図１０は、図５におけるＳ５０７の処理、すなわち、非表示条件に基づく非表示判定処理の詳細手順説明図である。

拡大鏡表示制御部２３２は、拡大鏡常時表示モードが無効かどうかを判定する（Ｓ１００１）。無効と判定した場合は（Ｓ１００１：Ｙ）、拡大鏡入力情報格納部２４１から入力情報を取得し、検出された操作の種類がタッチアップかどうかを判定する（Ｓ１００２）。タッチアップであれば（Ｓ１００２：Ｙ）、タッチアップ後の経過時間を基に拡大鏡３１２を非表示する機能が有効かどうかを判定する（Ｓ１００３）。有効であれば（Ｓ１００３：Ｙ）、タッチアップから予め定めた規定時間が経過したかどうかを判定する（Ｓ１００４）。経過していなければ（Ｓ１００４：Ｎ）、拡大鏡入力情報格納部２４１から入力情報を取得し、タッチアップもしくはタッチオフかどうかを判定する（Ｓ１００５）。タッチアップもしくはタッチオフであった場合は（Ｓ１００５：Ｙ）、ステップ１００４に戻る。そうでなければ（Ｓ１００５：Ｎ）、非表示判定結果を不可とし（Ｓ１００６）、処理を終える。

Ｓ１００３において、拡大鏡常時表示モードが有効と判定した場合（Ｓ１００３：Ｎ）又はＳ１００４において規定時間が経過した場合は（Ｓ１００４：Ｙ）、拡大鏡３１２の非表示判定結果を可とする（Ｓ１００７）。

その後、距離による非表示機能が有効かどうかを判定する（Ｓ１００８）。有効でなければ（Ｓ１００８：Ｎ）、処理を終える。有効であった場合は（Ｓ１００８：Ｙ）、予め定めた規定距離以上離れたかどうかを判定する（Ｓ１００９）。離れていれば（Ｓ１００９：Ｙ）、非表示判定結果を可として（Ｓ１０１０）、処理を終える。離れていなければ（Ｓ１００９：Ｎ）、Ｓ１００６の処理に移行する。すなわち、非表示判定結果を不可として、処理を終える。

Ｓ１００２において、操作の種類がタッチアップでないと判定した場合（Ｓ１００２：Ｎ）、タッチダウンかどうかを判定する（Ｓ１０１１）。タッチダウンであった場合（Ｓ１０１１：Ｙ）、画面遷移による非表示機能が有効かどうかを判定する（Ｓ１０１２）。有効であった場合は（Ｓ１０１２：Ｙ）、画面遷移が行われたかどうかを判定する（Ｓ１０１３）。行われた場合（Ｓ１０１４：Ｙ）、Ｓ１０１０の処理に移行する。すなわち、非表示判定結果を可として、処理を終える。

Ｓ１０１２において非表示機能が有効でなかった場合（Ｓ１０１２：Ｎ）、又はＳ１０１３において画面遷移が行われなかった場合は（１０１３：ＮＯ）、Ｓ１００６の処理に移行する。すなわち、非表示判定結果を不可として、処理を終える。

Ｓ１０１１において、タッチダウンでなかった場合は（Ｓ１０１１：Ｎ）、操作の種類が省電力移行かどうかを判定する（Ｓ１０１４）。省電力移行であった場合は（Ｓ１０１４：Ｙ）、Ｓ１０１０の処理に移行する。すなわち、非表示判定結果を可として、処理を終える。省電力移行でなかった場合は（Ｓ１０１４：Ｎ）、Ｓ１００６の処理に移行する。すなわち、非表示判定結果を不可として、処理を終える。
なお、Ｓ１００１において、拡大時常時表示モードが無効でない場合も（Ｓ１００１：Ｎ）、Ｓ１００６の処理に移行する。すなわち、非表示判定結果を不可として、処理を終える。

なお、上述した拡大鏡非表示条件に基づいた非表示判定の可否を決定する処理は、一例にすぎず、タッチアップ後からの規定時間の経過を判定する制御や、規定距離が離れているかを判定する制御を実現できるのであれば、上述した処理に限定されるものではない。また、タッチダウン後に画面遷移が行われたかをどうかを判定する制御を実現できるのであれば、上述した処理に限定されるものではない。さらにいえば、拡大鏡の非表示条件に基づく非表示判定の可否を決定する処理における、可否判定基準は、上述した処理に限定されるものではない。

図１１（ａ）から図１１（ｄ）は、情報処理装置１０１で動作中のＡＰの画面がディスプレイ１１９に表示された状態で、拡大鏡３１２の内外に対するタッチダウンの操作例を示す図である。図１１（ａ）は、タッチパネル１１８の操作位置（入力点）３２１を包含した拡大鏡３１２が表示されている。図１１（ａ）の例では、「両面」という文字を含んだボタン画像領域が拡大鏡３１２により拡大されている。

図１１（ｂ）は、図１１（ａ）の状態から、タッチアップされ、その後、拡大鏡３１２の内側でタッチダウンされた状態を示す。拡大鏡入力制御部２３１は、タッチダウン操作位置４０１およびタッチダウンがあったことを表す入力情報を受信し、拡大鏡表示制御部２３２に処理を移す。拡大鏡表示制御部２３２は、タッチダウン通知の再発行を拡大鏡通知再発行制御部２５０に要求する。拡大鏡通知再発行制御部２５０は、入力情報通知部２１１に、リアルタッチダウン位置４０２の画面情報を扱うＡＰに向けたタッチダウンの通知を再発行させる。

図１１（ｃ）は、入力情報通知部２１１がタッチダウン通知を発行した後の状態を表す。タッチダウン通知を受けたＡＰは、「両面」という文字を含んだボタン画像領域が押下（押圧）されたと判断し、押下後のボタン画像である「片面」という文字を含んだボタン画像４０３に自動的に変更する。拡大鏡表示制御部２３２は、その後、拡大鏡の非表示条件を満たす場合は、拡大鏡３１２を非表示にする。

図１１（ｄ）は、図１１（ａ）の状態において、拡大鏡３１２の領域外でタッチダウンの操作が検出された状態を示す。この場合、拡大鏡入力制御部２３１は、タッチダウン操作位置４０４に対するタッチダウン通知を受信し、拡大鏡表示制御部２３２に処理を移す。拡大鏡表示制御部２３２は、タッチダウン通知の再発行を拡大鏡通知再発行制御部２５０に要求する。このとき、拡大鏡通知再発行制御部２５０は、タッチダウン操作位置４０４が、拡大鏡３１２の外側であるため、そのままタッチダウン通知を発行するように入力情報通知部２１１に要求する。その結果、タッチダウン通知を受けたＡＰは、「両面」という文字を含んだボタン画像をそのまま表示させる。そのため、表示画面には、図１１（ａ）に示した場合と同様、拡大鏡３１２による画面情報の拡大表示が維持される。

このように、本実施形態では、タッチダウンの操作が検出されたときは、拡大鏡３１２の内外に関わらず、拡大鏡制御部２２１が、ＡＰに対してタッチダウン通知を再発行する。そして、拡大鏡３１２の内側でのタッチダウン通知のときには、拡大鏡３１２に対応する拡大前の表示領域に対する操作がなされたと判断し、ＡＰ側で画面情報を変更する。そのため、拡大鏡３１２で拡大された状態で画面情報を変更することができ、拡大鏡３１２の利便性が高まる。

他方、拡大鏡３１２の外側のタッチダウンのときには、拡大鏡３１２に対応する拡大元の表示領域の画面情報の表示をそのまま維持させる。そのため、拡大鏡３１２以外の部分を操作する際に、視点の移動を伴わない。弱視者のような視点の移動を大きな負担と感じるユーザに対する操作の負荷を格段に軽減することができる。

また、本実施形態では、拡大鏡の非表示を様々な条件に基づいて制御することができる。例えば、拡大鏡を永続的に表示させておくことができる。これにより、弱視者のように常に拡大鏡を使用したいユーザが使用中の場合に、拡大鏡を常に表示させることで、拡大鏡の表示のための操作を繰り返す手間を省くことができる。

本実施形態では、また、拡大鏡を表示中のタッチアップから、即座に拡大鏡を非表示にするだけでなく、規定時間が経過した時点、もしくは、指やペン等が規定距離以上離れた時点で、拡大鏡を非表示にすることができる。また、ユーザが長時間操作していない状況において情報処理装置１０１が発行する省電力モード移行通知に基づいて、拡大鏡を非表示にすることができる。
これらにより、例えば、拡大鏡を必要としないユーザに入れ替わった場合において、そのユーザが拡大鏡を非表示にする手間を省くことができる。

さらに、本実施形態では、拡大鏡を表示している状態において、タッチダウン操作の結果、画面遷移が行われる場合とそうでない場合で、拡大鏡の非表示を制御する。これにより、遷移先の画面の文字などが十分に大きい場合においても拡大鏡が表示され続けることで、閲覧性が損なわれる事態を回避することができる。
一方で、画面遷移が行われない場合には拡大鏡を表示し続けることができるため、拡大鏡を再度表示させる操作が不要となり、操作性が格段に向上する。

Claims (11)

1. 表示画面における操作位置および操作の種類を検出する検出手段と、
   前記検出手段で検出された操作位置および操作の種類と予め定めた条件とを対比することにより、前記操作位置を包含する所定の表示領域を拡大した拡大表示領域を表示し、又は表示中の前記拡大表示領域を非表示にする制御手段と、
   表示された前記拡大表示領域を含む前記表示画面において検出された操作位置および操作の種類を、当該表示画面に画面情報を提供するアプリケーションに対して通知する通知手段とを備えて成る、
   情報処理装置。
2. 前記通知手段は、前記拡大表示領域の内側に対してなされた前記操作位置および操作の種類については、拡大前の前記表示領域の座標に変換し、変換した座標への操作の種類を表すものとして、前記アプリケーションに対して通知する、
   請求項１記載の情報処理装置。
3. 前記通知手段は、表示中の前記拡大表示領域の外側に対してなされた前記操作位置および操作の種類については、前記変換を伴うことなく、操作位置への操作の種類を表すものとして、前記アプリケーションに対して通知する、
   請求項２記載の情報処理装置。
4. 前記制御手段は、前記通知手段による通知を契機に、前記アプリケーションが前記操作の種類に応じて前記画面情報に対する処理を行った旨の返答を受け取った場合、あるいは、何も行わなかった旨の返答を受け取った場合は、当該返答の結果を反映した前記画面情報を前記拡大表示領域に表示させる、
   請求項２又は３記載の情報処理装置。
5. 前記制御手段は、前記検出手段で検出された操作の種類と予め定めた非表示条件との対比により、前記拡大表示領域を非表示にするかどうかを判定し、前記非表示条件を満たす前記操作の種類を検出するまで前記拡大表示領域を前記表示画面に表示させる、
   請求項４記載の情報処理装置。
6. 前記制御手段は、前記非表示条件の設定を受け付け、受け付けた非表示条件を格納する格納手段を備えており、
   前記制御手段は、前記格納手段に設定されている前記非表示条件と前記検出手段で検出された操作の種類とを対比し、前記非表示条件を満たすと判定した場合に、表示中の前記拡大表示領域を非表示にする、
   請求項５記載の情報処理装置。
7. 前記制御手段は、予め常時表示モードが設定されているときは、前記アプリケーションが自装置で起動している限り、前記検出された操作位置および操作の種類に関わらず、前記拡大表示領域を表示させる、
   請求項６記載の情報処理装置。
8. 前記非表示条件は、前記表示画面に対する特定の操作が一定時間継続したことを含む、
   請求項６記載の情報処理装置
9. 前記非表示条件は、前記表示画面と異なる画面の遷移があったことを含む、
   請求項６記載の情報処理装置。
10. 前記非表示条件は、前記情報処理装置の稼働状態が予め定めた状態であることを含む、
    請求項６記載の情報処理装置。
11. コンピュータを、表示画面における操作位置および操作の種類を検出する検出手段、
    前記検出手段で検出された操作位置および操作の種類と予め定めた条件とを対比することにより、前記操作位置を包含する所定の表示領域を拡大した拡大表示領域を表示し、又は表示中の前記拡大表示領域を非表示にする制御手段、および、
    表示された前記拡大表示領域を含む前記表示画面において検出された操作位置および操作の種類を、当該表示画面に画面情報を提供するアプリケーションに対して通知する通知手段、として動作させる、
    コンピュータプログラム。