JP6594359B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に画像データに対して編集、補正などの処理を施す画像処理装置、画像処理方法、及びプログラムに関する。

フォトアルバムを作成するソフトウェア（以降、アルバム作成ソフトと呼ぶ）では、自動レイアウト機能を使ってテンプレートの写真スロットに写真を自動的に配置してフォトアルバムを自動で作成する技術が採用されている。自動レイアウト機能でフォトアルバムが生成された後、ユーザは、生成されたフォトアルバムにおいて満足できない部分を個別に編集する。例えば、ある写真スロットに自動レイアウト機能により設定された写真を異なる写真に変更したい場合は、ユーザが、対象の写真スロットを選択して画像を手動で入れ替える作業を行う。また、フォトアルバムには写真だけでなくテキストを入力できるものもある。例えば、フォトアルバムに配置されたテキストスロットにテキストを入力できるものがある。

アルバム作成ソフトでテキストスロットにテキストを入力する場合、ユーザがテキストスロットを選択すると、テキスト入力のためのダイアログ（以降、テキスト入力ダイアログと呼ぶ）が表示される。また、物理的なキーボードが接続されていないスマートフォンやタブレットＰＣなどでは、ユーザがテキスト入力ダイアログ内のテキスト入力エリアにフォーカスを当てると、通常、表示パネルの下側からソフトキーボードが表示される。そして、ユーザは、ソフトキーボードを用いてテキスト入力エリアに文字等を入力する。なお、特許文献１には、ユーザ操作に従ってキーボードをポップアップ表示する技術が開示されている。

特開２００２−２４４７８０号公報

スマートフォンやタブレットＰＣなどでは、ソフトウェアのユーザインターフェース上でユーザがテキスト編集を行う際、ユーザビリティを向上させるためのテキスト用オブジェクト（後述する、拡大鏡やつまみなど）が表示されるものがある。しかし、テキスト入力ダイアログやソフトキーボードの表示位置によっては、上記オブジェクトが表示パネルからはみ出したりソフトキーボードと重なってしまいユーザビリティが低下するおそれがある。特許文献１では、ソフトキーボードの表示位置を制御する方法が提案されているが、キーボードとは別に表示されるテキスト用オブジェクトのユーザビリティまで考慮されていなかった。

本発明は、上記の課題に鑑みてなされたものであり、ユーザインターフェース上で行われるテキスト編集時のユーザビリティを向上させることができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

本発明による情報処理装置は、テキストを拡大して表示させるためのテキスト用オブジェクトを、テキストが操作されることに従って新たに表示可能な情報処理装置であって、テキストボックスを有する画面を表示領域の所定の位置に表示させる表示制御手段と、テキストボックスに対する操作に応じてテキストボックスが操作対象となった場合、テキスト用オブジェクトの少なくとも一部が隠れないようにテキストボックスを有する画面の表示位置を所定の位置から移動する移動手段と、を備えたことを特徴とする。

本発明によれば、ユーザインターフェース上で行われるテキスト編集時のユーザビリティを向上させることができる。

フォトアルバム作成／注文システムの構成を示す図である。 ＰＣのハードウェア構成を示す図である。 ＰＣのソフトウェアモジュール構成を示す図である。 ＰＣ上で動作するフォトアルバム作成アプリの画面の一例を示す図である。 拡大鏡とソフトキーボードとの表示位置の関係を説明するための図である。 フォトアルバム作成アプリの第１実施形態における動作を示すフローチャートである。 つまみとソフトキーボードとの表示位置の関係を説明するための図である。 フォトアルバム作成アプリの第２実施形態における動作を示すフローチャートである。 テキストスロットとソフトキーボードとの表示位置の関係を説明するための図である。

以下、添付図面を参照して本発明の好適な実施の形態に関して、詳細に説明する。なお、以下の実施の形態は、特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
スマートフォン（以下、スマホと略す場合がある）やタブレットＰＣ（以下、タブレットと略す場合がある）などでは、テキスト入力時にテキスト部分を長押しなどすると、オペレーティングシステム（ＯＳ）の機能によって拡大鏡が表示されるものがある。ユーザにより選択されたテキスト部分が、この拡大鏡内に拡大されて表示される。なお、以降は単に拡大鏡オブジェクトと記載することもある。また、拡大鏡は、ＯＳによって提供されても良いし、アプリケーションによって提供されても良い。本実施形態では、そのようなＯＳが搭載されたスマホやタブレットでフォトアルバム作成ソフト（以降、フォトアルバム作成アプリケーションと呼ぶ）を動作させる場合について説明する。なお、拡大鏡は、テキスト入力の位置を示すキャレットの移動などをユーザが簡単に操作できるようにするために、テキストの近傍に表示されるテキスト用オブジェクトである。

図１は、フォトアルバム作成／注文システムの構成を示す図である。フォトアルバム作成／注文システムは、情報処理装置（以下、ＰＣと略す場合がある）１及び２がインターネット等の所定のネットワークで接続されることで構成される。ＰＣ１及び２は、例えば、一般的なパーソナルコンピュータ又はサーバ等で構成される。ＰＣ１及び２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として、Ｗｉｎｄｏｗｓ ８（登録商標）又はＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ ２０１２（登録商標）と同等のＯＳがインストールされている。

ＰＣ１は、例えばスマホやタブレットである。ＰＣ１は、ユーザ（例えば、顧客（Ｃｕｓｔｏｍｅｒ）等）の自宅に構築された一般家庭用のホームネットワーク（図１に示される、Ｅｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４に接続可能である。ＰＣ１は、フォトアルバム作成アプリケーション（Ｐｈｏｔｏ Ａｌｂｕｍ Ｃｒｅａｔｏｒ）８０と、Ｗｅｂブラウザアプリケーション（Ｗｅｂ Ｂｒｏｗｓｅｒ）１４３を備える。以下、フォトアルバム作成アプリケーションを、フォトアルバム作成アプリと略す場合がある。また、Ｗｅｂブラウザアプリケーションを、Ｗｅｂブラウザアプリと略す場合がある。

フォトアルバム作成アプリ８０は、フォトアルバムを作成するためのアプリケーションであり、例えば、Ｗｉｎｄｏｗｓ用の実行可能形式のファイル（即ち、拡張子が「．ｅｘｅ」で示されるファイル）で構成される。Ｗｅｂブラウザアプリ１４３は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を利用する際に用いられるブラウザである。

ＰＣ２は、社内（図１では、ＡＢＣ社の社内）に設置され、その社内に構築されたオフィスネットワーク（図１に示される、Ｅｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク８）に接続されるサーバである。ＰＣ２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ（Ｗｅｂ Ｓｅｒｖｅｒ）９を含み、インターネット（Ｉｎｔｅｒｎｅｔ）を介してＡＢＣ社のＷｅｂサイト（即ち、ショッピングサイト（Ｓｈｏｐｐｉｎｇ Ｓｉｔｅ）１１）を提供している。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。

図２は、ＰＣ１のハードウェア構成を示す図である。ＰＣ１は、ＲＡＭ２０１、ＨＤＤ２０２、ＫＢＤ２０３、ＣＰＵ２０４、ＬＣＤ２０５、ＮＢ２０６を備える。また、ＰＣ１において、各構成要素は、バス２０７で相互に接続される。なお、ＰＣ２の構成については、ＰＣ１と同様であるため説明を省略する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１は、ＣＰＵ２０４のメインメモリであり、ワークエリア等として機能する。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０２は、各種データ等を記憶する記憶装置である。なお、各種データ等は、可搬性ＣＤ−ＲＯＭ又は内部据付のＲＯＭ等に記憶することもできる。ＫＢＤ（ｋｅｙｂｏａｒｄ）２０３は、各種設定を入力するための入力装置である。なお、ＫＢＤ２０３は、ＰＣ１の外部に配置されていてもよい。つまり、ＰＣ１は、キーボードを備えていなくてもよい。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４は、ＰＣ１全体を制御する中央演算装置であり、ＯＳやアプリケーションプログラム等の各種プログラムを実行する。具体的には、ＣＰＵ２０４は、ＨＤＤ２０２に記憶されたフォトアルバム作成アプリ８０、Ｗｅｂブラウザアプリ１４３、図３に示す各モジュール（ソフトウェア）を必要に応じてＲＡＭ２０１に読み出して実行する。また、これにより、ＣＰＵ２０４は、フォトアルバム作成アプリ８０、Ｗｅｂブラウザアプリ１４３、図３に示す各モジュール（ソフトウェア）の機能を実現する。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０５は、ディスプレイ装置である。なお、ＬＣＤ２０５は、ＰＣ１の外部に配置されていてもよい。つまり、ＰＣ１は、ディスプレイ装置を備えていなくてもよい。ＮＢ（Ｎｅｔｗｏｒｋ Ｂｏａｒｄ）２０７は、ネットワークに接続するための拡張ボードである。

図３は、ＰＣ１のソフトウェアモジュール構成を示す図である。即ち、ＰＣ１は、図３に示すように、モジュール３０１〜３０９を含む。モジュール３０１は、アプリケーションモジュールであり、例えば、フォトアルバム作成アプリ８０、Ｗｅｂブラウザアプリ１４３等を含んで構成される。なお、フォトアルバム作成アプリ８０は、図６および図８に記載するような表示制御処理を実行する。

モジュール３０２は、ＡＰＩ／ＤＤＩインターフェースであり、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｉｎｇ Ｉｎｔｅｒｆａｃｅ（ＡＰＩ）及びＤｅｖｉｃｅ Ｄｒｉｖｅｒ Ｉｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。モジュール３０３は、デバイスドライバ（Ｄｅｖｉｃｅ Ｄｒｉｖｅｒ）としてのモジュールである。モジュール３０３は、ＯＳに標準で同梱されている標準ドライバ群（Ｄｒｉｖｅｒｓ）３０４及びＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群（ＩＨＶ Ｄｒｉｖｅｒｓ）３０５を含む。

モジュール３０６は、ネットワークプラグアンドプレイ（Ｎｅｔｗｏｒｋ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）を制御するＰｎＰ−Ｘ制御モジュールである。なお、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８ ＯＳに標準搭載されている機能である「Ｐｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓ」の略称である。

モジュール３０７は、ネットワーク上のデバイス検索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御モジュールである。モジュール３０８は、ＩＰネットワーク（ＩＰ Ｎｅｔｗｏｒｋ）を制御するＩＰ Ｎｅｔｗｏｒｋ制御モジュールである。モジュール３０９は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御モジュールである。

図４は、ＰＣ１上で動作するフォトアルバム作成アプリ８０の画面の一例を示す図である。図４には、フォトアルバムを実際に編集する際にＬＣＤ２０５に表示されるユーザインターフェース（ＵＩ）が示されている。領域４０１は、フォトアルバム作成アプリの表示領域である。領域４０２は、フォトアルバムの各ページのサムネイル表示領域である。図４に示す例では、見開きごとのサムネイルがサムネイル表示領域４０２に表示されている。領域４０３は、フォトアルバム表示領域である。サムネイル表示領域４０２において、ユーザが所望のサムネイルを選択すると、選択したサムネイルの周囲の領域（図４に示す領域４０４）が強調表示され、当該サムネイルに対応する見開きページが選択状態になる。すなわち、図４では、見開きページ（３−４ページ）が選択状態である。選択されたサムネイルに対応するページ（図４では３−４ページ）がフォトアルバム表示領域４０３に表示される。フォトアルバム表示領域４０３に表示されたページに対して、ユーザは編集操作を行うことができる。図３に示すフォトアルバム表示領域４０３には、４つの写真スロット４０５と、１つのテキストスロット（以降、テキスト表示エリアと呼ぶ）４０６とが配置されている。フォトアルバム作成アプリ８０は、写真スロット４０５やテキスト表示エリア４０６を含むテンプレートを自動で選択し、各写真スロットに画像を自動でレイアウトする。また、写真スロット４０５に自動でレイアウトされた画像をユーザの指示に従って別の画像に入れ替えることが可能である。また、テキスト表示エリア４０６のレイアウトは、ユーザによって編集することができる。つまり、ユーザは、図４の画面においてテキスト表示エリア４０６の位置やサイズを変更することができる。なお、テキスト表示エリア４０６には、任意のテキストを設定することができる。すなわち、テキスト表示エリア４０６は、任意のテキストを表示可能である。ボタン４０７は、編集したフォトアルバムをカートに入れるためのボタンである。ボタン４０７を押すことにより、編集したフォトアルバムがインターネット経由でショッピングサイト１１のショッピングカートにアップロードされる。

図５は、拡大鏡とソフトキーボードとの表示位置の関係を説明するための図である。図５には、ユーザがフォトアルバムにテキストを入力する際の様子が示されている。図５（ａ）では、サムネイル表示領域４０２で３−４ページが選択されていて、フォトアルバム表示領域４０３に３−４ページが表示されている。３−４ページには、写真スロット５１１，５１２が配置されていて、写真スロット５１１には写真Ａが、写真スロット５１２には写真Ｂがそれぞれ割り当てられている。また、３−４ページにはテキスト表示エリア５１０が配置されている。テキスト表示エリア５１０は、テキストボックスであり、“Ｍｙ Ａｌｂｕｍ”というテキストが既に設定されている。ユーザがテキスト表示エリア５１０を選択することにより、図５（ｂ）に示すようなに、テキスト入力ダイアログ５２０が表示される。テキスト入力ダイアログ５２０には、テキスト入力エリア（テキスト編集エリア、テキストボックスとも呼ぶ）５２１と、メニュー項目５２２〜５２４とが配置されている。テキスト入力エリア５２１は、テキストボックスであり、当該テキストボックス内にはテキスト表示エリア５１０に設定されているテキスト（ここでは“Ｍｙ Ａｌｂｕｍ”）が表示される。テキスト入力エリア５２１内のキャレット５２５は、テキストの入力位置を示すオブジェクトである。テキスト入力エリア５２１をクリックまたはタップしてフォーカスを合わせることで、テキスト入力エリア５２１においてテキストの入力およびテキストの編集が可能となる。スマホやタブレットのようにキーボードが接続されていない端末では、テキスト入力エリア５２１にフォーカスが当てられると、後述するようにソフトキーボード５３０が表示される。

メニュー項目５２２では、文字サイズを設定することができる。図５（ｂ）に示す例では、文字サイズを、「小」、「中」、及び「大」の３つの中から選択することができる。図５（ｂ）に示す例では、文字サイズとして「大」が選択されている。メニュー項目５２３では、テキストの配置を設定することができる。具体的には、テキスト表示エリア５１０内においてテキストをどのように配置するかを設定できる。図５（ｂ）に示す例では、テキストの配置を、「左寄せ」、「中央寄せ」、及び「右寄せ」の中から選択することができる。図５（ｂ）に示す例では、テキストの配置が「左寄せ」に選択されている。メニュー項目５２４では、文字色を設定することができる。メニュー項目５２４の領域５２６は、現在設定されている文字色で塗りつぶされる。領域５２６をクリックまたはタップすると、設定可能な文字色のパレットが表示される。そして、ユーザはパレットの中から所望の文字色を選択する。テキスト入力ダイアログ５２０には、さらに、ＯＫボタン５２７とキャンセル（Ｃａｎｃｅｌ）ボタン５２８とが配置されている。ＯＫボタン５２７が押されると、テキスト入力エリア５２１で入力および編集した内容、及びメニュー項目５２２〜５２４で設定した内容がテキスト表示エリア５１０に反映され、テキスト入力ダイアログ５２０が閉じる。キャンセルボタン５２８が押された場合には、テキスト入力エリア５２１で入力および編集した内容、及びメニュー項目５２２〜５２４で設定した内容がテキスト表示エリア５１０に反映されずに、テキスト入力ダイアログ５２０が閉じる。

図５（ｂ）においてテキスト入力エリア５２１にフォーカスが当てられると、図５（ｃ）に示すように、ソフトキーボード５３０が表示される。本実施形態では、フォトアルバム作成アプリ８０は、ソフトキーボード５３０を表示する段階で、図５（ｃ）に示すようにテキスト入力ダイアログ５２０の表示位置を図５（ｂ）に比べて下方（図５における下方）に移動させる。このように表示位置を変える理由は、拡大鏡５４０が表示されたときに、拡大鏡５４０がＬＣＤ２０５の表示パネルの外側にはみ出てしまうことを防ぐためである。拡大鏡５４０は通常、長押ししたテキスト部分の上方に表示され、その表示位置を調整することができない。そのため、テキスト入力エリア５２１が図５（ｂ）に示すように表示パネルの上端に位置している状態において拡大鏡５４０を表示すると、拡大鏡５４０が表示パネルからはみ出してしまう場合がある。そこで、本実施形態では、図５（ｃ）に示すようにテキスト入力ダイアログ５２０の表示位置を下方に移動させている。それにより、拡大鏡５４０が、図５（ｄ）に示すように、視認可能な領域に表示されるようになる。

図６は、テキスト入力エリア５２１にフォーカスが当てられたときのフォトアルバム作成アプリ８０の第１実施形態における動作を示すフローチャートである。なお、「フォトアルバム作成アプリが処理を行う」などの表現を用いるが、具体的には、ＰＣ１のＣＰＵ２０４がフォトアルバム作成アプリに従って処理を実行することで各ステップが実行される。なお、図６の処理は、テキスト入力ダイアログ５２０が図５（ｂ）のように表示領域の所定の位置に表示された後に実行される。

まず、フォトアルバム作成アプリ８０は、テキスト入力エリア５２１にフォーカスが当てられたか否かを判定する（ステップＳ６０１）。ステップＳ６０１の処理は、ユーザがテキスト入力エリア５２１を操作（例えば、タッチ操作またはクリック操作）したか否かの判定を定期的または間欠的に繰り返すことで実行される。なお、フォーカスが当てられた場合とは、テキスト入力エリアが操作対象となったと言い換えることもできる。テキスト入力エリア５２１にフォーカスが当てられた場合（ステップＳ６０１のＹＥＳ）、処理はステップＳ６０２に進む。テキスト入力エリア５２１にフォーカスが当てられていない場合（ステップＳ６０１のＮＯ）、処理は終了する。

ステップＳ６０２で、フォトアルバム作成アプリ８０は、テキスト用オブジェクト（ここでは、図５に示す拡大鏡５４０）が適切に表示されるか否かを判定する。適切に表示されるとは、ここでは視認可能な領域に表示されることである。テキスト用オブジェクトが適切に表示されるか否かは、テキスト用オブジェクトの全体が表示パネル外にはみ出るか否かで判定すればよい。例えば、拡大鏡５４０の最下端のＹ座標（図５において垂直方向の座標）と、表示パネル上端におけるＹ座標とを比較する。そして、拡大鏡５４０の最下端のＹ座標が表示パネル上端よりも上に配置されることを示す場合、拡大鏡５４０の全体が表示パネル外にはみ出ると判定される。なお、テキスト用オブジェクトが適切に表示されるか否かを、テキスト用オブジェクトの一部が表示パネル外にはみ出るか否かで判定してもよい。例えば、拡大鏡５４０の最上端のＹ座標（図５において垂直方向の座標）と、表示パネル上端におけるＹ座標とを比較する。そして、拡大鏡５４０の最下端のＹ座標が表示パネル上端よりも上に配置されることを示す場合、拡大鏡５４０の一部が表示パネル外にはみ出ると判定される。また、テキスト用オブジェクトが表示パネル外にはみ出るか否かで判定する代わりに、テキスト用オブジェクトがフォトアルバム作成アプリ８０の表示領域４０１外にはみ出るか否かなどで判定してもよい。テキスト用オブジェクトが適切に表示されると判定された場合（ステップＳ６０２のＹＥＳ）、処理はステップＳ６０３に進む。適切に表示されないと判定された場合（ステップＳ６０２のＮＯ）、処理はステップＳ６０４に進む。

ステップＳ６０３で、フォトアルバム作成アプリ８０は、テキスト用オブジェクトが適切に表示される位置にテキスト入力ダイアログ５２０の位置を再設定する。具体的には、図５（ｂ）のように所定の位置に表示されたテキスト入力ダイアログを図５（ｃ）で示すように、テキスト入力ダイアログ５２０の表示位置を下方に移動するなどの位置設定が行われる。テキスト入力ダイアログ５２０の表示位置が再設定されると、処理はステップＳ６０４に進む。なお、本実施形態では、テキストが操作された場合、拡大鏡がテキストの上側に表示されるためテキスト入力ダイアログ５２０を下方に移動する例を説明した。しかしながら、拡大鏡が表示される位置によってテキスト入力ダイアログ５２０の移動方向が変わっても良い。つまり、テキストが操作された場合に拡大鏡がテキストの左側に表示される場合、テキスト入力ダイアログ５２０は、テキスト入力エリアにフォーカスが当たったと判定されることで右側に移動される。

ステップＳ６０４で、フォトアルバム作成アプリ８０は、ソフトキーボード５３０を表示する。

さらに図６ではＳ６０１およびＳ６０２においてＹｅｓと判定された場合にＳ６０３を行っているが、Ｓ６０１においてＹｅｓと判定された場合に、Ｓ６０２の判定をすることなくＳ６０３が実行されても良い。つまり、テキストボックスに対する操作に応じてテキストボックスが操作対象となった場合、テキスト用オブジェクトの少なくとも一部が隠れないようにテキスト入力ダイアログ５２０の表示位置が移動されても良い。

また、Ｓ６０３およびＳ６０４が実行された後の処理について説明する。Ｓ６０３およびＳ６０４の後に再度Ｓ６０１の判定が行われる。そして、Ｓ６０１においてＮｏと判定された場合（つまり、テキストボックスに対する操作が完了した場合）、フォトアルバム作成アプリ８０は、テキスト入力ダイアログ５２０の表示位置を初期の表示位置に戻しても良い。

以上のように、本実施形態では、ＯＳの機能によって表示される拡大鏡が表示パネル内に表示されるように、テキスト入力ダイアログの表示位置を調整する。それにより、テキスト入力エリア内のいずれの場所で長押し操作が行われた場合でも、拡大鏡の少なくとも一部を表示パネル内に表示させることが可能となる。したがって、本実施形態によれば、ユーザが視認可能な領域に拡大鏡を表示させることができる。

よって、アプリケーションのユーザインターフェース上で行われるテキスト編集時のユーザビリティを向上させることができる。

［第２実施形態］
スマホやタブレットなどでは、表示パネルに表示されているテキストの一部または全てがユーザによって選択されると、ＯＳの機能によって、選択範囲の始点と終点とにつまみ（インジケータとも呼ぶ）が表示される場合がある。つまみは、テキストが選択されたときに表示されるテキスト用オブジェクトであって、ユーザがテキストの選択範囲を指定するときなどに用いられる。本実施形態では、つまみを表示する機能を有するＯＳが搭載されたスマホやタブレットで、フォトアルバム作成アプリを動作させる場合について説明する。なお、第２の実施形態におけるＰＣ１の構成は、第１の実施形態と同様であるため説明を省略する。

上述したように、物理的なキーボードが接続されていないスマホやタブレットなどでは、ユーザがテキストを入力しようとして、テキスト入力ダイアログ内のテキスト入力エリアにフォーカスを当てると、表示パネルの下側からソフトキーボードが表示される。もし、テキストを入力しようとしている位置にソフトキーボードが重なると、入力しようとしているテキストがソフトキーボードで隠れてしまう。そのため、テキストを入力している部分が見えるようにユーザインターフェース全体を上方に移動させる方法が提案されている。しかし、テキストを入力している部分が見えるようにユーザインターフェース全体を上方に移動させても、つまみのようにテキストの下に表示されるテキスト用オブジェクトが、ソフトキーボードで隠れてしまうことがあった。そこで、本実施形態におけるフォトアルバム作成アプリ８０は、つまみを考慮して、ユーザインターフェース全体を上方に移動させる。

図７は、つまみとソフトキーボードとの表示位置の関係を説明するための図である。図７には、ユーザがフォトアルバムにテキストを入力する際の様子が示されている。なお、ここでは、フォトアルバム作成アプリ８０が、図７（ｂ）に示すような吹き出し形式のテキスト入力ダイアログ７２０を表示する場合を例にする。吹き出し形式のテキスト入力ダイアログ７２０のテキスト入力エリア７２１にテキストが入力されると、入力されたテキストがリアルタイムにテキスト表示エリア５１０に反映される。このようにテキスト入力エリア７２１に入力された内容をテキスト表示エリア５１０にリアルタイムに反映させることで、ユーザは、実際のフォトアルバムでどのようにテキストが表示されるかを確認しながら、テキスト編集を行うことが可能となる。

図７（ｂ）に示す状態においてテキスト入力エリア７２１にフォーカスが当てられると、図７（ｃ）に示すようにソフトキーボード５３０が表示される。その際、ソフトキーボード５３０の表示位置によっては、テキストを入力している部分がソフトキーボード５３０で隠れてしまう可能性がある。そこで、フォトアルバム作成アプリ８０は、ソフトキーボード５３０を表示する際に、図７（ｃ）に示すようにユーザインターフェース全体を上方（図７（ｃ）における上方）に遷移させる。図７（ｃ）では、サムネイル表示領域４０２やフォトアルバム表示領域４０３が、図７（ｂ）に比べて上方に表示されていることが分かる。また、本実施形態では、上述したように、フォトアルバム作成アプリ８０は、入力中のテキストだけでなくつまみ７０１も、ソフトキーボード５１４に隠れないように、ユーザインターフェースの位置を制御する。具体的には、フォトアルバム作成アプリ８０は、テキスト入力エリア７２１の下端とソフトキーボード５３０の上端との間に、つまみ７０１の高さ（図７（ｃ）における垂直方向の長さ）を考慮した隙間を設けるようにする。このように、つまみ７０１の高さを考慮することで、例えば、ユーザがテキスト入力エリア７２１の下端にあるつまみ７０１を１段下げたとしても、つまみがソフトキーボードに重なることを軽減できる。また、テキスト入力エリア７２１の最下部に表示されている文字が選択範囲の始点または終点に指定された場合でも、つまみ７０１が、ソフトキーボード５３０が重ならずユーザは容易に操作可能となる。つまみ７０１は、テキスト編集において重要な役割を果たす。したがって、上記のように、入力中のテキストだけでなくつまみ７０１も、ソフトキーボード５３０に隠れないように制御することで、テキスト編集時のユーザビリティを向上させることができる。

図８は、テキスト入力エリア７２１にフォーカスが当てられたときのフォトアルバム作成アプリ８０の第２実施形態における動作を示すフローチャートである。なお、図８の処理は、テキスト入力ダイアログ７２０が図７（ｂ）のように表示領域の所定の位置に表示された後に実行される。まず、フォトアルバム作成アプリ８０は、テキスト入力エリア７２１にフォーカスが当てられたか否かを判定する（ステップＳ８０１）。ステップＳ８０１の処理は、ユーザがテキスト入力エリアを操作（例えば、タッチ操作またはクリック操作）したか否かの判定を定期的または間欠的に繰り返すことで実行される。テキスト入力エリア７２１にフォーカスが当てられた場合（ステップＳ８０１のＹＥＳ）、処理はステップＳ８０２に進む。テキスト入力エリア７２１にフォーカスが当てられていない場合（ステップＳ８０１のＮＯ）、処理は終了する。

ステップＳ８０２で、フォトアルバム作成アプリ８０は、ソフトキーボード５３０を表示すると、ソフトキーボード５３０がテキスト用オブジェクト（ここでは、つまみ７０１）に重なるか否かを判定する。例えば、テキスト入力エリア７２１の下端の座標とソフトキーボード５３０の上端の座標とを比較する。そして、テキスト入力エリア７２１の下端とソフトキーボード５３０の上端との間に、テキスト用オブジェクトの高さ以上の隙間がない場合に、ソフトキーボード５３０とテキスト用オブジェクトとが重なると判定する。
重なると判定された場合（ステップＳ８０２のＹＥＳ）、処理はステップＳ８０３に進む。重ならないと判定された場合（ステップＳ８０２のＮＯ）、処理はステップＳ８０４に進む。

ステップＳ８０３で、フォトアルバム作成アプリ８０は、ソフトキーボード５３０とテキスト用オブジェクトとが重ならないように、ユーザインターフェースの表示位置を変更する。例えば、テキスト入力エリア７２１の下端とソフトキーボード５３０の上端との間に、テキスト用オブジェクトの高さ以上の隙間ができるように、テキスト入力エリア７２１の表示位置を変更する。それにより、ソフトキーボード５３０の表示領域以外の領域にテキスト用オブジェクトを表示させることができる。ユーザインターフェースの表示位置が変更されると、処理はステップＳ８０４に進む。

ステップＳ８０４で、フォトアルバム作成アプリ８０は、ソフトキーボード５３０を表示する。

さらに図８ではＳ８０１およびＳ８０２においてＹｅｓと判定された場合にＳ８０３を行っているが、Ｓ８０１においてＹｅｓと判定された場合に、Ｓ８０２の判定をすることなくＳ８０３が実行されても良い。

また、Ｓ８０３の後に再度Ｓ８０１の処理が実行され、Ｓ８０１においてＮｏと判定された場合、フォトアルバム作成アプリ８０は、テキスト入力ダイアログ７２０の表示位置を初期の表示位置に戻しても良い。

以上のように、本実施形態では、ソフトキーボードが表示された場合でも、テキスト選択が行われた際にＯＳの機能によって表示されるつまみが、ソフトキーボードに隠れないように、ユーザインターフェースの表示位置を調整する。それにより、ソフトキーボードが表示されている状態でも、ユーザは、テキスト選択を適切に行うことが可能となる。したがって、本実施形態によれば、アプリケーションのユーザインターフェース上で行われるテキスト編集時のユーザビリティを向上させることができる。

なお、本実施形態では、サブダイアログ（テキスト入力ダイアログ７２０）だけでなく、メインダイアログ（図４に示すフォトアルバム作成アプリの画面のうちタイトルバーを除く部分、すなわち領域４０２以下の部分）の表示位置も変更している。しかし、第１実施形態と同様に、テキスト入力ダイアログのみを移動するようにしてもよい。また、第１の実施形態において、本実施形態と同様に、サブ画面とメイン画面とをともに表示パネルの上方に移動させるようにしてもよい。つまり、テキスト用オブジェクトを視認可能な領域に表示することができれば、ユーザインターフェースの表示位置はどのような態様で変更されてもよい。

また、本実施形態では、つまみのみを考慮してフォトアルバム作成アプリ８０のユーザインターフェースの表示位置を変更する処理について説明した。しかし、つまみとともに、第１実施形態で説明した拡大鏡も考慮して、フォトアルバム作成アプリ８０のユーザインターフェースの表示位置を変更するようにしてもよい。すなわち、第１実施形態と第２実施形態とを組み合わせて、フォトアルバム作成アプリ８０のユーザインターフェースの表示位置を変更するようにしてもよい。つまり、フォトアルバム作成アプリ８０は、拡大鏡が表示パネル外にはみ出ない範囲であり、かつ、つまみがソフトキーボードに重ならない範囲に、ユーザインターフェースを表示する。一方、両者の条件を満たせない場合は、どちらかを優先する。つまり、つまみを考慮してユーザインターフェースを上方に移動させると、拡大鏡が表示パネル外にはみ出てしまう場合には、拡大鏡が表示パネル内に収まる範囲で、ユーザインターフェースを移動させるようにしてもよい。また例えば、拡大鏡を考慮してユーザインターフェースを下方に移動させると、つまみがソフトキーボードに隠れてしまう場合には、つまみがソフトキーボードに重ならない位置まで、ユーザインターフェースを移動させるようにしてもよい。

また、本実施形態では、フォトアルバム作成アプリ８０が、吹き出し形式のテキスト入力ダイアログ７２０を表示する場合を例にした。しかし、第１実施形態と同様に、テキスト表示エリア５１０が選択されたときにテキスト入力ダイアログ５２０を表示するようにしてもよい。また、第１の実施形態において、本実施形態と同様に、吹き出し形式のテキスト入力ダイアログ７２０を表示するようにしてもよい。

［第三の実施形態］
図７（ｃ）に示す例では、つまみ７０１は、ソフトキーボード５３０に隠れることなく表示されているが、テキスト表示エリア５１０は、ソフトキーボード５３０に隠れてしまっている。そのような場合、ユーザは、吹き出し形式のテキスト入力ダイアログ７２０でテキストを編集しながら、リアルタイムにテキスト表示エリア５１０の内容を確認することができなくなる。そこで、本実施形態におけるフォトアルバム作成アプリ８０は、ユーザインターフェースを上方に移動させる際、テキスト表示エリア５１０がソフトキーボードに隠れないようにユーザインターフェースをさらに上方に移動させる。

なお、本実施形態におけるＰＣ１の構成は、第１及び第２の実施形態と同様であるため説明を省略する。また、本実施形態におけるＰＣ１の動作は、第２の実施形態と同様である。ただし、ステップＳ８０３の処理が異なる。以下、本実施形態におけるステップＳ８０３の処理を説明する。

図９は、フォトアルバム作成アプリ８０のテキスト表示エリアとソフトキーボードとの表示位置の関係を説明するための図である。図９には、ユーザがフォトアルバムにテキストを入力する際の様子が示されている。なお、図９（ａ）（ｂ）は、それぞれ図７（ａ）（ｂ）と同様である。

ステップＳ８０３の処理において、フォトアルバム作成アプリ８０は、図９（ｃ）に示すように、テキスト表示エリア５１０がソフトキーボード５３０に隠れないように、ユーザインターフェースを図７（ｃ）に示す状態よりもさらに上方に移動させる。したがって、図７（ｃ）ではテキスト表示エリア５１０が隠れているが、図９（ｃ）ではテキスト表示エリア５１０が見えている。これにより、ソフトキーボード５３０が表示された状態でも、ユーザは、テキスト編集中にリアルタイムに更新されるテキスト表示エリア５１０の内容を確認することが可能となる。

なお、図９（ｂ）においてユーザインターフェース全体を上方に移動させてしまうと、テキスト入力エリア７２１が表示パネル外にはみ出る可能性がある。したがって、図９（ｃ）に示すように、フォトアルバム作成アプリ８０は、ユーザインターフェース全体を上方に移動させる際、テキスト入力エリア７２１が表示パネル外にはみ出さないように、テキスト入力ダイアログ７２０の表示位置を調整する。また、拡大鏡が表示される可能性がある場合には、フォトアルバム作成アプリ８０は、第1実施形態と同様に、拡大鏡も考慮してテキスト入力ダイアログ７２０の表示位置を調整すればよい。

以上のように、本実施形態によれば、吹き出し形式のテキスト入力ダイアログでテキストを編集している際にソフトキーボードが表示された場合でも、テキスト表示エリア５１０の内容をリアルタイムに確認することが可能となる。したがって、吹き出し形式のテキスト入力ダイアログ上で行われるテキスト編集時のユーザビリティをさらに向上させることができる。

なお、上述した各実施形態では、ソフトキーボードを表示する際にユーザインターフェースの表示位置を制御している。しかし、ユーザインターフェースの表示位置を制御するタイミングは、テキスト表示エリアが選択されたときなど、他のタイミングであってもよい。

（その他の実施例）
実施形態１および２では、テキスト用オブジェクトとして拡大鏡とつまみを例に挙げて説明したが、もちろん拡大鏡およびつまみ以外のオブジェクトを適切に表示するために本願の処理が実行されても良い。例えば、テキストをコピーするためのコピーオブジェクトやテキストを切り取るための切り取りオブジェクトを表示する際に本願の処理が実施されても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (17)

1. テキストを拡大して表示させるためのテキスト用オブジェクトを、前記テキストが操作されることに従って新たに表示可能な情報処理装置であって、
   テキストボックスを有する画面を表示領域の所定の位置に表示させる表示制御手段と、
   前記テキストボックスに対する操作に応じて前記テキストボックスが操作対象となった場合、前記テキスト用オブジェクトの少なくとも一部が隠れないように前記テキストボックスを有する画面の表示位置を前記所定の位置から移動する移動手段と、を備えた
   ことを特徴とする情報処理装置。
2. 前記テキスト用オブジェクトが前記表示領域の外にはみ出るか否かを判定する判定手段を更に有し、
   前記テキスト用オブジェクトが前記表示領域の外にはみ出ると判定された場合、前記テキストボックスを有する画面の表示位置が変更されることを特徴とする請求項１に記載の情報処理装置。
3. 前記テキスト用オブジェクトが、オペレーティングシステムの機能によって表示される拡大鏡であることを特徴とする
   請求項１または２に記載の情報処理装置。
4. 前記テキストボックスに対する操作が完了したと判定された場合、前記テキストボックスを有する画面を前記移動された後の位置から前記所定の位置に戻すことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. テキストを選択するためのテキスト用オブジェクトを、前記テキストが操作されることに従って新たに表示可能な情報処理装置であって、
   テキストボックスを有する画面を表示領域の所定の位置に表示させる表示制御手段と、
   前記テキストボックスに対する操作に応じてソフトキーボードが表示される場合、前記テキスト用オブジェクトと前記ソフトキーボードが重ならないように前記テキストボックスを有する画面の表示位置を前記所定の位置から移動する移動手段と、を備えた
   ことを特徴とする情報処理装置。
6. 前記テキスト用オブジェクトと前記ソフトキーボードが重なるか否かを判定する判定手段を更に有し、
   前記テキスト用オブジェクトが前記ソフトキーボードに重なると判定された場合、前記テキストボックスを有する画面の表示位置が変更されることを特徴とする請求項５に記載の情報処理装置。
7. 前記テキスト用オブジェクトは、テキストの選択範囲の始点および終点に表示されるインジケータであることを特徴とする
   請求項５または６に記載の情報処理装置。
8. 前記テキストボックスは、テキストが入力される領域である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. テキストを拡大して表示させるためのテキスト用オブジェクトを、前記テキストが操作されることに従って新たに表示可能な情報処理装置における情報処理方法であって、
   テキストボックスを有する画面を表示領域の所定の位置に表示させる表示制御ステップと、
   前記テキストボックスに対する操作に応じて前記テキストボックスが操作対象となった場合、前記テキスト用オブジェクトの少なくとも一部が隠れないように前記テキストボックスを有する画面の表示位置を前記所定の位置から移動する移動ステップと、を含む
   ことを特徴とする情報処理方法。
10. 前記テキスト用オブジェクトが前記表示領域の外にはみ出るか否かを判定する判定ステップを更に含み、
    前記テキスト用オブジェクトが前記表示領域の外にはみ出ると判定された場合、前記テキストボックスを有する画面の表示位置が変更されることを特徴とする請求項９に記載の情報処理方法。
11. 前記テキスト用オブジェクトが、オペレーティングシステムの機能によって表示される拡大鏡であることを特徴とする請求項９または１０に記載の情報処理方法。
12. 前記テキストボックスに対する操作が完了したと判定された場合、前記テキストボックスを有する画面を前記移動された後の位置から前記所定の位置に戻すことを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理方法。
13. テキストを選択するためのテキスト用オブジェクトを、前記テキストが操作されることに従って新たに表示可能な情報処理装置における情報処理方法であって、
    テキストボックスを有する画面を表示領域の所定の位置に表示させる表示制御ステップと、
    前記テキストボックスに対する操作に応じてソフトキーボードが表示される場合、前記テキスト用オブジェクトと前記ソフトキーボードが重ならないように前記テキストボックスを有する画面の表示位置を前記所定の位置から移動する移動ステップと、を含む
    ことを特徴とする情報処理方法。
14. 前記テキスト用オブジェクトと前記ソフトキーボードが重なるか否かを判定する判定ステップを更に含み、
    前記テキスト用オブジェクトが前記ソフトキーボードに重なると判定された場合、前記テキストボックスを有する画面の表示位置が変更されることを特徴とする請求項１３に記載の情報処理方法。
15. 前記テキスト用オブジェクトは、テキストの選択範囲の始点および終点に表示されるインジケータであることを特徴とする
    請求項１３または１４に記載の情報処理方法。
16. 前記テキストボックスは、テキストが入力される領域である
    ことを特徴とする請求項９乃至１４のいずれか１項に記載の情報処理方法。
17. コンピュータを、請求項１から請求項８のうちのいずれか１項に記載の情報処理装置として機能させるためのプログラム。