JP5645530B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、表示オブジェクトに対する操作性を向上する技術に関する。

電子化されたドキュメントを大型のテーブル・ディスプレイや壁面ディスプレイに表示し、表示されたドキュメントをインタラクティブに操作可能にすることで、アイディアの整理や議論の活性化を支援するシステムが注目されている。このようなシステムでは、ディスプレイにタッチパネルやデジタイザなどが組み込まれており、画面上に表示されたドキュメント（以下、オブジェクト）をタッチ操作するといった、直感的なオブジェクト操作が可能である。一般的にタッチパネルを利用した操作は、情報機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機など多くの情報機器で利用されるようになっている。

これらタッチパネル式の情報処理装置は、誰でも簡単に目的のオブジェクトをタッチ操作で選択できるが、オブジェクトのグループ化（以下、グルーピング）といった複数オブジェクトに対する操作を伴う作業では操作性が低下してしまう。

一般的にタッチ操作でグルーピングを行う場合、１つずつオブジェクトを選んでグルーピングするか、手書きジェスチャを利用して円などの図形を描いてオブジェクトを囲み、囲まれたオブジェクトをグルーピングするといった手段が考えられる。しかし、１つずつオブジェクトを選んでグルーピングするのは煩わしい。また、多くのオブジェクトが表示されている場合にオブジェクトを囲んでグルーピングを行おうとすれば、関係のないオブジェクトもグルーピングされてしまう可能性が高い。

他にも、オブジェクトに付加された情報を元に自動でグルーピングを行う手段がある。この場合のグルーピングは、一般的にボタンの押下といったアクションに伴って画面全体をグルーピング表示に表示切替えするため、グルーピングする度に表示切替え操作が必要となり煩わしい。また、画面全体をグルーピング表示に切替えるため、注目しているオブジェクトのみを対象にグルーピングするといった操作ができない。

このような課題を解決するため、特許文献１は、表示画面上の任意の位置に表示されたボタンを押下することによって、注目するオブジェクトのみを対象にしたグルーピング表示処理を行う。

特開２００８‐２９９８１８号公報

しかし特許文献１では、表示切替えのためのボタンの表示と押下が必要となる。また、表されているオブジェクトを、いくつかのグループレベルの中から選択したグループレベルでグルーピングして表示することが難しい。特許文献１の技術で複数のグループレベルでグルーピングを行おうとすれば、複数のボタンを表示する（無駄な表示領域の使用）、もしくは複数回ボタンを押下するといった煩わしい操作が必要になる。

本発明は上記課題を考慮してなされたもので、簡単なジェスチャ操作によって、表示オブジェクトを、所望のグループレベルのグループに容易にグルーピングできることを目的とする。

上記課題を解決するために、本発明の情報処理装置は、表示面に表示されている複数のオブジェクトから、ユーザ操作により指示されたオブジェクトを選択する選択手段と、前記操作を行う物体と前記表示面との間の距離に基づく操作距離を取得する距離取得手段と、前記選択手段によって選択されたオブジェクトが属するグループのうち、前記距離取得手段によって取得された操作距離に対応付けられたグループレベルを特定し、前記複数のオブジェクトのうち、当該特定されたグループレベルのグループに属するオブジェクトを、前記選択されたオブジェクト付近に集合させる表示制御手段を有することを特徴とする。

本発明によれば、簡単なジェスチャ操作によって、表示オブジェクトを、所望のグループ毎に集合させることができる。

情報処理装置のシステム概要図。 情報処理装置のハードウェア構成図。 情報処理装置の機能ブロック図。 グルーピング処理の説明図。 情報処理装置の処理を示すメインフローチャート。 初期画面表示処理のフローチャート。 グループレベル選択処理のフローチャート。 画面に表示されるオブジェクトの具体例を示す図（ＵＩ画面例）。 遠隔操作距離算出方法を示す図。 対応付けのテーブルを示す図。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。

［第１の実施形態］
図１（Ａ）は、本実施形態におけるシステム概要図である。テーブル型ディスプレイ（以下、ディスプレイ１０１）、壁面型ディスプレイ１０２を利用して、アイディアの整理や議論をインタラクティブに行うためのシステムである。参加者Ａ、Ｂは表示部であるディスプレイ（１０１、１０２）に表示されたオブジェクト（１０３ａ〜１０３ｅ）を指や手を使ってタッチ操作、もしくはジェスチャ操作することで選択・操作できる。

図１（Ｂ）は、下方と側方の両方向に投影可能なプロジェクタ１０４を利用してディスプレイ１０１、壁面型ディスプレイ１０２の両方にオブジェクトを投影するシステム１００１の例である。また、オブジェクトに対するジェスチャ操作を認識するためのセンサとして距離センサ１０５を利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。図１（Ｂ）では、２つの表示部と一つの距離センサを利用する例を示したが、その限りではない。表示部は１つでも良く、プロジェクタ１０４のような投影型表示部ではなく、図１（Ｃ）に示したような、タッチパネルが組み込まれた大型ディスプレイをテーブルもしくは壁面に設置して利用してもよい。また、センサも距離情報を算出可能なセンサとして、複数の近接センサや超音波センサを利用してもよい。また画像の解析結果から距離情報を算出することも可能である。

図２は本実施形態における、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、本発明はこれらのインターフェースだけに限らない。タッチパネルＩ／ＦやメモリーカードＩ／Ｆなどのインターフェースを含み、それを利用して情報処理装置を実現しても構わない。

以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。

ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して情報処理装置１００全体の制御を行う。ここでは図示されていないが、オペレーティングシステム（以下ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。

ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能なデータ形式とストレージ２０６に記憶するためのデータ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離センサ１０５からの距離情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。

ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトのデータが膨大に格納されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、ＵＳＢ、メモリーカードＩ／Ｆなどの各種インターフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。尚、以下特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。

図３（Ａ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、オブジェクト選択部３００、グループ情報生成部３０１、オブジェクト取得部３０２、表示制御部３０３、グループ選択部３０４、距離取得部３０５、ジェスチャ認識部３０８、保持部３０９から構成される。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。

本実施形態では、ストレージ２０６に記憶されているデータ（オブジェクト）は主にマルチメディアデータであり、映像や静止画、音声データ、各種電子化ドキュメントである。以降これらデータをオブジェクトと記述する。これらオブジェクトには作成日時情報や編集日時情報、場所情報、人物情報など、グループ情報を生成するために必要な付加情報が付与されているものとする。しかし、本実施形態はこれらの付加情報に限定して利用されるものではない。例えば、グループ情報を生成するための付加情報がない場合は、オブジェクトを読み込んだ後、各オブジェクトの名前（アルファベット）を基にグループ情報を生成してもよい。またオブジェクトが表示されている位置情報を基に、グループ情報を生成してもよい。

情報処理装置１００が起動すると、オブジェクト取得部３０２は表示するオブジェクトと付加情報をストレージ２０６から読み出す。読み出したオブジェクト及び付加情報はＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。

グループ情報生成部３０１は、ＲＡＭ２０１に保持されているオブジェクトの付加情報から、オブジェクト毎に、複数のグループレベルのグループ情報を生成し、保持する。本実施形態では、オブジェクトに付加されている日付情報から、グループ情報を生成するものとし、グループレベルを、「日」「月」「年」の３つとする。グループ情報は、オブジェクト毎に生成され、かつ、それぞれのグループレベルにおいてどのグループに属するかを示す情報が生成される。例えば、「２００９年７月３０日」という日付情報を有するオブジェクトの場合、日グループでは、「２００９年７月３０日」、月グループでは、「２００９年７月」、年グループでは、「２００９年」といったグループ情報が生成される。

表示制御部３０３は、ＲＡＭ２０１に保持されているオブジェクトから表示画面を生成しディスプレイ１０１に出力する。表示制御部３０３で作成される表示画面の一例を図４の４００に示す。図４では、４０１ａ、４０１ｂ、４０１ｃがディスプレイ１０１に表示出力されたオブジェクトを示している。

情報処理装置１００に対する操作は、手や指などの物体を使いジェスチャ操作（遠隔操作指示）することによって行う。以下では、物体の一例である手を用いて説明する。

オブジェクトが表示部（ディスプレイ１０１）に表示されている状態で、距離取得部３０５が、物体を検出すると、オブジェクト選択部３００がオブジェクトの選択を開始する。オブジェクト選択部３００は、物体の検出位置とオブジェクトの表示位置情報を基にオブジェクトを選択する。距離取得部３０５は、物体を検出し、物体から表示画面までの遠隔操作距離を算出する。そして算出した遠隔操作距離をグループ選択部３０４に入力する。保持部３０９は、グループレベルと操作距離との対応つけを示すテーブルを保持している。

グループ選択部３０４は、グループ情報生成部３０１で生成したグループ情報と距離取得部３０５で取得した遠隔操作距離と保持部３０９のテーブルに基づいて、グループレベルを選択する。ジェスチャ認識部３０８は、距離センサを用いて、物体である手が行う動作が、予め定められたジェスチャかどうかを認識する。本実施形態では、選択、グルーピング、グループ選択の確定、データ表示終了を、それぞれ、ジェスチャを認識することによって実行するものとする。

図４（Ａ）は、本実施形態におけるグルーピング処理の説明図である。また図５は本実施形態における情報処理装置１００のデータ表示処理を示すフローチャートである。図４（Ａ）ならびに図５を用いて、本実施形態のデータ表示処理とグループレベル選択処理の詳細を説明する。

情報処理装置１００はデータ表示処理を開始すると、まずオブジェクト取得部３０２において、ストレージ２０６から、表示するオブジェクトとグループ情報を生成するために利用する付加情報を取得し、ＲＡＭ２０１に保持する（Ｓ１０）。次にグループ情報生成部３０１で、前記取得した付加情報からグループ情報を生成し、このグループ情報もＲＡＭ２０１に保持する（Ｓ１１）。

また本実施形態では、オブジェクト取得部３０２で取得したオブジェクトに付加されている付加情報からグループ情報を生成しているが、その限りではない。例えば、ストレージ２０６に格納されている全てのオブジェクトの付加情報を利用してグループ情報を生成しても構わない。

グループの生成処理が完了すると、初期画面表示処理（Ｓ１２）を実行する。

図６は初期画面表示処理（Ｓ１２）の処理フロー図である。初期画面表示処理は、ＲＡＭ２０１に保持されたオブジェクトとグループ情報から表示画面を作成する。表示制御部３０３は、オブジェクトをランダムに並べて表示画面を作成し（Ｓ２０）、作成した画面をディスプレイ１０１に表示出力する（Ｓ２１）。この時、ディスプレイ１０１に表示される初期画面の一例を図８（Ａ）の５００に示す。オブジェクト５０１をはじめ、計１２個のオブジェクトがランダムに表示されている。

以上の処理で初期画面表示処理（Ｓ１２）は完了し、呼び出し元にその結果がリターンされる。

図８（Ａ）の画面例５００が表示されている状態で、物体を使ってジェスチャ入力を行う。ここでは、物体の一例である手（図４の４０１）を用いて説明する。本実施形態におけるジェスチャ入力は表示画面４００上で手４０１を動かすことである。表示画面４００に対して水平にて手４０１を動かすことによってオブジェクトの選択ジェスチャを、表示画面４００に対して垂直に動かすことによってグルーピングジェスチャを入力できる。そのジェスチャ入力を距離取得部３０５によって検出・認識するとともに、手４０１の表示画面上での相対位置や遠隔操作距離（高さ）を算出する。本実施形態では、ジェスチャ入力を表示画面４００や手４０１よりも上部に取り付けられた距離センサ１０５を用いて、ジェスチャ認識部３０８で検出し、認識する。本実施形態では、ジェスチャ認識部３０８は、距離画像を２０フレームずつ解析することでジェスチャ認識を行うものとする。

初期画面表示処理（Ｓ１２）が終了すると、ジェスチャ認識部３０８は、オブジェクトの選択ジェスチャの認識を行う（Ｓ１３）。選択ジェスチャを認識しなかった場合（Ｓ１３、Ｎ）は、何も行わず、再びＳ１３の処理に移行し、選択ジェスチャ待ちのループとなる。選択ジェスチャを認識した場合（Ｓ１３、Ｙ）は、距離センサ１０５の情報から、表示画面４００に対する手４０１の相対位置を算出し、手４０１の相対位置と同じ位置に表示されているオブジェクトを選択する（Ｓ１４）。選択された状態のオブジェクトを図４（Ａ）（１）の４０２に示す。選択されたオブジェクトは選択されたことがユーザに認識されるよう強調表示を行う。手４０１の相対位置は、画面を表示するプロジェクタ１０４と距離センサ１０５を正しくキャリブレーションすれば、算出できる。

オブジェクトの選択（Ｓ１４）が終了すると、距離取得部３０５は、オブジェクトが選択されたときの遠隔操作距離ｚ１（表示画面４００と手４０１までの垂直距離）とその時刻ｔ１を取得し、ＲＡＭ２０１に保持する（Ｓ１５）。遠隔操作距離と時刻の取得が完了すると、グループレベル選択処理が開始される（Ｓ１６）。

ここで、本実施形態における具体的な遠隔操作距離の算出方法を図９に示す。まず距離センサ１０５から表示画面４００までの垂直距離Ｄｈ１を距離センサ１０５で取得する。そしてさらに、ジェスチャ操作を行う手の甲を認識し、距離センサ１０５から手の甲までの垂直距離Ｄｈ２を距離センサ１０５で取得する。本実施形態で算出する遠隔操作距離ｚは表示画面と手の垂直距離であり、ｚ＝Ｄｈ１−Ｄｈ２で算出できる。本実施形態では距離センサを利用して遠隔操作距離を算出したが、その限りではない。表示画面４００上に近接センサや超音波センサを設置して、センサの情報から遠隔操作距離を算出しても良い。

図７（Ａ）は、第１の実施形態のグループレベル選択処理（Ｓ１６）の処理フロー図である。グループレベル選択処理が開始されると、ジェスチャ認識部３０８は、グルーピングジェスチャの認識を行う（Ｓ３０）。グルーピングジェスチャを認識しなかった場合（Ｓ３０、Ｎ）は、何も行わず、グループレベル選択処理（Ｓ１６）は完了し、呼び出し元にその結果がリターンされる。グルーピングジェスチャを認識した場合（Ｓ３０、Ｙ）、距離取得部３０５は、距離センサ１０５の情報から、グルーピングジェスチャを認識したときの遠隔操作距離ｚ２を取得する（Ｓ３１）。取得方法は図９を用いて説明したｚ１の場合と同様である。距離取得部３０５は、ｚ２を取得したら、ＲＡＭ２０１からｚ１を読出し、遠隔操作距離の差分ｚ＝｜ｚ２−ｚ１｜を算出する（Ｓ３２）。そして、その結果をＲＡＭ２０１に保持する。

グループ選択部３０４は、ＲＡＭ２０１に保持したグループ情報及び遠隔操作距離の差分ｚを読出し、さらに、予め作成されているグループレベルと遠隔操作距離と対応つけを示すテーブルの情報に基づいてグループレベルを選択する（Ｓ３３）。本実施形態では、日グループ、月グループ、年グループの順にグループレベルが上位であるとし、このグループレベル順に基づいて、グループレベルと操作距離との対応つけを示すテーブルを作成し、保持部３０９に保持しているものとする。図１０（Ａ）に保持しているテーブルの例を示す。

例えば、図４（Ａ）の状態でグルーピングジェスチャを行ない、ｚが０＜ｚ＜ａ場合は、グループを選択しない。しかし、ｚがａ＜＝ｚ＜ｂの場合は、日（Ｄａｙ）レベルのグループを選択する。同様にｚがｂ＜＝ｚ＜ｃの場合は、月（Ｍｏｎｔｈ）のグループを、ｚ＞＝ｃの場合は年（Ｙｅａｒ）グループをそれぞれ選択する。選択したグループレベルはＲＡＭ２０１に保持される。

以上の処理でグループレベル選択処理（Ｓ１６）は完了し、呼び出し元の処理にその結果がリターンされる。

グループレベル選択処理（Ｓ１６）が終了すると、グループ表示の変更が行われる。表示制御部３０３は、ＲＡＭ２０１から選択したグループレベルを読出し、選択したオブジェクト４０２と同じグループレベルに属するオブジェクトをグルーピングした表示画面を生成して、画面表示する（Ｓ１７）。例えば、図４（Ａ）の状態から日グループのレベルが選択された場合、選択したオブジェクト４０２と同じ日グループのグループ情報をもつオブジェクト４０３ａ、４０３ｂが、オブジェクト４０２を中心にグルーピングされ、図４（Ｂ）の状態になる。さらに、この状態から月グループのレベルが選択された場合は、オブジェクト４０２と同じ月グループのグループ情報をもつオブジェクト４０３ｃ、４０３ｄ、４０３ｅがグルーピングされ、図４（Ｃ）の状態になる。そして、さらに、年グループのレベルが選択された場合は、オブジェクト４０２と同じ年グループのグループ情報をもつオブジェクト４０３ｆ、４０３ｇがグルーピングされ、図４（Ｄ）の状態になる。

グループ表示変更（Ｓ１７）が終了すると、ジェスチャ認識部３０８は、グループの選択を確定するかどうかの判定が行われる。例えば、グループ選択の確定は、手４０１の位置が所定の時間移動していないかを判定して行う。グループ選択を確定しない場合（Ｓ１８、Ｎ）は、再びＳ１６に処理が移行する。グループ選択を確定する場合（Ｓ１８、Ｙ）は、ジェスチャ認識部３０８は、データ表示を終了するかどうかの判定が行われる（Ｓ１９）。データ表示を終了しない場合（Ｓ１９、Ｎ）は、再びＳ１３に処理が移行する。データ表示を終了する場合（Ｓ１９、Ｙ）は、情報処理装置１００は、データ表示処理を終了する。

以上、本実施形態で述べたように、グループレベルと遠隔操作距離の差分ｚを対応付けることで、手４０１の上下操作という簡単なジェスチャ操作でグループレベルを素早く変更できる。また本実施形態では、グループレベルが上位のグループを長い遠隔操作距離に対応付けしたが、これにより直感的（ユーザの操作感にマッチする）で使い易いグルーピングＵＩを実現できる。

尚、本実施形態では、グループ情報生成部３０１で予めグループ情報を生成しておき、生成されたグループ情報を用いてグルーピングした。そのため、予めグループ情報を生成しておくことで、グルーピング処理を高速に行うことができるという効果がある。しかしながら、グループ情報を生成せずに、グルーピング処理する際に、付加情報に基づいて、グルーピングしてもよい。グループ情報を生成しない場合は、グループ情報を持てなくてよいので、保持すべきデータ量を削減できるという効果がある。

尚、本実施形態では、初期画面表示処理において、オブジェクトをランダムに並べて画面を作成したがその限りではない。オブジェクトの名前順に画面左上から整列して画面を作成してもよい。

尚、本実施形態では、グルーピングジェスチャを行うと自動的に日付情報を基に複数粒度のグループを作成し、グルーピングを行ったが、複数種類の付加情報がある場合は、どの付加情報を用いてグルーピングを行うかをユーザが選択できた方が便利である。そのような場合は、図８（Ｂ）の画面例５００に示したように、オブジェクト５０２が選択されたと同時に、利用する付加情報を選択する吹き出し５０３を表示するような処理を行ってもよい。図８（Ｂ）の場合は、利用可能な付加情報としてｔａｇＡ、ｔａｇＢ、ｔａｇＣがあり、ｔａｇＡがフォーカスされている状態を表している。例えば、ｔａｇＡは日付情報、ｔａｇＢは場所情報、ｔａｇＣは人物情報を用いて、グループ情報を生成されているとし、グルーピング処理にオブジェクトの選択と同様の方法で利用したい付加情報を選択した後、グルーピング処理を行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。グループレベル選択処理のフローチャート以外は、第１の実施形態と同様である。尚、第２の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。第２の実施形態は、不用意なグルーピングジェスチャによるグループレベルの誤変更、例えば、オブジェクトをタッチ操作するために表示画面に手を近づけただけなのに、グループレベルが変更されてしまうことを解決したものである。

図７（Ｂ）は、第２の実施形態におけるグループレベル選択処理（Ｓ１６）の処理フローを示す。グループレベル選択処理（Ｓ１６）が開始されるまでの処理は第１の実施形態と同様である。

グループレベル選択処理が開始されると、ジェスチャ認識部３０８は、グルーピングジェスチャの認識を行う（Ｓ３０）。グルーピングジェスチャを認識しなかった場合（Ｓ３０、Ｎ）は、何も行わず、グループレベル選択処理（Ｓ１６）は完了し、呼び出し元にその結果がリターンされる。グルーピングジェスチャを認識した場合（Ｓ３０、Ｙ）は、距離取得部３０５は、時刻 ｔ２ を取得し、差分ｔ＝ｔ２−ｔ１を算出する（Ｓ３４）。ｔが閾値（例えば１秒）以上でない場合（Ｓ３５、Ｎ）は、グループレベル選択処理（Ｓ１６）は完了し、呼び出し元にその結果がリターンされる。ｔが閾値（例えば１秒）以上の場合（Ｓ３５、Ｙ）は、距離取得部３０５は、距離センサ１０５の情報から、その時点の遠隔操作距離 ｚ２ を取得する（Ｓ３１）。距離取得部３０５は、ｚ２を取得したら、ＲＡＭ２０１からｚ１を読出し、遠隔操作距離の差分ｚ＝｜ｚ２−ｚ１｜を算出する（Ｓ３２）。そして、その結果をＲＡＭ２０１に保持する。尚、ｔの閾値は、情報処理装置１００のＲＯＭ２０２で予め保持しているものとする。

グループ選択部３０４は、ＲＡＭ２０１に保持したグループの情報及び遠隔操作距離の差分ｚに応じて、グループレベルとｚの対応付けを行ない、その対応結果に基づいてグループレベルを選択する（Ｓ３３）。選択したグループレベルはＲＡＭ２０１に保持される。

以上の処理でグループレベル選択処理（Ｓ１６）は完了し、呼び出し元の処理にその結果がリターンされる。グループレベル変更処理（Ｓ１６）が完了した後の処理は第１の実施形態と同様である。

以上、本実施形態で述べたように、グルーピングジェスチャが認識されるまでの時間 ｔを算出し、閾値でフィルタリングすることで、不用意なグルーピングジェスチャによるグループレベルの誤変更を防ぐことができる。

［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。第２の実施形態は、表示制御部３０３で行うグループの表示変更速度がシステム規定の速度で一定としていた。本実施形態では、グループ変更表示速度を、グルーピングジェスチャの速度に対応させる例を示す。尚、第３の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

図３（Ｂ）に、第３の実施形態における機能ブロック図を示す。速度算出部３０６以外は第２の実施形態と同様である。

速度算出部３０６は、遠隔操作距離の差分ｚと時刻の差分ｔを使って、グルーピングジェスチャをしたジェスチャ速度ｚ／ｔを算出する。表示制御部３０７は、ジェスチャ速度を利用して、グループング表示変更速度を制御する。

図５（Ｂ）は、第３の実施形態におけるフローチャートである。Ｓ４０、Ｓ４１以外は、第２の実施形態と同様である。

Ｓ４０では、速度算出部３０６は、Ｓ３２で算出した遠隔操作距離の差分ｚと、Ｓ３４で算出した時刻の差分ｔを使って、グルーピングジェスチャをしたジェスチャ速度ｚ／ｔを算出する。Ｓ４１では、表示制御部３０７は、入力されたジェスチャ速度を利用して、グループ表示変更速度を制御する。具体的には、グループ表示変更速度を、ジェスチャ速度ｚ／ｔに比例させて表示させる。

例えば、アニメーションを利用してグルーピングの表示制御を行う場合などに利用できる。算出したジェスチャ速度が速い場合は、グルーピングのアニメーションを高速にし、逆に遅い場合は、グルーピングのアニメーションを低速にする。こうすることで、ユーザがグルーピングされるオブジェクトを確認しつつグルーピングを行いたい場合は、ゆっくりした速度でグルーピングジェスチャを行うといった使い方ができるようになる。

以上、本実施形態で述べたように、ジェスチャ速度を算出し、表示制御に利用することで、よりユーザの意図を反映することが可能なグルーピングＵＩを実現できる。

［第４の実施形態］
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。機能ブロック図のオブジェクト選択部の機能と図４（Ｅ）〜（Ｈ）で示すグループレベル選択処理の説明図以外は、第１の実施形態と同様である。尚、第４の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

第４の実施形態は、第１の実施形態のバリエーションである。オブジェクト選択部３００でオブジェクトを選択する際に、オブジェクトを１つ以上選択できる点が第１の実施形態と異なる。本実施形態４におけるグループレベル選択処理の説明図を図４（Ｅ）〜（Ｈ）に示す。

複数のオブジェクトを選択することで、選択された複数のオブジェクトに共通する付加情報を利用して複数粒度のグループ情報を生成できる。これによりアンドのグルーピング（絞込み）が実現できる。

図４の（Ｅ）は、ＡさんとＢさんが写っている２つのサムネイル（オブジェクト）４０４を選択した例である。グループ情報生成部３０１では付加情報を利用して、「ＡさんとＢさんのみが写っている」というグループ、「ＡさんとＢさんを含め、その他数人が写っている」というグループ、「ＡさんとＢさんを含んだ全て」というグループ情報を生成する。生成したグループ情報はＲＡＭ２０１に保持する。

本実施形態でも、ＲＡＭ２０１に保持したグループの情報及び遠隔操作距離の差分ｚに応じて、グループの粒度とｚの対応付けを行ない、その対応結果に基づいてグループの粒度を選択する。対応付けは、グループレベルと遠隔操作距離の差分ｚと対応つけを示すテーブルを作成して行う。テーブルの例としては図１０（Ｂ）で示すようなテーブルを作成し、保持部３０９が保持する。例えば、図４（Ｅ）の状態でグルーピングジェスチャを行ない、ｚが０＜ｚ＜ａ場合は、グループを選択しない。しかし、ｚがａ＜＝ｚ＜ｂの場合は、「ＡとＢのみが写っている」グループを選択する。同様にｚがｂ＜＝ｚ＜ｃの場合は、「ＡとＢを含め数人が写っている」グループを、ｚ＞＝ｃの場合は、「ＡとＢを含んだ全て」というグループをそれぞれ選択する。選択したグループレベルはＲＡＭ２０１に保持される。

また表示制御部３０３では、ＲＡＭ２０１から選択したグループレベルを読出し、選択したオブジェクト４０４に関連するオブジェクトをグルーピングした表示画面を生成して、ディスプレイ１０１に出力する。例えば、図４（Ｅ）の状態で「ＡとＢのみが写っている」グループが選択された場合、ＡとＢのみ写っているオブジェクト４０５ａ、４０５ｂが、オブジェクト４０４を中心にグルーピングされ、図４（Ｆ）の状態になる。さらにこの状態で「ＡとＢを含め数人が写っている」グループが選択された場合は、ＡとＢを含め数人が写っているオブジェクト４０５ｃ、４０５ｄ、４０５ｅがグルーピングされ、図４（Ｇ）の状態になる。同様に続けて「ＡとＢを含んだ全て」というグループが選択された場合は、ＡとＢが写っている全てのオブジェクト４０５ｆ、４０５ｇがグルーピングされ、図４（Ｈ）の状態になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 表示面に表示されている複数のオブジェクトから、ユーザ操作により指示されたオブジェクトを選択する選択手段と、
   前記操作を行う物体と前記表示面との間の距離に基づく操作距離を取得する距離取得手段と、
   前記選択手段によって選択されたオブジェクトが属するグループのうち、前記距離取得手段によって取得された操作距離に対応付けられたグループレベルを特定し、前記複数のオブジェクトのうち、当該特定されたグループレベルのグループに属するオブジェクトを、前記選択されたオブジェクト付近に集合させる表示制御手段を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記複数のオブジェクトのうち、前記特定されたグループレベルのグループに属するオブジェクトを、前記選択されたオブジェクトに向かって移動させ、前記複数のオブジェクトのうち、前記特定されたグループレベルのグループに属さないオブジェクトは移動させないことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記操作を行う物体が所定時間の間、一定の操作距離を維持したことに応じて、前記集合させるオブジェクトの移動を開始することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記操作を行う物体が移動されることで、前記表示面との間の距離が変化する速度に応じた速度で、前記集合させるオブジェクトを移動させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. さらに、前記オブジェクトに付加されている付加情報から、複数のグループレベルのグループ情報を生成する生成手段を有し、
   前記表示制御手段は、前記グループ情報に基づいて、前記選択手段によって選択されたオブジェクトが属するグループのうち、前記距離取得手段によって取得された操作距離に対応付けられたグループレベルを特定し、当該グループレベルのグループに属するオブジェクトを集合させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記距離取得手段は、前記選択手段が選択するオブジェクトを指示するユーザ操作を行うときの前記物体と前記表示面との間の距離と、前記選択手段によって選択されたオブジェクトが属するグループのグルーピングを指示するユーザ操作を行うときの前記物体と前記表示面との間の距離との差分に基づいて、前記操作距離を取得することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 選択手段により、表示面に表示されている複数のオブジェクトから、ユーザ操作により指示されたオブジェクトを選択する選択工程と、
   距離取得手段により、前記操作を行う物体と前記表示面との間の距離に基づく操作距離を取得する距離取得工程と、
   表示制御手段により、前記選択手段によって選択されたオブジェクトが属するグループのうち、前記距離取得手段によって取得された操作距離に対応付けられたグループレベルを特定し、前記複数のオブジェクトのうち、当該特定されたグループレベルのグループに属するオブジェクトを、前記選択されたオブジェクト付近に集合させる表示制御工程を有することを特徴とする情報処理装置の制御方法。
8. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images