JP6390277B2 - 情報処理装置、制御方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

スマートフォンやタブレット端末などの、タッチパネルに対する操作によって様々な情報を表示する装置が、広く普及している。タブレット端末については、画面サイズの大型化も図られるようになり、複数のユーザが同時に操作する使われ方も考慮されるようになりつつある。

また、タッチパネルに対する操作には、タッチペンや指等が用いられる。具体的には、例えばアイコンが表示されている画面にタッチペン等を接触させて移動させたり、タップしたりする。このようなタッチパネルに対する操作方法に関し、例えば下記特許文献１では、タッチペン等によるアイコンの移動方向および移動速度を検出し、タッチペン等がアイコンから離れた際に、そのときのアイコンの移動速度が所定速度以上であれば、移動方向にさらに所定距離だけ移動させることが開示されている。

また、複数のユーザが同時に操作したり閲覧したりすることを考慮した大画面の表示装置として、プロジェクタや壁掛けディスプレイが存在する。さらに近年、テーブルトップや天井、壁等、スクリーン以外に映像を投影して複数のユーザが同時に操作したり閲覧したりすることが可能な表示システムも普及しつつある。このような表示システムでは、表示情報（以下、仮想物体とも称す）に対する操作が撮像装置やタッチパネルにより検出され、操作入力に応じた表示制御が行われ得る。

特開平６−４４００１号公報

しかしながら、テーブルトップには通常の表示画面とは異なりコップや皿等の実物体が置かれることが想定されるが、実物体が置かれた状況に応じた表示制御については従来技術では考慮されていなかった。

そこで、本開示では、実物体との位置関係に応じて、表示された仮想物体の移動制御を行うことで、より適切かつ効率的に情報表示を行うことが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部を備え、前記制御部は、前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、情報処理装置を提案する。

本開示によれば、表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御することを含み、前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、制御方法を提案する。

本開示によれば、コンピュータを、表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部として機能させ、前記制御部は、前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、プログラムを提案する。

以上説明したように本開示によれば、実物体との位置関係に応じて、表示された仮想物体の移動制御を行うことで、より適切かつ効率的に情報表示を行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの他の構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの他の構成例を示す説明図である。 表示対象となるコンテンツ例を示す図である。 スマートフォンからのコンテンツ転送表示例を示す図である。 スマートフォンからのコンテンツ転送表示例を示す図である。 スマートフォンからのコンテンツ転送表示例を示す図である。 転送したコンテンツの操作例を示す図である。 転送したコンテンツの移動操作例を示す図である。 転送したコンテンツの移動制御例を示す図である。 転送したコンテンツの移動制御例を示す図である。 転送したコンテンツの操作例を示す図である。 本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。 本開示の一実施形態にかかる情報処理システムの表示制御処理を示すフローチャートである。 本開示の一実施形態にかかる情報処理システムの第１の開始条件について説明する図である。 本開示の一実施形態にかかる情報処理システムの第２の開始条件について説明する図である。 本実施形態による第１のスライドルートの取得について説明する図である。 本実施形態による第２のスライドルートの取得について説明する図である。 本実施形態による第２のスライドルートの取得における物体を避けるルートの探索に関して説明する図である。 本実施形態による第２のスライドルートの取得における物体を避けるルートの探索に関して説明する図である。 本実施形態による第２のスライドルートの取得における物体を避けるルートの探索に関して説明する図である。 本実施形態による第２のスライドルートの取得における物体を避けるルートの探索に関して説明する図である。 本実施形態による第１のスライド速度の取得について説明する図である。 本実施形態による第２のスライド速度の取得について説明する図である。 本実施形態によるコンテンツの容量に応じたスライド速度制御による効果について説明する図である。 本実施形態による第１の物体近接動作について説明する図である。 本実施形態による第２の物体近接動作について説明する図である。 本実施形態による第３の物体近接動作について説明する図である。 本実施形態による第４の物体近接動作について説明する図である。 本実施形態による第１の終了条件について説明する図である。 本実施形態による第２の終了条件について説明する図である。 本実施形態による第１の終了処理について説明する図である。 本実施形態による第１の他の終了処理について説明する図である。 本実施形態による第２の終了処理について説明する図である。 本実施形態による第２の他の終了処理について説明する図である。 本実施形態による第３の終了処理について説明する図である。 本実施形態による第３の他の終了処理について説明する図である。 スライド中のコンテンツへのイベントを受付けないことについて説明する図である。 スライド中のコンテンツへのイベントを受付けないことについて説明する図である。 本実施形態による情報処理システムのデータ転送の補足について説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．基本構成
３．動作処理
３−１．開始条件
３−２．スライドルートおよびスライド速度
３−３．物体近接動作
３−４．終了条件
３−５．終了処理
４．補足
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、図面を参照しながら本開示の一実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る情報処理システムの構成例について説明する。

図１に示したように、本開示の一実施形態に係る情報処理システムは、出力機能および入力機能を有する情報処理装置１００ａにより構成される。図１に示す例では、情報処理装置１００ａは、テーブル１４０ａの天面１４１ａ（テーブルトップ）に情報を表示し、天面１４１ａに表示した情報に対してユーザに操作をさせる。図１に示すようにテーブル１４０ａの天面１４１ａに情報を表示する方式を「プロジェクション型」とも称する。

情報処理装置１００ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、情報処理装置１００ａは、情報が表示される対象となるテーブル１４０ａとは離隔して設けられる。

また、情報処理装置１００ａは、天面１４１ａ（テーブルトップ）の表示情報に対するユーザの操作内容や、テーブル１４０ａに置かれている物体の形状などを入力する入力機能（入力部１１０ａ）を有する。情報処理装置１００ａの入力部１１０ａには、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ、ユーザが発する音声や周囲の環境音を収音するためのマイクロホン（以下、マイクと称す）等が用いられる。

入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理装置１００ａは、そのカメラが撮像した画像を解析することで、テーブル１４０ａに置かれた物体を検出することが出来る。また、入力部１１０ａとしてステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が用いられ得る。ステレオカメラが用いられる場合、情報処理装置１００ａは、深度情報を取得することが可能となる。深度情報を取得することで、情報処理装置１００ａは、例えば天面１４１ａの模様やテーブルクロスの模様と区別して、テーブル１４０ａの上に置かれた手や物体の検出が可能になる。また、深度情報を取得することで、情報処理装置１００ａは、テーブル１４０ａの天面１４１ａへのユーザの手の接触／近接の検出や、天面１４１ａからの手の離脱の検出が可能となる。なお、以下の説明では、ユーザが情報の表示面（ここでは、天面１４１ａ）に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。

また、入力部１１０ａとしてマイクが用いられる場合、そのマイクは特定の方向の音声を収音するためのマイクアレイが用いられ得る。情報処理装置１００ａは、マイクアレイの収音方向を任意の方向に調整してもよい。

以下では、ユーザの操作が、入力部１１０ａによって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、テーブル１４０ａの天面１４１ａに設けられた、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部１１０ａが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。

また、情報処理装置１００ａは、テーブル１４０ａの天面１４１ａ（テーブルトップ）に情報を表示したり、音声を出力したりする出力機能（出力部１３０ａ）を有する。出力部１３０ａとしては、例えばプロジェクタやスピーカ等が用いられる。

出力部１３０ａがプロジェクタで構成される場合、出力部１３０ａは、テーブル１４０ａの天面１４１ａに情報を投影する。出力部１３０ａがスピーカで構成される場合、出力部１３０ａは、音声信号に基づいて音声を出力する。スピーカの数は１つであってもよいし、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理装置１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりすることができる。

また情報処理装置１００ａが図１に示したようなプロジェクション型である場合、出力部１３０ａに照明機器が含まれていてもよい。照明機器が含まれる場合、情報処理装置１００ａは、入力部１１０ａによって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御することができる。

図１に示すような情報処理システムを使用するユーザは、情報処理装置１００ａの出力機能（出力部１３０ａ）によりテーブル１４０ａの天面１４１ａに表示される情報に対して、指などを天面１４１ａに置いて操作することが出来る。

なお図１には図示しないが、情報処理装置１００ａには他の装置が接続されていてもよい。例えば情報処理装置１００ａには、ユーザが所持するスマートフォン、タブレット端末等のモバイル機器が無線接続により直接接続されていてもよいし、ネットワークを介してサーバ等と接続されていてもよい。

本開示では、情報処理システムの形態は図１に示したものに限定されるものではない。図２〜図３は、本開示の一実施形態にかかる情報処理システムの別の形態の例を示す説明図である。

図２に示したのは、本開示の一実施形態に係る情報処理システムの他の構成例を示す説明図であり、情報処理装置１００ｂがテーブル１４０ｂの下から情報を照射することで、テーブル１４０ｂの天面１４１ｂに情報を表示させている。図２に示す例では、情報処理装置１００ｂが、プロジェクタにより実現される出力部１３０ｂを有している。また、図２に示した情報処理システムでは、情報の表示面となるテーブル１４０ｂの天面１４１ｂがガラス板や透明プラスチック板等の透明な材質で形成される。図２のようにテーブル１４０ｂの下から情報を照射して天面１４１ｂに情報を表示する方式を「リアプロジェクション型」とも称する。また、図２に示した例では、テーブル１４０ｂの天面１４１ｂに、タッチパネルにより実現される入力部１１０ｂが設けられ、天面１４１ｂに表示される情報に対するユーザ操作を検出する。なお入力部１１０ｂは、天面１４１ｂに設けられる構成に限定されず、例えばカメラにより実現された入力部１１０ｂが、テーブル１４０ｂの下方にテーブル１４０ｂとは離隔して設けられてもよいし、情報処理装置１００ｂに含まれていてもよい。

図３に示したのは、本開示の一実施形態に係る情報処理システムの他の構成例を示す説明図である。図３には、タッチパネル式のディスプレイにより実現される情報処理装置１００ｃがテーブル１４０ｃの天面１４１ｃに置かれている状態が示されている。このようにタッチパネル式のディスプレイの場合、入力部１１０ｃ及び出力部１３０ｃは、タッチパネル式のディスプレイとして構成され得る。すなわち、図３に示した情報処理システムでは、情報の表示面はタッチパネル式のディスプレイとなる。図３のように、天面１４１ｃに置かれるタッチパネル式のディスプレイで情報を表示する方式を「平置きディスプレイ型」とも称する。図３に示した情報処理システムでは、タッチパネル式のディスプレイの上方に、ユーザの位置を検出するためのカメラが設けられてもよい。

なお以下の説明では、図１に示したような、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａを備えた情報処理装置１００ａ、すなわち情報の表示面と離隔して入力部１１０ａ及び出力部１３０ａが設けられる構成を例にして説明する。また、以下の説明では、情報処理装置１００ａ、入力部１１０ａ、出力部１３０ａ、テーブル１４０ａ、天面１４１ａを、単に情報処理装置１００、入力部１１０、出力部１３０、テーブル１４０、天面１４１としても説明する。

（コンテンツ表示例）
次いで、本実施形態による情報処理装置１００が、出力部１３０によりテーブル１４０の天面１４１に表示する情報の一例について説明する。

情報処理装置１００は、ユーザ操作に応じて様々な情報をテーブル１４０の天面１４１に表示する。表示出力する情報は、情報処理装置１００のローカルストレージや、外部機器（スマートフォン、タブレット端末、サーバ等）の外部ストレージから取得される。図４は、表示対象となるコンテンツ例を示す図である。図４に示すように、天面１４１には、複数の情報が表示され、複数のユーザにより操作され得る。図４に示す例では、ミュージックビデオのアプリケーションウィンドウ２０、ランチャー画面２２、ミュージックのアプリケーションウィンドウ２３が、それぞれ近傍のユーザに向けて表示されている。ランチャー画面２２は、アイコン２１への接触操作に応じて表示される。ユーザは、ランチャー画面２２から操作したいアイコンをタップしたり、ランチャー画面２２の外にドラッグしたりすることで、選択したアイコンに対応するアプリケーションが展開され、アプリケーションウィンドウ２０、２３のように表示される。情報処理装置１００により出力される表示情報は図４に示す例に限定されず、例えばウェブブラウザ、タイマーアプリケーション、メモアプリケーション、電卓アプリケーション、カレンダーアプリケーション、メディアファイル（例えば動画ファイル、音楽ファイル、写真ファイル）、画像データなどが表示される。

図４に示す例では、ランチャー画面２２から利用したいアイコンを選択してテーブル上に表示展開する旨を説明したが、本開示はこれに限定されず、例えばテーブル上に置いた情報処理装置からコンテンツが転送されてテーブル上に表示展開させてもよい。以下、図５〜図１２を参照して本情報処理システムによる基本的なコンテンツ表示制御例を説明する。図５〜図７はスマートフォンからのコンテンツ転送表示例を示す図であって、図８は転送したコンテンツの操作例を示す図であって、図９は転送したコンテンツの移動操作例を示す図であって、図１０〜図１１は転送したコンテンツの移動制御例を示す図であって、図１２は転送したコンテンツの操作例を示す図である。

図５に示すように、ユーザはスマートフォン１を、テーブル１４０の天面１４１における所定の領域Ｓ１に置く。この場合、領域Ｓ１を固定にすることで、天面１４１の上方に設置された情報処理装置１００は、スマートフォン１自体の認識を行わなくてもよい。また、情報処理装置１００は、天面１４１において領域Ｓ１を示す表示は行わず、テーブル１４０の各席に対応して領域Ｓ１を固定することで、ユーザは自席の目の前の天面１４１にスマートフォン１を置けばよい仕様となる。また、情報処理装置１００は、天面１４１において領域Ｓ１を示す表示を行い、領域Ｓ１内にスマートフォン１等の情報処理装置を置くよう表示や音声でユーザに促してもよい。

次に、図６に示すように、ユーザが領域Ｓ２をタップする。この際、情報処理装置１００は、天面１４１において領域Ｓ２を示す表示は行わず、ユーザはスマートフォン１の近くをタップするようにしてもよいし、情報処理装置１００が天面１４１において領域Ｓ２を示す表示を行い、領域Ｓ２内をタップするよう表示や音声でユーザに促してもよい。

情報処理装置１００は、領域Ｓ２がタップされたことを認識すると、領域Ｓ１に置かれたスマートフォン１と接続して、スマートフォン１のローカルストレージからコンテンツを抽出（受信）し、天面１４１に投影表示する。この際、情報処理装置１００は、図７に示すように、スマートフォン１から天面１４１にコンテンツが飛び出したようにコンテンツの表示制御を行う。また、天面１４１における投影対象範囲（表示領域）は、一例として領域Ｓ３で示す範囲とする。

抽出されるコンテンツは、例えば直近で撮影／閲覧した複数の写真コンテンツや、直近で取得／視聴した複数の音楽コンテンツである。情報処理装置１００は、抽出したコンテンツのうち、複数の写真コンテンツを、例えばユーザから見てスマートフォン１の左側に表示し、複数の音楽コンテンツ（ジャケット写真画像）はスマートフォン１の右側に表示するよう制御する。また、情報処理装置１００は、図７に示すように、複数のコンテンツを少なくとも画像の一部が見えるよう重ねて表示する。

そして、図８〜図１２に示すように、ユーザは、天面１４１に表示された各コンテンツに対して、天面１４１に指等を接触させて操作することができる。例えば、図８に示すように、音楽コンテンツ２５をタップして選択すると、選択した音楽コンテンツ２５が再生される。具体的には、情報処理装置１００が指等による音楽コンテンツ２５のタップ操作を認識し、選択された音楽コンテンツ２５をスピーカ（情報処理装置１００に設けられているスピーカでもよいし、テーブル１４０に設けられているスピーカでもよいし、近くに設置されているスピーカでもよい）から出力するよう制御する。これにより、ユーザは、テーブル１４０で食事をしながら視聴する音楽を再生させることができる。

また、ユーザは、相手に見せたい写真コンテンツを相手側に移動させることも可能である。例えば、ユーザに対してテーブル１４０を挟んで対向する位置に相手ユーザがいる場合、ユーザは、図９に示すように、相手ユーザに見せたい写真コンテンツ２６に指等を接触させて相手方向にドラッグ操作し、そのまま勢いをつけて写真コンテンツ２６を相手方向にスライド移動させるようフリック操作する。

この場合、情報処理装置１００は、写真コンテンツ２６の移動方向および移動速度を検出し、写真コンテンツ２６の移動方向に、移動速度に応じた所定距離だけスライド移動させるよう（所謂慣性移動しているように、ユーザ操作が行われた後、さらなるユーザ操作なしに物体を移動させてよう）表示制御する。この際、情報処理装置１００は、基本的にはフリック操作位置から直線上に写真コンテンツ２６を移動させるが、図１０に示すように、破線の矢印で示す直線上に障害物がある場合、これを避けたスライドルートで移動させる。上述したように、本実施形態では、テーブル１４０の天面１４１に情報表示を行うため、天面１４１には、皿やコップ等の実体物が置かれている場合がある。この場合、情報処理装置１００は、図１０の実線の矢印で示すように、皿５ａ、５ｂを避けたルートで相手側に写真コンテンツ２６をスライド移動させるよう表示制御する。

また、情報処理装置１００は、ユーザのフリック操作に応じて写真コンテンツ２６を移動させる際に、図１１に示すように、写真コンテンツ２６の方向を相手ユーザにとって見やすい方向に変化させてもよい。

相手ユーザは、図１２に示すように、写真コンテンツ２６をタップして拡大させ、閲覧することができる。すなわち、情報処理装置１００は、写真コンテンツ２６の移動が停止した後、写真コンテンツ２６に対する相手ユーザの操作を認識し、タップ操作が行われた場合は写真コンテンツ２６を拡大表示するよう制御する。

そして、双方のユーザがスマートフォン１を持って席を離れる等、表示終了と認識されると、情報処理装置１００は表示面（天面１４１）のコンテンツをフェードアウトしてシーンを切り替える。

＜＜２．基本構成＞＞
以上、本開示による情報処理システムの概要について説明した。続いて、本開示による情報システムを構成する情報処理装置１００の構成について、図１３を参照して説明する。図１３は、本開示の一実施形態に係る情報処理装置１００の構成例を示す説明図である。

図１３に示したように、本開示の一実施形態にかかる情報処理装置１００は、入力部１１０と、制御部１２０と、出力部１３０と、を含んで構成される。

入力部１１０は、情報処理装置１００を使用するユーザの情報処理装置１００に対する操作内容や、出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａの天面１４１ａ）に置かれている物体の形状などを入力する。情報処理装置１００を使用するユーザの情報処理装置１００に対する操作内容には、情報処理装置１００が情報の表示面に出力するＧＵＩに対する操作内容を含む。入力部１１０が入力した、情報処理装置１００に対する操作内容、物体の形状等の情報は制御部１２０に送られる。

入力部１１０は、情報処理装置１００がプロジェクション型である場合、例えば１つのレンズで構成されるカメラ、２つのレンズで構成されるステレオカメラ、マイク等で構成され得る。

制御部１２０は、情報処理装置１００の各部の制御を実行する。例えば制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。図１３に示したように、制御部１２０は、検出部１２１と、出力制御部１２２と、を含んで構成される。検出部１２１は、情報処理装置１００を使用するユーザの、情報処理装置１００に対する操作内容や、出力部１３０が出力している情報の内容、出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａの天面１４１ａ）に置かれている物体の形状などを検出する処理を実行する。検出部１２１が検出した内容は出力制御部１２２に送られる。出力制御部１２２は、検出部１２１が検出した内容に基づいて、出力部１３０から出力する情報を生成する制御を実行する。より具体的には、出力制御部１２２は、出力部１３０により出力された情報（仮想物体）に対するユーザ操作の移動方向および／または移動速度に基づいて取得される仮想物体の移動速度および／または移動経路に従って仮想物体の移動速度および／または移動経路を制御する。出力制御部１２２が生成した情報は出力部１３０に送られる。

例えば情報処理装置１００が図１に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、検出部１２１は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを検出することが可能になる。出力制御部１２２は、表示面に表示された仮想物体に対するユーザ操作に応じて、表示情報（仮想物体）の表示を制御する。具体的には、出力制御部１２２は、フリック操作に応じて表示情報を移動させる際に、当該表示情報の移動経路付近に存在する実物体との位置関係に応じて、表示情報の表示制御を行う。具体的な表示制御については、後述の「３．動作処理」において詳細に説明する。

制御部１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成されていてもよい。制御部１２０がＣＰＵ等の装置で構成される場合は、かかる装置は電子回路で構成され得る。

また図１３には図示しないが、制御部１２０は、他の装置との間で無線通信を行なうための通信機能や、情報処理装置１００に接続される他の装置、例えば照明機器の動作を制御する機能を有してもよい。

また、制御部１２０は、コンテンツ制御情報が記憶された記憶部（いわゆるコンテンツ制御情報データベース）を有する。コンテンツ制御情報とは、入力された操作内容、テーブル１４０ａに置かれた物体等に対してどのようなコンテンツ制御を行うかを示す情報である。制御部１２０は、記憶部に記憶されたコンテンツ制御情報を参照して、入力部１１０からの入力情報に応じた表示制御を行う。

出力部１３０は、入力部１１０によって入力された、情報処理装置１００を使用するユーザの操作内容や、出力部１３０が出力している情報の内容、また出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａの天面１４１ａ）に置かれている物体の形状等の情報に応じて情報を出力する。出力部１３０は、出力制御部１２２が生成する情報に基づいて情報を出力する。出力部１３０が出力する情報には、情報の表示面に表示される情報や、スピーカ（図示せず）等から出力される音声などが含まれる。

図１３に示した情報処理装置１００は、単独の装置として構成されてもよく、一部または全部が別々の装置で構成されてもよい。例えば、図１３に示した情報処理装置１００の構成例のうち、制御部１２０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていてもよい。制御部１２０がサーバ等の装置に備えられる場合は、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行って、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。

以上、図１３を用いて本開示の一実施形態にかかる情報処理装置１００の構成例について説明した。続いて、本開示の一実施形態にかかる情報処理装置１００による情報の表示制御例について説明する。

＜＜３．動作処理＞＞
本実施形態による情報処理システムは、図４、図５〜図１２に示したように、複数のユーザが、例えばテーブル１４０ａに表示される同一の画面上でそれぞれ独立したアプリケーションを実行することが出来るよう構成されたシステムである。例えば図４に示したアプリケーションのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）は、出力制御部１２２が生成し、出力部１３０が出力する。

また、情報処理システムは、出力部１３０が情報の表示面に出力したアプリケーションのＧＵＩに対するユーザの操作内容を入力部１１０で取得する。情報処理システムは、ユーザにその表示面に対して手等の操作体を接触させたり、接触させたその操作体を表示面上で移動させたりすることによって、出力部１３０が情報の表示面に出力したアプリケーションのＧＵＩの操作を受け付ける。

本開示は、アプリケーションのＧＵＩの操作のうち、特にＧＵＩの表示位置を移動させる操作に関する。図１〜図３に示すように、例えばテーブル１４０ａに情報表示する場合、テーブル１４０ａの天面１４１ａには、コップや皿等の実物体が置かれる場合がある。この場合、ユーザのフリック操作に応じて、移動方向直線上に移動速度に応じた所定の距離だけＧＵＩを移動させた場合、プロジェクション型では、投影されたＧＵＩがコップや皿等の実物体と重なって見え難くなったり、料理の上にＧＵＩが投影されて料理の見栄えが悪くなったりする。また、ＧＵＩが実物体と重なった位置で停止してしまうと、実物体を移動させてＧＵＩ操作を行わなければならず、不便であった。また、情報処理装置１００がリアプロジェクション型や平置きディスプレイ型の場合、ＧＵＩが実物体の下に隠れた位置で停止すると、ユーザがＧＵＩを見失ってしまうことがある。そこで、本実施形態では、表示されたＧＵＩ（すなわち仮想物体）の表示位置をユーザ操作に応じて変化させる際に、表示面に置かれた実物体を考慮して表示制御することで、より適切かつ効率的に情報表示を行う。

このような表示制御に関して、以下図１４を参照して具体的に説明する。図１４は、本開示の一実施形態にかかる情報処理システムの表示制御処理を示すフローチャートである。

図１４に示したように、まず、ステップＳ１０３において、情報処理装置１００の制御部１２０は、「コンテンツ制御情報；開始条件」の取得を行う。すなわち、制御部１２０は、入力部１１０から入力された、コンテンツ（具体的にはアプリケーションのＧＵＩ）に対するユーザの操作内容を取得し、記憶部に記憶されたコンテンツ制御情報を参照して、移動表示制御（具体的にはスライド操作）開始条件を満たすか否かを判断する。

＜３−１．開始条件＞
ここで、図１５〜図１６を参照して本実施形態による開始条件について説明する。図１５は、本実施形態による第１の開始条件を説明する図である。図１５左に示すように、表示面である天面１４１に表示されているコンテンツ３０を指等の操作体で接触した状態で動かすドラッグ操作の場合は、本実施形態による移動表示制御は開始されない。一方、図１５右に示すように、表示面である天面１４１に表示されているコンテンツ３０を指等の操作体で接触した状態で動かし、勢いをつけて指等を離すフリック操作の場合、制御部１２０は開始条件を満たすと判断し、本実施形態による移動表示制御を開始する。

図１６は、本実施形態による第２の開始条件を説明する図である。図１６左に示すように、天面１４１において、ユーザの手前に位置する所定の領域Ｓ１０内でコンテンツ３０を操作している場合は、本実施形態による移動表示制御は開始されない。一方、図１６右に示すように、所定の領域Ｓ１０の外にコンテンツ３０をドラッグ操作して移動させた場合、制御部１２０は開始条件を満たすと判断し、本実施形態による移動表示制御を開始する。

以上説明したように、コンテンツ３０に対してフリック操作が行われた場合、または所定の領域Ｓ１０の外にコンテンツ３０が移動された場合、制御部１２０は、コンテンツ３０に対する移動表示制御の開始条件が満たされたと判断する。なお、上述した開始条件は一例であって、本開示はこれに限定されない。

図１４に戻り、ステップＳ１０６において、制御部１２０により開始条件を満たしたと判断された場合（Ｓ１０６／Ｙｅｓ）、続くステップＳ１０９において、制御部１２０は、「コンテンツ制御情報；スライドルート、スライド速度」の取得を行う。すなわち、制御部１２０は、ユーザによるフリック操作の移動方向やコンテンツサイズ等に応じて、コンテンツ３０のスライドルートおよびスライド速度の取得（設定）を行う。

＜３−２．スライドルートおよびスライド速度＞
ここで、図１７〜図２５を参照して本実施形態によるスライドルートおよびスライド速度の取得について説明する。図１７は、本実施形態による第１のスライドルートの取得について説明する図である。図１７に示すように、天面１４１に障害物（実物体）がない場合、制御部１２０は、フリック操作でユーザの指がコンテンツ３０から離れた地点を開始点Ｓとし、開始点Ｓからフリック操作の移動方向直線上の所定距離Ｄの地点を終点Ｔとして、開始点Ｓから終点Ｔまでの最短ルート（即ち直線）をスライドルートとして取得する。所定距離Ｄは、フリック操作の移動速度、および天面１４１との仮想的な摩擦係数に基づいて算出される。天面１４１に障害物（実物体）がない場合、ユーザは、開始点Ｓから終点Ｔに移動するコンテンツ３０を見失うことがない。

一方、天面１４１に障害物（実物体）がある場合のスライドルートの取得について図１８を参照して説明する。図１８は、本実施形態による第２のスライドルートの取得について説明する図である。図１８左に示すように、天面１４１に皿５ａ、５ｂといった障害物（実物体）があり、開始点Ｓから終点Ｔまでの最短ルート（即ち直線）が障害物と交差（衝突）する場合、制御部１２０は、障害物を避けるルートをスライドルートとして取得する。この場合、制御部１２０は、入力部１１０から入力される天面１４１に置かれている物体の状況（物体の大きさ、位置）に応じて物体の位置を予め認識し、物体を避けるルートを取得する。このような物体を避けるルートの探索については、図１９〜図２５を参照して後述する。

また、制御部１２０は、図１８右に示すように、終点Ｔまでの最短ルート（即ち直線）で移動させ、コンテンツ３０が障害物である皿５ａに到達した時点で皿５ａに反射して移動方向が変化するルートをスライドルートとして取得してもよい。この場合、制御部１２０は、予め実物体の位置を認識しなくとも、また、フリック操作によるコンテンツ３０の移動制御が開始した後にルート上に実物体が置かれた場合であっても、実物体とコンテンツ３０が重なることを回避することができる。

以上説明したように、物体を避けるルートまたは物体に反射するルートを取得することで、ユーザの指から離れて移動するコンテンツ３０をユーザが見失ってしまうことを防止することができる。次いで、上述した物体を避けるルートの探索について、以下図１９〜図２５を参照してさらに具体的に説明する。

図１９〜図２５は、本実施形態による第２のスライドルートの取得における物体を避けるルートの探索に関して説明する図である。制御部１２０は、まず、図１９に示すように、天面１４１に置かれている物体を認識し、物体が置かれている物体領域５０ａ、５０ｂを判定する。物体の認識は、入力部１１０としてカメラやデプスセンサが用いられている場合、入力部１１０から入力される撮像画像およびデプス情報（深度情報）に基づいて行われ得る。また、制御部１２０は、ユーザの指がコンテンツ３０に接触してフリック操作したことを入力部１１０から入力される操作内容により認識し、図１９左に示すように、コンテンツ３０に対するフリック操作時のベクトルから、移動方向と終点Ｔを推定する。

次に、制御部１２０は、図１９右に示すように、３次元ベジェ曲線のコントロールポイントＣ１、Ｃ２を、開始点Ｓと終点Ｔの最短ルート（直線）上に設定し、物体領域５０ａ、５０ｂとの衝突判定を行う。衝突判定には、一般的なアルゴリズムを用いるため特に限定しないが、例えば制御部１２０は、物体領域５０ａ、５０ｂを構成する四辺と、直線／曲線の外積を計算して交差判定を行う。

図１９に示す例では、開始点Ｓおよび終点Ｔを結ぶルートが物体領域５０ａと交差して物体に衝突すると判定されるため、制御部１２０は、図２０左に示すように、コントロールポイントＣ１、Ｃ２を、初期位置からずらして、再度物体との衝突判定を行う。図２０左に示すルートでも物体領域５０ａと衝突するため、制御部１２０は、図２０右に示すように、コントロールポイントＣ１、Ｃ２をさらに他の位置にずらして、再度物体との衝突判定を行う。このように、制御部１２０は、衝突判定とコントロールポイントＣ１、Ｃ２の調整を繰り返して、物体領域５０ａ、５０ｂと衝突しないルートを探索する。

そして、図２１左に示すように、物体領域５０ａ、５０ｂと衝突しないルートを見つけた場合、制御部１２０は、当該ルートをスライドルートとして取得し、図２１右に示すように曲線でコンテンツ３０をスライド移動させる。

なお、図２２に示すように物体領域５０ａ、５０ｂ、５０ｃが配置されている場合、物体領域５０ａ、５０ｂ、５０ｃと衝突しないルートが見つからないため、制御部１２０は、図２２左に示すように、終点Ｔまでの最短ルート（直線）を例外的にスライドルートとして取得してもよい。この場合、制御部１２０は、図２２右に示すように、開始点Ｓから終点Ｔに向けて直線でコンテンツ３０をスライド移動させる。ここで、情報処理装置１００が図１に示すようなプロジェクション型の場合、コンテンツ３０が物体領域５０ａを通過する際にはコンテンツ３０が物体上に投影されるため、コンテンツ３０が見え難くなったり、物体が皿の場合には料理の見栄えが悪くなったりする。したがって、制御部１２０は、物体領域５０ａを通過する際にはコンテンツ３０が半透明になるよう透過度を制御してもよい。

以上、スライドルートの取得について説明した。次に、スライド速度の取得について図２３、図２４を参照して説明する。フリック操作に応じてコンテンツ３０をスライド移動させる際の速度は、フリック操作時の移動速度、および天面１４１との仮想的な摩擦係数により算出される。ここで、摩擦係数を移動対象のコンテンツのサイズ（容量）に比例させることで、コンテンツの容量の大きさをユーザに直感的に把握させることができる。

例えば、図２３に示すように、１つの音楽ファイルのコンテンツ３０をスライド移動させる際の摩擦係数は、３つの音楽ファイルのコンテンツ３２をまとめてスライド移動させる際の摩擦係数よりも小さくするよう設定する。このように、移動するコンテンツ数（即ちファイル数）が少ない場合は摩擦係数（すなわち抵抗）を小さく設定し、ファイル数が多い場合は摩擦係数を大きく設定することで、同じ移動速度で指をコンテンツから離した場合におけるスライド速度およびスライド距離が異なる。具体的には、図２３に示すように、ファイル数が少ないため摩擦係数を小さく設定されたコンテンツ３０の方が、ファイル数が多いため摩擦係数を大きく設定されたコンテンツ３２よりも速い速度で長い距離を移動する。これにより、ユーザは、スライド移動しているコンテンツの容量の大きさを直感的に把握することができる。

このような摩擦係数は、移動するファイル数に限定されず、ファイルの容量に応じて変化させてもよい。例えば、図２４に示すように、５分間の動画ファイルのコンテンツ３４をスライド移動させる際の摩擦係数は、３０分間の動画ファイルのコンテンツ３５をスライド移動させる際の摩擦係数よりも小さくするよう設定する。このように、移動するコンテンツのサイズ（即ちファイルサイズ）が小さい場合は摩擦係数を小さく設定し、サイズが大きい場合は摩擦係数を大きく設定することで、同じ移動速度で指をコンテンツから離した場合におけるスライド速度およびスライド距離が異なる。具体的には、図２４に示すように、サイズが小さいため摩擦係数を小さく設定されたコンテンツ３４の方が、サイズが大きいため摩擦係数を大きく設定されたコンテンツ３５よりも速い速度で長い距離を移動する。これにより、ユーザは、スライド移動しているコンテンツの容量の大きさを直感的に把握することができる。

以上説明したように、本実施形態では、スライド移動速度算出時に利用する天面１４１との仮想的な摩擦係数を、コンテンツの容量（ファイル数、サイズ）に応じて変化させるので、コンテンツの容量をユーザに直感的に把握させることできる。これにより例えば図２５に示すような利用形態が可能となる。

図２５は、本実施形態によるコンテンツの容量に応じたスライド速度制御による効果について説明する図である。図２５上に示すように、ユーザＡが、お薦めの曲（音楽ファイルのコンテンツ）をいくつか選択してまとめたコンテンツ３２を、ユーザＢが居る方向に向けてフリックし、スライド移動させる。この際、情報処理装置１００は、ユーザＡのフリック操作の移動速度を、コンテンツ３２の容量（例えばサイズの合計）に比例して大きくなる摩擦係数から算出して設定し、コンテンツ３２の移動制御を行う。これにより、ユーザＢは、ユーザＡによるフリック操作やコンテンツ３２がユーザＡ側からスライド移動してくる動作を見て、コンテンツ３２の容量を直感的に把握することができる。

ユーザＢは、把握した容量感に応じて、コンテンツ３２に含まれる全ての音楽ファイルを携帯音楽プレイヤー６に転送すると容量不足になると判断した場合、図２５中央に示すように、コンテンツ３２に含まれる音楽ファイルのコンテンツ３２ａ、３２ｂ、３２ｃを分ける。そして、ユーザＢは、図２５下に示すように、コンテンツ３２ａ〜３２ｃのうち、選択した音楽ファイルだけ（例えばコンテンツ３２ａ）を携帯音楽プレイヤー６に転送することができる。情報処理装置１００は、ユーザ操作によりコンテンツ３２ａが、天面１４１に置かれた携帯音楽プレイヤー６に近づけられた場合、携帯音楽プレイヤー６と無線接続し、コンテンツ３２ａを転送するよう制御する。

図１４に戻り、ステップＳ１１２において、制御部１２０は、上記Ｓ１０９で取得されたスライドルートおよびスライド速度といったコンテンツ制御情報に基づいて、コンテンツの表示を更新、すなわちスライド移動制御を行う。

次に、ステップＳ１１５において、制御部１２０は、終了条件を満たしたか否かを判断する。本実施形態による終了条件については、後述の「３−４．終了条件」で詳細に説明する。

次いで、終了条件を満たしていないと判断された場合（Ｓ１１５／Ｎｏ）、ステップＳ１２１において、制御部１２０は、スライド移動しているコンテンツが、天面１４１に置かれた実物体に近接したか否かを判断する。具体的には、制御部１２０は、入力部１１０から入力された撮像画像、デプス情報等を参照して、コンテンツが実物体に近接したか否かを判断する。

続いて、コンテンツが物体に近接したと判断された場合（Ｓ１２１／Ｙｅｓ）、ステップＳ１２４において、制御部１２０は、「コンテンツ制御情報；物体近接動作」の取得を行う。本実施形態においてコンテンツをスライド移動させる際、図１８に示すように物体を避けたり物体に反射させたりするルートによりコンテンツが物体と重ならないように制御したり、物体を避けるルートが見つからない場合には図２２に示すように物体をそのまま通過するよう制御する旨を説明した。この他、本実施形態による制御部１２０は、物体を避けるルートの有無に関わらず、開始点から終点までの直線上を移動させ、物体をそのまま通過させるルートを取得することも可能である。したがって、上記Ｓ１１２で物体を通過するルートを取得した場合、制御部１２０は、コンテンツが物体に近接した際に物体の性質に応じて所定の物体近接動作を行うよう表示制御する（ステップＳ１２４）。以下、図２６〜図２９を参照して本実施形態による第１〜第４の物体近接動作について説明する。

＜３−３．物体近接動作＞
図２６は、本実施形態による第１の物体近接動作について説明する図である。図２６に示すように、例えば制御部１２０は、物体の色に応じて、コンテンツ３０の透過度を保ったまま皿５ｃを通過させるよう制御する。具体的には、例えば近接した物体が柄のあるものや暗い色のものである場合、プロジェクション型の情報処理装置１００において投影するコンテンツ３０を半透明に制御すると物体を通過する際（重なった際）にユーザがコンテンツ３０を見失う恐れがある。したがって、近接した物体が柄のあるものや暗い色のものである場合、制御部１２０は、コンテンツ３０の透過度を保ったまま物体を通過するよう表示制御する。

図２７は、本実施形態による第２の物体近接動作について説明する図である。図２７に示すように、例えば制御部１２０は、物体の色に応じて、コンテンツ３０を半透過状態にして皿５ｄを通過させるよう制御する。具体的には、例えば近接した物体が白や薄い色のものである場合、プロジェクション型の情報処理装置１００において投影するコンテンツ３０を半透明に制御して物体を通過させてもユーザがコンテンツ３０を見失うことがない。したがって、近接した物体が白や薄い色のものである場合、制御部１２０は、コンテンツ３０を半透過状態に変化させて物体を通過するよう表示制御する。これにより、物体を通過した際にユーザがコンテンツ３０を見失うことを防止し、かつ、コンテンツ３０が重なることで皿５ｄの料理の見栄えを悪くすることを回避することができる。

図２８は、本実施形態による第３の物体近接動作について説明する図である。図２８に示すように、例えば制御部１２０は、物体の素材に応じて、コンテンツ３０を全透過状態（即ち非表示）にして皿５ｅを通過させるよう制御する。具体的には、例えば近接した物体が鏡のような素材やグラスのような透明な素材の場合に、プロジェクション型の情報処理装置１００でコンテンツ３０を物体に投影すると、投影光が物体に反射してユーザの目に入る恐れや、投影光が乱反射してコンテンツ３０の画像が汚くなることが想定される。したがって、近接した物体が鏡やグラスのような光を反射する素材のものである場合、制御部１２０は、コンテンツ３０を全透過状態（即ち非表示）に変化させて物体を通過するよう表示制御する。これにより、物体を通過した際に投影光が反射することを防止することができる。

図２９は、本実施形態による第４の物体近接動作について説明する図である。図２９に示すように、例えば制御部１２０は、物体の状態に応じて、コンテンツ３０を全透過状態（即ち非表示）または透過度を保ったまま皿５ｆを通過させるよう制御する。具体的には、例えば図２９左に示すように、皿５ｆに料理がある場合はコンテンツ３０を全透過状態（即ち非表示）に変化させて物体を通過させ、図２９右に示すように、皿５ｆに料理がない場合はコンテンツ３０の透過度を保ったまま物体を通過させるよう表示制御する。これにより、プロジェクション型の情報処理装置１００において、皿５ｆに料理がある場合はコンテンツ３０を非表示にして通過させることで、ユーザがコンテンツ３０を見失うリスクがあっても、映像が料理に重なって見栄えが悪くなる（不味そうに見える）ことを防ぐことができる。なお料理の有無は、撮像画像やデプス情報に基づいて推定される。また、食べ終わって皿５ｆに料理がなくなった場合は、料理の見栄えを考慮する必要が無くなるので、コンテンツ３０の透過度を変化させずにそのまま通過させて、ユーザがコンテンツ３０を見失うことを防ぐことができる。

以上、近接した物体の性質（色、材質、状態など）に応じたコンテンツ通過時の表示制御について具体的に説明した。このような物体の性質に応じた表示制御情報（コンテンツ制御情報）は、例えば制御部１２０の記憶部（不図示）に記憶されている。

また、上述した例では、ステップＳ１０９において、物体を避けるルート、物体に反射するルート、または物体を通過するルートをスライドルートとして取得する旨を説明したが、本実施形態はこれに限定されず、例えば近接した物体を避けるか通過するかをその物体の性質に応じて変化させるルートを取得することも可能である。このような近接した物体を避けるか通過するかをその物体の性質に応じて変化させるルートを取得した場合における制御部１２０の表示制御例について以下説明する。

例えば近接する物体の高さがユーザの目線よりも高い場合、物体を通過するコンテンツは当該物体の上面に投影されるためユーザからは見えず、コンテンツが当該物体と重なった位置で止まった場合にユーザはコンテンツを見失ってしまうため、制御部１２０は、所定値より高い物体にコンテンツが近接した場合はこれを避けるよう制御する。

また、近接する物体が鏡やグラスのように光を反射する素材の場合、投影光が乱反射して画像が汚くなるため、制御部１２０は、このような素材の物体にコンテンツが近接した場合はこれを避けるよう制御してもよい。

また、近接する物体に料理が盛られている場合、投影光が重なり料理の見栄えが悪くなるため、制御部１２０は、このような料理が盛られた物体にコンテンツが近接した場合はこれを避けるよう制御してもよい。

また、長時間置かれている物体は予め位置を把握できるが、一時的に置かれる物体はルート取得時（スライド開始時）には予め位置を把握することができないため、制御部１２０は、予め位置を把握した物体（長時間置かれている物体）に近接した場合はこれを避け、一時的に置かれた物体はこれを通過するよう制御してもよい。

また、リアプロジェクション型や平置きディスプレイ型の情報処理装置１００の場合に、コンテンツのスライド移動が物体の置かれた位置で停止してしまうと、ユーザはコンテンツを見失ったり、コンテンツを操作するために物体を移動したりしなければならなかった。特に近接する物体が長時間置かれている物である場合、当該物体が重くて動かすことが容易ではないことや当該物体の定位置を変更することが望ましくないことが想定されるため、制御部１２０は、長時間置かれている物体は避けるよう制御し、一時的に置かれた物体は通過するよう制御してもよい。

＜３−４．終了条件＞
続いて、上記Ｓ１１５で言及した「終了条件」について、図３０〜図３１を参照して説明する。

図３０は、本実施形態による第１の終了条件について説明する図である。図３０に示すように、制御部１２０は、例えばコンテンツ３０のスライド移動を、天面１４１との仮想的な摩擦により失速させて停止させる。

図３１は、本実施形態による第２の終了条件について説明する図である。図３１に示すように、制御部１２０は、コンテンツ３０に近接する手が特定の形状である場合にコンテンツ３０のスライド移動を停止するよう制御する。より具体的には、図３１に示すように、例えばコンテンツ３０の進行方向に対向するよう手の平を向けて、天面１４１に対して垂直に立てた状態を特定の形状と認識される。

以上、本実施形態による終了条件について説明したが、本開示による終了条件は一例であって、この他、例えば天面１４１の端に到達した際に停止するよう制御してもよい。

＜３−５．終了処理＞
図１４に戻り、終了条件を満たしたと判断された場合（Ｓ１１５／Ｙｅｓ）、ステップＳ１１８において、制御部１２０は、所定の終了処理を行うよう制御する。ここで、本実施形態による終了処理について図３２〜図３７を参照して具体的に説明する。

図３２は、本実施形態による第１の終了処理について説明する図である。図３２に示すように、コンテンツ３０が失速した位置の近くに皿５などの実物体が置かれている場合、制御部１２０は、コンテンツ３０が当該実物体に吸い寄せられるよう表示制御し、さらに実物体の周囲にコンテンツ３０を整列させるよう表示制御する。これにより、実物体の周囲にスライド移動された各コンテンツが乱雑に表示されることを防止することができる。また、制御部１２０は、コンテンツ３０が失速して停止した時点で皿５などの実物体に重なっていた場合、停止位置をずらして実物体と重ならないように位置に移動させてもよい。

このように、本実施形態による制御部１２０は、一例としてコンテンツ３０が失速した場所近くに置かれている実物体に応じた終了処理を行う。また、制御部１２０は、実物体が通信機能を有している場合に、コンテンツの種別と実物体が取り扱うデータの種別が一致する場合に、コンテンツを実物体に転送する終了処理を行うことも可能である。以下、図３３を参照して説明する。

図３３は、本実施形態による第１の他の終了処理について説明する図である。図３３左に示すように、スライド移動しているコンテンツ３７が写真ファイルであって、コンテンツ３７の停止位置付近に置かれている実物体が、デジタルカメラやスマートフォン等の写真ファイルを取り扱う装置の場合、制御部１２０は、デジタルカメラ７と無線接続し、コンテンツ３７をデジタルカメラ７に転送するよう制御する。一方、図３３右に示すように、スライド移動しているコンテンツ３０が音楽ファイルであって、コンテンツ３０の停止位置付近に置かれている実物体が音楽ファイルを取り扱わないデジタルカメラ７である場合、制御部１２０は、デジタルカメラ７への転送は行わない。

以上、コンテンツが失速した場所近くに置かれている実物体に応じた終了処理について説明した。本実施形態による制御部１２０は、さらに、コンテンツが失速した場所近くに表示されているアプリケーションＧＵＩに応じた終了処理を行うことも可能である。以下、図３４〜図３５を参照して説明する。

図３４は、本実施形態による第２の終了処理について説明する図である。図３４に示すように、スライド移動しているコンテンツ３７が写真ファイルであって、コンテンツ３７の停止位置付近に表示されているＧＵＩが写真ファイルを取り扱う写真アプリケーションＧＵＩ４５の場合、制御部１２０は、コンテンツ３７を写真アプリケーションＧＵＩ４５に取り込んで写真アプリケーションＧＵＩ４５内に表示するよう制御する。

図３５は、本実施形態による第２の他の終了処理について説明する図である。図３５に示すように、スライド移動しているコンテンツ３８が写真ファイルであって、コンテンツ３８の停止位置付近に表示されているＧＵＩがメール画面４６の場合、制御部１２０は、コンテンツ３８をメール画面４６に貼付するよう制御する。

このように、同じ種別のコンテンツ（図３４、図３５に示す例では写真ファイル）であっても、近くに表示されているアプリケーションによって異なる終了処理（例えば図３４に示す例ではアプリケーションへの取り込みと表示、図３５に示す例ではメールへの添付）が行われる。

また、本実施形態による制御部１２０は、コンテンツが相手ユーザ側で停止した場合（人の近くで停止した場合）、利用者に最適化されるようコンテンツの表示を変化させる終了処理を行うよう制御することも可能である。以下、図３６〜図３７を参照して説明する。

図３６は、本実施形態による第３の終了処理について説明する図である。図３６に示すように、例えばユーザＢ側にコンテンツ３７がスライド移動された場合、制御部１２０は、ユーザＢから見やすい方向にコンテンツ３７を回転させるよう表示制御する。また、ユーザＢ側に複数のコンテンツがスライド移動された場合、制御部１２０は、ユーザＢ側の天面１４１の端に、複数のコンテンツが重ならないよう整列させてもよいし、複数のコンテンツを重ねて表示させてもよい。また、制御部１２０は、ユーザＢ側の端で複数のコンテンツを重ねて表示する際、各コンテンツの少なくとも一部は見えるよう、乱数を利用して重なり位置を調整する。

図３７は、本実施形態による第３の他の終了処理について説明する図である。図３７に示すように、制御部１２０は、コンテンツが停止した近くに居る人の属性に応じて、コンテンツの表示を最適化させる。具体的には、図３７左に示すように、コンテンツ３９が停止した近くに居るユーザＣが高齢者の場合、制御部１２０は、例えばコンテンツ３９のフォントサイズや画像サイズ等を大きくするよう制御する。また、図３７右に示すように、コンテンツ４０が停止した近くに居るユーザＤが外国人の場合、制御部１２０は、例えばコンテンツ４０の文章を翻訳文に変更したり、ロケールを変更したりするよう制御する。なお、人物の属性は、入力部１１０により取得される撮像画像等の解析により得られる。なお、コンテンツ内容の表示の最適化に関して、表示面の領域ごとにどのような変更を加えるべきかの情報が紐づけられ、移動先が含まれる領域に紐づけられた変更内容にて変更を加えてもよい。例えば、英語の領域、ドイツ語の領域、文字を大きく表示させる領域などが予め設定され、コンテンツの移動先が含まれる領域ごとに、英語翻訳、ドイツ語翻訳、文字の拡大などの変更が加えられる。

＜＜４．補足＞＞
以上、本開示による情報処理システムについて詳細に説明した。次いで、本開示による情報処理システムの補足について説明する。

＜４−１．スライド中の誤動作の防止＞
本実施形態では、スライド移動中のコンテンツに対する操作は受け付けないようにしてもよい。より具体的には、制御部１２０は、スライド中のコンテンツの制御は、コンテンツ自体の表示制御（ｘｙ移動、透明度、回転など）に留め、コンテンツ（ＧＵＩ）内へのイベント（コンテンツ内のリンクやボタンをクリックするなど）は受け付けないようにする。これにより、スライド中の意図しないイベントを受け付けて誤動作することを防止することができる。以下、図３８、図３９を参照して一例を説明する。

図３８、図３９は、スライド中のコンテンツへのイベントを受付けないことについて説明する図である。ここでは、例えば天面１４１にゲームアプリケーションのＧＵＩ（コンテンツ４２）が表示され、ユーザＡとユーザＢが対戦を行っている場合を想定する。まず、図３８左に示すように、ユーザＡはゲームボード画面のコンテンツ４２に対して一手目を入力すると、図３８右に示すように、コンテンツ４２を対戦者のユーザＢの方向へスライド移動させる。

ここで、制御部１２０は、コンテンツ４２をユーザＢ側にスライド移動させている途中で、図３９左に示すように傍観者であるユーザＣが天面１４１を叩いている場所をコンテンツ４２が通過し、誤ってコンテンツ４２がタップされたとしても、操作を受付けないようにする。これにより、スライド中のコンテンツ４２誤動作（例えば手番が進んでしまうなど）を防止することができる。そして、図３９右に示すように、コンテンツ４２がユーザＢ側に到達して停止すると、制御部１２０は、ユーザＢによる二手目の入力を受付ける。

＜４−２．スライド方向延長線上に存在する装置への転送＞
上述した実施形態では、例えば図２５に示すように、天面１４１に置かれた携帯音楽プレイヤー６の近くにコンテンツ３２ａが移動された場合、制御部１２０は携帯音楽プレイヤー６にコンテンツ３２ａを転送するよう制御する。また、図３３に示す例では、天面１４１に置かれたデジタルカメラ７の近くにコンテンツ３７が移動された場合に、制御部１２０がデジタルカメラ７にコンテンツ３７を転送するよう制御している。このように、本実施形態による制御部１２０は、天面１４１に置かれている通信機能を有する装置と無線接続し、当該装置の近くに移動されたコンテンツを自動転送することが可能である。

このような本実施形態によるコンテンツの転送は、天面１４１上に置かれた装置への転送に限定されず、例えばテーブル１４０の周囲に置かれている装置に転送してもよい。以下、図４０を参照して一例を説明する。

図４０は、本実施形態による情報処理システムのデータ転送の補足について説明する図である。図４０では、プロジェクション型の情報処理装置１００ａが、プロジェクタで構成されている出力部１３０ａによりテーブル１４０ａの天面１４１ａにコンテンツ３５を投影して表示している。ユーザによるコンテンツ３５への操作は、カメラおよび深度センサで構成された入力部１１０ａにより入力された情報に基づいて認識され、制御部１２０は、入力部１１０ａから入力される操作内容に応じてコンテンツ３５の表示制御を行う。具体的には、制御部１２０は、ユーザによるコンテンツ３５のフリック操作に応じて、コンテンツ３５をフリック操作時の移動方向にスライド移動させる。

ここで、図４０に示すように、コンテンツ３５がスライド移動する先の、ユーザと対向する側には他のユーザは存在せず、また、天面１４１ａ上にも実物体が置かれていないが、さらにスライド移動方向の延長線上には、テレビジョン装置８が存在する。

制御部１２０は、スライド移動しているコンテンツ３５が動画ファイルであって、スライド移動の延長線上に動画ファイルを再生するテレビジョン装置８が存在する場合、図４０において天面１４１ａの左端の所定の領域Ｓ１２に到達したコンテンツ３５をテレビジョン装置８に転送するよう制御する。転送されたコンテンツ３５は、テレビジョン装置８で再生される。

このように、本実施形態では、コンテンツのスライド方向に応じて、テーブル１４０ａから離れた場所にある装置（テレビジョン装置、オーディオ装置等）への転送も可能となる。テーブル１４０ａと周囲の装置との位置関係は、例えばカメラで構成される入力部１１０ａにより取得されるテーブル１４０ａの周囲の撮像画像や、情報処理装置１００ａと周囲の装置との通信により把握され得る。

＜４−３．その他＞
本実施形態において、制御部１２０は、ユーザのフリック操作に応じてコンテンツをスライド移動させる際に、移動開始時から所定時間（例えば３秒ほど）の間、移動するコンテンツの軌跡を表示してもよい。当該軌跡は、例えばコンテンツから延長された紐形状で表示される。そして、制御部１２０は、ユーザが当該軌跡を示す紐を押さえて手前に戻す操作を行った場合には、スライド移動させたコンテンツが紐に引っ張られて戻るよう表示制御することも可能である。

若しくは、上記軌跡を表示しない場合でも、コンテンツをスライド移動させた際に、移動開始から所定時間の間にコンテンツのフリック操作を行ったユーザの手がコンテンツを止める特定の動きまたは形状になった場合は、スライド移動させたコンテンツを戻すよう表示制御することも可能である。

このように、誤ってフリック操作してしまった場合でも、例外的にコンテンツの移動を停止させて戻すことが可能となる。

また、ユーザがコンテンツをフリックして表示面をスライド移動させる際に、コンテンツを到達させたい相手ユーザの名前を発した場合、制御部１２０は、音声解析により相手ユーザを認識し、認識した相手ユーザが居る方向とコンテンツのスライド方向が異なっている場合はこれを修正し、コンテンツが相手ユーザに届くよう表示制御することも可能である。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、実物体との位置関係に応じて、表示された仮想物体の移動制御を行うことで、より適切かつ効率的に情報表示を行うことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本開示による情報処理システムについて、図１〜図３を参照し、プロジェクション型、リアプロジェクション型、および平置きディスプレイ型を示したが、本実施形態はこれに限定されない。例えば、情報処理装置１００がＨＭＤ（Head Mounted Display）で構成されていてもよい。この場合、情報処理装置１００は、ＨＭＤの表示部（出力部１３０）を介したユーザの視界において、例えば天面１４１に情報が表示されているように表示制御する。そして、情報処理装置１００は、天面１４１上の情報に対するユーザ操作（天面１４１に指等を接触させて動かすドラッグ操作やフリック操作等）を、ＨＭＤに設けられたカメラや深度センサ等の入力部１１０により取得する。また、情報処理装置１００のうち、出力部１３０がＨＭＤにより構成されていてもよい。

また、上記実施形態では、コンテンツ制御情報が、制御部１２０の記憶部（ローカルメモリ）に格納されている旨を説明したが、本実施形態はこれに限定されず、制御部１２０の通信機能により接続されるネットワーク上のサーバ（外部メモリ）に格納されていてもよい。

また、上述した実施形態では、実物体の性質情報（大きさ、皿、状態等）に応じて仮想物体の移動制御の仕方（通過、避ける等）を変えたが、本実施形態はこれに限定されない。例えば、実物体の性質情報および仮想物体の性質情報に応じて仮想物体の移動制御の仕方を変えてもよいし、仮想物体の性質情報のみに応じて仮想物体の移動制御の仕方を変えてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部を備え、
前記制御部は、前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、情報処理装置。
（２）
前記制御部は、前記ユーザ操作が行われた後、さらなるユーザ操作なしに物体を移動させて表示させる、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記仮想物体に対する所定のユーザ操作の移動方向および移動速度に基づく前記仮想物体の移動速度および移動経路を取得する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記仮想物体が前記実物体を避けて移動するように表示制御を行う、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記仮想物体が前記実物体を通過して移動するように表示制御を行う、前記（３）に記載の情報処理装置。
（６）
前記制御部は、近接する前記実物体に関連付けられる情報に基づいて前記仮想物体の移動の仕方が変わるように表示制御を行う、前記（３）に記載の情報処理装置。
（７）
前記制御部は、前記仮想物体に関連付けられる情報に基づいて、前記仮想物体の移動の仕方が変わるように表示制御を行う、前記（３）に記載の情報処理装置。
（８）
前記制御部は、近接する前記実物体の性質を表す情報に基づいて、前記仮想物体が前記実物体を避けて移動する、または前記仮想物体が前記実物体を通過して移動するように表示制御を行う、前記（６）に記載の情報処理装置。
（９）
前記制御部は、前記実物体を通過する際、前記実物体の性質に応じて前記仮想物体の透過度を制御する、前記（８）に記載の情報処理装置。
（１０）
前記移動速度は、前記所定のユーザ操作時の移動速度と、表示面との仮想的な摩擦係数に基づいて算出される、前記（３）に記載の情報処理装置。
（１１）
前記仮想的な摩擦係数は、前記仮想物体のデータ量に比例して設定される、前記（１０）に記載の情報処理装置。
（１２）
前記仮想物体は、アプリケーションＧＵＩ、メディアファイル、または画像データである、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、前記仮想物体の移動制御中は、前記仮想物体への操作入力を受付けない、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記制御部は、前記仮想物体の移動制御中に、前記仮想物体に近接するユーザの手が特定の形状である場合は、前記仮想物体が前記ユーザの手に衝突して止まるよう制御する、前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記仮想物体の移動が停止した際に、近くに表示されている他の仮想物体の機能、または近くに存在する実物体の性質に応じた終了処理を前記仮想物体に対して行う、前記（１）〜（１４）のいずれか１項に記載の情報処理。
（１６）
前記制御部は、出力部により前記仮想物体を表示面に表示するよう制御する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記出力部は、表示装置、プロジェクタ、またはＨＭＤである、前記（１６）に記載の情報処理装置。
（１８）
前記仮想物体に対するユーザ操作は、入力部から入力された情報に基づいて取得される、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御することを含み、
前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、制御方法。
（２０）
コンピュータを、
表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部として機能させ、
前記制御部は、前記仮想物体を移動させる際に、前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて前記仮想物体の表示制御を行う、プログラム。

１００、１００ａ〜１００ｃ 情報処理システム
１１０、１１０ａ〜１１０ｃ 入力部
１２０ 制御部
１２１ 検出部
１２２ 出力制御部
１３０、１３０ａ〜１３０ｃ 出力部

Claims (17)

1. 表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部を備え、
   前記制御部は、
   前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて、前記仮想物体の移動を制御し、
   前記仮想物体を移動させる際、前記実物体の性質に基づいて、前記仮想物体の透過度を制御する、情報処理装置。
2. 前記制御部は、
   前記実物体の性質に応じて、前記実物体を回避して移動するか通過して移動するかを判断する、請求項１に記載の情報処理装置。
3. 前記制御部は、
   前記仮想物体が前記実物体を通過して移動する際、前記実物体の性質に応じて、前記仮想物体を一時的に透過させるか否かを判断する、請求項１または２に記載の情報処理装置。
4. 前記実物体の性質は、前記実物体の色、柄、材質、または状態である、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記制御部は、前記ユーザ操作が行われた後、さらなるユーザ操作なしに物体を移動させて表示させる、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記制御部は、前記仮想物体に対する所定のユーザ操作の移動方向および移動速度に基づいて、前記仮想物体の移動速度および移動経路を取得する、請求項２に記載の情報処理装置。
7. 前記移動速度は、前記所定のユーザ操作時の移動速度と、表示面との仮想的な摩擦係数に基づいて算出され、
   前記仮想的な摩擦係数は、前記仮想物体のデータ量に比例して設定される、請求項６に記載の情報処理装置。
8. 前記制御部は、前記仮想物体の性質に基づいて、前記仮想物体の移動の仕方が変わるように表示制御を行う、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記仮想物体は、アプリケーションＧＵＩ、メディアファイル、または画像データである、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記制御部は、前記仮想物体の移動制御中は、前記仮想物体への操作入力を受付けない、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記制御部は、前記仮想物体の移動制御中に、前記仮想物体に近接するユーザの手が特定の形状である場合は、前記仮想物体が前記ユーザの手に衝突して止まるよう制御する、請求項１０に記載の情報処理装置。
12. 前記制御部は、前記仮想物体の移動が停止した際に、近くに表示されている他の仮想物体の機能、または近くに存在する実物体の性質に応じた終了処理を前記仮想物体に対して行う、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記制御部は、出力部により前記仮想物体を表示面に表示するよう制御する、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記出力部は、表示装置、プロジェクタ、またはＨＭＤである、請求項１３に記載の情報処理装置。
15. 前記仮想物体に対するユーザ操作は、入力部から入力された情報に基づいて取得される、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御することと、
    前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて、前記仮想物体の移動を制御することと、
    を含み、
    前記仮想物体を移動させる際、前記実物体の性質に基づいて、前記仮想物体の透過度を制御する、制御方法。
17. コンピュータを、
    表示された仮想物体に対するユーザ操作に応じて前記仮想物体の表示を制御する制御部として機能させ、
    前記制御部は、
    前記仮想物体の移動経路付近に存在する実物体との位置関係に応じて、前記仮想物体の移動を制御し、
    前記仮想物体を移動させる際、前記実物体の性質に基づいて、前記仮想物体の透過度を制御する、プログラム。

Images