JP2015115046A - 情報処理装置、プログラム、情報処理方法及び情報処理システム - Google Patents

Abstract

【課題】電子機器のタイプごとの特徴をより効果的に活用して複数の電子機器間の連携のユーザビリティを高めることのできる、改善された仕組みを提供すること。【解決手段】画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させる表示制御部と、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部と、を備える情報処理装置を提供する。【選択図】図８

Description

本開示は、情報処理装置、プログラム、情報処理方法及び情報処理システムに関する。

近年、スマートフォン及びタブレットＰＣ（Personal Computer）に代表される高性能な電子機器が広く普及している。これら電子機器を複数所持するユーザにとって、機器間のデータ連携又はユーザインタフェース連携のユーザビリティは、重要な関心事の１つである。同じことは、複数のユーザがそれぞれ所持する電子機器の間の連携についても言える。

電子機器の間のインタラクションは、多くの場合、機器間で確立される無線リンクを介して行われる。例えば、特許文献１は、ＨＭＤ（Head Mounted Display）デバイスにより撮像される画像に映る２つの電子機器の間でデータを送受信するようにＨＭＤデバイスから指示を出力することを可能とする技術を提案している。特許文献１によれば、データ送信先の機器は、ＨＭＤデバイスにより撮像される画像とデータ送信元の機器上でのユーザ入力の方向（例えば、ドラッグ方向）とに基づいて選択される。

特開２０１１−１６４６６６号公報

いくつかの電子機器は、比較的サイズの大きい画面を有する。例えば、ＰＣ又はテレビジョン装置の画面の多くは、多様なユーザインタフェースを表示するために十分なサイズを有する。一方、スマートフォン、デジタルカメラ又はゲーム端末のようなポータブルな小型の機器は、機器自体をユーザが容易に動かすことができるため、例えばポインティング（位置を特定する動作）などのユーザ入力のために利用可能である。しかし、既存の技術は、こうした機器のタイプごとの特徴を十分に活かしたユーザインタフェースを提供していない。例えば、特許文献１により提案された技術により実現されるポインティングの精度は粗い。そのため、当該技術は、精細な位置の特定（例えば、機器の画面上の入力位置の特定）のためには適していない。

そこで、本開示に係る技術は、電子機器のタイプごとの特徴をより効果的に活用して複数の電子機器間の連携のユーザビリティを高めることのできる改善された仕組みを提供することを目的とする。

本開示によれば、画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させる表示制御部と、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部と、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置を制御するプロセッサを、画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させ、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する、ように機能させるためのプログラムが提供される。

また、本開示によれば、画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムにおいて、前記第１デバイスの前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させることと、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得することと、を含む情報処理方法が提供される。

また、本開示によれば、画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムであって、前記第１デバイスは、前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させる表示制御部、を備え、前記第１デバイス又は前記第２デバイスは、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部、を備える、情報処理システムが提供される。

本開示に係る技術によれば、画面を有するデバイスとカメラを有するデバイスとの間の新たなポインティングの仕組みによって、これらデバイス間の連携のユーザビリティを高めることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

情報処理システムの概要について説明するための第１の説明図である。 情報処理システムの概要について説明するための第２の説明図である。 表示側デバイスのハードウェア構成の一例を示すブロック図である。 撮像側デバイスのハードウェア構成の一例を示すブロック図である。 第１の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。 第２の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。 第３の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。 撮像側デバイスについて定義され得るプロファイルデータについて説明するための説明図である。 判定用パターンの第１の例を示す説明図である。 判定用パターンの第１の例に基づくカメラの相対位置及び回転量の判定について説明するための説明図である。 判定用パターンの第２の例を示す説明図である。 判定用パターンの第２の例に基づくカメラの相対位置及び回転量の判定について説明するための説明図である。 判定用パターンの第３の例を示す説明図である。 判定用パターンの第４の例を示す説明図である。 第１の実施例において静止画パターンが使用される場合の表示側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第１の実施例において静止画パターンが使用される場合の撮像側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第２の実施例において静止画パターンが使用される場合の表示側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第２の実施例において静止画パターンが使用される場合の撮像側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第１の実施例において動画パターンが使用される場合の表示側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第１の実施例において動画パターンが使用される場合の撮像側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第２の実施例において動画パターンが使用される場合の表示側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 第２の実施例において動画パターンが使用される場合の撮像側デバイスの判定フェーズの処理の流れの一例を示すフローチャートである。 デバイス間のデータ連携のためのＵＩの第１の例を示す説明図である。 デバイス間のデータ連携のためのＵＩの第２の例を示す説明図である。 デバイス間のデータ連携のためのＵＩの第３の例を示す説明図である。 デバイス間のデータ連携のためのＵＩの第４の例を示す説明図である。 デバイス間のデータ連携のためのＵＩの第５の例を示す説明図である。 デバイス間のデータ連携のためのＵＩの第６の例を示す説明図である。 ポインティングＵＩの第１の例を示す説明図である。 ポインティングＵＩの第２の例を示す説明図である。 ポインティングＵＩの第３の例を示す説明図である。 ポインティングＵＩの第４の例を示す説明図である。 ポインティングＵＩの第５の例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．システムの概要
２．ハードウェア構成例
２−１．表示側デバイス
２−２．撮像側デバイス
３．論理的機能の配置
４．準備フェーズの詳細
５．判定フェーズの詳細
５−１．判定用パターンの例
５−２．位置判定の流れ
６．ＵＩ処理フェーズの詳細
６−１．データ連携
６−２．ポインティングＵＩ
７．まとめ

＜１．システムの概要＞
まず、図１及び図２を用いて、一実施形態に係るシステムの概要を説明する。図１は、本開示に係る技術が適用される得る情報処理システムの概要について説明するための第１の説明図である。図１を参照すると、情報処理システム１ａは、タブレットＰＣ１００ａ及びスマートフォン２００ａを含む。

タブレットＰＣ１００ａは、ディスプレイ１０２ａを有する情報処理装置である。ディスプレイ１０２ａの画面のサイズは、少なくとも画面上にスマートフォン２００ａを載置できる程度に大きい。スマートフォン２００ａは、カメラ２０２ａを有する情報処理装置である。カメラ２０２ａのレンズは、典型的には、スマートフォン２００ａの背面（画面の裏側の面）に配設される。タブレットＰＣ１００ａ及びスマートフォン２００ａは、共に無線通信インタフェース（図示せず）を有し、無線リンクを介して互いに通信することができる。

タブレットＰＣ１００ａ及びスマートフォン２００ａのような複数の電子機器が存在する場合、機器間のデータ連携又はユーザインタフェース連携のユーザビリティは、ユーザにとっての重要な関心事の１つである。ユーザインタフェースを連携させる最も原始的な手法は、スマートフォン２００ａの背面に、タッチパネルへの入力用の部品を取り付けることであろう。例えば、導電性を有する材料（例えば、ゴム、樹脂又は金属など）で形成される突起をスマートフォン２００ａの背面に取り付けることで、静電容量方式及び感圧式などのいくつかの方式のタッチパネルへの入力が可能となる。しかし、この手法は、単にスマートフォン２００ａをタッチペンのような操作子として扱うことを可能とするに過ぎない。また、追加的な部品の取り付けは、ユーザにとって望ましくないであろう。

一方、特許文献１により提案された技術によれば、タブレットＰＣ１００ａ及びスマートフォン２００ａを映した画像がＨＭＤデバイスによって撮像され、その撮像画像に基づく画像認識を通じて機器間のデータ連携が実現される。しかし、ユーザは、ＨＭＤデバイスを常に有するわけではない。また、電子機器を遠隔的に撮像するＨＭＤデバイスの撮像画像に基づく画像認識では、ユーザインタフェースの鍵となるポインティングを、低い精度でしか実現できない。

ここで、タブレットＰＣ１００ａのように比較的サイズの大きい画面を有する電子機器は、何らかのユーザインタフェースを表示するために適している。一方、スマートフォン２００ａのように小型の電子機器は、機器自体をユーザが容易に動かすことができるため、ポインティングなどのユーザ入力のために利用可能である。そこで、本開示に係る技術は、電子機器間の連携のユーザビリティを高めるために、これら特徴を活用する。

より具体的には、タブレットＰＣ１００ａの画面にカメラ２０２ａが対向するように、スマートフォン２００ａがタブレットＰＣ１００ａに載置されるものとする。実際には、タブレットＰＣ１００ａとスマートフォン２００ａとの間には、いくらかの空間が存在してものよい。このようにスマートフォン２００ａがタブレットＰＣ１００ａに載置された状態で、タブレットＰＣ１００ａが画面に所定のパターンを表示させると、カメラ２０２ａは、表示されたパターン（又はその一部）を撮像する。そして、タブレットＰＣ１００ａ又はスマートフォン２００ａは、撮像されたパターンを解析することにより、タブレットＰＣ１００ａの画面に対するカメラ２０２ａの相対位置を取得する。このように取得されるカメラ２０２ａの相対位置は、タブレットＰＣ１００ａとスマートフォン２００ａとの間の連携のユーザビリティを高めるために使用される。

図２は、本開示に係る技術が適用される得る情報処理システムの概要について説明するための第２の説明図である。図２を参照すると、情報処理システム１ｂは、テレビジョン装置１００ｂ及びデジタルカメラ２００ｂを含む。

テレビジョン装置１００ｂは、ディスプレイ１０２ａを有する。ディスプレイ１０２ａの画面のサイズは、デジタルカメラ２００ｂと比較するとより大きい。デジタルカメラ２００ｂは、レンズ２０２ｂを有する。テレビジョン装置１００ｂ及びデジタルカメラ２００ｂは、共に無線通信インタフェース（図示せず）を有し、無線リンクを介して互いに通信することができる。

情報処理システム１ｂにおいて、デジタルカメラ２００ｂは、テレビジョン装置１００ｂの画面にレンズ２０２ｂが対向するように、ユーザにより保持されるものとする。このようにデジタルカメラ２００ｂが保持された状態で、テレビジョン装置１００ｂが画面に所定のパターンを表示させると、デジタルカメラ２００ｂは、表示されたパターン（又はその一部）を撮像する。そして、テレビジョン装置１００ｂ又はデジタルカメラ２００ｂは、撮像されたパターンを解析することにより、テレビジョン装置１００ｂの画面に対するレンズ２０２ｂの相対位置を取得する。このように取得される相対位置は、テレビジョン装置１００ｂとデジタルカメラ２００ｂとの間の連携のユーザビリティを高めるために使用される。

上述したように、本開示に係る技術は、所定のパターンを表示する表示側デバイスと、表示側デバイスにより表示される当該所定のパターンを撮像する撮像側デバイスとを用いて実現される。以下の説明では、タブレットＰＣ１００ａ及びテレビジョン装置１００ｂは、表示側デバイス１００と総称される。表示側デバイス１００は、上述した例に限定されず、例えばノートブックＰＣ、デスクトップＰＣ、テーブル型端末、キオスク端末又はナビゲーション装置などの、比較的サイズの大きい画面を有する任意の種類のデバイスであってよい。また、スマートフォン２００ａ及びデジタルカメラ２００ｂは、撮像側デバイス２００と総称される。撮像側デバイス２００は、上述した例に限定されず、例えばポケットＰＣ、ＰＤＡ（Personal Digital Assistant）、ゲーム端末又はオーディオプレーヤなどの、カメラを有する比較的小型の任意の種類のデバイスであってよい。

＜２．ハードウェア構成例＞
［２−１．表示側デバイス］
図３は、表示側デバイス１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、表示側デバイス１００は、ディスプレイ１０２、センサ１０４、入力インタフェース１０６、メモリ１０８、チューナ１１０、スピーカ１１２、無線通信インタフェース１１４、バス１１６、プロセッサ１１８及びバッテリ１１９を備える。

（１）ディスプレイ
ディスプレイ１０２は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）ディスプレイ、ＰＤＰ（Plasma Display Panel）又はＣＲＴ（Cathode Ray Tube）などの表示モジュールである。ディスプレイ１０２は、撮像側デバイスと比較して相対的にサイズの大きい画面と、表示回路とを含む。ディスプレイ１０２は、表示側デバイス１００と物理的に一体的に構成されなくてもよい。例えば、接続端子及び信号線（例えば、ＨＤＭＩ信号又はＲＧＢ信号用のケーブル）を介して表示側デバイス１００と接続されるモジュールが、ディスプレイ１０２として扱われてもよい。

（２）センサ
センサ１０４は、加速度センサ、測位センサ、ジャイロセンサ及び地磁気センサなどの様々なセンサを含み得るセンサモジュールである。センサ１０４により生成されるセンサデータは、ユーザ入力の検出又は撮像側デバイスの検出などの様々な用途のために利用されてよい。

（３）入力インタフェース
入力インタフェース１０６は、ユーザが表示側デバイス１００を操作し又は表示側デバイス１００へ情報を入力するために使用される入力モジュールである。入力インタフェース１０６は、例えば、ディスプレイ１０２の画面へのタッチを検出するタッチパネルを含んでもよい。その代わりに（又はそれに加えて）、入力インタフェース１０６は、ボタン、スイッチ、キーパッド又はポインティングデバイスなどのその他の種類の入力デバイスを含んでもよい。また、入力インタフェース１０６は、マイクロフォン（図示せず）を介して取得されるユーザの音声から音声コマンドをユーザ入力として認識する音声入力モジュールを含んでもよい。

（４）メモリ
メモリ１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、表示側デバイス１００による処理のためのプログラム及びデータを記憶する。メモリ１０８により記憶されるデータは、センサデータ、後に説明するプロファイルデータ、コンテンツデータ、及びアプリケーションデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、メモリ１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（５）チューナ
チューナ１１０は、放送局からアンテナを介して受信される放送信号に含まれる所望のチャンネルの映像信号を抽出する。チューナ１１０が抽出すべき映像信号のチャンネルは、入力インタフェース１０６を介して取得されるユーザ入力に従って選択され得る。表示側デバイス１００は、チューナ１１０から出力される映像信号を復号することにより、映像コンテンツを再生することができる。

（６）スピーカ
スピーカ１１２は、音声を出力するための出力モジュールである。スピーカ１１２は、音声コンテンツを再生するために使用されてもよい。また、スピーカ１１２は、ユーザ入力の検出、無線リンクの確立、アプリケーションの起動及びデータの送信又は受信などの様々なタイミングで効果音又は警告音を発するために使用されてもよい。

（７）無線通信インタフェース
無線通信インタフェース１１４は、表示側デバイス１００と他のデバイスとの間の無線通信を仲介する通信モジュールである。無線通信インタフェース１１４は、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、ワイヤレスＵＳＢ若しくはTransferJet（登録商標）などの近距離無線通信方式、ＷＣＤＭＡ、ＷｉＭＡＸ（登録商標）、ＬＴＥ若しくはＬＴＥ−Ａなどのセルラ通信方式、又は無線ＬＡＮ（Local Area Network）方式といった、任意の無線通信方式に従って無線通信を実行してよい。

（８）バス
バス１１６は、ディスプレイ１０２、センサ１０４、入力インタフェース１０６、メモリ１０８、チューナ１１０、スピーカ１１２、無線通信インタフェース１１４及びプロセッサ１１８を互いに接続する。

（９）プロセッサ
プロセッサ１１８は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）又はＳｏＣ（System-on-a-Chip）に相当し得る制御モジュールである。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを制御回路を用いて実行することにより、後に説明する表示側デバイス１００の様々な論理的機能を動作させる。

（１０）バッテリ
バッテリ１１９は、破線で部分的に示した給電線を介して、図３に示した表示側デバイス１００の各ブロックへ電力を供給する。バッテリ１１９から各ブロックへの電力の供給は、例えば、表示側デバイス１００の筐体に設けられる電源ボタンが押下された場合に開始され又は終了され得る。バッテリ１１９は、表示側デバイス１００の筐体から取り外し可能であってもよい。

なお、表示側デバイス１００は、図３を用いて説明した構成の一部を有しなくてもよく、又は追加的な構成を有していてもよい。例えば、表示側デバイス１００が外部電源（例えば商用電源）と接続可能である場合には、バッテリ１１９は、表示側デバイス１００の構成から省略されてもよい。また、図３を用いて説明した構成の全体又は一部を集積したワンチップの情報処理モジュールが提供されてもよい。

［２−２．撮像側デバイス］
図４は、撮像側デバイス２００のハードウェア構成の一例を示すブロック図である。図４を参照すると、撮像側デバイス２００は、カメラ２０２、センサ２０４、入力インタフェース２０６、メモリ２０８、ディスプレイ２１０、スピーカ２１２、無線通信インタフェース２１４、バス２１６、プロセッサ２１８及びバッテリ２１９を備える。

（１）カメラ
カメラ２０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて画像を撮像する撮像モジュールである。カメラ２０２は、レンズと、上述した一群の撮像素子と、撮像回路とを含む。カメラ２０２のレンズは、典型的には、撮像側デバイス２００の背面に配設され得る。カメラ２０２により生成される撮像画像は、静止画であってもよく、又は動画を構成する一連のフレームの各々であってもよい。

（２）センサ
センサ２０４は、加速度センサ、測位センサ、ジャイロセンサ及び地磁気センサなどの様々なセンサを含み得るセンサモジュールである。センサ２０４により生成されるセンサデータは、ユーザ入力の検出又は表示側デバイスの検出などの様々な用途のために利用されてよい。

（３）入力インタフェース
入力インタフェース２０６は、ユーザが撮像側デバイス２００を操作し又は撮像側デバイス２００へ情報を入力するために使用される入力モジュールである。入力インタフェース２０６は、例えば、ディスプレイ２１０の画面へのタッチを検出するタッチパネルを含んでもよい。その代わりに（又はそれに加えて）、入力インタフェース２０６は、ボタン、スイッチ、キーパッド又はポインティングデバイスなどのその他の種類の入力デバイスを含んでもよい。また、入力インタフェース２０６は、マイクロフォン（図示せず）を介して取得されるユーザの音声から音声コマンドをユーザ入力として認識する音声入力モジュールを含んでもよい。

（４）メモリ
メモリ２０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、撮像側デバイス２００による処理のためのプログラム及びデータを記憶する。メモリ２０８により記憶されるデータは、撮像画像データ、センサデータ、後に説明するプロファイルデータ、コンテンツデータ、及びアプリケーションデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、メモリ２０８により記憶されることなく、外部のデータソースから取得されてもよい。

（５）ディスプレイ
ディスプレイ２１０は、ＬＣＤ又はＯＬＥＤディスプレイなどの表示モジュールである。ディスプレイ２１０は、画面と表示回路とを含む。

（６）スピーカ
スピーカ２１２は、音声を出力するための出力モジュールである。スピーカ２１２は、音声コンテンツを再生するために使用されてもよい。また、スピーカ２１２は、ユーザ入力の検出、無線リンクの確立、アプリケーションの起動及びデータの送信又は受信などの様々なタイミングで効果音又は警告音を発するために使用されてもよい。

（７）無線通信インタフェース
無線通信インタフェース２１４は、撮像側デバイス２００と他のデバイスとの間の無線通信を仲介する通信モジュールである。無線通信インタフェース２１４は、Bluetooth（登録商標）、ＮＦＣ、ワイヤレスＵＳＢ若しくはTransferJet（登録商標）などの近距離無線通信方式、ＷＣＤＭＡ、ＷｉＭＡＸ（登録商標）、ＬＴＥ若しくはＬＴＥ−Ａなどのセルラ通信方式、又は無線ＬＡＮ方式といった、任意の無線通信方式に従って無線通信を実行してよい。

（８）バス
バス２１６は、カメラ２０２、センサ２０４、入力インタフェース２０６、メモリ２０８、ディスプレイ２１０、スピーカ２１２、無線通信インタフェース２１４及びプロセッサ２１８を互いに接続する。

（９）プロセッサ
プロセッサ２１８は、ＣＰＵ、ＤＳＰ、ＧＰＵ又はＳｏＣに相当し得る制御モジュールである。プロセッサ２１８は、メモリ２０８又は他の記憶媒体に記憶されるプログラムを制御回路を用いて実行することにより、後に説明する撮像側デバイス２００の様々な論理的機能を動作させる。

（１０）バッテリ
バッテリ２１９は、破線で部分的に示した給電線を介して、図４に示した撮像側デバイス２００の各ブロックへ電力を供給する。バッテリ２１９から各ブロックへの電力の供給は、例えば、撮像側デバイス２００の筐体に設けられる電源ボタンが押下された場合に開始され又は終了され得る。バッテリ２１９は、撮像側デバイス２００の筐体から取り外し可能であってもよい。

なお、撮像側デバイス２００は、図４を用いて説明した構成の一部を有しなくてもよく、又は追加的な構成を有していてもよい。また、図４を用いて説明した構成の全体又は一部を集積したワンチップの情報処理モジュールが提供されてもよい。

＜３．論理的機能の配置＞
本節では、図５Ａ〜図５Ｃを用いて、表示側デバイス１００及び撮像側デバイス２００への論理的機能の配置の例を説明する。本実施形態において、これら２つのデバイスの機能は、準備フェーズの機能、判定フェーズの機能及びユーザインタフェース（ＵＩ）処理フェーズの機能に分類される。いくつかの機能は、ある実施例においては表示側デバイス１００に配置され、他の実施例においては撮像側デバイス２００に配置される。

（１）第１の実施例
図５Ａは、第１の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。図５Ａを参照すると、準備フェーズのために、表示側デバイス１００は、無線リンク確立機能１０及びトリガ検出機能２０を有する。撮像側デバイス２００は、無線リンク確立機能１５及びトリガ検出機能２５を有する。また、判定フェーズのために、表示側デバイス１００は、パターン表示機能３０及び情報取得機能７５を有する。撮像側デバイス２００は、パターン撮像機能３５、パラメータ生成機能５０、位置判定機能６５及び情報送信機能７０を有する。また、ＵＩ処理フェーズのために、表示側デバイス１００は、ＵＩ制御機能８０及びデータ連携機能９０を有する。撮像側デバイス２００は、データ連携機能９５を有する。

準備フェーズにおいて、表示側デバイス１００の無線リンク確立機能１０と撮像側デバイス２００の無線リンク確立機能１５との間で、無線リンクが確立される。また、表示側デバイス１００のトリガ検出機能２０及び撮像側デバイス２００のトリガ検出機能２５の少なくとも一方により、判定開始トリガが検出される。無線リンクの確立は、判定開始トリガの検出の後に行われてもよい。判定開始トリガが検出された時点で、表示側デバイス１００及び撮像側デバイス２００は、撮像側デバイス２００のカメラ２０２が表示側デバイス１００のディスプレイ１０２の画面に対向するように配置されていると仮定される。そして、判定開始トリガの検出に応じて、表示側デバイス１００及び撮像側デバイス２００は、撮像側デバイス２００の相対位置を判定するための判定フェーズの処理を開始する。

判定フェーズにおいて、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に所定の判定用パターンを表示させる。判定用パターンは、静止画であってもよく、又は動画であってもよい。判定用パターンの具体的ないくつかの例について、後にさらに説明する。撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された判定用パターンを、カメラ２０２を用いて撮像する。撮像側デバイス２００のパラメータ生成機能５０は、判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に対するカメラ２０２（のレンズ）の相対位置（relative position）を判定するためのパラメータを生成する。パラメータ生成機能５０は、さらに、判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に平行な平面内のカメラ２０２の回転量（rotation）を判定するためのパラメータを生成してもよい。また、撮像側デバイス２００の位置判定機能６５は、パラメータ生成機能５０により生成されるパラメータを用いて、カメラ２０２の上記相対位置を判定する。位置判定機能６５は、さらに、カメラ２０２の上記回転量を判定してもよい。撮像側デバイス２００の情報送信機能７０は、位置判定機能６５により判定された相対位置（及び回転量）を示す判定結果を、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する。表示側デバイス１００の情報取得機能７５は、撮像側デバイス２００から送信された判定結果を、無線通信インタフェース１１４を介して取得する。ここで取得される判定結果は、表示側デバイス１００の画面に対するカメラ２０２の相対位置を示す位置データを含む。当該判定結果は、さらに、カメラ２０２の上記回転量を示す回転量データを含んでもよい。

ＵＩ処理フェーズにおいて、表示側デバイス１００のＵＩ制御機能８０は、情報取得機能７５により取得されるカメラ２０２の相対位置に基づいて、表示制御信号を生成する。ここで生成される表示制御信号は、例えば、ディスプレイ１０２の画面の表示を制御するための信号であり、ディスプレイ１０２へ出力され得る。その結果、ディスプレイ１０２の画面に、カメラ２０２の相対位置に基づくＧＵＩ（Graphical User Interface）が表示される。ここで表示されるＧＵＩは、情報取得機能７５により取得されるカメラ２０２の回転量にさらに基づいてもよい。ＧＵＩのいくつかの例について、後にさらに説明する。また、ＵＩ制御機能８０により生成される表示制御信号は、撮像側デバイス２００のディスプレイ２１０の画面の表示を制御するための信号であってもよく、無線通信インタフェース１１４から撮像側デバイス２００へ送信され得る。その結果、撮像側デバイス２００のディスプレイ２１０の画面に、カメラ２０２の相対位置に基づくＧＵＩが表示される。

ＵＩ処理フェーズにおいて、表示側デバイス１００のデータ連携機能９０及び撮像側デバイス２００のデータ連携機能９５は、情報取得機能７５により取得されるカメラ２０２の相対位置に基づいて選択されるコンテンツデータを、デバイス間の無線リンク上で送信し又は受信してもよい。例えば、表示側デバイス１００のデータ連携機能９０は、カメラ２０２の相対位置によりポインティングされた画面上のコンテンツを選択し、選択したコンテンツのコンテンツデータを無線通信インタフェース１１４を介して撮像側デバイス２００へ送信してもよい。ここで送信されるコンテンツデータは、例えば画像データ、音声データ、映像データ、ゲームデータ又はＨＴＭＬ（HyperText Markup Language）で記述され得るＷｅｂページのリンクを示すリンクデータなどの、任意の種類のデータであってよい。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から無線通信インタフェース２１４を介して受信されるコンテンツデータを再生し（例えばコンテンツを画面に表示し）又は記憶し得る。

（２）第２の実施例
図５Ｂは、第２の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。第２の実施例における準備フェーズ及びＵＩ処理フェーズのための機能の配置は、第１の実施例と同様である。判定フェーズのために、表示側デバイス１００は、パターン表示機能３０、パラメータ取得機能６０及び位置判定機能６５を有する。撮像側デバイス２００は、パターン撮像機能３５、パラメータ生成機能５０及びパラメータ送信機能５５を有する。

判定フェーズにおいて、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に所定の判定用パターンを表示させる。判定用パターンは、静止画であってもよく、又は動画であってもよい。撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された判定用パターンを、カメラ２０２を用いて撮像する。撮像側デバイス２００のパラメータ生成機能５０は、判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に対するカメラ２０２の相対位置を判定するためのパラメータを生成する。パラメータ生成機能５０は、さらに、判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に平行な平面内のカメラ２０２の回転量を判定するためのパラメータを生成してもよい。撮像側デバイス２００のパラメータ送信機能５５は、パラメータ生成機能５０により生成されたパラメータを、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する。表示側デバイス１００のパラメータ取得機能６０は、撮像側デバイス２００から送信されたパラメータを、無線通信インタフェース１１４を介して取得する。表示側デバイス１００の位置判定機能６５は、パラメータ取得機能６０により取得されるパラメータを用いて、撮像側デバイス２００のカメラ２０２の上記相対位置を判定する。位置判定機能６５は、さらに、カメラ２０２の上記回転量を判定してもよい。

（３）第３の実施例
図５Ｃは、第３の実施例における表示側デバイス及び撮像側デバイスの論理的機能の配置を示す説明図である。第３の実施例における準備フェーズ及びＵＩ処理フェーズのための機能の配置は、第１の実施例及び第２の実施例と同様である。判定フェーズのために、表示側デバイス１００は、パターン表示機能３０、画像取得機能４５、パラメータ生成機能５０及び位置判定機能６５を有する。撮像側デバイス２００は、パターン撮像機能３５及び画像送信機能４０を有する。

判定フェーズにおいて、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に所定の判定用パターンを表示させる。判定用パターンは、静止画であってもよく、又は動画であってもよい。撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された判定用パターンを、カメラ２０２を用いて撮像する。撮像側デバイス２００の画像送信機能４０は、判定用パターンを映す撮像画像を、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する。表示側デバイス１００の画像取得機能４５は、撮像側デバイス２００から送信された撮像画像を、無線通信インタフェース１１４を介して取得する。表示側デバイス１００のパラメータ生成機能５０は、画像取得機能４５により取得された判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に対するカメラ２０２の相対位置を判定するためのパラメータを生成する。パラメータ生成機能５０は、さらに、判定用パターンの撮像画像に基づいて、表示側デバイス１００の画面に平行な平面内のカメラ２０２の回転量を判定するためのパラメータを生成してもよい。表示側デバイス１００の位置判定機能６５は、パラメータ生成機能５０により生成されるパラメータを用いて、撮像側デバイス２００のカメラ２０２の上記相対位置を判定する。位置判定機能６５は、さらに、カメラ２０２の上記回転量を判定してもよい。

＜４．準備フェーズの詳細＞
本節では、上述した準備フェーズにおいて実行される処理の詳細について説明する。準備フェーズでは、主に、無線リンクの確立及び判定開始トリガの検出が行われる。

（１）無線リンクの確立
例えば、表示側デバイス１００の無線通信インタフェース１１４は、所定のユーザ入力に応じて、又は自動的に、近傍に位置する撮像側デバイス２００を検出し得る。その代わりに、撮像側デバイス２００の無線通信インタフェース２１４が表示側デバイス１００を検出してもよい。そして、端末情報の交換及び相互認証などの手続を経て、表示側デバイス１００と撮像側デバイス２００との間の無線リンクが確立される。表示側デバイス１００と撮像側デバイス２００との間の無線リンクは、直接的なリンクであってもよく、又は無線アクセスポイントなどの他のノードを介する間接的なリンクであってもよい。無線リンクの確立に際して、例えばＵＰｎＰ（Universal Plug and Play）自動設定技術が活用されてもよい（例えば、特開２００６−１２８７３７号公報参照）。

準備フェーズにおいて、後の判定フェーズ及びＵＩ処理フェーズで使用される情報がデバイス間で交換されてもよい。例えば、撮像側デバイス２００は、複数の判定用パターンの候補のうち自らがサポートする１つ以上のパターンを識別する識別情報を、表示側デバイス１００へ提供してもよい。その場合、表示側デバイス１００のパターン表示機能３０は、撮像側デバイス２００によりサポートされる判定用パターンを当該識別情報に基づいて選択して、選択した判定用パターンを画面に表示させる。

また、撮像側デバイス２００は、撮像側デバイス２００におけるカメラ２０２の配置を定義するプロファイルデータを、表示側デバイス１００へ提供してもよい。一例として、プロファイルデータは、図６に示したように、撮像側デバイス２００の筐体の幅Ｗ_ｄｅｖ及び高さＨ_ｄｅｖ、並びに、筐体の長辺からカメラ２０２の光軸までの距離Ｗ_ｃａｍ及び筐体の短辺からカメラ２０２の光軸までの距離Ｈ_ｃａｍを示し得る。プロファイルデータは、後述するように、カメラ２０２の相対位置及び回転量に基づくＧＵＩを表示側デバイス１００が画面に表示する際に、当該ＧＵＩの配置を決定するために使用され得る。なお、複数の種類のデバイスのプロファイルデータが、予め表示側デバイス１００のメモリ１０８により記憶されてもよい。その場合には、表示側デバイス１００は、撮像側デバイス２００から受信される端末情報（例えば、端末の型番など）に基づいて、撮像側デバイス２００について使用すべき適切なプロファイルデータを選択し得る。

（２）判定開始トリガの検出
表示側デバイス１００のトリガ検出機能２０は、入力インタフェース１０６を介して取得される所定の種類のユーザ入力（例えば、画面へのタッチ、筐体に配設されるボタンの押下又は特定の音声コマンドの認識）を、判定開始トリガとして検出してもよい。表示側デバイス１００は、トリガ検出機能２０により判定開始トリガが検出されると、トリガの検出を撮像側デバイス２００へ通知し得る。同様に、撮像側デバイス２００のトリガ検出機能２５は、入力インタフェース２０６を介して取得される所定の種類のユーザ入力を、判定開始トリガとして検出してもよい。撮像側デバイス２００は、トリガ検出機能２５により判定開始トリガが検出されると、トリガの検出を表示側デバイス１００へ通知し得る。

また、表示側デバイス１００のトリガ検出機能２０は、センサ１０４を介して取得されるセンサ入力を、判定開始トリガとして検出してもよい。同様に、撮像側デバイス２００のトリガ検出機能２５は、センサ２０４を介して取得されるセンサ入力を、判定開始トリガとして検出してもよい。ここでのセンサ入力は、例えば、表示側デバイス１００の画面に撮像側デバイス２００が接触したことを示すセンサデータである。一例として、撮像側デバイス２００が表示側デバイス１００の画面に載置されると、これらデバイスの加速度センサのセンサデータは、載置の瞬間に共にピークを示し得る。トリガ検出機能２０及び２５は、そのようなセンサデータのピーク（又はピークの時間的一致）に基づいて、表示側デバイス１００の画面に撮像側デバイス２００が接触したと判定してもよい。それにより、明示的なユーザ入力がなくても、２つのデバイスにタイミングを同期させて判定フェーズを開始させることができる。

判定フェーズは、表示側デバイス１００及び撮像側デバイス２００のいずれか一方での上述した判定開始トリガの検出に応じて開始されてもよい。その代わりに、判定フェーズは、表示側デバイス１００及び撮像側デバイス２００の双方での上述した判定開始トリガの検出（例えば、ユーザによる２つのデバイスの画面へのタッチ）に応じて開始されてもよい。

＜５．判定フェーズの詳細＞
本節では、上述した判定フェーズにおいて実行される処理の詳細について説明する。判定フェーズでは、表示側デバイス１００により表示される判定用パターンが撮像側デバイス２００により撮像され、判定用パターンの撮像画像に基づいて生成されるパラメータから、撮像側デバイス２００のカメラ２０２の相対位置（及び回転量）が判定される。

［５−１．判定用パターンの例］
（１）第１の例
図７は、判定用パターンの第１の例を示す説明図である。第１の例において、判定用パターンは、位置に依存して変化する画像特性を有する静止画である。ここでの画像特性は、例えば、輝度、色調、透明度若しくはドット密度又はそれらの組合せなどであってよい。図７に示した判定用パターンＰＴ１は、右方に行くほど高いドット密度を有し、下方に行くほど明るい輝度を有する静止画である。表示側デバイス１００の画面にカメラ２０２を対向させつつ、撮像側デバイス２００を当該画面に載置し又は当該画面に近接させた状態で、カメラ２０２により撮像される画像には、画面に表示される判定用パターンＰＴ１の局所的な一部分のみが映る。パラメータ生成機能５０は、その撮像画像から決定される画像特性の値を示すパラメータを生成する。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される画像特性の値にマッピングされる（表示側デバイス１００のスクリーン座標系における）座標を、カメラ２０２の相対位置であると判定し得る。また、パラメータ生成機能５０は、例えば、撮像画像から決定される画像特性の値の変化の方向（例えば、変化率が最も大きい又は最も小さい方向）を示すパラメータを生成する。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される方向に基づいて、カメラ２０２の相対的な回転量を判定し得る。図８の例では、判定用パターンＰＴ１を局所的に撮像した撮像画像から決定されるドット密度及び輝度に基づいて、カメラ２０２の相対位置が座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）であると判定されている。また、撮像画像から決定されるドット密度及び輝度の変化の方向に基づいて、カメラ２０２の回転量が角度Ｒ_ｃａｍであると判定されている。

なお、判定用パターンは、可視的な（又は視覚を通じてユーザにより認識可能な）パターンではなくてもよい。例えば、位置に依存して変化する画像特性を有する電子透かしのようなパターン、又は赤外光で構成されるパターンが、判定用パターンとして使用されてもよい。また、画像（又は映像）コンテンツと合成された判定用パターンが使用されてもよい。

（２）第２の例
判定用パターンの第２、第３及び第４の例において、判定用パターンは、表示側デバイス１００の画面上で時間を追って移動する１つ以上の表示オブジェクトを表示する動画である。図９は、判定用パターンの第２の例を示す説明図である。第２の例において、判定用パターンは、少なくとも２つの基準位置からそれぞれ発せられる波紋オブジェクトを表示する。より具体的には、図９を参照すると、判定用パターンＰＴ２は、左上の基準点ＲＰ１から発し右下方向へ時間を追って広がる波紋オブジェクトＷＡ１、左下の基準点ＲＰ２から発し右上方向へ時間を追って広がる波紋オブジェクトＷＡ２、及び右中央の基準点ＲＰ３から発し左方向へ時間を追って広がる波紋オブジェクトＷＡ３を表示する。パラメータ生成機能５０は、カメラ２０２へのこれら波紋オブジェクトの到達時間をそれぞれ測定し、測定した到達時間を示すパラメータを生成する。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される到達時間を用いて、カメラ２０２の相対位置を判定する。また、各波紋オブジェクトは、その縁部において半径方向に沿った濃淡（又はその他の画像特性）の勾配を有する。パラメータ生成機能５０は、カメラ２０２へ各波紋オブジェクトが到達した際に撮像画像から決定される濃淡の勾配の方向を示すパラメータを生成し得る。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される勾配の方向に基づいて、カメラ２０２の相対的な回転量を判定し得る。

図１０は、判定用パターンの第２の例に基づくカメラの相対位置及び回転量の判定について説明するための説明図である。図１０に示したように、カメラ２０２の相対位置Ｐ０は、座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）で表現される。基準点ＲＰ１は座標（０，０）、基準点ＲＰ２は座標（Ｘ_ＲＰ２，Ｙ_ＲＰ２）、基準点ＲＰ３は座標（Ｘ_ＲＰ３，Ｙ_ＲＰ３）にそれぞれ位置するものとする。また、３つの波紋オブジェクトに共通する伝播速度をＶ_ｗａｖとする。波紋オブジェクトの出発時刻Ｔ_０は、デバイス間の同期が行われない場合、撮像側デバイスにとっては未知である。波紋オブジェクトＷＡ１、ＷＡ２、ＷＡ３が位置Ｐ０に到達するまでに要した到達時間は、測定された到達時刻Ｔ_１、Ｔ_２及びＴ_３を用いて、それぞれ（Ｔ_１−Ｔ_０）、（Ｔ_２−Ｔ_０）及び（Ｔ_３−Ｔ_０）と表現することができる。基準点ＲＰ１、ＲＰ２及びＲＰ３から位置Ｐ０までの距離Ｄ_１、Ｄ_２及びＤ_３は、次式のように表現される。

ここで、三平方の定理により、次の３つの式が成り立つ。

式（１）〜（３）において未知数は出発時刻Ｔ_０及び座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）の３つであるため、これら式を解くことにより、座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）を算出することができる。

なお、表示側デバイス１００の画面に何らかの視覚的信号（例えば、画面全体が瞬間的に明るくなるなど）を表示することにより、波紋オブジェクトの出発時刻Ｔ_０を撮像側デバイス２００へ通知してもよい。また、波紋オブジェクトの出発時刻Ｔ_０は、準備フェーズにおける交渉によってデバイス間で合意された時刻であってもよい。このようなデバイス間の同期が行われる場合には、出発時刻Ｔ_０は双方のデバイスにとって既知となる。この場合、２つの波紋オブジェクトを表示するだけで、三平方の定理を用いて座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）を算出することができる。

（３）第３の例
図１１は、判定用パターンの第３の例を示す説明図である。第３の例において、判定用パターンは、予め定義される軌道に沿って画面上を移動する移動オブジェクトを表示する。より具体的には、図１１を参照すると、判定用パターンＰＴ３は、軌道ＴＲ１に沿って移動する移動オブジェクトＢＡ１、軌道ＴＲ２に沿って移動する移動オブジェクトＢＡ２及び軌道ＴＲ３に沿って移動する移動オブジェクトＢＡ３を表示する。パラメータ生成機能５０は、カメラ２０２へのこれら移動オブジェクトの到達時間をそれぞれ測定し、測定した到達時間を示すパラメータを生成する。第３の例においても、上述した時刻同期の仕組みが利用されてよい。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される到達時間を用いて、カメラ２０２の相対位置を判定する。例えば、軌道ＴＲ１、ＴＲ２及びＴＲ３並びに移動オブジェクトの移動速度が位置判定機能６５にとって既知である場合、これら移動オブジェクトについて測定された到達時間から、カメラ２０２の相対位置を判定することができる。また、パラメータ生成機能５０は、カメラ２０２へ各移動オブジェクトが到達した際の当該移動オブジェクトの移動方向を示すパラメータを生成し得る。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される移動方向に基づいて、カメラ２０２の相対的な回転量を判定し得る。なお、判定用パターンＰＴ３により表示される移動オブジェクトの数は、図１１の例に限定されず、１つ以上のいかなる数であってもよい。表示される移動オブジェクトの数が多いほど、最初の１つ（又はｎ個）の移動オブジェクトがカメラ２０２に到達するまでの時間がより短くなるため、相対位置及び回転量の判定に要する時間を短縮することができる。

（４）第４の例
図１２は、判定用パターンの第４の例を示す説明図である。第４の例において、判定用パターンは、画面を走査する少なくとも２つの走査線オブジェクトを表示する。より具体的には、図１２を参照すると、判定用パターンＰＴ４は、垂直軸に平行で左から右へ移動する走査線オブジェクトＬＮ１、及び水平軸に平行で上から下へ移動する走査線オブジェクトＬＮ２を表示する。パラメータ生成機能５０は、カメラ２０２へのこれら走査線オブジェクトの到達時間をそれぞれ測定し、測定した到達時間を示すパラメータを生成する。第４の例においても、上述した時刻同期の仕組みが利用されてよい。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される到達時間を用いて、カメラ２０２の相対位置を判定する。例えば、走査線オブジェクトＬＮ１について測定された到達時間に基づいて、水平方向の座標値Ｘ_ｃａｍを決定することができる。走査線オブジェクトＬＮ２について測定された到達時間に基づいて、垂直方向の座標値Ｙ_ｃａｍを決定することができる。また、各走査線オブジェクトは、その移動方向に沿った濃淡（又はその他の画像特性）の勾配を有する。パラメータ生成機能５０は、カメラ２０２へ各走査線オブジェクトが到達した際に撮像画像から決定される濃淡の勾配の方向を示すパラメータを生成し得る。位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータにより示される勾配の方向に基づいて、カメラ２０２の相対的な回転量を判定し得る。濃淡の勾配の方向の代わりに、撮像画像の複数のフレームを用いて判定される各走査線オブジェクトの移動方向が、回転量の判定のために使用されてもよい。

なお、図７〜図１２を用いて説明した判定用パターンは、表示側デバイス１００の画面の全体に表示されてもよく、又は当該画面の一部分にのみ表示されてもよい。例えば、表示側デバイス１００は、センサ１０４又は入力インタフェース１０６を通じて（粗い認識精度で）認識され得る撮像側デバイス２００の載置領域（例えば、閾値を上回る静電容量の変化又は圧力の変化が検出された領域）にのみ、判定用パターンを表示させてもよい。それにより、判定フェーズの間にも残る画面領域を用いてユーザに他の任意のサービスを提供することができる。

また、上述した判定用パターンは、一例に過ぎない。判定用パターンの候補は、他の種類の静止画パターン又は動画パターンを含んでもよい。また、判定用パターンの候補は、同じ種類で表示オブジェクトのサイズ、色又は移動速度が異なる複数の動画パターンを含んでもよい。

［５−２．位置判定の流れ］
（１）静止画のケース
図１３Ａは、第１の実施例において静止画パターンが使用される場合の表示側デバイス１００の判定フェーズの処理の流れの一例を示すフローチャートである。

図１３Ａに示したように、判定フェーズの処理は、表示側デバイス１００のトリガ検出機能２０及び撮像側デバイス２００のトリガ検出機能２５の一方又は双方により判定開始トリガが検出された場合に開始される（ステップＳ１１１）。

判定開始トリガが検出された後、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に、図７に例示したような静止画の判定用パターンを表示させる（ステップＳ１１３）。その後、表示側デバイス１００の情報取得機能７５は、撮像側デバイス２００のカメラ２０２の相対位置（及び回転量）についての判定結果を示す判定情報の受信を、所定のタイムアウト期間が経過するまで待ち受ける（ステップＳ１１５）。その間、画面上の判定用パターンの表示は維持される。

判定情報が受信されることなくタイムアウト期間が経過すると（ステップＳ１２１）、パターン表示機能３０は、再試行をすべきかを判定する（ステップＳ１２３）。例えば、パターン表示機能３０は、再試行を指示するユーザ入力が検出された場合、試行回数が閾値に達していない場合、又は未試行の判定用パターンが存在する場合に、再試行をすべきであると判定してもよい。再試行をすべきであると判定された場合、処理はステップＳ１１３へ戻り、再び判定用パターンが画面に表示される（ステップＳ１１３）。ここで表示される判定用パターンは、既に試行された判定用パターンと同じパターンであってもよく、又は異なるパターンであってもよい。パターン表示機能３０は、新たに表示される判定用パターンを識別する識別情報を、無線通信インタフェース１１４を介して撮像側デバイス２００へ送信してもよい。再試行をすべきではないと判定された場合、図１３Ａに示した処理は終了する。

タイムアウト期間が経過する前に情報取得機能７５により判定情報が受信されると、処理はＵＩ処理フェーズに遷移し、表示側デバイス１００のＵＩ制御機能８０によって、受信された判定結果に基づくＧＵＩが画面に表示される（ステップＳ１２７）。

図１３Ｂは、第１の実施例において静止画パターンが使用される場合の撮像側デバイス２００の判定フェーズの処理の流れの一例を示すフローチャートである。

図１３Ｂに示したように、判定フェーズの処理は、表示側デバイス１００のトリガ検出機能２０及び撮像側デバイス２００のトリガ検出機能２５の一方又は双方により判定開始トリガが検出された場合に開始される（ステップＳ２１１）。

判定開始トリガが検出された後、撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された静止画パターンをカメラ２０２を用いて撮像することにより、判定用パターンの撮像画像を取得する（ステップＳ２１３）。撮像側デバイス２００のパラメータ生成機能５０は、取得された判定用パターンの撮像画像の画像特性を表すパラメータを生成する（ステップＳ２１５）。撮像側デバイス２００の位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータを用いて、カメラ２０２の相対位置（及び回転量）を判定する（ステップＳ２１７）。

その後、撮像側デバイス２００の位置判定機能６５は、再試行をすべきかを判定する（ステップＳ２１９）。例えば、位置判定機能６５は、ステップＳ２１７において正常な判定結果が得られなかった場合に、再試行をすべきであると判定してもよい。再試行をすべきであると判定された場合、処理はステップＳ２１３へ戻り、再び判定用パターンが撮像される。パラメータ生成機能５０及び位置判定機能６５は、無線通信インタフェース２１４を介して表示側デバイス１００から受信される識別情報により識別される新たな判定用パターンを用いて、パラメータの生成及び相対位置の判定を再実行してもよい。

ステップＳ２１７において正常な判定結果が得られた場合、撮像側デバイス２００の情報送信機能７０は、位置判定機能６５により判定された相対位置（及び回転量）を判定結果として示す判定情報を、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する（ステップＳ２２１）。

図１４Ａは、第２の実施例において静止画パターンが使用される場合の表示側デバイス１００の判定フェーズの処理の流れの一例を示すフローチャートである。

判定開始トリガが検出された後、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に、図７に例示したような静止画の判定用パターンを表示させる（ステップＳ１１３）。その後、表示側デバイス１００のパラメータ取得機能６０は、判定用パターンの撮像画像に基づいて撮像側デバイス２００により生成されるパラメータの受信を、所定のタイムアウト期間が経過するまで待ち受ける（ステップＳ１１７）。その間、画面上の判定用パターンの表示は維持される。

パラメータが受信されることなくタイムアウト期間が経過すると（ステップＳ１２１）、パターン表示機能３０は、再試行をすべきかを判定する（ステップＳ１２３）。再試行をすべきであると判定された場合、処理はステップＳ１１３へ戻り、再び判定用パターンが画面に表示される（ステップＳ１１３）。再試行をすべきではないと判定された場合、図１４Ａに示した処理は終了する。

タイムアウト期間が経過する前にパラメータ取得機能６０によりパラメータが受信されると、表示側デバイス１００の位置判定機能６５は、受信されたパラメータを用いて、撮像側デバイス２００のカメラ２０２の相対位置（及び回転量）を判定する（ステップＳ１２５）。その後、処理はＵＩ処理フェーズに遷移し、表示側デバイス１００のＵＩ制御機能８０によって、判定結果に基づくＧＵＩが画面に表示される（ステップＳ１２７）。

図１４Ｂは、第２の実施例において静止画パターンが使用される場合の撮像側デバイス２００の判定フェーズの処理の流れの一例を示すフローチャートである。

判定開始トリガが検出された後、撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された静止画パターンをカメラ２０２を用いて撮像することにより、判定用パターンの撮像画像を取得する（ステップＳ２１３）。撮像側デバイス２００のパラメータ生成機能５０は、取得された判定用パターンの撮像画像の画像特性を表すパラメータを生成する（ステップＳ２１５）。

その後、撮像側デバイス２００のパラメータ生成機能５０は、再試行をすべきかを判定する（ステップＳ２１９）。例えば、パラメータ生成機能５０は、ステップＳ２１５においてパラメータを正常に生成することができなかった場合に、再試行をすべきであると判定してもよい。再試行をすべきであると判定された場合、処理はステップＳ２１３へ戻り、再び判定用パターンが撮像される。

ステップＳ２１５において正常にパラメータが生成された場合、撮像側デバイス２００のパラメータ送信機能５５は、パラメータ生成機能５０により生成されたパラメータを、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する（ステップＳ２２３）。

（２）動画のケース
図１５Ａは、第１の実施例において動画パターンが使用される場合の表示側デバイス１００の判定フェーズの処理の流れの一例を示すフローチャートである。

図１５Ａに示したように、判定フェーズの処理は、表示側デバイス１００のトリガ検出機能２０及び撮像側デバイス２００のトリガ検出機能２５の一方又は双方により判定開始トリガが検出された場合に開始される（ステップＳ１４１）。

判定開始トリガが検出された後、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に、図９、図１１又は図１２に例示したような動画の判定用パターンを表示させる（ステップＳ１４３）。その後、表示側デバイス１００の情報取得機能７５は、撮像側デバイス２００のカメラ２０２の相対位置（及び回転量）についての判定結果を示す判定情報の受信を、所定のタイムアウト期間が経過するまで待ち受ける（ステップＳ１４５）。その間、画面上の判定用パターンの表示は維持される。

判定情報が受信されることなくタイムアウト期間が経過すると（ステップＳ１５１）、パターン表示機能３０は、再試行をすべきかを判定する（ステップＳ１５３）。例えば、パターン表示機能３０は、再試行を指示するユーザ入力が検出された場合、試行回数が閾値に達していない場合、撮像側デバイス２００から再試行が要求された場合又は未試行の判定用パターンが存在する場合に、再試行をすべきであると判定してもよい。再試行をすべきであると判定された場合、処理はステップＳ１４３へ戻り、再び判定用パターンが画面に表示される（ステップＳ１４３）。ここで表示される判定用パターンは、既に試行された判定用パターンと同じパターンであってもよく、又は異なるパターンであってもよい。パターン表示機能３０は、新たに表示される判定用パターンを識別する識別情報を、無線通信インタフェース１１４を介して撮像側デバイス２００へ送信してもよい。再試行をすべきではないと判定された場合、図１５Ａに示した処理は終了する。

タイムアウト期間が経過する前に情報取得機能７５により判定情報が受信されると、処理はＵＩ処理フェーズに遷移し、表示側デバイス１００のＵＩ制御機能８０によって、受信された判定結果に基づくＧＵＩが画面に表示される（ステップＳ１５７）。

図１５Ｂは、第１の実施例において動画パターンが使用される場合の撮像側デバイス２００の判定フェーズの処理の流れの一例を示すフローチャートである。

図１５Ｂに示したように、判定フェーズの処理は、表示側デバイス１００のトリガ検出機能２０及び撮像側デバイス２００のトリガ検出機能２５の一方又は双方により判定開始トリガが検出された場合に開始される（ステップＳ２４１）。

判定開始トリガが検出された後、撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された動画パターンをカメラ２０２を用いて撮像することにより、判定用パターンの撮像画像を取得する（ステップＳ２４３）。カメラ２０２による撮像は、所定の表示オブジェクトが検出されるまで（ステップＳ２４５）、又は所定のタイムアウト期間が経過するまで（ステップＳ２４７）、繰り返し行われる。ここでの所定の表示オブジェクトとは、例えば、図９を用いて説明した３つの波紋オブジェクト、図１１を用いて説明した移動オブジェクトのうちの１つ、又は図１２を用いて説明した２つの走査線オブジェクトなどであってよい。所定の表示オブジェクトが検出されると、撮像側デバイス２００のパラメータ生成機能５０は、表示オブジェクトの検出結果に基づいて、パラメータを生成する（ステップＳ２４９）。撮像側デバイス２００の位置判定機能６５は、パラメータ生成機能５０により生成されたパラメータを用いて、カメラ２０２の相対位置（及び回転量）を判定する（ステップＳ２５１）。

その後、撮像側デバイス２００の位置判定機能６５は、再試行をすべきかを判定する（ステップＳ２５３）。例えば、位置判定機能６５は、ステップＳ２５１において正常な判定結果が得られなかった場合又は再試行を指示するユーザ入力が検出された場合に、再試行をすべきであると判定してもよい。再試行の判定は、所定の表示オブジェクトが検出されることなくタイムアウト期間が経過した場合にも行われる。再試行をすべきであると判定された場合、撮像側デバイス２００の位置判定機能６５は、表示側デバイスへ再試行を要求する（ステップＳ２６３）。そして、処理はステップＳ２４３へ戻り、再び判定用パターンが撮像される。パラメータ生成機能５０及び位置判定機能６５は、無線通信インタフェース２１４を介して表示側デバイス１００から受信される識別情報により識別される新たな判定用パターンを用いて、パラメータの生成及び相対位置の判定を再実行してもよい。

ステップＳ２５１において正常な判定結果が得られた場合、撮像側デバイス２００の情報送信機能７０は、位置判定機能６５により判定された相対位置（及び回転量）を判定結果として示す判定情報を、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する（ステップＳ２６５）。

図１６Ａは、第２の実施例において動画パターンが使用される場合の表示側デバイス１００の判定フェーズの処理の流れの一例を示すフローチャートである。

判定開始トリガが検出された後、表示側デバイス１００のパターン表示機能３０は、ディスプレイ１０２の画面に、図９、図１１又は図１２に例示したような動画の判定用パターンを表示させる（ステップＳ１４３）。その後、表示側デバイス１００のパラメータ取得機能６０は、判定用パターンの撮像画像に基づいて撮像側デバイス２００により生成されるパラメータの受信を、所定のタイムアウト期間が経過するまで待ち受ける（ステップＳ１４７）。その間、画面上の判定用パターンの表示は維持される。

パラメータが受信されることなくタイムアウト期間が経過すると（ステップＳ１５１）、パターン表示機能３０は、再試行をすべきかを判定する（ステップＳ１５３）。再試行をすべきであると判定された場合、処理はステップＳ１４３へ戻り、再び判定用パターンが画面に表示される（ステップＳ１４３）。再試行をすべきではないと判定された場合、図１６Ａに示した処理は終了する。

タイムアウト期間が経過する前にパラメータ取得機能６０によりパラメータが受信されると、表示側デバイス１００の位置判定機能６５は、受信されたパラメータを用いて、撮像側デバイス２００のカメラ２０２の相対位置（及び回転量）を判定する（ステップＳ１５５）。その後、処理はＵＩ処理フェーズに遷移し、表示側デバイス１００のＵＩ制御機能８０によって、判定結果に基づくＧＵＩが画面に表示される（ステップＳ１５７）。

図１６Ｂは、第２の実施例において動画パターンが使用される場合の撮像側デバイス２００の判定フェーズの処理の流れの一例を示すフローチャートである。

判定開始トリガが検出された後、撮像側デバイス２００のパターン撮像機能３５は、表示側デバイス１００により表示された動画パターンをカメラ２０２を用いて撮像することにより、判定用パターンの撮像画像を取得する（ステップＳ２４３）。カメラ２０２による撮像は、所定の表示オブジェクトが検出されるまで（ステップＳ２４５）、又は所定のタイムアウト期間が経過するまで（ステップＳ２４７）、繰り返し行われる。所定の表示オブジェクトが検出されると、撮像側デバイス２００のパラメータ生成機能５０は、表示オブジェクトの検出結果に基づいて、パラメータを生成する（ステップＳ２４９）。

その後、撮像側デバイス２００のパラメータ生成機能５０は、再試行をすべきかを判定する（ステップＳ２６１）。例えば、パラメータ生成機能５０は、ステップＳ２４９においてパラメータを正常に生成することができなかった場合又は再試行を指示するユーザ入力が検出された場合に、再試行をすべきであると判定してもよい。再試行の判定は、所定の表示オブジェクトが検出されることなくタイムアウト期間が経過した場合にも行われる。再試行をすべきであると判定された場合、撮像側デバイス２００のパラメータ生成機能５０は、表示側デバイスへ再試行を要求する（ステップＳ２６３）。そして、処理はステップＳ２４３へ戻り、再び判定用パターンが撮像される。

ステップＳ２４９において正常にパラメータが生成された場合、撮像側デバイス２００のパラメータ送信機能５５は、パラメータ生成機能５０により生成されたパラメータを、無線通信インタフェース２１４を介して表示側デバイス１００へ送信する（ステップＳ２６７）。

＜６．ＵＩ処理フェーズの詳細＞
本節では、上述したＵＩ処理フェーズにおいてユーザに提供されるユーザインタフェースの詳細について説明する。ここで説明するユーザインタフェースは、大まかに２種類のＵＩに分類される。第１の種類のＵＩは、撮像側デバイス２００のカメラ２０２の位置（及び回転量）に基づいて表示される、デバイス間のデータ連携のためのＧＵＩである。第２の種類のＵＩは、カメラ２０２の位置をポインティング位置として利用するＵＩである。

［６−１．データ連携］
（１）第１の例
図１７は、デバイス間のデータ連携のためのＵＩの第１の例を示す説明図である。図１７を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０１、及び画面に載置された撮像側デバイス２００が示されている。撮像側デバイス２００のカメラ２０２は、座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）を有する画面上の点Ｐ０１に位置し、垂直軸から回転量Ｒ_ｃａｍだけ傾いている。表示側デバイス１００のＵＩ制御機能８０は、表示制御信号をディスプレイ１０２へ出力することにより、撮像側デバイス２００に関連付けられるＵＩオブジェクトＲＧ１を画面に表示させる。ＵＩオブジェクトＲＧ１は、点Ｐ０１を通り、回転量Ｒ_ｃａｍだけ傾いた長軸を有する楕円型の表示オブジェクトである。ＵＩオブジェクトＲＧ１の表示位置は、点Ｐ０１の座標（Ｘ_ｃａｍ，Ｙ_ｃａｍ）及び回転量Ｒ_ｃａｍに基づいて決定され得る。ＵＩオブジェクトＲＧ１の楕円軌道上には、撮像側デバイス２００が保持する（例えば、メモリ２０８により記憶されている）画像コンテンツのサムネイルが、順に並べられる。

一方、表示側デバイス１００の画面の空き領域には、アプリケーションウィンドウＡＰ０１が表示される。アプリケーションウィンドウＡＰ０１は、イメージビューワのためのウィンドウである。例えば、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ１上のあるサムネイルをアプリケーションウィンドウＡＰ０１へドラッグするユーザ入力（図中の矢印Ｄ０１ａ）を、入力インタフェース１０６を介して検出する。すると、撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００のデータ連携機能９０からの要求に応じて、ユーザにより指定された画像コンテンツのコンテンツデータを無線リンクを介して送信する。表示側デバイス１００のデータ連携機能９０は、撮像側デバイス２００から受信される当該コンテンツデータをイメージビューワへ受け渡す。その結果、指定された画像コンテンツが、アプリケーションウィンドウＡＰ０１において再生される。また、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ１の楕円軌道に沿ったドラッグを示すユーザ入力（図中の矢印Ｄ０１ｂ）を検出すると、一連の画像コンテンツのサムネイルを楕円軌道に沿ってスクロールさせる。ユーザは、このような操作を通じて、撮像側デバイス２００が保持する画像コンテンツから所望のコンテンツを選択して、選択した画像コンテンツを表示側デバイス１００の大きい画面で閲覧することができる。

（２）第２の例
図１８は、デバイス間のデータ連携のためのＵＩの第２の例を示す説明図である。図１８を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０２、及び画面に載置された撮像側デバイス２００が示されている。表示側デバイス１００のＵＩ制御機能８０は、表示制御信号をディスプレイ１０２へ出力することにより、撮像側デバイス２００に関連付けられるＵＩオブジェクトＲＧ２を画面に表示させる。ＵＩオブジェクトＲＧ２は、撮像側デバイス２００のカメラ２０２の相対位置及び回転量に基づいて決定される配置を有する楕円型の表示オブジェクトである。ＵＩオブジェクトＲＧ２の楕円軌道上には、撮像側デバイス２００が保持する（例えば、メモリ２０８により記憶されている）音声コンテンツのタイトルラベルをそれぞれ有するアイコンが、順に並べられる。

一方、表示側デバイス１００の画面の空き領域には、アプリケーションウィンドウＡＰ０２が表示される。アプリケーションウィンドウＡＰ０２は、オーディオプレーヤのためのウィンドウである。例えば、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ２上のあるアイコンをアプリケーションウィンドウＡＰ０２へドラッグするユーザ入力（図中の矢印Ｄ０２ａ）を、入力インタフェース１０６を介して検出する。すると、撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００のデータ連携機能９０からの要求に応じて、ユーザにより指定された音声コンテンツのコンテンツデータを無線リンクを介して送信する。表示側デバイス１００のデータ連携機能９０は、撮像側デバイス２００から受信される当該コンテンツデータをオーディオプレーヤへ受け渡す。その結果、指定された音声コンテンツが再生される。また、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ２の楕円軌道に沿ったドラッグを示すユーザ入力（図中の矢印Ｄ０２ｂ）を検出すると、一連の音声コンテンツのアイコンを楕円軌道に沿ってスクロールさせる。ユーザは、このような操作を通じて、撮像側デバイス２００が保持する音声コンテンツから所望のコンテンツを選択して、選択した音声コンテンツを表示側デバイス１００のスピーカ１１２を通じて楽しむことができる。

（３）第３の例
図１９は、デバイス間のデータ連携のためのＵＩの第３の例を示す説明図である。図１９を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０３、及び画面に載置された撮像側デバイス２００が示されている。表示側デバイス１００のＵＩ制御機能８０は、表示制御信号をディスプレイ１０２へ出力することにより、撮像側デバイス２００に関連付けられるＵＩオブジェクトＲＧ３を画面に表示させる。ＵＩオブジェクトＲＧ３は、撮像側デバイス２００のカメラ２０２の相対位置及び回転量に基づいて決定される配置を有する楕円型の表示オブジェクトである。ＵＩオブジェクトＲＧ３の楕円軌道上には、撮像側デバイス２００が保持する様々なコンテンツ（例えば、画像コンテンツ、音声コンテンツ及びゲームのセーブデータ）のアイコンが、順に並べられる。

一方、表示側デバイス１００の画面の空き領域には、アプリケーションウィンドウＡＰ０３が表示される。アプリケーションウィンドウＡＰ０３は、ファイルマネージャのためのウィンドウである。例えば、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ３上のあるアイコンをアプリケーションウィンドウＡＰ０３へドラッグするユーザ入力（図中の矢印Ｄ０３ａ）を、入力インタフェース１０６を介して検出する。すると、撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００のデータ連携機能９０からの要求に応じて、ユーザにより指定されたアイコンに対応するコンテンツのデータファイルを無線リンクを介して送信する。表示側デバイス１００のデータ連携機能９０は、撮像側デバイス２００から受信される当該データファイルをファイルマネージャへ受け渡す。その結果、指定されたデータファイルが、アプリケーションウィンドウＡＰ０３において選択されている表示側デバイス１００のフォルダへ格納される。逆に、アプリケーションウィンドウＡＰ０３からＵＩオブジェクトＲＧ３へのドラッグを示すユーザ入力（図中の矢印Ｄ０３ｂ）がＵＩ制御機能８０により検出されると、表示側デバイス１００が保持するデータファイルが撮像側デバイス２００へ転送され得る。

（４）第４の例
図２０は、デバイス間のデータ連携のためのＵＩの第４の例を示す説明図である。図２０を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０４、及び画面に載置された撮像側デバイス２００が示されている。撮像側デバイス２００は、カメラ２０２が画面上の点Ｐ０５に位置するように、表示側デバイス１００の画面上に載置されている。過去には撮像側デバイス２００は別の場所に載置されており、カメラ２０２は、第１の時点では点Ｐ０２に、第２の時点では点Ｐ０３に、第３の時点では点Ｐ０４にそれぞれ位置していたものとする。

第１の時点において、撮像側デバイス２００のデータ連携機能９５は、何らかのユーザ入力に応じて、画像コンテンツＣ０２のコンテンツデータを無線リンクを介して送信する。表示側デバイス１００のデータ連携機能９０により撮像側デバイス２００から当該コンテンツデータが受信されると、ＵＩ制御機能８０は、表示制御信号をディスプレイ１０２へ出力することにより、画像コンテンツＣ０２を再生する表示オブジェクトを画面に表示させる。当該表示オブジェクトは、表示側デバイス１００の画面に対する撮像側デバイス２００の相対的配置に対応する領域を占める。表示オブジェクトが占める当該領域は、判定フェーズにおいて判定されたカメラ２０２の相対位置及び回転量、並びに、撮像側デバイス２００について予め定義された上述したプロファイルデータを用いて決定され得る。第２の時点、第３の時点及び第４の時点においても、同様にして、それぞれ画像コンテンツＣ０３、Ｃ０４及びＣ０５を再生する表示オブジェクトが、表示側デバイス１００の画面に順に貼り付けられ得る。

（５）第５の例
図１７〜図１９では、表示側デバイス１００と撮像側デバイス２００との間のデータ連携のためのＵＩが示されている。同様のＵＩは、２つ以上の撮像側デバイス２００の間のデータ連携にも応用可能である。図２１は、デバイス間のデータ連携のためのＵＩの第５の例を示す説明図である。図２１を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０５、並びに画面に載置された２つの撮像側デバイス２００ｃ及び２００ｄが示されている。表示側デバイス１００のＵＩ制御機能８０は、撮像側デバイス２００ｃに関連付けられるＵＩオブジェクトＲＧ５ｃ及び撮像側デバイス２００ｄに関連付けられるＵＩオブジェクトＲＧ５ｄを画面に表示させる。ＵＩオブジェクトＲＧ５ｃ及びＲＧ５ｄは、それぞれ判定フェーズにおいて判定されたカメラの相対位置及び回転量に基づいて決定される配置を有する楕円型の表示オブジェクトである。ＵＩオブジェクトＲＧ５ｃの楕円軌道上には、撮像側デバイス２００ｃが保持するコンテンツのアイコンが順に並べられる。ＵＩオブジェクトＲＧ５ｄの楕円軌道上には、撮像側デバイス２００ｄが保持するコンテンツのアイコンが順に並べられる。

表示側デバイス１００のＵＩ制御機能８０は、ＵＩオブジェクトＲＧ５ｄからＵＩオブジェクトＲＧ５ｃへのドラッグを示すユーザ入力（図中の矢印Ｄ０５）を検出すると、撮像側デバイス２００ｄが保持するユーザにより指定されたコンテンツのコンテンツデータを、撮像側デバイス２００ｃへ無線リンクを介して送信させる。同様に、ＵＩ制御機能８０は、ＵＩオブジェクトＲＧ５ｃからＵＩオブジェクトＲＧ５ｄへのドラッグを示すユーザ入力を検出すると、撮像側デバイス２００ｃが保持するユーザにより指定されたコンテンツのコンテンツデータを、撮像側デバイス２００ｄへ無線リンクを介して送信させる。

（６）第６の例
図２２は、デバイス間のデータ連携のためのＵＩの第６の例を示す説明図である。図２２を参照すると、ＵＩ処理フェーズにおいて表示側デバイス１００の画面に表示され得るＵＩ画像ＩＭ０６、及びユーザにより画面から離された撮像側デバイス２００が示されている。撮像側デバイス２００が表示側デバイス１００の画面に載置されていた間、判定フェーズの処理によって、カメラ２０２は点Ｐ０６に位置すると判定されたものとする。表示側デバイス１００のＵＩ制御機能８０は、表示制御信号をディスプレイ１０２へ出力することにより、撮像側デバイス２００に関連付けられるＵＩオブジェクトＡＰ０６を画面に表示させる。ＵＩオブジェクトＡＰ０６は、撮像側デバイス２００を遠隔的に操作することをユーザに可能とするリモートデスクトップアプリケーションのためのウィンドウである。ＵＩオブジェクトＡＰ０６は、表示側デバイス１００の画面に対する撮像側デバイス２００の（判定フェーズが実行された時点の）相対的配置に対応する領域を占める。ＵＩオブジェクトＡＰ０６が占める当該領域は、判定フェーズにおいて判定されたカメラ２０２の相対位置及び回転量、並びに、撮像側デバイス２００について予め定義された上述したプロファイルデータを用いて決定され得る。このようなリモートデスクトップ用のウィンドウは、複数の撮像側デバイス２００について生成されてもよい。

［６−２．ポインティングＵＩ］
（１）第１の例
図２３は、ポインティングＵＩの第１の例を示す説明図である。図２３を参照すると、表示側デバイス１００の画面に、アプリケーションウィンドウＡＰ１１を含むＵＩ画像ＩＭ１２が表示されている。アプリケーションウィンドウＡＰ１１は、パズルゲームのためのウィンドウである。ユーザは、例えば、カメラ２０２が点Ｐ１１に位置するように撮像側デバイス２００を配置した状態で、判定開始トリガに相当するユーザ入力をデバイスに与える。すると、表示側デバイス１００の画面に対するカメラ２０２の相対位置が、上述した仕組みに従って、表示側デバイス１００により取得される。表示側デバイス１００のデータ連携機能９０は、取得された相対位置（即ち、点Ｐ１１）がアプリケーションウィンドウＡＰ１１をポインティングしていることを認識し、対応するパズルゲームのアプリケーションデータを撮像側デバイス２００へ送信する（図中の矢印Ｄ１１）。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から受信されるアプリケーションデータを用いて、ユーザによりポインティングされたパズルゲームを撮像側デバイス２００にインストールする。このようなポインティングＵＩを通じてインストールされるアプリケーションは、ゲームアプリケーションに限定されず、任意の種類のアプリケーションであってよい。

（２）第２の例
図２４は、ポインティングＵＩの第２の例を示す説明図である。図２４を参照すると、表示側デバイス１００の画面に、ＵＩ画像ＩＭ１２が表示されている。ＵＩ画像ＩＭ１２は、動画コンテンツのプレーヤのためのウィンドウである。ユーザは、例えば、カメラ２０２が点Ｐ１２に位置するように撮像側デバイス２００を配置した状態で、判定開始トリガに相当するユーザ入力をデバイスに与える。すると、表示側デバイス１００の画面に対するカメラ２０２の相対位置が、上述した仕組みに従って、表示側デバイス１００により取得される。表示側デバイス１００のデータ連携機能９０は、取得された相対位置（即ち、点Ｐ１２）が動画コンテンツＣ１２をポインティングしていることを認識し、動画コンテンツＣ１２のコンテンツデータを撮像側デバイス２００へ送信する（図中の矢印Ｄ１２）。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から当該コンテンツデータを受信し、動画コンテンツＣ１２を再生し又は記憶する。このようなポインティングＵＩを通じて送受信されるコンテンツは、動画コンテンツに限定されず、任意の種類のコンテンツであってよい。

（３）第３の例
図２５は、ポインティングＵＩの第３の例を示す説明図である。図２５を参照すると、表示側デバイス１００の画面に、アプリケーションウィンドウＡＰ１３を含むＵＩ画像ＩＭ１３が表示されている。アプリケーションウィンドウＡＰ１３は、地図を表示するナビゲーションアプリケーションのためのウィンドウである。ユーザは、例えば、カメラ２０２が点Ｐ１３に位置するように撮像側デバイス２００を配置した状態で、判定開始トリガに相当するユーザ入力をデバイスに与える。すると、表示側デバイス１００の画面に対するカメラ２０２の相対位置が、上述した仕組みに従って、表示側デバイス１００により取得される。表示側デバイス１００のデータ連携機能９０は、取得された相対位置（即ち、点Ｐ１３）に対応する地図上の地点のより詳細な地図データを、撮像側デバイス２００へ送信する（図中の矢印Ｄ１３）。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から当該地図データを受信し、撮像側デバイス２００の画面に詳細地図を表示させる。

（４）第４の例
図２６は、ポインティングＵＩの第４の例を示す説明図である。図２６を参照すると、表示側デバイス１００の画面に、アプリケーションウィンドウＡＰ１４を含むＵＩ画像ＩＭ１４が表示されている。アプリケーションウィンドウＡＰ１４は、レストラン情報を記述したＷｅｂページを表示するブラウザのためのウィンドウである。ユーザは、例えば、カメラ２０２が点Ｐ１４に位置するように撮像側デバイス２００を配置した状態で、判定開始トリガに相当するユーザ入力をデバイスに与える。すると、表示側デバイス１００の画面に対するカメラ２０２の相対位置が、上述した仕組みに従って、表示側デバイス１００により取得される。表示側デバイス１００のデータ連携機能９０は、取得された相対位置（即ち、点Ｐ１４）に関連付けられたリンク先を示すリンクデータ（例えば、ＵＲＬ）を、撮像側デバイス２００へ送信する（図中の矢印Ｄ１４）。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から当該リンクデータを受信し、リンクデータを用いてリンク先のＷｅｂサーバから取得されるＷｅｂコンテンツを撮像側デバイス２００の画面に表示させる。ここで取得されるＷｅｂコンテンツは、例えば、通常のＷｅｂページであってもよく、又はオンラインクーポンのような特殊なデータであってもよい。

（５）第５の例
図２７は、ポインティングＵＩの第５の例を示す説明図である。図２７を参照すると、表示側デバイス１００の画面に、アプリケーションウィンドウＡＰ１５を含むＵＩ画像ＩＭ１５が表示されている。アプリケーションウィンドウＡＰ１５は、クイズ問題を記述した文書を表示するドキュメントビューワのためのウィンドウである。ユーザは、例えば、カメラ２０２が点Ｐ１５に位置するように撮像側デバイス２００を配置した状態で、判定開始トリガに相当するユーザ入力をデバイスに与える。すると、表示側デバイス１００の画面に対するカメラ２０２の相対位置が、上述した仕組みに従って、表示側デバイス１００により取得される。表示側デバイス１００のデータ連携機能９０は、取得された相対位置（即ち、点Ｐ１５）に表示されているクイズ問題を識別する識別データを、撮像側デバイス２００へ送信する（図中の矢印Ｄ１５）。撮像側デバイス２００のデータ連携機能９５は、表示側デバイス１００から受信される当該識別データにより識別されるクイズ問題の回答を、撮像側デバイス２００の画面に表示させる。このようなポインティングＵＩを通じて撮像側デバイス２００により表示される情報は、クイズ問題の回答に限定されず、表示側デバイス１００により表示される情報に対応する任意の詳細情報又は関連情報であってよい。

＜７．まとめ＞
ここまで、図１〜図２７を用いて、本開示に係る技術の様々な実施形態について説明した。上述した実施形態によれば、表示側デバイスの画面にカメラが対向するように当該カメラを有する撮像側デバイスが配置された状態で、表示側デバイスの画面に所定の判定用パターンが表示され、撮像側デバイスのカメラにより撮像される判定用パターンの画像に基づいて撮像側デバイスのカメラの相対位置が判定される。従って、ユーザにより指定された位置を、これらデバイスを俯瞰的な視点から撮像する別のカメラからの画像に基づいて特定するような手法と比較して、より精細な位置の特定が可能となる。例えば、表示側デバイスの画面上の任意の位置を、高い分解能で特定することができる。上述した実施形態は、電子機器が一般的に有する画面及びカメラを用いて実現可能であり、タッチパネルへの入力用の突起のような追加的な部品は必要とされない。

また、上述した実施形態によれば、判定用パターンの撮像画像を用いて取得されるカメラの相対位置に基づいてユーザインタフェースを制御するために生成される表示制御信号が、表示側デバイス又は撮像側デバイスのディスプレイへ出力される。従って、本開示に係る技術を基盤として用いて、表示側デバイス及び撮像側デバイスの固有の特徴（即ち、比較的サイズの大きい画面又はポータビリティなど）を活かした多様なユーザインタフェースをユーザに提供することができる。

また、上述した実施形態によれば、撮像側デバイスのカメラの相対位置に基づいて決定される表示側デバイスの画面上の表示位置に、撮像側デバイスに関連するＧＵＩが表示される。そして、ユーザは、小型であるために操作をすることが煩雑な撮像側デバイスの画面の代わりに、表示側デバイスの画面上の当該ＧＵＩを介して、撮像側デバイスが保持するコンテンツを操作することができる。また、当該ＧＵＩに相当する表示オブジェクトの形状及びサイズは、撮像側デバイスのプロファイルデータを用いて決定され得る。この場合、操作対象の撮像側デバイスとＧＵＩとの間の関連付けをユーザが直感的に把握することが可能となり、ユーザビリティが一層向上され得る。判定用パターンの撮像画像を用いてさらに撮像側デバイスの回転量が取得され、取得された回転量にさらに基づいてＧＵＩが表示される場合には、操作対象の撮像側デバイスとＧＵＩとの間の関連付けはさらに強化される。例えば、撮像側デバイスを表示側デバイスの画面から離した後に撮像側デバイスの痕跡又は影（のような表示オブジェクト）を表示側デバイスの画面上に残すことも可能となる。

また、上述した実施形態によれば、判定用パターンの撮像画像を用いて取得されるカメラの相対位置に基づいて、デバイス間のデータ連携の対象とすべきコンテンツを指定するようなポインティングＵＩもまた提供され得る。この場合、ユーザは、データ連携に関与するデバイス（例えば、撮像側デバイス）と対象コンテンツ（表示側デバイスが保持する任意のコンテンツ）とを、一度の操作で同時に指定することができる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置（例えば、クラウドサーバ）上に実装されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させる表示制御部と、
前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部と、
を備える情報処理装置。
（２）
前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて、表示制御信号を生成する、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記画面の表示を制御するために前記表示制御信号を生成する、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて決定される前記画面上の表示位置に、前記デバイスに関連するグラフィカルＵＩが表示されるように、前記表示制御信号を生成する、前記（３）に記載の情報処理装置。
（５）
前記情報処理装置は、前記デバイスが有する画面の表示を制御するために前記表示制御部により生成される前記表示制御信号を前記デバイスへ送信する通信部、をさらに備える、前記（２）に記載の情報処理装置。
（６）
前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて選択されるコンテンツを、前記デバイスに再生させ又は記憶させる、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記位置取得部は、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの回転量をさらに取得し、
前記表示制御部は、前記カメラの前記回転量にさらに基づいて、前記表示制御信号を生成する、
前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（８）
前記表示制御部は、前記相対位置、前記回転量及び前記デバイスにおける前記カメラの配置を定義するプロファイルデータを用いて、前記画面に対する前記デバイスの相対的配置に対応する表示オブジェクトを表示させるための前記表示制御信号を生成する、前記（７）に記載の情報処理装置。
（９）
前記所定のパターンは、位置に依存して変化する画像特性を有する静止画である、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記所定のパターンは、前記画面上で時間を追って移動する１つ以上の表示オブジェクトを表示する動画である、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１１）
前記カメラの前記相対位置は、前記カメラへの前記１つ以上の表示オブジェクトの到達時間を用いて判定される、前記（１０）に記載の情報処理装置。
（１２）
前記１つ以上の表示オブジェクトは、
少なくとも２つの基準位置からそれぞれ発せられる波紋オブジェクト、
予め定義される軌道に沿って前記画面上を移動する移動オブジェクト、又は
前記画面を走査する少なくとも２つの走査線オブジェクト、
を含む、前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記情報処理装置へのユーザ入力又は前記デバイスへのユーザ入力に応じて、前記画面に前記所定のパターンを表示させる、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記表示制御部は、前記画面に前記デバイスが接触したことを示すセンサ入力に応じて、前記画面に前記所定のパターンを表示させる、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１５）
前記位置取得部は、前記デバイスにより前記パターンの画像に基づいて判定される前記カメラの前記相対位置を示す位置データを、前記デバイスから取得する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記位置取得部は、前記デバイスにより前記パターンの画像に基づいて生成されるパラメータを前記デバイスから取得し、取得した当該パラメータを用いて前記カメラの前記相対位置を判定する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１７）
前記位置取得部は、前記デバイスにより撮像される前記パターンの画像を取得し、取得した前記パターンの画像に基づいて前記カメラの前記相対位置を判定する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１８）
情報処理装置を制御するプロセッサを、
画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させ、
前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する、
ように機能させるためのプログラム。
（１９）
画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムにおいて、
前記第１デバイスの前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させることと、
前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得することと、
を含む情報処理方法。
（２０）
画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムであって、
前記第１デバイスは、
前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させる表示制御部、
を備え、
前記第１デバイス又は前記第２デバイスは、
前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部、
を備える、
情報処理システム。
（２１）
画面を有するデバイスの当該画面にカメラが対向するように当該カメラが配置された状態で前記画面に表示される所定のパターンを前記カメラにより撮像した撮像画像を取得する画像取得部と、
前記画像取得部により取得される前記撮像画像に基づいて、前記画面に対する前記カメラの相対位置を判定するために使用されるパラメータを生成する制御部と、
を備える情報処理装置。
（２２）
情報処理装置を制御するプロセッサを、
画面を有するデバイスの当該画面にカメラが対向するように当該カメラが配置された状態で前記画面に表示される所定のパターンを前記カメラにより撮像した撮像画像を取得し、
取得した前記撮像画像に基づいて、前記画面に対する前記カメラの相対位置を判定するために使用されるパラメータを生成する、
ように機能させるためのプログラム。

１ａ，１ｂ 情報処理システム
１００ 表示側デバイス（情報処理装置）
１０２ ディスプレイ
１１８ プロセッサ
２００ 撮像側デバイス（情報処理装置）
２０２ カメラ
２１８ プロセッサ

Claims (20)

1. 画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させる表示制御部と、
   前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部と、
   を備える情報処理装置。
2. 前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて、表示制御信号を生成する、請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記画面の表示を制御するために前記表示制御信号を生成する、請求項２に記載の情報処理装置。
4. 前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて決定される前記画面上の表示位置に、前記デバイスに関連するグラフィカルＵＩが表示されるように、前記表示制御信号を生成する、請求項３に記載の情報処理装置。
5. 前記情報処理装置は、前記デバイスが有する画面の表示を制御するために前記表示制御部により生成される前記表示制御信号を前記デバイスへ送信する通信部、をさらに備える、請求項２に記載の情報処理装置。
6. 前記表示制御部は、前記位置取得部により取得される前記カメラの前記相対位置に基づいて選択されるコンテンツを、前記デバイスに再生させ又は記憶させる、請求項１に記載の情報処理装置。
7. 前記位置取得部は、前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの回転量をさらに取得し、
   前記表示制御部は、前記カメラの前記回転量にさらに基づいて、前記表示制御信号を生成する、
   請求項２に記載の情報処理装置。
8. 前記表示制御部は、前記相対位置、前記回転量及び前記デバイスにおける前記カメラの配置を定義するプロファイルデータを用いて、前記画面に対する前記デバイスの相対的配置に対応する表示オブジェクトを表示させるための前記表示制御信号を生成する、請求項７に記載の情報処理装置。
9. 前記所定のパターンは、位置に依存して変化する画像特性を有する静止画である、請求項１に記載の情報処理装置。
10. 前記所定のパターンは、前記画面上で時間を追って移動する１つ以上の表示オブジェクトを表示する動画である、請求項１に記載の情報処理装置。
11. 前記カメラの前記相対位置は、前記カメラへの前記１つ以上の表示オブジェクトの到達時間を用いて判定される、請求項１０に記載の情報処理装置。
12. 前記１つ以上の表示オブジェクトは、
    少なくとも２つの基準位置からそれぞれ発せられる波紋オブジェクト、
    予め定義される軌道に沿って前記画面上を移動する移動オブジェクト、又は
    前記画面を走査する少なくとも２つの走査線オブジェクト、
    を含む、請求項１１に記載の情報処理装置。
13. 前記表示制御部は、前記情報処理装置へのユーザ入力又は前記デバイスへのユーザ入力に応じて、前記画面に前記所定のパターンを表示させる、請求項１に記載の情報処理装置。
14. 前記表示制御部は、前記画面に前記デバイスが接触したことを示すセンサ入力に応じて、前記画面に前記所定のパターンを表示させる、請求項１に記載の情報処理装置。
15. 前記位置取得部は、前記デバイスにより前記パターンの画像に基づいて判定される前記カメラの前記相対位置を示す位置データを、前記デバイスから取得する、請求項１に記載の情報処理装置。
16. 前記位置取得部は、前記デバイスにより前記パターンの画像に基づいて生成されるパラメータを前記デバイスから取得し、取得した当該パラメータを用いて前記カメラの前記相対位置を判定する、請求項１に記載の情報処理装置。
17. 前記位置取得部は、前記デバイスにより撮像される前記パターンの画像を取得し、取得した前記パターンの画像に基づいて前記カメラの前記相対位置を判定する、請求項１に記載の情報処理装置。
18. 情報処理装置を制御するプロセッサを、
    画面にカメラが対向するように当該カメラを有するデバイスが配置された状態で前記画面に所定のパターンを表示させ、
    前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する、
    ように機能させるためのプログラム。
19. 画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムにおいて、
    前記第１デバイスの前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させることと、
    前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得することと、
    を含む情報処理方法。
20. 画面を有する第１デバイス及びカメラを有する第２デバイスを含む情報処理システムであって、
    前記第１デバイスは、
    前記画面に前記カメラが対向するように前記第２デバイスが配置された状態で、前記画面に所定のパターンを表示させる表示制御部、
    を備え、
    前記第１デバイス又は前記第２デバイスは、
    前記カメラにより撮像される前記パターンの画像に基づいて判定される前記画面に対する前記カメラの相対位置を取得する位置取得部、
    を備える、
    情報処理システム。
    

Images