JP2015211475A - カメラを使用して一次ディスプレイと同じ部屋にある候補コンパニオンディスプレイデバイスを近接検出する方法 - Google Patents

Abstract

【課題】カメラを使用して一次ディスプレイと同じ部屋にある候補コンパニオンディスプレイデバイスを近接検出する方法を提供すること。
【解決手段】候補コンパニオンスクリーンデバイスは、カメラ及び画像認識を使用して一次ディスプレイと同じ部屋にあるものとして一次ディスプレイデバイスによって位置特定され、これに応答して、一次ディスプレイデバイス上に表示されるコンテンツに関係付けられる補助コンテンツが、コンパニオンスクリーンデバイスに提供される。補助コンテンツは、例えばウェブサイトへのリンクをコンパニオンデバイスに提供することによって、一次ディスプレイデバイスに提示されるコンテンツにおける情報に基づいてインターネットから提供することができる。
【選択図】図１

Description

本出願は、一般に、カメラを使用して候補コンパニオンディスプレイデバイスが一次ディスプレイと同じ部屋にあることを判定することに関する。

コンピュータエコシステム又はデジタルエコシステムは、持続可能性、自己管理性、及びスケーラビリティによって特徴付けられる適応型及び分散型の社会技術システムである。完全なコンピュータエコシステムは、養分循環及びエネルギーフローを介して相互作用する生物及び非生物構成要素からなる環境エコシステムによって着想され、場合によってはＳｏｎｙのような１つの企業によって提供することが可能なハードウェア、ソフトウェア、及びサービスからなる。各コンピュータエコシステムの目標は、要求される全てのものを、少なくとも１つにはインターネットを介して交換することができるサービス及び／又はソフトウェアを消費者に提供することである。更に、コンピュータクラウド内のアプリケーションのようなエコシステムの要素間での相互接続性及び共有は、データを編成しアクセスする高度の能力を消費者に提供し、このこと自体を効率的な統合的エコシステムの将来の特性として提示する。

コンピュータエコシステムには２つの一般的なタイプが存在する。すなわち垂直及び水平コンピュータエコシステムである。垂直方式では、仮想的にエコシステムの全ての態様が１つの企業によって所有及び制御され、互いにシームレスに対話するよう具体的に設計される。他方、水平エコシステムでは、他のエンティティによって作成されたハードウェア及びソフトウェアのような態様を１つの統一エコシステムに統合する。水平方式は、消費者及び製造者からの多種多様な入力を可能にし、変化する需要に対する新しい技術革新及び適応能力を向上させる。

本明細書に関連する例示的なエコシステムは、無線通信デバイスのようなＴＶ及び様々な近隣ディスプレイデバイスを含む家庭用娯楽エコシステムである。

本明細書で理解されるように、ＴＶの「コンパニオン」デバイスとして使用することを目的として家庭エコシステムにおいてデバイスとＴＶをペアリングするために、一般にユーザは、家庭内及び多くの場合エコシステムデバイスが無線で発見することがある近隣の家においてエコシステムデバイスの長いリストからデバイスを選択しなければならない。通常は、家の中は勿論のこと、同じ部屋にどのデバイスが存在するかを見つけ出すのはユーザ（人間）次第である。

本発明の原理は、ＴＶなどのオーディオビデオディスプレイデバイス（ＡＶＤＤ）のような一次ディスプレイデバイス（ＰＤＤ）が、候補コンパニオンスクリーンデバイス（ＣＣＳＤ）、例えば、タブレットコンピュータ、無線電話、及び家庭エコシステムに存在するだけでなくＰＤＤと同じ部屋にある同様のものを発見できるようにすることに関する。このことは、ＰＤＤが位置する部屋の外部にあるＣＣＳＤが有用ではないか又は部屋の外部のデバイスのユーザがＰＤＤを見ることができない場合に補助コンテンツの表示が望ましい時に、複数のＣＣＳＤの１つをインテリジェントに選択してＰＤＤに表示される一次コンテンツに関係付けられた補助コンテンツの提示を選択することを可能にする。ＰＤＤは、ユーザがＣＣＳＤに補助データを提示することを望むかどうかに関するメッセージをＰＤＤと同じ部屋のＣＣＳＤに送信することができる。

再生中のコンテンツにデバイスが集中している場合、ＰＤＤは無線タブレットのような比較的小さなディスプレイを備えたデバイスによって設定できる点に留意されたい。このシナリオでは、ＣＣＳＤは、例えば本原理に影響を与えることなく大画面のＴＶによって設定することができる。

従って、デバイスは、プロセッサによって実行可能な命令を担持する少なくとも１つのコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体にアクセスして命令を実行するように構成された少なくとも１つのプロセッサとを含み、上記命令が、デバイスに該デバイスの前方のスペースを撮像させるようプロセッサを構成する。プロセッサはまた、命令を実行した時に、スペースにおける物体に関して画像認識を実行して、画像認識に少なくとも部分的に基づいて、少なくとも１つの物体が候補コンパニオンスクリーンデバイス（ＣＣＳＤ）であるかどうかを判定するように構成される。少なくとも１つの物体がＣＣＳＤであるという判定に少なくとも部分的に応答して、プロセッサが、命令を実行した時に、デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを該補助コンテンツの提示のためＣＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを該メッセージの提示のためＣＣＳＤに提供させるように構成される。

幾つかの実施形態では、プロセッサが、命令を実行した時に、少なくとも１つの物体がＣＣＳＤであるという判定に応答して、ＣＣＳＤが所定の構成にあるかどうかを判定し、ＣＣＳＤが所定の構成にある場合にのみ、デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを該補助コンテンツの提示のためＣＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを該メッセージの提示のためＣＣＳＤに提供させる、ように構成される。

実施例において、プロセッサが、命令を実行した時に、ランプの点灯及び／又はソニックチャープの放射を行うようＣＣＳＤに命令して、デバイスがランプの点灯を検出又はチャープを検出した場合にのみ、デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを該補助コンテンツの提示のためＣＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを該メッセージの提示のためＣＣＳＤに提供させる、ように構成される。

実施例において、プロセッサが、命令を実行した時に、第１ネットワークデバイスが撮像されていないという判定に応答して、デバイス上に提示されたネットワークデバイス発見リストから第１ネットワークデバイスを取り除くように構成される。

別の態様において、方法は、ディスプレイデバイスの前方のスペースを撮像するステップと、スペースにおける物体に関して画像認識を実行するステップと、を含む。画像認識に少なくとも部分的に基づいて、本方法は、少なくとも１つの物体が候補コンパニオンスクリーンデバイス（ＣＣＳＤ）であるかどうかを判定する。少なくとも１つの物体がＣＣＳＤであるという判定に少なくとも部分的に応答して、コンパニオンスクリーンアクティビティを行う。

別の態様において、デバイスは、プロセッサによって実行可能な命令を担持する少なくとも１つのコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体にアクセスして命令を実行するように構成された少なくとも１つのプロセッサとを含み、上記命令が、カメラ及び画像認識を使用して一次ディスプレイと同じ部屋にある候補コンパニオンスクリーンデバイスを位置特定するようプロセッサを構成する。一次デバイスと同じ部屋にあるコンパニオンスクリーンデバイスを位置特定したことに応答して、プロセッサが、命令を実行した時に、一次ディスプレイデバイスに表示されるコンテンツに関係付けられる補助コンテンツをコンパニオンスクリーンデバイス（ＣＳＤ）に提供するように構成される。

本発明の詳細は、その構造及び動作の両方に関して、同じ参照数字が同じ部分を示す添付の図面を参照することで良く理解することができる。

本発明の原理による実施例を含む例示的なシステムのブロック図である。 本発明の原理による例示的なアルゴリズムを示すフローチャートである。 本発明の原理による例示的なアルゴリズムを示すフローチャートである。 本発明の原理による例示的な画面図である。 本発明の原理による例示的な画面図である。 本発明の原理による例示的な画面図である。

本開示は、一般的に、コンピュータエコシステムにおけるユーザ情報に基づく消費者電子機器（ＣＥ）デバイスの態様を含むコンピュータエコシステムに関する。本明細書におけるシステムは、クライアントとサーバ構成要素との間でデータを交換することができるようなネットワークを通じて接続されたサーバ及びクライアント構成要素を含むことができる。クライアント構成要素は、ポータブルテレビジョン（例えば、スマートＴＶ、インターネット対応ＴＶ）、ラップトップ及びタブレットコンピュータのようなポータブルコンピュータ、並びにスマートフォン及び以下に説明される別の実施例を含む他のモバイルデバイスを含む、１又はそれ以上のコンピュータデバイスを含むことができる。これらのクライアントデバイスは、多種多様な動作環境で動作することができる。例えば、クライアントコンピュータの一部は、実施例として、Ｍｉｃｒｏｓｏｆｔ製のオペレーティングシステム、又はＵｎｉｘオペレーティングシステム、或いはＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ又はＧｏｏｇｌｅによって作製されたオペレーティングシステムを利用することができる。これらの動作環境は、Ｍｉｃｒｏｓｏｆｔ又はＧｏｏｇｌｅ又はＭｏｚｉｌｌａ製のブラウザ、或いは以下に説明されるインターネットサーバによってホストされるウェブアプリケーションにアクセスすることができる他のブラウザプログラムのような、１又はそれ以上のブラウザプログラムを実行するのに使用することができる。

サーバは、インターネットのようなネットワークを通じてデータを受信及び送信するようサーバを構成する命令を実行する１又はそれ以上のプロセッサを含むことができる。又は、クライアント及びサーバは、ローカルインターネット又は仮想プライベートネットワークを通じて接続することができる。

クライアントとサーバの間のネットワークを通じて情報を交換することができる。このため及びセキュリティのために、サーバ及び／又はクライアントは、ファイヤウォール、ロードバランサ、一時記憶装置、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含むことができる。１又はそれ以上のサーバは、オンラインソーシャルウェブサイトのようなセキュアコミュニティをネットワークメンバに提供する方法を実行する装置を形成することができる。

本明細書で使用する命令とは、システムにおける情報を処理するためのコンピュータで実行されるステップを指す。命令は、ソフトウェア、ファームウェア又はハードウェアにおいて実装され、本システムの構成要素によって行われる何れかの種類のプログラムステップを含むことができる。

プロセッサは、アドレスライン、データライン、及び制御ラインのような様々なライン、並びにレジスタ及びシフトレジスタによって論理を実行することができる何れかの従来の汎用シングルチップ又はマルチチッププロセッサとすることができる。

本明細書でユーザインタフェース及びフローチャートによって説明されるソフトウェアモジュールは、様々なサブルーチン、手順、その他を含むことができる。本開示を限定することなく、特定のモジュールによって実行されると記載される論理は、他のソフトウェアモジュールに再分散することができ、及び／又は単一のモジュールに結合することができ、及び／又は共有可能なライブラリで利用することができる。

本明細書に記載する本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせとして実施することができ、従って、例示の構成要素、ブロック、モジュール、回路、及びステップがその機能に関して記載されている。

上記で示唆されたものに加えて、以下に説明される論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）のような他のプログラム可能論理デバイス、離散的ゲート又はトランジスタ論理、離散的ハードウェア構成要素、又は本明細書に記述される機能を実行するよう設計されたこれらの何れかの組み合わせによって実施又は実行することができる。プロセッサは、コントローラ又は状態マシン、或いはコンピュータデバイスの組み合わせによって実装することができる。

以下に説明する機能及び方法は、ソフトウェアで実装される時に、限定ではないがＣ＃又はＣ＋＋などのような適切な言語で記述することができ、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）又はデジタル多機能ディスク（ＤＶＤ）のような他の光学ディスク記憶装置、磁気ディスク記憶装置又は取外し可能サムドライブなどを含む他の磁気記憶デバイスに格納し、又はこれらを通じて伝達することができる。接続は、コンピュータ可読媒体を設定することができる。このような接続は、実施例として、光ファイバ、同軸ワイヤ及びデジタル加入者回線（ＤＳＬ）及びツイスト線を含む有線ケーブルを含むことができる。このような接続は、赤外線及び無線を含む無線通信接続を含むことができる。

１つの実施形態に含まれる構成要素は、何れかの適切な組み合わせで他の実施形態において使用することができる。例えば、本明細書に記述する及び／又は図示された様々な構成要素の何れかを他の実施形態と組み合わせ、交換し、又は他の実施形態から除外することができる。

「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａだけ、Ｂだけ、Ｃだけ、ＡとＢとを合わせて、ＡとＣとを合わせて、ＢとＣとを合わせて、及び／又はＡとＢとＣとを合わせて有するシステムを含む。

ここで図１を具体的に参照すると、本発明の原理による、上述され且つ以下で更に説明される例示的なデバイスの１又はそれ以上を含むことができる例示的なエコシステム１０が示されている。システム１０に含まれる例示的なデバイスの第１は、例示的な一次ディスプレイデバイスであり、実施形態においては、限定ではないがインターネット対応ＴＶのようなオーディオビデオディスプレイデバイス（ＡＶＤＤ）１２が示されている。従って、ＡＶＤＤ１２は、代替として、家電又は家庭用アイテム、例えばコンピュータ制御のインターネット対応冷蔵庫、洗濯機、又は乾燥機とすることができる。ＡＶＤＤ１２はまた、代替として、コンピュータ制御のインターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御のインターネット対応時計、コンピュータ制御のインターネット対応ブレスレット、他のコンピュータ制御のインターネット対応デバイス、コンピュータ制御のインターネット対応音楽プレーヤ、コンピュータ制御のインターネット対応ヘッドフォン、埋め込み型皮膚デバイスなどのようなコンピュータ制御のインターネット対応埋め込み可能デバイスなどのウェアラブルコンピュータ制御デバイスとすることができる。何れにしても、ＡＶＤＤ１２が本発明の原理を実施する（例えば、本発明の原理を実施するために他のＣＥデバイスと通信し、本明細書に記載される論理を実行して、本明細書に記載される何れかの他の機能及び／又は動作を実行する）ように構成される点を理解されたい。

従って、このような原理を実施するために、ＡＶＤＤ１２は、図１に示された構成要素の一部又は全てにより設定することができる。例えば、ＡＶＤＤ１２は、高解像度又は超高解像度フラットスクリーンによって実装することができ、またディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応とすることができる１又はそれ以上のディスプレイ１４を含むことができる。ＡＶＤＤ１２は、本発明の原理によるオーディオを出力する１又はそれ以上のスピーカ１６、並びに、例えばＡＶＤＤ１２を制御するための可聴コマンドをＡＶＤＤ１２に入力するオーディオ受信機／マイクロフォンのような少なくとも１つの追加の入力デバイス１８を含むことができる。例示的なＡＶＤＤ１２はまた、１又はそれ以上のプロセッサ２４の制御下で、インターネット、ＷＡＮ、ＬＡＮ、その他などの少なくとも１つのネットワーク２２を通じた通信のための１又はそれ以上のネットワークインタフェース２０を含むことができる。従って、インタフェース２０は、限定ではないが、無線コンピュータネットワークインタフェースの１つの実施例であるＷｉ−Ｆｉ送受信機とすることができる。プロセッサ２４は、例えば、画像を提示するようディスプレイ１４を制御し、その画像から入力を受信するなど、本明細書で記載されるＡＶＤＤ１２の他の要素を含めて、本発明の原理を実施するようにＡＶＤＤ１２を制御する点を理解されたい。更に、ネットワークインタフェース２０は、例えば、有線又は無線モデム又はルータ、又は例えば無線電話送受信機又は上述されたようなＷｉ−Ｆｉ送受信機のような他の適切なインタフェースとすることができる点に留意されたい。

上記のことに加えて、ＡＶＤＤ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するためのＵＳＢポート及び／又はＡＶＤＤ１２からヘッドフォンを介してユーザにオーディオを提示するためにヘッドフォンをＡＶＤＤ１２に接続するヘッドフォンポートなど、１又はそれ以上の入力ポート２６を含むことができる。ＡＶＤＤ１２は更に、ディスクベース又は半導体記憶装置のような１又はそれ以上の有形コンピュータ可読記憶媒体２８を含むことができる。また、幾つかの実施形態では、ＡＶＤＤ１２は、限定ではないが、携帯電話受信機、ＧＰＳ受信機、及び／又は高度計３０などの位置又はロケーション受信機を含むことができ、これは、例えば少なくとも１つの衛星又は携帯電話タワーから地理的位置情報を受信して、この情報をプロセッサ２４に提供し、及び／又はＡＶＤＤ１２がプロセッサ２４と共に配置されている高度を決定するように構成される。しかしながら、例えば全３次元で例えばＡＶＤＤ１２の位置を決定するために、携帯電話受信機、ＧＰＳ受信機及び／又は高度計以外の別の適切な位置受信機を本発明の原理に従って使用できる点は理解されたい。

ＡＶＤＤ１２の説明を続けると、幾つかの実施形態において、ＡＶＤＤ１２は、本発明の原理に従って写真／画像及び／又はビデオを収集するための１又はそれ以上のカメラ３２を含むことができ、これらは、例えば、サーマルイメージングカメラ、ウェブカメラのようなデジタルカメラ、及び／又はＡＶＤＤ１２に統合され且つプロセッサ２４によって制御可能なカメラとすることができる。また、ＡＶＤＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ及び／又はＮＦＣ技術をそれぞれ使用して他のデバイスと通信するＢｌｕｅｔｏｏｔｈ送受信機３４及び他の近距離無線通信（ＮＦＣ）要素３６とすることができる。例示的なＮＦＣ要素は、無線固体識別（ＲＦＩＤ）要素とすることができる。要素３４、３６は、本明細書で説明する他の適切な要素と同様に、関連するデバイスのハウジング又はシャーシ内に組み入れることができ、又はユニバーサルシリアルバス（ＵＳＢ）２／３ドングルデバイスとして提供することができる点に留意されたい。

Ｂｌｕｅｔｏｏｔｈモジュール６８に関しては、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）システム及び標準Ｂｌｕｅｔｏｏｔｈシステムの何れか又は両方を使用して通信を実施するＢＬＥモジュール及び／又はＢｌｕｅｔｏｏｔｈ４．０モジュールとして実装することができる。本明細書で理解されるように、ＢＬＥは、クラシックＢｌｕｅｔｏｏｔｈ技術と同じスペクトルレンジ（２．４００ＧＨｚ〜２．４８３５ＧＨｚ帯域）で動作するが、異なるチャネルセットを使用している。Ｂｌｕｅｔｏｏｔｈの７９個の１−ＭＨｚチャネルの代わりに、ＢＬＥは、４０個の２ＭＨｚチャネルを利用する。ＢＬＥは、毎秒１メガバイトのデータ転送速度及び１０ミリワット（１０ｍＷ）の最大送信パワーを有するガウス周波数偏移変調を使用してチャネル内でデータを送信する。

更にまた、ＡＶＤＤ１２は、入力をプロセッサ２４に提供する１又はそれ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ、又は磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／又は歩調センサ、ジェスチャセンサ（例えば、ジェスチャコマンドを感知するための）、その他のような動きセンサ）を含むことができる。ＡＶＤＤ１２は更に、入力をプロセッサ２４に提供する、例えば１又はそれ以上の気候センサ３８（例えば、バロメータ、湿度センサ、風センサ、光センサ、温度センサなど）及び／又は１又はそれ以上の生体測定センサ４０のような他のセンサを含むことができる。前述の説明に加えて、ＡＶＤＤ１２がまた、ＩＲデータアソシエーション（ＩＲＤＡ）デバイスのような赤外線（ＩＲ）送信機及び／又はＩＲ受信機及び／又はＩＲ送受信機４２を含むことができる点に留意されたい。ＡＶＤＤ１２に給電するためにバッテリ（図示せず）を設けることができる。

図１を更に参照すると、ＡＶＤＤ１２に加えて、システム１０は、ＡＶＤＤ１２によって設定された一次ディスプレイデバイスのための候補コンパニオンスクリーンデバイスを確立することができる１又はそれ以上の他のＣＥデバイスタイプを含むことができる。１つの実施例において、第１候補コンパニオンスクリーンデバイスは、第１ＣＥデバイス４４によって設定され、第２コンパニオンスクリーンデバイスは、第１ＣＥデバイス４４と類似の構成要素を含むことができる第２ＣＥデバイス４６によって設定することができ、従って、詳細には説明しない。図示の実施例において、２つのＣＥデバイス４４、４６だけが候補コンパニオンスクリーンデバイスとして示されているが、１つの候補コンパニオンスクリーンデバイスのみ、或いは２つよりも多い候補コンパニオンスクリーンデバイスを使用してもよい点は理解されたい。

図示の実施例において、本発明の原理を例示するために、３つのデバイス１２、４４、４６全てが、住居における家庭娯楽ネットワークのメンバであるか、又は住宅などの場所において少なくとも互いに近接して存在していると仮定する。しかしながら、本発明の原理の例示において、第１ＣＥデバイス４４は、破線４８で示される壁によって境界付けられたＡＶＤＤ１２と同じ部屋内に存在すると仮定し、他方、第２ＣＥデバイス４６は、必ずしも第１デバイス４４よりもＡＶＤＤ１２から遠く離れておらず、実際には第１ＣＥデバイス４４よりもＡＶＤＤ１２により近接しているが、壁４８によって境界付けられた部屋の外側にあるとする。

限定ではない例示的な第１ＣＥデバイス４４は、上述のデバイスの何れか１つによって設定することができ、従って、以下で説明される構成要素の１又はそれ以上を有することができる。具体的には、第１ＣＥデバイス４４は、ディスプレイ上のタッチを介したユーザ入力信号を受信するためにタッチ対応とすることができる１又はそれ以上のディスプレイ５０を含むことができる。第１ＣＥデバイス４４は、本発明の原理によるオーディオを出力するための１又はそれ以上のスピーカ５２、及び例えばデバイス４４を制御するための可聴コマンドを第１ＣＥデバイス４４に入力するオーディオ受信機／マイクロフォンのような少なくとも１つの追加の入力デバイス５４を含むことができる。例示的な第１ＣＥデバイス４４はまた、１又はそれ以上のＣＥデバイスプロセッサ５８の制御下でネットワーク２２を通じた通信のための１又はそれ以上のネットワークインタフェース５６を含むことができる。従って、インタフェース５６は、限定ではないが、無線コンピュータネットワークインタフェースの１つの実施例であるＷｉ−Ｆｉ送受信機とすることができる。プロセッサ５８は、例えば画像を提示してその画像から入力を受け取るようにディスプレイ５０を制御するような本明細書に記載される第１ＣＥデバイス４４の他の要素を含む第１ＣＥデバイス４４を制御して、本発明の原理を実施することを理解されたい。更に、ネットワークインタフェース５６は、例えば有線又は無線モデム又はルータ、もしくは例えば無線電話送受信機のような他の適切なインタフェース、或いは上述のようなＷｉ−Ｆｉ送受信機、その他とすることができる点に留意されたい。

上記のことに加えて、第１ＣＥデバイス４４はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するためのＵＳＢポート、及び／又は第１ＣＥデバイス４４からヘッドフォンを介してユーザにオーディオを提示するために第１ＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポートのような、１又はそれ以上の入力ポート６０を含むことができる。第１ＣＥデバイス４４は更に、ディスクベース又は半導体記憶装置のような１又はそれ以上の有形コンピュータ可読記憶媒体６２を含むことができる。また幾つかの実施形態では、第１ＣＥデバイス４４は、限定ではないが、携帯電話及び／又はＧＰＳ受信機及び／又は高度計６４のような位置又はロケーション受信機を含むことができ、これは、例えば三角測量を使用して少なくとも１つの衛星及び／又はセルタワーから地理的位置情報を受信し、この情報をＣＥデバイスプロセッサ５８に提供し、及び／又は第１ＣＥデバイス４４がＣＥデバイスプロセッサ５８と共に配置される高度を決定するように構成される。しかしながら、例えば全３次元における第１ＣＥデバイス４４の位置を決定するために、携帯電話及び／又はＧＰＳ受信機及び／又は高度計以外の別の適切な位置受信機を本発明の原理に従って使用できることは理解されたい。

第１ＣＥデバイス４４の説明を続けると、幾つかの実施形態において、第１ＣＥデバイス４４は、本発明の原理に従って写真／画像及び／又はビデオを収集する１又はそれ以上のカメラ６６を含むことができ、これらは、例えばサーマルイメージングカメラ、ウェブカメラのようなデジタルカメラ、及び／又は第１ＣＥデバイス４４に統合されＣＥデバイスプロセッサ５８によって制御可能なカメラとすることができる。

また、第１ＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ及び／又はＮＦＣ技術をそれぞれ使用して他のデバイスと通信するＢｌｕｅｔｏｏｔｈ送受信機６８及び他の近距離通信（ＮＦＣ）要素７０とすることができる。例示的なＮＦＣ要素は無線個体識別（ＲＦＩＤ）要素とすることができる。Ｂｌｕｅｔｏｏｔｈモジュール６８は、ＰＤＤのＢｌｕｅｔｏｏｔｈモジュール３４に構成及び使用が実質的に類似したものとすることができる。

更にまた、第１ＣＥデバイス４４は、入力をＣＥデバイスプロセッサ５８に提供する１又はそれ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ、又は磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／又は歩調センサ、ジェスチャセンサ（例えば、ジェスチャコマンドを感知する）、その他）のような動きセンサ）を含むことができる。第１ＣＥデバイス４４は更に、ＣＥデバイスプロセッサ５８に入力を提供する、例えば１又はそれ以上の気候センサ７４（例えば、バロメータ、湿度センサ、風センサ、光センサ、温度センサ、その他）及び／又は１又はそれ以上の生体計測センサ７６のような更に他のセンサを含むことができる。上記のことに加えて、幾つかの実施形態では、第１ＣＥデバイス４４はまた、ＩＲデータアソシエーション（ＩＲＤＡ）デバイスのような赤外線（ＩＲ）送信機及び／又はＩＲ受信機及び／又はＩＲ送受信機４２を含むことができる点に留意されたい。第１ＣＥデバイス４４に給電するためのバッテリ（図示せず）を設けることができる。第２ＣＥデバイス４６は、ＣＥデバイス４４について図示された構成要素の一部又は全部を含むことができる。

ここで上述の少なくとも１つのサーバ８０を参照すると、サーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスクベース又は半導体記憶装置のような少なくとも１つの有形コンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御下でネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に本発明の原理に従ってサーバとクライアントデバイスとの間の通信を可能にすることができる少なくとも１つのネットワークインタフェース８６とを含む。ネットワークインタフェース８６は、例えば有線又は無線モデムもしくはルータ、Ｗｉ−Ｆｉ送受信機、又は例えば無線電話送受信機のような他の適切なインタフェースとすることができる点に留意されたい。

従って、幾つかの実施形態において、サーバ８０は、インターネットサーバとすることができ、例示的な実施形態では、「クラウド」機能を含み実行し、これによってシステム１０のデバイスがサーバ８０を介して「クラウド」環境にアクセスすることができる。

図２は、本発明の原理による全体論理を示す。幾つかの実施例において、ブロック８８において、事象トリガを受信して、その後の論理を作動することができる。例えば、特定の俳優又は製品又はサウンドが表示され、或いは放送チャネルのプログラム変更が、プログラムにおけるメタデータによって、又はＡＶＤＤプロセッサ２４により要求される画像認識によって、又は独立型モードで及び／又は分析結果をＡＶＤＤ１２に送信する分析のためのクラウドサーバ８０に画像／音声をアップロードすることによる何れかでマイクロフォン１８によって検出されプロセッサ２４によって分析されたＡＶＤＤ１２スピーカ１６に提示される音声認識によって指示されるように、ＡＶＤＤ１２に提示される。或いは、以下の検出原理を使用して、ＡＶＤＤ１２は、ＡＶＤＤ１２が配置されている部屋に候補コンパニオンデバイス４４又は４６が運ばれたことを認識することができ、このような認識をトリガとして使用することができる。

何れにしても、以下で更に記載されるように、ブロック９０において、ＡＶＤＤ１２は、ＡＶＤＤ１２と同じ部屋にある候補コンパニオンスクリーンを位置付け、近くではあるが壁４８の外側にある候補コンパニオンスクリーンを除外する。ブロック９２において、ＡＶＤＤ１２と同じ部屋にあるものとして検出された１又はそれ以上の候補コンパニオンスクリーンは、例えば、ＡＶＤＤ１２に提示されるプログラムに関連付けられるコンピュータサイトにコンパニオンスクリーンをリンク付けすることによってＡＶＤＤ１２に提示されるプログラムに関係付けられる補助フィードを備える。このリンク付けは、ＡＶＤＤ１２からユーザが選択できるコンパニオンスクリーンへのネットワークアドレス又はリンクを単純に提供することを必然的に必要とし、これにより、ネットワークブラウザが、家庭内ネットワーク上、ＰＤＤ自体上、又はインターネット上でコンピュータネットワークサイトにアクセスし、補助フィード／コンテンツ／データ（同義的に使用される）を供給し、或いは、このリンク付けは自動化することもでき、例えば、ＡＶＤＤは、これを達成するための何らかのユーザ動作もなしに、特定のネットワークサイトに自動的にアクセスして、補助フィード／コンテンツ／データのダウンロードを自動的に開始するようコンパニオンスクリーンデバイスに命令することができる。

ＣＣＳＤが図２の論理を利用して、上述したラインに沿ってコンテンツを「スロー」する相手となるＰＤＤを位置特定することができる点に留意されたい。

図３は例示的な論理を示す。通常、ＰＤＤは、例えば、ユニバーサルプラグアンドプレイ（ＵＰｎＵＰ）、「ボンジュール」、又は他のデバイス発見プロトコルを使用して、ローカルネットワーク上で近隣の無線デバイスを発見する。この方法は、ネットワーク化デバイスのリストを調べて、どのデバイスが部屋に存在するかを見つけ出すことをユーザに強いることなく、これらのデバイスのどれがＰＤＤと同じ部屋に存在するか、及びひいてはコンパニオンスクリーンとして使用する適合候補を認知することである。

ブロック９４から開始して、ＰＤＤは、カメラを使用してＰＤＤの近隣のスペースを撮像する。これは、定期的プロセス、継続的プロセス、又は限定ではないが、上述した例示的なトリガ事象のようなトリガ事象時にのみ始まるプロセスとすることができる。

決定ダイアモンド９６において、ＣＣＳＤが撮像されていると判定された場合、論理は、幾つかの任意選択的な実施形態において決定ダイアモンド９８に進み、ＣＣＳＤがＣＣＳＤとして使用されることになる適切な構成にあるかどうかを判定することができる。例えば、撮像されたＣＣＳＤがクラムシェルデバイス（折り畳み式携帯電話）であると判定されて、閉じた構成にある場合には、決定ダイアモンド９８でのテストは、否定とすることができ、開放構成である場合には、決定ダイアモンド９８でのテストは、肯定とすることができる。

決定ダイアモンド９６及び９８にてテストを受ける際には、実行プロセッサは、様々な潜在的ＣＣＳＤについての画像テンプレートのライブラリ、例えば、無線電話（必要に応じてモデルタイプによって構成される）、携帯式コンピュータデバイス、及びその他の様々なモデルについてのテンプレート画像のライブラリ、及び撮像物体がテンプレートに一致するかどうかを判定するためにこれらのテンプレートと比較されたものからの画像の物体にアクセスすることができる。ライブラリは、クラウドサーバ上に格納されて、インターネットを通じてアクセスすることができ、又は、ＰＤＤデータ記憶デバイス上のＰＤＤにローカルに格納することができ、或いは、これらの組み合わせとすることができる。一致が見つかると、一致した物体がＣＣＳＤであると考えられる。画像テンプレートは、任意選択の状態９８においてテストに対応した様々な構成の個々のＣＣＳＤの複数の画像を含むことができ、各画像は、ＣＣＳＤとしての使用に適切なＣＣＳＤ構成であるか否かを指示する。

ＣＣＳＤがＰＤＤの視野内で撮像された場合、ＣＣＳＤがＰＤＤと同じ部屋にあることを示し、状態９８が利用された時に、ＣＣＳＤが適切な構成にあると仮定すると、論理は、任意選択の確認ブロック１００に進むことができる。確認ブロック１００において、ＰＤＤは、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉ又は他の無線コマンドをＣＣＳＤのネットワークアドレスを使用してＣＣＳＤに送信し（ＣＣＳＤのネットワークアドレスが一般的には事前に発見されていたことを想起されたい）、ＣＣＳＤに対して、ＣＣＳＤの外部ランプを点灯するように、又はＰＤＤのマイクロフォンによって検出できる可聴チャープを送信するように命令することができる。決定ダイアモンド１０２において、例えばコマンドを送信した直後にＣＣＳＤのランプの点灯を撮像することにより、又は可聴チャープを検出することにより、正しい応答が受信された場合、論理はブロック１０４に進むことができる。そうでなかった場合、論理は、決定ダイアモンド９６又はブロック１００に戻り、発見されたデバイスのリストにおける別のＣＣＳＤを選択して、ランプの照明又はチャープの送出を命令する。ブロック１００が省略される時には、論理は、状態９６及び／又は状態９８の（状態９８が使用された時）肯定テストからブロック１０４に進むことができる。

ブロック１０４において、ＰＤＤに対するコンパニオンスクリーンとしてＣＣＳＤの使用を要請するメッセージを、ＰＤＤから（例えば、Ｂｌｕｅｔｏｏｔｈモジュール又はＮＦＣ要素３６又はネットワークインタフェースもしくはＩＲ要素を介して）ＣＣＳＤに（例えば、適切なネットワークアドレスを使用して）送信することができる。このようなメッセージの実施例を以下に更に示す。図２のブロック９２の論理は、要請されたＣＣＳＤのユーザが要請を受け入れた場合に利用することができる。当然ながら、図３の論理が逆になった時には、この段落の説明も同様に逆になり、ＣＣＳＤがコンパニオンスクリーンとしてＰＤＤを要請することができる。

コンテンツを「スロー」する相手となる複数のコンパニオンスクリーンが存在する場合、このようなコンパニオンスクリーン各々を要請することができ、或いは、カメラの視野において最大物体サイズを有するコンパニオンスクリーンだけを要請することができる点に留意されたい。或いは、画像が特定のモデルのテンプレート画像に一致するＰＤＤのコンパニオンスクリーンだけを要請することができる。又は特定の向きを有するＣＣＤだけを要請することができる。例えば、横たわって撮像されてノートブックコンピュータとして認識されたＣＣＳＤは要請することはできないが、そのキーボード部分から離れて旋回されたスクリーン部分が撮像された同じＣＣＳＤは要請することができる。

加えて、視覚的に識別されたコンパニオンスクリーンに対して、（「スローイング」デバイスからのコマンドによって）特定のネットワークサイト（例えば、一次コンテンツを伴うメタデータによって識別された）に自動的にアクセスさせ、これを達成するための何れのユーザ動作もなしに補助フィード／コンテンツ／データのダウンロードを自動的に開始させることができる。

幾つかの実施形態において、ブロック１０６は、ブロック９４にて撮像されたと判定されたＣＣＳＤだけを含むように、ＰＤＤに提示される発見デバイスのネットワークリストを切り取るよう実行することができる。これにより、リストから不要物を取り除き、ユーザが関心のある可能性が最も高いネットワークデバイスだけを表示するという観点でユーザ体験が単純化される。

図４は、ＣＣＳＤのディスプレイ５０上に例示的な要請メッセージ１４２を提示する例示的なＵＩを示す。ユーザは、「はい」セレクタ要素１４４を選択して、ＣＣＳＤがＰＤＤのコンパニオンスクリーンであることを受け入れることができ、この場合、ＰＤＤは、ＣＣＳＤへのリンクをコンピュータサイト又はブロードキャストサイト又は他のサイトに送信して、補助コンテンツをダウンロードする、又は受信しているが一次ディスプレイ１４上には表示していないデータから補助コンテンツ自体を提供することができる。又は、セレクタ１４４の選択に応答して、ＰＤＤは、ＣＣＳＤに対して、自動的に及びユーザ対話なしに上述のような補助コンテンツのダウンロードを開始させることができる。ユーザは、「いいえ」セレクタ要素１４６を選択することによって、コンパニオンデバイスとしてＣＣＳＤが使用されることを拒否することができる。

図５は、上述の「自動リンキング」論理の何れか１つに従って、ＣＣＳＤのディスプレイ５０上に提示することができるＵＩを示す。図示のように、メッセージ１４８は、ＣＣＳＤがコンパニオンデバイスとして選択されたことをＣＣＳＤのユーザに通知することができ、ディスプレイ５０のウィンドウ１５０が補助コンテンツを提示するのに使用される。選択時に、ＰＤＤに対するコンパニオンスクリーンとしての使用からＣＣＳＤを少なくとも一時的に切断又は使用不可にする拒否セレクタ１５２を提示することができる。

図６は、セットアップモードでＣＣＳＤのディスプレイ５０上に提示して、図５及び６に具現化された２つのモード間をユーザが基本的に選択するのを可能にする例示的なＵＩを示す。ＣＣＳＤがＰＤＤと同じ部屋にある時に、ＰＤＤのコンパニオンスクリーンとしてＣＣＳＤが自動選択されることをユーザが好むかどうかを尋ねるメッセージ１５４を提示することができる。肯定セレクタ１５６は、ユーザがこの機能を選択できるようにし、否定セレクタ１５８は、ユーザがコンパニオンスクリーンとしてＣＣＳＤの自動選択を拒否できるようにする。

本明細書では、「カメラを使用して一次ディスプレイと同じ部屋にある候補コンパニオンディスプレイデバイスを近接検出する方法」が示され詳細に説明されたが、本発明によって包含される主題は、請求項によってのみ限定される点を理解されたい。

１２ 一次ディスプレイ
１６ スピーカ
１８ 入力デバイス
２０ ネットワークインタフェース
２２ ネットワーク
２４ プロセッサ
２６ ポート
２８ 媒体
３０ ＧＰＳ
３２ カメラ
３４ Ｂｌｕｅｔｏｏｔｈ
３６ 近距離通信要素
３７ 補助センサ
３８ 気候センサ
４０ 生体測定センサ
４２ 赤外線
４６ 候補コンパニオンスクリーン
５０ 候補コンパニオン
５２ スピーカ
５４ 入力デバイス
５６ ネットワークインタフェース
５８ プロセッサ
６０ ポート
６２ 媒体
６４ ＧＰＳ
６６ カメラ
６８ Ｂｌｕｅｔｏｏｔｈ
７０ 近距離通信要素
７２ 補助センサ
７４ 気候センサ
７６ 生体測定センサ
７８ 赤外線
８０ サーバ
８２ プロセッサ
８４ 媒体
８６ ネットワークインタフェース

Claims (20)

1. プロセッサによって実行可能な命令を担持する少なくとも１つのコンピュータ可読記憶媒体と、
   前記コンピュータ可読記憶媒体にアクセスして前記命令を実行するように構成された少なくとも１つのプロセッサと、
   を備えたデバイスであって、前記命令が、
   前記デバイスに前記デバイスの前方のスペースを撮像させ、
   前記スペースにおける物体に関して画像認識を実行し、
   前記画像認識に少なくとも部分的に基づいて、少なくとも１つの物体が候補コンパニオンスクリーンデバイス（ＣＣＳＤ）であるかどうかを判定し、
   前記少なくとも１つの物体がＣＣＳＤであるという判定に少なくとも部分的に応答して、前記デバイス上に提示可能な一次コンテンツに関係付けられる前記補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＣＳＤに提供させる、
   ように前記プロセッサを構成する、デバイス。
2. 前記プロセッサが、前記命令を実行した時に、少なくとも１つの物体がＣＣＳＤであるという判定に応答して、前記ＣＣＳＤが所定の構成にあるかどうかを判定し、前記ＣＣＳＤが前記所定の構成にある場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させ、及び／又は前記補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のためＣＣＳＤに提供させる、ように構成される、請求項１に記載のデバイス。
3. 前記プロセッサが、前記命令を実行した時に、ランプの点灯及び／又はソニックチャープの放射を行うよう前記ＣＣＳＤに命令し、前記デバイスが前記ランプの点灯を検出又は前記チャープを検出した場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＣＳＤに提供させる、ように構成される、請求項１に記載のデバイス。
4. 前記プロセッサが、前記命令を実行した時に、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させるように構成される、請求項１に記載のデバイス。
5. 前記プロセッサが、前記命令を実行した時に、補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＣＳＤに提供させるように構成される、請求項１に記載のデバイス。
6. 前記プロセッサが、前記命令を実行した時に、第１ネットワークデバイスが撮像されていないという判定に応答して、前記デバイス上に提示されたネットワークデバイス発見リストから前記第１ネットワークデバイスを取り除くように構成される、請求項１に記載のデバイス。
7. ディスプレイデバイスの前方のスペースを撮像するステップと、
   前記スペースにおける物体に関して画像認識を実行するステップと、
   前記画像認識に少なくとも部分的に基づいて、少なくとも１つの物体が候補コンパニオンスクリーンデバイス（ＣＣＳＤ）であるかどうかを判定するステップと、
   前記少なくとも１つの物体がＣＣＳＤであるという判定に少なくとも部分的に応答して、候補スクリーンアクティビティを行うステップと、
   を含む、方法。
8. 前記コンパニオンスクリーンアクティビティが、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させるステップを含む、請求項７に記載の方法。
9. 前記コンパニオンスクリーンアクティビティが、補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のためＣＣＳＤに提供させるステップを含む、請求項７に記載の方法。
10. 前記少なくとも１つの物体がＣＣＳＤであるという判定に応答して、前記ＣＣＳＤが所定の構成にあるかどうかを判定し、前記ＣＣＳＤが前記所定の構成にある場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させ及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のためＣＣＳＤに提供させるステップを含む、請求項７に記載の方法。
11. ランプの点灯及び／又はソニックチャープの放射を行うよう前記ＣＣＳＤに命令して、点灯されることになる前記ランプが点灯した時に撮像された場合又は前記チャープが検出された場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＣＳＤに提供させ及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のためＣＣＳＤに提供させるステップを含む、請求項７に記載の方法。
12. 第１ネットワークデバイスが撮像されていないという判定に応答して、デバイス上に提示されたネットワークデバイス発見リストから前記第１ネットワークデバイスを取り除くステップを含む、請求項７に記載の方法。
13. プロセッサによって実行可能な命令を担持する少なくとも１つのコンピュータ可読記憶媒体と、
    前記コンピュータ可読記憶媒体にアクセスして前記命令を実行するように構成された少なくとも１つのプロセッサと、
    を備えたデバイスであって、前記命令が、
    カメラ及び画像認識を使用して一次デバイスと同じ部屋にある候補コンパニオンスクリーンデバイスを位置特定し、
    前記一次デバイスと同じ部屋にある前記候補コンパニオンスクリーンデバイスを位置特定することに応答して、前記一次ディスプレイデバイス上に表示されるコンテンツに関係付けられる補助コンテンツを前記コンパニオンスクリーンデバイス（ＣＳＤ）に提供させる、
    ように前記プロセッサを構成する、デバイス。
14. 前記一次デバイスが、一次ディスプレイデバイス（ＰＤＤ）である、請求項１３に記載のデバイス。
15. 前記プロセッサが、前記命令を実行した時に、
    前記デバイスに前記デバイスの前方のスペースを撮像させ、
    前記スペースにおける物体に関して画像認識を実行し、
    前記画像認識に少なくとも部分的に基づいて、少なくとも１つの物体がＣＳＤであるかどうかを判定し、
    前記少なくとも１つの物体がＣＳＤであるという判定に少なくとも部分的に応答して、前記デバイス上に提示可能な一次コンテンツに関係付けられる前記補助コンテンツを前記補助コンテンツの提示のため前記ＣＳＤに提供させ及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＳＤに提供させる、
    ように構成される、請求項１４に記載のデバイス。
16. 前記プロセッサが、前記命令を実行した時に、少なくとも１つの物体がＣＳＤであるという判定に応答して、前記ＣＣＳＤが所定の構成にあるかどうかを判定し、前記ＣＳＤが前記所定の構成にある場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＳＤに提供させる、ように構成される、請求項１５に記載のデバイス。
17. 前記プロセッサが、前記命令を実行した時に、ランプの点灯及び／又はソニックチャープの放射を行うよう前記ＣＳＤに命令し、前記デバイスが前記ランプの点灯を検出又は前記チャープを検出した場合にのみ、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＳＤに提供させ、及び／又は補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＣＳＤに提供させる、ように構成される、請求項１５に記載のデバイス。
18. 前記プロセッサが、前記命令を実行した時に、前記デバイス上に提示可能な一次コンテンツに関係付けられる補助コンテンツを前記補助コンテンツの提示のため前記ＣＳＤに提供させるように構成される、請求項１５に記載のデバイス。
19. 前記プロセッサが、前記命令を実行した時に、補助コンテンツへのアクセスに関するメッセージを前記メッセージの提示のため前記ＣＳＤに提供させするように構成される、請求項１５に記載のデバイス。
20. 前記プロセッサが、前記命令を実行した時に、第１ネットワークデバイスが撮像されていないという判定に応答して、前記デバイス上に提示されたネットワークデバイス発見リストから前記第１ネットワークデバイスを取り除くように構成される、請求項１５に記載のデバイス。

Images