JP6698600B2 - 端末装置、プログラム及びシステム - Google Patents

Description

本発明は、仮想物体を表示可能な端末装置、プログラム及びシステムに関する。

特許文献１は、ディスプレイにキャラクタを表示し、当該キャラクタが、あたかもユーザと会話しているかのように、キャラクタを動作させ、かつ、音声を出力する画像表示装置を開示している。特許文献１によると、画像表示装置は、キャラクタをディスプレイに表示している召喚状態と、キャラクタをディスプレイに表示せず、省電力で待機するスリープ状態と、を有する。例えば、ユーザが外出したことにより、所定時間放置されると、画像表示装置はスリープ状態に移行する。また、家の照明が点灯されたことを検出したり、人感センサが人を検知したりすることで、ユーザの帰宅を検出すると、画像表示装置は召喚状態に移行する。さらに、画像表示装置は、ネットワークに接続しており、外出先のユーザとテキストメッセージの送受信を行う機能を有する。

また、非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。

非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報の取得を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

なお、場所記述情報は、端末装置の位置及び撮像方向と、撮像部が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。

特許第６１６５３０２号公報

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

特許文献１に記載の画像表示装置は、表示するキャラクタが常にユーザ宅内にいることを模擬するものである。一方、非特許文献１の技術により、ユーザが携帯する端末装置が撮像した画像に重畳させて、キャラクタがあたかもそこにいるかの様に、キャラクタをディスプレイに表示することができる。したがって、特許文献１に記載されている様な、ユーザとキャラクタ（仮想物体）とのインタラクティブな動作を、非特許文献１の技術により、外出先においても実現することができる。このとき、ユーザ宅内に設置された画像表示装置のディスプレイと、端末装置のディスプレイに同時にキャラクタが表示されない様に制御することが好ましい。

本発明は、端末装置と、他の装置のディスプレイに同時に同じ仮想物体が表示されない様にする技術を提供するものである。

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、仮想物体を示す仮想物体情報を保持する保持手段と、前記端末装置が前記仮想物体の表示デバイスであるか否かを示す表示制御情報を保持し、前記端末装置が前記仮想物体の表示デバイスであると前記表示制御情報が示している場合に前記仮想物体を前記撮像手段が撮像する撮像画像に重畳させて前記ディスプレイに表示する処理を行うことができ、前記端末装置が前記仮想物体の表示デバイスではないと前記表示制御情報が示している場合、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示する処理を行わない処理手段と、を備えており、前記処理手段は、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示しているときに、当該撮像画像において、前記仮想物体を表示できる表示装置を検出すると、前記仮想物体の表示デバイスを前記端末装置から前記表示装置に切り替えるための第１制御信号を、前記仮想物体の表示デバイスを管理しているサーバ装置に送信することを特徴とする。

本発明によると、端末装置と、他の装置のディスプレイに同時に同じ仮想物体が表示されない様にすることができる。

一実施形態によるユーザ宅内のシステム構成図。 一実施形態による端末装置を表示デバイスにするためのシーケンス図。 一実施形態による端末装置を表示デバイスにするためのシーケンス図。 一実施形態による画像表示装置を表示デバイスにするトリガの説明図。 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。 一実施形態による端末装置の構成図。 一実施形態による端末装置の制御部の機能ブロック図。 一実施形態による画像表示装置の構成図。 一実施形態によるサーバ装置の構成図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態によるユーザ宅内のシステム構成図である。端末装置１０と、画像表示装置２０と、サーバ装置３０とは、ユーザ宅内のＬＡＮ４０により相互に通信可能な様に構成される。なお、ＬＡＮ４０は、無線ＬＡＮ、或いは、無線ＬＡＮ及び有線ＬＡＮにより構成される。例えば、携帯型の端末装置１０は、ＬＡＮ４０へのアクセスに少なくとも無線ＬＡＮを使用する。一方、ユーザ宅に置かれるサーバ装置３０及び画像表示装置２０は、ＬＡＮ４０へのアクセスに有線ＬＡＮと無線ＬＡＮのいずれかを使用できる。

サーバ装置３０は、仮想物体であるキャラクタを表示することができる表示デバイスが、端末装置１０であるか、画像表示装置２０であるかを示す、表示デバイス情報を保持している。さらに、サーバ装置３０は、インターネットに接続している。また、サーバ装置３０は、後述する様に、端末装置１０と画像表示装置２０との間で行う、キャラクタの表示に関する制御情報の送受信の仲介を行う。

画像表示装置２０は、ユーザ宅内に置かれ、特許文献１に記載された画像表示装置の様に、ユーザとインタラクティブな動作を行う様に、キャラクタをディスプレイに表示することができる。なお、画像表示装置２０は、キャラクタをディスプレイに表示することが許可されているか否かを示す表示制御情報を保持している。画像表示装置２０は、キャラクタの表示が許可されていることが表示制御情報に示されている場合にのみ、キャラクタをディスプレイに表示することができる。一方、キャラクタの表示が許可されていないことが表示制御情報に示されていると、画像表示装置２０は、キャラクタをディスプレイに表示しない様に構成される。なお、画像表示装置２０は、表示制御情報が表示可であっても常にキャラクタをディスプレイに表示する必要はない。しかしながら、本実施形態において、画像表示装置２０は、表示制御情報が表示不可から表示可になった場合と、ユーザによる画像表示装置２０に対する操作等を検出した場合には、キャラクタをディスプレイに表示するものとする。

端末装置１０は、携帯型の装置であり、ＬＡＮ４０を介する通信機能に加えて、例えば、移動通信網を介して通信を行う機能も有する。また、端末装置１０は、画像表示装置２０と同様に表示制御情報を保持している。端末装置１０は、キャラクタの表示が許可されていることが表示制御情報に示されている場合にのみ、キャラクタをディスプレイに表示することができる。一方、キャラクタの表示が許可されていないことが表示制御情報に示されていると、端末装置１０は、キャラクタをディスプレイに表示しない様に構成される。端末装置１０も、表示制御情報が表示可であっても常にキャラクタをディスプレイに表示する必要はなく、表示するか否かはユーザの操作によるものとする。なお、端末装置１０と画像表示装置２０は、同じキャラクタを表示するためのキャラクタ情報を保持している。図１の構成では、画像表示装置２０とサーバ装置３０とを異なる装置としているが、画像表示装置２０とサーバ装置３０とを同じ1つの装置とすることもできる。

まず、表示デバイスの切り替えについて説明する。説明の初期状態として、ユーザが在宅しており、表示デバイスが画像表示装置２０であるものとする。したがって、サーバ装置３０が保持する表示デバイス情報は、表示デバイスが画像表示装置２０であることを示している。また、画像表示装置２０の表示制御情報は表示可を示し、端末装置１０の表示制御情報は表示不可を示している。

本実施形態において、キャラクタの表示デバイスを、画像表示装置２０から端末装置１０に切り替える第１切替条件（以下、第１トリガ）の１つは、ユーザによる画像表示装置２０の操作である。例えば、ユーザが画像表示装置２０に対して所定の操作を行うことが第１トリガの１つとなる。また、ユーザが、例えば、画像表示装置２０に向けて外出することを示す所定の音声、例えば、「いってきます」との音声を発することも第１トリガの1つとなる。

図２は、所定の音声を発するといったユーザ動作、又は、ユーザの画像表示装置２０に対する操作に対応する第１トリガにより開始される、キャラクタの表示デバイスを、画像表示装置２０から端末装置１０に切り替える処理のシーケンス図である。画像表示装置２０は、第１トリガを検出すると、Ｓ１で、表示デバイスを端末装置１０に切り替えることを示す制御信号をサーバ装置３０に送信する。以下のシーケンス図において、英文字"Ｄ"は、画像表示装置２０を示し、英文字"Ｔ"は端末装置１０を示し、矢印の方向は、表示デバイスの切替先を示している。サーバ装置３０は、当該制御信号を受信すると、Ｓ２で、当該制御信号を端末装置１０に送信する。制御信号を受信した端末装置１０は、Ｓ３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ４で、この確認信号を画像表示装置２０に送信する。端末装置１０は、Ｓ３で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示不可から表示可に更新する。これにより、端末装置１０は、キャラクタをディスプレイに表示することができる。また、画像表示装置２０は、Ｓ４で、確認信号を受信すると、Ｓ７で、ディスプレイにキャラクタを表示することを停止し、表示制御情報を表示可から表示不可に更新する。なお、Ｓ５の処理と、Ｓ７の処理とは、可能な限り同時に行うことが好ましく、それぞれのタイミングが調整される。また、サーバ装置３０は、Ｓ４で、確認信号を送信すると、Ｓ６で、表示デバイス情報を端末装置１０に更新する。

なお、図２のシーケンスにおいて、画像表示装置２０は、制御信号の送信後、その応答として確認信号を受信すると、表示制御情報を表示不可にし、端末装置１０は、制御信号を受信後、その応答として確認信号を送信すると、表示制御情報を表示可に更新していた。しかしながら、確認信号を使用することなく、画像表示装置２０は、制御信号を送信すると、表示制御情報を表示不可にし、端末装置１０は、制御信号を受信すると、表示制御情報を表示可にする構成とすることもできる。さらに、画像表示装置２０及び端末装置１０が、それぞれ、表示制御情報の更新を行うと、サーバ装置３０に完了信号を送信する構成とすることもできる。この場合、サーバ装置３０は、画像表示装置２０及び端末装置１０それぞれから完了信号を受信すると、表示デバイス情報を更新する。一方、いずれかの装置から完了信号を受信しないと、エラーが生じたものとして、サーバ装置３０は、画像表示装置２０及び端末装置１０のいずれか一方のみがキャラクタをディスプレイに表示できる様に調整処理を行う。なお、上記図２のシーケンスの修正形態は、以下に説明する他のシーケンスについても同様に適用できる。

表示デバイスの画像表示装置２０から端末装置１０への切り替えは、上述した様に、ユーザによる画像表示装置２０に対する動作・操作により開始されるが、ユーザが、これら動作・操作を行うことなく外出してしまうこともあり得る。このため、端末装置１０は、ＬＡＮ４０経由でサーバ装置３０と通信できることを確認する。この確認は、端末装置１０が、ＬＡＮ４０の無線アクセスポイントを認識（検出）できるか否かにより行うことができる。また、端末装置１０が、繰り返しサーバ装置３０をポーリングし、当該ポーリングの応答を受信するか否かにより行うことができる。そして、端末装置１０がＬＡＮ４０を介してサーバ装置３０と通信できない場合において、ユーザが端末装置１０に対して所定の操作又は動作を行うことも第１トリガの１つとすることができる。なお、この所定の動作は、ユーザが端末装置１０に対して所定の音声を発することとすることができる。

図３は、端末装置１０がサーバ装置３０とＬＡＮ４０を介する通信ができない場合において、ユーザが端末装置１０に対して所定の操作又は動作を行ったことに対応する第１トリガにより開始される、キャラクタの表示デバイスの切り替え処理のシーケンス図である。端末装置１０は、この第１トリガが満たされると、Ｓ１１で、表示デバイスを端末装置１０に切り替えることを示す制御信号をサーバ装置３０に送信する。なお、図３の処理において、端末装置１０とサーバ装置３０との間の通信は、移動通信網及びインターネット経由で行われる。サーバ装置３０は、当該制御信号を受信すると、Ｓ１２で、当該制御信号を画像表示装置２０に送信する。制御信号を受信した画像表示装置２０は、Ｓ１３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ１４で、この確認信号を端末装置１０に送信する。端末装置１０は、Ｓ１４で、確認信号をサーバ装置３０から受信すると、表示制御情報を表示不可から表示可に更新する。また、画像表示装置２０は、Ｓ１３で、確認信号を送信すると、Ｓ１５で、表示制御情報を表示可から表示不可に更新する。また、サーバ装置３０は、Ｓ１４で、確認信号を送信すると、Ｓ１６で、表示デバイス情報を端末装置１０に更新する。なお、端末装置１０が、ＧＰＳ等により端末装置１０の位置を取得し、端末装置１０の位置が画像表示装置２０の設置位置から所定距離以上離れている場合において、ユーザが端末装置１０に対して所定の操作又は動作を行ったことも第１トリガとすることができる。

続いて、外出していたユーザが帰宅した際の、端末装置１０から画像表示装置２０への表示デバイスの切り替えについて説明する。本実施形態において、端末装置１０は、少なくとも画像表示装置２０が置かれた部屋内について、非特許文献１に記載の場所記述情報を生成・保持している。また、場所記述情報に従い、撮像部が撮像している画像（以下、撮像画像）の特徴点から撮像部の３次元空間（実空間）における撮像位置と撮像方向を認識している。なお、以下では、撮像部の撮像位置と撮像方向を端末装置１０の位置及び方向と定義する。そして、端末装置１０は、端末装置１０の位置及び方向に対する所定の相対位置にキャラクタが存在しているかの様に、撮像画像にキャラクタを重畳してディスプレイ１０５に表示している。また、端末装置１０は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持している。図４は、端末装置１０の撮像部による撮像範囲を参照符号５１で示し、キャラクタが位置６０に存在しているかの様に、端末装置１０が、そのディスプレイ１０５にキャラクタを表示している状態を示している。

本実施形態において、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える第２切替条件（以下、第２トリガ）の１つを、図４に示す様に、キャラクタを撮像画像に重畳させて端末装置１０のディスプレイ１０５に表示している状態において、画像表示装置２０が撮像画像内に含まれる様にするユーザの操作とする。端末装置１０は、場所記述情報に従い、自装置の３次元空間における位置及び方向を認識している。さらに、上述した様に、端末装置１０は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持している。したがって、撮像部のカメラパラメータより、端末装置１０は、撮像画像に画像表示装置２０が含まれていることを検出することができる。なお、端末装置１０は、キャラクタを自装置の位置及び方向に対する所定の相対位置に配置するため、キャラクタの３次元空間における配置位置も認識している。

図５は、ユーザが、撮像画像内に画像表示装置２０が含まれるように操作したことに対応する第２トリガにより開始される、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える処理のシーケンス図である。この第２トリガを検出すると、Ｓ２１で、端末装置１０は、キャラクタが画像表示装置２０の方向に向かって歩く様に、ディスプレイ１０５に表示する。キャラクタと画像表示装置２０との距離が所定値以内になると、端末装置１０は、Ｓ２２で、表示デバイスを画像表示装置２０に切り替えることを示す制御信号をサーバ装置３０に送信する。Ｓ２３で、サーバ装置３０は、この制御信号を画像表示装置２０に送信する。制御信号を受信した画像表示装置２０は、Ｓ２４で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ２５で、確認信号を端末装置１０に送信する。画像表示装置２０は、Ｓ２４で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示可に更新し、キャラクタをディスプレイに表示する。端末装置１０は、Ｓ２５で、確認信号を受信すると、ディスプレイにキャラクタを表示することを停止し、表示制御情報を表示不可に更新する。また、サーバ装置３０は、Ｓ２５で、確認信号を送信すると、表示デバイス情報を画像表示装置２０に更新する。なお、端末装置１０と画像表示装置２０でのキャラクタの表示の連続性を高めるため、それぞれのディスプレイには、同じ大きさでキャラクタを表示することができる。或いは、ディスプレイの大きさに応じて、キャラクタの大きさを変えることもできる。

なお、撮像画像に画像表示装置２０が写ると、常に、キャラクタの表示デバイスを端末装置１０から画像表示装置２０に切り替えるのではなく、キャラクタの配置位置と画像表示装置２０との距離が閾値距離以内になると、第２切替条件が満たされたものとしてキャラクタの表示デバイスを端末装置１０から画像表示装置２０に切り替える構成とすることができる。上述した様に、端末装置１０は、キャラクタの３次元空間における配置位置と、画像表示装置２０の設置位置を認識しているため、端末装置１０は、その距離を求めることができる。

また、Ｓ２１の処理を省略し、Ｓ２２から処理を開始する構成とすることができる。この場合、キャラクタを撮像画像に重畳させて端末装置１０のディスプレイ１０５に表示している状態において撮像画像内に画像表示装置２０を検出すると、キャラクタを画像表示装置２０の方向に移動させることなく、端末装置１０は、Ｓ２２の処理を行う。なお、本実施形態では、Ｓ２１の処理を自然に行うため、端末装置１０に場所記述情報と、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持させている。よって、画像表示装置２０が撮像画像に含まれているか否かの判定については、場所記述情報に基づき判定される端末装置１０の位置及び方向と撮像部のカメラパラータにより行っている。しかしながら、Ｓ２１の処理を省略する場合には、画像表示装置２０の３次元空間における設置位置ではなく、画像マッチング技術により撮像画像内の画像表示装置２０を検出する構成とできる。この場合、端末装置１０には、画像マッチング技術で使用する画像情報を保持させる必要があるが、場所記述情報や画像表示装置２０の３次元空間における設置位置を示す位置情報を端末装置１０に保持させる必要はない。

本実施形態においては、ユーザが在宅している際には、画像表示装置２０にキャラクタを表示させることを基本とする。したがって、帰宅したユーザが、端末装置１０により画像表示装置２０を撮像して、端末装置１０のディスプレイに画像表示装置２０を表示した場合のみを第２トリガとすると、ユーザがこの操作を行わないと、キャラクタを画像表示装置２０に表示させることはできない。したがって、本実施形態では、その他の第２トリガも設ける。

第２トリガの１つは、端末装置１０が、所定期間に渡り、ＬＡＮ４０経由でサーバ装置３０と通信できることを検出したときとすることができる。例えば、端末装置１０が、所定期間に渡り連続して、ＬＡＮ４０の無線アクセスポイントを検出した場合や、無線ＬＡＮ４０を介してサーバ装置３０に送信したポーリングの応答を連続して所定回数だけ受信すると、この第２トリガの条件が満たされたものと端末装置１０は判定することができる。なお、この場合の切替シーケンスは、図６に示す様に、図５のＳ２１が省略されたものとなる。但し、図５のＳ２８とは異なり、図６のＳ２８においては、端末装置１０がキャラクタを表示していた場合にのみ、キャラクタの表示の停止が行われ、端末装置１０がキャラクタを表示してない場合には、表示制御情報の更新のみが行われる。なお、撮像画像に画像表示装置２０を表示することによる第２トリガを優先するため、所定期間は十分に長くする。同様に、端末装置１０が、ＧＰＳ等により端末装置１０の位置を取得し、端末装置１０が、画像表示装置２０の設置位置から所定距離以内にいることが所定期間だけ継続すると、図６の処理により表示デバイスを画像表示装置２０に切り替える構成とすることもできる。さらに、ユーザ宅内にビーコンの送信装置や、可聴対域外の音波を送信する送信装置を設けておき、端末装置１０が、これらビーコン又は音波を所定期間に渡り検出し続けた場合に図６の処理を開始する構成とすることもできる。ビーコン又は音波の送信装置は、例えば、サーバ装置３０や画像表示装置２０に設けることができる。また、端末装置１０のユーザが、端末装置１０に対して所定の音声を発することや、端末装置１０に所定の操作を行うことも第２トリガの１つとすることができる。なお、所定の操作は、例えば、キャラクタを表示するアプリケーションをユーザが終了するための操作を含む。この場合の切替処理のシーケンスも、図６と同じである。なお、この場合、端末装置１０とサーバ装置３０との間の通信は、ＬＡＮ４０を介するものであっても、移動通信網及びインターネットを介するものであっても良い。つまり、端末装置１０に所定の操作を行ったり、端末装置１０に所定の音声を検出させたりすることを第２トリガとする表示デバイスの端末装置１０から画像表示装置２０への切り替えは、ユーザが外出先においても行うことができる。

さらに、ユーザが、画像表示装置２０に対して所定の操作を行うことや、例えば、画像表示装置２０に向けて「ただいま」といった所定音声を発することも第２トリガの１つとすることができる。図７は、ユーザが、画像表示装置２０に対して行った所定操作又は動作に対応する第２トリガにより開始される、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える処理のシーケンス図である。画像表示装置２０は、第２トリガを検出すると、Ｓ３１で、表示デバイスを画像表示装置２０に切り替えることを示す制御信号をサーバ装置３０に送信する。サーバ装置３０は、Ｓ３２で、当該制御信号を端末装置１０に送信する。制御信号を受信した端末装置１０は、Ｓ３３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ３４で、この確認信号を画像表示装置２０に送信する。端末装置１０は、Ｓ３３で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示不可に更新する。また、キャラクタをディスプレイ１０５に表示していた場合には、キャラクタのディスプレイ１０５への表示は停止する。画像表示装置２０は、Ｓ４４で、確認信号を受信すると、Ｓ３７で、表示制御情報を表示可に更新し、ディスプレイにキャラクタを表示する。また、サーバ装置３０は、Ｓ４４で、確認信号を送信すると、Ｓ４６で、表示デバイス情報を画像表示装置２０に更新する。

なお、図７の処理において、例えば、端末装置１０の電源がＯＮではないと確認信号が送信されず、よって、画像表示装置２０にキャラタを表示することができない。このため、図７の処理において、サーバ装置３０は、端末装置１０から確認信号を受信しない場合であっても、Ｓ３４で、確認信号を画像表示装置２０に送信する構成とすることができる。また、端末装置１０に電源を投入したときや、端末装置１０においてキャラクタを表示するアプリケーションを起動したときには、端末装置１０がサーバ装置３０に自装置が表示デバイスであるかを問い合わせる様に端末装置１０を構成する。そして問い合わせ結果に応じて端末装置１０は、表示制御情報を更新する様に端末装置１０を構成する。この構成により、端末装置１０と画像表示装置２０が同時にキャラクタをディスプレイに表示することを防ぐことができる。

なお、上記説明において画像表示装置２０は１つであった。しかしながら、複数の画像表示装置２０をユーザ宅内に設けることもできる。以下では、複数の画像表示装置２０をユーザ宅内に設けた場合について説明する。複数の画像表示装置２０が設けられている場合であっても、サーバ装置３０は、複数の画像表示装置２０と端末装置１０のいずれか１つを表示デバイスとして管理する。また、端末装置１０及びサーバ装置３０には、複数の画像表示装置２０それぞれについて、３次元空間における設置位置を示す位置情報が格納される。なお、サーバ装置３０と画像表示装置２０を１つの装置とする場合において、複数の画像表示装置２０を設ける場合、そのうちの１つの画像表示装置２０のみがサーバ装置３０を有するものとする。

例えば、ユーザが帰宅し、端末装置１０のディスプレイにキャラクタを表示しているときに、撮像画像に複数の画像表示装置２０の１つの画像表示装置２０を含めると、当該画像表示装置２０が表示デバイスになる。なお、この場合には、複数の画像表示装置２０から端末装置１０がディスプレイ１０５に表示した画像表示装置２０を特定するために、端末装置１０は、図５のＳ２２において、ディスプレイ１０５に表示した画像表示装置２０の位置情報を含める。そして、図５のＳ２３において、サーバ装置３０は、端末装置１０からの制御信号に含まれる位置情報に対応する画像表示装置２０にのみ制御信号を送信する。なお、端末装置１０に、各画像表示装置２０の位置情報と識別子を関連付けて保存しておき、端末装置１０は、図５のＳ２２において、ディスプレイに表示した画像表示装置２０の識別子を含める構成とすることもできる。この場合、サーバ装置３０は、複数の画像表示装置２０それぞれの識別子のみを保持し、図５のＳ２３においては、端末装置１０からの制御信号に含まれる識別子に対応する画像表示装置２０にのみ制御信号を送信する。なお、端末装置１０のディスプレイに２つ以上の画像表示装置２０が表示された場合には、端末装置１０は、端末装置１０との距離が最も近い画像表示装置２０を選択して、選択した画像表示装置２０の位置情報又は識別子をＳ２２で送信する制御信号に含める。或いは、ディスプレイ１０５に表示しているキャラクタの３次元空間における配置位置に最も近い画像表示装置２０を選択する構成とすることもできる。この様に、画像表示装置２０が複数あると、端末装置１０は、図５のＳ２２で送信する制御信号には、表示デバイスとする画像表示装置２０を特定する情報を含める。

また、端末装置１０に対するユーザ操作・動作や、端末装置１０がＬＡＮ４０経由でサーバ装置３０と所定期間に渡り通信できることを検出したことにより、表示デバイスを画像表示装置２０に切り替える場合には、サーバ装置３０が表示デバイスとする画像表示装置２０を選択する。したがって、この場合、端末装置１０がＳ２２で送信する制御信号は、端末装置１０が表示デバイスではなくなることを示すのみであり、表示デバイスとなるべき画像表示装置２０は制御信号により特定されない。なお、サーバ装置３０が表示デバイスとして選択する画像表示装置２０は、予めサーバ装置３０に設定しておくことができる。また、画像表示装置２０に人感センサを設け、画像表示装置２０は、この人感センサによる検出結果をサーバ装置３０に通知する様にしておき、サーバ装置３０は、人を検出している画像表示装置２０から任意、或いは、予め設定された優先度に従い、１つの画像表示装置２０を表示デバイスとして選択することができる。なお、図７に示す様に、画像表示装置２０を操作することで表示デバイスを端末装置１０から画像表示装置２０に切り替える場合には、操作された画像表示装置２０が表示デバイスとなる。

図８は、端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

図９は、本実施形態による制御部１００の機能ブロック図である。場所記述情報生成部１００１は、場所記述情報を生成して保存する。場所記述情報とは、例えば、非特許文献１に記載されている様に、撮像部１０３が撮像している撮像画像を示す画像情報から生成され、端末装置１０の３次元空間位置及び方向を判定するための情報である。情報保持部１００３は、ディスプレイ１０５に表示するキャラクタの３次元モデルデータと、当該キャラクタの動作を規定するモーションデータと、を含んでいる。

画像認識部１００４は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持し、撮像画像と場所記述情報とに基づき、撮像画像に画像表示装置２０が含まれているか否かを判定する。また、撮像画像に画像表示装置２０が含まれていると、表示処理部１００２にその旨を通知する。なお、撮像画像に複数の画像表示装置２０が含まれていると、例えば、最も近い画像表示装置２０の位置情報を表示処理部１００２に通知する。また、判定部１００５は、表示デバイスを端末装置１０又は画像表示装置２０に切り替えるユーザ操作や所定の音声を検出すると、表示処理部１００２にその旨を通知する。通信処理部１００６は、通信部１０７を介してサーバ装置３０との通信処理を行う。なお、通信処理部１００６は、ＬＡＮ４０経由でサーバ装置３０と通信できないことや、所定期間に渡り通信できることを検出して、検出結果を表示処理部１００２に通知する。

表示処理部１００２は、表示制御情報を管理している。表示制御情報が、自装置が表示デバイスであることを示していると、表示処理部１００２は、撮像画像にキャラクタを表示してディスプレイ１０５に表示する制御を行うことができる。一方、表示制御情報が、自装置が表示デバイスではないと示していると、表示処理部１００２は、キャラクタをディスプレイ１０５に表示する制御を行わない。表示処理部１００２は、自装置が表示デバイスであり、撮像画像にキャラクタを重畳させてディスプレイ１０５に表示しているときに、画像認識部１００４から、撮像画像に画像表示装置２０が含まれているとの通知を受けると、図５のＳ２１の処理を開始する。そして、ディスプレイ１０５に表示しているキャラクタと画像表示装置２０との距離が所定値以内になると、通信処理部１００６にその旨を通知してＳ２２の処理を開始させる。通信処理部１００６は、Ｓ２４で確認信号を受信すると、表示処理部１００２に確認信号の受信を通知する。表示処理部１０２は、確認信号の受信の通知を受けると、キャラクタの表示を停止し、表示制御情報を更新する。

同様に、表示処理部１０２は、自装置が表示デバイスであるときに、判定部１００５から、表示デバイスを画像表示装置２０に切り替えるユーザ操作や所定の音声を検出したとの通知を受けると、通信処理部１００６にその旨を通知し、制御信号をサーバ装置３０に送信させる。そして、表示処理部１０２は、通信処理部１００６から確認信号の受信の通知を受けると表示制御情報を更新する。また、表示処理部１０２は、自装置が表示デバイスではなく、かつ、通信処理部１００６からＬＡＮ４０経由でサーバ装置３０と通信できないとの通知を受けている際に、判定部１００５から、表示デバイスを端末装置１０に切り替えるユーザ操作や所定の音声を検出したとの通知を受けると、通信処理部１００６にその旨を通知し、制御信号をサーバ装置３０に送信させる。そして、表示処理部１０２は、通信処理部１００６から確認信号の受信の通知を受けると自装置を表示デバイスとして表示制御情報を更新する。さらに、表示処理部１００２は、通信処理部１００６から制御信号を受信したことの通知を受けると、当該制御信号に示された切替後の表示デバイスの内容に応じて、表示制御情報を更新する。

図１０は、画像表示装置２０の構成図である。情報保持部２０１は、ディスプレイ２０３に表示するキャラクタの３次元モデルデータと、当該キャラクタの動作を規定するモーションデータと、を含んでいる。通信部２０４は、ＬＡＮ４０を介する通信処理を行う。処理部２０２は、表示制御情報を管理し、表示制御情報に従いキャラクタをディスプレイ２０３に表示する。また、処理部２０２は、上述したシーケンスに従う処理を行う。

図１１は、サーバ装置３０の構成図である。情報保持部２０１は、表示デバイス情報を保持している。第１通信部３０３はＬＡＮ４０を介する通信処理を行い、第２通信部３０４は、インターネットを介する通信処理を行う。処理部３０２は、上述したシーケンスに従う処理を行う。

なお、本発明は、プログラムにより実現することができる。当該プログラムは、１つ以上のプロセッサを有する端末装置の、当該１つ以上のプロセッサで実行可能なものであり、当該１つ以上のプロセッサは当該プログラムを実行すると、当該端末装置を上記端末装置として動作させる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１０５：ディスプレイ、１０３：撮像部、１００１：場所記述情報生成部、１００３：情報保持部、１００２：表示処理部、１００４：画像認識部、１００６：通信処理部

Claims (16)

1. 端末装置であって、
   ディスプレイと、
   撮像手段と、
   仮想物体を示す仮想物体情報を保持する保持手段と、
   前記端末装置が前記仮想物体の表示デバイスであるか否かを示す表示制御情報を保持し、前記端末装置が前記仮想物体の表示デバイスであると前記表示制御情報が示している場合に前記仮想物体を前記撮像手段が撮像する撮像画像に重畳させて前記ディスプレイに表示する処理を行うことができ、前記端末装置が前記仮想物体の表示デバイスではないと前記表示制御情報が示している場合、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示する処理を行わない処理手段と、
   を備えており、
   前記処理手段は、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示しているときに、当該撮像画像において、前記仮想物体を表示できる表示装置を検出すると、前記仮想物体の表示デバイスを前記端末装置から前記表示装置に切り替えるための第１制御信号を、前記仮想物体の表示デバイスを管理しているサーバ装置に送信することを特徴とする端末装置。
2. 前記保持手段は、前記撮像画像の特徴点から、前記撮像手段の３次元空間の位置及び方向を求めることができる場所記述情報と、前記表示装置の前記３次元空間における設置位置を示す位置情報を保持しており、
   前記端末装置は、
   前記場所記述情報と前記撮像画像に基づき前記撮像手段の前記３次元空間における位置及び方向を判定する判定手段をさらに備えており、
   前記処理手段は、前記判定手段が判定した前記撮像手段の前記３次元空間における位置及び方向と、前記位置情報に基づき前記撮像画像において前記表示装置を検出することを特徴とする請求項１に記載の端末装置。
3. 前記処理手段は、前記ディスプレイに表示している前記仮想物体の前記３次元空間における配置位置と前記表示装置の前記３次元空間における設置位置との距離が閾値以内であると前記第１制御信号を前記サーバ装置に送信することを特徴とする請求項２に記載の端末装置。
4. 前記処理手段は、前記第１制御信号を送信する前に、前記撮像画像に重畳させて前記ディスプレイに表示している前記仮想物体が、前記撮像画像の中に含まれる前記表示装置の方向に移動する様に前記仮想物体を前記ディスプレイに表示することを特徴とする請求項２又は３に記載の端末装置。
5. 前記処理手段は、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示しているときに、当該撮像画像において複数の前記表示装置を検出すると、複数の前記表示装置それぞれの前記３次元空間における設置位置と、前記撮像手段の前記３次元空間における位置との距離に基づき、１つの前記表示装置を選択し、選択した前記表示装置を特定する情報を前記第１制御信号に含めることを特徴とする請求項２から４のいずれか１項に記載の端末装置。
6. 前記処理手段は、前記第１制御信号を前記サーバ装置に送信した後、或いは、前記第１制御信号の応答を前記サーバ装置から受信した後、前記仮想物体の前記ディスプレイへの表示を停止し、前記端末装置が表示デバイスではないことを示す様に前記表示制御情報を更新することを特徴とする請求項１から５のいずれか１項に記載の端末装置。
7. 前記処理手段は、前記端末装置が前記仮想物体の表示デバイスであることを前記表示制御情報が示しているときに、前記端末装置に対する所定の第１操作、又は、所定の第１音声を検出すると、前記端末装置が前記仮想物体の表示デバイスではなくなることを示す第２制御信号を前記サーバ装置に送信することを特徴とする請求項１から６のいずれか１項に記載の端末装置。
8. 前記第１操作は、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示するアプリケーションの終了操作を含むことを特徴とする請求項７に記載の端末装置。
9. 前記端末装置は、ローカルエリアネットワークを介して前記サーバ装置と通信可能な様に構成され、
   前記処理手段は、前記端末装置が前記仮想物体の表示デバイスであることを前記表示制御情報が示しているときに、前記ローカルエリアネットワークを介して前記サーバ装置と通信可能な状態が所定期間だけ続くと、前記端末装置が前記仮想物体の表示デバイスではなくなることを示す第２制御信号を前記サーバ装置に送信することを特徴とする請求項１から６のいずれか１項に記載の端末装置。
10. 前記処理手段は、前記第２制御信号を前記サーバ装置に送信した後、或いは、前記第２制御信号の応答を前記サーバ装置から受信した後、前記端末装置が表示デバイスではないことを示す様に前記表示制御情報を更新することを特徴とする請求項７から９のいずれか１項に記載の端末装置。
11. 前記処理手段は、前記端末装置が前記仮想物体の表示デバイスであることを前記表示制御情報が示しているときに、前記サーバ装置から前記仮想物体の表示デバイスを前記表示装置に切り替えるとの通知を受信すると、前記端末装置が表示デバイスではないことを示す様に前記表示制御情報を更新することを特徴とする請求項１から１０のいずれか１項に記載の端末装置。
12. 前記処理手段は、前記端末装置の電源がＯＮとなったとき、或いは、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示するアプリケーションの起動時に、前記サーバ装置に前記端末装置が前記仮想物体の表示デバイスであるか否かを問い合わせることを特徴とする請求項１から１１のいずれか１項に記載の端末装置。
13. 前記端末装置は、ローカルエリアネットワークと移動通信網のいずれかを介して前記サーバ装置と通信可能な様に構成され、
    前記処理手段は、前記端末装置が前記仮想物体の表示デバイスではないことを前記表示制御情報が示し、かつ、前記ローカルエリアネットワークを介する通信が可能ではないときに、前記端末装置に対する所定の第２操作、又は、所定の第２音声を検出すると、前記端末装置を前記仮想物体の表示デバイスにするための第３制御信号を、前記移動通信網を介して前記サーバ装置に送信することを特徴とする請求項１から１２のいずれか１項に記載の端末装置。
14. 前記処理手段は、前記端末装置が前記仮想物体の表示デバイスではないことを前記表示制御情報が示しているときに、前記サーバ装置から前記仮想物体の表示デバイスを前記端末装置に切り替えるとの通知を受信すると、前記端末装置が表示デバイスであることを示す様に前記表示制御情報を更新することを特徴とする請求項１から１３のいずれか１項に記載の端末装置。
15. 端末装置の１つ以上のプロセッサが実行可能なプログラムであって、
    前記１つ以上のプロセッサで実行されると、請求項１から１４のいずれか１項に記載の端末装置として前記端末装置を機能させることを特徴とするプログラム。
16. 端末装置と、表示装置と、を含むシステムであって、
    前記端末装置は、
    第１ディスプレイと、
    撮像手段と、
    仮想物体を示す仮想物体情報を保持する第１保持手段と、
    前記仮想物体を前記撮像手段が撮像する撮像画像に重畳させて前記第１ディスプレイに表示しているときに、当該撮像画像において前記表示装置を検出すると、制御信号を直接、或いは、他の装置を介して前記表示装置に送信し、前記制御信号の送信後、前記仮想物体の前記第１ディスプレイへの表示を停止する処理手段と、
    を有し、
    前記表示装置は、
    第２ディスプレイと、
    前記仮想物体を示す前記仮想物体情報を保持する第２保持手段と、
    前記制御信号を受信すると前記第２ディスプレイに前記仮想物体を表示する処理を行う第２処理手段と、
    を有することを特徴とするシステム。

Images