JP2024059030A - 端末装置、画像表示方法、及びプログラム - Google Patents

Abstract

【課題】ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくする。【解決手段】端末装置は、仮想３次元空間内に配置された、仮想光源と、第１ディスプレイ３６に対応する表示オブジェクトと、第１ディスプレイ３６に表示された第１画像１１を操作する第１ユーザ６１に対応するユーザオブジェクトとの間の位置関係に基づき、ユーザオブジェクトの影の画像を第２画像１２として生成し、第２ユーザ６２に向けて第２ディスプレイ４６に第１画像１１を表示するとともに第２ディスプレイ４６で第１画像１１に第２画像１２を重畳し、第１ユーザ６１の相対位置の変化を検知すると、検知した変化に応じて、ユーザオブジェクトの相対位置を調整し、調整の結果として生じる位置関係の変化に基づき、第２画像１２を更新し、第２画像１２の更新を第２ディスプレイ４６に反映する制御部を備える。【選択図】図２

Description

本開示は、端末装置、画像表示方法、及びプログラムに関する。

特許文献１には、仮想空間に配置したアバターオブジェクトの視点を他のアバターオブジェクトに共有させるプログラムが開示されている。

特開２０１９－１９２１７７号公報

生徒が遠隔地にいる教師から、書道レッスンなど、身体動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用することが考えられる。しかしながら、従来のシステムでは、生徒に教師の身体動作を認識させにくい。

本開示の目的は、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくすることである。

本開示の一態様に係る端末装置は、
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える。

本開示の別の態様に係る端末装置は、
仮想３次元空間内に配置された、仮想カメラと、第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える。

本開示に係る画像表示方法は、
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想３次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成することと、
前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示することと、
前記第２ディスプレイで前記第１画像に前記第２画像を重畳することと、
前記第１ディスプレイに対する前記第１ユーザの相対位置の変化、又は前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第２画像を更新することと、
前記第２画像の更新を前記第２ディスプレイに反映することと
を含む。

本開示によれば、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくなる。

本開示の第１実施形態及び第２実施形態に係る通信システムの構成を示すブロック図である。 本開示の第１実施形態に係る第１空間及び第２空間を示す図である。 本開示の第１実施形態に係る仮想３次元空間を示す図である。 本開示の第１実施形態に係る第２端末装置の動作を示すフローチャートである。 本開示の第２実施形態に係る第１空間及び第２空間を示す図である。 本開示の第２実施形態に係る仮想３次元空間を示す図である。 本開示の第２実施形態に係る第２端末装置の動作を示すフローチャートである。

以下、本開示の幾つかの実施形態について、図を参照して説明する。

各図中、同一又は相当する部分には、同一符号を付している。各実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

図１を参照して、本開示の第１実施形態及び第２実施形態に係る通信システム１０の構成を説明する。

通信システム１０は、サーバ装置２０と、第１端末装置３０と、第２端末装置４０とを備える。サーバ装置２０は、ネットワーク５０を介して第１端末装置３０及び第２端末装置４０と通信可能である。第１端末装置３０は、ネットワーク５０を介して第２端末装置４０と通信可能であってもよい。

サーバ装置２０は、データセンタなどの施設に設置され、サービス事業者によって運用される。サーバ装置２０は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバコンピュータである。

第１端末装置３０は、図２又は図５に示すような第１空間６０内に設置され、第１空間６０にいる第１ユーザ６１によって使用される。第１端末装置３０は、例えば、ＰＣなどの汎用コンピュータ、又は特定の計算に特化した専用コンピュータである。「ＰＣ」は、personal computerの略語である。

第２端末装置４０は、図２又は図５に示すような、第１空間６０とは別個の第２空間７０内に設置され、第２空間７０にいる第２ユーザ７１によって使用される。第２端末装置４０は、例えば、ＰＣなどの汎用コンピュータ、又は特定の計算に特化した専用コンピュータである。

ネットワーク５０は、インターネット、少なくとも１つのＷＡＮ、少なくとも１つのＭＡＮ、又はこれらの任意の組合せを含む。「ＷＡＮ」は、wide area networkの略語である。「ＭＡＮ」は、metropolitan area networkの略語である。ネットワーク５０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。「ＬＡＮ」は、local area networkの略語である。

図１を参照して、第１実施形態及び第２実施形態に係る第１端末装置３０の構成を説明する。

第１端末装置３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５とを備える。

制御部３１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部３１は、第１端末装置３０の各部を制御しながら、第１端末装置３０の動作に関わる処理を実行する。

記憶部３２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ、ＲＯＭ、又はフラッシュメモリである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。フラッシュメモリは、例えば、ＳＳＤである。「ＳＳＤ」は、solid-state driveの略語である。磁気メモリは、例えば、ＨＤＤである。「ＨＤＤ」は、hard disk driveの略語である。記憶部３２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部３２には、第１端末装置３０の動作に用いられるデータと、第１端末装置３０の動作によって得られたデータとが記憶される。

通信部３３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet（登録商標）などの有線ＬＡＮ通信規格、ＩＥＥＥ８０２．１１などの無線ＬＡＮ通信規格、又はＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェースである。「ＩＥＥＥ」は、Institute of Electrical and Electronics Engineersの略称である。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部３３は、サーバ装置２０と通信を行う。通信部３３は、第２端末装置４０とも通信を行ってよい。通信部３３は、第１端末装置３０の動作に用いられるデータを受信し、また第１端末装置３０の動作によって得られるデータを送信する。

入力部３４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、図２又は図５に示すような第１ディスプレイ３６などのディスプレイと一体的に設けられたタッチスクリーン、可視光カメラ、深度カメラ、ＬｉＤＡＲ、又はマイクロフォンである。「ＬｉＤＡＲ」は、light detection and rangingの略語である。入力部３４は、第１端末装置３０の動作に用いられるデータを入力する操作を受け付ける。入力部３４は、第１端末装置３０に備えられる代わりに、外部の入力機器として第１端末装置３０に接続されてもよい。接続用インタフェースとしては、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。

出力部３５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、第１ディスプレイ３６などのディスプレイ、又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescentの略語である。第１ディスプレイ３６は、任意の形状のディスプレイでよいが、第１実施形態及び第２実施形態では、垂直方向に延びる垂直表示面と、垂直表示面の下端に隣接し、水平方向に延びる水平表示面３８とを有する側面視Ｌ字状のディスプレイである。出力部３５は、第１端末装置３０の動作によって得られるデータを出力する。出力部３５は、第１端末装置３０に備えられる代わりに、外部の出力機器として第１端末装置３０に接続されてもよい。接続用インタフェースとしては、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。

第１端末装置３０の機能は、第１実施形態又は第２実施形態に係るプログラムを、制御部３１としてのプロセッサで実行することにより実現される。すなわち、第１端末装置３０の機能は、ソフトウェアにより実現される。プログラムは、第１端末装置３０の動作をコンピュータに実行させることで、コンピュータを第１端末装置３０として機能させる。すなわち、コンピュータは、プログラムに従って第１端末装置３０の動作を実行することにより第１端末装置３０として機能する。

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

第１端末装置３０の一部又は全ての機能が、制御部３１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、第１端末装置３０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図１を参照して、第１実施形態及び第２実施形態に係る第２端末装置４０の構成を説明する。

第２端末装置４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。プログラマブル回路は、例えば、ＦＰＧＡである。専用回路は、例えば、ＡＳＩＣである。制御部４１は、第２端末装置４０の各部を制御しながら、第２端末装置４０の動作に関わる処理を実行する。

記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ、ＲＯＭ、又はフラッシュメモリである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。フラッシュメモリは、例えば、ＳＳＤである。磁気メモリは、例えば、ＨＤＤである。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、第２端末装置４０の動作に用いられるデータと、第２端末装置４０の動作によって得られたデータとが記憶される。

通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet（登録商標）などの有線ＬＡＮ通信規格、ＩＥＥＥ８０２．１１などの無線ＬＡＮ通信規格、又はＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェースである。通信部４３は、サーバ装置２０と通信を行う。通信部４３は、第１端末装置３０とも通信を行ってよい。通信部４３は、第２端末装置４０の動作に用いられるデータを受信し、また第２端末装置４０の動作によって得られるデータを送信する。

入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、図２又は図５に示すような第２ディスプレイ４６などのディスプレイと一体的に設けられたタッチスクリーン、可視光カメラ、深度カメラ、ＬｉＤＡＲ、又はマイクロフォンである。入力部４４は、第２端末装置４０の動作に用いられるデータを入力する操作を受け付ける。入力部４４は、第２端末装置４０に備えられる代わりに、外部の入力機器として第２端末装置４０に接続されてもよい。接続用インタフェースとしては、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。

出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、第２ディスプレイ４６などのディスプレイ、又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬである。第２ディスプレイ４６は、任意の形状のディスプレイでよいが、第１実施形態及び第２実施形態では、垂直方向に延びる垂直表示面４７と、垂直表示面４７の下端に隣接し、水平方向に延びる水平表示面４８とを有する側面視Ｌ字状のディスプレイである。出力部４５は、第２端末装置４０の動作によって得られるデータを出力する。出力部４５は、第２端末装置４０に備えられる代わりに、外部の出力機器として第２端末装置４０に接続されてもよい。接続用インタフェースとしては、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。

第２端末装置４０の機能は、第１実施形態又は第２実施形態に係る別のプログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、第２端末装置４０の機能は、ソフトウェアにより実現される。プログラムは、第２端末装置４０の動作をコンピュータに実行させることで、コンピュータを第２端末装置４０として機能させる。すなわち、コンピュータは、プログラムに従って第２端末装置４０の動作を実行することにより第２端末装置４０として機能する。

第２端末装置４０の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、第２端末装置４０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図１のほかに、図２及び図３を参照して、第１実施形態の概要を説明する。

図２では、説明の便宜上、第１空間６０と第２空間７０とが互いに隣接しているが、実際には、第１空間６０と第２空間７０とは互いに離れた場所に存在する。第１ユーザ６１は、第１ディスプレイ３６に表示された第１画像１１を操作する。第１画像１１は、本実施形態では、第１ユーザ６１が手書きする文字の画像を含むが、文字の画像に代えて又は加えて、第１ユーザ６１が描く絵の画像など、他の画像を含んでもよい。第１ユーザ６１は、例えば、遠隔地にいる教師であり、第１画像１１をタッチスクリーンで操作することで、書道レッスンなど、身体動作を伴うレッスンをすることができる。第２ユーザ６２は、第１ユーザ６１による第１画像１１の操作を視認する。第２ユーザ６２は、例えば、生徒であり、第１画像１１の操作を視認することで、書道レッスンなど、身体動作を伴うレッスンを受けることができる。

第２端末装置４０は、図３に示すような仮想３次元空間８０内に、仮想光源８１と、第１ディスプレイ３６に対応する表示オブジェクト８２と、第１ユーザ６１に対応するユーザオブジェクト８３とを配置する。ユーザオブジェクト８３は、本実施形態では、第１ユーザ６１の腕を表すオブジェクトを含むが、腕を表すオブジェクトに代えて又は加えて、第１ユーザ６１の頭を表すオブジェクトなど、他のオブジェクトを含んでもよい。第２端末装置４０は、仮想光源８１と表示オブジェクト８２とユーザオブジェクト８３との間の位置関係に基づき、表示オブジェクト８２にできるユーザオブジェクト８３の影８４の画像を第２画像１２として生成する。第２画像１２は、本実施形態では、第１ユーザ６１の腕を表すオブジェクトの影の画像を含むが、腕を表すオブジェクトの影の画像に代えて又は加えて、第１ユーザ６１の頭を表すオブジェクトの影の画像など、他のオブジェクトの影の画像を含んでもよい。第２端末装置４０は、第２ユーザ６２に向けて第２ディスプレイ４６に第１画像１１を表示するとともに第２ディスプレイ４６で第１画像１１に第２画像１２を重畳する。

第２端末装置４０は、第１ディスプレイ３６に対する第１ユーザ６１の相対位置の変化を検知すると、検知した変化に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置を調整する。第２端末装置４０は、調整の結果として生じる位置関係の変化に基づき、第２画像１２を更新する。第２端末装置４０は、第２画像１２の更新を第２ディスプレイ４６に反映する。

本実施形態では、第１ユーザ６１に対応するユーザオブジェクト８３の影８４が第２ディスプレイ４６に表示されるため、第２ユーザ６２が第１ユーザ６１になったかのように第１画像１１の操作を視認することが可能となる。すなわち、本実施形態によれば、第２ユーザ６２に第１ユーザ６１の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の影を表示し、この影を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。

本実施形態は、ビデオ会議など、ユーザが対話相手の映像を見ながら対話可能な遠隔対話システムに適用することができる。例えば、生徒が遠隔地にいる教師から、書道レッスンなど、腕の動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用する場合、それぞれ机タイプのディスプレイを有する２台の遠隔対話端末装置をオンラインで接続する。教師側のディスプレイにできる教師の腕の影を模した画像を生徒側のディスプレイに表示することで、生徒が自分の腕の動作と教師の腕の動作との差異を間接的に視認可能となる。

第１端末装置３０は、２台の遠隔対話端末装置のうちの一方に相当する。第１端末装置３０は、第１ディスプレイ３６の水平表示面３８に第１画像１１を表示する。第１端末装置３０は、可視光カメラを用いて第１ユーザ６１の可視光画像を生成する。第１端末装置３０は、深度カメラを用いて第１ユーザ６１の深度画像を生成する。

第２端末装置４０は、２台の遠隔対話端末装置のうちの他方に相当する。第２端末装置４０は、可視光画像及び深度画像を第１端末装置３０から受信する。第２端末装置４０は、受信した可視光画像及び深度画像に基づき、対話相手の３Ｄオブジェクトを仮想３次元空間８０内に配置する。第２端末装置４０は、仮想３次元空間８０における仮想光源８１の位置に基づき、第１ディスプレイ３６の水平表示面３８に対応する仮想３次元空間８０内の平面にできる、３Ｄオブジェクトの影の画像を第２画像１２として生成する。第２端末装置４０は、第２ディスプレイ４６の水平表示面４８に、第１ディスプレイ３６に表示されている第１画像１１を表示するとともに、第１画像１１に第２画像１２を重畳する形で第２ディスプレイ４６の水平表示面４８に第２画像１２を表示する。そのため、第２ユーザ６２に、対話相手になったかのように錯覚させることが可能となる。例えば、生徒は、対話相手である教師と同時に文字を書こうとする際に、自分の腕の実際の影と、机タイプのディスプレイの天面に表示される教師の腕の影とを見比べることで、両者の腕の動作の差異を間接的に視認することができる。

第２端末装置４０は、第２ディスプレイ４６の垂直表示面４７にも画像を表示してよい。例えば、第２端末装置４０は、垂直表示面４７に、仮想３次元空間８０内でユーザオブジェクト８３を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト８３の画像を表示してもよい。

本実施形態では、第２ディスプレイ４６の水平表示面４８に光を照射可能な光源７２が、第２空間７０内に設置されている。第２端末装置４０は、第２空間７０内の光源７２の位置に対応する仮想３次元空間８０内の位置に仮想光源８１を配置する。そのため、第２ユーザ６２が自分の身体動作を第１ユーザ６１の身体動作と比較しやすくなる。例えば、生徒と教師との間で腕の動作の差異がない場合には、生徒の腕の実際の影と、机タイプのディスプレイの天面に表示される教師の腕の影とが一致するので、生徒は、自分の腕の動作が適切かどうかを簡単に判断することができる。

図４を参照して、本実施形態に係る第２端末装置４０の動作を説明する。この動作は、本実施形態に係る画像表示方法に相当する。

図４に示したフローは、第１ユーザ６１及び第２ユーザ７１がそれぞれ第１端末装置３０及び第２端末装置４０を使用してウェブ会議など、映像を使ったコミュニケーションを行っている間、繰り返し実行される。

ステップＳ１０１において、第２端末装置４０の制御部４１は、第１画像１１と第１ユーザ６１の可視光画像及び深度画像とを、通信部４３を介してサーバ装置２０から受信するとともに、第２ユーザ６２の可視光画像及び深度画像を、通信部４３を介してサーバ装置２０に送信する。第１画像１１は、第１ユーザ６１が手書きする文字の画像を含む。第１画像１１は、具体的には、紙の画像と、第１ユーザ６１がタッチスクリーンで紙の画像に手書きした黒い文字の画像とを含む。制御部４１は、第１ユーザ６１の音声を、通信部４３を介してサーバ装置２０から更に受信してもよい。制御部４１は、第２ユーザ７１の音声を、通信部４３を介してサーバ装置２０に更に送信してもよい。ステップＳ１０１の処理は、具体的には以下の手順で実行される。

第１端末装置３０の制御部３１は、第１画像１１を出力部３５としての第１ディスプレイ３６の水平表示面３８に表示する。制御部３１は、入力部３４としての可視光カメラ及び深度カメラを用いて第１ユーザ６１の可視光画像及び深度画像をそれぞれ撮影する。制御部３１は、表示した第１画像１１と、撮影した可視光画像及び深度画像とを、通信部３３を介してサーバ装置２０に送信する。制御部３１は、入力部３４としてのマイクロフォンを介して第１ユーザ６１の音声を取得し、取得した音声を、通信部３３を介してサーバ装置２０に更に送信してもよい。サーバ装置２０は、第１画像１１と第１ユーザ６１の可視光画像及び深度画像とを、ネットワーク５０を介して第１端末装置３０から受信する。サーバ装置２０は、受信した第１画像１１と第１ユーザ６１の可視光画像及び深度画像とを、ネットワーク５０を介して第２端末装置４０に送信する。サーバ装置２０は、第１ユーザ６１の音声を第１端末装置３０から受信した場合は、受信した音声を、ネットワーク５０を介して第２端末装置４０に送信する。第２端末装置４０の制御部４１は、第１画像１１と第１ユーザ６１の可視光画像及び深度画像とを、通信部４３を介してサーバ装置２０から受信する。制御部４１は、第１ユーザ６１の音声を、通信部４３を介してサーバ装置２０から更に受信してもよい。

第２端末装置４０の制御部４１は、入力部４４としての可視光カメラ及び深度カメラを用いて第２ユーザ７１の可視光画像及び深度画像をそれぞれ撮影する。制御部４１は、撮影した可視光画像及び深度画像を、通信部４３を介してサーバ装置２０に送信する。制御部４１は、入力部４４としてのマイクロフォンを介して第２ユーザ７１の音声を取得し、取得した音声を、通信部４３を介してサーバ装置２０に更に送信してもよい。サーバ装置２０は、第２ユーザ７１の可視光画像及び深度画像を、ネットワーク５０を介して第２端末装置４０から受信する。サーバ装置２０は、受信した可視光画像及び深度画像を、ネットワーク５０を介して第１端末装置３０に送信する。サーバ装置２０は、第２ユーザ７１の音声を第２端末装置４０から受信した場合は、受信した音声を、ネットワーク５０を介して第１端末装置３０に送信する。第１端末装置３０の制御部３１は、第２ユーザ７１の可視光画像及び深度画像を、通信部３３を介してサーバ装置２０から受信する。制御部３１は、第２ユーザ７１の音声を、通信部３３を介してサーバ装置２０から更に受信してもよい。

ステップＳ１０２において、第２端末装置４０の制御部４１は、仮想３次元空間８０内に、仮想光源８１と、第１ディスプレイ３６に対応する表示オブジェクト８２と、第１ユーザ６１に対応するユーザオブジェクト８３とを配置する。ユーザオブジェクト８３は、第１ユーザ６１の腕を表すオブジェクトを含む。ユーザオブジェクト８３は、具体的には、第１ユーザ６１の両腕及び頭など、第１ユーザ６１の上半身の各身体部位を表すオブジェクトを含む。制御部４１は、仮想光源８１と表示オブジェクト８２とユーザオブジェクト８３との間の位置関係に基づき、表示オブジェクト８２にできるユーザオブジェクト８３の影８４の画像を第２画像１２として生成する。第２画像１２は、第１ユーザ６１の腕を表すオブジェクトの影の画像を含む。第２画像１２は、具体的には、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの影の画像を含む。ステップＳ１０２の処理は、具体的には以下の手順で実行される。

第２端末装置４０の制御部４１は、ステップＳ１０１で受信した第１ユーザ６１の深度画像を参照して、第１ディスプレイ３６に対する第１ユーザ６１の相対位置を特定する。制御部４１は、第１ユーザ６１の深度画像に加えて、第１ディスプレイ３６と、第１ユーザ６１の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第１ユーザ６１の相対位置を特定してもよい。この距離に関する情報は、第２端末装置４０の記憶部４２に予め記憶されていてもよいし、又は第１端末装置３０から第２端末装置４０に適宜通知されてもよい。深度カメラが第１ディスプレイ３６と一体化されているか、又は第１ディスプレイ３６の近傍に設置されている場合は、制御部４１は、第１ユーザ６１の深度画像のみを参照して、第１ユーザ６１の相対位置を特定してもよい。制御部４１は、特定した相対位置に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置を設定する。より具体的には、制御部４１は、表示オブジェクト８２に対する、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの相対位置が、第１ディスプレイ３６に対する、第１ユーザ６１の上半身の各身体部位の相対位置と一致するように、仮想３次元空間８０内に表示オブジェクト８２及びユーザオブジェクト８３を配置する。

第２端末装置４０の制御部４１は、第２ディスプレイ４６に対する、第２空間７０内に設置された光源７２の相対位置に応じて、表示オブジェクト８２に対する仮想光源８１の相対位置を設定する。より具体的には、制御部４１は、表示オブジェクト８２に対する仮想光源８１の相対位置が第２ディスプレイ４６に対する光源７２の相対位置と一致するように、仮想３次元空間８０内に仮想光源８１及び表示オブジェクト８２を配置する。あるいは、制御部４１は、表示オブジェクト８２に対する仮想光源８１の相対位置が予め設定された相対位置になるように、仮想３次元空間８０内に仮想光源８１及び表示オブジェクト８２を配置してもよい。

第２端末装置４０の制御部４１は、仮想３次元空間８０における仮想光源８１の位置に基づき、第１ディスプレイ３６の水平表示面３８に対応する、表示オブジェクト８２の表面にできる、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの影を演算する。影を演算する方法としては、既知の３Ｄコンピュータグラフィックスと同じ方法を用いることができる。制御部４１は、演算した影の画像を第２画像１２として生成する。

ステップＳ１０３において、第２端末装置４０の制御部４１は、第２ユーザ６２に向けて、出力部４５としての第２ディスプレイ４６に、ステップＳ１０１で受信した第１画像１１を表示するとともに、第２ディスプレイ４６で、第１画像１１に、ステップＳ１０２で生成した第２画像１２を重畳する。ステップＳ１０３の処理は、具体的には以下の手順で実行される。

第２端末装置４０の制御部４１は、第２ディスプレイ４６の水平表示面４８に第１画像１１を表示するとともに、第１画像１１に第２画像１２を重畳する形で第２ディスプレイ４６の水平表示面４８に第２画像１２を表示する。制御部４１は、ステップＳ１０１で受信した第１ユーザ６１の可視光画像を参照して、ユーザオブジェクト８３のレンダリングを行った上で、第２ディスプレイ４６の垂直表示面４７に、仮想３次元空間８０内でユーザオブジェクト８３を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト８３の画像を表示してもよい。制御部４１は、ステップＳ１０１で第１ユーザ６１の音声を受信した場合は、受信した音声を、出力部４５としてのスピーカから出力してもよい。

第２端末装置４０の制御部４１は、第２ディスプレイ４６に第１画像１１を表示する際に、第１画像１１に含まれる文字の画像をそのまま表示してもよいが、本実施形態では、文字の画像を、朱色など、黒以外の色で表示する。より具体的には、制御部４１は、第１画像１１の経時変化に基づき、第１画像１１に含まれる紙の画像上の不変部分を文字部分として特定する。制御部４１は、特定した文字部分の色を、朱色など、黒以外の色に変換する。制御部４１は、第２ディスプレイ４６の水平表示面４８に第１画像１１を表示する際に、文字部分の色を変換した後の画像を表示する。本実施形態によれば、文字部分を、朱色など、黒以外の色で表示することで、手の影が文字部分にかかることによる文字の誤認識を回避することが可能となる。文字部分の特定、又は文字部分の特定及び文字部分の色の変換は、第２端末装置４０の制御部４１の代わりに、第１端末装置３０の制御部３１が行ってもよい。

ステップＳ１０４において、第２端末装置４０の制御部４１は、最新の第１画像１１と第１ユーザ６１の最新の可視光画像及び深度画像とを、通信部４３を介してサーバ装置２０から受信するとともに、第２ユーザ６２の最新の可視光画像及び深度画像を、通信部４３を介してサーバ装置２０に送信する。制御部４１は、第１ユーザ６１の最新の音声を、通信部４３を介してサーバ装置２０から更に受信してもよい。制御部４１は、第２ユーザ７１の最新の音声を、通信部４３を介してサーバ装置２０に更に送信してもよい。ステップＳ１０４の処理の具体的な手順については、ステップＳ１０１の処理と同様であるため、説明を省略する。

ステップＳ１０４の処理は、第１画像１１が送信される度に実行される。第１画像１１は、本実施形態では、自動的に変更されるか、又は文字を書くなど、何らかの操作が第１ユーザ６１により行われて変更された場合に第１端末装置３０から送信されるが、変更されたかどうかに関わらず、定期的に第１端末装置３０から送信されてもよい。

ステップＳ１０５において、第２端末装置４０の制御部４１は、ステップＳ１０４で受信した第１ユーザ６１の最新の深度画像を参照して、第１ディスプレイ３６に対する第１ユーザ６１の相対位置が変化したかどうかを判定する。制御部４１は、第１ユーザ６１の深度画像に加えて、第１ディスプレイ３６と、第１ユーザ６１の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第１ユーザ６１の相対位置が変化したかどうかを判定してもよい。深度カメラが第１ディスプレイ３６と一体化されているか、又は第１ディスプレイ３６の近傍に設置されている場合は、制御部４１は、第１ユーザ６１の深度画像のみを参照して、第１ユーザ６１の相対位置が変化したかどうかを判定してもよい。

ステップＳ１０５で第１ユーザ６１の相対位置が変化していないと判定された場合、すなわち、第１ユーザ６１の相対位置の変化が検知されなかった場合は、ステップＳ１０６の処理が実行される。一方、ステップＳ１０５で第１ユーザ６１の相対位置が変化したと判定された場合、すなわち、第１ユーザ６１の相対位置の変化が検知された場合は、ステップＳ１０７の処理が実行される。

ステップＳ１０６において、第２端末装置４０の制御部４１は、第１画像１１の更新のみを、出力部４５としての第２ディスプレイ４６に反映する。具体的には、制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を、ステップＳ１０４で受信した最新の第１画像１１に置き換えるとともに、その最新の第１画像１１に、第２ディスプレイ４６の水平表示面４８に表示している第２画像１２を重畳する。制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を最新のものに置き換える際に、ステップＳ１０３と同様に、文字の画像を、朱色など、黒以外の色で表示する。

ステップＳ１０６の後は、ステップＳ１０４以降の処理が再び実行される。

第１画像１１が、変更されたかどうかに関わらず、定期的に第１端末装置３０から送信される場合は、ステップＳ１０４で受信された最新の第１画像１１が、前回受信された第１画像１１と同一の場合がある。そのような場合は、ステップＳ１０６の処理が省略されてもよい。

ステップＳ１０７において、第２端末装置４０の制御部４１は、ステップＳ１０５で検知した変化に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置を調整する。具体的には、制御部４１は、ステップＳ１０５で検知した変化後の相対位置に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置の設定を更新する。より具体的には、制御部４１は、第１ユーザ６１の上半身の身体部位のうち、第１ディスプレイ３６に対する相対位置が変化した身体部位について、表示オブジェクト８２に対する、ユーザオブジェクト８３に含まれる、当該身体部位を表すオブジェクトの相対位置が、第１ディスプレイ３６に対する、当該身体部位の変化後の相対位置と一致するように、仮想３次元空間８０内でユーザオブジェクト８３に含まれる、当該身体部位を表すオブジェクトを移動する。

ステップＳ１０８において、第２端末装置４０の制御部４１は、ステップＳ１０７の調整の結果として生じる、仮想光源８１と表示オブジェクト８２とユーザオブジェクト８３との間の位置関係の変化に基づき、第２画像１２を更新する。具体的には、制御部４１は、ステップＳ１０２と同様に、仮想３次元空間８０における仮想光源８１の位置に基づき、第１ディスプレイ３６の水平表示面３８に対応する、表示オブジェクト８２の表面にできる、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの影を演算する。制御部４１は、演算した影の画像で第２画像１２を更新する。

ステップＳ１０９において、第２端末装置４０の制御部４１は、第１画像１１の更新と、ステップＳ１０８による第２画像１２の更新とを、出力部４５としての第２ディスプレイ４６に反映する。具体的には、制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を、ステップＳ１０４で受信した最新の第１画像１１に置き換えるとともに、その最新の第１画像１１に、ステップＳ１０８で演算した最新の影の画像を重畳する形で、第２ディスプレイ４６の水平表示面４８に表示している第２画像１２を、その最新の影の画像に置き換える。制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を最新のものに置き換える際に、ステップＳ１０３と同様に、文字の画像を、朱色など、黒以外の色で表示する。制御部４１は、ステップＳ１０４で受信した第１ユーザ６１の最新の可視光画像を参照して、ユーザオブジェクト８３のレンダリングを行った上で、第２ディスプレイ４６の垂直表示面４７に、仮想３次元空間８０内でユーザオブジェクト８３を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト８３の画像を表示してもよい。制御部４１は、ステップＳ１０４で第１ユーザ６１の最新の音声を受信した場合は、受信した音声を、出力部４５としてのスピーカから出力してもよい。

ステップＳ１０９の後は、ステップＳ１０４以降の処理が再び実行される。

第１画像１１が、変更されたかどうかに関わらず、定期的に第１端末装置３０から送信される場合は、ステップＳ１０４で受信された最新の第１画像１１が、前回受信された第１画像１１と同一の場合がある。そのような場合は、ステップＳ１０９において第１画像１１の更新の反映が省略されてもよい。

本実施形態では、上述のような動作により、第２ユーザ６２が第１ユーザ６１になったかのように第１画像１１の操作を視認することが可能となる。すなわち、本実施形態によれば、第２ユーザ６２に第１ユーザ６１の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の影を表示し、この影を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。

図１のほかに、図５及び図６を参照して、第２実施形態の概要を説明する。

図５では、図３と同様に、説明の便宜上、第１空間６０と第２空間７０とが互いに隣接しているが、実際には、第１空間６０と第２空間７０とは互いに離れた場所に存在する。第１ユーザ６１は、第１ディスプレイ３６に表示された第１画像１１を操作する。第１画像１１は、本実施形態では、第１ユーザ６１が手書きする文字の画像を含むが、文字の画像に代えて又は加えて、第１ユーザ６１が描く絵の画像など、他の画像を含んでもよい。第１ユーザ６１は、例えば、遠隔地にいる教師であり、第１画像１１をタッチスクリーンで操作することで、書道レッスンなど、身体動作を伴うレッスンをすることができる。第２ユーザ６２は、第１ユーザ６１による第１画像１１の操作を視認する。第２ユーザ６２は、例えば、生徒であり、第１画像１１の操作を視認することで、書道レッスンなど、身体動作を伴うレッスンを受けることができる。

第２端末装置４０は、図６に示すような仮想３次元空間８０内に、第１仮想カメラ８５と、第１ユーザ６１に対応するユーザオブジェクト８３とを配置する。ユーザオブジェクト８３は、本実施形態では、第１ユーザ６１の腕を表すオブジェクトを含むが、他のオブジェクトを含んでもよい。第１仮想カメラ８５は、本実施形態では、第１ユーザ６１の腕を表すオブジェクトを上から捉える位置に配置されるが、他の位置に配置されてもよい。第２端末装置４０は、第１仮想カメラ８５とユーザオブジェクト８３との間の位置関係、及び第１仮想カメラ８５の方向に基づき、第１仮想カメラ８５で捉えられるユーザオブジェクト８３の画像を第２画像１３として生成する。第２画像１３は、本実施形態では、第１ユーザ６１の腕を表すオブジェクトの影の画像を含むが、他のオブジェクトの影の画像を含んでもよい。第２端末装置４０は、第２ユーザ６２に向けて第２ディスプレイ４６に第１画像１１を表示するとともに第２ディスプレイ４６で第１画像１１に第２画像１３を重畳する。

第２端末装置４０は、第２ユーザ６２の視線の変化を検知すると、検知した変化に応じて、第１仮想カメラ８５の方向を調整する。第２端末装置４０は、調整後の第１仮想カメラ８５の方向に基づき、第２画像１３を更新する。第２端末装置４０は、第２画像１３の更新を第２ディスプレイ４６に反映する。

本実施形態では、第１ユーザ６１に対応するユーザオブジェクト８３の画像が第２ディスプレイ４６に表示されるため、第２ユーザ６２が第１ユーザ６１になったかのように第１画像１１の操作を視認することが可能となる。すなわち、本実施形態によれば、第２ユーザ６２に第１ユーザ６１の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の３Ｄ画像を表示し、この３Ｄ画像を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。

本実施形態では、第２端末装置４０は、仮想３次元空間８０内に、第１ディスプレイ３６に対応する表示オブジェクト８２を更に配置する。第２端末装置４０は、第１ディスプレイ３６に対する第１ユーザ６１の相対位置の変化を検知すると、検知した変化に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置を調整する。第２端末装置４０は、調整の結果として生じる位置関係の変化に基づき、第２画像１２を更新する。第２端末装置４０は、第２画像１２の更新を第２ディスプレイ４６に反映する。

本実施形態は、第１実施形態と同様に、ビデオ会議など、ユーザが対話相手の映像を見ながら対話可能な遠隔対話システムに適用することができる。例えば、生徒が遠隔地にいる教師から、書道レッスンなど、腕の動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用する場合、それぞれ机タイプのディスプレイを有する２台の遠隔対話端末装置をオンラインで接続する。教師側のディスプレイにできる教師の腕のホログラムなどの３Ｄ画像を擬似的な一人称視点でレンダリングし、その３Ｄ画像を生徒側のディスプレイに表示することで、生徒が自分の腕の動作のように教師の腕の動作を視認可能となる。

第１端末装置３０は、２台の遠隔対話端末装置のうちの一方に相当する。第１端末装置３０は、第１ディスプレイ３６の水平表示面３８に第１画像１１を表示する。第１端末装置３０は、可視光カメラを用いて第１ユーザ６１の可視光画像を生成する。第１端末装置３０は、深度カメラを用いて第１ユーザ６１の深度画像を生成する。

第２端末装置４０は、２台の遠隔対話端末装置のうちの他方に相当する。第２端末装置４０は、可視光画像及び深度画像を第１端末装置３０から受信する。第２端末装置４０は、受信した可視光画像及び深度画像に基づき、対話相手の３Ｄオブジェクトを仮想３次元空間８０内に配置する。第２端末装置４０は、可視光カメラを用いて第２ユーザ６２の可視光画像を生成する。第２端末装置４０は、深度カメラを用いて第２ユーザ６２の深度画像を生成する。第２端末装置４０は、可視光画像、深度画像、又はこれらの両方に基づき、第２ユーザ６２の視線を検知する。第２端末装置４０は、仮想３次元空間８０における第１仮想カメラ８５の方向を第２ユーザ６２の視線に連動させる。第２端末装置４０は、第１仮想カメラ８５を用いて３Ｄオブジェクトのレンダリング画像を第２画像１３として生成する。第２端末装置４０は、第２ディスプレイ４６の水平表示面４８に、第１ディスプレイ３６に表示されている第１画像１１を表示するとともに、第１画像１１に第２画像１３を重畳する形で第２ディスプレイ４６の水平表示面４８に第２画像１３を表示する。そのため、第２ユーザ６２に、対話相手になったかのように錯覚させることが可能となる。例えば、生徒は、机タイプのディスプレイの天面に、対話相手である教師の３Ｄモデルを一人称視点で眺めたかのようなレンダリング画像が表示されるので、教師が実際に文字を書いているときの腕の動作を、あたかも教師自身になったかのように視認することができる。

本実施形態では、第２端末装置４０は、第２ディスプレイ４６の垂直表示面４７にも画像を表示する。具体的には、第２端末装置４０は、垂直表示面４７に、仮想３次元空間８０内でユーザオブジェクト８３を正面から捉える位置に配置された第２仮想カメラ８６で捉えられるユーザオブジェクト８３の画像を第３画像１４として表示する。そのため、第２ユーザ６２は、垂直表示面４７で第１ユーザ６１の様子を確認しつつ、水平表示面４８で第１ユーザ６１の動作を確認することができる。

図７を参照して、本実施形態に係る第２端末装置４０の動作を説明する。この動作は、本実施形態に係る画像表示方法に相当する。

図７に示したフローは、第１ユーザ６１及び第２ユーザ７１がそれぞれ第１端末装置３０及び第２端末装置４０を使用してウェブ会議など、映像を使ったコミュニケーションを行っている間、繰り返し実行される。

ステップＳ２０１の処理については、第１実施形態のステップＳ１０１の処理と同様であるため、説明を省略する。

ステップＳ２０２において、第２端末装置４０の制御部４１は、仮想３次元空間８０内に、第１仮想カメラ８５と、第２仮想カメラ８６と、第１ディスプレイ３６に対応する表示オブジェクト８２と、第１ユーザ６１に対応するユーザオブジェクト８３とを配置する。ユーザオブジェクト８３は、第１ユーザ６１の腕を表すオブジェクトを含む。ユーザオブジェクト８３は、具体的には、第１ユーザ６１の両腕及び頭など、第１ユーザ６１の上半身の各身体部位を表すオブジェクトを含む。第１仮想カメラ８５は、第１ユーザ６１の腕を表すオブジェクトを上から捉える位置に配置される。第１仮想カメラ８５は、具体的には、第１ユーザ６１の腕を表すオブジェクトを擬似的な一人称視点で捉える位置に配置される。第２仮想カメラ８６は、仮想３次元空間８０内でユーザオブジェクト８３を正面から捉える位置に配置される。制御部４１は、第１仮想カメラ８５とユーザオブジェクト８３との位置関係、及び第１仮想カメラ８５の方向に基づき、第１仮想カメラ８５で捉えられるユーザオブジェクト８３の画像を第２画像１３として生成する。第２画像１３は、第１ユーザ６１の腕を表すオブジェクトを上から見た画像を含む。第２画像１３は、具体的には、第１ユーザ６１の腕を一人称視点で見たかのような画像を含む。制御部４１は、第２仮想カメラ８６とユーザオブジェクト８３との位置関係、及び第２仮想カメラ８６の方向に基づき、第２仮想カメラ８６で捉えられるユーザオブジェクト８３の画像を第３画像１４として更に生成する。第３画像１４は、第１ユーザ６１の上半身の各身体部位を表すオブジェクトを正面から見た画像を含む。第３画像１４は、具体的には、第１ユーザ６１の上半身全体を正面から見たかのような画像を含む。ステップＳ２０２の処理は、具体的には以下の手順で実行される。

第２端末装置４０の制御部４１は、ステップＳ２０１で受信した第１ユーザ６１の深度画像を参照して、第１ディスプレイ３６に対する第１ユーザ６１の相対位置を特定する。制御部４１は、第１ユーザ６１の深度画像に加えて、第１ディスプレイ３６と、第１ユーザ６１の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第１ユーザ６１の相対位置を特定してもよい。この距離に関する情報は、第２端末装置４０の記憶部４２に予め記憶されていてもよいし、又は第１端末装置３０から第２端末装置４０に適宜通知されてもよい。深度カメラが第１ディスプレイ３６と一体化されているか、又は第１ディスプレイ３６の近傍に設置されている場合は、制御部４１は、第１ユーザ６１の深度画像のみを参照して、第１ユーザ６１の相対位置を特定してもよい。制御部４１は、特定した相対位置に応じて、表示オブジェクト８２に対するユーザオブジェクト８３の相対位置を設定する。より具体的には、制御部４１は、表示オブジェクト８２に対する、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの相対位置が、第１ディスプレイ３６に対する、第１ユーザ６１の上半身の各身体部位の相対位置と一致するように、仮想３次元空間８０内に表示オブジェクト８２及びユーザオブジェクト８３を配置する。

第２端末装置４０の制御部４１は、ユーザオブジェクト８３に含まれる、第１ユーザ６１の頭、顔、又は目を表すオブジェクトの近傍に第１仮想カメラ８５を配置する。制御部４１は、ユーザオブジェクト８３に含まれる、第１ユーザ６１の腕を表すオブジェクトと、表示オブジェクト８２とが第１仮想カメラ８５の撮影範囲に入るように、第１仮想カメラ８５の方向を設定する。

第２端末装置４０の制御部４１は、ユーザオブジェクト８３の正面に第２仮想カメラ８６を配置する。制御部４１は、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトが第２仮想カメラ８６の撮影範囲に入るように、第２仮想カメラ８６の方向を設定する。

第２端末装置４０の制御部４１は、仮想３次元空間８０において第１仮想カメラ８５で撮影される、ユーザオブジェクト８３に含まれる、第１ユーザ６１の腕を表すオブジェクトの３Ｄ画像を第２画像１３として生成する。３Ｄ画像を生成する方法としては、既知の３Ｄコンピュータグラフィックスと同じ方法を用いることができる。制御部４１は、第２画像１３を生成する際に、ステップＳ２０１で受信した第１ユーザ６１の可視光画像を参照して、第１ユーザ６１の腕を表すオブジェクトのレンダリングを行ってもよい。

第２端末装置４０の制御部４１は、仮想３次元空間８０において第２仮想カメラ８６で撮影される、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの３Ｄ画像を第３画像１４として生成する。３Ｄ画像を生成する方法としては、既知の３Ｄコンピュータグラフィックスと同じ方法を用いることができる。制御部４１は、第３画像１４を生成する際に、ステップＳ２０１で受信した第１ユーザ６１の可視光画像を参照して、第１ユーザ６１の上半身の各身体部位を表すオブジェクトのレンダリングを行ってもよい。

ステップＳ２０３において、第２端末装置４０の制御部４１は、第２ユーザ６２に向けて、出力部４５としての第２ディスプレイ４６に、ステップＳ２０１で受信した第１画像１１を表示するとともに、第２ディスプレイ４６で、第１画像１１に、ステップＳ２０２で生成した第２画像１３を重畳する。制御部４１は、第２ユーザ６２に向けて、第２ディスプレイ４６に、ステップＳ２０２で生成した第３画像１４も表示する。ステップＳ２０３の処理は、具体的には以下の手順で実行される。

第２端末装置４０の制御部４１は、第２ディスプレイ４６の水平表示面４８に第１画像１１を表示するとともに、第１画像１１に第２画像１３を重畳する形で第２ディスプレイ４６の水平表示面４８に第２画像１３を表示する。制御部４１は、第２ディスプレイ４６の垂直表示面４７に第３画像１４を表示する。制御部４１は、ステップＳ２０１で第１ユーザ６１の音声を受信した場合は、受信した音声を、出力部４５としてのスピーカから出力してもよい。

第２端末装置４０の制御部４１は、第２ディスプレイ４６に第１画像１１を表示する際に、第１画像１１に含まれる文字の画像をそのまま表示してもよいが、本実施形態では、第１実施形態と同様に、文字の画像を、朱色など、黒以外の色で表示する。より具体的には、制御部４１は、第１画像１１の経時変化に基づき、第１画像１１に含まれる紙の画像上の不変部分を文字部分として特定する。制御部４１は、特定した文字部分の色を、朱色など、黒以外の色に変換する。制御部４１は、第２ディスプレイ４６の水平表示面４８に第１画像１１を表示する際に、文字部分の色を変換した後の画像を表示する。本実施形態によれば、文字部分を、朱色など、黒以外の色で表示することで、手の影が文字部分にかかることによる文字の誤認識を回避することが可能となる。文字部分の特定、又は文字部分の特定及び文字部分の色の変換は、第２端末装置４０の制御部４１の代わりに、第１端末装置３０の制御部３１が行ってもよい。

ステップＳ２０４及びステップＳ２０５の処理については、それぞれ第１実施形態のステップＳ１０４及びステップＳ１０５の処理と同様であるため、説明を省略する。

ステップＳ２０５で第１ユーザ６１の相対位置が変化していないと判定された場合、すなわち、第１ユーザ６１の相対位置の変化が検知されなかった場合は、ステップＳ２０６の処理が実行される。一方、ステップＳ２０５で第１ユーザ６１の相対位置が変化したと判定された場合、すなわち、第１ユーザ６１の相対位置の変化が検知された場合は、ステップＳ２０８の処理が実行される。

ステップＳ２０６において、第２端末装置４０の制御部４１は、入力部４４としての可視光カメラ及び深度カメラを用いて第２ユーザ７１の可視光画像及び深度画像をそれぞれ撮影する。制御部４１は、撮影した可視光画像、深度画像、又はこれらの両方を参照して、第２ユーザ６２の視線が変化したかどうかを判定する。画像認識により視線を検知する方法としては、既知の方法を用いることができる。深層学習などの機械学習が用いられてもよい。

ステップＳ２０６で第２ユーザ６２の視線が変化していないと判定された場合、すなわち、第２ユーザ６２の視線の変化が検知されなかった場合は、ステップＳ２０７の処理が実行される。一方、ステップＳ２０６で第２ユーザ６２の視線が変化したと判定された場合、すなわち、第２ユーザ６２の視線の変化が検知された場合は、ステップＳ２１０の処理が実行される。

ステップＳ２０７において、第２端末装置４０の制御部４１は、第１画像１１の更新のみを、出力部４５としての第２ディスプレイ４６に反映する。具体的には、制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を、ステップＳ２０４で受信した最新の第１画像１１に置き換えるとともに、その最新の第１画像１１に、第２ディスプレイ４６の水平表示面４８に表示している第２画像１３を重畳する。制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を最新のものに置き換える際に、ステップＳ２０３と同様に、文字の画像を、朱色など、黒以外の色で表示する。

ステップＳ２０７の後は、ステップＳ２０４以降の処理が再び実行される。

第１画像１１が、変更されたかどうかに関わらず、定期的に第１端末装置３０から送信される場合は、ステップＳ２０４で受信された最新の第１画像１１が、前回受信された第１画像１１と同一の場合がある。そのような場合は、ステップＳ２０７の処理が省略されてもよい。

ステップＳ２０８の処理については、第１実施形態のステップＳ１０７の処理と同様であるため、説明を省略する。

ステップＳ２０８の後は、ステップＳ２０９の処理が実行される。ステップＳ２０９の処理については、ステップＳ２０６の処理と同様であるため、説明を省略する。

ステップＳ２０９で第２ユーザ６２の視線が変化していないと判定された場合、すなわち、第２ユーザ６２の視線の変化が検知されなかった場合は、ステップＳ２１１の処理が実行される。一方、ステップＳ２０９で第２ユーザ６２の視線が変化したと判定された場合、すなわち、第２ユーザ６２の視線の変化が検知された場合は、ステップＳ２１０の処理が実行される。

ステップＳ２１０において、第２端末装置４０の制御部４１は、ステップＳ２０６又はステップＳ２０９で検知した変化に応じて、第１仮想カメラ８５の方向を調整する。具体的には、制御部４１は、第１仮想カメラ８５の方向を、ステップＳ２０６又はステップＳ２０９で検知した変化と同じ方角に同じ量だけ変更する。

ステップＳ２１１において、第２端末装置４０の制御部４１は、ステップＳ２０８の処理が実行されていた場合は、ステップＳ２０８の調整の結果として生じる、第１仮想カメラ８５とユーザオブジェクト８３との位置関係の変化に基づき、第２画像１３を更新する。制御部４１は、ステップＳ２１０の処理が実行されていた場合は、ステップＳ２１０の調整後の第１仮想カメラ８５の方向に基づき、第２画像１３を更新する。制御部４１は、ステップＳ２０８及びステップＳ２１０の両方の処理が実行されていた場合は、第１仮想カメラ８５とユーザオブジェクト８３との位置関係の変化と、調整後の第１仮想カメラ８５の方向とに基づき、第２画像１３を更新する。具体的には、制御部４１は、ステップＳ２０２と同様に、仮想３次元空間８０において第１仮想カメラ８５で撮影される、ユーザオブジェクト８３に含まれる、第１ユーザ６１の腕を表すオブジェクトの３Ｄ画像で第２画像１３を更新する。制御部４１は、第２画像１３を更新する際に、ステップＳ２０４で受信した第１ユーザ６１の最新の可視光画像を参照して、第１ユーザ６１の腕を表すオブジェクトのレンダリングを行ってもよい。

第２端末装置４０の制御部４１は、ステップＳ２０８の処理が実行されていた場合は、ステップＳ２０８の調整の結果として生じる、第２仮想カメラ８６とユーザオブジェクト８３との位置関係の変化に基づき、第３画像１４も更新する。具体的には、制御部４１は、ステップＳ２０２と同様に、仮想３次元空間８０において第２仮想カメラ８６で撮影される、ユーザオブジェクト８３に含まれる、第１ユーザ６１の上半身の各身体部位を表すオブジェクトの３Ｄ画像で第３画像１４を更新する。制御部４１は、第３画像１４を更新する際に、ステップＳ２０４で受信した第１ユーザ６１の最新の可視光画像を参照して、第１ユーザ６１の上半身の各身体部位を表すオブジェクトのレンダリングを行ってもよい。

ステップＳ２１２において、第２端末装置４０の制御部４１は、第１画像１１の更新と、ステップＳ２１１による第２画像１３の更新とを、出力部４５としての第２ディスプレイ４６に反映する。具体的には、制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を、ステップＳ２０４で受信した最新の第１画像１１に置き換えるとともに、その最新の第１画像１１に、ステップＳ２１１で得られた、第１仮想カメラ８５で撮影された３Ｄ画像を重畳する形で、第２ディスプレイ４６の水平表示面４８に表示している第２画像１３を、その３Ｄ画像に置き換える。制御部４１は、第２ディスプレイ４６の水平表示面４８に表示している第１画像１１を最新のものに置き換える際に、ステップＳ２０３と同様に、文字の画像を、朱色など、黒以外の色で表示する。制御部４１は、ステップＳ２０４で第１ユーザ６１の最新の音声を受信した場合は、受信した音声を、出力部４５としてのスピーカから出力してもよい。

第２端末装置４０の制御部４１は、ステップＳ２１１で第３画像１４も更新された場合は、ステップＳ２１１による第３画像１４の更新も第２ディスプレイ４６に反映する。具体的には、制御部４１は、第２ディスプレイ４６の垂直表示面４７に表示している第３画像１４を、ステップＳ２１１で得られた、第２仮想カメラ８６で撮影された３Ｄ画像に置き換える。

ステップＳ２１２の後は、ステップＳ２０４以降の処理が再び実行される。

第１画像１１が、変更されたかどうかに関わらず、定期的に第１端末装置３０から送信される場合は、ステップＳ２０４で受信された最新の第１画像１１が、前回受信された第１画像１１と同一の場合がある。そのような場合は、ステップＳ２１２において第１画像１１の更新の反映が省略されてもよい。

本実施形態では、上述のような動作により、第２ユーザ６２が第１ユーザ６１になったかのように第１画像１１の操作を視認することが可能となる。すなわち、本実施形態によれば、第２ユーザ６２に第１ユーザ６１の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の３Ｄ画像を表示し、この３Ｄ画像を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。

以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
［付記１］
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
［付記２］
前記第１ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第１ユーザの深度画像を受信し、受信した深度画像を参照して、前記第１ディスプレイに対する前記第１ユーザの相対位置を特定する付記１に記載の端末装置。
［付記３］
前記制御部は、前記第２ディスプレイに対する、前記第２空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する付記１又は付記２に記載の端末装置。
［付記４］
前記ユーザオブジェクトは、前記第１ユーザの腕を表すオブジェクトを含む付記１から付記３のいずれか１項に記載の端末装置。
［付記５］
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第２ディスプレイに相当する側面視Ｌ字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第１画像及び前記第２画像を表示する付記１から付記４のいずれか１項に記載の端末装置。
［付記６］
前記第１画像は、前記第１ユーザが手書きする文字の画像を含む付記１から付記５のいずれか１項に記載の端末装置。
［付記７］
前記制御部は、前記第２ディスプレイに前記第１画像を表示する際に、前記文字の画像を黒以外の色で表示する付記６に記載の端末装置。
［付記８］
前記制御部は、前記文字の画像を朱色で表示する付記７に記載の端末装置。
［付記９］
仮想３次元空間内に配置された、仮想カメラと、第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
［付記１０］
前記制御部は、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化に応じて、前記仮想３次元空間内に配置された、前記第１ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する付記９に記載の端末装置。
［付記１１］
前記第１ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第１ユーザの深度画像を受信し、受信した深度画像を参照して、前記第１ディスプレイに対する前記第１ユーザの相対位置を特定する付記１０に記載の端末装置。
［付記１２］
前記ユーザオブジェクトは、前記第１ユーザの腕を表すオブジェクトを含み、
前記仮想カメラは、前記第１ユーザの腕を表すオブジェクトを上から捉える位置に配置される付記９から付記１１のいずれか１項に記載の端末装置。
［付記１３］
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第２ディスプレイに相当する側面視Ｌ字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第１画像及び前記第２画像を表示する付記９から付記１１のいずれか１項に記載の端末装置。
［付記１４］
前記制御部は、前記仮想カメラを第１仮想カメラ、前記仮想３次元空間内で前記ユーザオブジェクトを正面から捉える位置に配置された他の仮想カメラを第２仮想カメラとしたとき、前記第２仮想カメラと前記ユーザオブジェクトとの位置関係、及び前記第２仮想カメラの方向に基づき、前記第２仮想カメラで捉えられる前記ユーザオブジェクトの画像を第３画像として生成し、前記垂直表示面に前記第３画像を表示する付記１３に記載の端末装置。
［付記１５］
前記第１画像は、前記第１ユーザが手書きする文字の画像を含む付記９から付記１４のいずれか１項に記載の端末装置。
［付記１６］
前記制御部は、前記第２ディスプレイに前記第１画像を表示する際に、前記文字の画像を黒以外の色で表示する付記１５に記載の端末装置。
［付記１７］
前記制御部は、前記文字の画像を朱色で表示する付記１６に記載の端末装置。
［付記１８］
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想３次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成することと、
前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示することと、
前記第２ディスプレイで前記第１画像に前記第２画像を重畳することと、
前記第１ディスプレイに対する前記第１ユーザの相対位置の変化、又は前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第２画像を更新することと、
前記第２画像の更新を前記第２ディスプレイに反映することと
を含む画像表示方法。
［付記１９］
付記１８に記載の画像表示方法に相当する動作をコンピュータに実行させるプログラム。

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

１０ 通信システム
１１ 第１画像
１２，１３ 第２画像
１４ 第３画像
２０ サーバ装置
３０ 第１端末装置
３１ 制御部
３２ 記憶部
３３ 通信部
３４ 入力部
３５ 出力部
３６ 第１ディスプレイ
３８ 水平表示面
４０ 第２端末装置
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
４６ 第２ディスプレイ
４７ 垂直表示面
４８ 水平表示面
５０ ネットワーク
６０ 第１空間
６１ 第１ユーザ
７０ 第２空間
７１ 第２ユーザ
７２ 光源
８０ 仮想３次元空間
８１ 仮想光源
８２ 表示オブジェクト
８３ ユーザオブジェクト
８４ 影
８５ 第１仮想カメラ
８６ 第２仮想カメラ

Claims (19)

1. 仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
2. 前記第１ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
   前記制御部は、前記通信部を介して前記第１ユーザの深度画像を受信し、受信した深度画像を参照して、前記第１ディスプレイに対する前記第１ユーザの相対位置を特定する請求項１に記載の端末装置。
3. 前記制御部は、前記第２ディスプレイに対する、前記第２空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する請求項１に記載の端末装置。
4. 前記ユーザオブジェクトは、前記第１ユーザの腕を表すオブジェクトを含む請求項１に記載の端末装置。
5. 垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第２ディスプレイに相当する側面視Ｌ字状のディスプレイを更に備え、
   前記制御部は、前記水平表示面に前記第１画像及び前記第２画像を表示する請求項１に記載の端末装置。
6. 前記第１画像は、前記第１ユーザが手書きする文字の画像を含む請求項１に記載の端末装置。
7. 前記制御部は、前記第２ディスプレイに前記第１画像を表示する際に、前記文字の画像を黒以外の色で表示する請求項６に記載の端末装置。
8. 前記制御部は、前記文字の画像を朱色で表示する請求項７に記載の端末装置。
9. 仮想３次元空間内に配置された、仮想カメラと、第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
10. 前記制御部は、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化に応じて、前記仮想３次元空間内に配置された、前記第１ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する請求項９に記載の端末装置。
11. 前記第１ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
    前記制御部は、前記通信部を介して前記第１ユーザの深度画像を受信し、受信した深度画像を参照して、前記第１ディスプレイに対する前記第１ユーザの相対位置を特定する請求項１０に記載の端末装置。
12. 前記ユーザオブジェクトは、前記第１ユーザの腕を表すオブジェクトを含み、
    前記仮想カメラは、前記第１ユーザの腕を表すオブジェクトを上から捉える位置に配置される請求項９に記載の端末装置。
13. 垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第２ディスプレイに相当する側面視Ｌ字状のディスプレイを更に備え、
    前記制御部は、前記水平表示面に前記第１画像及び前記第２画像を表示する請求項９に記載の端末装置。
14. 前記制御部は、前記仮想カメラを第１仮想カメラ、前記仮想３次元空間内で前記ユーザオブジェクトを正面から捉える位置に配置された他の仮想カメラを第２仮想カメラとしたとき、前記第２仮想カメラと前記ユーザオブジェクトとの位置関係、及び前記第２仮想カメラの方向に基づき、前記第２仮想カメラで捉えられる前記ユーザオブジェクトの画像を第３画像として生成し、前記垂直表示面に前記第３画像を表示する請求項１３に記載の端末装置。
15. 前記第１画像は、前記第１ユーザが手書きする文字の画像を含む請求項９に記載の端末装置。
16. 前記制御部は、前記第２ディスプレイに前記第１画像を表示する際に、前記文字の画像を黒以外の色で表示する請求項１５に記載の端末装置。
17. 前記制御部は、前記文字の画像を朱色で表示する請求項１６に記載の端末装置。
18. 仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想３次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成することと、
    前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示することと、
    前記第２ディスプレイで前記第１画像に前記第２画像を重畳することと、
    前記第１ディスプレイに対する前記第１ユーザの相対位置の変化、又は前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
    調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第２画像を更新することと、
    前記第２画像の更新を前記第２ディスプレイに反映することと
    を含む画像表示方法。
19. 請求項１８に記載の画像表示方法に相当する動作をコンピュータに実行させるプログラム。

Images