JP2024044908A - 方法、プログラム、及び端末装置 - Google Patents

Abstract

【課題】通信回線を用いて遠隔対話サービスを提供する技術を改善する。【解決手段】遠隔対話サービスを提供するサーバ２０と通信する端末装置１０が実行する方法であって、自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、ユーザが注視している画面上のオブジェクトをユーザの注視オブジェクトとして検出すること、ユーザの注視オブジェクトを示す情報をサーバ２０へ送信すること、各対話相手の注視オブジェクトを示す情報をサーバ２０から受信すること、画面において、各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各第１オブジェクトの向き及び複数のオブジェクトの配置を制御することを含む。【選択図】図１

Description

本開示は、方法、プログラム、及び端末装置に関する。

従来、通信回線を用いて遠隔対話サービスを提供する技術が知られている。例えば特許文献１には、複数のユーザが互いに相手の映像を見ながら通話することが可能な通話システムにおいて、画面に表示されるユーザをカメラ目線に修正又は変更することが開示されている。

特許第６８４９１３３号

通信回線を用いて遠隔対話サービスを提供する技術には改善の余地がある。

かかる事情に鑑みてなされた本開示の目的は、通信回線を用いて遠隔対話サービスを提供する技術を改善することにある。

本開示の一実施形態に係る方法は、
遠隔対話サービスを提供するサーバと通信する端末装置が実行する方法であって、
自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御することを含む。

本開示の一実施形態に係るプログラムは、
遠隔対話サービスを提供するサーバと通信する端末装置に、
自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御することを実行させる。

本開示の一実施形態に係る端末装置は、
遠隔対話サービスを提供するサーバと通信する通信部と、画面を表示する表示部と、自装置のユーザの顔の画像を生成するカメラ部と、制御部と、を備える端末装置であって、
前記制御部は、
前記ユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示させ、
前記画像に基づき前記ユーザが注視していると判定された前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出し、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信し、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信し、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御する。

本開示の一実施形態によれば、通信回線を用いて遠隔対話サービスを提供する技術が改善される。

本開示の一実施形態に係るシステムの概略構成を示すブロック図である。 端末装置に表示される画面の第１例を示す図である。 端末装置の概略構成を示すブロック図である。 サーバの概略構成を示すブロック図である。 システムの第１動作を示すシーケンス図である。 システムの第２動作を示すシーケンス図である。 端末装置に表示される画面の第２例を示す図である。

以下、本開示の実施形態について説明する。

（実施形態の概要）
図１を参照して、本開示の実施形態に係るシステム１の概要について説明する。システム１は、複数の端末装置１０と、サーバ２０と、を備える。各端末装置１０とサーバ２０は、例えばインターネット及び移動体通信網等を含む通信回線３０を介して通信可能である。

端末装置１０は、例えばＰＣ（Personal Computer）、スマートフォン、又はタブレット端末等のコンピュータである。サーバ２０は、１つ又は互いに通信可能な複数のコンピュータを含んで構成される。サーバ２０は、通信回線３０を用いて遠隔対話サービスを提供する。本実施形態では、ユーザは、自身の端末装置１０を用いて、１人以上の対話相手との遠隔対話を行うことができる。本実施形態では、ユーザの端末装置１０は、各対話相手の顔を示すオブジェクト（以下、「第１オブジェクト」ともいう。）を画面に表示しながら遠隔対話を実行する。本実施形態では、第１オブジェクトは、対話相手の顔の可視光画像及び深度画像を用いてリアルタイムに生成される３Ｄオブジェクトであって、対話相手の実際の動きに連動して表示される。しかしながら、第１オブジェクトは当該例に限られず、例えばキャラクター等のアバターの３Ｄオブジェクトであってもよい。或いは第１オブジェクトは、対話相手又はキャラクタの画像を含む２Ｄオブジェクトであってもよい。

なお第１オブジェクトに加えて、第１オブジェクトとは異なる１つ以上の第２オブジェクトが画面に表示されてもよい。第２オブジェクトは、例えばテキスト及び画像の少なくとも一方を含む３Ｄオブジェクト又は２Ｄオブジェクトであるが、これらに限られない。一例において、遠隔対話サービスを利用した遠隔会議における共有資料等が第２オブジェクトとして画面に表示されてもよい。

まず、本実施形態の概要について説明し、詳細については後述する。端末装置１０は、自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示し、ユーザが注視している画面上のオブジェクトを、ユーザの注視オブジェクトとして検出する。端末装置１０は、ユーザの注視オブジェクトを示す情報をサーバ２０へ送信するとともに、各対話相手の注視オブジェクトを示す情報をサーバ２０から受信する。そして端末装置１０は、当該画面において、各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各第１オブジェクトの向き及び複数のオブジェクトの配置を制御する。

図２を参照して、上述した第１条件及び第２条件に基づく制御について説明する。図２は、３人の対話相手Ａ～Ｃと遠隔対話するユーザの端末装置１０の画面を示す。当該画面には、対話相手Ａ～Ｃの顔をそれぞれ示す３つの第１オブジェクトが表示されている。以下の説明において、「対話相手の第１オブジェクト」を単に「対話相手」ともいう。ここでは、対話相手Ａ及びＢそれぞれの注視オブジェクトは、対話相手Ｃの顔を示す第１オブジェクトであるものとする。換言すると、対話相手Ａ及びＢのそれぞれは、自身の端末装置１０の画面に表示されている対話相手Ｃを注視しているものとする。

ユーザの端末装置１０は、上述した第１条件を満たすように（例えば、対話相手Ａ及びＢそれぞれの視線が対話相手Ｃに向けられるように）、例えば画面上の対話相手Ａ及びＢの向きを制御する。ここで、対話相手Ｂが画面上の位置Ｐに存在する場合、対話相手Ａの視線上に対話相手Ｂが存在することになる。かかる場合、端末装置１０のユーザは、対話相手Ａが対話相手Ｂ及びＣのいずれを注視しているのか一見して認識することができない。これに対して本実施形態では、端末装置１０は、上述した第２条件を更に満たすように（例えば、対話相手Ａの視線上に対話相手Ｃ以外のオブジェクトが存在しなくなるように）、例えば対話相手Ｂを位置Ｐから下方の位置Ｑに移動させて、対話相手Ａの視線上から対話相手Ｂを外す。かかる場合、端末装置１０のユーザは、対話相手Ａが対話相手Ｂではなく対話相手Ｃを注視していると一見して認識することができる。このように、本実施形態によれば、ユーザが各対話相手の注視オブジェクトを画面から一見して認識可能となる点で、通信回線を用いて遠隔対話サービスを提供する技術が改善される。

次に、システム１が備える各構成要素について詳細に説明する。

（端末装置の構成）
図３に示すように、端末装置１０は、通信部１１と、表示部１２と、カメラ部１３と、記憶部１４と、制御部１５と、を備える。

通信部１１は、通信回線３０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応するが、これらに限られず任意の通信規格に対応してもよい。

表示部１２は、１つ以上のディスプレイを含む。また表示部１２は、外部のディスプレイを接続可能なインタフェースを含んでもよい。

カメラ部１３は、１組以上の可視光カメラ及び深度カメラを含む。またカメラ部１３は、外部の可視光カメラ及び深度カメラを接続可能なインタフェースを含んでもよい。各組の可視光カメラ及び深度カメラは、端末装置１０を使用するユーザの顔を所定の方向から撮影可能となるように設けられる。本実施形態では、カメラ部１３は、端末装置１０の画面を視認するユーザの顔を正面から撮影可能な１組の可視光カメラ及び深度カメラを少なくとも含む。可視光カメラ及び深度カメラから得られた可視光画像及び深度画像は、ユーザの顔を示す第１オブジェクトを生成するために用いられる。以下、可視光カメラ及び深度カメラから得られる可視光画像及び深度画像を「カメラ画像」ともいう。

記憶部１４は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１４に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１４は、端末装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１４は、システムプログラム及びアプリケーションプログラム等を記憶してもよい。

制御部１５は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）であるがこれに限られない。専用回路は、例えばＡＳＩＣ（Application Specific Integrated Circuit）であるがこれに限られない。制御部１５は、端末装置１０全体の動作を制御する。

（サーバの構成）
図４に示すように、サーバ２０は、通信部２１と、記憶部２２と、制御部２３と、を備える。

通信部２１は、通信回線３０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限られず任意の通信規格に対応してもよい。

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２２は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア、及びデータベース等を記憶してもよい。

制御部２３は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部２３は、サーバ２０全体の動作を制御する。

（システムの動作）
図５を参照して、システム１の第１動作について説明する。概略として第１動作は、端末装置１０の画面に表示する各第１オブジェクトを生成する動作であって、遠隔対話の実行中に所定のフレームレートで繰り返し実行される。ここでは、ユーザが３人の対話相手Ａ～Ｃと遠隔対話を行う場面における、当該ユーザの端末装置１０とサーバ２０の動作について説明する。各対話相手の端末装置１０の動作については、当該ユーザの端末装置１０と同様であるため、説明は省略する。

ステップＳ１００：端末装置１０の制御部１５は、カメラ部１３を用いてユーザのカメラ画像を生成し、通信部１１を介してサーバ２０へ送信する。

上述したようにカメラ画像は、カメラ部１３に含まれる少なくとも１組の可視光カメラ及び深度カメラによって生成された可視光画像及び深度画像である。ここでは、ユーザの顔を正面から撮影した１組の可視光画像及び深度画像を少なくとも含むカメラ画像が生成されるものとする。

ステップＳ１０１：サーバ２０の制御部２３は、ユーザの各対話相手の端末装置１０から受信した各対話相手のカメラ画像に基づいて第１オブジェクト情報を生成し、通信部２１を介してユーザの端末装置１０へ送信する。

第１オブジェクト情報は、ユーザの端末装置１０の画面に表示する各第１オブジェクトの生成に用いられる任意の情報を含む。例えば、第１オブジェクト情報は、各対話相手のカメラ画像そのものを含んでもよく、各対話相手のカメラ画像から人物に相当する部分のみをトリミングしたデータを含んでもよい。

なお制御部２３は、例えば遠隔対話の何れかの参加者（ここでは、ユーザ又は対話相手Ａ～Ｃの何れか）の端末装置１０から、例えば遠隔対話中の共有資料としてテキスト及び／又は画像を事前に受信した場合、第１オブジェクト情報に加えて第２オブジェクト情報を生成し、ユーザの端末装置１０へ送信してもよい。第２オブジェクト情報はユーザの端末装置１０の画面に表示する第２オブジェクトの生成に用いられる任意の情報（例えば、共有資料として受信したテキスト及び／又は画像）を含む。

ステップＳ１０２：端末装置１０の制御部１５は、サーバ２０から受信した第１オブジェクト情報に基づいて各対話相手の顔を示す第１オブジェクトを生成し、表示部１２の画面に表示する。また制御部１５は、サーバ２０から第２オブジェクト情報を受信した場合、第１オブジェクトに加えて第２オブジェクトも生成し、表示部１２の画面に表示する。

具体的には、制御部１５は、第１オブジェクト情報に各対話相手のカメラ画像そのものが含まれる場合、各対話相手のカメラ画像から人物に相当する部分のみをトリミングする。制御部１５は、各対話相手の深度画像から対話相手の顔の形状を示す３Ｄモデルを生成し、可視光画像を当該３Ｄモデルにテクスチャマッピングすることによって、各対話相手の顔を示す第１オブジェクトを生成する。そして制御部１５は、生成した各第１オブジェクトを表示部１２の画面に表示する。また制御部１５は、第２オブジェクト情報に含まれるテキスト及び／又は画像を示す第２オブジェクトを生成し、表示部１２の画面に表示する。

図６を参照して、システム１の第２動作について説明する。概略として第２動作は、端末装置１０の画面上の各オブジェクトの向き及び配置を制御する動作であって、遠隔対話の実行中に、上述した第１動作と並行して実行される。ここでは、ユーザが３人の対話相手Ａ～Ｃと遠隔対話を行う場面における、当該ユーザの端末装置１０とサーバ２０の動作について説明する。各対話相手の端末装置１０の動作については、当該ユーザの端末装置１０と同様であるため、説明は省略する。

ステップＳ２００：端末装置１０の制御部１５は、ユーザが注視している画面上のオブジェクトを、当該ユーザの注視オブジェクトとして検出する。

具体的には、制御部１５は、上述した第１動作のステップＳ１００で生成された、ユーザの顔のカメラ画像に基づいて、ユーザの視線を検出する。視線の検出には、任意の手法が採用可能である。例えば、制御部１５は、特徴点抽出又はパターンマッチング等の画像認識によって、カメラ画像に含まれる可視光画像上のユーザの顔の向き並びに眼及び瞳の位置を検出してもよい。

そして制御部１５は、検出された顔の向き並びに眼及び瞳の位置に基づいてユーザの視線を検出する。なお、検出される視線は３次元ベクトルで示されてもよい。続いて制御部１５は、ユーザの視線が向けられている画面上のオブジェクトを特定し、当該オブジェクトをユーザの注視オブジェクトとして検出する。ここで制御部１５は、ユーザが画面上のオブジェクトを注視している状態が所定時間継続すると、当該オブジェクトをユーザの注視オブジェクトとして検出してもよい。かかる構成によれば、例えばユーザが注視しているオブジェクトから一瞬だけ視線をずらした場合に、当該オブジェクトが注視オブジェクトではなくなってしまったり、注視オブジェクトが頻繁に切り替わったりするという不都合の発生が低減される。

ステップＳ２０１：制御部１５は、ユーザの注視オブジェクトを示す情報を、通信部１１を介してサーバ２０へ送信する。

ステップＳ２０２：サーバ２０の制御部２３は、ユーザの各対話相手の端末装置１０から受信した各対話相手の注視オブジェクトを示す情報を、通信部２１を介してユーザの端末装置１０へ送信する。

ステップＳ２０３：端末装置１０の制御部１５は、表示部１２の画面において、第１条件及び第２条件を満たすように、画面上の各第１オブジェクトの向き及び複数のオブジェクトの配置を制御する。

ここで第１条件は、上述したように、各対話相手の視線が注視オブジェクトに向けられるという条件である。例えば、３人の対話相手Ａ～Ｃのうち、対話相手Ａ及びＢそれぞれの注視オブジェクトが対話相手Ｃの第１オブジェクトであり、対話相手Ｃの注視オブジェクトがユーザの第１オブジェクトであるものとする。かかる場合、制御部１５は、第１条件を満たすために、対話相手Ａ及びＢそれぞれの視線が対話相手Ｃに向けられ、且つ対話相手Ｃの視線がユーザ（具体的には、画面正面）に向けられるように、画面上の対話相手Ａ～Ｃそれぞれの第１オブジェクトの向きを制御する。

第２条件は、上述したように、各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという条件である。例えば図２に示す画面において、対話相手Ｂが位置Ｐに存在している場合、対話相手Ａの視線上には、注視オブジェクトである対話相手Ｃ以外のオブジェクト（ここでは、対話相手Ｂ）が存在している。かかる場合、制御部１５は、第２条件を満たすために、例えば対話相手Ｂを位置Ｐから下方の位置Ｑに移動させて対話相手Ａの視線上から対話相手Ｂを外すように、画面上の複数のオブジェクトの配置を制御する。

なお、制御部１５は、画面上の複数のオブジェクトの配置を制御する際、上述した第１条件及び第２条件に加えて、画面上の複数のオブジェクトの配置変更に伴う総移動量に関する第３条件を満たすように、複数のオブジェクトの配置を制御してもよい。例えば、第３条件は、配置変更に伴う画面上の複数のオブジェクトの総移動量を最小とするという条件であってもよい。かかる構成によれば、配置変更の際、例えばユーザの注視オブジェクトが比較的大きく動いてしまい視認性が低下するという不都合の発生が低減される。なおオブジェクトの移動量は、例えば画面上の移動量であってもよい。或いは、遠隔対話中に表示される画面が、各オブジェクトが配置された３次元仮想空間を示す画面である場合、オブジェクトの移動量は、当該仮想空間内の移動量であってもよい。例えば図７に示す画面は、対話相手Ａ～Ｃの第１オブジェクトが配置された３次元仮想空間を示す画面であって、図２に示す画面とは異なり対話相手Ｂが画面奥方向に移動されている。

以上述べたように、本実施形態に係る端末装置１０は、自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示し、ユーザが注視している画面上のオブジェクトを、ユーザの注視オブジェクトとして検出する。端末装置１０は、ユーザの注視オブジェクトを示す情報をサーバ２０へ送信するとともに、各対話相手の注視オブジェクトを示す情報をサーバ２０から受信する。そして端末装置１０は、当該画面において、各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各第１オブジェクトの向き及び複数のオブジェクトの配置を制御する。

かかる構成によれば、ユーザの端末装置１０の画面上で、各対話相手の視線が遮られることなく注視オブジェクトに向けられる。このため、ユーザが各対話相手の注視オブジェクトを画面から一見して認識可能となる点で、通信回線を用いて遠隔対話サービスを提供する技術が改善される。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上述した実施形態において、端末装置１０又はサーバ２０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また例えば、端末装置１０及びサーバ２０の一方が実行する一部の処理を他方が実行する実施形態も可能である。例えば、上述した実施形態では端末装置１０の画面に表示するオブジェクトを生成する処理（ステップＳ１０２）、及び端末装置１０の画面上の各第１オブジェクトの向き及び複数のオブジェクトの配置を制御する処理（ステップＳ２０３）を端末装置１０が実行するが、サーバ２０が当該処理を実行し、処理結果を端末装置１０へ送信してもよい。

また、例えば汎用のコンピュータを、上述した実施形態に係る端末装置１０又はサーバ２０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る端末装置１０又はサーバ２０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
［付記１］
遠隔対話サービスを提供するサーバと通信する端末装置が実行する方法であって、
自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御すること
を含む、方法。
［付記２］
付記１に記載の方法であって、
前記端末装置は、前記複数のオブジェクトの配置を制御する際、前記第１条件、前記第２条件、及び前記複数のオブジェクトの配置変更に伴う総移動量に関する第３条件を満たすように、前記複数のオブジェクトの配置を制御する、方法。
［付記３］
付記２に記載の方法であって、
前記第３条件は、配置変更に伴う前記複数のオブジェクトの総移動量を最小とする条件である、方法。
［付記４］
付記１から３の何れか一項に記載の方法であって、
前記端末装置は、前記ユーザの注視オブジェクトを検出する際、前記ユーザが前記画面上のオブジェクトを注視している状態が所定時間継続すると、前記オブジェクトを前記ユーザの注視オブジェクトとして検出する、方法。
［付記５］
付記１から４の何れか一項に記載の方法であって、
前記複数のオブジェクトは、前記各対話相手である他のユーザの顔を示す前記第１オブジェクトと、テキスト及び画像の少なくとも一方を示す第２オブジェクトと、を含む、方法。
［付記６］
遠隔対話サービスを提供するサーバと通信する端末装置に、
自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御すること
を実行させる、プログラム。
［付記７］
遠隔対話サービスを提供するサーバと通信する通信部と、画面を表示する表示部と、自装置のユーザの顔の画像を生成するカメラ部と、制御部と、を備える端末装置であって、
前記制御部は、
前記ユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示させ、
前記画像に基づき前記ユーザが注視していると判定された前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出し、
前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信し、
前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信し、
前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御する、端末装置。

１ システム
１０ 端末装置
１１ 通信部
１２ 表示部
１３ カメラ部
１４ 記憶部
１５ 制御部
２０ サーバ
２１ 通信部
２２ 記憶部
２３ 制御部
３０ 通信回線

Claims (7)

1. 遠隔対話サービスを提供するサーバと通信する端末装置が実行する方法であって、
   自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
   前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
   前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
   前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
   前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御すること
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記端末装置は、前記複数のオブジェクトの配置を制御する際、前記第１条件、前記第２条件、及び前記複数のオブジェクトの配置変更に伴う総移動量に関する第３条件を満たすように、前記複数のオブジェクトの配置を制御する、方法。
3. 請求項２に記載の方法であって、
   前記第３条件は、配置変更に伴う前記複数のオブジェクトの総移動量を最小とする条件である、方法。
4. 請求項１から３の何れか一項に記載の方法であって、
   前記端末装置は、前記ユーザの注視オブジェクトを検出する際、前記ユーザが前記画面上のオブジェクトを注視している状態が所定時間継続すると、前記オブジェクトを前記ユーザの注視オブジェクトとして検出する、方法。
5. 請求項１から３の何れか一項に記載の方法であって、
   前記複数のオブジェクトは、前記各対話相手である他のユーザの顔を示す前記第１オブジェクトと、テキスト及び画像の少なくとも一方を示す第２オブジェクトと、を含む、方法。
6. 遠隔対話サービスを提供するサーバと通信する端末装置に、
   自装置のユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示すること、
   前記ユーザが注視している前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出すること、
   前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信すること、
   前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信すること、
   前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御すること
   を実行させる、プログラム。
7. 遠隔対話サービスを提供するサーバと通信する通信部と、画面を表示する表示部と、自装置のユーザの顔の画像を生成するカメラ部と、制御部と、を備える端末装置であって、
   前記制御部は、
   前記ユーザの各対話相手である他のユーザの顔を示す第１オブジェクトを含む複数のオブジェクトを画面に表示させ、
   前記画像に基づき前記ユーザが注視していると判定された前記画面上のオブジェクトを前記ユーザの注視オブジェクトとして検出し、
   前記ユーザの注視オブジェクトを示す情報を前記サーバへ送信し、
   前記各対話相手の注視オブジェクトを示す情報を前記サーバから受信し、
   前記画面において、前記各対話相手の視線が注視オブジェクトに向けられるという第１条件、及び前記各対話相手の視線上に注視オブジェクト以外のオブジェクトが存在しないという第２条件を満たすように、各前記第１オブジェクトの向き及び前記複数のオブジェクトの配置を制御する、端末装置。

Images