JP2024030610A - アバター制御装置、アバター制御方法、及びアバター制御プログラム - Google Patents

Abstract

【課題】描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターを生成するよう制御することができるアバター制御装置を提供する。【解決手段】アバター制御装置１０３は、アバター動き設定部４及びアバター生成部７を備える。アバター生成部７は、各ユーザに対応するアバターを描画して各アバターを生成する。アバター動き設定部４は、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて、各アバターの動きを設定する。アバター動き設定部４は、動きが所定の大きさ以下であるアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態に設定する。【選択図】図１

Description

本発明は、アバター制御装置、アバター制御方法、及びアバター制御プログラムに関する。

近年、プロセッサの処理が高速化することに伴って、仮想現実（ＶＲ）空間において、各ユーザが、各ユーザに対応して生成されたアバターを動かしたり、アバターどうしを交流させたりすることが行われている（特許文献１参照）。典型的には、アバターを制御するサーバと各ユーザが所持するユーザ端末とがネットワークを介して互いに通信することにより、各ユーザに対応するアバターが生成される。

特開２００９－１７２２３９号公報

プロセッサの処理が高速化してはいるものの、各ユーザに対応するアバターを描画するための描画負荷が過大となったり、サーバとユーザ端末との間の通信負荷が過大となったりすることがある。すると、アバターが不用意に停止したり、ユーザの動きに追従しなくなったりして、アバターの動きが不自然になり、ユーザは違和感を覚えてしまう。

本発明は、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターを生成するよう制御することができるアバター制御装置、アバター制御方法、及びアバター制御プログラムを提供することを目的とする。

本発明は、各ユーザに対応するアバターを描画して各アバターを生成するアバター生成部と、前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定するアバター動き設定部とを備え、前記アバター動き設定部は、動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定するアバター制御装置を提供する。

本発明は、各ユーザに対応するアバターを描画して各アバターを生成し、前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定し、動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定するアバター制御方法を提供する。

本発明は、コンピュータに、各ユーザに対応するアバターを描画して各アバターを生成するステップと、前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定するステップと、動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定するステップとを実行させるアバター制御プログラムを提供する。

本発明のアバター制御装置、アバター制御方法、及びアバター制御プログラムによれば、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターを生成するよう制御することができる。

図１は、第１実施形態に係るアバター制御装置を示すブロック図である。 図２は、ユーザの動きの一例を示す図である。 図３は、ユーザが図２のように動くときの骨格的な動きを示す図である。 図４は、ユーザが図２のように動くときの骨格的な動きを示す骨格動き信号を示す概念図である。 図５は、ユーザが図２のように動くときのアバターの動きを示す図である。 図６は、トラッキング外れが発生したときの骨格動き信号の変化を示す概念図である。 図７Ａは、自己のアバターを見ている他のアバターが１体のみである状態を示す図である。 図７Ｂは、自己のアバターを見ている他のアバターが４体である状態を示す図である。 図８は、第１実施形態に係るアバター制御装置の動作、第１実施形態に係るアバター制御方法、及び第１実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を示すフローチャートである。 図９は、第２実施形態に係るアバター制御装置を示すブロック図である。 図１０は、第２実施形態に係るアバター制御装置の動作、第２実施形態に係るアバター制御方法、及び第２実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を示すフローチャートである。 図１１は、第３実施形態に係るアバター制御装置の動作、第３実施形態に係るアバター制御方法、及び第３実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を示すフローチャートである。

以下、各実施形態に係るアバター制御装置、アバター制御方法、及びアバター制御プログラムについて、添付図面を参照して説明する。

＜第１実施形態＞
図１に示すように、アバター制御サーバ１０ａとユーザ端末２０ａ～２０ｃがネットワーク５０を介して接続されている。ユーザ端末２０ａ～２０ｃのいずれかを特定しないユーザ端末、及び図示していない他の任意のユーザ端末をユーザ端末２０と称することとする。ネットワーク５０を介してアバター制御サーバ１０ａに接続されているユーザ端末２０の数は、１またはそれ以上の任意の数である。典型的には、ネットワーク５０はインターネットである。

アバター制御サーバ１０ａはアバター制御装置１０１を備える。アバター制御装置１０１は、通信部１、動き検出部２、トラッキング外れ検出部３、アバター動き設定部４、特定姿勢データ保持部５、アバター制御信号生成部６、アバター生成部７、レンダリング部８、制御部９、アバター位置制御部１１、アバター・背景設定部１２を備える。各ユーザ端末２０は、動きセンサ２１、制御部２２、操作部２３、通信部２４、画像表示部２５を備える。アバター生成部７は演算部７１を含む。

通信部１は、インターネットプロトコル等の通信プロトコルを採用してユーザ端末２０と通信する通信回路で構成することができる。通信部１以外のアバター制御装置１０１は、プロセッサ及びメモリを含むコンピュータで構成することができる。特定姿勢データ保持部５及びアバター・背景設定部１２はコンピュータのメモリで構成することができる。アバター制御装置１０１の通信部１、特定姿勢データ保持部５、及びアバター・背景設定部１２以外の部分はコンピュータのプロセッサで構成することができる。

ユーザ端末２０ａを所持しているユーザは、図２に示すユーザＵ１であるとする。動きセンサ２１はＴＯＦ（Time Of Flight）センサまたはカメラである。動きセンサ２１がＴＯＦセンサであるとき、動きセンサ２１はユーザＵ１に光または超音波を照射して光または超音波が戻ってくるまでの時間を計測して、ユーザＵ１がどのような姿勢であるかユーザＵ１がどのように動いているかを示す、ユーザＵ１の動き（姿勢を含む）に対応する動き検出信号を生成する。

動きセンサ２１は、ユーザＵ１の体の複数の箇所に装着された加速度センサまたはジャイロセンサ等のセンサであってもよい。動きセンサ２１はユーザＵ１の体の動きまたは姿勢を検出できればよく、どのようなセンサであってもよい。

動きセンサ２１がカメラであるとき、動きセンサ２１はユーザＵ１を撮影してユーザＵ１の動き（姿勢を含む）に対応する動き検出信号を生成する。動きセンサ２１としてカメラを用いるとき、カメラはユーザＵ１を２次元的に撮影するカメラまたは３次元的に撮影するステレオカメラである。動きセンサ２１としてステレオカメラを用いる方が、ユーザＵ１を立体的に撮影することができるので好ましい。動きセンサ２１より出力された動き検出信号は、制御部２２、通信部２４、ネットワーク５０を介して、アバター制御サーバ１０ａへと送信される。

通信部１は動き検出信号を受信して動き検出部２に供給する。動き検出部２は、入力された動き検出信号に基づいて、ユーザＵ１の複数の関節の位置及び体の特定の部位の位置を検出して、ユーザＵ１がどのような姿勢であるかユーザＵ１がどのように動いているかを示す、ユーザＵ１の骨格的な動きを示す骨格動き信号を生成する。骨格動き信号はユーザＵ１の体の動きを示す体動き信号の一例である。図２に示すように、ユーザＵ１は、立っていて両手を下ろしているポーズＰ１から、右腕を曲げて左腕を上方に突き上げたポーズＰ２へと移行させたとする。図３に示すように、動き検出部２は、ポーズＰ１に対応する骨格的姿勢Ｑ１及びポーズＰ２に対応する骨格的姿勢Ｑ２を含む骨格動き信号を生成する。

図３では図示していないが、動き検出部２は、ポーズＰ１からポーズＰ２までの途中の骨格動き信号を生成する。図４に示す骨格的姿勢Ｑ１から骨格的姿勢Ｑ２へと変化する骨格動き信号は、トラッキング外れ検出部３及びアバター動き設定部４に供給される。

ユーザ端末２０が動き検出部２に相当する構成を備えてもよい。この場合、ユーザ端末２０の通信部２４は、各ユーザの骨格動き信号をアバター制御サーバ１０ａに送信し、アバター制御サーバ１０ａの通信部１は骨格動き信号を受信する。受信した骨格動き信号は、トラッキング外れ検出部３及びアバター動き設定部４に供給される。

トラッキング外れ検出部３は、骨格動き信号が入力されなくなると、動きセンサ２１がユーザＵ１の動きに対応する動き検出信号を生成しなくなった状態であるトラッキング外れが発生したことを検出する。トラッキング外れ検出部３は、トラッキング外れが発生したことを検出すると、アバター動き設定部４にトラッキング外れが発生したことを通知する。トラッキング外れ検出部３は、骨格動き信号が通常ではあり得ない異常な動きを示すときもトラッキング外れが発生したと検出してもよい。例えば、ユーザＵ１の体の一部がＴＯＦセンサまたはカメラから外れた場合には、骨格動き信号が異常な動きを示すことがある。

アバター動き設定部４は、トラッキング外れが発生したことが通知されていなければ、アバターに骨格動き信号に応じた動きをさせるようアバター制御信号生成部６に指示する。アバター制御信号生成部６は、アバターＡｖに骨格動き信号に応じた動きをさせるよう制御するアバター制御信号を生成してアバター生成部７に供給する。

アバター生成部７の演算部７１は、骨格動き信号に応じた動きをするアバターを描画してアバターを生成する。アバター・背景設定部１２には、アバター生成部７がどのような形態のアバターを生成するのかが設定されている。アバター・背景設定部１２に設定されているアバターの形態が、図５に示すような人間の体を模した形態であるとする。アバター・背景設定部１２には、人間の体の部位とアバターのどの部位が対応するのかの対応関係も設定されている。

従って、アバター生成部７は、図５に示すように、図３に示す骨格的姿勢Ｑ１から骨格的姿勢Ｑ２への変化に対応して、ポーズＰａｖ１からポーズＰａｖ２へと変化するアバターＡｖ１を生成する。アバターＡｖ１を含む任意のアバターをアバターＡｖと称することとする。

ユーザがユーザ端末２０によって、アバター・背景設定部１２にアバターＡｖの形態をアップロードするように構成されていてもよい。アバター・背景設定部１２にアバターＡｖの複数の形態が設定されており、ユーザがいずれかの形態を選択可能に構成されていてもよい。

アバター・背景設定部１２には、アバターＡｖが位置して移動する３次元的な仮想空間を決める背景データが設定されている。アバターＡｖが２次元の画像であれば、背景データは２次元の画像データであってもよい。レンダリング部８は、アバター・背景設定部１２から背景データを取得し、背景データに基づく仮想空間内にアバターＡｖを位置させるようレンダリングする。

ユーザは、ユーザ端末２０における操作部２３を操作して仮想空間内でアバターＡｖを移動させるよう操作することができる。ユーザ端末２０の制御部２２は、操作部２３の操作に応じてアバターＡｖを移動させる移動制御信号を生成する。移動制御信号は、通信部２４、ネットワーク５０を介して、アバター制御サーバ１０ａへと送信される。アバター制御サーバ１０ａの通信部１は移動制御信号を受信し、制御部９は移動制御信号をアバター位置制御部１１に供給する。アバター位置制御部１１は、仮想空間内のアバターＡｖを移動制御信号に従って移動させるようレンダリング部８を制御する。

以上のようにして、アバター制御サーバ１０ａは、各ユーザ端末２０のユーザに対応するアバターＡｖを生成して仮想空間内に位置させたレンダリング画像を生成する。通信部１はレンダリング画像を各ユーザ端末２０に送信する。通信部２４はレンダリング画像を受信し、制御部２２はレンダリング画像を画像表示部２５に表示するよう制御する。ユーザは、画像表示部２５に表示されているレンダリング画像を見ながら、自分自身の姿勢を変化させてアバターＡｖの姿勢を変化させたり、仮想空間内でアバターＡｖを移動させたりすることができる。

ここで、トラッキング外れ検出部３がトラッキング外れを検出したときのアバター制御サーバ１０ａの動作を説明する。特定姿勢データ保持部５には、アバターＡｖを静止状態または特定の動きとするための特定姿勢データが保持されている。一例として、特定姿勢データ保持部５には、特定姿勢データとして、図６に示す静止状態の骨格的姿勢Ｑ０に相当する姿勢データが保持されている。ここでは、静止状態の骨格的姿勢Ｑ０を図４に示す骨格的姿勢Ｑ１と同じ骨格的姿勢としている。アバターＡｖを特定の動きとする特定姿勢データは、例えば骨格的姿勢Ｑ０の一部の部位が周期的に変化するような骨格的姿勢の姿勢データとすればよい。

図６に示すように、動き検出部２が骨格的姿勢Ｑ１１に相当する骨格動き信号を生成した時点でトラッキング外れが発生したとする。アバター動き設定部４は、トラッキング外れ検出部３からトラッキング外れが発生したことを通知されると、アバターＡｖを、トラッキング外れ時の骨格的姿勢Ｑ１１に代えて静止状態の骨格的姿勢Ｑ０（または特定の動きの骨格的姿勢）に応じた姿勢をさせるようアバター制御信号生成部６に指示する。このとき、動き検出部２は、骨格的姿勢Ｑ１１から骨格的姿勢Ｑ０に即座に移行させるのではなく、骨格的姿勢Ｑ１１と骨格的姿勢Ｑ０との間の骨格的姿勢である骨格的姿勢Ｑ１２及びＱ１３と順に変化させて、骨格的姿勢Ｑ０に移行させるのがよい。

アバター動き設定部４は、静止状態の骨格的姿勢Ｑ０とするよう制御するユーザ端末２０と、特定の動きの骨格的姿勢とするよう制御するユーザ端末２０とを設けてもよい。アバター動き設定部４は、ユーザ端末２０に割り当てられているＩＤが奇数であるか偶数であるかによって、静止状態の骨格的姿勢Ｑ０とするか特定の動きの骨格的姿勢とするかを選択してもよい。アバター動き設定部４は、自己のアバターＡｖを見ている他のアバターＡｖの数が多い場合には特定の動きの骨格的姿勢を選択し、少ない場合には静止状態の骨格的姿勢Ｑ０を選択してもよい。

アバター動き設定部４は、トラッキング外れが発生する直前のアバターＡｖの動きが大きければ特定の動きの骨格的姿勢を選択し、小さければ静止状態の骨格的姿勢Ｑ０を選択してもよい。特定姿勢データ保持部５に、複数の特定の動きとするための特定姿勢データが保持されていてもよい。アバター動き設定部４は、トラッキング外れが発生する直前のアバターＡｖの動きに応じて、複数の特定の動きの骨格的姿勢のうちからいずれかの特定の動きの骨格的姿勢を選択してもよい。ユーザが、静止状態の骨格的姿勢Ｑ０と特定の動きの骨格的姿勢とを選択してもよい。

ところで、ネットワーク５０を介してアバター制御サーバ１０ａに接続されているユーザ端末２０の数が過度に多くなると、アバター生成部７が各ユーザに対応するアバターＡｖを描画するための描画負荷が過大となったり、アバター制御サーバ１０ａとユーザ端末２０との間の通信負荷が過大となったりする。そこで、第１実施形態においては、描画負荷及び通信負荷を軽減するために、アバター制御装置１０１を以下のように構成している。

制御部９は、通信部１が通信するユーザ端末２０の数を取得する。制御部９は、アバター制御サーバ１０ａに接続されたユーザ端末２０の数が所定の数を超えるとき、少なくとも一部のユーザ端末２０に、動き検出信号（または骨格動き信号）をアバター制御サーバ１０ａに送信しないように指示する指示信号を送信する。指示信号を取得して、動き検出信号をアバター制御サーバ１０ａに送信しないように指示されたユーザ端末２０は、アバター制御サーバ１０ａへの動き検出信号の送信を停止する。従って、アバター制御サーバ１０ａとユーザ端末２０との間の通信負荷が軽減される。

また、アバター制御サーバ１０ａへの動き検出信号の送信を停止したユーザ端末２０は、アバター制御装置１０１において上記のトラッキング外れの状態となる。アバター制御サーバ１０ａへの動き検出信号の送信を停止したユーザ端末２０のユーザに対応するアバターＡｖは、静止状態とされるか特定の動きのみをすることになる。従って、アバター生成部７における描画負荷が軽減される。

制御部９は、次のようにして動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０を選択すればよい。第１の例として、制御部９は、ユーザ端末２０に割り当てられているＩＤに基づき、動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０を選択する。例えば、制御部９は、ＩＤが奇数であるか偶数であるかによってユーザ端末２０を２つのグループに分け、一方のグループのユーザ端末２０に、動き検出信号をアバター制御サーバ１０ａに送信しないように指示する。

第２の例として、制御部９は、自己のアバターＡｖを見ている他のアバターＡｖの数が少ないアバターＡｖに対応するユーザのユーザ端末２０を、動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０として選択する。制御部９は、各アバターＡｖの仮想空間内の位置、各アバターＡｖが向いている方向を把握している。各アバターＡｖの視野は予め設定されている。

図７Ａは、自己のアバターＡｖ１０を見ている他のアバターＡｖがアバターＡｖ１１の１体のみである状態を示している。図７Ｂは、自己のアバターＡｖ１０を見ている他のアバターＡｖがアバターＡｖ１１～Ａｖ１４の４体である状態を示している。図７Ａと図７Ｂとを比較すると、動いている自己のアバターＡｖ１０が突然静止状態となったときに、他のアバターＡｖに対応するユーザに違和感を覚えさせる程度が大きいのは、他のアバターＡｖの数が多い図７Ｂの場合である。

そこで、制御部９は、自己のアバターＡｖ１０を見ている他のアバターＡｖが１体も存在しないアバターＡｖに対応するユーザのユーザ端末２０を、動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０として最優先に選択する。制御部９は、選択したユーザ端末２０を除いてもなおアバター制御サーバ１０ａに接続されたユーザ端末２０の数が上記の所定の数を超えるとき、自己のアバターＡｖ１０を見ている他のアバターＡｖがより少ないアバターＡｖに対応するユーザのユーザ端末２０を選択する。

制御部９は、選択したユーザ端末２０を除いて、アバター制御サーバ１０ａに接続されたユーザ端末２０の数が上記の所定の数以下となるまで、動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０を選択すればよい。

図８に示すフローチャートを用いて、第１実施形態に係るアバター制御装置１０１の動作、第１実施形態に係るアバター制御方法、及び第１実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を説明する。図８において、アバター制御装置１０１の処理が開始されると、制御部９は、ステップＳ１にて、接続されているユーザ端末２０の数が所定の数を超えるか否かを判定する。ユーザ端末２０の数が所定の数を超えていれば（YES）、制御部９は、ステップＳ２にて、少なくとも一部のユーザ端末２０にユーザの動き検出信号の送信停止を指示して、処理をステップＳ１０に移行させる。ユーザ端末２０の数が所定の数を超えていなければ（NO）、制御部９は処理をステップＳ１０に移行させる。

ステップＳ１と並行して、トラッキング外れ検出部３は、ステップＳ３にて、トラッキングが外れたユーザ端末が存在するか否かを判定する。トラッキングが外れたユーザ端末２０が存在すれば（YES）、トラッキング外れ検出部３は、ステップＳ４にて、該当するユーザ端末２０のユーザに対応するアバターを静止状態とするようアバター動き設定部４に通知する。ステップＳ４に続けて、また、ステップＳ３にてトラッキングが外れたユーザ端末２０が存在しなければ（NO）、アバター動き設定部４は、ステップＳ５にて、各アバターＡｖの動きをアバター制御信号生成部６に指示する。

アバター制御信号生成部６は、ステップＳ６にて、アバター制御信号を生成する。アバター生成部７は、ステップＳ７にて、アバターＡｖを生成する。レンダリング部８は、ステップＳ８にて、仮想空間内にアバターＡｖを位置させるようレンダリングする。通信部１は、ステップＳ９にて、レンダリング画像を各ユーザ端末２０に送信する。

アバター制御装置１０１は、ステップＳ１０にて、アバター制御動作を終了するか否かを判定する。アバター制御動作を終了しなければ（NO）、アバター制御装置１０１は処理をステップＳ１及びＳ３に戻し、以降の処理を繰り返す。アバター制御動作を終了すれば（YES）、アバター制御装置１０１は処理を終了させる。

以上のように、第１実施形態に係るアバター制御装置１０１は、各ユーザに対応するアバターＡｖを描画して各アバターを生成するアバター生成部７と、アバター生成部７が生成するアバターＡｖの数に応じて、少なくとも一部のユーザの動きをアバターＡｖに反映させるか否かを設定するアバター動き設定部４とを備える。第１実施形態に係るアバター制御方法及びアバター制御プログラムは、各ユーザに対応するアバターＡｖを描画して各アバターを生成し、生成するアバターＡｖの数に応じて、少なくとも一部のユーザの動きをアバターＡｖに反映させるか否かを設定する。

従って、第１実施形態に係るアバター制御装置１０１、アバター制御方法、及びアバター制御プログラムによれば、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターＡｖを生成するよう制御することができる。

アバター動き設定部４は、ユーザの動きを反映させないアバターＡｖを、静止状態または特定の動きに設定するのがよい。

第１実施形態に係るアバター制御装置１０１は、各ユーザ端末２０とネットワーク５０を介して接続されているアバター制御サーバ１０ａに設けられている。各ユーザ端末２０は、各ユーザの動きを検出する動きセンサ２１が生成する動き検出信号またはその動き検出信号に基づいて生成された各ユーザの骨格動き信号をアバター制御サーバ１０ａに送信する。

アバター制御装置１０１は、アバター制御サーバ１０ａに接続されているユーザ端末２０の数を取得する。アバター制御装置１０１は、アバター制御サーバ１０ａに接続されているユーザ端末２０の数が所定の数を超えるとき、少なくとも一部のユーザ端末２０に、動き検出信号または骨格動き信号をアバター制御サーバ１０ａに送信しないように指示する制御部９を備える。従って、描画負荷または通信負荷が過大となることを防ぐアバター制御装置１０１を実現することができる。

＜第２実施形態＞
図９に示す第２実施形態において、第１実施形態と同一の箇所には同一の符号を付し、その説明を省略することがある。図９に示すように、アバター制御サーバ１０ｂとユーザ端末２０ｄ～２０ｆがネットワーク５０を介して接続されている。ユーザ端末２０ｄ～２０ｆのいずれかを特定しないユーザ端末、及び図示していない他の任意のユーザ端末をユーザ端末２０と称することとする。ネットワーク５０を介してアバター制御サーバ１０ｂに接続されているユーザ端末２０の数は、１またはそれ以上の任意の数である。

各ユーザ端末２０はアバター制御装置２２２を備える。各ユーザ端末２０は、第１実施形態のユーザ端末２０と異なる構成として、動き検出部２０２、トラッキング外れ検出部２０３、アバター動き設定部２０４、特定姿勢データ保持部２０５、アバター制御信号生成部２０６、アバター生成部２０７、レンダリング部２０８、記憶部２０９を備える。アバター生成部２０７は演算部２０７１を含む。アバター制御サーバ１０ｂは、通信部１、制御部９、アバター・背景設定部１２、アバター位置管理部１１０を備える。

アバター制御装置２２２は、プロセッサ及びメモリを含むコンピュータで構成することができる。特定姿勢データ保持部２０５及び記憶部２０９はコンピュータのメモリで構成することができる。アバター制御装置２２２の動きセンサ２１、操作部２３、通信部２４、画像表示部２５、特定姿勢データ保持部２０５及び記憶部２０９以外の部分はコンピュータのプロセッサで構成することができる。

動き検出部２０２は、動き検出部２と同様に、各ユーザの骨格動き信号を生成する。骨格動き信号は、トラッキング外れ検出部２０３、アバター動き設定部２０４、通信部２４に供給される。通信部２４は、骨格動き信号をアバター制御サーバ１０ｂに送信する。アバター制御サーバ１０ｂの通信部１は、各ユーザ端末２０から送信された骨格動き信号を受信する。通信部１は、制御部９による制御に従って、他の全てのユーザ端末２０から送信された骨格動き信号を各ユーザ端末２０に送信する。

図９に示す例では、通信部１は、ユーザ端末２０ｅ及び２０ｆより受信した骨格動き信号をユーザ端末２０ｄに送信する。通信部１は、ユーザ端末２０ｄ及び２０ｆより受信した骨格動き信号をユーザ端末２０ｅに送信する。通信部１は、ユーザ端末２０ｄ及び２０ｅより受信した骨格動き信号をユーザ端末２０ｆに送信する。

トラッキング外れ検出部２０３は、自己のユーザ端末２０における動き検出部２０２より供給される骨格動き信号、及び他のユーザ端末２０における動き検出部２０２が生成した骨格動き信号に基づいて、各ユーザ端末２０におけるトラッキング外れの有無を検出する。トラッキング外れ検出部２０３は、いずれかのユーザ端末２０においてトラッキング外れが発生したことを検出すると、アバター動き設定部２０４にトラッキング外れが発生したことを通知する。

アバター動き設定部２０４は、トラッキング外れが発生したことが通知されていなければ、アバターＡｖに骨格動き信号に応じた動きをさせるようアバター制御信号生成部２０６に指示する。アバター制御信号生成部２０６は、アバターＡｖに骨格動き信号に応じた動きをさせるよう制御するアバター制御信号を生成してアバター生成部２０７に供給する。アバター生成部２０７の演算部２０７１は、骨格動き信号に応じた動きをするアバターＡｖを描画してアバターＡｖ生成する。

アバター制御サーバ１０ｂのアバター・背景設定部１２に設定されているアバターＡｖの形態を示す情報、人間の体の部位とアバターＡｖのどの部位が対応するのかの対応関係を示す情報、背景データは、各ユーザ端末２０に送信されて記憶部２０９に記憶される。レンダリング部８は、記憶部２０９から背景データを取得し、背景データに基づく仮想空間内にアバターＡｖを位置させるようレンダリングする。

各ユーザ端末２０の制御部２２は、操作部２３の操作に応じてアバターＡｖを移動させる移動制御信号を生成する。制御部２２は、自己のユーザ端末２０のユーザに対応するアバターＡｖを仮想空間内で移動制御信号に従って移動させるようレンダリング部２０８を制御する。移動制御信号は、アバター制御サーバ１０ｂに送信される。アバター位置管理部１１０は、全てのユーザ端末２０からの移動制御信号を取得して、各アバターＡｖの仮想空間内での位置を管理する。

通信部１は、制御部９による制御に従って、他の全てのユーザ端末２０から送信された移動制御信号を各ユーザ端末２０に送信する。図９に示す例では、通信部１は、ユーザ端末２０ｅ及び２０ｆより受信した移動制御信号をユーザ端末２０ｄに送信する。通信部１は、ユーザ端末２０ｄ及び２０ｆより受信した移動制御信号をユーザ端末２０ｅに送信する。通信部１は、ユーザ端末２０ｄ及び２０ｅより受信した移動制御信号をユーザ端末２０ｆに送信する。制御部２２は、他のユーザ端末２０のユーザに対応するアバターＡｖを仮想空間内で移動制御信号に従って移動させるようレンダリング部２０８を制御する。

画像表示部２５は、レンダリング部２０８が生成したレンダリング画像を表示する。ユーザは、画像表示部２５に表示されているレンダリング画像を見ながら、自分自身の姿勢を変化させてアバターＡｖの姿勢を変化させたり、仮想空間内でアバターＡｖを移動させたりすることができる。

特定姿勢データ保持部２０５には、アバターＡｖを静止状態または特定の動きとするための特定姿勢データが保持されている。トラッキング外れ検出部２０３がトラッキング外れを検出したときのアバター動き設定部２０４の動作はアバター動き設定部４と同様である。

第２実施形態においては、描画負荷及び通信負荷を軽減するために、アバター制御サーバ１０ｂを以下のように構成している。制御部９は、アバター制御サーバ１０ｂに接続されていて、通信部１が通信するユーザ端末２０の数を取得する。制御部９は、アバター制御サーバ１０ｂに接続されているユーザ端末２０の数が所定の数を超えるとき、少なくとも一部のユーザ端末２０に、骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示する指示信号を送信する。指示信号を取得して、骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示されたユーザ端末２０は、アバター制御サーバ１０ｂへの骨格動き信号の送信を停止する。従って、アバター制御サーバ１０ｂとユーザ端末２０との間の通信負荷が軽減される。

また、アバター制御サーバ１０ｂへの骨格動き信号の送信を停止したユーザ端末２０のユーザに対応するアバターＡｖは、他のユーザ端末２０においてトラッキング外れの状態となる。アバター制御サーバ１０ｂへの骨格動き信号の送信を停止したユーザ端末２０のユーザに対応するアバターＡｖは、静止状態とされるか特定の動きのみをすることになる。従って、アバター生成部２０７における描画負荷が軽減される。

制御部９が、骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示するユーザ端末２０の選択の仕方は、第１実施形態における動き検出信号をアバター制御サーバ１０ａに送信しないように指示するユーザ端末２０の選択の仕方と同様でよい。

図１０に示すフローチャートを用いて、第２実施形態に係るアバター制御装置２２２の動作、第２実施形態に係るアバター制御方法、及び第２実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を説明する。図１０において、アバター制御装置２２２の処理が開始されると、制御部２２は、ステップＳ２１にて、骨格動き信号の送信停止を指示されたか否かを判定する。骨格動き信号の送信停止を指示されていれば（YES）、通信部２４は、ステップＳ２２にて、骨格動き信号の送信を停止して、制御部２２は処理をステップＳ２１０に移行させる。骨格動き信号の送信停止を指示されてなければ（NO）、制御部２２は処理をステップＳ２１０に移行させる。

ステップＳ２１と並行して、トラッキング外れ検出部２０３は、ステップＳ２３にて、トラッキングが外れたユーザ端末が存在するか否かを判定する。トラッキングが外れたユーザ端末２０が存在すれば（YES）、トラッキング外れ検出部２０３は、ステップＳ２４にて、該当するユーザ端末２０のユーザに対応するアバターを静止状態とするようアバター動き設定部２０４に通知する。ステップＳ２４に続けて、また、ステップＳ２３にてトラッキングが外れたユーザ端末２０が存在しなければ（NO）、アバター動き設定部２０４は、ステップＳ２５にて、各アバターＡｖの動きをアバター制御信号生成部２０６に指示する。

アバター制御信号生成部２０６は、ステップＳ２６にて、アバター制御信号を生成する。アバター生成部２０７は、ステップＳ２７にて、アバターＡｖを生成する。レンダリング部２０８は、ステップＳ２８にて、仮想空間内にアバターＡｖを位置させるようレンダリングする。画像表示部２５は、ステップＳ２９にて、レンダリング画像を表示する。

アバター制御装置２２２は、ステップＳ２１０にて、アバター制御動作を終了するか否かを判定する。アバター制御動作を終了しなければ（NO）、アバター制御装置２２２は処理をステップＳ２１及びＳ２３に戻し、以降の処理を繰り返す。アバター制御動作を終了すれば（YES）、アバター制御装置２２２は処理を終了させる。

以上のように、第２実施形態に係るアバター制御装置２２２は、各ユーザに対応するアバターＡｖを描画して各アバターを生成するアバター生成部２０７と、アバター生成部２０７が生成するアバターＡｖの数に応じて、少なくとも一部のユーザの動きをアバターＡｖに反映させるか否かを設定するアバター動き設定部２０４とを備える。第２実施形態に係るアバター制御方法及びアバター制御プログラムは、各ユーザに対応するアバターＡｖを描画して各アバターを生成し、生成するアバターＡｖの数に応じて、少なくとも一部のユーザの動きをアバターＡｖに反映させるか否かを設定する。

従って、第２実施形態に係るアバター制御装置２２２、アバター制御方法、及びアバター制御プログラムによれば、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターＡｖを生成するよう制御することができる。

アバター動き設定部２０４は、ユーザの動きを反映させないアバターＡｖを、静止状態または特定の動きに設定するのがよい。

第２実施形態に係るアバター制御装置２２２は、各ユーザ端末２０に設けられている。各ユーザ端末２０は、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて生成された各ユーザの骨格動き信号をアバター制御サーバ１０ｂに送信する。各ユーザ端末２０のアバター制御装置２２２は、自己のユーザ端末２０以外の他のユーザ端末２０が生成した骨格動き信号をアバター制御サーバ１０ｂから取得する。

アバター制御サーバ１０ｂは、アバター制御サーバに１０ｂに接続されているユーザ端末２０の数が所定の数を超えるとき、少なくとも一部のユーザ端末２０に骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示する指示信号を送信する。従って、少なくとも一部のユーザ端末２０のアバター制御装置２２２は、アバター制御サーバ１０ｂから送信された指示信号を取得する。

アバター制御装置２２２は、指示信号を取得すると、骨格動き信号をアバター制御サーバ１０ｂに送信しないよう制御する制御部２２を備える。従って、第２実施形態によれば、描画負荷または通信負荷が過大となることを防ぐアバター制御装置２２２を実現することができる。

＜第３実施形態＞
図１に示すように、アバター制御サーバ１０ａは、アバター制御装置１０１と同様の構成を有する第３実施形態に係るアバター制御装置１０３を備える。図１１に示すフローチャートを用いて、第３実施形態に係るアバター制御装置１０３の動作、第３実施形態に係るアバター制御方法、及び第３実施形態に係るアバター制御プログラムがコンピュータに実行させる処理を説明する。

図１１において、アバター制御装置１０３の処理が開始されると、制御部９は、ステップＳ３１にて、接続されているユーザ端末２０の数が所定の数を超えるか否かを判定する。ユーザ端末２０の数が所定の数を超えていれば（YES）、制御部９は、ステップＳ３２にて、動きが所定の大きさ以下であるアバターに対応するユーザのユーザ端末２０に動き検出信号の送信停止を指示して、処理をステップＳ３１０に移行させる。ユーザ端末２０の数が所定の数を超えていなければ（NO）、制御部９は処理をステップＳ３１０に移行させる。ステップＳ３３～Ｓ３１０は、図８のステップＳ３～Ｓ１０と同じである。

第３実施形態に係るアバター制御装置１０３は、各ユーザに対応するアバターＡｖを描画して各アバターを生成するアバター生成部７と、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて、各アバターの動きを設定するアバター動き設定部４とを備える。アバター動き設定部４は、アバター生成部７が生成するアバターの数が所定の数を超えるとき、動きが所定の大きさ以下であるアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態または特定の動きに設定する。ここでの特定の動きは、上記の所定の大きさ未満の動きとするのがよい。

第３実施形態に係るアバター制御方法及びアバター制御プログラムは、各ユーザに対応するアバターを描画して各アバターを生成し、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて、各アバターの動きを設定する。第３実施形態に係るアバター制御方法及びアバター制御プログラムは、生成するアバターの数が所定の数を超えるとき、動きが所定の大きさ以下であるユーザに対応するアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態または特定の動きに設定する。

従って、第３実施形態に係るアバター制御装置１０３、アバター制御方法、及びアバター制御プログラムによれば、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターＡｖを生成するよう制御することができる。動きが所定の大きさ以下であるアバターはさほど重要な動きをしてしないと考えられるから、静止状態に設定しても、静止状態に設定したアバターに対応するユーザ以外の他のユーザが違和感を覚えることは少ない。

第３実施形態に係るアバター制御装置１０３、アバター制御方法、及びアバター制御プログラムは、生成するアバターの数が所定の数を超えるか否かにかかわらず、動きが所定の大きさ以下であるユーザに対応するアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態または特定の動きに設定してもよい。

＜第４実施形態＞
図９に示すように、各ユーザ端末２０は、アバター制御装置２２２と同様の構成を有する第４実施形態に係るアバター制御装置２２４を備える。アバター制御サーバ１０ｂの制御部９は、アバター制御サーバ１０ｂに接続されているユーザ端末２０の数が所定の数を超えるとき、各ユーザ端末２０から送信される骨格動き信号に基づいて、動きが所定の大きさ以下であるアバターに対応するユーザのユーザ端末２０に、骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示する。骨格動き信号をアバター制御サーバ１０ｂに送信しないように指示されたユーザ端末２０は、アバター制御サーバ１０ｂへの骨格動き信号の送信を停止する。

第４実施形態に係るアバター制御装置２２４の動作、第４実施形態に係るアバター制御方法、及び第４実施形態に係るアバター制御プログラムは、図１０と同様である。

第４実施形態に係るアバター制御装置２２４は、各ユーザに対応するアバターＡｖを描画して各アバターを生成するアバター生成部２０７と、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて、各アバターの動きを設定するアバター動き設定部２０４とを備える。アバター動き設定部２０４は、アバター生成部２０７が生成するアバターの数が所定の数を超えるとき、動きが所定の大きさ以下であるアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態に設定する。

第４実施形態に係るアバター制御方法及びアバター制御プログラムは、各ユーザに対応するアバターを描画して各アバターを生成し、各ユーザの動きを取得する動きセンサ２１が生成する動き検出信号に基づいて、各アバターの動きを設定する。第４実施形態に係るアバター制御方法及びアバター制御プログラムは、生成するアバターの数が所定の数を超えるとき、動きが所定の大きさ以下であるユーザに対応するアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態に設定する。

従って、第４実施形態に係るアバター制御装置２２４、アバター制御方法、及びアバター制御プログラムによれば、描画負荷または通信負荷が過大となることを防ぎながら、ユーザに対応するアバターＡｖを生成するよう制御することができる。動きが所定の大きさ以下であるアバターはさほど重要な動きをしてしないと考えられるから、静止状態に設定しても、静止状態に設定したアバターに対応するユーザ以外の他のユーザが違和感を覚えることは少ない。

第４実施形態に係るアバター制御装置２２４、アバター制御方法、及びアバター制御プログラムは、生成するアバターの数が所定の数を超えるか否かにかかわらず、動きが所定の大きさ以下であるユーザに対応するアバターを、動きセンサ２１が生成する動き検出信号とは無関係に静止状態または特定の動きに設定してもよい。

本発明は以上説明した第１～第４実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１，２４ 通信部
２，２０２ 動き検出部
３，２０３ トラッキング外れ検出部
４，２０４ アバター動き設定部
５，２０５ 特定姿勢データ保持部
６，２０６ アバター制御信号生成部
７，２０７ アバター生成部
８，２０８ レンダリング部
９，２２ 制御部
１０ａ，１０ｂ アバター制御サーバ
１１ アバター位置制御部
１２ アバター・背景設定部
２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ，２０ｆ ユーザ端末
２１ 動きセンサ
２３ 操作部
２５ 画像表示部
５０ ネットワーク
１０１，１０３，２２２，２２４ アバター制御装置
１１０ アバター位置管理部
２０９ 記憶部

Claims (4)

1. 各ユーザに対応するアバターを描画して各アバターを生成するアバター生成部と、
   前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定するアバター動き設定部と、
   を備え、
   前記アバター動き設定部は、動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定する
   アバター制御装置。
2. 前記アバター動き設定部は、前記アバター生成部が生成するアバターの数が所定の数を超えるとき、動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定する請求項１に記載のアバター制御装置。
3. 各ユーザに対応するアバターを描画して各アバターを生成し、
   前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定し、
   動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定する
   アバター制御方法。
4. コンピュータに、
   各ユーザに対応するアバターを描画して各アバターを生成するステップと、
   前記各ユーザの動きを取得する動きセンサが生成する動き検出信号に基づいて、前記各アバターの動きを設定するステップと、
   動きが所定の大きさ以下であるアバターを、前記動きセンサが生成する動き検出信号とは無関係に静止状態または特定の動きに設定するステップと、
   を実行させるアバター制御プログラム。

Images