WO2023135941A1

WO2023135941A1 - 情報処理装置、および情報処理システム、並びに情報処理方法

Info

Publication number: WO2023135941A1
Application number: PCT/JP2022/043224
Authority: WO
Inventors: 健司徳武
Original assignee: ソニーグループ株式会社
Priority date: 2022-01-17
Filing date: 2022-11-22
Publication date: 2023-07-20

Abstract

ユーザ動きに対する遅延の少ないユーザ姿勢反映３次元アバター画像を生成して表示する装置、方法を提供する。ユーザ端末がユーザの体に装着した動きセンサの検出値を入力してユーザ姿勢を推定し、さらに動きの速い部位のセンサ検出値を選択してサーバに送信する。サーバは、ユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成しユーザ端末に送信する。ユーザ端末は受信したユーザ姿勢反映３次元アバター画像を表示部に出力する。サーバはユーザ姿勢に基づくアバター画像に対して、より新しいセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正を行ってユーザ姿勢反映３次元アバター画像を生成する。

Description

情報処理装置、および情報処理システム、並びに情報処理方法

　本開示は、情報処理装置、および情報処理システム、並びに情報処理方法に関する。さらに詳細には、ユーザの体の腕や足などの各部に装着したセンサによってユーザの動きを検出し、ユーザ動きを反映させたユーザの分身仮想キャラクタであるアバター画像を生成して表示する情報処理装置、および情報処理システム、並びに情報処理方法に関する。

　実空間の実オブジェクト画像上に実際には存在しない仮想オブジェクト画像を重畳した画像を複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）画像と呼ぶ。

　ＭＲ画像の一例として、例えば、実オブジェクトからなる背景画像に仮想キャラクタであるアバター画像を重畳した画像がある。
　具体的には、例えば、実在する町などの背景画像上にユーザの分身キャラクタであるアバターをＣＧ画像として重畳表示し、ユーザの動きに併せてアバターを動かすＭＲ画像が多く利用されている。

　ＭＲ画像は、例えばユーザＡの分身であるアバターａと、ユーザＢの分身であるアバターｂをＭＲ画像内で戦わせるといったゲームにも利用される。
　２人のユーザＡ，Ｂ各々の頭、腕、足などに複数の動きセンサを装着し、これらのセンサの検出情報を利用してアバターａ，ｂをユーザＡ，Ｂの動きを反映させたＣＧ画像として表示する。
　このような処理を行うことで、ＭＲ画像内のアバターａ，ｂは、ユーザＡ，Ｂと同様に動き、離れた位置にいるユーザＡ，Ｂは１つの場所で実際に戦っているような感覚を得ることができる。

　なお、センサ検出値を利用して画像上の仮想オブジェクトの動き制御を行う構成について開示した従来技術として、例えば特許文献１（特開２０２１－０６０６２７号公報）や、特許文献２（特開２０２１－１８５５００号公報）がある。

　しかし、例えばユーザに装着したセンサの検出値を用いてアバター等の仮想オブジェクトにユーザと同一の動きを行わせるためには、センサ検出値の解析処理や、解析結果を用いたアバター画像生成処理などのデータ処理が必要となる。これらのデータ処理には所定の処理時間が必要であり、これらの処理時間によってユーザ動きとアバター動きにずれが発生してしまう場合がある。すなわちアバターの動きがユーザの動きから遅延した動きになることがある。

　ユーザは画像に表示された自分の分身であるアバターの動きを見て、次の動きを決めるといった処理を行うこともあり、このような遅延が発生するとユーザは自分とアバターの動きのずれが気になり、思うような動きができなくなる場合がある。

特開２０２１－０６０６２７号公報特開２０２１－１８５５００号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、ユーザの動きとユーザの分身であるアバター等の仮想キャラクタの動きの遅延を減少させ、違和感のない画像を生成する情報処理装置、および情報処理システム、並びに情報処理方法を提供するものである。

　本開示の第１の側面は、
　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部を有し、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力し、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置にある。

　さらに、本開示の第２の側面は、
　ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成部を有し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理装置にある。

　さらに、本開示の第３の側面は、
　ユーザ端末とサーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部と、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記ユーザ端末から受信するユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成し、生成したユーザ姿勢反映３次元アバター画像を前記ユーザ端末に送信し、
　前記ユーザ端末は、
　前記サーバから受信したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置システムにある。

　さらに、本開示の第４の側面は、
　情報処理装置において実行する情報処理方法であり、
　姿勢推定部が、ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定ステップと、
　センサ検出値選択部が、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択ステップと、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力するステップと、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力するステップを実行する情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において実行する情報処理方法であり、
　姿勢反映３次元アバター画像生成部が、ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成処理を実行し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理方法にある。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、ユーザ動きに対する遅延の少ないユーザ姿勢反映３次元アバター画像を生成して表示する装置、方法が実現される。
　具体的には、例えば、ユーザ端末がユーザの体に装着した動きセンサの検出値を入力してユーザ姿勢を推定し、さらに動きの速い部位のセンサ検出値を選択してサーバに送信する。サーバは、ユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成しユーザ端末に送信する。ユーザ端末は受信したユーザ姿勢反映３次元アバター画像を表示部に出力する。サーバはユーザ姿勢に基づくアバター画像に対して、より新しいセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正を行ってユーザ姿勢反映３次元アバター画像を生成する。
　本構成により、、ユーザ動きに対する遅延の少ないユーザ姿勢反映３次元アバター画像を生成して表示する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の処理が適用可能な情報処理システムや情報処理装置の構成と処理の概要について説明する図である。本開示の処理が適用可能な情報処理システムや情報処理装置の構成と処理の概要について説明する図である。本開示の処理が適用可能な情報処理システムや情報処理装置の構成と処理の概要について説明する図である。本開示の処理が適用可能な情報処理システムや情報処理装置の構成と処理の概要について説明する図である。本開示の処理が適用可能な情報処理システムや情報処理装置の構成と処理の概要について説明する図である。ユーザに対するセンサの装着例について説明する図である。スマホやＰＣ等のユーザ端末で実行されるユーザの３次元姿勢情報生成処理について説明する図である。センサ検出値に基くユーザ姿勢情報生成処理の詳細について説明する図である。ユーザ端末によるセンサ検出値に基くユーザ姿勢情報の生成処理シーケンスについて説明する図である。ユーザの動きに対する遅延が発生したアバター画像の表示例について説明する図である。ユーザ端末がセンサ検出値に基いて生成するユーザ姿勢情報の生成タイミングと、ユーザに装着されたセンサが出力するセンサ検出値の出力タイミングについて説明する図である。本開示の情報処理装置が実行する処理の一例について説明する図である。サーバに送信するセンサ検出値をユーザの動きに応じて選択する処理例について説明する図である。サーバに送信するセンサ検出値をユーザの動きに応じて選択する処理例について説明する図である。ユーザ姿勢情報と、センサ検出情報の２種類の情報を利用したユーザ姿勢反映アバター３次元画像の生成処理の詳細について説明する図である。本開示の処理を適用したアバター画像生成、表示処理例、すなわち、ユーザ姿勢情報と、センサ検出情報の２種類の情報を利用したアバター画像生成、表示処理例について説明する図である。ユーザ端末が送信対象のセンサ検出値を選択する処理例のシーケンスについて説明するシーケンス図である。ユーザ端末が送信対象のセンサ検出値を選択する処理例のシーケンスについて説明するシーケンス図である。ユーザ端末がサーバに送信するセンサ検出値を選択する処理の具体例について説明する図である。ユーザ端末がサーバに送信するセンサ検出値を選択する処理の具体例について説明する図である。ユーザ端末が送信対象のセンサ検出値を選択する場合にユーザ端末が実行する処理のシーケンスについて説明するフローチャートを示す図である。サーバが送信対象のセンサ検出値を選択する処理のシーケンスについて説明するシーケンス図である。サーバが送信対象のセンサ検出値を選択する処理のシーケンスについて説明するシーケンス図である。ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する処理のシーケンスについて説明するシーケンス図である。ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する処理のシーケンスについて説明するシーケンス図である。サーバを用いることなく、ユーザ端末間で通信を実行して、ユーザ端末において各ユーザのユーザ姿勢反映アバター３次元画像を含むＭＲ画像を生成して各ユーザのＭＲグラスに表示する処理例を説明する図である。１人のユーザが１台のユーザ端末を利用して自身の１つのアバターをＭＲ画像上に表示して利用する処理例について説明する図である。２台のユーザ端末の処理によってユーザの姿勢反映アバター３次元画像を生成してＭＲグラスに表示する処理例のシーケンスについて説明するシーケンス図である。２台のユーザ端末の処理によってユーザの姿勢反映アバター３次元画像を生成してＭＲグラスに表示する処理例のシーケンスについて説明するシーケンス図である。２台のユーザ端末の処理によってユーザの姿勢反映アバター３次元画像を生成してＭＲグラスに表示する処理例のシーケンスについて説明するシーケンス図である。カメラの撮影画像をユーザ端末に送信し、ユーザ端末において、ハンドトラッキング処理や、ハンドジェスチャー解析処理を実行する構成について説明する図である。カメラの撮影領域と手の位置との関係について説明する図である。ユーザの手がカメラの画像撮影領域内にあるか否かに応じて画像撮影処理やハンドトラッキング処理の実行、停止を制御する処理について説明するフローチャートを示す図である。ユーザ端末、ＭＲグラス、サーバなどの情報処理装置の構成例ｉついて説明する図である。ユーザ端末、ＭＲグラス、サーバなどの情報処理装置の構成例ｉついて説明する図である。ユーザ端末、ＭＲグラス、サーバなどの情報処理装置の構成例ｉついて説明する図である。本開示の情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理システム、並びに情報処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の処理が適用可能な情報処理システムの構成例とその問題点について
　２．本開示の情報処理装置が実行する処理の具体例について
　３．本開示の処理の処理シーケンスについて
　３－１．（処理例１）ユーザ端末が送信対象のセンサ検出値を選択する処理の処理シーケンス
　３－２．（処理例２）サーバが送信対象のセンサ検出値を選択する処理の処理シーケンス
　４．ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する実施例について
　５．サーバを利用しないユーザ端末間の通信処理によるユーザ姿勢反映アバター画像表示処理例について
　６．ハンドトラッキングやハンドジェスチャー解析処理の制御処理例について
　７．その他の実施例について
　８．情報処理装置の構成例について
　９．情報処理装置のハードウェア構成例について
　１０．本開示の構成のまとめ

　　［１．本開示の処理が適用可能な情報処理システムの構成例とその問題点について］
　まず、図１以下を参照して、本開示の処理が適用可能な情報処理システムの構成例とその問題点について説明する。

　図１は、本開示の処理が適用可能な情報処理システムの一構成例を示す図である。
　図１には、離れた場所にいるユーザａ，１０とユーザｂ，２０を示している。
　ユーザａ，１０とユーザｂ，２０は、ＭＲグラスを装着している。
　ユーザａ，１０はＭＲグラス１１を装着し、ユーザｂ，２０はＭＲグラス２１を装着している。
　ＭＲグラス１１，２１は、実空間の実オブジェクト画像上に実際には存在しない仮想オブジェクト画像を重畳した複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）画像を表示する表示部を備えたＨＭＤ（ヘッド・マウント・ディスプレイ）である。

　各ユーザａ，ｂが装着したＭＲグラス１１，２１には、図１の中央に示すようなＭＲ画像（複合現実画像）が表示される。
　実在する風景の実オブジェクト画像上に、各ユーザの分身仮想キャラクタであるアバターを重畳表示したＭＲ画像である。
　ＭＲ画像内のアバターＡがユーザａ，１０の分身仮想キャラクタであり、アバターＢがユーザｂ，２０の分身仮想キャラクタに相当する。
　なお、ＭＲグラス１１，２１に表示される画像は３次元画像であり、背景画像とアバター画像はいずれも３次元画像として表示される。

　２人のユーザａ，ｂは、頭、腕、足など体の複数の部位に動きセンサを装着しており、これらのセンサの検出情報を利用してＭＲ画像内のアバターＡ，Ｂをユーザａ，ｂの動きと同様に動かす。
　ＭＲ画像内のアバターＡ，Ｂをユーザａ，ｂの動きと同様に動かすために実行される処理ステップが図１に示すステップＳ０１ａ，ｂ～Ｓ０３ａ，ｂの処理である。
　これらの一連の処理について説明する。

　　（ステップＳ０１ａ，ステップＳ０１ｂ）
　まず、図１のステップＳ０１ａに示すように、ユーザａ，１０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザａ，１０の近くにあるユーザ端末（スマホ）１２に送信される。
　ユーザ端末（スマホ）１２は、ユーザａ，１０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザａ，１０の３次元姿勢情報を生成する。

　一方、図１のステップＳ０１ｂに示すように、ユーザｂ，２０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザｂ，２０の近くにあるユーザ端末（ＰＣ）２２に送信される。
　ユーザ端末（ＰＣ）２２は、ユーザｂ，２０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザｂ，２０の３次元姿勢情報を生成する。

　なお、センサからユーザ端末（スマホ）１２やユーザ端末（ＰＣ）２２に対するセンサ検出値の送信処理は、例えばブルートゥース（登録商標）通信等の近接通信を利用して実行される。

　　（ステップＳ０２ａ，ステップＳ０２ｂ）
　ユーザ端末（スマホ）１２がセンサ検出値に基づいて生成したユーザａ，１０の３次元姿勢情報は、ステップＳ０２ａにおいて、ユーザ端末（スマホ）１２からサーバ４０に送信される。

　一方、ユーザ端末（ＰＣ）２２がセンサ検出値に基づいて生成したユーザｂ，２０の３次元姿勢情報も、ステップＳ０２ｂにおいて、ユーザ端末（ＰＣ）２２からサーバ４０に送信される。

　サーバ４０は、ユーザ端末（スマホ）１２がセンサ検出値に基づいて生成したユーザａ，１０の３次元姿勢情報に基づいて、ユーザａ，１０の３次元姿勢と同様の姿勢を持つアバターＡの３次元画像を生成する。
　さらに、サーバ４０は、ユーザ端末（ＰＣ）２２がセンサ検出値に基づいて生成したユーザｂ，２０の３次元姿勢情報に基づいて、ユーザｂ，２０の３次元姿勢と同様の姿勢を持つアバターＢの３次元画像を生成する。

　　（ステップＳ０３ａ，ステップＳ０３ｂ）
　サーバ４０は、ステップＳ０３ａにおいて、サーバ４０が生成したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザａ，１０側のユーザ端末（スマホ）１２に送信する。
　同様に、サーバ４０は、ステップＳ０３ｂにおいて、サーバ４０が生成したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザｂ，２０側のユーザ端末（ＰＣ）２２に送信する。

　ユーザａ，１０側のユーザ端末（スマホ）１２は、サーバ４０から受信したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザａ，１０が装着しているＭＲグラス１１に送信して表示させる。
　一方、ユーザｂ，２０側のユーザ端末（ＰＣ）２２も、サーバ４０から受信したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザｂ，２０が装着しているＭＲグラス２１に送信して表示させる。

　ユーザ端末１２，２２とＭＲグラス１１，２１間の通信も、例えばブルートゥース（登録商標）通信等の近接通信を利用して実行される。
　なお、サーバ４０からユーザ端末１２，２２に送信する画像は、アバターＡ，Ｂの３次元画像に背景画像を組み合わせたＭＲ画像としてもよいし、背景画像を含まないアバター画像のみとし、背景画像はユーザ端末１２，２２側で生成した画像を利用する構成としてもよい。

　これら一連の処理を繰り返して実行することでＭＲ画像内のアバターＡ，Ｂをユーザａ，ｂの動きと同様に動かすことが可能となり、離れた位置にいるユーザａ，ｂは、一つの同じ場所で戦っているような感覚を味わうことができる。

　なお、図１に示す例は、２人のユーザが各ユーザのアバターを１つのＭＲ画像上に表示して利用する処理例であるが、１人のユーザが自分対応の１つのアバターをＭＲ画像上に表示して利用する処理も可能である。
　図２を参照して、１人のユーザが自身の１つのアバターをＭＲ画像上に表示して利用する処理例について説明する。

　ユーザｃ，３０は、ＭＲグラス３１を装着している。
　ユーザｃ，３０が装着したＭＲグラス３１には、図２の中央に示すようなＭＲ画像（複合現実画像）が表示される。
　実在するステージの実オブジェクト画像上に、ユーザｃ，３０の分身仮想キャラクタであるアバターＣを重畳表示したＭＲ画像である。
　ＭＲグラス３１に表示される画像は３次元画像であり、背景画像とアバター画像はいずれも３次元画像として表示される。

　ユーザｃ，３０は、頭、腕、足などに複数の動きセンサを装着し、これらのセンサの検出情報を利用してＭＲ画像内のアバターＣがユーザｃ，３０の動きと同様に動く。
　ＭＲ画像内のアバターＣをユーザｃ，３０の動きに併せて動かすために実行される処理を説明する処理ステップが図２に示すステップＳ０１ｃ～Ｓ０３ｃの処理である。
　これらの一連の処理について説明する。

　　（ステップＳ０１ｃ）
　図２のステップＳ０１ｃに示すように、ユーザｃ，３０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザｃ，３０の近くにあるユーザ端末（スマホ）３２に送信される。
　ユーザ端末（スマホ）３２は、ユーザｃ，３０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザｃ，３０の３次元姿勢情報を生成する。

　　（ステップＳ０２ｃ）
　ユーザ端末（スマホ）３２がセンサ検出値に基づいて生成したユーザｃ，３０の３次元姿勢情報は、ステップＳ０２ｃにおいて、サーバ４０に送信される。

　サーバ４０は、ユーザ端末（スマホ）３２がセンサ検出値に基づいて生成したユーザｃ，３０の３次元姿勢情報に基づいて、ユーザｃ，３０の３次元姿勢と同様の姿勢を持つアバターＣの３次元画像を生成する。

　　（ステップＳ０３ｃ）
　サーバ４０は、ステップＳ０３ｃにおいて、サーバ４０が生成したアバターＣの３次元画像を含むＭＲ画像をユーザｃ，３０側のユーザ端末（スマホ）３２に送信する。

　ユーザｃ，３０側のユーザ端末（スマホ）３２は、サーバ４０から受信したアバターＣの３次元画像を含むＭＲ画像をユーザｃ，３０が装着しているＭＲグラス３１に送信して表示させる。

　これら一連の処理を繰り返して実行することでＭＲ画像内のアバターＣをユーザｃ動きと同様に動かすことが可能となり、ユーザｃ，３０は、あたかも実際のステージ上でダンスや歌っているような感覚を味わうことができる。

　なお、図１、図２を参照して説明した例では、ユーザが装着したＭＲグラスとして非透過型のＭＲグラスを利用した例を説明したが、例えば図３に示すように透過型ＭＲグラス３３を利用した処理も可能である。

　透過型ＭＲグラス３３は、ユーザｃ，３０が実際に見ている実オブジェクト上に仮想オブジェクトであるアバターＣの３次元画像を表示する構成である。このような投下型ＭＲグラスを用いることで、ユーザがいる環境上にアバターが存在するようなＭＲ画像（複合現実画像）を観察することができる。

　なお、図３に示す例では、ユーザｃ，３０の分身であるアバターＣは、ユーザｃ，３０のいる部屋に存在するように透過型ＭＲグラス３３に表示される。
　ユーザｃ，３０の動きに併せて透過型ＭＲグラス３３に表示されたアバターＣも動くことになる。この場合、例えばアバターＣがテーブルの前に入る場合とテーブルの後ろにいる場合とでは、アバターＣの表示態様を変更する必要がある。

　アバターＣがテーブルの後ろにいる場合、テーブルの背後に隠れるアバターＣの体の部分を非表示にしなければならない。
　このような表示制御を行うためには、ユーザｃ，３０がいる部屋の環境情報、すなわち実オブジェクトの位置などを解析可能な部屋の３次元環境情報が必要となる。

　この処理のため、ユーザｃ，３０が装着した透過型ＭＲグラス３３に付属するカメラ３４がユーザｃ，３０のいる部屋の画像を撮影する。
　図３に示すステップＳ０４ｄの処理である。
　なお、図３に示すステップＳ０１ｄ～Ｓ０３ｄは、図２を参照して説明したステップＳ０１ｃ～Ｓ０３ｃと同様の処理である。

　図３のステップＳ０４ｄに示すように、カメラ３４が撮影した画像はユーザ端末（スマホ）３２に送信される。
　例えばブルートゥース（登録商標）通信により送信される。

　ユーザ端末（スマホ）３２は、カメラ３４が撮影した画像を用いてユーザｃ，３０が見ている部屋の３次元構成を解析し、部屋の３次元構成情報である３次元環境情報を生成する。
　具体的には、例えばカメラ３４が連続的に撮影する動画像を解析して撮影画像中に含まれるオブジェクトの３次元構成を解析するＳＬＡＭ処理などを実行して部屋の３次元環境情報を生成する。

　なお、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）は、カメラの撮影画像を用いて、自己位置推定処理（ローカリゼーション）と３次元環境地図作成処理（ｍａｐｐｉｎｇ）を並行して実行可能とした処理である。

　次に、ステップＳ０５ｄにおいて、ユーザ端末（スマホ）３２は、ユーザ端末（スマホ）３２がカメラ３４の撮影画像を用いて生成した部屋の３次元環境情報を考慮して、サーバ４０から受信したユーザ姿勢判定アバター画像をと等価型ＭＲグラス３３の表示部に描画する描画処理を実行する。
　すなわち、例えば、ユーザｃ，３０の位置がテーブルの後ろにある場合、テーブルに隠れたアバター部分は消去して表示する処理など、部屋の３次元環境情報と表示されるアバター画像の矛盾が発生しないアバター画像描画処理を実行する。

　図３に示す処理例は、サーバ４０がユーザ姿勢近影アバター画像の全体画像を生成し、ユーザ端末（スマホ）３２側で部屋の３次元環境情報を考慮したアバター画像の描画処理を実行する構成である。
　このような処理に限らず、例えば、ユーザ端末（スマホ）３２が生成した部屋の３次元環境情報をサーバ４０に送信し、サーバ４０側で部屋の３次元環境情報を考慮したユーザ姿勢反映アバター画像を生成してユーザ端末（スマホ）３２に送信する処理を行う構成も可能である。

　例えば、テーブルの後ろのアバター部分を予め消去したユーザ姿勢反映アバター画像をサーバ４０が生成してユーザ端末（スマホ）３２に送信する。
　図４は、このような処理例を説明する図である。

　ユーザ端末（スマホ）３２は、図４に示すステップＳ０１ｅ１で動きセンサ検出情報を入力し、ユーザ姿勢を推定し、ステップＳ０２ｅ１において、推定したユーザ姿勢情報をサーバ４０に送信する。
　さらに、ユーザ端末（スマホ）３２はこれらの処理に併せて、ステップＳ０１ｅ２において、カメラ３４が撮影した画像を入力して前述したＳＬＡＭ処理などを実行して部屋の３次元環境情報を生成する。さらに、ステップＳ０２ｅ２において、生成した部屋の３次元環境情報をサーバ４０に送信する。

　サーバ４０は、ユーザ端末（スマホ）３２から受信したユーザ姿勢情報と、部屋の３次元環境情報を利用して、部屋の３次元環境情報を考慮したユーザ姿勢反映アバター画像を生成してユーザ端末（スマホ）３２に送信する。
　すなわち、例えばテーブルの後ろになる部分などを消去したアバター画像である。
　ユーザ端末（スマホ）３２は、サーバ４０から受信したユーザ姿勢反映アバター画像を透過型ＭＲグラス３３に描画する。
　このような処理を行うことも可能である。

　なお、図３、図４に示す構成は、透過型ＭＲグラス３３を利用した処理例として説明したが、非透過型のＭＲグラス３１を用いた場合も同様の処理が可能である。
　例えば図５に示すように非透過型のＭＲグラス３１を用い、ＭＲグラス３１に付属するカメラ３４で部屋の画像を撮影して、この部屋の画像を背景画像としてアバター画像と合わせたＭＲ画像を生成して表示する処理が可能である。

　本開示の処理は、例えば上述の図１～図５を参照して説明したようなアバター画像生成、表示処理を行う構成において、ユーザの動きに対する遅延を低減させてアバターを動かす制御を可能とするものである。
　なお、本開示の処理は上述したＭＲ画像に限らず、その他のＡＲ画像（拡張現実画像）やＶＲ画像（仮想現実画像）などにおいても利用可能である。

　次に、図６を参照して、ユーザに対するセンサ（動きセンサ）の装着例について説明する。
　図６に示す例において、ユーザは、以下の６つの動きセンサを体の各部に装着している。
　（ａ）頭動きセンサＳ１，５１、
　（ｂ）右腕動きセンサＳ２，５２、
　（ｃ）左腕動きセンサＳ３，５３、
　（ｄ）腰動きセンサＳ４，５４、
　（ｅ）右足動きセンサＳ５，５５、
　（ｆ）左足動きセンサＳ６，５６、

　これら６つの動きセンサは、それぞれユーザの頭、右腕、左腕、腰、右足、左足、これら６か所の部位の動きを個別に検出する。
　なお、動きセンサとしては、例えばＩＭＵ（慣性計測装置：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）が用いられる。
　ＩＭＵは、ｘｙｚ３軸方向の加速度、ｘｙｚ３軸周りの角速度などを同時に計測可能な動きセンサである。

　図６に示すようにユーザの頭、右腕、左腕、腰、右足、左足、これら６か所に装着した動きセンサ（ＩＭＵ）は、それぞれユーザの頭、右腕、左腕、腰、右足、左足、これら６か所の３軸方向の加速度と３軸周りの角速度をセンサ検出値として出力する。

　なお、図６に示すセンサ装着例は、ユーザの体の６か所にセンサを装着した例であるが、これは一例であり、例えば両手のみ、または両手両足のみ、あるいはさらに多くのセンサを体の各部位に装着する構成など、様々なセンサ装着態様が利用可能である。

　先に図１～図５を参照して説明したように、ユーザに装着されたセンサの検出値は、ユーザのスマホやＰＣなどのユーザ端末に送信される。
　ユーザのスマホやＰＣ等のユーザ端末は、ユーザの頭、腕、足などに装着された複数の動きセンサのセンサ検出値を解析して、ユーザの３次元姿勢情報を生成する。

　図７以下を参照してスマホやＰＣ等のユーザ端末で実行されるユーザの３次元姿勢情報生成処理について説明する。
　図７は、ユーザ端末（スマホ）１２が実行する代表的処理について説明する図である。
　なお、センサの検出値を入力するユーザ端末は図１を参照して説明したようにユーザ端末（スマホ）１２やユーザ端末（ＰＣ）２２であるが、以下ではユーザ端末の代表例としてユーザ端末（スマホ）１２を用いた処理例について説明する。

　図７に示すように、ユーザ端末（スマホ）１２は、（処理ａ）としてユーザ姿勢情報生成処理を実行する。
　ユーザ端末（スマホ）１２は、ユーザ１０の体の各部位に装着されたセンサの検出値を入力し、ユーザ姿勢情報を生成する。
　このユーザ姿勢情報は３次元空間上の３次元姿勢情報である。このユーザ姿勢情報の生成処理は、例えば予め生成された学習モデルを用いて実行される。
　この処理の詳細については後述する。

　図７に示すように、ユーザ端末（スマホ）１２がセンサ検出値に基いて生成したユーザ姿勢情報は、サーバ４０に送信される。
　サーバ４０は、ユーザ端末（スマホ）１２から受信したユーザ姿勢情報と同じ姿勢を持つアバター３次元画像、すなわちユーザ姿勢反映アバター３次元画像を生成して、ユーザ端末（スマホ）１２に送信する。

　ユーザ端末（スマホ）１２は、（処理ｂ）として、サーバ４０から受信したユーザ姿勢反映アバター３次元画像をユーザ１０が装着しているＭＲグラス１１の表示部に表示するための３次元画像描画処理を実行する。

　次に、図７に示すユーザ端末（スマホ）１２等のユーザ端末が実行する（処理ａ）ユーザ姿勢情報生成処理、すなわち、センサ検出値に基くユーザ姿勢情報生成処理の詳細について、図８を参照して説明する。

　図８の下側に示す図は、スマホ等のユーザ端末が実行するセンサ検出値に基くユーザ姿勢情報生成処理の詳細シーケンス例について説明する図である。
　図８下段の図に示すように、センサ検出値に基くユーザ姿勢情報生成処理においては以下の各処理を順次、実行する。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」が生成される。

　「（処理１）センサ検出値入力処理」は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足等）に装着されたセンサの検出値の入力処理である。
　なお、前述したようにセンサからユーザ端末（スマホ）１２に対するセンサ検出値の送信処理は、例えばブルートゥース（登録商標）通信等の近接通信を利用して実行される。

　「（処理２）ノイズ除去処理」は、ユーザ端末（スマホ）１２に入力されたセンサ検出値からノイズ成分を除去する処理である。例えば規定周波数以上の高周波成分の除去処理など、予め規定されたノイズ除去アルゴリズムを適用してノイズ成分を除去する。

　「（処理３）動きベクトル群生成処理」は、ノイズ除去がなされたセンサ検出値に基いて、センサが装着されたユーザの体の各部位の個別の動きを示す動きベクトルを生成する処理である。

　先に説明したように、センサとして例えばＩＭＵ（慣性計測装置：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）が用いられる。
　ＩＭＵは、ｘｙｚ３軸方向の加速度、ｘｙｚ３軸周りの角速度などを同時に計測可能な動きセンサであり、ユーザ端末（スマホ）１２は、ユーザの頭、右腕、左腕、腰、右足、左足、これら６か所のＩＭＵ出力値を取得することができる。

　ユーザ端末（スマホ）１２は、これらユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）のセンサ出力値に基づいて、各部位の動き方向と動き速度を反映した各部位対応の複数の動きベクトルを生成する。

　「（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）」は、（処理３）で生成したユーザの体の各部位対応の動きベクトルに基づいて、ユーザの３次元姿勢を推定する処理である。
　この動きベクトルに基づくユーザの３次元姿勢推定処理は、例えば予め生成した学習モデルを利用して実行する。

　学習モデルは、ユーザの体の各部位対応の動きベクトルを入力してユーザ姿勢を出力する学習モデルである。
　この学習モデルは、多数のサンプルデータ、例えば多数の異なる動きベクトル群とユーザ姿勢との対応データを利用して予め生成された学習モデルである。

　「（処理５）接続部角度設定ベクトル生成処理」は、（処理４）において学習モデルを利用して推定したユーザ姿勢の補間処理であり、学習モデルを利用して推定したユーザ姿勢情報で不足する体の部位の姿勢や位置を補間して、ユーザの体全体の姿勢情報を生成する処理である。
　これら（処理１）～（処理５）を実行することで、ユーザ１０の３次元姿勢情報を生成することができる。

　図８を参照して説明したように、センサ検出値に基くユーザ姿勢情報生成処理には各センサ連出値に基づく動きベクトルの生成処理や、生成した動きベクトルを学習モデルに入力してユーザ姿勢を推定する処理など、複数の処理ステップを順次、実行する必要があり、１つのユーザ姿勢を生成するために所定の時間を要する。

　例えば、１つのユーザ姿勢を生成するために必要な処理時間は１００ｍｓｅｃである。この場合、図９に示すように、ユーザ端末はセンサ検出値に基くユーザ姿勢情報生成処理を１００ｍｓｅｃ間隔でしか実行することができない。
　すなわち、ユーザ端末（スマホ）１２が生成したユーザ姿勢情報早く１００ｍｓｅｃ前のセンサ検出値に基いて生成された姿勢情報となる。

　図９に示すように、ユーザ端末（スマホ）１２等のユーザ端末が時間（ｔ１０）において、センサ検出値に基くユーザ姿勢情報を生成した場合、次に生成可能な新たなユーザ姿勢情報は、時間（ｔ１０）から１００ｍｓｅｃ後の時間（ｔ２０）となる。さらに、次に生成可能な新たなユーザ姿勢情報は、時間（ｔ２０）から１００ｍｓｅｃ後の時間（ｔ３０）となる。

　例えば、時間（ｔ２０）に生成された姿勢情報０２（Ｐｏｓｅ０２）は、時間（ｔ２０）から１００ｍｓｅｃ前の時間（ｔ１０）のセンサ検出値に基づいて生成された姿勢情報である。また、時間（ｔ３０）に生成された姿勢情報０３（Ｐｏｓｅ０３）は、時間（ｔ３０）から１００ｍｓｅｃ前の時間（ｔ２０）のセンサ検出値に基づいて生成された姿勢情報である。

　ユーザ端末（スマホ）１２等のユーザ端末が生成したユーザ姿勢情報は、サーバ４０に送信され、サーバ４０がユーザ端末から受信したユーザ姿勢情報に基づいてアバターの３次元画像、すなわちユーザ姿勢反映アバター３次元画像を生成する。
　さらに、サーバ４０が生成したユーザ姿勢反映アバター３次元画像がユーザ端末（スマホ）１２に送信され、ＭＲグラス１１に描画される。

　ユーザ端末（スマホ）１２等のユーザ端末におけるユーザ姿勢情報の生成処理に必要となる処理時間が長いと、実際のユーザの動きとＭＲグラス１１に表示されるアバターの動きにずれが発生する。すなわち、アバターの動きがユーザの動きより遅延した動きになってしまう。

　図１０を参照して、ユーザの動きに対する遅延が発生したアバター画像の表示例について説明する。
　図１０（ａ）は体の各部位にセンサを装着したユーザの姿勢の時間経過（ｔｘ～ｔｙ～ｔｚ）に伴う推移を示した図である。
　ユーザは時間ｔｘ～ｔｚの間でジャンプを開始し、着地している。

　一方、図１０（ｂ）は、ユーザに装着したセンサに基づいて生成したユーザ姿勢情報を用いて生成されたアバター画像の時間経過（ｔｘ～ｔｙ～ｔｚ）に伴う変化を示した図である。

　例えば時間（ｔｚ）において、ユーザは床に着地しているが、同一時刻（ｔｚ）の表示画像上のアバターは、まだ着地していない。
　これは、時間（ｔｚ）におけるアバター画像が、時間（ｔｚ）より前のユーザ姿勢を反映したアバター画像であるためである。
　すなわち時間（ｔｚ）のアバター画像は、時間（ｔｚ）より前のユーザ姿勢、
具体的には着地直前のセンサ検出情報を利用して生成されたユーザ姿勢に基づいて生成されたユーザ姿勢反映アバター画像である。

　このような場合、ユーザは、ユーザの実際の動きより遅延したアバター画像をＭＲグラス１１で観察することになり、違和感を覚えることになり、ユーザは思い通りの動きやアクションを行うことができなくなる場合がある。

　本開示の処理は、このような問題を解決するものである。すなわちユーザの動きに対する遅延のない、または遅延が少ないアバターの３次元画像表示処理を実現するものである。

　　［２．本開示の情報処理装置が実行する処理の具体例について］
　以下、本開示の情報処理装置が実行する処理の具体例について説明する。

　図１１には、スマホ等のユーザ端末がセンサ検出値に基いて生成するユーザ姿勢情報の生成タイミングと、ユーザに装着されたＩＭＵ等のセンサが出力するセンサ検出値の出力タイミングを並べて示した図である。

　上段には、スマホ等のユーザ端末がセンサ検出値に基いて生成するユーザ姿勢情報の生成タイミングを示している。
　先に図９を参照して説明したように、スマホ等のユーザ端末は、例えば１００ｍｓｅｃ間隔でユーザ姿勢情報を更新して、これらをサーバに送信する。

　これに対して、ユーザの体の各部位に装着されたＩＭＵ等の動きセンサは、例えば１０ｍｓｅｃ間隔でセンサ検出値を順次、出力することができる。
　センサの検出値出力間隔、すなわちサンプリングタイムは、センサによって異なるが上段のユーザ姿勢算出間隔（１００ｍｓｅｃ）より、はるかに短い時間間隔で新たなセンサ検出値を出力することができる。

　ここでは、ユーザの体の各部位に装着されたＩＭＵ等の動きセンサが１０ｍｓｅｃごとに新たなセンサ検出値を出力可能な構成を有するものとして説明する。

　図１２を参照して本開示の処理の具体例について説明する。
　図１２に示すようにユーザ端末（スマホ）１２等のユーザ端末は、図１２に示す（処理ｐ）と（処理ｑ）を併せて実行する。
　すなわち、
　（処理ｐ）ユーザの体の各部位に装着されたＩＭＵ等の動きセンサに基づく姿勢情報生成処理と、生成した姿勢情報のサーバ４０に対する送信処理
　（処理ｑ）ユーザの体の各部位に装着されたＩＭＵ等の動きセンサのセンサ検出値から、動きの速い部位のセンサ検出値をそのままサーバ４０に送信する処理
　これらの処理ｐ，ｑを併せて実行する。

　（処理ｐ）におけるユーザ姿勢情報の生成処理とサーバ４０に対する姿勢情報送信処理は１００ｍｓｅｃ周期で実行される。これに対して（処理ｑ）のセンサ検出情報のサーバ４０に対する送信処理は１０ｍｓｅｃ周期で実行される。
　すなわち、サーバ４０は、動きの速い部位のセンサ検出値をより早いタイミングで受信することができる。

　サーバ４０は、１００ｍｓｅｃ周期でユーザ端末（スマホ）１２から受信するユーザ姿勢情報と、１０ｍｓｅｃ周期で受信するセンサ検出情報の２種類の情報を利用してユーザ姿勢反映アバター３次元画像を生成する。
　サーバ４０において実行する２種類の情報を利用したユーザ姿勢反映アバター３次元画像の生成処理の詳細については後述する。

　図１２（処理ｑ）においてサーバ４０に送信するセンサ検出情報は、ユーザ１０の体の各部位（頭、右腕、左腕、腰、右足、左足）に装着されたセンサの検出値の全てではなく、予め規定したしきい値以上の速度で動いていると判定された部位のセンサ検出値のみである。
　すなわち、サーバ４０に送信されるセンサ検出値は、ユーザの動きに応じて選択される。具体例について図１３、図１４を参照して説明する。

　図１３は、ユーザ１０が左腕を前に突き出す「パンチ」を実行した場合のデータ送信処理例を示している。
　図１３上段に示すように、ユーザ端末（スマホ）１２は、ユーザ姿勢情報の生成処理とサーバ４０に対する姿勢情報送信処理を１００ｍｓｅｃ周期で実行する。
　ユーザ端末（スマホ）１２は、ユーザ姿勢情報格納パケットを１００ｍｓｅｃ間隔で生成してサーバ４０に送信する。

　さらに、ユーザ端末（スマホ）１２は、図１３下段に示すように動きの速いユーザ１０の左腕のセンサ検出値を選択的に取得してサーバ４０に送信する。センサのサンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成してサーバ４０に送信する。

　なお、センサ検出値格納パケットは、例えばＱｏＳ（Ｑｕｏｌｉｔｙ　Ｏｆ　Ｓｅｒｖｉｃｅ）に従って優先送信される低遅延優先パケットとしてサーバ４０に送信することが好ましい。このＱｏＳに従った処理を行うことで、センサ検出値格納パケットは遅延なくサーバ４０に送信される。

　サーバ４０は、１００ｍｓｅｃ周期でユーザ端末（スマホ）１２から受信するユーザ姿勢情報と、１０ｍｓｅｃ周期で受信するユーザ１０の動きの速い左腕のセンサ検出情報の２種類の情報を利用してユーザ姿勢反映アバター３次元画像を生成する。

　図１４に示す例は、ユーザ１０が歩行を開始し、その後、歩行を停止した場合にユーザ端末（スマホ）１２が実行するセンサ検出値の送信開始処理と、送信停止処理を説明する図である。

　図１４上段に示すように、ユーザ端末（スマホ）１２は、ユーザ姿勢情報の生成処理とサーバ４０に対する姿勢情報送信処理を１００ｍｓｅｃ周期で実行する。
　ユーザ端末（スマホ）１２は、ユーザ姿勢情報格納パケットを１００ｍｓｅｃ間隔で生成してサーバ４０に送信する。

　さらに、ユーザ端末（スマホ）１２は、図１４下段に示すようにユーザ１０が歩いている歩行期間（ｔａ～ｔｂ）のみ、動きの速いユーザ１０の左足と右足のセンサ検出値を選択的に取得してサーバ４０に送信する。センサ検出値のサンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成してサーバ４０に送信する。

　ユーザ端末（スマホ）１２は、ユーザ１０の歩行開始タイミング（ｔａ）において、動きの速いユーザ１０の左足と右足のセンサ検出値を格納した小サイズパケットの生成処理を開始してサーバ４０に送信する処理を始める。
　その後、ユーザ端末（スマホ）１２は、ユーザ１０の歩行終了タイミング（ｔｂ）において、動きが遅くなったユーザ１０の左足と右足のセンサ検出値を格納した小サイズパケットの生成処理を停止し、サーバ４０に送信する処理を停止する。

　サーバ４０は、１００ｍｓｅｃ周期でユーザ端末（スマホ）１２から受信するユーザ姿勢情報と、ユーザ１０の歩行期間のみ、１０ｍｓｅｃ周期で受信するユーザ１０の動きの速い左右の足のセンサ検出情報を利用してユーザ姿勢反映アバター３次元画像を生成する。

　次に、図１５を参照してサーバ４０において実行する２種類の情報、すなわちユーザ姿勢情報と、センサ検出情報の２種類の情報を利用したユーザ姿勢反映アバター３次元画像の生成処理の詳細について説明する。

　図１５は、先に図１０を参照して説明したユーザの動き、すなわちユーザがジャンプを行って着地した場合のユーザ姿勢反映アバター３次元画像生成処理例について説明する図である。
　図１５には、以下の２つのユーザ姿勢反映アバター３次元画像生成処理例を示している。
　（ａ）ユーザ姿勢情報のみを利用したユーザ姿勢反映アバター３次元画像生成処理
　（ｂ）ユーザ姿勢情報とセンサ検出情報（左足と右足）を利用したユーザ姿勢反映アバター３次元画像生成処理

　（ａ）は、先に図８を参照して説明したと同様の処理であり、ユーザ姿勢情報のみを利用したユーザ姿勢反映アバター３次元画像生成処理である。
　この処理では、サーバ４０は、ユーザ端末（スマホ）１２から１０ｍｍｓｅｃ間隔で受信するユーザ姿勢情報のみを利用して、ユーザ姿勢反映アバター３次元画像を生成する。

　すなわち、図１５に示す（ａ１）ユーザ姿勢情報のみを利用して、図１５（ａ２）に示すようなユーザ姿勢反映アバター３次元画像を生成する。
　この結果として、ユーザが着地したタイミングにおいてユーザのＭＲグラスに表示されるアバター画像は、図１５（ａ３）に示すように着地直前のアバター画像となってしまう。

　これに対して、（ｂ）ユーザ姿勢情報とセンサ検出情報（左足と右足）を利用したユーザ姿勢反映アバター３次元画像生成処理は、図１２～図１４を参照して説明したユーザ姿勢情報とセンサ検出情報（左足と右足）を利用したユーザ姿勢反映アバター３次元画像生成処理である。

　図１５（ｂ１）には、ユーザ姿勢情報と、センサ検出値に基く右足位置情報、および左足位置情報を示している。
　黒丸と点線で示すデータがユーザ姿勢情報である。このユーザ姿勢情報は（ａ１）に示すユーザ姿勢情報と同様の情報であり、ユーザ端末（スマホ）１２から１００ｍｓｅｃ間隔で受信するユーザ姿勢情報である。さらに図１５（ｂ１）には、白丸で示すセンサ検出値に基く右足位置情報、および左足位置情報を示している。
　これらの右足位置情報、および左足位置情報は、ユーザ端末（スマホ）１２から１０ｓｅｃ間隔で受信するセンサ検出情報を利用して得られる最新のユーザの右足位置情報と左足位置情報である。

　サーバ４０は、これらの情報、すなわち黒丸と点線で示すユーザ姿勢情報と、白丸で示すセンサ検出値に基く右足位置情報、および左足位置情報の全ての情報を利用して、（ｂ２）に示すようなユーザ姿勢反映アバター３次元画像を生成する。

　サーバ４０は、黒丸と点線で示すユーザ姿勢情報を利用して生成されるユーザ姿勢反映アバター３次元画像と、ユーザ端末（スマホ）１２から１０ｓｅｃ間隔で受信するセンサ検出情報を利用して得られる最新のユーザの右足位置情報と左足位置情報を合成してユーザ姿勢反映アバター３次元画像を生成する。
　すなわち、黒丸と点線で示すユーザ姿勢情報を利用して生成されるユーザ姿勢反映アバター３次元画像の右足位置と左足位置を、センサ検出情報を利用して得られる最新のユーザの右足位置情報と左足位置情報に置き換える修正を行って、ユーザ姿勢反映アバター３次元画像を生成する。

　この結果として、ユーザが着地したタイミングにおいてユーザのＭＲグラスに表示されるアバター画像は、図１５（ｂ３）に示すように着地したアバター画像として表示されることになる。
　すなわち、ユーザは、ユーザの着地タイミングにおいて着地したアバター画像をＭＲグラスで観察することができる。

　このようにサーバ４０は姿勢反映３次元アバター画像生成部を有し、サーバ４０の姿勢反映３次元アバター画像生成部は、ユーザ姿勢情報に基づいて生成される姿勢ベースアバター画像に対して、センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、ユーザ姿勢反映３次元アバター画像を生成する。

　なお、サーバ４０の姿勢反映３次元アバター画像生成部が画像修正処理に利用するセンサ検出値は、ユーザ姿勢情報の生成処理に利用されたセンサ検出値より新しいセンサ検出値である。

　図１６を参照して本開示の処理を適用したアバター画像生成、表示処理例、すなわち、ユーザ姿勢情報と、センサ検出情報の２種類の情報を利用したアバター画像生成、表示処理例について説明する。

　図１６（ａ）は、図１０と同様の処理例であり、ユーザの体の各部位にセンサを装着したユーザの姿勢の時間経過（ｔｘ～ｔｙ～ｔｚ）に伴う推移を示した図である。
　ユーザは時間ｔｘ～ｔｚの間でジャンプを開始し、着地している。

　一方、図１６（ｂ）は、ユーザに装着したセンサに基づいてユーザ端末（スマホ）１２から１００ｓｅｃ間隔で受信するユーザ姿勢情報と、ユーザ端末（スマホ）１２から１０ｓｅｃ間隔で受信するセンサ検出情報を利用して得られる最新のユーザの右足位置情報と左足位置情報を用いて生成されるアバター画像の時間経過（ｔｘ～ｔｙ～ｔｚ）に伴う変化を示した図である。

　時間（ｔｚ）において、ユーザは床に着地している。この同一時刻（ｔｚ）の表示画像上のアバターも着地している。

　この時間（ｔｚ）におけるアバター画像は、時間（ｔｚ）より、約１００ｍｓｅｃ前のユーザ姿勢と、時間（ｔｚ）とほぼ同一時間のセンサ検出値に基づくユーザの右足位置情報と左足位置情報を用いた合成処理によって生成されたアバター画像である。
　この結果、サーバ４０は、ユーザの着地タイミングとほぼ同時（ｔｚ）に、着地したアバター画像を生成することができ、ユーザのＭＲグラスに表示することができる。

　このような処理により、ユーザは、ユーザの実際の動きに対する遅延がほとんどないアバター画像をＭＲグラス１１で観察することができ、違和感を覚えることなく思い通りの動きやアクションを行うことが可能となる。

　　［３．本開示の処理の処理シーケンスについて］
　次に、本開示の処理の処理シーケンスについて説明する。

　上述したように、本開示の処理は、ユーザの動きに対する遅延を減少させたアバター画像をＭＲグラス等の表示部に表示する処理を可能としたものである。
　以下、この処理の処理シーケンスについて説明する。

　なお、先に図１２～図１４を参照して説明したように、ユーザ端末は、ユーザの体の複数の部位に装着されたセンサの検出値の全てをサーバに送信するものではなく、動きの速い部位のセンサ検出値のみを選択してサーバに送信する。
　例えば予め規定した移動速度以上の速度で動く体の部位に取り付けられたセナンサの検出値のみを選択してサーバに送信する。

　サーバに送信するセンサ検出値を選択する処理は、ユーザ端末、またはサーバのいずれかで実行することが可能である。
　以下では、以下の２種類の処理例について、順次、説明する。
　（処理例１）ユーザ端末が送信対象のセンサ検出値を選択する処理例
　（処理例２）サーバが送信対象のセンサ検出値を選択する処理例

　　（３－１．（処理例１）ユーザ端末が送信対象のセンサ検出値を選択する処理の処理シーケンス）
　まず、（処理例１）として、ユーザ端末が送信対象のセンサ検出値を選択する処理例のシーケンスについて図１７以下を参照して説明する。

　図１７、図１８は、ユーザ端末が送信対象のセンサ検出値を選択する処理を行う場合に、本開示の情報処理システムを構成する要素間で実行する通信シーケンスを説明するシーケンス図である。
　図１７、図１８には、左から、ＭＲグラス、センサ、ユーザ端末、サーバを示している。
　以下、図１７、図１８のシーケンス図に示す各ステップの処理について、順次、説明する。

　　（ステップＳ１１）
　ステップＳ１１は、センサから、センサ検出値をユーザ端末に送信する処理である。
　前述したように、ユーザには、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサが装着されており、これらのセンサから一定周期、例えば１０ｍｓｅｃ周期でセンサ検出値がユーザ端末に送信される。

　なお、このステップＳ１１のセンサ検出値のユーザ端末に対する送信処理は、継続的に実行される。

　　（ステップＳ１２）
　センサからセンサ検出値を受信したユーザ端末は、ステップＳ１２において、受信したセンサ検出値に基くユーザ姿勢情報の生成処理を実行する。

　このユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、以下の各処理を順次、実行してユーザ姿勢情報を生成する。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」が生成される。
　なお、先に説明したように、このユーザ姿勢情報生成処理は、例えば１００ｍｓｅｃ周期で実行される。

　　（ステップＳ１３）
　ユーザ端末は、さらに、上記のステップＳ１２におけるユーザ姿勢情報生成処理に並行する処理として、ステップＳ１３の処理を実行する。

　すなわち、ユーザ端末は、ステップＳ１３において、各センサから入力するセンサ検出値に基づいて、予め規定したしきい値以上の移動速度を有する部位の有無を判定する。

　ステップＳ１３の判定処理において、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合は、ステップＳ１４に進む。
　一方、予め規定したしきい値以上の移動速度を有する部位が検出された場合は、ステップＳ２１に進む。

　　（ステップＳ１４）
　ステップＳ１３において、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合、ユーザ端末はステップＳ１４において、ステップＳ１２で生成したユーザ姿勢情報をサーバに送信する。

　　（ステップＳ１５～Ｓ１６）
　ユーザ端末からユーザ姿勢情報を受信したサーバは、ステップＳ１５において、ユーザ姿勢情報を反映したアバター３次元画像を生成し、ステップＳ１６において生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する。

　　（ステップＳ１７）
　サーバからユーザ姿勢反映アバター３次元画像を受信したユーザ端末は、ステップＳ１７において、ユーザ姿勢反映アバター３次元画像をＭＲグラスの表示部に描画する。

　このステップＳ１４～Ｓ１７の処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほぼ１００ｍｓｅｃ遅れた姿勢を持つアバター画像となる。
　これらの処理は、例えば先に図１５（ａ）を参照して説明した処理に相当する。

　　（ステップＳ２１）
　一方、ステップＳ１３において、予め規定したしきい値以上の移動速度を有する部位を検出した場合、ユーザ端末はステップＳ２１において、ステップＳ１２で生成したユーザ姿勢情報とともに、しきい値以上の移動速度を有する部位のセンサ検出値をサーバに送信する。

　ユーザ端末は、先に図１２～図１４を参照して説明したように動きの速いユーザの部位のセンサ検出値を選択的に取得してサーバに送信する。例えば、センサのサンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成してサーバに送信する。

　なお、センサ検出値格納パケットは、例えばＱｏＳ（Ｑｕｏｌｉｔｙ　Ｏｆ　Ｓｅｒｖｉｃｅ）に従って優先送信される低遅延優先パケットとしてサーバに送信することが好ましい。このＱｏＳに従った処理を行うことで、センサ検出値格納パケットは遅延なくサーバに送信される。

　　（ステップＳ２２～Ｓ２３）
　ユーザ端末からユーザ姿勢情報と、動きの速いユーザの部位のセンサ検出値を受信したサーバは、ステップＳ２２において、ユーザ端末から受信したユーザ姿勢情報とセンサ検出値の２種類の情報を利用して、ユーザ姿勢反映アバター３次元画像を生成し、ステップＳ２３において生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する。

　この処理は、先に、図１５（ｂ）を参照して説明した処理に相当する。
　サーバは、図１５（ｂ１）に黒丸と点線で示すユーザ姿勢情報と、白丸で示すセンサ検出値に基くユーザ部位位置情報（右足位置情報、および左足位置情報）の全ての情報を利用して、（ｂ２）に示すようなユーザ姿勢反映アバター３次元画像を生成してユーザ端末に送信する。

　　（ステップＳ２４）
　サーバから、ユーザ姿勢とセンサ検出値の双方を利用して生成されたユーザ姿勢反映アバター３次元画像を受信したユーザ端末は、ステップＳ２４において、ユーザ姿勢反映アバター３次元画像をＭＲグラスの表示部に描画する。

　このステップＳ２１～Ｓ２４の処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほとんど遅れのない姿勢を持つアバター画像となる。
　これらの処理の結果、例えば先に説明した図１５（ｂ３）に示すように、ユーザは、ユーザの現在の姿勢からの遅延が極めて少ない姿勢を持つアバター画像を、ＭＲグラスを用いて観察することが可能となる。

　図１７、図１８を参照して説明したシーケンスは、ユーザ端末がサーバに送信するセンサ検出値を選択する処理を行うシーケンスである。
　ユーザ端末において、サーバに送信するセンサ検出値を選択する処理の具体例について、図１９、図２０を参照して説明する。

　図１９に示すように、ユーザ端末１２はセンサ検出値送信対象選択部（移動速度解析部）６１を有する。
　ユーザ端末１２のセンサ検出値送信対象選択部（移動速度解析部）６１は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）に装着されたＩＭＵ等の動きセンサの検出値を入力し、各部位の移動速度を算出する。

　さらに、算出した各部位の移動速度と、あらかじめ規定したしきい値とを比較し、予め規定したしきい値以上の移動速度を持つ部位を検出する。

　図１９に示す例は、左腕に装着した左腕動きセンサの検出値の変化が大きく、左腕の動き速度が規定しきい値以上であったと判定した例である。
　この場合、ユーザ端末は、左腕動きセンサの検出値をパケットに格納した送信パケットを生成してサーバに送信する。

　図２０に示す例は、ユーザ端末１２のセンサ検出値送信対象選択部（移動速度解析部）６１が、左足と右足に装着した動きセンサの検出値の変化が大きく、これら左足と右足の動き速度が規定しきい値以上であったと判定した例である。
　この場合、ユーザ端末は、左足と右足の動きセンサの検出値をパケットに格納した送信パケットを生成してサーバに送信する。

　サーバは、ユーザ端末から受信した姿勢情報と、動きの速い部分のセンサ検出値を組み合わせてユーザ姿勢反映アバター３次元画像を生成してユーザ端末に送信する。
　これらの処理によって、ユーザの現在の姿勢から遅延のきわめて少ないアバター画像をＭＲグラスに表示することが可能となり、ユーザは違和感なくＭＲ画像を観察することができる。

　次に、図２１に示すフローチャートを参照して、（処理例１）の処理においてユーザ端末が実行する処理、すなわちユーザ端末が送信対象のセンサ検出値を選択する処理例１を行う場合にユーザ端末が実行する処理のシーケンスについて説明する。
　なお、図２１に示すフローに従った処理は、ユーザ端末の記憶部に格納されたプログラムに従って実行することが可能である。
　以下、図２１に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、ユーザ端末は、ステップＳ１０１においてセンサから、センサ検出値を取得する。
　前述したように、ユーザには、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサが装着されており、ユーザ端末は、これらのセンサから一定周期、例えば１０ｍｓｅｃ周期でセンサ検出値を入力する。

　　（ステップＳ１０２）
　ステップＳ１０２～Ｓ１０３の処理と、ステップＳ１０４～Ｓ１０６の処理はユーザ端末において並列に実行される処理である。

　ステップＳ１０２において、ユーザ端末は、ユーザの各部位の装着センサから取得したセンサ検出値を利用してユーザ姿勢情報を生成する。
　このユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、以下の各処理を順次、実行してユーザ姿勢情報を生成する。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」が生成される。
　なお、先に説明したように、このユーザ姿勢情報生成処理は、例えば１００ｍｓｅｃ周期で実行される。

　　（ステップＳ１０３）
　ステップＳ１０２でユーザ姿勢情報生成処理が完了すると、ユーザ端末は、生成したユーザ姿勢情報をステップＳ１０３においてサーバに送信する。

　ユーザ端末は１００ｍｓｅｃ間隔でユーザ姿勢情報を格納したパケットを、順次、サーバに送信する。

　　（ステップＳ１０４）
　ステップＳ１０２～Ｓ１０３のユーザ姿勢情報の生成、送信処理に併せて、ユーザ端末はステップＳ１０４～Ｓ１０６の処理を実行する。

　ユーザ端末はステップＳ１０４において、ユーザの各部位に装着されたセンサから取得したセンサ検出値を解析し、予め規定したしきい値以上の移動速度を有する部位の有無を判定する。

　　（ステップＳ１０５）
　ステップＳ１０５は分岐ステップであり、ステップＳ１０４において、予め規定したしきい値以上の移動速度を有する部位が検出された場合は、ステップＳ１０６に進み、検出されなかった場合はステップＳ１０７に進む。

　　（ステップＳ１０６）
　ステップＳ１０５において、予め規定したしきい値以上の移動速度を有する部位が検出された場合、ステップＳ１０６の処理を実行する。

　この場合、ユーザ端末は、ステップＳ１０６において、予め規定したしきい値以上の移動速度を有する部位のセンサ検出値をサーバに送信する。

　　（ステップＳ１０７）
　ステップＳ１０７は、ユーザ端末における処理終了判定ステップである。ＭＲグラスに対するアバター画像出力処理を終了する場合は、処理を終了する。継続する場合は、ステップＳ１０１に戻り、ステップＳ１０１～Ｓ１０６の処理を繰り返す。

　ユーザ端末が駒野ズ２１に示すフローに従った処理を実行することで、例えば先に説明した図１５（ｂ３）に示すように、ユーザは、ユーザの現在の姿勢からの遅延が極めて少ない姿勢を持つアバター画像を、ＭＲグラスを用いて観察することが可能となる。

　　（３－２．（処理例２）サーバが送信対象のセンサ検出値を選択する処理の処理シーケンス）
　次に、（処理例２）として、サーバが送信対象のセンサ検出値を選択する処理の処理シーケンスについて、図２２以下を参照して説明する。

　図２２、図２３は、サーバが送信対象のセンサ検出値を選択する処理を行う場合に、本開示の情報処理システムを構成する要素間で実行する通信シーケンスを説明するシーケンス図である。
　図２２、図２３には、左から、ＭＲグラス、センサ、ユーザ端末、サーバを示している。
　以下、図２２、図２３のシーケンス図に示す各ステップの処理について、順次、説明する。

　　（ステップＳ３１）
　ステップＳ３１は、センサから、センサ検出値をユーザ端末に送信する処理である。
　前述したように、ユーザには、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサが装着されており、これらのセンサから一定周期、例えば１０ｍｓｅｃ周期でセンサ検出値がユーザ端末に送信される。

　なお、このステップＳ３１のセンサ検出値のユーザ端末に対する送信処理は、継続的に実行される。

　　（ステップＳ３２）
　センサからセンサ検出値を受信したユーザ端末は、ステップＳ３２において、受信したセンサ検出値に基くユーザ姿勢情報の生成処理を実行する。

　このユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、図８に示す（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」が生成される。
　なお、先に説明したように、このユーザ姿勢情報生成処理は、例えば１００ｍｓｅｃ周期で実行される。

　　（ステップＳ３３）
　次に、ユーザ端末は、ステップＳ３３において、ステップＳ３２で生成したユーザ姿勢情報をサーバに送信する。

　　（ステップＳ３４）
　ユーザ端末からユーザ姿勢情報を受信したサーバは、ステップＳ３４において、ユーザ姿勢情報に基づいて、予め規定したしきい値以上の移動速度を有する部位の有無を判定する。

　サーバは、例えば１００ｍｓｅｃ周期でユーザ端末から入力する時系列のユーザ姿勢情報に基づいて、予め規定したしきい値以上の移動速度を有する部位の有無を判定する。

　ステップＳ３４の判定処理において、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合は、ステップＳ３５に進む。
　一方、予め規定したしきい値以上の移動速度を有する部位が検出された場合は、ステップＳ４１に進む。

　　（ステップＳ３５～Ｓ３６）
　ステップＳ３４において、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合、サーバは、ステップＳ３５において、ユーザ姿勢情報を反映したアバター３次元画像を生成し、ステップＳ３６において生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する。

　　（ステップＳ３７）
　サーバからユーザ姿勢反映アバター３次元画像を受信したユーザ端末は、ステップＳ３７において、ユーザ姿勢反映アバター３次元画像をＭＲグラスの表示部に描画する。

　このステップＳ３５～Ｓ３７の処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほぼ１００ｍｓｅｃ遅れた姿勢を持つアバター画像となる。
　これらの処理は、例えば先に図１５（ａ）を参照して説明した処理に相当する。

　　（ステップＳ４１）
　一方、ステップＳ３４において、サーバが予め規定したしきい値以上の移動速度を有する部位を検出した場合、サーバはステップＳ４１において、ユーザ端末に対して、予め規定したしきい値以上の移動速度を有する部位のセンサ検出値の送信を要求する。

　具体的には、例えば左腕の移動速度がしきい値以上であると判定した場合は、左腕のセンサ検出値の送信要求を行う。
　また、左足と右足の移動速度がしきい値以上であると判定した場合は、左足と右足のセンサ検出値の送信要求を行う。

　　（ステップＳ４２）
　サーバから特定部位のセンサ検出値送信要求を受信したユーザ端末は、ステップＳ４２において、サーバから指定された特定部位のセンサ検出値をサーバに送信する。

　ユーザ端末は、例えば、センサのサンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成してサーバ４０に送信する。

　　（ステップＳ４３～Ｓ４４）
　ユーザ端末から特定部位のセンサ検出値を受信したサーバは、ステップＳ４３において、ユーザ端末から受信済みのユーザ姿勢情報とセンサ検出値の２種類の情報を利用して、ユーザ姿勢反映アバター３次元画像を生成し、ステップＳ４４において生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する。

　　（ステップＳ４５）
　サーバから、ユーザ姿勢とセンサ検出値の双方を利用して生成されたユーザ姿勢反映アバター３次元画像を受信したユーザ端末は、ステップＳ４５において、ユーザ姿勢反映アバター３次元画像をＭＲグラスの表示部に描画する。

　このステップＳ４１～Ｓ４５の処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほとんど遅れのない姿勢を持つアバター画像となる。
　これらの処理の結果、例えば先に説明した図１５（ｂ３）に示すように、ユーザは、ユーザの現在の姿勢からの遅延が極めて少ない姿勢を持つアバター画像を、ＭＲグラスを用いて観察することが可能となる。

　　［４．ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する実施例について］
　次に、ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する実施例について説明する。

　先に図１１等を参照して説明したように、ユーザの体の各部位に装着した動きセンサは例えば１０ｍｓｅｃ周期でセンサ検出値を出力する。
　しかし、一方、ユーザ端末における姿勢情報の生成処理は、１００ｍｓｅｃ周期で実行されるにすぎない。

　従って、ユーザ端末がユーザ姿勢情報のみを生成してサーバに送信する場合、ユーザ姿勢情報の生成に利用されるセンサ検出値は１００ｍｓｅｃ周期のセンサ検出値となり、１０ｍｓｅｃ周期で出力されるセンサ検出値の多くは利用されないことになる。
　センサによるセンサ検出値の取得、送信処理には電力が消費され、結果として無駄な消費電力が発生することになる。

　以下に説明する実施例は、このセンサによる電力消費を低減する実施例である。
　具体的には、サーバへの送信対象として選択された部位のセンサのみについて高周期（例えば１０ｍｓｅｃ周期）でセンサ検出値を取得し、その他のセンサについては低周期（例えば５０ｍｓｅｃ～１００ｍｓｅｃ周期）でセンサ検出値を取得する設定とすることで、センサによる消費電力を低減する。

　図２４、図２５に示すシーケンス図を参照して、この実施例を行う場合の処理シーケンスについて説明する。
　図２４、図２５には、左から、ＭＲグラス、センサ、ユーザ端末、サーバを示している。
　以下、図２４、図２５のシーケンス図に示す各ステップの処理について、順次、説明する。

　　（ステップＳ５１）
　ステップＳ５１は、センサから、センサ検出値をユーザ端末に送信する処理である。
　前述したように、ユーザには、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサが装着されている。

　本処理例では、通常時のセンサのサンプリング周期を標準周期、例えば５０ｍｓｅｃ周期の低周期とする。
　ステップＳ５１では、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）に装着された動きセンサの各々から、低周期（例えば５０ｍｓｅｃ周期）でセンサ検出値がユーザ端末に送信される。

　なお、このステップＳ５１のセンサ検出値のユーザ端末に対する送信処理は、継続的に実行される。

　　（ステップＳ５２～Ｓ５３）
　センサからセンサ検出値を受信したユーザ端末は、ステップＳ５２において、受信したセンサ検出値に基くユーザ姿勢情報の生成処理を実行し、生成したユーザ姿勢情報を、ステップＳ５３においてサーバに送信する。

　　（ステップＳ５４）
　ユーザ端末は、さらに、上記のステップＳ５２におけるユーザ姿勢情報生成処理に並行する処理として、ステップＳ５４の処理を実行する。

　すなわち、ユーザ端末は、ステップＳ５４において、各センサから入力するセンサ検出値に基づいて、予め規定したしきい値以上の移動速度を有する部位を検出する。
　なお、ここでは、予め規定したしきい値以上の移動速度を有する部位が検出されたものとして説明する。

　　（ステップＳ５５）
　ユーザ端末は、ステップＳ５５において、予め規定したしきい値以上の移動速度を有する部位のセンサに対して、センサ検出周期を高周期、例えば１０ｍｓｅｃ周期に変更するようにサンプリング周期の変更指示を出力する。

　　（ステップＳ５６）
　ステップＳ５５において、ユーザ端末からサンプリング周期の変更指示を受信したセンサ、すなわち規定しきい値以上の移動速度を有する部位のセンサは、ステップＳ５６において、センサ検出周期を高周期、例えば１０ｍｓｅｃ周期に変更し、高周期で取得したセンサ検出値をユーザ端末に出力する処理を開始する。

　　（ステップＳ５７）
　ユーザ端末はステップＳ５７において、ステップＳ５６で規定しきい値以上の移動速度を有する部位のセンサから受信した高周期のセンサ検出値をサーバに送信する。

　ユーザ端末は、例えば、センサの高周期サンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成してサーバに送信する。

　　（ステップＳ５８～Ｓ５９）
　ユーザ端末からユーザ姿勢情報と、動きの速いユーザの部位のセンサ検出値を受信したサーバは、ステップＳ５８において、ユーザ端末から受信したユーザ姿勢情報とセンサ検出値の２種類の情報を利用して、ユーザ姿勢反映アバター３次元画像を生成し、ステップＳ５９において生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する。

　　（ステップＳ６０）
　サーバから、ユーザ姿勢とセンサ検出値の双方を利用して生成されたユーザ姿勢反映アバター３次元画像を受信したユーザ端末は、ステップＳ６０において、ユーザ姿勢反映アバター３次元画像をＭＲグラスの表示部に描画する。

　この処理シーケンスに従った処理により、動きの速いユーザの部位のセンサ検出値のみ高周期で取得され、その他の動きの遅い部位のセンサ検出値は定周期で取得されることになり、センサの消費電力を低減することが可能となる。

　　［５．サーバを利用しないユーザ端末間の通信処理によるユーザ姿勢反映アバター画像表示処理例について］
　次に、サーバを利用しないユーザ端末間の通信処理によるユーザ姿勢反映アバター画像表示処理例について説明する。

　上述した実施例では、ユーザ端末からサーバにユーザ姿勢情報を送信してサーバ側でユーザ姿勢反映アバター３次元画像を生成し、生成したユーザ姿勢反映アバター３次元画像をユーザ端末に送信する処理例として説明した。

　このようにサーバがユーザ姿勢反映アバター３次元画像を生成する処理例に限らず、例えばユーザ端末においてユーザ姿勢反映アバター３次元画像を生成する処理例も可能である。

　図２６は、サーバを用いることなく、２人のユーザ各々のユーザ端末間で通信を実行して、ユーザ端末において各ユーザのユーザ姿勢反映アバター３次元画像を含むＭＲ画像を生成して各ユーザのＭＲグラスに表示する処理例を説明する図である。

　図２６には、離れた場所にいるユーザａ，１０とユーザｂ，２０を示している。
　ユーザａ，１０とユーザｂ，２０、これらの各ユーザは、ＭＲグラスを装着している。
　ユーザａ，１０はＭＲグラス１１を装着し、ユーザｂ，２０はＭＲグラス２１を装着している。

　各ユーザａ，ｂが装着したＭＲグラス１１，２１には、図２６の中央に示すようなＭＲ画像（複合現実画像）が表示される。
　実在する風景の実オブジェクト画像上に、各ユーザの分身仮想キャラクタであるアバターを重畳表示したＭＲ画像である。
　ＭＲ画像内のアバターＡがユーザａ，１０の分身仮想キャラクタであり、アバターＢがユーザｂ，２０の分身仮想キャラクタに相当する。
　なお、ＭＲグラス１１，２１に表示される画像は３次元画像であり、背景画像とアバター画像はいずれも３次元画像として表示される。

　２人のユーザａ，ｂは、頭、腕、足など体の複数の部位に動きセンサを装着しており、これらのセンサの検出情報を利用してＭＲ画像内のアバターＡ，Ｂをユーザａ，ｂの動きと同様に動かす。
　ＭＲ画像内のアバターＡ，Ｂをユーザａ，ｂの動きと同様に動かすために実行される処理ステップが図２６に示すステップＳ７１ａ，ｂ～Ｓ７２ａ，ｂの処理である。
　これらの一連の処理について説明する。

　　（ステップＳ７１ａ，ステップＳ７１ｂ）
　まず、図２６のステップＳ７１ａに示すように、ユーザａ，１０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザａ，１０の近くにあるユーザ端末（スマホ）１２に送信される。
　ユーザ端末（スマホ）１２は、ユーザａ，１０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザａ，１０の３次元姿勢情報を生成する。

　一方、図１のステップＳ７１ｂに示すように、ユーザｂ，２０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザｂ，２０の近くにあるユーザ端末（ＰＣ）２２に送信される。
　ユーザ端末（ＰＣ）２２は、ユーザｂ，２０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザｂ，２０の３次元姿勢情報を生成する。

　　（ステップＳ７２ａ，ステップＳ７２ｂ）
　ユーザ端末（スマホ）１２がセンサ検出値に基づいて生成したユーザａ，１０の３次元姿勢情報は、ステップＳ７２ａにおいて、ユーザ端末（スマホ）１２から、もう一方のユーザ端末（ＰＣ）２２に送信される。

　一方、ユーザ端末（ＰＣ）２２がセンサ検出値に基づいて生成したユーザｂ，２０の３次元姿勢情報も、ステップＳ７２ｂにおいて、ユーザ端末（ＰＣ）２２から、ユーザ端末（スマホ）１２に送信される。

　　（ステップＳ７３ａ）
　ステップＳ７３ａにおいて、ユーザ端末（スマホ）１２は、以下の処理を実行する。
　（ａ）ユーザ端末（ＰＣ）２２から受信したユーザｂ，２０の３次元姿勢情報に基づいて、ユーザｂ，２０の３次元姿勢と同様の姿勢を持つアバターＢの３次元画像を生成する処理。
　（ｂ）ユーザ端末（スマホ）１２が生成したユーザａ，１０の３次元姿勢情報に基づいて、ユーザａ，１０の３次元姿勢と同様の姿勢を持つアバターＡの３次元画像を生成する処理。
　（ｃ）生成したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザａ，１０が装着しているＭＲグラス１１に出力する処理。

　　（ステップＳ７３ｂ）
　一方、ステップＳ７３ｂにおいて、ユーザ端末（ＰＣ）２２は、以下の処理を実行する。
　（ａ）ユーザ端末（スマホ）２２から受信したユーザａ，１０の３次元姿勢情報に基づいて、ユーザａ，１０の３次元姿勢と同様の姿勢を持つアバターＡの３次元画像を生成する処理。
　（ｂ）ユーザ端末（ＰＣ）２２が生成したユーザｂ，２０の３次元姿勢情報に基づいて、ユーザｂ，２０の３次元姿勢と同様の姿勢を持つアバターＢの３次元画像を生成する処理。
　（ｃ）生成したアバターＡ，Ｂの３次元画像を含むＭＲ画像をユーザｂ，２０が装着しているＭＲグラス２１に出力する処理。

　なお、図２６に示す例は、サーバを利用することなく２人のユーザが有する２台のユーザ端末を利用して各ユーザのアバターを１つのＭＲ画像上に表示して利用する処理例であるが、１人のユーザが１台のユーザ端末を利用して自分対応の１つのアバターをＭＲ画像上に表示して利用する処理も可能である。

　図２７を参照して、１人のユーザが１台のユーザ端末を利用して自身の１つのアバターをＭＲ画像上に表示して利用する処理例について説明する。

　図２７に示すユーザｃ，３０は、ＭＲグラス３１を装着している。
　ユーザｃ，３０が装着したＭＲグラス３１には、図２７の中央に示すようなＭＲ画像（複合現実画像）が表示される。
　実在するステージの実オブジェクト画像上に、ユーザｃ，３０の分身仮想キャラクタであるアバターＣを重畳表示したＭＲ画像である。
　ＭＲグラス３１に表示される画像は３次元画像であり、背景画像とアバター画像はいずれも３次元画像として表示される。

　ユーザｃ，３０は、頭、腕、足などに複数の動きセンサを装着し、これらのセンサの検出情報を利用してＭＲ画像内のアバターＣがユーザｃ，３０の動きと同様に動く。
　ＭＲ画像内のアバターＣをユーザｃ，３０の動きに併せて動かすために実行される処理を説明する処理ステップが図２７に示すステップＳ７１ｃ～Ｓ７３ｃの処理である。
　これらの一連の処理について説明する。

　　（ステップＳ７１ｃ）
　図２７のステップＳ７１ｃに示すように、ユーザｃ，３０の頭、腕、足などに装着された動きセンサのセンサ検出値が、ユーザｃ，３０の近くにあるユーザ端末（スマホ）３２に送信される。
　ユーザ端末（スマホ）３２は、ユーザｃ，３０の頭、腕、足などに装着された動きセンサのセンサ検出値を解析して、ユーザｃ，３０の３次元姿勢情報を生成する。

　　（ステップＳ７２ｃ）
　ユーザ端末（スマホ）３２は、ステップＳ７２ｃにおいて、センサ検出値に基づいて生成したユーザｃ，３０の３次元姿勢情報を利用して、ユーザｃ，３０の３次元姿勢と同様の姿勢を持つアバターＣの３次元画像を生成する。

　　（ステップＳ７３ｃ）
　次に、ユーザ端末（スマホ）３２は、ステップＳ７３ｃにおいて、生成したアバターＣの３次元画像を含むＭＲ画像をユーザｃ，３０が装着しているＭＲグラス３１に送信して表示する。

　次に、図２６を参照して説明した処理、すなわちサーバを利用することなく２台のユーザ端末の処理によってユーザの姿勢反映アバター３次元画像を生成してＭＲグラスに表示する処理例のシーケンスについて図２８以下を参照して説明する。
　以下、図２８～図３０のシーケンス図に示す各ステップの処理について、順次、説明する。

　　（ステップＳ８１ａ，Ｓ８１ｂ）
　ステップＳ８１ａ，Ｓ８１ｂは、ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）がセンサから、センサ検出値を入力する処理である。
　ユーザａ，ｂは、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサを装着しており、これらのセンサから一定周期、例えば１０ｍｓｅｃ周期でセンサ検出値が各ユーザ端末に送信される。

　なお、このステップＳ８１ａ，Ｓ８１ｂのセンサ検出値のユーザ端末に対する送信処理は、継続的に実行される。

　　（ステップＳ８２ａ，Ｓ８２ｂ）
　センサからセンサ検出値を受信したユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）は、ステップＳ８２ａ，Ｓ８２ｂにおいて、受信したセンサ検出値に基くユーザ姿勢情報の生成処理を実行する。

　なお、先に説明したように、このユーザ姿勢情報生成処理は、例えば１００ｍｓｅｃ周期で実行される。

　　（ステップＳ８３ａ，８３ｂ）
　ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）は、さらに、上記のステップＳ８２ａ，Ｓ８２ｂにおけるユーザ姿勢情報生成処理に並行する処理として、ステップＳ８３ａ，Ｓ８３ｂの処理を実行する。

　すなわち、ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）は、ステップＳ８３ａ，８３ｂにおいて、各センサから入力するセンサ検出値に基づいて、予め規定したしきい値以上の移動速度を有する部位の有無を判定する。

　ステップＳ８３ａ，Ｓ８３ｂの判定処理において、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合は、ステップＳ８４ａ，Ｓ８４ｂに進む。
　一方、予め規定したしきい値以上の移動速度を有する部位が検出された場合は、ステップＳ９１ａ，Ｓ９１ｂに進む。

　　（ステップＳ８４ａ，Ｓ８４ｂ）
　ステップＳ８３ａ，Ｓ８３ｂにおいて、予め規定したしきい値以上の移動速度を有する部位が検出されなかった場合、ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）はステップＳ８４ａ，Ｓ８４ｂにおいて、ステップＳ８２ａ，Ｓ８２ｂで生成したユーザ姿勢情報を通信相手のユーザ端末に送信する。

　　（ステップＳ８５ａ，Ｓ８５ｂ）
　通信相手のユーザ端末から通信相手側のユーザのユーザ姿勢情報を受信したユーザ端末は、ステップＳ８５ａ，Ｓ８５ｂにおいて、通信相手側のユーザ姿勢情報を反映したアバター３次元画像を生成する。
　さらに、並行して自身のユーザ姿勢情報を反映したアバター３次元画像を生成する。

　　（ステップＳ８６ａ，Ｓ８６ｂ）
　ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）はステップＳ８６ａ，Ｓ８６ｂにおいて、ステップＳ８５ａ，Ｓ８５ｂにおいて生成した自身のユーザ姿勢情報を反映したアバター３次元画像と、通信相手側のユーザ姿勢情報を反映したアバター３次元画像をＭＲグラスの表示部に描画する。

　なお、このステップＳ８４ａ，ｂ～Ｓ８６ａ，ｂの処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほぼ１００ｍｓｅｃ遅れた姿勢を持つアバター画像となる。
　これらの処理は、例えば先に図１５（ａ）を参照して説明した処理に相当する。

　　（ステップＳ９１ａ，Ｓ９１ｂ）
　一方、ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）がステップＳ８３ａ，Ｓ８３ｂにおいて、予め規定したしきい値以上の移動速度を有する部位を検出した場合、ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）はステップＳ９１ａ，Ｓ９１ｂにおいて、ステップＳ８２ａ，Ｓ８２ｂで生成したユーザ姿勢情報とともに、しきい値以上の移動速度を有する部位のセンサ検出値を通信相手のユーザ端末に送信する。

　各ユーザ端末は、先に図１２～図１４を参照して説明したように動きの速いユーザの部位のセンサ検出値を選択的に取得して通信相手のユーザ端末に送信する。例えば、センサのサンプリング周期（１０ｍｓｅｃ）と同じ間隔でセンサ検出値を格納した小サイズパケットを生成して通信相手のユーザ端末に送信する。

　なお、センサ検出値格納パケットは、例えばＱｏＳ（Ｑｕｏｌｉｔｙ　Ｏｆ　Ｓｅｒｖｉｃｅ）に従って優先送信される低遅延優先パケットとして通信相手のユーザ端末に送信することが好ましい。このＱｏＳに従った処理を行うことで、センサ検出値格納パケットは遅延なく通信相手のユーザ端末に送信される。

　　（ステップＳ９２ａ，Ｓ９２ｂ）
　通信相手のユーザ端末からユーザ姿勢情報と、動きの速いユーザの部位のセンサ検出値を受信したもう一方のユーザ端末は、ステップＳ９２ａ，Ｓ９２ｂにおいて、ユーザ端末から受信したユーザ姿勢情報とセンサ検出値の２種類の情報を利用して、通信相手側のユーザのユーザ姿勢反映アバター３次元画像を生成する。
　さらに、並行して自身のユーザ姿勢情報とセンサ検出値の２種類の情報を利用したアバター３次元画像を生成する。

　この処理は、先に、図１５（ｂ）を参照して説明した処理に相当する。
　サーバは、図１５（ｂ１）に黒丸と点線で示すユーザ姿勢情報と、白丸で示すセンサ検出値に基くユーザ部位位置情報（右足位置情報、および左足位置情報）の全ての情報を利用して、（ｂ２）に示すようなユーザ姿勢反映アバター３次元画像を生成する。

　　（ステップＳ９３ａ，Ｓ９３ｂ）
　ユーザａ，ｂ各々のユーザ端末（スマホ、ＰＣ）はステップＳ９３ａ，Ｓ９３ｂにおいて、ステップＳ９２ａ，Ｓ９２ｂにおいて生成した自身のユーザ姿勢情報とセンサ検出値を利用したアバター３次元画像と、通信相手側のユーザ姿勢情報とセンサ検出値を利用したアバター３次元画像をＭＲグラスの表示部に描画する。

　このステップＳ９１ａ，Ｓ９１ｂ～Ｓ９３ａ，Ｓ９３ｂの処理によってＭＲグラスに表示されるユーザ姿勢反映アバター３次元画像は、ユーザの現在の姿勢からほとんど遅れのない姿勢を持つアバター画像となる。
　これらの処理の結果、例えば先に説明した図１５（ｂ３）に示すように、ユーザは、ユーザの現在の姿勢からの遅延が極めて少ない姿勢を持つアバター画像を、ＭＲグラスを用いて観察することが可能となる。

　　［６．ハンドトラッキングやハンドジェスチャー解析処理の制御処理例について］
　次に、ハンドトラッキングやハンドジェスチャー解析処理の制御処理例について説明する。

　上述した実施例において説明したように、ユーザの体の各部位に装着したセンサの検出値を解析することでユーザの姿勢情報を取得することができる。
　すなわち、先に図８を参照して説明したように、以下の各処理を順次、実行することで、ユーザの姿勢を推定することができる。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」を生成することができる。

　さらに、例えばズ３１に示すように、ユーザの頭部に装着したカメラ５８を利用して、カメラ撮影画像を解析することでユーザの手の動きを解析することができる。

　図３１に示すようにカメラ５８の撮影画像をユーザ端末２１に送信し、ユーザ端末２１において、ハンドトラッキング処理や、ハンドジェスチャー解析処理を実行する。
　しかし、これらのハンドトラッキング処理や、ハンドジェスチャー解析処理は、カメラ５８の撮影領域内にユーザの手がある場合にのみ実行することができ、カメラ５８の撮影領域内にユーザの手がない場合は実行することができない。

　具体的には、例えば図３２（ａ）に示すようにカメラ５８の撮影領域内にユーザの手がある場合にはハンドトラッキング処理や、ハンドジェスチャー解析処理を実行できる。しかし、図３２（ｂ）に示すようにカメラ５８の撮影領域内にユーザの手がない場合は実行できない。

　図３２（ｂ）に示すようにカメラ５８の撮影領域内にユーザの手がない場合にカメラ５８による画像撮影処理や、ユーザ端末によるハンドトラッキング処理や、ハンドジェスチャー解析処理を継続して実行すると無駄な消費電力が発生し、またユーザ端末における無駄な処理負荷が発生し、その他の必要な処理に遅延を発生させる恐れがある。

　この問題を解決するための一手法として、カメラ５８による画像撮影処理と、ユーザ端末におけるハンドトラッキング処理やハンドジェスチャー解析処理を、ユーザの手がカメラの画像撮影領域内にある場合にのみ実行する構成とすることが有効である。

　具体的には、ユーザ端末が、ユーザの手がカメラの画像撮影領域内にあるか否かをセンサ検出値に基いて生成するユーザ姿勢情報に基づいて判定し、この判定結果を利用してカメラ５８による画像撮影処理と、ユーザ端末におけるハンドトラッキング処理やハンドジェスチャー解析処理の実行、停止を制御する。

　図３３に示すフローチャートを参照して、ユーザ端末が上記処理を実行する場合の処理シーケンスについて説明する。
　なお、図３３に示すフローに従った処理は、ユーザ端末の記憶部に格納されたプログラムに従って実行することが可能である。
　以下、図３３に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、ユーザ端末は、ステップＳ２０１においてセンサから、センサ検出値を取得する。
　前述したように、ユーザには、体の各部位（頭、右腕、左腕、腰、右足、左足）にＩＭＵ等の動きセンサが装着されており、ユーザ端末は、これらのセンサから一定周期、例えば１０ｍｓｅｃ周期でセンサ検出値を入力する。

　　（ステップＳ２０２）
　ステップＳ２０２において、ユーザ端末は、ユーザの各部位の装着センサから取得したセンサ検出値を利用してユーザ姿勢情報を生成する。
　このユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、以下の各処理を順次、実行してユーザ姿勢情報を生成する。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」が生成される。

　　（ステップＳ２０３）
　ステップＳ２０２でユーザ姿勢情報生成処理が完了すると、次にユーザ端末は、ステップＳ２０３において、ユーザ姿勢情報からカメラが装着された頭の向きと、手の位置を解析し、手の位置がカメラの撮影範囲内にあるか否かを検証する。

　　（ステップＳ２０４）
　ステップＳ２０４は分岐ステップであり、ステップＳ２０３における検証処理において、手の位置がカメラの撮影範囲内にあると判定した場合は、ステップＳ２０５に進み、手の位置がカメラの撮影範囲内にないと判定した場合はステップＳ２０６に進む。

　　（ステップＳ２０５）
　ステップＳ２０４において、手の位置がカメラの撮影範囲内にあると判定した場合は、ステップＳ２０５に進む。

　この場合、ユーザ端末は、ステップＳ２０５において、カメラを起動し、ハンドトラッキング、ハンドジェスチャー解析処理を開始、または継続する。

　　（ステップＳ２０６）
　一方、ステップＳ２０４において、手の位置がカメラの撮影範囲内にないと判定した場合は、ステップＳ２０６に進む。

　この場合、ユーザ端末は、ステップＳ２０６において、ハンドトラッキング、ハンドジェスチャー解析処理を停止し、カメラによる画像撮影も停止する。

　なお、カメラによる撮影画像をその他の目的、例えば、ＳＬＡＭ処理など、ユーザまわりの環境解析処理等に利用している場合は、カメラによる画像撮影は継続して実行する構成としてもよい。

　　（ステップＳ２０７）
　ステップＳ２０７では処理の終了を判定する。処理を終了する場合はフローを終了する。処理を継続する場合は、ステップＳ２０１に戻り、ステップＳ２０１以下の処理を繰り返す。

　このような処理を実行することで、カメラやユーザ端末の消費電力の低減、さらにユーザ端末における処理負荷を低減させることが可能となる。また、ユーザ端末が実行すべき必要な処理に遅延を発生させることなく効率的なデータ処理を行わせることが可能となる。

　　［７．その他の実施例について］
　次に、その他の実施例について説明する。

　上述した実施例は、ユーザの体の各部位に装着したＩＭＵ等の動きセンサの検出情報を用いてユーザの姿勢やユーザの体の各部位の位置を解析する処理を行う実施例であった。

　ユーザの姿勢やユーザの体の各部位の位置の解析処理はＩＭＵ等の動きセンサを利用することなくその他のデバイスを用いて行うことも可能である。
　例えばカメラを用いてユーザの体全体や体の各部位の撮影画像を用いてユーザの姿勢やユーザの体の各部位の位置の解析処理を行うことが可能である。

　カメラ撮影画像を用いた姿勢解析処理は、ＩＭＵ等の動きセンサの検出情報を用いたユーザ姿勢解析処理に比較して高速に行うことが可能である。
　しかし、カメラ撮影画像を用いた姿勢情報生成処理にも所定のデータ処理時間は必要であり、ユーザの体の各部位の位置はカメラ撮影画像から直接取得する方が早い。

　従って、カメラ撮影画像を用いたユーザ姿勢情報の算出処理と、カメラ撮影画像を用いたユーザの体の部位位置取得処理を行う場合も上記のセンサを用いた実施例と同様、並列に実行することで、遅延の少ないアバター画像の生成、出力処理を行うことができる。
　すなわち、カメラ撮影画像を用いた算出される姿勢情報に対して、動きの速い体の部位の位置をカメラ撮影画像から取得して利用する構成である。

　さらに、例えばユーザの体の動きに応じてカメラの撮影フレームレートを変更する処理も可能である。
　例えばユーザがほぼ静止している場合には、カメラの撮影フレームレートを低下させ、ユーザが激しく動いている場合は撮影フレームレートを上げるといった処理を行う。
　このようなフレームレート制御を行うことで、ユーザの動きに対する遅延をさらに低減したアバター画像の生成、出力が可能となる。
　また、ユーザがほぼ静止している場合にカメラの撮影フレームレートを低下させることで消費電力を低減させることも可能となる。

　　［８．情報処理装置の構成例について］
　次に、本開示の処理に利用されるユーザ端末やＭＲグラス、サーバなどの情報処理装置の構成例について説明する。

　図３４は、ユーザ端末、ＭＲグラス、サーバなどの情報処理装置の一構成例を示す図である。
　なお、図３４の左側にユーザ端末対応の情報処理装置１００の構成例、右側にサーバ２００の構成例を示している。
　左側に示すユーザ端末対応の情報処理装置１００は、例えばスマホやＰＣ等のユーザ端末単体の構成である。ただし、情報処理装置１００は、例えばスマホやＰＣ等の機能（データ処理、通信等の機能）を備えたＭＲグラスとしてもよい。

　まず、左側のユーザ端末対応の情報処理装置１００の構成について説明する。
　情報処理装置１００は、センサＩＦ１０１、姿勢推定部１０２、姿勢推定学習モデル１０３、通信部１０４、センサ検出値送信対象選択部１０５、姿勢反映３次元アバター画像描画処理部１０６を有する。

　センサＩＦ１０１は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足等）に装着されたＩＭＵ等のセンサ（動きセンサ）１５１に対応するＩＦであり、これらのセンサ１５１との間でデータ送受信を実行する。例えばブルートゥース（登録商標）通信等の近接通信を行うＩＦである。

　姿勢推定部１０２は、センサＩＦ１０１を介して入力するユーザの体の各部位（頭、右腕、左腕、腰、右足、左足等）に装着されたセンサの検出値を入力してユーザの姿勢を推定する処理を実行する。
　姿勢推定部１０２は、予め生成された姿勢推定学習モデル１０３を適用してユーザ姿勢を推定する。

　姿勢推定部１０２において実行するユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、以下の各処理を順次、実行してユーザ姿勢情報を生成する。
　（処理１）センサ検出値入力処理
　（処理２）ノイズ除去処理
　（処理３）動きベクトル群生成処理
　（処理４）姿勢推定処理（学習モデル適用姿勢推定処理）
　（処理５）接続部角度設定ベクトル生成処理
　姿勢推定部１０２は、これら（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」を生成する。

　姿勢推定学習モデル１０３は、多数のサンプルデータ、例えば多数の異なる動きベクトル群とユーザ姿勢との対応データを利用して予め生成された学習モデルであり、例えばユーザの体の各部位対応の動きベクトルを入力してユーザ姿勢を出力する学習モデルである。

　通信部１０４は、サーバ２００との通信を実行する。
　例えば情報処理装置１００の姿勢推定部１０２が生成したユーザ姿勢情報をサーバ２００に送信する。

　センサ検出値送信対象選択部１０５は、サーバ２００に送信するセンサ検出値の選択処理を実行する。
　先に説明したように、サーバ２００に送信するセンサ検出情報は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）に装着されたセンサの検出値の全てではなく、予め規定したしきい値以上の速度で動いていると判定された部位のセンサ検出値のみである。

　センサ検出値送信対象選択部１０５は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）に装着されたセンサの検出値を解析して、予め規定したしきい値以上の速度で動いている部位を選択し、選択した部位のセンサ検出値をサーバ２００に送信するセンサ検出値とする。
　予め規定したしきい値以上の速度で動いている部位のセンサ検出値は通信部１０４を介してサーバ２００に送信される。

　なお、サーバ２００に送信するセンサ検出値の選択処理は、ユーザ端末側で実行する処理例（図１７～図２１を参照して説明した処理）と、サーバ側で実行する処理例（図２２～図２５を参照して説明した処理）がある。
　この図３４に示す構成図は、サーバ２００に送信するセンサ検出値の選択処理をユーザ端末側で実行する処理例（図１７～図２１を参照して説明した処理）に対応する構成図である。
　サーバ２００に送信するセンサ検出値の選択処理をサーバ側で実行する処理例（図２２～図２５を参照して説明した処理）に対応する構成図については、後段で図３５を参照して説明する。

　姿勢反映３次元アバター画像描画処理部１０６は、サーバ２００が、姿勢情報やセンサ検出値を利用して生成したユーザ姿勢反映アバター３次元画像を、サーバ２００から通信部１０４を介して入力し、ＭＲグラスの表示部１５２に描画する処理を実行する。

　次にサーバ２００の構成について説明する。
　図に示すようにサーバ２００は、通信部２０１、姿勢反映３次元アバター画像生成部２０２を有する。

　サーバ２００は通信部２０１を介して、ユーザ端末等の情報処理装置１００からユーザ姿勢情報、またはユーザ姿勢情報とセンサ検出値を入力する。

　姿勢反映３次元アバター画像生成部２０２は、ユーザ端末等の情報処理装置１００から入力したユーザ姿勢情報、またはユーザ姿勢情報とセンサ検出値の２つの情報を利用してユーザ姿勢反映アバター３次元画像を生成し、通信部２０１を介して情報処理装置１００に送信する。

　情報処理装置１００がサーバ２００から受信したユーザ姿勢反映アバター３次元画像は、情報処理装置１００の姿勢反映３次元アバター画像描画処理部１０６においてＭＲグラスの表示部１５２に描画される。

　次に、図３５を参照して、サーバ２００に送信するセンサ検出値の選択処理をサーバ側で実行する処理例（図２２～図２５を参照して説明した処理）に対応する構成図について説明する。

　図３５の左側のユーザ端末対応の情報処理装置１００の構成について説明する。
　情報処理装置１００は、センサＩＦ１０１、姿勢推定部１０２、姿勢推定学習モデル１０３、通信部１０４、センサ検出値送信対象選択部１０５、姿勢反映３次元アバター画像描画処理部１０６を有する。

　センサ検出値送信対象選択部１０５以外の構成が実行する処理は、図３４を参照して説明した処理と同様であるので説明を省略する。
　図３５に示す構成におけるセンサ検出値送信対象選択部１０５は、通信部１０４を介してサーバ２００から、サーバが決定した送信対象センサ検出値情報を入力し、この入力情報に従って、サーバ２００に送信するセンサ検出値を選択的に取得して通信部１１０４を介してサーバ２００に送信する。

　次にサーバ２００の構成について説明する。
　図に示すようにサーバ２００は、通信部２０１、姿勢反映３次元アバター画像生成部２０２の他、ユーザ動き解析部２０３、センサ検出値送信対象選択部２０４を有する。

　姿勢反映３次元アバター画像生成部２０２は、ユーザ端末等の情報処理装置１００から入力したユーザ姿勢情報、またはユーザ姿勢情報とセンサ検出値の２つの情報を利用してユーザ姿勢反映アバター３次元画像を生成し、通信部２０１を介して情報処理装置１００に送信する。
　これらの処理は、先に図３４を参照して説明したと同様の処理である。

　ユーザ動き解析部２０３は、通信部２０１を介してユーザ端末等の情報処理装置からユーザ姿勢情報を入力し、入力するユーザ姿勢情報の時系列データを解析し、位置変化の激しいユーザ部位（左手などの部位）を検出し、その部位の移動速度を推定する。

　センサ検出値送信対象選択部２０４は、ユーザ動き解析部２０３の解析結果、すなわち、姿勢変化の激しいユーザ部位（左手などの部位）の推定移動速度と予め規定したしきい値を比較し、しきい値以上の移動速度を持つユーザ部位のセンサ検出値を送信対象センサ検出値として決定する。
　この決定情報は、通信部２０１を介してユーザ端末等の情報処理装置１００に送信される。

　ユーザ端末等の情報処理装置１００のセンサ検出値送信対象選択部１０５は、通信部１０４を介してサーバ２００からサーバが決定した送信対象センサ検出値情報を入力し、この入力情報に従って、サーバ２００に送信するセンサ検出値を選択的に取得して通信部１１０４を介してサーバ２００に送信する。

　次に、先に図２６や図２７を参照して説明したサーバを利用しない構成とした場合のユーザ端末等の情報処理装置の構成例について説明する。
　図３６は、サーバを利用せずユーザ端末のみで、ユーザの姿勢を反映したアバター画像を生成する構成とした場合の情報処理装置１００Ｂの構成例を示す図である。

　ユーザ端末等の情報処理装置１００Ｂは、センサＩＦ１０１、姿勢推定部１０２、姿勢推定学習モデル１０３、通信部１０４、姿勢反映３次元アバター画像生成部１０６、利用対象センサ検出値選択部１２１、姿勢反映３次元アバター画像生成部１２２を有する。

　センサＩＦ１０１は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足等）に装着されたＩＭＵ等のセンサ（動きセンサ）１５１に対応するＩＦであり、これらのセンサ１５１間でデータ送受信を実行する。例えばブルートゥース（登録商標）通信等の近接通信を行うＩＦである。

　姿勢推定部１０２において実行するユーザ姿勢情報生成処理は、先に図８を参照して説明した処理であり、図８に示す（処理１）～（処理５）の各処理を順次、実行して、ユーザの３次元姿勢を示す「姿勢情報」を生成する。

　通信部１０４は、例えば通信相手となる他のユーザ端末との通信を実行する。
　通信部１０４は、例えば情報処理装置１００の姿勢推定部１０２が生成したユーザ姿勢情報や、センサ検出値を通信相手となる他のユーザ端末に送信する。

　利用対象センサ検出値選択部１２１は、ユーザ姿勢反映３次元アバター画像に利用するセンサ検出値の選択処理を実行する。
　利用対象センサ検出値選択部１２１は、ユーザの体の各部位（頭、右腕、左腕、腰、右足、左足）に装着されたセンサの検出値を解析して、予め規定したしきい値以上の速度で動いている部位を選択し、選択した部位のセンサ検出値をユーザ姿勢反映３次元アバター画像に利用するセンサ検出値として選択する。
　予め規定したしきい値以上の速度で動いている部位のセンサ検出値は姿勢反映３次元アバター画像生成部１２２に出力される。

　姿勢反映３次元アバター画像生成部１２２は、姿勢推定部１０２が生成したユーザ姿勢情報、またはこのユーザ姿勢情報と、利用対象センサ検出値選択部１２１から入力した予め規定したしきい値以上の速度で動いている部位のセンサ検出値を利用してユーザ姿勢反映アバター３次元画像を生成する。
　生成したユーザ姿勢反映アバター３次元画像は、姿勢反映３次元アバター画像描画処理部１０６に出力される。

　姿勢反映３次元アバター画像描画処理部１０６は、姿勢反映３次元アバター画像生成部１２２が姿勢情報やセンサ検出値を利用して生成したユーザ姿勢反映アバター３次元画像を入力し、ＭＲグラスの表示部１５２に描画する処理を実行する。

　　［９．情報処理装置のハードウェア構成例について］
　次に、上述した実施例に従った処理を実行するユーザ端末、ＭＲグラス、サーバ等を構成する情報処理装置のハードウェア構成例について、図３７を参照して説明する。
　図３７に示すハードウェアは、本開示の情報処理装置、例えばＰＣ、スマホ等のユーザ端末、ＭＲグラス、サーバ等を構成する情報処理装置のハードウェア構成の一例である。
　図３７に示すハードウェア構成について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部を有し、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力し、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置。

　（２）　前記姿勢反映３次元アバター画像生成部が生成するユーザ姿勢反映３次元アバター画像は、
　（ａ）前記姿勢推定部が推定したユーザ姿勢、
　（ｂ）前記姿勢推定部が前記ユーザ姿勢の生成に利用したセンサ検出値より新しいセンサ検出値、
　上記（ａ），（ｂ）の各データを利用して生成した画像である（１）に記載の情報処理装置。

　（３）　前記姿勢反映３次元アバター画像生成部が生成するユーザ姿勢反映３次元アバター画像は、
　前記姿勢推定部が推定したユーザ姿勢に基づいて生成されるアバター画像に対して、前記センサ検出値選択部が選択したセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理によって生成されるアバター画像である（１）または（２）に記載の情報処理装置。

　（４）　前記センサ検出値選択部は、
　前記外部装置からの指定情報に従って、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記センサ検出値選択部は、
　動きセンサのセンサ検出値を解析して、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得する（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記情報処理装置は、さらに、
　ユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を、表示部に描画するアバター画像描画処理部を有する（１）～（５）いずれかに記載の情報処理装置。

　（７）　前記姿勢反映３次元アバター画像生成部は、
　前記情報処理装置と通信可能なサーバのデータ処理部であり、
　前記情報処理装置は、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記サーバに送信する処理と、
　前記サーバが生成したユーザ姿勢反映３次元アバター画像をサーバから受信する処理を実行する通信部を有する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記姿勢反映３次元アバター画像生成部は、
　前記情報処理装置内のデータ処理部であり、
　前記情報処理装置は、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記情報処理装置内の姿勢反映３次元アバター画像生成部に入力し、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力する（１）～（７）いずれかに記載の情報処理装置。

　（９）　前記姿勢推定部は、
　予め生成した学習モデルを利用してユーザ姿勢を推定する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記表示部は、ＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）グラスの表示部である（１）～（９）いずれかに記載の情報処理装置。

　（１１）　前記情報処理装置は、さらに、
　ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する処理を実行する（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　前記情報処理装置は、
　規定しきい値より動きの速い部位のセンサ検出値を出力するセンサのサンプリング周期を高周期に設定し、規定しきい値未満の動き速度の部位のセンサ検出値を出力するセンサのサンプリング周期を低周期に設定する制御を行う（１）～（１１）いずれかに記載の情報処理装置。

　（１３）　ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成部を有し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理装置。

　（１４）　前記姿勢反映３次元アバター画像生成部が前記画像修正処理に利用するセンサ検出値は、前記ユーザ姿勢の推定処理に利用したセンサ検出値より新しいセンサ検出値である（１３）に記載の情報処理装置。

　（１５）　ユーザ端末とサーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部と、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記ユーザ端末から受信するユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成し、生成したユーザ姿勢反映３次元アバター画像を前記ユーザ端末に送信し、
　前記ユーザ端末は、
　前記サーバから受信したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置システム。

　（１６）　前記サーバは、
　（ａ）前記ユーザ端末の前記姿勢推定部が推定したユーザ姿勢、
　（ｂ）前記ユーザ端末の前記姿勢推定部が前記ユーザ姿勢の生成に利用したセンサ検出値より新しいセンサ検出値、
　上記（ａ），（ｂ）の各データを利用して前記ユーザ姿勢反映３次元アバター画像を生成する（１５）に記載の情報処理システム。

　（１７）　前記サーバが生成するユーザ姿勢反映３次元アバター画像は、
　前記ユーザ端末の姿勢推定部が推定したユーザ姿勢に基づいて生成されるアバター画像に対して、前記ユーザ端末のセンサ検出値選択部が選択したセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理によって生成されるアバター画像である（１５）または（１６）に記載の情報処理システム。

　（１８）　情報処理装置において実行する情報処理方法であり、
　姿勢推定部が、ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定ステップと、
　センサ検出値選択部が、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択ステップと、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力するステップと、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力するステップを実行する情報処理方法。

　（１９）　情報処理装置において実行する情報処理方法であり、
　姿勢反映３次元アバター画像生成部が、ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成処理を実行し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理方法。

　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ユーザ動きに対する遅延の少ないユーザ姿勢反映３次元アバター画像を生成して表示する装置、方法が実現される。
　具体的には、例えば、ユーザ端末がユーザの体に装着した動きセンサの検出値を入力してユーザ姿勢を推定し、さらに動きの速い部位のセンサ検出値を選択してサーバに送信する。サーバは、ユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成しユーザ端末に送信する。ユーザ端末は受信したユーザ姿勢反映３次元アバター画像を表示部に出力する。サーバはユーザ姿勢に基づくアバター画像に対して、より新しいセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正を行ってユーザ姿勢反映３次元アバター画像を生成する。
　本構成により、、ユーザ動きに対する遅延の少ないユーザ姿勢反映３次元アバター画像を生成して表示する装置、方法が実現される。

　　１０，２０，３０　ユーザ
　　１１，２１，３１　ＭＲグラス
　　１２，２２，３２　ユーザ端末
　　３３　透過型ＭＲグラス
　　３４　カメラ
　　４０　サーバ
　　５１～５６　センサ（動きセンサ）
　　５８　カメラ
　　６１　センサ検出値送信対象選択部（移動速度解析部）
　１００　情報処理装置
　１０１　センサＩＦ
　１０２　姿勢推定部
　１０３　姿勢推定学習モデル
　１０４　通信部
　１０５　センサ検出値送信対象選択部
　１０６　姿勢反映３次元アバター画像描画処理部
　１２１　利用対象センサ検出値選択部
　１２２　姿勢反映３次元アバター画像生成部
　１５２　表示部
　２００　サーバ
　２０１　通信部
　２０２　姿勢反映３次元アバター画像生成部
　２０３　ユーザ動き解析部
　２０４　センサ検出値送信対象選択部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部を有し、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力し、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置。
　前記姿勢反映３次元アバター画像生成部が生成するユーザ姿勢反映３次元アバター画像は、
　（ａ）前記姿勢推定部が推定したユーザ姿勢、
　（ｂ）前記姿勢推定部が前記ユーザ姿勢の生成に利用したセンサ検出値より新しいセンサ検出値、
　上記（ａ），（ｂ）の各データを利用して生成した画像である請求項１に記載の情報処理装置。
　前記姿勢反映３次元アバター画像生成部が生成するユーザ姿勢反映３次元アバター画像は、
　前記姿勢推定部が推定したユーザ姿勢に基づいて生成されるアバター画像に対して、前記センサ検出値選択部が選択したセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理によって生成されるアバター画像である請求項１に記載の情報処理装置。
　前記センサ検出値選択部は、
　前記外部装置からの指定情報に従って、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得する請求項１に記載の情報処理装置。
　前記センサ検出値選択部は、
　動きセンサのセンサ検出値を解析して、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得する請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　ユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を、表示部に描画するアバター画像描画処理部を有する請求項１に記載の情報処理装置。
　前記姿勢反映３次元アバター画像生成部は、
　前記情報処理装置と通信可能なサーバのデータ処理部であり、
　前記情報処理装置は、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記サーバに送信する処理と、
　前記サーバが生成したユーザ姿勢反映３次元アバター画像をサーバから受信する処理を実行する通信部を有する請求項１に記載の情報処理装置。
　前記姿勢反映３次元アバター画像生成部は、
　前記情報処理装置内のデータ処理部であり、
　前記情報処理装置は、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記情報処理装置内の姿勢反映３次元アバター画像生成部に入力し、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力する請求項１に記載の情報処理装置。
　前記姿勢推定部は、
　予め生成した学習モデルを利用してユーザ姿勢を推定する請求項１に記載の情報処理装置。
　前記表示部は、ＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）グラスの表示部である請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　ユーザに装着したセンサのサンプリング周期を各部位の移動速度に応じて変更する処理を実行する請求項１に記載の情報処理装置。
　前記情報処理装置は、
　規定しきい値より動きの速い部位のセンサ検出値を出力するセンサのサンプリング周期を高周期に設定し、規定しきい値未満の動き速度の部位のセンサ検出値を出力するセンサのサンプリング周期を低周期に設定する制御を行う請求項１に記載の情報処理装置。
　ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成部を有し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理装置。
　前記姿勢反映３次元アバター画像生成部が前記画像修正処理に利用するセンサ検出値は、前記ユーザ姿勢の推定処理に利用したセンサ検出値より新しいセンサ検出値である請求項１３に記載の情報処理装置。
　ユーザ端末とサーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定部と、
　規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択部と、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記ユーザ端末から受信するユーザ姿勢とセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成し、生成したユーザ姿勢反映３次元アバター画像を前記ユーザ端末に送信し、
　前記ユーザ端末は、
　前記サーバから受信したユーザ姿勢反映３次元アバター画像を表示部に出力する情報処理装置システム。
　前記サーバは、
　（ａ）前記ユーザ端末の前記姿勢推定部が推定したユーザ姿勢、
　（ｂ）前記ユーザ端末の前記姿勢推定部が前記ユーザ姿勢の生成に利用したセンサ検出値より新しいセンサ検出値、
　上記（ａ），（ｂ）の各データを利用して前記ユーザ姿勢反映３次元アバター画像を生成する請求項１５に記載の情報処理システム。
　前記サーバが生成するユーザ姿勢反映３次元アバター画像は、
　前記ユーザ端末の姿勢推定部が推定したユーザ姿勢に基づいて生成されるアバター画像に対して、前記ユーザ端末のセンサ検出値選択部が選択したセンサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理によって生成されるアバター画像である請求項１５に記載の情報処理システム。
　情報処理装置において実行する情報処理方法であり、
　姿勢推定部が、ユーザの体の複数部位に装着した動きセンサのセンサ検出値を入力してユーザ姿勢を推定する姿勢推定ステップと、
　センサ検出値選択部が、規定しきい値より動きの速い部位のセンサ検出値を選択的に取得するセンサ検出値選択ステップと、
　前記姿勢推定部が推定したユーザ姿勢と、前記センサ検出値選択部が選択したセンサ検出値を外部装置、または情報処理装置内の姿勢反映３次元アバター画像生成部に出力するステップと、
　前記姿勢反映３次元アバター画像生成部がユーザ姿勢とセンサ検出値を利用して生成したユーザ姿勢反映３次元アバター画像を表示部に出力するステップを実行する情報処理方法。
　情報処理装置において実行する情報処理方法であり、
　姿勢反映３次元アバター画像生成部が、ユーザの体の部位に装着した動きセンサのセンサ検出値に基いて推定されるユーザ姿勢と、前記動きセンサのセンサ検出値を利用してユーザ姿勢反映３次元アバター画像を生成する姿勢反映３次元アバター画像生成処理を実行し、
　前記姿勢反映３次元アバター画像生成部は、
　前記ユーザ姿勢に基づいて生成される姿勢ベースアバター画像に対して、前記センサ検出値に基いて推定されるユーザ部位位置を反映させる画像修正処理を実行して、前記ユーザ姿勢反映３次元アバター画像を生成する情報処理方法。