JP2020112895A - 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置 - Google Patents

Abstract

【課題】仮想空間内におけるトラブル等の事象を記録可能な、情報処理装置の制御プログラム等を提供すること。【解決手段】ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間におけるユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置の制御プログラムは、情報処理装置に、仮想空間における位置を指定する入力情報を生成する位置指定機能と、位置指定機能によって指定された位置における仮想空間の画像情報を取得する取得機能と、画像情報に含まれる１以上のアバターを抽出し、抽出されたアバターが所定の条件を満たす場合に、アバターの動作を解析する解析機能と、解析機能による解析の結果に基づき、アバターの動作に関する情報を記述するテキスト情報を生成する生成機能と、生成機能によって生成されたテキスト情報を、所定の記憶部に記憶させる記憶機能とを実現させる。【選択図】 図１

Description

本発明は、情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置に関し、特に、仮想空間を提供するシステムで用いられる情報処理装置の制御プログラム等に関する。

近年、ヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）の普及と共に、ＨＭＤを用いた仮想空間を提供する様々なサービスが広がりを見せている。特に、ネットワークを介して、仮想空間上の複数のユーザがそれぞれのアバターを通じてコミュニケーションを図るサービスが人気を博している（例えば、非特許文献１）。このような仮想空間の実現において、現実世界のユーザの動きや表情をアバターに反映する技術が提案されている。（例えば、特許文献１）。

なお、仮想空間においても、現実世界と同様に、アバター間（ユーザ間）において様々なトラブルが発生することが考えられる。このような問題に対し、例えば特許文献２では、仮想空間内での会話やチャットを健全に運営すべく、不正ユーザ、迷惑行為ユーザを早期に発見する技術が提案されている。

"VR CHAT"、［online］、［平成３０年１２月５日検索］、インターネット、＜https://www.vrchat.net/#＞

特開２０１６−５３１３３３号公報 特開２０１８−９２４１６号公報

特許文献２では、通報者としてのユーザが、迷惑行為を行うアバターを撮影し、撮影画像に関する情報が通報データとしてサーバへ送信される。しかしながら、特許文献２に記載の技術では、以下のような問題がある。

まず、通報者としてのユーザ毎に、迷惑行為か否かの判断基準が異なる。従って、不要な通報が送信されたり、逆に、真の迷惑行為が通報されないことも起こり得る。また、仮想空間の管理者側が、犯罪となり得る行為に関する情報のやり取り等、不正行為を実行可能な場所として仮想空間を提供することも起こり得る。この場合、ユーザが通報したとしても、管理者側で適切な対応が取られるとは考え難い。

なお、仮想空間内で生じたトラブルを後から確認できるように、各ユーザの操作履歴を記録しておくことも考えられる。しかしながら、各アバターに対する各ユーザの操作情報には、アバターを動かすための操作情報、音声、そして、将来的には触覚などの情報も含まれてくると考えられる。それらの情報は、ユーザ数も相まって膨大なものになると考えられるため、これらの情報を記憶することは現実的ではない。

そこで、本発明は、上述のような問題を解消し、仮想空間内におけるトラブル等の事象を記録可能な、情報処理装置の制御プログラム等を提供する。

本発明の一実施形態に係る、ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間におけるユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置の制御プログラムであって、当該情報処理装置に、仮想空間における位置を指定する入力情報を生成する位置入力機能と、位置入力機能によって指定された位置における仮想空間の画像情報を取得する取得機能と、画像情報に含まれる１以上のアバターを抽出し、抽出されたアバターが所定の条件を満たす場合に、アバターの動作を解析する解析機能と、解析機能による解析の結果に基づき、アバターの動作に関する情報を記述するテキスト情報を生成する生成機能と、生成機能によって生成されたテキスト情報を、所定の記憶部に記憶させる記憶機能と、を実現させる。

本発明の一実施形態に係る制御プログラムにおいて、取得機能は、仮想空間の画像情報とともに音声情報を取得し、解析機能は、アバターとともに当該アバターの音声情報を抽出し、生成機能は、所定の条件の判定に、音声情報をさらに用いてもよい。

本発明の一実施形態に係る制御プログラムは、情報処理装置に、仮想空間におけるアバターの動作を特定する情報であるアノテーション情報を関連付ける関連付け機能をさらに実現させ、生成機能は、所定の条件として、抽出されたアバターに関連付けられたアノテーション情報に所定のキーワードが含まれる場合、テキスト情報を生成してもよい。

本発明の一実施形態に係る制御プログラムにおいて、位置入力機能は、解析機能によって抽出されたアバターが所定の条件を満たす場合に、当該アバターから所定距離内の複数の位置を指定する入力情報を生成し、取得機能は、複数の位置における、アバターに関する画像情報を取得してもよい。

本発明の一実施形態に係る制御プログラムにおいて、関連付け機能は、アバターの一連の動作を学習した結果に基づいて、アバターに関連付けるアノテーション情報を更新してもよい。

本発明の一実施形態に係る制御プログラムにおいて、記憶機能は、生成機能によって生成されたテキスト情報の記憶に、電子透かし又は分散型台帳技術を用いてもよい。

本発明の一実施形態に係る制御プログラムにおいて、記憶機能は、１のアバターとして仮想空間システムに登録された登録情報をさらに記憶し、位置入力機能は、仮想空間システムにおける１のアバターの位置を入力し、取得機能は、１のアバターの視界として、仮想空間の画像情報を取得してもよい。

本発明の一実施形態に係る制御プログラムにおいて、１のアバターは、仮想空間において背景を透過させる透明なオブジェクトとして実現されてもよい。

本発明の一実施形態に係る、ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間におけるユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置の制御方法は、当該情報処理装置が、仮想空間における位置を指定する入力情報を生成するステップと、指定された位置における仮想空間の画像情報を取得するステップと、画像情報に含まれる１以上のアバターを抽出し、抽出するステップによって抽出されたアバターが所定の条件を満たす場合に、アバターの動作を解析するステップと、解析するステップによる解析の結果に基づき、アバターの動作に関する情報を記述するテキスト情報を生成するステップと、生成するステップにて生成されたテキスト情報を、所定の記憶部に記憶させるステップと、を実行する。

本発明の一実施形態に係る、ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間におけるユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置は、仮想空間における位置を指定する入力情報を生成する位置入力部と、位置入力部によって指定された位置における仮想空間の画像情報を取得する取得部と、画像情報に含まれる１以上のアバターを抽出し、抽出部によって抽出されたアバターが所定の条件を満たす場合に、アバターの動作を解析する解析部と、解析部による解析の結果に基づき、アバターの動作に関する情報を記述するテキスト情報を生成する生成部と、生成部によって生成されたテキスト情報を、所定の記憶部に記憶させる記憶制御部と、を備える。

本発明によれば、仮想空間内におけるトラブル等の事象を記録する情報処理装置の制御プログラム等を提供することができる。

本発明の一実施形態に係る仮想空間記録システム構成の概略図である。 本発明の一実施形態に係る記録サーバ（情報処理装置）、コンピュータ、及び、ＨＭＤのハードウェア構成の一例である。 本発明の一実施形態に係るコンピュータのソフトウェア構成の一例である。 本発明の一実施形態に係る記録サーバ（情報処理装置）のソフトウェア構成の一例である。 （ａ）は、本発明の一実施形態に係る仮想空間記録システムを説明する概略図、（ｂ）は、本発明の一実施形態に係る仮想空間記録システムにおいて記憶される情報の一例である。 本発明の一実施形態に係るシーケンスの一例である。 本発明の一実施形態に係る仮想空間記録システムにおいて生成されるアノテーション情報の一例である。 本発明の他の実施形態に係る仮想空間記録システムを説明する概略図である。

以降、諸図面を参照しながら、本発明の一実施形態を詳細に説明する。

＜システム構成＞
図１は、本発明の一実施形態に係る仮想空間記録システムの構成例を示す図である。図１に示すように、仮想空間記録システム７００は、ネットワーク６００を介して互いに接続された、記録サーバ（情報処理装置）１００と、仮想空間提供サーバ２００と、各ユーザのＨＭＤシステム５００Ａ〜５００Ｃとを含む。記録サーバ１００は、仮想空間提供サーバ２００が提供する仮想空間において生じる事象を記録する（詳細は後述する）。

仮想空間提供サーバ２００は、仮想空間提供サービス（以降、「仮想空間サービス」と称する）の管理者側のサーバであって、ユーザＡ〜ユーザＣそれぞれのＨＭＤシステム５００Ａ〜５００Ｃに仮想空間サービスを提供する。ＨＭＤシステム５００Ａ〜５００Ｃは、ユーザが仮想空間サービスを利用するためのシステムであって、それぞれ、ユーザ端末としてのＨＭＤ４００Ａ〜４００Ｃ及びコンピュータ３００Ａ〜３００Ｃを含む。なお、図１において、ユーザはユーザＡ、ユーザＢ、ユーザＣの３人を示してあるが、これに限られるものではなく、これ以上でも、これ以下でもよい。また、ＨＭＤ４００Ａ〜４００Ｃは、同一の種類のものである必要はなく、仮想空間提供サーバ２００が提供する仮想空間サービスを利用可能であればその種類は問わない。

なお、上述のように、ユーザＸに対応するＨＭＤシステム５００やコンピュータ３００等を、ＨＭＤシステムＸやコンピュータ３００Ｘ等と表現し、また、仮想空間サービスにおけるユーザ情報を、ユーザ情報Ｘと表現する。ここで、ユーザ情報とは、仮想空間サービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、例えば、ユーザにより入力される、又は、仮想空間サービスにより付与される、ユーザの名前、ユーザのアバター情報、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、電話番号やメールアドレスなどのユーザの連絡先、ユーザの識別子（ユーザＩＤ（IDentifier））などのユーザに対応づけられた情報であってよい。

なお、これ以降、特に区別する必要のない場合、ＨＭＤシステム５００Ａ〜５００ＣをＨＭＤシステム５００、ＨＭＤ４００Ａ〜４００ＣをＨＭＤ４００、コンピュータ３００Ａ〜３００Ｃをコンピュータ３００と総称する。

ネットワーク６００は、仮想空間提供サーバ２００、記録サーバ１００、及び、各コンピュータ３００を接続する役割を担う。ネットワーク６００は、これらの間でデータを送受信することができるように接続経路を提供する通信網を意味する。ネットワーク６００は、無線ネットワークや有線ネットワークを含んでよい。具体的には、ネットワーク６００は、ワイヤレスＬＡＮ（wireless LAN：ＷＬＡＮ）や広域ネットワーク（wide area network：ＷＡＮ）、ＩＳＤＮｓ（integrated service digital networks）、無線ＬＡＮｓ、ＬＴＥ（long term evolution）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（code division multiple access）等である。なお、ネットワーク６００は、これらの例に限られず、例えば、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）やブルートゥース（Bluetooth（登録商標））、光回線、ＡＤＳＬ（Asymmetric Digital Subscriber LINE）回線、衛星通信網等であってもよい。また、ネットワーク６００は、これらの組み合わせであってもよい。

仮想空間提供サーバ２００は、典型的にはクラウド上で実現されてもよい。仮想空間提供サーバ２００は、アプリケーションサーバとしての機能を有し、コンピュータ３００にインストールされたアプリケーションからの要求に応じて各種処理を実行する。

コンピュータ３００では、アプリケーションプログラムに基づいて、仮想空間や、コンピュータ３００のユーザ、及び、他のユーザのアバターの表示、音声の出力等が行われる。コンピュータ３００は、ＨＭＤ４００に対し、ＨＭＤ４００を装着したユーザに仮想空間を提供するための情報を送信する。仮想空間を提供するための情報とは、仮想空間を表示させる表示情報、仮想空間における音声情報、及び、将来的には触覚情報等を含む。なお、動画像情報を含んでもよい。また、コンピュータ３００は、ＨＭＤ４００を装着したユーザの動作に関する動作情報や、ユーザが発生した音声に関する音声情報（以降、「動作情報等」と称する）を、ＨＭＤ４００から取得し、取得した動作情報に応じて、仮想空間の表示を変化させる。また、コンピュータ３００は、ネットワーク６００を介して仮想空間提供サーバ２００から送信された、他のユーザの動作情報に応じて、仮想空間における他のユーザのアバターを動作させる。

ＨＭＤ４００は、ユーザの頭部に装着される。ＨＭＤ４００は、コンピュータ３００に接続されて仮想空間をユーザに提供する。ＨＭＤ４００は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。なお、図及び本開示では、コンピュータ３００に仮想空間のアプリケーションがインストールされる態様について説明するが、本発明はこれに限られるものではなく、ＨＭＤ４００にアプリケーションがインストールされ、また、ＨＭＤ４００がネットワーク６００に直接接続されて、ユーザに仮想空間を提供してもよい。

なお、記録サーバ１００、仮想空間提供サーバ２００、コンピュータ３００、及び、ＨＭＤ４００は、本開示に記載される機能、及び／又は、方法を実現できる情報処理装置であればどのような情報処理装置であってもよい。例えば、これら情報処理装置の例として、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）、サーバ装置、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダなど）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（Personal Digital Assistant）、電子メールクライアントなど）、ウェアラブル端末（例えば、メガネ型デバイス、時計型デバイスなど）、他種のコンピュータ、又はコミュニケーションプラットホームを含んでよい。

＜ハードウェア構成＞
図２を用いて、仮想空間記録システム７００に含まれる記録サーバ１００、コンピュータ３００、及び、ＨＭＤ４００のハードウェア構成について説明する。

（１）ＨＭＤシステム５００のハードウェア構成
本発明の一実施形態において、仮想空間提供サービスは既存のものを用いることができ、仮想空間提供サーバ２００及びＨＭＤシステム５００は既存の技術であってよい。従って、仮想空間提供サービスや仮想空間提供サーバ２００の詳細な説明は省略する。なお、仮想空間提供サービスは、本開示の記載に限定されるものではない。

コンピュータ３００は、プロセッサ３０１と、ストレージ３０２と、入出力インタフェース（入出力Ｉ／Ｆ）３０３と、メモリ３０４と、通信インタフェース（通信Ｉ／Ｆ）３０５とを含む。各構成要素は、バスＢを介して相互に接続される。

プロセッサ３０１は、ストレージ３０２に記憶されるプログラムに含まれるコード又は命令によって実現する機能や方法を実行する。メモリ３０４は、ストレージ３０２からロードしたプログラムを一時的に記憶し、プロセッサ３０１に対して作業領域を提供する。メモリ３０４には、プロセッサ３０１がプログラムを実行している間に生成される各種データも一時的に格納される。ストレージ３０２は、プログラムを記憶する。

通信Ｉ／Ｆ３０５は、ネットワーク６００を介して、他の情報処理装置である仮想空間提供サーバ２００や記録サーバ１００との通信を実行する。通信Ｉ／Ｆ３０５は、各種データを、プロセッサ３０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ３０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ３０１に伝達する。

入出力Ｉ／Ｆ３０３は、ＨＭＤ４００との接続インタフェースであって、ＨＭＤ４００との間でデータの通信を行う。入出力Ｉ／Ｆ３０３としては、例えば、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等が含まれる。なお、ＨＭＤ４００とコンピュータ３００との間のデータの通信は、無線通信（近距離無線通信（Bluetooth，Wi-Fi等））又は有線通信を介して行われてもよい。また、入出力Ｉ／Ｆ３０３には、図示しない、ＨＭＤ４００とは別個に設けられる他のセンサであって、例えば、赤外線センサ、カメラ等が接続されてもよい。カメラは、ユーザの表情を検出可能に備えられ、ユーザの表情の変化を、アバターの表情の変化に反映させてもよい。

ＨＭＤ４００は、ジャイロセンサ４１０、視線センサ４２０、カメラ４３０、マイク４４０、モニタ４５０、及び、スピーカ４６０を含む。モニタ４５０は、例えば、液晶モニタ又は有機ＥＬ（Electro Luminescence）モニタとして実現され、３次元の仮想空間を表示する。より具体的には、モニタ４５０には、両目の視差に基づく３次元画像がユーザに認識されるように、右目用の画像及び左目用の画像が表示される。なお、ここではモニタ４５０として説明しているが、網膜投影であってもよい。

ジャイロセンサ４１０は、ＨＭＤ４００の傾きを検出する。なお、ＨＭＤ４００は、ジャイロセンサ４１０の他にも、加速度センサ、地磁気センサその他のセンサを含み、ＨＭＤ４００を装着したユーザの頭の動き（回転、傾き、向き、加速度等）を検出可能であってよい。さらに、コンピュータ３００が、ＨＭＤ４００に備えられたセンサや、上述した別個のセンサからの出力に基づいて、ＨＭＤ４００の位置及び傾きを検出するように構成されてもよい。

カメラ４３０は、カメラ４３０から対象物までの深度情報を取得可能に構成され、ＨＭＤ４００を装着したユーザの視線方向にあるもの（例えば、ユーザの手）を３次元で表示するためのデータを取得する。例えば、カメラ４３０は、ＴＯＦ（Time Of Flight）カメラ、ステレオカメラ、赤外線カメラ等であってよい。カメラ４３０は、取得した対象物の深度情報をコンピュータ３００に出力する。

スピーカ４６０は、コンピュータ３００から受信した音声信号を、音声に変換してユーザに出力する。マイク４４０は、ユーザの発話を電気信号に変換して、コンピュータ３００に出力する。視線センサ４２０は、ユーザの右目及び左目の視線が向けられる方向（視線）を検出する。

（２）記録サーバ１００のハードウェア構成
記録サーバ１００は、プロセッサ１０１と、ストレージ１０２と、入出力インタフェース（入出力Ｉ／Ｆ）１０３と、メモリ１０４と、通信インタフェース（通信Ｉ／Ｆ）１０５とを含む。各構成要素は、バスＢを介して相互に接続される。

記録サーバ１００は、プロセッサ１０１と、ストレージ１０２と、入出力Ｉ／Ｆ１０３と、メモリ１０４と、通信Ｉ／Ｆ１０５との協働により、本実施形態に記載される機能や方法を実現する。例えば、本開示の機能又は方法は、メモリ１０４に読み込まれたプログラムに含まれる命令をプロセッサ１０１が実行することによって実現される。

プロセッサ１０１は、ストレージ１０２に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び／又は、方法を実行する。プロセッサ１０１は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含み、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

メモリ１０４は、ストレージ１０２からロードしたプログラムを一時的に記憶し、プロセッサ１０１に対して作業領域を提供する。メモリ１０４には、プロセッサ１０１がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ１０４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む。

ストレージ１０２は、プログラムを記憶する。ストレージ１０２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含む。

通信Ｉ／Ｆ１０５は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク６００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ１０５は、ネットワーク６００を介して、他の情報処理装置である仮想空間提供サーバ２００やコンピュータ３００との通信を実行する。通信Ｉ／Ｆ１０５は、各種データをプロセッサ１０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ１０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ１０１に伝達する。

入出力Ｉ／Ｆ１０３は、記録サーバ１００に対する各種操作を入力する入力装置、及び、記録サーバ１００で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ１０３は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ１０１に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。出力装置は、プロセッサ１０１で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。

＜機能構成＞
次に、図３、図４を用いて、コンピュータ３００、記録サーバ１００の機能構成について説明する。

（１）コンピュータ３００の機能構成
図３に、コンピュータ３００の機能構成の概略図を示す。図３に示すように、コンピュータ３００は、仮想空間アプリケーション３１０として、表示制御部３２０及び仮想空間制御部３３０を含む。さらに、コンピュータ３００は、通信制御部３４０、記憶部３５０、入出力制御部３６０を含む。

通信制御部３４０は、通信Ｉ／Ｆ３０５を介した他の情報処理装置との間の通信を制御する。すなわち、通信制御部３４０は、他の情報処理装置である仮想空間提供サーバ２００、記録サーバ１００、他のコンピュータ３００との間の通信で取得したデータを、仮想空間アプリケーション３１０や記憶部３５０へ送信したり、仮想空間アプリケーション３１０や記憶部３５０からのデータを、他の情報処理装置へ送信したりする。

入出力制御部３６０は、入出力Ｉ／Ｆ３０３を介した、例えばＨＭＤ４００との間の通信を制御する。すなわち、入出力制御部３６０は、ＨＭＤ４００から送信されたユーザの動作情報や音声情報を、仮想空間アプリケーション３１０や記憶部３５０へ送信したり、仮想空間アプリケーション３１０から送信された仮想空間の表示情報や音声情報を、ＨＭＤ４００へ送信したりする。

表示制御部３２０は、仮想空間のうちＨＭＤ４００のモニタ４５０に表示させる画像を制御する。表示制御部３２０は、位置入力部３２１、視点入力部３２２、視界画像生成部３２３、動き検出部３２４、角速度検出部３２５、及び、視線検出部３２６を含む。

位置入力部３２１は、ＨＭＤ４００から送信されたユーザの動作情報に応じて、仮想空間における位置を設定する。すなわち、位置入力部３２１は、ユーザの歩行動作や走行動作に応じて、仮想空間内の移動先や移動距離を設定する。なお、ユーザの動作情報は、ＨＭＤ４００から送信されるものに限られず、図示しないコントローラから送信されてもよい。コントローラとしては、既知のものを用いることができる。又は、位置入力部３２１は、ユーザから直接入力された仮想空間内での移動先に基づき、仮想空間における位置を設定してもよい。視点入力部３２２は、ＨＭＤ４００の傾き（すなわち、ジャイロセンサ４１０の出力）と、位置入力部３２１によって設定された位置に応じて、ユーザの仮想空間の視界領域を設定する。視界画像生成部３２３は、設定された視界領域に基づいて、モニタ４５０に表示する仮想空間の視界画像を生成する。

動き検出部３２４は、ＨＭＤ４００から送信されたユーザの動きを検出する。ここ検出部３２６は、ジャイロセンサ４１０や図示しない他のセンサからの出力に基づいて、ユーザの視線としてのＨＭＤ４００の傾きを検出する。角速度検出部３２５は、ジャイロセンサ４１０の出力を角速度に変換し、変換した角速度を、視点入力部３２２及び視線検出部３２６に出力する。

仮想空間制御部３３０は、ユーザに提供する仮想空間を制御する。仮想空間制御部３３０は、仮想空間生成部３３１、仮想オブジェクト生成部３３２、及び、アバター生成部３３３を含む。

仮想空間生成部３３１は、仮想空間を表す仮想空間データを生成し、ＨＭＤ４００へ出力する。仮想オブジェクト生成部３３２は、仮想空間に配置されるオブジェクトを生成する。オブジェクトは、例えば、仮想空間に設定されたテーマや物語に従って配置される、市街地、道路、店舗といった人工物や、森、山その他を含む風景、動物等の自然物を模したオブジェクトを含んでよい。なお、仮想オブジェクト生成部３３２は、仮想空間においてユーザによる操作が可能なオブジェクトを生成してもよい。操作が可能なオブジェクトとしては、例えば、ユーザの手（ユーザのアバターの手）、他のユーザのアバターの手であってよい。また、仮想オブジェクト生成部３３２は、仮想空間サービスの登録ユーザによるプログラムに基づいて生成される任意のオブジェクトを表示させてもよい。なお、仮想空間において生成（表示）されるオブジェクトとしては、上述のものに限られるものではなく、例えば、仮想通貨、文字、静止画、動画等様々なものを含むことができる。

アバター生成部３３３は、仮想空間に配置されるアバターのデータを生成する。仮想空間に配置されるアバターとしては、ネットワーク６００を介して接続される他のコンピュータ３００の他のユーザのアバターオブジェクトであったり、ユーザのアバターオブジェクトであったりしてよい。なお、アバターオブジェクトとしては、人物、動物、ロボット、キャラクター等、ユーザによって設定された様々なものを含むことができる。

アバター生成部３３３は、角速度検出部３２５が出力する角速度に基づいて、ＨＭＤ４００の動きを、ユーザのアバターオブジェクトに反映する。また、アバター生成部３３３は、動き検出部３２４の出力に基づいて、現実空間のユーザの手の動きを含むユーザの動作を、アバターオブジェクトに反映する。また、アバター生成部３３３は、カメラで取得されたユーザの表情の変化や、ユーザの音声・発話内容に応じて、アバターの表情を変化させる。これは、既知の３次元画像生成技術や、ＨＭＤのユーザの顔に接触する部分に筋電センサを設けて表情を推定する技術によって行うことができる。また、アバター生成部３３３は、他のコンピュータ３００から入力される角速度の情報などに基づいて、他のコンピュータ３００の他のユーザに対応するアバターオブジェクトを動かして表示させる。

記憶部３５０は、コンピュータ３００が仮想空間をユーザに提供するために用いるデータを保持する。記憶部３５０は、仮想空間情報３５１や、ユーザ情報３５２を含む。仮想空間情報３５１は、仮想空間を提供するために規定された１つ以上のテンプレートや、上述したオブジェクト等を含む。

ユーザ情報３５２は、ＨＭＤシステム５００の制御装置としてコンピュータ３００を機能させるためのプログラムや、仮想空間サービスのアプリケーションプログラム、仮想空間サービスで利用可能なコンテンツ等を保持する。これらのプログラムやコンテンツは、仮想空間サービスを提供する事業者（例えば、仮想空間提供サーバ２００）や、コンテンツを提供する事業者のコンピュータや、クラウド上のデータをダウンロードすることで取得してもよい。

なお、仮想空間アプリケーション３１０の一部は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。又は、仮想空間アプリケーション３１０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

（２）記録サーバ１００の機能構成
図４に、記録サーバ１００の機能構成の概略図を示す。図４に示すように、記録サーバ１００は、仮想空間アプリケーション１１０として、表示制御部１２０及び仮想空間制御部１３０を含む。さらに、記録サーバ１００は、通信制御部１４０、記憶部１５０、操作入力情報生成部１６０、画像認識部１７０、テキスト生成部１８１、及び、関連付け部１８２を含む。

ここで、記録サーバ１００の各機能部の説明に先立ち、コンピュータ３００と記録サーバ１００と間の機能構成の差異について説明する。

記録サーバ１００は、コンピュータ３００と同様に、仮想空間サービスのアプリケーションプログラムをインストールされ、当該プログラムに基づき、仮想空間に関するデータを取得する。従って、コンピュータ３００における仮想空間アプリケーション３１０と、記録サーバ１００における仮想空間アプリケーション１１０との間に、機能上の差異はない。すなわち、本発明の一実施形態における仮想空間記録システムの実現にあたり、仮想空間サービスの管理者側に、何ら特別な措置を強いる必要はない。

記録サーバ１００とコンピュータ３００とは、記録サーバ１００にはＨＭＤ４００が接続されず、記録サーバ１００において、仮想空間を記録する場所（位置）や方向を指定するための入力情報が、操作入力情報生成部１６０によって生成される点に差異の１つがある。このため、図４において、仮想空間アプリケーション１１０の表示制御部１２０に、ＨＭＤ４００に関する動き検出部、角速度検出部、視線検出部は図示していない。しかしながら、本発明の一実施形態において、仮想空間サービスのアプリケーションプログラムを利用する場合、これら動き検出部、角速度検出部、視線検出部が機能として含まれてもよい。

上述のように、仮想空間アプリケーション１１０は、仮想空間アプリケーション３１０と同様であるため、以下では、同様の部分についての説明を省略し、異なる部分について説明する。

操作入力情報生成部１６０は、ＨＭＤシステム５００においてはＨＭＤ４００によって生成される情報を生成する。すなわち、位置入力情報生成部１６１は、仮想空間における位置を指定（設定）する入力情報を生成する。視点入力情報生成部１６２は、仮想空間の視界領域を指定する入力情報を生成する。これら、操作入力情報生成部１６０によって生成される入力情報は、ＨＭＤ４００から送信されるデータ形式に則ったデータ形式で生成されてよい。又は、原点を設定し、当該原点からの相対位置を数値で指定するものであってよいし、座標を直接指定するものであってよい。また、視点入力情報生成部１６２によって生成される情報には、現在位置からの回転角、回転方向などを含む。

画像認識部１７０は、仮想空間アプリケーション１１０によって生成された仮想空間に関する画像データを処理する。画像認識部１７０は、視界画像取得部１７１、解析部１７２を含む。視界画像取得部１７１は、仮想空間アプリケーション１１０における視界画像生成部１２３が生成した視界画像の情報（画像情報）を取得する。解析部１７２は、視界画像取得部１７１が取得した画像における１以上のアバターを抽出する。解析部１７２におけるアバターの抽出は、既存の画像解析技術を用いて行うことができる。

解析部１７２は、抽出されたアバターが所定の条件を満たすか否かを判定する。詳細は後述するが、所定の条件とは、仮想空間におけるトラブルの発生や、トラブルの発生に繋がり得る状態を判定可能な条件である。解析部１７２は、さらに、抽出されたアバターが所定の条件を満たすと判定された場合、当該アバターの動作を解析する。本開示において、解析とは、解析対象の統計的なデータを得ることを意味し、アバターの動作の解析とは、アバターの動作が時間の経過に沿ってどのように変化したかについてのデータを得ることを意味する。この、解析部１７２によるアバターの動作の解析やアバターの表情の解析も、既存の画像解析技術を用いることが出来る。なお、解析部１７２には、人工知能（ＡＩ：Artifficial Intelligence）、例えば、深層学習による解析技術が用いられてもよい。テキスト生成部１８１は、解析部１７２による解析の結果に基づき、アバターの動作に関する情報を記述するテキスト情報を生成する。

通信制御部１４０は、通信Ｉ／Ｆ１０５を介した他の情報処理装置との間の通信を制御する。すなわち、通信制御部１４０は、他の情報処理装置である仮想空間提供サーバ２００、複数のコンピュータ３００との間の通信で取得したデータを、仮想空間アプリケーション１１０や記憶部１５０へ送信したり、仮想空間アプリケーション１１０や記憶部１５０からのデータを、他の情報処理装置へ送信したりする。

記憶部１５０は、仮想空間情報１５１、ユーザ情報１５２、条件データベース（ＤＢ）１５３を含む。仮想空間情報１５１は、仮想空間を提供するために規定された１つ以上のテンプレートや、上述したオブジェクト等を含む。条件データベース１５３は、上述した所定の条件を保持する。さらに、記憶部１５０は、テキスト生成部１８１によって生成されたテキスト情報を保持する。

＜仮想空間における記録処理＞
次に、図５を用いて、記録サーバ１００が仮想空間における事象を記録する概要について説明する。図５（ａ）は、仮想空間１０を半球で表した図である。図において、仮想空間１０はアバター２０Ａ，２０Ｂを含む状態を示してある。

図において、アバター３０Ｕは、記録サーバ１００の１のアカウントに対応する。図に示すように、本発明の一実施形態によれば、記録サーバ１００が仮想空間サービスにおけるアカウントを有し、当該アカウントに対応付けてアバター３０Ｕを仮想空間内に配置することができる。そして、操作入力情報生成部１６０は、アバター３０を移動させる情報や、アバター３０の視点を動かす入力情報を生成し、仮想空間アプリケーション１１０へ当該情報を送信することができる。これにより、仮想空間における視界画像を取得することが可能となる。

なおこのとき、アバター３０Ｕは、背景を透過させる透明なオブジェクトとして実現してもよい。また、アバター３０Ｕは、仮想空間内の通常のアバターの移動ルールに縛られる必要はなく、例えば、空間に浮いた状態での上からの俯瞰画像を取得できてもよい。即ち、本実施の形態に係る記録サーバ１００に係るアバター３０Ｕは、いわば、透明な監視カメラとして仮想空間内の画像情報を取得することができる。これにより、仮想空間の利用ユーザに記録システムを検知させず、自然な動作を行わせることが可能となる。

図５（ａ）において、アバター３０Ｕから延びる点線によって囲まれたフィールドは、アバター３０Ｕの仮想的な視界領域を表す。図において、アバター３０Ｕの視界には、アバター２０Ａ，２０Ｂが含まれ、視界画像取得部１７１は、アバター２０Ａ，２０Ｂが含まれる画像情報を取得することができる。解析部１７２は、アバター２０Ａ，２０Ｂを抽出し、これらのアバターが所定の条件を満たすか否かを判定する。

所定の条件とは、仮想空間におけるトラブルに繋がりかねない状態であって、例えば、「ユーザ同士の接近」、「ジェスチャーでのやり取り」、「顔の表情が負の感情に分類される」、「受け渡しが禁止されているオブジェクトの受け渡し」等の条件や、それらの組合せであってよい。解析部１７２は、アバターの含まれる画像を既知の画像解析技術で解析し、アバターについて、所定の条件にあてはまる行動があった場合に、所定の条件を満たすと判定する。

例えば、図５では、アバター２０Ａとアバター２０Ｂとが接近し、所定の条件を満たしたとする。そのため、解析部１７２は、アバター２０Ａとアバター２０Ｂの動作の解析を開始する。テキスト生成部１８１は、解析部１７２による解析結果に基づき、アバターの動作を記述するテキスト情報を生成する。なお、その際、テキスト生成部１８１は、当該動作の開始時間や終了時間、仮想空間における場所についての情報を含むテキスト情報を生成してもよい。図５（ｂ）に、生成されるテキスト情報の一例を示す。図のように、日付、事象の発生場所（場所ＩＤ）とともに、事象の内容が記録される。

上述のように、本発明の一実施形態によれば、アバターの動作を画像から解析し、テキスト情報として記述することができる。この際、所定の条件を満たすアバターに関してのみテキスト情報が生成されるため、仮想空間サービスの利用ユーザ毎に異なり得る不正行為の判断を一律化することができ、また、利用ユーザに負担をかけることがない。さらに、仮想空間で生じた全ての事象を記録しないため、記録するデータを削減することができる。さらに、本発明の一実施形態を実現するのに、仮想空間サービスによって提供されるアプリケーションを用いることができるため、仮想空間サービスの管理者側に負担を強いることがない。また、仮想空間における事象の記録は、視界画像の解析によって行われ、各アバターの３次元データを取得する必要はないため、アバターの動作を反映させる膨大なデータの取得を必要としない。

なお、所定の条件の判定には、アバターの音声情報がさらに用いられてもよい。視界画像取得部１７１は、仮想空間アプリケーション１１０から、仮想空間の画像情報とともに音声情報を取得することができる。解析部１７２は、画像情報から、アバターと、当該アバターの音声情報を抽出し、抽出した音声情報が所定の条件を満たすか否かを判定する。音声情報に関する所定の条件は、例えば、「暴言」、「口論」、「合言葉の使用」、等とすることができる。なお、音声情報に関する所定の条件と、動作に関する所定の条件とを組み合わせて判定されてもよい。

本発明の一実施形態によれば、音声情報を用いて、仮想空間における事象の記録の有無が判定されるため、トラブルとなり得る事象を適切に記録することができる。

ここで、本発明の一実施形態による記録システムについて、図６を用いて説明する。図６は、記録処理における、記録サーバ１００、ＨＭＤシステム５００Ａ、仮想空間提供サーバ２００間のシーケンス図である。なお、ＨＭＤシステム５００としてユーザＡのＨＭＤシステム５００Ａを示してあるが、他のＨＭＤシステム５００Ｂ，５００Ｃも同様にネットワーク６００と接続され、ユーザＢ、ユーザＣの動作も、仮想空間における各アバターに反映されることに留意されたい。

まず、ＨＭＤシステム５００Ａにおいて、ＨＭＤ４００ＡはユーザＡの動作情報及び音声情報を取得し、コンピュータ３００Ａへ送信する（ステップＳ２１）。コンピュータ３００Ａは、ユーザＡの動作情報及び音声情報をアバターＡに反映させる表示情報及び音声情報を、ＨＭＤ４００Ａに送信する（ステップＳ２２）。記録サーバ１００において、位置入力情報生成部１６１が生成した入力情報に応じて、仮想空間における位置が指定され、視点入力情報生成部１６２が生成した入力情報に応じて、視点（視野領域）が指定される（ステップＳ２６）。記録サーバ１００の視界画像取得部１７１は、仮想空間アプリケーション１１０によって生成された視界画像を取得し、解析部１７２は、視界画像に含まれる１以上のアバターを抽出する（ステップＳ２７）。ＨＭＤ４００Ａでは、アバターＡの動作が表示され、音声が再生される（ステップＳ２５）。

仮想空間提供サーバ２００は、アバターＡの動作情報及び音声情報を、記録サーバ１００へ送信する（ステップＳ２３）。記録サーバ１００の視界画像生成部は、アバターＡの動作を反映させる視界画像を生成する。視界画像取得部１７１は、当該視界画像に関する情報、すなわち、アバターＡの動作を表示、音声（あれば）を再生させる視界画像に関する画像情報を取得し、解析部１７２は、画像情報に含まれるアバターＡを抽出する（ステップＳ２７）。そして、解析部１７２は、アバターＡが所定の条件を満たすか否か判定する（ステップＳ２８）。所定の条件を満たさない場合（ステップＳ２８でＮＯ）、ステップＳ２６へ戻り仮想空間における位置を変更するか、処理を終了する。所定の条件を満たす場合（ステップＳ２８でＹＥＳ）、解析部１７２は、アバターＡの一連の動作を解析し、テキスト生成部１８１は、アバターＡの動作に関する情報を記述するテキスト情報を生成する（ステップＳ２９）。

なお、図６のシーケンスにおいて、ステップの順番は厳密なものではなく、各ＨＭＤシステム５００から送信されたユーザの動作情報が、仮想空間のアバターに反映され、当該仮想空間のアバターについて、記録サーバ１００がリアルタイムで解析を実行することができる。

また、記録サーバ１００は、さらに、仮想空間におけるアバターの動作を特定する情報であるアノテーション情報を関連付ける関連付け部１８２を備えてもよい。アノテーション情報とは、動作や状態を記述する情報を指す。本発明の一実施形態によれば、仮想空間の画像情報に基づいて、各アバターの行動を学習し、アバターの行動の規則性等に基づいて、アバターの行動を予測する。例えば、アバターの表情と、それに伴う行動（口角を上げる表情で喜ぶ、口角を下げる表情で怒る、目を細める表情で喜ぶ、目を見開く表情で驚く、両手を上げる動作で喜ぶ、肩をすくめる動作で呆れる、叫んだ後に怒る等）とを学習し、表情毎、行動毎、音声毎にアノテーション情報を関連付けて、記憶部１５０のユーザ情報１５２に記憶する。

図７に、アノテーション情報の関連付けに関するアバター情報の一例を示す。テーブルＴＢ１は、睨む表情に対して、「睨む」、「怒り」というアノテーション情報が関連付けられている。テーブルＴＢ２は、音声情報に対し、その音声を発声した際のユーザの動作が、アノテーション情報として関連付けられている。これらのテーブルは、ユーザ毎、すなわち、アバター毎に生成されることが好ましい。

テキスト生成部１８１は、所定の条件として、抽出されたアバターに関連付けられたアノテーション情報に所定のキーワードが含まれる場合、テキスト情報を生成してもよい。所定のキーワードとは、トラブルの発生又は発生に繋がり得る状態を表すキーワードであって、例えば、「喧嘩」、「怒り」、「泣く」等の、一般的にネガティブな意味を有するキーワードである。例えば、画像解析により、ある表情に関連付けられたアノテーション情報に「怒り」というキーワードが含まれる場合、解析部１７２は、アバターが所定の条件を満たすと判定することができる。

ユーザによって、すなわち、アバターによって、ある動作に付随する表情や音声等は異なってくる。しかしながら上述のように、本発明の一実施形態によれば、各アバターに対し、アバターの動作を特定するアノテーション情報が関連付けられるため、各ユーザの動作がトラブルに繋がり得るか否かを、適切に判定することが可能となる。

なお、関連付け部１８２は、アバターの一連の動作を学習した結果に基づいて、アバターに関連付けるアノテーション情報を更新してもよい。これにより、より精度の高い判定が可能となる。

次に、図８を用いて、本発明の他の実施形態について説明する。図８は、仮想空間１０の概略図である。位置入力情報生成部１６１は、解析部１７２によって抽出されたアバターが所定の条件を満たす場合に、当該アバターから所定距離内の複数の位置を指定してもよい。例えば、図８に示すように、仮想空間１０において、アバター５００Ｃが倒れており、解析部１７２によって、アバター５００Ｃが所定の条件を満たすと判定されたとする。この場合、位置入力情報生成部１６１は、アバター５００Ｃから所定距離内の複数の位置を指定する入力情報を生成する。これは、例えば、アバター３０Ｕの他に、アバター３０Ｘ，３０Ｙを、アバター５００Ｃの周囲に配置させる入力情報に相当する。これは、アバター３０Ｘ，３０Ｙについて、仮想空間サービスに予めアカウントを登録しておき、位置入力情報生成部１６１が、それら複数アカウントについての入力情報を生成することで実現できる。そして、視点入力情報生成部１６２は、アバター５００Ｃが視界領域に入るように視点を設定する入力情報を生成し、視界画像取得部１７１が、アバター３０Ｕ，３０Ｘ，３０Ｙに対応する画像情報を取得してもよい。

上述の構成によれば、所定の条件を満たすと判定されたアバターの動作について、より詳細に記述するテキスト情報を生成することができる。

なお、記憶部１５０は、テキスト生成部１８１によって生成されたテキスト情報の記憶に、電子透かし又は分散型台帳技術を用いてもよい。これにより、解析結果としてのテキスト情報の安全性、秘匿性を担保することができ、仮想空間サービスの管理者側によるデータの改ざんの可能性を低くすることができる。

なお、テキスト生成部１８１によって生成されたテキスト情報は、必要に応じて、証拠として所定の機関に送信されてもよい。

なお、リアルタイムでの解析処理が好ましいが、画像の解析処理が並行して生じたり、記録期間が長い等、負荷が高くなる場合も考えられる。この場合、所定の時間（例えば、１０分等）、動画像データを記憶しておき、別の解析処理がなく負荷が低い時間に、記憶しておいた動画像データを解析してもよい。この場合、一時的に記憶容量を圧迫することになるが、解析処理が終了次第、すぐに動画像データが削除されるようにすればよい。なお、アバターが所定の条件を満たす場合、証拠としての画像情報を、テキスト情報と合わせて記憶しておいてもよい。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、記録サーバ１００が備えるとして説明した各構成部は、複数のサーバによって分散されて実現されてもよい。

本開示の各実施形態のプログラムは、情報処理装置に読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムや情報処理装置プログラムを含む。

記憶媒体は適切な場合、１つ又は複数の半導体ベースの、又は他の集積回路（ＩＣ）（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向けＩＣ（ＡＳＩＣ）等）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、又はこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組合せでよい。

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、記録サーバ１００に提供されてもよい。

また、本開示の各実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、本開示のプログラムは、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｙｔｈｏｎ等のスクリプト言語、Ｃ言語、Ｇｏ言語、Ｓｗｉｆｔ，Ｋｏｌｔｉｎ、Ｊａｖａ（登録商標）等を用いて実装される。

１００ 記録サーバ（情報処理装置）
２００ 仮想空間提供サーバ
３００（３００Ａ〜３００Ｃ） コンピュータ
４００ ネットワーク
５００（５００Ａ〜５００Ｃ） ＨＭＤシステム
６００ ネットワーク
７００ 仮想空間記録システム
３０１ プロセッサ
３０２ ストレージ
３０４ メモリ
４１０ ジャイロセンサ
４２０ 視線センサ
４３０ カメラ
４４０ マイク
４５０ モニタ
４６０ スピーカ
１０１ プロセッサ
１０２ ストレージ
１０４ メモリ
３１０ 仮想空間アプリケーション
３２０ 表示制御部
３２１ 位置入力部
３２２ 視点入力部
３２３ 視界画像生成部
３２４ 検出部
３２５ 角速度検出部
３２６ 視線検出部
３３０ 仮想空間制御部
３３１ 仮想空間生成部
３３２ 仮想オブジェクト生成部
３３３ アバター生成部
３４０ 通信制御部
３５０ 記憶部
３５１ 仮想空間情報
３５２ ユーザ情報
３６０ 入出力制御部
１１０ 仮想空間アプリケーション
１２０ 表示制御部
１２３ 視界画像生成部
１３０ 仮想空間制御部
１４０ 通信制御部
１５０ 記憶部
１６０ 操作入力情報生成部
１６１ 位置入力情報生成部
１６２ 視点入力情報生成部
１７０ 画像認識部
１７１ 視界画像取得部
１７２ 解析部
１８１ テキスト生成部
１８２ 関連付け部
１５１ 仮想空間情報
１５２ ユーザ情報
１５３ 条件データベース
１０ 仮想空間
１０Ａ，１０Ｂ，２０Ａ，２０Ｂ，３０Ｕ，３０Ｘ，３０Ｙ アバター

Claims (10)

1. ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間における前記ユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置の制御プログラムであって、
   当該情報処理装置に、
   前記仮想空間における位置を指定する入力情報を生成する位置入力機能と、
   前記位置入力機能によって指定された位置における前記仮想空間の画像情報を取得する取得機能と、
   前記画像情報に含まれる１以上のアバターを抽出し、抽出された前記アバターが所定の条件を満たす場合に、前記アバターの動作を解析する解析機能と、
   前記解析機能による解析の結果に基づき、前記アバターの動作に関する情報を記述するテキスト情報を生成する生成機能と、
   前記生成機能によって生成された前記テキスト情報を、所定の記憶部に記憶させる記憶機能と、
   を実現させる制御プログラム。
2. 前記取得機能は、前記仮想空間の画像情報とともに音声情報を取得し、
   前記解析機能は、前記アバターとともに当該アバターの音声情報を抽出し、
   前記生成機能は、前記所定の条件の判定に、前記音声情報をさらに用いる、
   ことを特徴とする請求項１に記載の制御プログラム。
3. 前記情報処理装置に、
   前記仮想空間におけるアバターの動作を特定する情報であるアノテーション情報を関連付ける関連付け機能をさらに実現させ、
   前記生成機能は、前記所定の条件として、前記抽出されたアバターに関連付けられたアノテーション情報に所定のキーワードが含まれる場合、前記テキスト情報を生成する、
   ことを特徴とする請求項１又は２に記載の制御プログラム。
4. 前記位置入力機能は、前記解析機能によって抽出された前記アバターが前記所定の条件を満たす場合に、当該アバターから所定距離内の複数の位置を指定する入力情報を生成し、
   前記取得機能は、前記複数の位置における、前記アバターに関する動画像情報を取得する、
   ことを特徴とする請求項１〜３のいずれか一項に記載の制御プログラム。
5. 前記関連付け機能は、前記アバターの一連の動作を学習した結果に基づいて、前記アバターに関連付けるアノテーション情報を更新する、
   ことを特徴とする請求項３に記載の制御プログラム。
6. 前記記憶機能は、前記生成機能によって生成されたテキスト情報の記憶に、電子透かし又は分散型台帳技術を用いる、
   ことを特徴とする請求項１〜５のいずれか一項に記載の制御プログラム。
7. 前記記憶機能は、１のアバターとして前記仮想空間システムに登録された登録情報をさらに記憶し、
   前記位置入力機能は、前記仮想空間システムにおける前記１のアバターの位置を指定する入力情報を生成し、
   前記取得機能は、前記１のアバターの視界として、前記仮想空間の画像情報を取得する、
   ことを特徴とする請求項１〜６のいずれか一項に記載の制御プログラム。
8. 前記１のアバターは、前記仮想空間において背景を透過させる透明なオブジェクトとして実現される、
   ことを特徴とする請求項７に記載の制御プログラム。
9. ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間における前記ユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置の制御方法であって、
   当該情報処理装置が、
   前記仮想空間における位置を指定する入力情報を生成するステップと、
   前記指定された位置における前記仮想空間の画像情報を取得するステップと、
   前記画像情報に含まれる１以上のアバターを抽出し、抽出された前記アバターが所定の条件を満たす場合に、前記アバターの動作を解析するステップと、
   前記解析するステップによる解析の結果に基づき、前記アバターの動作に関する情報を記述するテキスト情報を生成するステップと、
   前記生成するステップにて生成された前記テキスト情報を、所定の記憶部に記憶させるステップと、
   を実行する情報処理装置の制御方法。
10. ユーザ端末を介して入力されたユーザの動作及び音声が、仮想空間における前記ユーザのアバターの動作及び音声に反映される仮想空間システムに接続される情報処理装置であって、
    前記仮想空間における位置を指定する入力情報を生成する位置入力部と、
    前記位置入力部によって指定された位置における前記仮想空間の画像情報を取得する取得部と、
    前記画像情報に含まれる１以上のアバターを抽出する抽出し、抽出された前記アバターが所定の条件を満たす場合に、前記アバターの動作を解析する解析部と、
    前記解析部による解析の結果に基づき、前記アバターの動作に関する情報を記述するテキスト情報を生成する生成部と、
    前記生成部によって生成された前記テキスト情報を、所定の記憶部に記憶させる記憶制御部と、
    を備える情報処理装置。

Images