JP2020107160A - Virtual space provision system, virtual space provision method and program - Google Patents

Virtual space provision system, virtual space provision method and program Download PDF

Info

Publication number
JP2020107160A
JP2020107160A JP2018246652A JP2018246652A JP2020107160A JP 2020107160 A JP2020107160 A JP 2020107160A JP 2018246652 A JP2018246652 A JP 2018246652A JP 2018246652 A JP2018246652 A JP 2018246652A JP 2020107160 A JP2020107160 A JP 2020107160A
Authority
JP
Japan
Prior art keywords
virtual space
character
user
information
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018246652A
Other languages
Japanese (ja)
Other versions
JP7312550B2 (en
Inventor
春夫 福山
Haruo Fukuyama
春夫 福山
貴志 新居
Takashi Arai
貴志 新居
小笠原　豊
Yutaka Ogasawara
豊 小笠原
裕介 古田
Yusuke Furuta
裕介 古田
武仙 伊藤
Takehisa Ito
武仙 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Itoki Corp
Original Assignee
Itoki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Itoki Corp filed Critical Itoki Corp
Priority to JP2018246652A priority Critical patent/JP7312550B2/en
Publication of JP2020107160A publication Critical patent/JP2020107160A/en
Priority to JP2022166101A priority patent/JP2022186819A/en
Application granted granted Critical
Publication of JP7312550B2 publication Critical patent/JP7312550B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a virtual space provision technology capable of appropriately placing a character associated with a user to a prescribed position, and accurately reflecting expressions by the user to the character associated with the user.SOLUTION: In a virtual space provision system for providing a virtual space to one or a plurality of users, a computer 1 comprises: association section 113 for associating at least one user among users with a character; a character placement section 114 for placing the character in the virtual space; an acquisition section 115 for acquiring expression information relating to the expressions of the user; and a refection section 116 for, based on the acquired expression information, reflecting expressions based on the expression information to the character placed in the virtual space, and associated with the user who is mapped with the expression information.SELECTED DRAWING: Figure 3

Description

本発明は、１又は複数のユーザに対して仮想空間を提供する仮想空間提供システム、仮想空間提供方法及びプログラムに関する。 The present invention relates to a virtual space providing system, a virtual space providing method, and a program for providing a virtual space to one or a plurality of users.

特許文献１には、端末のディスプレイにおいて、仮想空間内に設けられた擬似的なプロジェクタと、仮想空間内を探索するユーザＡのキャラクタとユーザＢのキャラクタが表示される技術が記載されている。 Patent Document 1 describes a technique in which a pseudo projector provided in a virtual space and a character of a user A and a character of a user B searching in the virtual space are displayed on a display of a terminal.

特開２００７−０７９７９９号公報JP, 2007-079799, A

ここで、仮想空間において、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映させたいという要請がある。しかしながら、特許文献１に記載された従来技術では、このような要請に対して十分に応えることができなかった。 Here, in the virtual space, there is a demand for appropriately arranging the character associated with the user at a predetermined position and accurately reflecting the expression by the user on the character associated with the user. However, the conventional technique described in Patent Document 1 has not been able to sufficiently meet such a request.

そこで、本開示は、仮想空間において、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することが可能な仮想空間提供技術を提供することを目的とする。 Therefore, the present disclosure is capable of appropriately arranging a character associated with a user at a predetermined position in a virtual space and accurately reflecting an expression by the user on the character associated with the user. The purpose is to provide the provided technology.

本発明の一態様に係る仮想空間提供システムは、１又は複数のユーザに対して仮想空間を提供する仮想空間提供システムであって、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置部と、ユーザの表現に関する表現情報を取得する取得部と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する反映部と、を備える。 A virtual space providing system according to an aspect of the present invention is a virtual space providing system that provides a virtual space to one or more users, and an associating unit that associates a character with at least one of the users. , A character placement unit that places a character in the virtual space, an acquisition unit that acquires expression information about the user's expression, and a character that is placed in the virtual space based on the acquired expression information and is associated with the expression information. And a reflecting unit for reflecting the expression based on the expression information to the character associated with the user.

本発明の一態様に係る仮想空間提供方法は、１又は複数のユーザに対して仮想空間を提供するコンピュータが実行する仮想空間提供であって、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付けるステップと、仮想空間にキャラクタを配置するステップと、ユーザの表現に関する表現情報を取得するステップと、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映するステップと、を含む。 A virtual space providing method according to an aspect of the present invention is a virtual space providing executed by a computer that provides a virtual space to one or more users, and associates a character with at least one user among the users. A step of arranging the character in the virtual space, a step of acquiring expression information about the user's expression, and a character arranged in the virtual space based on the acquired expression information, which is associated with the expression information. Reflecting the expression based on the expression information in the character associated with the user.

本発明の一態様に係るプログラムは、１又は複数のユーザに対して仮想空間を提供するコンピュータを、記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置部と、ユーザの表現に関する表現情報を取得する取得部と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する反映部と、して機能させる。 A program according to one aspect of the present invention includes a computer that provides a virtual space to one or more users, an association unit that associates a character with at least one of the users, and a character that is placed in the virtual space. A character placement unit, an acquisition unit that acquires expression information about the user's expression, and a character that is arranged in the virtual space based on the acquired expression information and is associated with the user associated with the expression information. It functions as a reflection unit that reflects the expression based on the expression information on the character.

なお、本発明において、「部」、「装置」とは、単に物理的手段を意味するものではなく、その「部」、「装置」」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」の機能が１つの物理的手段や装置により実現されてもよい。 In the present invention, the “unit” and “device” do not simply mean physical means, but also include the case where the functions of the “unit” and “device” are realized by software. Further, even if the function of one “section” or “device” is realized by two or more physical means or devices, the function of two or more “sections” or “devices” is one physical means or It may be realized by the device.

本発明の上記態様によれば、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することができる。 According to the above aspect of the present invention, the character associated with the user can be appropriately arranged at a predetermined position, and the expression by the user can be accurately reflected on the character associated with the user.

本発明の実施形態に係る仮想空間提供システムの概略構成図である。It is a schematic block diagram of the virtual space provision system which concerns on embodiment of this invention. 本発明の実施形態に係るコンピュータ及び管理サーバの概略構成図である。1 is a schematic configuration diagram of a computer and a management server according to an embodiment of the present invention. 本発明の実施形態に係るコンピュータの機能的構成の一例を示す概略構成図である。It is a schematic block diagram which shows an example of a functional structure of the computer which concerns on embodiment of this invention. 本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。FIG. 3 is a diagram conceptually showing an example of a virtual space according to the embodiment of the present invention. 本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。It is a flowchart which shows an example of the virtual space provision process which concerns on embodiment of this invention. 本発明の実施形態に係る会議室の一例を示す図である。It is a figure which shows an example of the meeting room which concerns on embodiment of this invention. 本発明の実施形態に係るＨＭＤで表示される視界画像の一例を示す図である。It is a figure which shows an example of the visual field image displayed on HMD which concerns on embodiment of this invention.

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments described below are merely examples, and are not intended to exclude various modifications and application of techniques not explicitly shown below. That is, the present invention can be implemented with various modifications (combining the embodiments) without departing from the spirit of the present invention. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. The drawings are schematic and do not necessarily match actual dimensions and proportions. The drawings may include portions having different dimensional relationships and ratios.

図１は、本発明の実施形態に係る仮想空間提供システム１００の全体構成を示すブロック図である。図１に示すように、仮想空間提供システム１００は、例示的に、コンピュータ１ａ，１ｂ，１ｃと、ユーザＵａが用いるＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ）３と、ユーザＵｂ，Ｕｃが用いるカメラ５ｂ，５ｃと、管理サーバ７と、を備える。 FIG. 1 is a block diagram showing the overall configuration of a virtual space providing system 100 according to the embodiment of the present invention. 1, the camera virtual space-providing system 100 is illustratively a computer 1a, 1b, 1c, and the user Ua uses HMD (H ead- M ounted D evice ) 3, the user Ub, the Uc used The management server 7 is provided with 5b and 5c.

なお、図１中には、３台のコンピュータとして、コンピュータ１ａ〜１ｃを図示している。ただし、以下の説明において、これら３台のコンピュータを区別することなく説明する場合には、符号を一部省略して、単に「コンピュータ１」と呼ぶ。さらに、２台のカメラとして、カメラ５ｂ及び５ｃを図示している。ただし、以下の説明において、これら２台のカメラを区別することなく説明する場合には、符号を一部省略して、単に「カメラ５」と呼ぶ。さらにまた、３人のユーザとして、ユーザＵａ〜Ｕｃを図示している。ただし、以下の説明において、これら３人のユーザを区別することなく説明する場合には、符号を一部省略して、単に「ユーザＵ」と呼ぶ。またさらに、コンピュータ１、ＨＭＤ３、カメラ５、及び管理サーバ７の各構成の台数には特に制限はない。 Note that FIG. 1 illustrates computers 1a to 1c as three computers. However, in the following description, when these three computers are described without distinction, some of the reference numerals are omitted and they are simply referred to as "computer 1". Furthermore, cameras 5b and 5c are shown as two cameras. However, in the following description, when these two cameras are described without distinction, a part of the reference numerals will be omitted and they will be simply referred to as "camera 5". Furthermore, the users Ua to Uc are illustrated as three users. However, in the following description, when these three users are described without distinction, a part of the reference numerals will be omitted and they will be simply referred to as “user U”. Furthermore, there is no particular limitation on the number of components of each of the computer 1, the HMD 3, the camera 5, and the management server 7.

コンピュータ１は、１又は複数のユーザＵに対して仮想空間を提供する。コンピュータ１は、ネットワークＮを介して互いに通信可能に接続される。コンピュータ１は、ネットワークＮを介して管理サーバ７と通信可能に接続されている。なお、ネットワークＮは、例えば、インターネット、携帯電話網といったネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはこれらを組み合わせたネットワークにより実現される。また、図１に示す例において、コンピュータ１ａは、ＨＭＤ３の外部に配置されているが、この構成に限られず、コンピュータ１ａは、ＨＭＤ３に内蔵されてもよい。同様に、コンピュータ１ｂは、カメラ５ｂに内蔵されてもよいし、コンピュータ１ｃは、カメラ５ｃに内蔵されてもよい。 The computer 1 provides a virtual space to one or more users U. The computers 1 are communicably connected to each other via a network N. The computer 1 is communicatively connected to the management server 7 via the network N. The network N is, for example, the Internet, a network such as a cellular phone network, LAN (L ocal A rea N etwork), or is realized by a network of a combination of these. Further, in the example shown in FIG. 1, the computer 1a is arranged outside the HMD 3, but the configuration is not limited to this, and the computer 1a may be built in the HMD 3. Similarly, the computer 1b may be built in the camera 5b, and the computer 1c may be built in the camera 5c.

ＨＭＤ３は、例えば、ユーザＵａの頭部に装着され、ユーザＵａの頭部の動きに応じて仮想空間と、仮想空間に基づく視界画像９ａと、を提供する。ＨＭＤ３は、ディスプレイ(不図示)を備え、ディスプレイは、コンピュータ１ａから送信される画像情報又はテキスト情報等をモニタに表示可能である。ディスプレイは、ユーザＵａの目の前方に位置するように配置される。ディスプレイは、例えば、非透過型の表示装置であり、仮想空間を視界画像９ａ（例えば３次元画像）として表示可能である。なお、ディスプレイは、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含む。また、ディスプレイは、透過型又は半透過型の表示装置を含んでもよい。ディスプレイは、仮想空間を示す画像の少なくとも一部、及び、ＨＭＤ３に備えられたカメラで撮像した現実空間の所定範囲を同時に表示してもよい。 The HMD 3 is attached to, for example, the head of the user Ua, and provides the virtual space and the visual field image 9a based on the virtual space according to the movement of the head of the user Ua. The HMD 3 includes a display (not shown), and the display can display image information or text information transmitted from the computer 1a on a monitor. The display is arranged so as to be located in front of the eyes of the user Ua. The display is, for example, a non-transmissive display device, and can display the virtual space as a view image 9a (for example, a three-dimensional image). Incidentally, the display includes a liquid crystal display or an organic EL (E lectro L uminescence) display. The display may also include a transmissive or semi-transmissive display device. The display may simultaneously display at least a part of the image showing the virtual space and a predetermined range of the real space imaged by the camera provided in the HMD 3.

ＨＭＤ３は、コンピュータ１ａから送信される音声情報をスピーカ(不図示)から音声として出力可能である。また、ＨＭＤ３は、ユーザＵａの音声を取得し、コンピュータ１ａに出力するマイク（不図示）を備えてもよい。 The HMD 3 can output voice information transmitted from the computer 1a as voice from a speaker (not shown). Further, the HMD 3 may include a microphone (not shown) that acquires the voice of the user Ua and outputs it to the computer 1a.

カメラ５は、現実空間の所定の範囲を撮像する。例えば、カメラ５ｂは、ユーザＵｂを含む所定の範囲を撮像し、カメラ５ｃは、ユーザＵｃを含む所定の範囲を撮像する。カメラ５ｂ，５ｃは、撮像することにより取得される３Ｄ情報をコンピュータ１ｂ，１ｃに送信する。また、カメラ５は、ユーザＵｂ，Ｕｃの音声を取得するマイク（不図示）の機能を更に備える。さらに、カメラ５は、コンピュータ１ａから送信されるユーザＵａに対応する音声情報に基づいて音声を出力するスピーカ（不図示）を備えてもよい。 The camera 5 images a predetermined range of the physical space. For example, the camera 5b images a predetermined range including the user Ub, and the camera 5c images a predetermined range including the user Uc. The cameras 5b and 5c transmit the 3D information acquired by capturing images to the computers 1b and 1c. In addition, the camera 5 further includes a function of a microphone (not shown) that acquires voices of the users Ub and Uc. Further, the camera 5 may include a speaker (not shown) that outputs a voice based on voice information corresponding to the user Ua transmitted from the computer 1a.

管理サーバ７は、例えば、コンピュータ１に１又は複数のユーザＵに対して仮想空間を提供するためのプログラムを送信する。例えば、ユーザＵａが滞在する所定のエリアＡ１において、複数のユーザが参加する会議を行なう場合、各コンピュータ１は、ユーザＵのそれぞれの表現に関する表現情報を、管理サーバ７を介して他のコンピュータ１と通信して、共通の仮想空間において複数のユーザＵが同一の会議を行うことを可能にする。 The management server 7 transmits, for example, a program for providing a virtual space to the computer 1 for one or more users U. For example, when conducting a conference in which a plurality of users participate in a predetermined area A1 in which the user Ua stays, each computer 1 transmits expression information regarding each expression of the user U to another computer 1 via the management server 7. To allow multiple users U to have the same conference in a common virtual space.

「表現情報」とは、ユーザＵの感情や思想を態度や言語等で示す情報を含む。表現情報は、例えば、ユーザＵの動作（動き）又は音声の少なくとも一方を含む。表現情報は、ユーザＵが用いる不図示の入力装置に入力した画像情報、テキスト情報、又は音声情報を含んでもよい。また、表現情報は、ユーザＵの近傍にある不図示のホワイトボード又は紙に記述した内容をカメラ等で取得した画像情報等を含んでもよい。 The “expression information” includes information indicating the feelings and thoughts of the user U by attitude, language, and the like. The expression information includes, for example, at least one of a motion (movement) and a voice of the user U. The expression information may include image information, text information, or audio information input by an input device (not shown) used by the user U. The expression information may also include image information obtained by a camera or the like that describes the contents described on a whiteboard or paper (not shown) near the user U.

なお、各コンピュータ１は、各ユーザＵの表現に関する表現情報を、管理サーバ６００を介すことなく他のコンピュータ２００と通信するようにしてもよい。なお、管理サーバ７は、例えば、１つ又は複数のサーバ装置により実現される。 It should be noted that each computer 1 may communicate expression information regarding the expression of each user U with another computer 200 without going through the management server 600. The management server 7 is realized by, for example, one or a plurality of server devices.

ここで、本実施形態における仮想空間提供システム１００の概要を説明する。図１に示すＨＭＤ３がユーザＵａに仮想空間と当該仮想空間に基づく視界画像９ａを提供する。視界画像９ａは、ＨＭＤ３のディスプレイ（不図示）に表示される画像である。視界画像９ａは、コンピュータ１ａにより生成された画像である。コンピュータ１ａは、コンピュータ１ｂからユーザＵｂの表現情報を取得し、また、コンピュータ１ｃからユーザＵｃの表現情報を取得する。コンピュータ１ａは、仮想空間を定義し、仮想空間に配置される、ユーザＵｂに関連付けられたキャラクタＣｂ及びユーザＵｃに関連付けられたキャラクタＣｃを当該仮想空間に配置する。「キャラクタ」は、例えば、人物や動物などを含む。キャラクタは、例えば、ユーザＵｂ，Ｕｃを模した、又は、ユーザＵｂ，Ｕｃに対応した人型の物体を示す画像であってもよい。 Here, the outline of the virtual space providing system 100 according to the present embodiment will be described. The HMD 3 shown in FIG. 1 provides the user Ua with a virtual space and a view image 9a based on the virtual space. The visual field image 9a is an image displayed on the display (not shown) of the HMD 3. The visual field image 9a is an image generated by the computer 1a. The computer 1a acquires the expression information of the user Ub from the computer 1b, and also acquires the expression information of the user Uc from the computer 1c. The computer 1a defines a virtual space, and arranges the character Cb associated with the user Ub and the character Cc associated with the user Uc, which are arranged in the virtual space, in the virtual space. The "character" includes, for example, a person and an animal. The character may be, for example, an image simulating the users Ub and Uc, or an image showing a humanoid object corresponding to the users Ub and Uc.

コンピュータ１ａは、取得した表現情報を踏まえて、ユーザＵｂ，Ｕｃの表現が反映された視界画像９ａを生成する。つまり、ユーザＵｂ，Ｕｃの表現が変化するたびに視界画像を生成する。なお、コンピュータ１ａは、表現情報が音声情報を含む場合は、当該音声情報を踏まえて、ＨＭＤ３から、ユーザＵｂ，Ｕｃに対応する音声を出力するための音声出力情報を生成してもよい。 The computer 1a generates the visual field image 9a in which the expressions of the users Ub and Uc are reflected, based on the acquired expression information. That is, the visual field image is generated each time the expressions of the users Ub and Uc change. If the expression information includes voice information, the computer 1a may generate voice output information for outputting voices corresponding to the users Ub and Uc from the HMD 3 based on the voice information.

ユーザＵａは仮想空間において、キャラクタＣｂ，Ｃｃと対話による通信（コミュニケーション）を図ることができる。例えば、カメラ５ｂのマイクで取得されたユーザＵｂの音声は、コンピュータ１ｂを介して、ＨＭＤ３が備えるスピーカから出力される。カメラ５ｃのマイクで取得されたユーザＵｃの音声は、コンピュータ１ｃを介して、ＨＭＤ３が備えるスピーカから出力される。また、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｂに送信し、カメラ５ｂに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｂは、ユーザＵａの音声を聞くことができる。さらに、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｃに送信し、カメラ５ｃに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｃは、ユーザＵａの音声を聞くことができる。 The user Ua can communicate with the characters Cb and Cc in a virtual space by dialogue. For example, the voice of the user Ub acquired by the microphone of the camera 5b is output from the speaker included in the HMD 3 via the computer 1b. The voice of the user Uc acquired by the microphone of the camera 5c is output from the speaker included in the HMD 3 via the computer 1c. Further, the microphone provided in the HMD 3 may acquire the voice of the user Ua and transmit it as voice information to the computer 1b, and the speaker provided in the camera 5b may output the voice of the user Ua. As a result, the user Ub can hear the voice of the user Ua. Further, the microphone provided in the HMD 3 may acquire the voice of the user Ua and transmit it as voice information to the computer 1c, and the voice of the user Ua may be output by the speaker provided in the camera 5c. As a result, the user Uc can hear the voice of the user Ua.

図２は、本発明の実施形態に係るコンピュータ１のハードウェアの構成と、管理サーバ７のハードウェアの構成とを示すブロック図である。なお、図中では、コンピュータ１のハードウェアに対応する符号には括弧を付すことなく記載し、管理サーバ７のハードウェアに対応する符号には括弧を付して記載する。 FIG. 2 is a block diagram showing the hardware configuration of the computer 1 and the hardware configuration of the management server 7 according to the embodiment of the present invention. In the drawings, the reference numerals corresponding to the hardware of the computer 1 are described without parentheses, and the reference numerals corresponding to the hardware of the management server 7 are described with parentheses.

コンピュータ１は、例示的に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなるメモリ１２と、入力部１３と、出力部１４と、記録部１５と、通信部１６と、バス１７と、を備えている。 Computer 1 includes, for example, a CPU (C entral P rocessing U nit ) 11, a ROM (R ead O nly M emory ) and RAM (R andom A ccess M emory ) memory 12 composed of such an input unit 13 The output unit 14, the recording unit 15, the communication unit 16, and the bus 17 are provided.

ＣＰＵ１１は、メモリ１２に記録されているプログラム、又は、記録部１５からメモリ１２にロードされたプログラムにしたがって各種の処理を実行する。 The CPU 11 executes various processes according to the program recorded in the memory 12 or the program loaded from the recording unit 15 into the memory 12.

メモリ１２には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。ＣＰＵ１１及びメモリ１２は、バス１７を介して相互に接続されている。また、このバス１７には、入力部１３と、出力部１４と、記録部１５と、通信部１６と、が接続されている。 The memory 12 also appropriately stores data and the like necessary for the CPU 11 to execute various processes. The CPU 11 and the memory 12 are connected to each other via a bus 17. Further, an input unit 13, an output unit 14, a recording unit 15, and a communication unit 16 are connected to the bus 17.

入力部１３は、コンピュータ１を操作する者（例えば、ユーザＵａ）の指示操作に応じて各種情報を入力する。入力部１３は、例えば、各種ボタン、タッチパネルあるいはマイク等で構成される。なお、入力部１３は、コンピュータ１の他の各部を収容する本体とは独立した、キーボードやマウス等の入力装置により実現してもよい。 The input unit 13 inputs various kinds of information according to an instruction operation of a person who operates the computer 1 (for example, a user Ua). The input unit 13 is composed of, for example, various buttons, a touch panel, a microphone, or the like. The input unit 13 may be realized by an input device such as a keyboard and a mouse, which is independent from the main body that houses the other units of the computer 1.

出力部１４は、画像データや音声データを出力する。出力部１４は、例えば、ディスプレイやスピーカ等で構成される。出力部１４が出力した画像データや音声データは、ディスプレイやスピーカ等から、画像や音楽としてプレイヤが認識可能に出力される。 The output unit 14 outputs image data and audio data. The output unit 14 is composed of, for example, a display and a speaker. The image data and the audio data output by the output unit 14 are output from the display, the speaker, and the like as images and music so that the player can recognize them.

記録部１５は、各種データを記憶する。記録部１５は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成される。 The recording unit 15 stores various data. Recording unit 15, for example, a semiconductor memory such as a DRAM (D ynamic R andom A ccess M emory).

通信部１６は、他の装置との間で行う通信を実現する。例えば、通信部１６は、ネットワークＮを介して、他のコンピュータ１ｂ，１ｃや管理サーバ７との間で相互に通信を行う。 The communication unit 16 realizes communication with another device. For example, the communication unit 16 mutually communicates with the other computers 1b and 1c and the management server 7 via the network N.

なお、コンピュータ１には、不図示であるがドライブを必要に応じて適宜設けられる。ドライブには、例えば、磁気ディスク、光ディスク、光磁気ディスク等から構成されるリムーバブルメディアが適宜装着されてもよい。ドライブによってリムーバブルメディアから読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記録部１５にインストールされる。 Although not shown, a drive is appropriately provided in the computer 1 as needed. A removable medium including a magnetic disk, an optical disk, a magneto-optical disk, or the like may be appropriately mounted on the drive. The programs read from the removable medium by the drive and various data such as image data are installed in the recording unit 15 as necessary.

管理サーバ７のハードウェアの構成について説明をする。管理サーバ７は、図２に示すように、例示的に、ＣＰＵ７１と、メモリ７２と、入力部７３と、出力部７４と、記録部７５と、通信部７６と、バス７７と、を備えている。これら各部は、上述のコンピュータ１が備える、符号のみが異なる同名の各部と同等の機能を有している。 The hardware configuration of the management server 7 will be described. As illustrated in FIG. 2, the management server 7 exemplarily includes a CPU 71, a memory 72, an input unit 73, an output unit 74, a recording unit 75, a communication unit 76, and a bus 77. There is. These respective units have the same functions as the respective units of the same name, which are different from each other only in the code, which the computer 1 has.

図３は、本発明の実施形態に係るコンピュータ１の機能的構成の一例を示すブロック図である。コンピュータ１は、例示的に、１又は複数のユーザＵに対して仮想空間を提供するための処理を実行する情報処理部１１１と、当該処理を実行するために必要な各種情報及び当該処理の結果に関する情報を記録するデータベース（ＤＢ）１１２と、を備えて構成される。なお、情報処理部１１１は、例えば、図２に示すメモリ１２や記録部１５に格納されているプログラムをＣＰＵ１１が実行したりすることにより実現することができる。データベース１１２は、例えば、図２に示す記録部１５に対応する。 FIG. 3 is a block diagram showing an example of the functional configuration of the computer 1 according to the embodiment of the present invention. The computer 1 exemplarily includes an information processing unit 111 that executes a process for providing a virtual space to one or more users U, various information necessary for executing the process, and a result of the process. A database (DB) 112 that records information regarding The information processing unit 111 can be realized by the CPU 11 executing a program stored in the memory 12 or the recording unit 15 illustrated in FIG. 2, for example. The database 112 corresponds to the recording unit 15 shown in FIG. 2, for example.

情報処理部１１１は、機能的に、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部１１３と、仮想空間にキャラクタを配置するキャラクタ配置部１１４と、ユーザの表現に関する表現情報を取得する取得部１１５と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する反映部１１６と、を備える。上記各機能の詳細については、後述する。 The information processing unit 111 functionally acquires the association unit 113 that associates a character with at least one of the users, the character placement unit 114 that places the character in the virtual space, and the expression information regarding the expression of the user. An acquisition unit 115 and a reflection unit that reflects the expression based on the expression information on a character that is arranged in the virtual space based on the acquired expression information and that is associated with the user that is associated with the expression information. And 116. Details of each of the above functions will be described later.

情報処理部１１１は、視界画像生成部１６を更に備える。視界画像生成部１６は、仮想空間データに基づいて、仮想空間を定義する。 The information processing unit 111 further includes the visual field image generation unit 16. The visual field image generation unit 16 defines a virtual space based on the virtual space data.

図４は、本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。図４に示すように、視界画像生成部１６が定義する仮想空間５０は、例えば、中心点ＣＰを基準とする半球を含む。仮想空間５０においては、中心点ＣＰを原点とするＸＹＺ座標系が定義される。例えば、図１に示すＨＭＤ３の起動時において、仮想カメラ６０（例えば、ＨＭＤが備えるカメラに相当する）が、仮想空間５０の中心点ＣＰに配置される。この仮想カメラ６０が撮像することによって取得される画像情報に基づいて画像をＨＭＤ３のディスプレイに表示する。仮想カメラ６０は、図１に示すように、現実空間においてユーザＵａの頭部に装着されたＨＭＤ３の動き（位置及び傾きの変化）に応じて移動可能である。つまり、現実空間におけるＨＭＤ３の動きに対応するように、仮想空間５０における仮想カメラ６０が動く。 FIG. 4 is a diagram conceptually showing an example of the virtual space according to the embodiment of the present invention. As shown in FIG. 4, the virtual space 50 defined by the visual field image generation unit 16 includes, for example, a hemisphere with the center point CP as a reference. In the virtual space 50, an XYZ coordinate system whose origin is the center point CP is defined. For example, when the HMD 3 illustrated in FIG. 1 is activated, the virtual camera 60 (e.g., a camera included in the HMD) is arranged at the center point CP of the virtual space 50. An image is displayed on the display of the HMD 3 based on the image information acquired by the virtual camera 60 capturing the image. As shown in FIG. 1, the virtual camera 60 is movable according to the movement (change in position and inclination) of the HMD 3 mounted on the head of the user Ua in the physical space. That is, the virtual camera 60 in the virtual space 50 moves so as to correspond to the movement of the HMD 3 in the real space.

ここで、仮想カメラ６０の位置は、仮想空間５０におけるユーザの視点に対応する。視界画像生成部１６は、仮想カメラ６０に基づく基準視線ＳＧに基づいて、仮想空間５０における視界領域８０を規定する。例えば、視界領域８０は、仮想空間５０のうち、ＨＭＤ３を装着したユーザＵａが視認する領域に対応する。 Here, the position of the virtual camera 60 corresponds to the viewpoint of the user in the virtual space 50. The view field image generation unit 16 defines the view area 80 in the virtual space 50 based on the reference line of sight SG based on the virtual camera 60. For example, the field of view 80 corresponds to a region of the virtual space 50 that the user Ua wearing the HMD 3 visually recognizes.

このように、視界画像生成部１６は、例えば、仮想カメラ６０を仮想空間５０において中心点ＣＰに配置し、仮想カメラ６０の視線（基準視線ＳＧ）をユーザが向いている方向に設定する。よって、視界画像生成部１６は、視界画像９を生成するための視界画像データを生成する。その後、視界画像生成部１６は、ＨＭＤ３の動きが変化すると、その変化に応じた新たな視界画像を生成するための視界画像データを生成する。 In this way, the visual field image generation unit 16 arranges the virtual camera 60 at the center point CP in the virtual space 50 and sets the line of sight (reference line of sight SG) of the virtual camera 60 in the direction in which the user faces. Therefore, the visual field image generation unit 16 generates the visual field image data for generating the visual field image 9. After that, when the movement of the HMD 3 changes, the visual field image generation unit 16 generates visual field image data for generating a new visual field image according to the change.

図３に戻り、ＤＢ１１２は、例示的に、空間情報ＳＩと、キャラクタ情報ＣＩと、表現情報ＥＩと、オブジェクト情報ＯＩと、特定画像情報ＧＩと、を記録する。ＤＢ１１２においては、ユーザに関する情報に基づいて、ユーザごとに上記各種情報を関連づけて記録してもよい。 Returning to FIG. 3, the DB 112 exemplarily records space information SI, character information CI, expression information EI, object information OI, and specific image information GI. In the DB 112, the various types of information may be associated and recorded for each user based on the information about the user.

空間情報ＳＩは、図４に示す仮想空間５０を定義するための１つ以上の仮想空間データテンプレートを含む。 The spatial information SI includes one or more virtual space data templates for defining the virtual space 50 shown in FIG.

キャラクタ情報ＣＩは、仮想空間に配置されるキャラクタに関する情報である。キャラクタ情報ＣＩは、キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、又は、キャラクタに関連付けられたユーザに基づくアバターの少なくとも一方を含む。アバターは、１又は複数の種類のアバター（例えば、動物を模した画像や、デフォルメされた人の画像）であってもよい。また、キャラクタ情報ＣＩは、キャラクタを仮想空間に配置するための情報（例えば、位置情報等）を含む。 The character information CI is information about a character placed in the virtual space. The character information CI includes at least one of image information acquired by capturing an image of a user associated with the character or an avatar based on the user associated with the character. The avatar may be one or more types of avatars (for example, an image imitating an animal or an image of a deformed person). Further, the character information CI includes information (for example, position information) for arranging the character in the virtual space.

オブジェクト情報ＯＩは、仮想空間に配置されるオブジェクトに関する情報である。オブジェクト情報ＯＩは、室内又は室外の風景を示す情報である。オブジェクト情報ＯＩは、例えば、会議室等の室内風景を含む。また、オブジェクト情報ＯＩは、例えば森、山その他を含む風景、街並み、動物等を含む。また、オブジェクト情報ＯＩは、仮想空間に配置するための情報（例えば、位置情報等）を含む。 The object information OI is information about objects arranged in the virtual space. The object information OI is information indicating a landscape inside or outside the room. The object information OI includes, for example, an indoor scene such as a conference room. Further, the object information OI includes, for example, landscapes including forests, mountains, etc., cityscapes, animals, and the like. In addition, the object information OI includes information (for example, position information) to be arranged in the virtual space.

特定画像情報は、例えば、椅子やテーブル等の什器に付されたマーカを示す画像情報を含む。マーカは、マトリックス型２次元コードであるＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）コードを含む。しかしながら、マーカは、ＱＲコードに限定されず、１次元コードや任意のマーカを用いてもよい。なお、任意のマーカは、特定形状のマーカ、例えば、星型形状のような多角形状のマーカを含んでもよい。また、人物の顔の形状または大きさの少なくとも一方をマーカとして利用してもよい。 The specific image information includes, for example, image information indicating a marker attached to furniture such as a chair or a table. Marker includes a QR is a matrix type two-dimensional code (Q uick R esponse) code (registered trademark) codes. However, the marker is not limited to the QR code, and a one-dimensional code or an arbitrary marker may be used. Note that the arbitrary marker may include a marker having a specific shape, for example, a polygonal marker such as a star shape. Further, at least one of the shape and the size of the person's face may be used as the marker.

また、特定画像は、什器自体を撮像することにより取得される画像を含んでもよい。 In addition, the specific image may include an image acquired by capturing an image of the furniture itself.

＜仮想空間提供処理＞
図５〜図７を参照して本発明の実施形態に係る仮想空間提供処理の一例を説明する。図５は、本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。 <Virtual space provision processing>
An example of the virtual space providing process according to the embodiment of the present invention will be described with reference to FIGS. FIG. 5 is a flowchart showing an example of the virtual space providing process according to the embodiment of the present invention.

（ステップＳ１）
図３に示すコンピュータ１の関連付け部１１３は、１又は複数のユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける。図１の例を参照すると、関連付け部１１３は、図３に示すキャラクタ情報ＣＩに基づいて、例えば、ユーザＵｂに対してキャラクタＣｂを、ユーザＵｃに対してキャラクタＣｃを関連付ける。 (Step S1)
The associating unit 113 of the computer 1 shown in FIG. 3 associates a character with at least one user among one or a plurality of users. Referring to the example of FIG. 1, the associating unit 113 associates the character Cb with the user Ub and the character Cc with the user Uc based on the character information CI shown in FIG.

（ステップＳ３）
図３に示すコンピュータ１のキャラクタ配置部１１４は、仮想空間にキャラクタを配置する。 (Step S3)
The character placement unit 114 of the computer 1 shown in FIG. 3 places a character in the virtual space.

図６は、本発明の実施形態に係る現実空間における会議室の一例を示す図である。図６に示すように、各椅子Ｃ１，Ｃ３には、マーカＭｂ，Ｍｃが付されている。例えば、ＨＭＤ３が備えるカメラ（不図示）が、現実空間の所定の範囲に含まれるマーカＭｂ，Ｍｃ（特定対象物）を撮像することによって画像情報を取得する。ＨＭＤ３は、画像情報を図１に示すコンピュータ１に送信する。そして、キャラクタ配置部１１４は、取得した画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部１１４は、マーカに対応する特定画像情報を取得すると、例えば、図３に示すＤＢ１１２に格納されたキャラクタ情報ＣＩ（例えば、予め、マーカごとにキャラクタ情報が関連付けられた情報テーブル等）を参照することにより、現実空間に配置された各椅子Ｃ１，Ｃ３の位置に対応する仮想空間の位置にキャラクタを配置する。 FIG. 6 is a diagram showing an example of a conference room in the physical space according to the embodiment of the present invention. As shown in FIG. 6, markers Mb and Mc are attached to the chairs C1 and C3. For example, a camera (not shown) included in the HMD 3 acquires image information by imaging the markers Mb and Mc (specific objects) included in a predetermined range of the physical space. The HMD 3 sends the image information to the computer 1 shown in FIG. Then, the character placement unit 114 places the character associated with the specific target object at a position in the virtual space corresponding to the position where the specific target object is placed in the physical space, based on the acquired image information. When the character arranging unit 114 acquires the specific image information corresponding to the marker, the character arranging unit 114 stores, for example, the character information CI (for example, an information table in which the character information is associated with each marker in advance) stored in the DB 112 illustrated in FIG. By referring to the character, the character is arranged at a position in the virtual space corresponding to the positions of the chairs C1 and C3 arranged in the real space.

また、ＨＭＤ３が備えるカメラが、現実空間の所定の範囲に含まれる椅子Ｃ１，Ｃ３（特定対象物）を撮像することによって画像情報を取得する。ＨＭＤ３は、画像情報を図１に示すコンピュータ１に送信する。そして、キャラクタ配置部１１４は、取得した画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部１１４は、椅子Ｃ１，Ｃ３に対応する特定画像情報を取得すると、例えば、図３に示すＤＢ１１２に格納されたキャラクタ情報ＣＩ（例えば、予め、椅子Ｃ１は社員Ａに対応するキャラクタ情報が関連付けられ、椅子Ｃ３には、社員Ｂに対応するキャラクタ情報が関連づけられた情報テーブル等）を参照することにより、現実空間に配置された椅子Ｃ１の位置に対応する仮想空間の位置に社員Ａキャラクタを配置し、椅子Ｃ３の位置に対応する仮想空間の位置に社員Ｂキャラクタを配置する。 In addition, the camera included in the HMD 3 acquires image information by capturing images of the chairs C1 and C3 (specific objects) included in a predetermined range of the physical space. The HMD 3 sends the image information to the computer 1 shown in FIG. Then, the character placement unit 114 places the character associated with the specific target object at a position in the virtual space corresponding to the position where the specific target object is placed in the physical space, based on the acquired image information. When the character arranging unit 114 acquires the specific image information corresponding to the chairs C1 and C3, for example, the character information CI stored in the DB 112 shown in FIG. 3 (for example, the chair C1 has previously acquired the character information corresponding to the employee A). By referring to an information table in which the chair C3 is associated and the character information corresponding to the employee B is associated with the chair C3), the employee A character is located at the position in the virtual space corresponding to the position of the chair C1 arranged in the real space. Is placed, and the employee B character is placed at a position in the virtual space corresponding to the position of the chair C3.

上記構成によれば、取得した特定画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。このように、予め記録された情報テーブルを参照することで、キャラクタを、仮想空間上における所定の位置に、正確に、且つ、容易に配置できる。 According to the above configuration, the character associated with the specific object is arranged at the position in the virtual space corresponding to the arrangement position of the specific object in the physical space based on the acquired specific image information. Thus, by referring to the information table recorded in advance, the character can be accurately and easily arranged at a predetermined position in the virtual space.

さらに、キャラクタ配置部１１４は、ＤＢ１１２に格納されている、キャラクタごとに、当該キャラクタの仮想空間における配置位置に関する配置位置情報を参照することにより、キャラクタを仮想空間における配置位置に配置してもよい。 Further, the character placement unit 114 may place the character at the placement position in the virtual space by referring to the placement position information regarding the placement position of the character in the virtual space, which is stored in the DB 112. ..

この構成によれば、予め記録された、仮想空間におけるキャラクタの配置位置情報を参照すればよいので、キャラクタを、仮想空間上における所定の位置により正確に、且つ、容易に配置できる。 According to this configuration, since it is sufficient to refer to the previously recorded position information of the character in the virtual space, the character can be accurately and easily arranged at a predetermined position in the virtual space.

（ステップＳ５）
図３に示すコンピュータ１ａの取得部１１５は、図１に示すユーザＵｂ，Ｕｃの表現に関する表現情報を取得する。まず、図１に示すカメラ５ｂは、ユーザＵｂを含む所定の範囲を撮像することにより、ユーザＵｂの表現情報を含む３Ｄ画像情報を生成する。また、カメラ５ｃは、ユーザＵｃを含む所定の範囲を撮像することにより、ユーザＵｃの表現情報を含む３Ｄ画像情報を生成する。なお、表現情報と３Ｄ画像情報とは別個の情報であってもよい。
カメラ５ｂ，５ｃは、撮像することにより取得される３Ｄ画像情報をコンピュータ１ｂ，１ｃに送信する。また、カメラ５ｂ，５ｃは、ユーザＵｂ，Ｕｃの音声を取得するマイクの機能を更に備える。よって、カメラ５ｂ，５ｃのそれぞれは、取得した音声を音声情報としてコンピュータ１ｂ，１ｃに送信する。そして、コンピュータ１ａの取得部１１５は、ネットワークＮを介して、コンピュータ１ｂ，１ｃからユーザＵｂ，Ｕｃの表現情報と３Ｄ画像情報と音声情報とを取得し得る。取得部１１５は、上記各種情報を、定期的に、又は、任意のタイミングで取得してもよい。例えば、カメラ５ｂ，５ｃは、ユーザＵｂ，Ｕｃの表現に変化が起きた場合に、情報を取得し、コンピュータ１ｂ，１ｃに送信してもよい。 (Step S5)
The acquisition unit 115 of the computer 1a illustrated in FIG. 3 acquires expression information regarding expressions of the users Ub and Uc illustrated in FIG. First, the camera 5b illustrated in FIG. 1 captures an image of a predetermined range including the user Ub to generate 3D image information including expression information of the user Ub. Further, the camera 5c captures a predetermined range including the user Uc to generate 3D image information including expression information of the user Uc. The expression information and the 3D image information may be separate information.
The cameras 5b and 5c transmit the 3D image information acquired by capturing images to the computers 1b and 1c. Further, the cameras 5b and 5c are further provided with a function of a microphone that acquires the voices of the users Ub and Uc. Therefore, each of the cameras 5b and 5c transmits the acquired voice to the computers 1b and 1c as voice information. Then, the acquisition unit 115 of the computer 1a can acquire the expression information, the 3D image information, and the voice information of the users Ub and Uc from the computers 1b and 1c via the network N. The acquisition unit 115 may acquire the above-mentioned various information regularly or at any timing. For example, the cameras 5b and 5c may acquire information and transmit it to the computers 1b and 1c when the expressions of the users Ub and Uc change.

（ステップＳ７）
図３に示すコンピュータ１の反映部１１６は、表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する。 (Step S7)
The reflection unit 116 of the computer 1 illustrated in FIG. 3 reflects the expression based on the expression information to the character that is arranged in the virtual space based on the expression information and that is associated with the user who is associated with the expression information. To do.

図７は、本発明の実施形態に係るヘッドマウントディスプレイで表示される視界画像の一例を示す図である。図７に示すように、仮想空間５０は、会議室オブジェクトОを含み、キャラクタ配置部１１４は、会議室オブジェクトОを、ユーザＵｂに関連付けられたキャラクタＣｂとユーザＵｃに関連付けられたキャラクタＣｃとの間で共有するように当該キャラクタを仮想空間５０に配置する。反映部１１６は、取得した表現情報を踏まえて、ユーザＵｂ，Ｕｃに対応づけられたキャラクタＣｂ，Ｃｃに表現情報に基づく表現を反映する。視界画像生成部１１７は、ユーザＵｂ，Ｕｃの表現が反映されたキャラクタＣｂ，Ｃｃを含む視界画像９ａを生成する。なお、コンピュータ１ａは、表現情報が音声情報を含む場合は、当該音声情報を踏まえて、ＨＭＤ３から、ユーザＵｂ，Ｕｃに対応する音声を出力するための音声出力情報を生成してもよい。 FIG. 7 is a diagram showing an example of a visual field image displayed on the head mounted display according to the embodiment of the present invention. As shown in FIG. 7, the virtual space 50 includes a conference room object O, and the character placement unit 114 divides the conference room object O into a character Cb associated with the user Ub and a character Cc associated with the user Uc. The character is arranged in the virtual space 50 so as to be shared between them. The reflecting unit 116 reflects the expression based on the expression information on the characters Cb and Cc associated with the users Ub and Uc based on the acquired expression information. The visual field image generation unit 117 generates the visual field image 9a including the characters Cb and Cc in which the expressions of the users Ub and Uc are reflected. If the expression information includes voice information, the computer 1a may generate voice output information for outputting voices corresponding to the users Ub and Uc from the HMD 3 based on the voice information.

また、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｂに送信し、カメラ５ｂに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｂは、ユーザＵａの音声を聞くことができる。さらに、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｃに送信し、カメラ５ｃに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｃは、ユーザＵａの音声を聞くことができる。 Further, the microphone provided in the HMD 3 may acquire the voice of the user Ua and transmit it as voice information to the computer 1b, and the speaker provided in the camera 5b may output the voice of the user Ua. As a result, the user Ub can hear the voice of the user Ua. Further, the microphone provided in the HMD 3 may acquire the voice of the user Ua and transmit it as voice information to the computer 1c, and the voice of the user Ua may be output by the speaker provided in the camera 5c. As a result, the user Uc can hear the voice of the user Ua.

このように、ユーザＵａは、ＨＭＤ３のディスプレイに表示される、ユーザＵｂ，Ｕｃのそれぞれの表現の変化に応じてリアルタイムに生成又は更新される視界画像９ｂを視認しながら、ユーザＵａ，Ｕｂ，Ｕｃの３者が参加する仮想会議を実施することができる。よって、当該仮想空間５０は三者で共有される共有仮想空間と言える。なお、図７の例では、仮想空間５０においては、ユーザＵａに対応するキャラクタは配置されていないが、ユーザＵａに対応するキャラクタを仮想空間５０に配置してもよい。 As described above, the user Ua visually recognizes the visual field image 9b that is generated or updated in real time according to the changes in the expressions of the users Ub and Uc displayed on the display of the HMD 3, and the users Ua, Ub, and Uc. It is possible to conduct a virtual conference in which the three parties participate. Therefore, it can be said that the virtual space 50 is a shared virtual space shared by the three parties. In the example of FIG. 7, the character corresponding to the user Ua is not arranged in the virtual space 50, but the character corresponding to the user Ua may be arranged in the virtual space 50.

以上説明した実施形態によれば、取得したユーザの表現情報に基づいて、仮想空間に配置されたキャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する。よって、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することが可能である。 According to the embodiment described above, based on the acquired expression information of the user, the character is arranged in the virtual space, and the character associated with the user associated with the expression information is based on the expression information. Reflect the expression. Therefore, it is possible to properly arrange the character associated with the user at a predetermined position, and accurately reflect the expression by the user on the character associated with the user.

（他の実施形態）
上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良（例えば、各実施形態を組み合わせること、各実施形態の一部の構成を省略すること）され得るとともに、本発明にはその等価物も含まれる。 (Other embodiments)
The above-described embodiments are for the purpose of facilitating the understanding of the present invention and should not be construed as limiting the present invention. The present invention can be modified/improved (for example, combining the embodiments and omitting a part of the configuration of each embodiment) without departing from the spirit thereof, and the present invention also includes equivalents thereof. Be done.

上述の実施形態でコンピュータ１ａ，１ｂ，１ｃが実行している各処理の少なくとも一部を、代わりに管理サーバ７に実装されている仮想空間提供アプリケーションが実行するようにしてもよい。この構成によれば、コンピュータ１ａ，１ｂ，１ｃのそれぞれの機能を管理サーバ７が統合的に管理、実行できる。 Alternatively, at least a part of each processing executed by the computers 1a, 1b, 1c in the above-described embodiment may be executed by the virtual space providing application installed in the management server 7 instead. With this configuration, the management server 7 can integrally manage and execute the respective functions of the computers 1a, 1b, 1c.

また、一のコンピュータ１又は一の管理サーバ７は、複数のＨＭＤ３に共通して用いられてもよい。つまり、図１の例では、ユーザＵａのみＨＭＤ３を装着しているが、ユーザＵｂ，ＵｃにもＨＭＤを装着させる。この場合、複数のユーザＵａ，Ｕｂ，Ｕｃに同一の仮想空間を提供することができるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、上記に限られず、ユーザＵａ，Ｕｂ，ＵｃのそれぞれにＨＭＤを装着させつつも、ユーザＵａ，Ｕｂ，Ｕｃのそれぞれに対応した別個の仮想空間を定義してもよい。例えば、ユーザＵａに対応付けられた仮想空間には、少なくともユーザＵｂ，Ｕｃに対応づけられたキャラクタが配置され、ユーザＵｂに対応付けられた仮想空間には、少なくともユーザＵａ，Ｕｃに対応づけられたキャラクタが配置され、ユーザＵｃに対応付けられた仮想空間には、少なくともユーザＵａ，Ｕｂに対応づけられたキャラクタが配置されてもよい。 Further, one computer 1 or one management server 7 may be commonly used for a plurality of HMDs 3. That is, in the example of FIG. 1, only the user Ua wears the HMD 3, but the users Ub and Uc also wear the HMD. In this case, since the same virtual space can be provided to a plurality of users Ua, Ub, Uc, each user can enjoy the same application as other users in the same virtual space. Note that the present invention is not limited to the above, and a separate virtual space corresponding to each of the users Ua, Ub, Uc may be defined while mounting the HMD on each of the users Ua, Ub, Uc. For example, at least the characters associated with the users Ub and Uc are arranged in the virtual space associated with the user Ua, and the virtual space associated with the user Ub is associated with at least the users Ua and Uc. Characters associated with the user Uc may be disposed in the virtual space associated with the user Uc.

１ａ，１ｂ，１ｃ…コンピュータ、３…ＨＭＤ、５ｂ，５ｃ…カメラ、７…管理サーバ、１１（７１）…ＣＰＵ、１２（７２）…メモリ、１３（７３）…入力部、１４（７４）…出力部、１５（７５）…記録部、１６（７６）…通信部、１７（７７）…バス、１００…仮想空間提供システム、１１１…情報処理部、１１２…データベース（ＤＢ）、１１３…関連付け部、１１４…キャラクタ配置部、１１５…取得部、１１６…反映部、１１７…視界画像生成部 1a, 1b, 1c... Computer, 3... HMD, 5b, 5c... Camera, 7... Management server, 11(71)... CPU, 12(72)... Memory, 13(73)... Input section, 14(74)... Output unit, 15(75)... Recording unit, 16(76)... Communication unit, 17(77)... Bus, 100... Virtual space providing system, 111... Information processing unit, 112... Database (DB), 113... Association unit , 114... Character placement section, 115... Acquisition section, 116... Reflection section, 117... View image generation section

Claims (7)

１又は複数のユーザに対して仮想空間を提供する仮想空間提供システムであって、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
仮想空間に前記キャラクタを配置するキャラクタ配置部と、
前記ユーザの表現に関する表現情報を取得する取得部と、
取得した前記表現情報に基づいて、前記仮想空間に配置された前記キャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する反映部と、を備える、
仮想空間提供システム。 A virtual space providing system for providing a virtual space to one or a plurality of users,
An associating unit that associates a character with at least one of the users,
A character placement unit for placing the character in the virtual space,
An acquisition unit that acquires expression information about the expression of the user,
A reflection unit that reflects the expression based on the expression information to the character that is arranged in the virtual space and that is associated with the user that is associated with the expression information, based on the acquired expression information; With
Virtual space providing system. 前記キャラクタ配置部は、カメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられたキャラクタを配置する、
請求項１に記載の仮想空間提供システム。 The character arranging unit corresponds to an arrangement position of the specific object in the physical space based on image information acquired by capturing an image of the specific object included in a predetermined range of the physical space with a camera. Placing a character associated with the specific object at a position in the virtual space,
The virtual space providing system according to claim 1. 前記キャラクタごとに、当該キャラクタの前記仮想空間における配置位置に関する配置位置情報を記録する記録部を更に備え、
前記キャラクタ配置部は、前記配置位置情報に基づいて、前記キャラクタを前記仮想空間における前記配置位置に配置する、
請求項１又は２に記載の仮想空間提供システム。 For each character, further comprising a recording unit for recording arrangement position information regarding the arrangement position of the character in the virtual space,
The character placement unit places the character at the placement position in the virtual space based on the placement position information,
The virtual space providing system according to claim 1. 前記キャラクタは、前記キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、又は、前記キャラクタに関連付けられたユーザに基づくアバターの少なくとも一方を含む、
請求項１から３のいずれか一項に記載の仮想空間提供システム。 The character includes at least one of image information acquired by capturing an image of a user associated with the character, or an avatar based on the user associated with the character,
The virtual space providing system according to any one of claims 1 to 3. 前記仮想空間は、会議室オブジェクトを含み、
前記キャラクタ配置部は、前記会議室オブジェクトを前記キャラクタ間で共有するように当該キャラクタを前記仮想空間に配置する、
請求項１から４のいずれか一項に記載の仮想空間提供システム。 The virtual space includes a conference room object,
The character placement unit places the character in the virtual space so that the conference room object is shared between the characters.
The virtual space providing system according to any one of claims 1 to 4. １又は複数のユーザに対して仮想空間を提供するコンピュータが実行する仮想空間提供であって、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付けるステップと、
仮想空間に前記キャラクタを配置するステップと、
前記ユーザの表現に関する表現情報を取得するステップと、
取得した前記表現情報に基づいて、前記仮想空間に配置された前記キャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映するステップと、を含む、
仮想空間提供方法。 A virtual space provision executed by a computer that provides a virtual space to one or more users,
Associating a character with at least one of the users,
Placing the character in a virtual space,
Obtaining expression information about the user's expression,
Reflecting the expression based on the expression information to the character arranged in the virtual space based on the acquired expression information, the character being associated with the user associated with the expression information. Including,
Virtual space provision method. １又は複数のユーザに対して仮想空間を提供するコンピュータを、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
仮想空間に前記キャラクタを配置するキャラクタ配置部と、
前記ユーザの表現に関する表現情報を取得する取得部と、
取得した前記表現情報に基づいて、前記仮想空間に配置された前記キャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する反映部と、
して機能させる、プログラム。 A computer that provides a virtual space to one or more users,
An associating unit that associates a character with at least one of the users,
A character placement unit for placing the character in the virtual space,
An acquisition unit that acquires expression information about the expression of the user,
A reflection unit that reflects the expression based on the expression information to the character that is arranged in the virtual space and that is associated with the user that is associated with the expression information, based on the acquired expression information;
A program that makes it work.
JP2018246652A 2018-12-28 2018-12-28 Virtual space providing system, virtual space providing method and program Active JP7312550B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018246652A JP7312550B2 (en) 2018-12-28 2018-12-28 Virtual space providing system, virtual space providing method and program
JP2022166101A JP2022186819A (en) 2018-12-28 2022-10-17 Virtual space providing system, virtual space providing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018246652A JP7312550B2 (en) 2018-12-28 2018-12-28 Virtual space providing system, virtual space providing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022166101A Division JP2022186819A (en) 2018-12-28 2022-10-17 Virtual space providing system, virtual space providing method, and program

Publications (2)

Publication Number Publication Date
JP2020107160A true JP2020107160A (en) 2020-07-09
JP7312550B2 JP7312550B2 (en) 2023-07-21

Family

ID=71449274

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018246652A Active JP7312550B2 (en) 2018-12-28 2018-12-28 Virtual space providing system, virtual space providing method and program
JP2022166101A Pending JP2022186819A (en) 2018-12-28 2022-10-17 Virtual space providing system, virtual space providing method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022166101A Pending JP2022186819A (en) 2018-12-28 2022-10-17 Virtual space providing system, virtual space providing method, and program

Country Status (1)

Country Link
JP (2) JP7312550B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031745A (en) * 2003-07-07 2005-02-03 Pioneer Electronic Corp Image processor, method and program
JP2008287683A (en) * 2007-05-16 2008-11-27 Yuichi Itsuji System for customizing (personalizing) three-dimensional cg animation character
JP2018109937A (en) * 2016-12-28 2018-07-12 株式会社コロプラ Information processing method, apparatus, information processing system, and program causing computer to execute the information processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510189B2 (en) * 2014-04-16 2019-12-17 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and information processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031745A (en) * 2003-07-07 2005-02-03 Pioneer Electronic Corp Image processor, method and program
JP2008287683A (en) * 2007-05-16 2008-11-27 Yuichi Itsuji System for customizing (personalizing) three-dimensional cg animation character
JP2018109937A (en) * 2016-12-28 2018-07-12 株式会社コロプラ Information processing method, apparatus, information processing system, and program causing computer to execute the information processing method

Also Published As

Publication number Publication date
JP2022186819A (en) 2022-12-15
JP7312550B2 (en) 2023-07-21

Similar Documents

Publication Publication Date Title
US10044982B2 (en) Providing a tele-immersive experience using a mirror metaphor
CN109891365B (en) Virtual reality and cross-device experience
US11763559B2 (en) 3D object annotation
US11127210B2 (en) Touch and social cues as inputs into a computer
CN107850779B (en) Virtual position anchor
US9594537B2 (en) Executable virtual objects associated with real objects
JP7013420B2 (en) Location of mobile devices
US20190362312A1 (en) System and method for creating a collaborative virtual session
US11743064B2 (en) Private collaboration spaces for computing systems
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN112243583A (en) Multi-endpoint mixed reality conference
Adcock et al. Using projected light for mobile remote guidance
US20200233489A1 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
US20220270331A1 (en) XR Preferred Movement Along Planes
JP7312550B2 (en) Virtual space providing system, virtual space providing method and program
WO2021053870A1 (en) Video processing method, server device, and computer program
US20230072623A1 (en) Artificial Reality Device Capture Control and Sharing
US20230334794A1 (en) Presenting Communication Data Based on Environment
TW202334905A (en) Spatial anchor sharing for multiple virtual reality systems in shared real-world environments
KR20200088698A (en) Apparatus and method for providng space service
JP2024064524A (en) Information sharing device, information sharing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150