JP2024063062A - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents
情報処理システム、情報処理方法、情報処理プログラム Download PDFInfo
- Publication number
- JP2024063062A JP2024063062A JP2024024798A JP2024024798A JP2024063062A JP 2024063062 A JP2024063062 A JP 2024063062A JP 2024024798 A JP2024024798 A JP 2024024798A JP 2024024798 A JP2024024798 A JP 2024024798A JP 2024063062 A JP2024063062 A JP 2024063062A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- image
- layer
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 85
- 230000004044 response Effects 0.000 claims description 34
- 238000009877 rendering Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 abstract description 195
- 238000003860 storage Methods 0.000 abstract description 43
- 238000001514 detection method Methods 0.000 abstract description 41
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 31
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 210000000887 face Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 201000003152 motion sickness Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 208000012886 Vertigo Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007103 stamina Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】本願発明は仮想空間において好適なコンテンツ配信技術を提供するものである。【解決手段】第1仮想空間H20の画像を含むコンテンツを配信する第1ユーザの状態を検出する第1検出部211Aと、第1ユーザに係る第1端末装置20Aを介して第1ユーザに視認可能な第1仮想空間の画像を描画する第1描画処理部200Aと、第1ユーザに対応付けられた第1表示媒体を記憶する第1記憶部240Aと、を備え、第1仮想空間の画像は、複数の階層を有し、第1描画処理部は、複数の階層のうちの、第1表示媒体に係る層の第1画像領域を描画する第1描画部201Aと、複数の階層のうちの、第1ユーザインターフェースに係る層の第2画像領域を描画する第2描画部202Aとを備え、第1描画部は、第1検出部により検出された第1ユーザの状態に基づいて、第1画像領域における第1表示媒体の状態を変化させる、情報処理システム1が開示される。【選択図】 図1
Description
本開示は、情報処理システム、情報処理方法、情報処理プログラムに関する。
従来から、音楽及び動画を複数のユーザに配信するサービスとして、「Mirrativ」が知られている(例えば、非特許文献1参照)。
"Mirrativ"、[online]、株式会社ミラティブ、[2019年12月18日検索]、インターネット(URL:https://www.mirrativ.com/)
上記のような従来技術では、実空間で視聴可能なサービスであり、仮想空間に発展させることが難しい。
そこで、本開示は、仮想空間において好適なコンテンツ配信技術を提供することを目的とする。
本開示の一局面によれば、仮想空間の画像を描画する描画処理部と、前記仮想空間における各種入力に応じた処理を実行するユーザインターフェース部と、を備え、前記描画処理部は、当該情報処理システムにおける仮想現実の進行やユーザの操作に応じて、複数の階層を有する前記仮想空間の画像を更新し、前記複数の階層は、第1表示媒体が表示される第1表示媒体表示層、第2表示媒体が表示される第2表示媒体表示層、ユーザインターフェースが表示されるインターフェース表示層、背景層、及び、各種の補助情報が表示される補助情報表示層のうちの任意の2つ以上の層を含むとともに、前記仮想空間の画像を視るユーザの視点を基準として、前記背景層が含まれる場合には前記背景層が最も背後の層とされるほかは、他の層同士の前後関係について状況に応じて設定される、情報処理システムが開示される。
本開示によれば、仮想空間において好適なコンテンツ配信技術が得られる。
以下、添付図面を参照しながら実施形態について詳細に説明する。
図1を参照して、本発明の一実施形態に係る仮想現実生成システム1の概要について説明する。図1は、本実施形態に係る仮想現実生成システム1のブロック図である。
仮想現実生成システム1は、サーバ装置10(外部処理装置の一例)と、1つ以上の端末装置20と、を備える。図1では簡便のため、3つの端末装置20を図示しているが、端末装置20の数は2つ以上であればよい。
サーバ装置10は、例えば1つ以上の仮想現実を提供する運営者が管理するサーバ等の情報処理システムである。端末装置20は、例えば携帯電話、スマートフォン、タブレット端末、PC(Personal Computer)、装着型装置(ヘッドマウントディスプレイ、メガネ型装置等)又はゲーム装置等の、ユーザによって使用される装置である。端末装置20は、典型的にはユーザごとに異なる態様で、複数がサーバ装置10にネットワーク3を介して接続されうる。
端末装置20は、本実施形態に係る仮想現実アプリケーションを実行可能である。仮想現実アプリケーションは、ネットワーク3を介してサーバ装置10や所定のアプリケーション配信サーバから端末装置20に受信されてもよく、あるいは端末装置20に備えられた記憶装置又は端末装置20が読取可能なメモリカード等の記憶媒体にあらかじめ記憶されていてもよい。サーバ装置10及び端末装置20は、ネットワーク3を介して通信可能に接続される。例えば、サーバ装置10及び端末装置20が協動して、仮想現実に関する多様な処理を実行する。
端末装置20は、コンテンツ配信側の端末装置20A(第1端末装置の一例)と、コンテンツ視聴側の端末装置20B(第2端末装置の一例)とを含む。なお、以下では、説明上、コンテンツ配信側の端末装置20Aと、コンテンツ視聴側の端末装置20Bとは、別々の端末装置として説明するが、コンテンツ配信側の端末装置20Aが、コンテンツ視聴側の端末装置20Bとなる場合や、その逆の場合もありうる。なお、以下では、端末装置20A及び端末装置20Bとを特に区別しない場合は、単に「端末装置20」と称する場合がある。
各端末装置20は、サーバ装置10を介して互いに通信可能に接続されている。なお、以下では、「一の端末装置20が情報を他の端末装置20に送信する」とは、「一の端末装置20が情報をサーバ装置10を介して他の端末装置20に送信する」ことを意味する。同様に、「一の端末装置20が情報を他の端末装置20から受信する」とは、「一の端末装置20が情報をサーバ装置10を介して他の端末装置20から受信する」ことを意味する。ただし、変形例では、各端末装置20は、サーバ装置10を介さずに通信可能に接続されてもよい。
なお、ネットワーク3は、無線通信網や、インターネット、VPN(Virtual Private Network)、WAN(Wide Area Network)、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでよい。
図1に示す例では、仮想現実生成システム1は、スタジオユニット30A、30Bを含む。スタジオユニット30A、30Bは、コンテンツ配信側の端末装置20Aと同様、コンテンツ配信側の装置である。スタジオユニット30A、30Bは、コンテンツ制作用のスタジオ、部屋、ホール等に配置され得る。
各スタジオユニット30は、コンテンツ配信側の端末装置20A、及び/又は、サーバ装置10と同様の機能を有することができる。以下、説明を簡単にするために、コンテンツ配信側の端末装置20Aがサーバ装置10を介して各コンテンツ視聴側の端末装置20Bに対して各種のコンテンツを配信する場合を主に説明する。しかしながら、これに代えて又はこれに加えて、配信ユーザに対向するスタジオユニット30A、30Bが、コンテンツ配信側の端末装置20Aと同様の機能を有することにより、サーバ装置10を介して各コンテンツ視聴側の端末装置20Bに対して各種のコンテンツを配信してもよい。なお、変形例では、仮想現実生成システム1は、スタジオユニット30A、30Bを備えていなくてもよい。
以下では、仮想現実生成システム1が、情報処理システムの一例を実現するが、特定の一の端末装置20の各要素(図1の端末通信部21から端末制御部25参照)が、情報処理システムの一例を実現してもよいし、複数の端末装置20が、協動して情報処理システムの一例を実現してもよい。また、サーバ装置10が単独で、情報処理システムの一例を実現してもよいし、サーバ装置10と1つ以上の端末装置20が、協動して情報処理システムの一例を実現してもよい。
ここで、本実施形態に係る仮想現実の概要について説明する。本実施形態に係る仮想現実は、例えば教育、旅行、ロールプレイング、シミュレーション、ゲームやコンサートのようなエンターテイメント等、任意の現実に対する仮想現実等であって、仮想現実の実行に伴い、アバタのような仮想現実媒体が用いられる。例えば、本実施形態に係る仮想現実は、3次元の仮想空間と、当該仮想空間内に登場する各種の仮想現実媒体と、当該仮想空間内で提供される各種のコンテンツとにより実現される。
仮想現実媒体は、仮想現実に使用される電子データであり、例えば、カード、アイテム、ポイント、サービス内通貨(又は仮想現実内通貨)、チケット、キャラクタ、アバタ、パラメータ等、任意の媒体を含む。また、仮想現実媒体は、レベル情報、ステータス情報、パラメータ情報(体力値及び攻撃力等)又は能力情報(スキル、アビリティ、呪文、ジョブ等)のような、仮想現実関連情報であってもよい。また、仮想現実媒体は、ユーザによって仮想現実内で取得、所有、使用、管理、交換、合成、強化、売却、廃棄、又は贈与等され得る電子データであるが、仮想現実媒体の利用態様は本明細書で明示されるものに限られない。
本実施形態では、ユーザは、仮想空間内で各種コンテンツを視聴する視聴ユーザ(第2ユーザの一例)と、後述する配信者アバタM2(第1表示媒体の一例)を介して仮想空間内で後述する特定コンテンツを配信する配信ユーザ(第1ユーザの一例)とを含む。
なお、配信ユーザは、視聴ユーザとして、他の配信ユーザによる特定コンテンツを視聴することも可能であるし、逆に、視聴ユーザも、配信ユーザとして、特定コンテンツを配信することも可能でありうる。ただし、以下では、説明の複雑化を防止する都合上、視聴ユーザとは、その時の視聴ユーザであるとし、配信ユーザは、その時の配信ユーザであるとする。なお、以下では、配信ユーザと視聴ユーザとを特に区別しない場合は、単に「ユーザ」と称する場合がある。また、視聴ユーザに係る視聴者アバタM1(第2表示媒体の一例)と配信者アバタM2とを特に区別しない場合は、単に「アバタ」と称する場合がある。
なお、アバタは、典型的には、正面方向を有するキャラクタの形態であり、人や動物又はその類の形態を有してよい。アバタは、各種アバタアイテムに対応付けられることで、多様な容姿(描画されたときの容姿)を有することができる。
視聴ユーザ及び配信ユーザは、基本的には、例えば、頭部又は顔の一部に装着型装置を装着し、当該装着型装置を介して仮想空間を視認する。なお、装着型装置は、ヘッドマウントディスプレイやメガネ型装置であってもよい。メガネ型装置は、いわゆるAR(Augmented Reality)グラスやMR(Mixed Reality)グラスであってよい。いずれの場合でも、装着型装置は、端末装置20とは別であってもよいし、端末装置20の一部又は全部の機能を実現してもよい。本実施形態では、一例として、端末装置20は、ヘッドマウントディスプレイにより実現されるものとする。
以下では、サーバ装置10が配信する各種コンテンツのうちの、配信ユーザによる特定コンテンツを主に説明する。また、以下の説明では、ヘッドマウントディスプレイを介して視聴されることが好適なコンテンツについて説明する。
配信ユーザによる特定コンテンツとは、配信ユーザに係る配信者アバタM2であって、配信ユーザの向きや位置、動き等に応じて向きや位置、動き等を変化させる配信者アバタM2が仮想空間内に登場するコンテンツを指すものとする。なお、配信ユーザの向きや位置、動きとは、配信ユーザの顔や手等の身体の一部や全部の向き、位置、動きのみならず、配信ユーザの視線の向き、位置、動き又はその類を含む概念である。配信ユーザによる特定コンテンツは、典型的には、動画コンテンツである。
配信ユーザによる特定コンテンツは、典型的には、配信者アバタM2を介して任意の態様でエンターテイメントを提供するものである。例えば、配信ユーザによる特定コンテンツは、踊りや音楽、マジック等のような各種のパフォーマンス、チャット、会合、集会、会議、又はその類に関連してもてよい。
また、配信ユーザによる特定コンテンツは、教育系であってもよい。例えば、配信ユーザによる特定コンテンツは、配信者アバタM2を介して配信ユーザからの指導やアドバイス等を含んでよい。例えば、ダンスのレッスンに係る仮想現実で提供されるコンテンツとして、ダンスの先生からの指導やアドバイス等を含んでよい。この場合、ダンスの先生が配信ユーザとなり、生徒が視聴ユーザとなり、仮想現実において生徒が先生から個別的に指導を受けることができる。
また、配信ユーザによる特定コンテンツは、2人以上の配信ユーザによるコラボレーション(以下、「コラボ」と省略)の形態を含んでよい。これにより、多様な態様での配信が可能となり、配信ユーザ間での交流が促進される。
なお、サーバ装置10は、配信ユーザによる特定コンテンツ以外のコンテンツを配信することも可能である。サーバ装置10が提供するコンテンツ(仮想現実で提供されるコンテンツ)の種類や数は、任意であるが、本実施形態では、一例として、サーバ装置10が提供するコンテンツは、各種の映像のようなデジタルコンテンツを含んでよい。映像は、リアルタイムの映像であってもよいし、非リアルタイムの映像であってもよい。また、映像は、実画像に基づく映像であってもよいし、CG(Computer Graphics)に基づく映像であってもよい。映像は、情報提供用の映像であってよい。この場合、映像は、特定のジャンルの情報提供サービス(旅や、住まい、食品、ファッション、健康、美容等に関する情報提供サービス)、特定のユーザによる放送サービス(例えばYoutube(登録商標))等に関するものであってよい。
仮想現実におけるコンテンツの提供態様は、多様であり、ヘッドマウントディスプレイの表示機能を利用して提供される態様以外であってもよい。例えば、コンテンツが映像である場合、仮想空間内の表示装置(仮想現実媒体)のディスプレイ上に、映像を描画することで、当該コンテンツの提供が実現されてもよい。なお、仮想空間内の表示装置は、任意の形態であり、仮想空間内に設置されるスクリーンや、仮想空間内に設置される大画面ディスプレイ、仮想空間内の携帯端末のディスプレイ等であってよい。
また、仮想現実におけるコンテンツは、ヘッドマウントディスプレイを介する以外の方法によっても視聴可能であってもよい。例えば、仮想現実におけるコンテンツは、スマートフォンやタブレット等を介して直接的に(ヘッドマウントディスプレイを介することなく)視聴されてもよい。
(サーバ装置の構成)
サーバ装置10の構成について具体的に説明する。サーバ装置10は、サーバコンピュータにより構成される。サーバ装置10は、複数台のサーバコンピュータにより協動して実現されてもよい。例えば、サーバ装置10は、各種のコンテンツを提供するサーバコンピュータや、各種の認証サーバを実現するサーバコンピュータ等により協動して実現されてもよい。また、サーバ装置10は、Webサーバを含んでよい。この場合、後述する端末装置20の機能の一部は、Webサーバから受領したHTML文書やそれに付随する各種プログラム(Javascript)をブラウザが処理することによって実現されてもよい。
サーバ装置10の構成について具体的に説明する。サーバ装置10は、サーバコンピュータにより構成される。サーバ装置10は、複数台のサーバコンピュータにより協動して実現されてもよい。例えば、サーバ装置10は、各種のコンテンツを提供するサーバコンピュータや、各種の認証サーバを実現するサーバコンピュータ等により協動して実現されてもよい。また、サーバ装置10は、Webサーバを含んでよい。この場合、後述する端末装置20の機能の一部は、Webサーバから受領したHTML文書やそれに付随する各種プログラム(Javascript)をブラウザが処理することによって実現されてもよい。
サーバ装置10は、図1に示すように、サーバ通信部11と、サーバ記憶部12と、サーバ制御部13と、を備える。
サーバ通信部11は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースを含む。サーバ通信部11は、例えば無線LAN(Local Area Network)通信モジュール又は有線LAN通信モジュール等を含んでもよい。サーバ通信部11は、ネットワーク3を介して、端末装置20との間で情報を送受信可能である。
サーバ記憶部12は、例えば記憶装置であって、仮想現実に係る各種処理に必要な種々の情報及びプログラムを記憶する。
サーバ制御部13は、専用のマイクロプロセッサ又は特定のプログラムを読み込むことにより特定の機能を実現するCPU(Central Processing Unit)や、GPU(Graphics Processing Unit)等を含んでよい。例えばサーバ制御部13は、端末装置20と協動して、端末装置20の表示部23に対するユーザ操作に応じて仮想現実アプリケーションを実行する。
(端末装置の構成)
端末装置20の構成について説明する。図1に示すように、端末装置20は、端末通信部21と、端末記憶部22と、表示部23と、入力部24と、端末制御部25とを備える。
端末装置20の構成について説明する。図1に示すように、端末装置20は、端末通信部21と、端末記憶部22と、表示部23と、入力部24と、端末制御部25とを備える。
端末通信部21は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースを含む。端末通信部21は、例えばLTE(Long Term Evolution)(登録商標)や、LTE-A(LTE-Advanced)、第五世代移動通信システム、UMB(Ultra Mobile Broadband)等のモバイル通信規格に対応する無線通信モジュール、無線LAN通信モジュール、又は有線LAN通信モジュール等を含んでもよい。端末通信部21は、ネットワーク3を介して、サーバ装置10との間で情報を送受信可能である。
端末記憶部22は、例えば一次記憶装置及び二次記憶装置を含む。例えば端末記憶部22は、半導体メモリ、磁気メモリ、又は光メモリ等を含んでもよい。端末記憶部22は、サーバ装置10から受信する、仮想現実の処理に用いられる種々の情報及びプログラムを記憶する。仮想現実の処理に用いられる情報及びプログラムは、端末通信部21を介して外部装置から取得されてもよい。例えば、仮想現実アプリケーションプログラムが、所定のアプリケーション配信サーバから取得されてもよい。以下、アプリケーションプログラムを、単にアプリケーションともいう。
また、端末記憶部22は、仮想空間を描画するためのデータ、例えば建物のような屋内の空間や、屋外の空間の画像等を記憶する。なお、仮想空間を描画するためのデータは、仮想空間ごとに複数種類用意され、使い分けられてもよい。
また、端末記憶部22は、3次元の仮想空間内に配置された種々のオブジェクトに投影(テクスチャマッピング)するための種々の画像(テクスチャ画像)を記憶する。
例えば、端末記憶部22は、各ユーザに対応付けられる仮想現実媒体としての視聴者アバタM1の描画情報を記憶する。仮想空間内に視聴者アバタM1は、視聴者アバタM1の描画情報に基づいて描画される。
また、端末記憶部22は、各配信ユーザに対応付けられる仮想現実媒体としての配信者アバタM2の描画情報を記憶する。仮想空間内に配信者アバタM2は、配信者アバタM2の描画情報に基づいて描画される。
また、端末記憶部22は、例えば各種のギフトオブジェクト、建物、壁、又はNPC(Non Player Character)等のような、視聴者アバタM1や配信者アバタM2とは異なる各種のオブジェクトに係る描画情報を記憶する。仮想空間内に各種のオブジェクトは、かかる描画情報に基づいて描画される。なお、ギフトオブジェクトとは、一のユーザから他のユーザへのギフト(贈り物)に対応するオブジェクトであり、アイテムの一部である。ギフトオブジェクトは、アバタの身に着けるもの(服やアクセサリー)や配信画像を装飾するもの(花火やお花等)、背景(壁紙)又はその類や、ガチャ(抽選)を回すことのできるチケット又はその類であってよい。
表示部23は、例えば液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイ等の表示デバイスを含む。表示部23は、多様な画像を表示可能である。表示部23は、例えばタッチパネルで構成され、多様なユーザ操作を検出するインターフェースとして機能する。なお、表示部23は、上述したように、ヘッドマウントディスプレイに内蔵される形態であってよい。
入力部24は、物理キーを含んでもよいし、マウス等のようなポインティングデバイスをはじめとする任意の入力インターフェースを更に含んでもよい。また、入力部24は、音声入力やジェスチャ入力、視線入力のような、非接触型のユーザ入力を受付可能であってもよい。なお、ジェスチャ入力には、ユーザの各種状態を検出するためのセンサ(画像センサや、加速度センサ、距離センサ等)や、センサ技術やカメラを統合した専用モーションキャプチャー、ジョイパッドのようなコントローラ等)が利用されてもよい。また、視線検出用のカメラは、ヘッドマウントディスプレイ内に配置されてもよい。なお、上述したように、ユーザの各種状態は、例えばユーザの向きや位置、動き又はその類であり、この場合、ユーザの向きや位置、動きとは、ユーザの手や身体の向き、位置、動きのみならず、配信ユーザの視線の向き、位置、動き又はその類を含む概念である。
端末制御部25は、1つ以上のプロセッサを含む。端末制御部25は、端末装置20全体の動作を制御する。
端末制御部25は、端末通信部21を介して情報の送受信を行う。例えば、端末制御部25は、仮想現実に係る各種処理に用いられる種々の情報及びプログラムを、サーバ装置10及び他の外部サーバの少なくとも一方から受信する。端末制御部25は、受信した情報及びプログラムを、端末記憶部22に記憶する。例えば、端末記憶部22には、Webサーバに接続するためのブラウザ(インターネットブラウザ)が格納されてよい。
端末制御部25は、ユーザの操作に応じて仮想現実アプリケーションを起動する。端末制御部25は、サーバ装置10と協動して、仮想現実に係る各種処理を実行する。例えば、端末制御部25は、仮想空間の画像を表示部23に表示させる。画面上には、例えばユーザ操作を検出するGUI(Graphic User Interface)が表示されてもよい。端末制御部25は、入力部24を介して、ユーザ操作を検出可能である。例えば端末制御部25は、ユーザのジェスチャによる各種操作(タップ操作、ロングタップ操作、フリック操作、及びスワイプ操作等に対応する操作)を検出可能である。端末制御部25は、操作情報をサーバ装置10に送信する。
端末制御部25は、仮想空間(画像)とともに配信者アバタM2等を描画し、表示部23に表示させる。この場合、例えば、図2に示すように、左右の目でそれぞれ視認される画像G200、G201を生成することで、立体視画像を生成してよい。図2には、左右の目でそれぞれ視認される画像G200、G201が模式的に示されている。なお、以下では、特に言及しない限り、仮想空間の画像とは、画像G200、G201で表現される画像全体を指す。また、端末制御部25は、例えば配信ユーザによる各種操作に応じて、仮想空間内において配信者アバタM2の各種動きを実現させる。端末制御部25の具体的な描画処理は後述する。
図3は、本実施形態による仮想空間の画像の構造の説明図である。
本実施形態では、仮想空間の画像は、図3に概念的に示すように、複数の階層300を有する。この場合、端末制御部25は、各層の画像領域を描画し、各層の画像領域をオーバーレイすることで、仮想空間の画像を生成する。なお、図3に示す例では、階層300は、4つの層301から304からなるが、層数は任意である。
複数の層は、配信者アバタM2が表示される配信アバタ表示層J0、視聴者アバタM1が表示されるユーザアバタ表示層J1、ユーザインターフェースが表示されるインターフェース表示層J2、背景層J3、各種の補助情報が表示される補助情報表示層J5、又はその類の層うちの、任意の2つの以上の組み合わせを含んでよい。
以下では、複数の層の前後関係(又は背後)は、仮想空間の画像を視るユーザの視点を基準とし、また、各層間の距離の関係は、仮想空間の画像を視るユーザの視線方向に沿った距離を基準とする。
複数の層は、背景層J3を含む場合、背景層J3は最も背後の層となるが、他の層の前後関係は、適宜、設定されてよい。例えば、ある仮想空間の画像に係る複数の層が、配信アバタ表示層J0と、インターフェース表示層J2と、背景層J3と、補助情報表示層J5とを含む場合、前側から順に、配信アバタ表示層J0、インターフェース表示層J2、補助情報表示層J5、及び背景層J3を含んでよい。
インターフェース表示層J2は、上述した入力部24に関連する層であり、非接触型のユーザ入力を受付可能とする。インターフェース表示層J2は、好ましくは、仮想空間内のユーザの手の届く距離(すなわち操作可能な距離)に配置される。これにより、ユーザは、ヘッドマウントディスプレイを装着しながら仮想空間内を移動せずに各種入力が可能であり、酔いの生じ難い態様で、インターフェース表示層J2を介して各種の入力を行うことができる。
補助情報表示層J5は、好ましくは、インターフェース表示層J2の背後に配置される。この場合、補助情報表示層J5は、仮想空間内のユーザの手の届かない(移動せずには届かない)距離に配置される。これにより、インターフェース表示層J2の前側に補助情報表示層J5が配置される場合に比べて、インターフェース表示層J2の視認性を高めることができる。
補助情報表示層J5に表示される補助情報は、任意であるが、例えば、特定コンテンツの視聴ユーザ(すなわち当該特定コンテンツを視聴している視聴ユーザ)からの入力情報、配信ユーザ及び/又は他のユーザへの案内/お知らせ情報、及び、配信ユーザに贈られるギフトオブジェクトを含むアイテム情報のうちの少なくともいずれか1つを含んでよい。
なお、補助情報表示層J5は、補助情報の属性ごとに異なる層を形成する態様で、複数の層からなってもよい。例えば、ギフトオブジェクトが描画される補助情報表示層J5を他の補助情報表示層J5とは別に設定してもよい。この場合、ギフトオブジェクトが描画される補助情報表示層J5は、他の補助情報表示層J5よりも配信アバタ表示層J0に近い背後に配置されてもよい。あるいは、ギフトオブジェクトが描画される補助情報表示層J5は、他の補助情報表示層J5とは異なり、配信アバタ表示層J0よりも前側に配置されてもよい。
背景層J3は、仮想空間の外側の境界(外殻)を境界付ける機能を有してよい。なお、仮想空間は、背景層J3を実質的に有さない無限空間であってもよいし、円柱型や天球型の空間であってよい。
(仮想現実の例)
サーバ制御部13は、端末装置20と協動して、表示部23上に仮想空間の画像を表示し、仮想現実の進行やユーザの操作に応じて仮想空間の画像を更新していく。
サーバ制御部13は、端末装置20と協動して、表示部23上に仮想空間の画像を表示し、仮想現実の進行やユーザの操作に応じて仮想空間の画像を更新していく。
なお、以下で説明する描画処理は、端末装置20により実現されるが、他の実施形態では、以下で説明する描画処理の一部又は全部が、サーバ制御部13により実現されてもよい。例えば、以下の説明において、端末装置20に表示される仮想空間の画像の少なくとも一部を、サーバ装置10が生成したデータに基づいて端末装置20に表示させるウェブ表示とし、画面の少なくとも一部を、端末装置20にインストールされているネイティブアプリケーションによって表示させるネイティブ表示としてもよい。
ここで、図4から図14を参照して、仮想現実生成システム1により生成される仮想空間の画像のいくつかの例について説明する。
図4は、ホーム画面(ロビー画面)に対応する仮想空間の説明図である。図5は、ホーム画面の画像(以下、「ホーム画像H1」と称する)の階層構造の説明図である。図5Aは、図4におけるユーザの視点からの視界範囲(正面を視ている場合)R500の拡大図である。図6は、ヘッドマウントディスプレイから視たホーム画像H1の一例を示す図である。図7A及び図7Bは、操作領域の前後の入れ替え態様の説明図である。
ホーム画像H1は、各種の仮想空間へ移動する際の入口となる仮想空間(以下、「ホーム空間」と称する)を表す。図4には、ホーム空間内に位置するユーザが模式的に示されている。ホーム空間には、後述するように、各種コンテンツを選択するための操作領域G300が配置されている。ユーザは、ホーム空間から、所望の配信ユーザによる特定コンテンツを視聴したり、自身が配信ユーザになって特定コンテンツを配信したり、他のユーザとコラボの形態で特定コンテンツを配信(以下、「コラボ配信」とも称する)したり等、各種活動を行うことができる。
本実施形態では、一例として、ホーム画像H1は、前側から順に、インターフェース表示層J2(第2ユーザインターフェースに係る層の一例)、補助情報表示層J5、及び背景層J3を含む。なお、変形例では、上述したような他の層を含んでもよいし、一部の層(例えば補助情報表示層J5や背景層J3)が省略されてもよい。
図5には、インターフェース表示層J2と、補助情報表示層J5、及び背景層J3の配置例が、ユーザの位置(視聴者アバタM1又は配信者アバタM2の位置)を通る所定基準軸Iとともに上面視で示されている。本明細書において、上面視とは、特に言及しない限り、仮想空間の上下方向を基準とした上面視である。
本実施形態では、図5に示すように、インターフェース表示層J2と、補助情報表示層J5、及び背景層J3は、上面視で、所定基準軸Iまわりに、異なる径r1、r2、r3の円柱の表面を形成する態様で配置され、各径r1、r2、r3は、それぞれの層とユーザとの間の距離に対応する。なお、背景層J3に係る径r3は、無限大(無限遠)であってもよい。また、インターフェース表示層J2の径r1は、上述したように、ユーザの手が届く範囲内に設定されてもよい。また、径r1は、ユーザごとに調整可能であってもよい。これにより、ユーザの手の長さや嗜好に応じた距離感でインターフェース表示層J2を形成できる。
インターフェース表示層J2は、好ましくは、ホーム空間内のユーザの位置を基準に配置される。換言すると、ユーザがホーム空間内に入ると、ユーザがインターフェース表示層J2に対して所定の位置関係に位置付けられる。本実施形態では、インターフェース表示層J2は、ホーム空間内のユーザの位置を基準として、当該ユーザがその場で手の届く範囲内に配置される。これにより、ユーザは、ヘッドマウントディスプレイを装着しながら仮想空間内を移動せずに各種入力が可能であり、酔いの生じ難い態様で、インターフェース表示層J2を介して各種の入力を行うことができる。
インターフェース表示層J2は、好ましくは、入力部24として機能する複数の平面状の操作領域G300を含む。この場合、複数の平面状の操作領域G300は、ユーザにより選択可能な選択ボタンとして機能できる。なお、平面状の操作領域G300のサイズや形状は、任意であり、操作領域G300の属性に応じて異なってもよい。これにより、ユーザが属性ごとの操作領域G300を識別しやすくなる。
この場合、操作領域G300を操作することで実現される各種処理(各種第2処理の一例)は、任意であるが、例えば、ユーザインターフェース(例えば複数の平面状の操作領域G300)の配置を変更する処理、ユーザを仮想空間の任意の場所又は特定の場所に移動させる処理(例えば配信ユーザを配信用の場所に移動させる処理)、各種のコンテンツの配信開始処理、各種のコンテンツの視聴開始処理、各種のコンテンツの視聴終了処理、音声入力処理、配信ユーザへギフトを贈る処理、アバタアイテムの抽選処理、アバタアイテムの選択/交換処理、文字入力処理、及び、これらの処理のいずれかを実行可能な状態に移行するための処理、又は、これらの任意の組み合わせを含んでよい。これにより、ユーザは、インターフェース表示層J2を介して多様な操作を実現できる。
コンテンツの視聴開始処理に対応付けられる複数の平面状の操作領域G300は、選択候補のコンテンツ等の内容が対応付けられる態様で、描画されてもよい。例えば、操作領域G300のそれぞれには、選択候補のコンテンツ(例えば配信ユーザによる特定コンテンツ)のサムネイル画像やリアルタイムの映像が描画されてもよい(図4参照)。また、コラボ配信のサムネイルには、当該コラボ配信を行う複数の配信ユーザの配信者アバタM2が描画されてもよい。これにより、ユーザは、どのようなコンテンツが視聴可能であるかを容易に把握でき、所望の操作領域G300(例えば所望の特定コンテンツに係る操作領域G300)を容易に選択することが可能となる。
また、複数の平面状の操作領域G300は、好ましくは、図4に示すように、複数列をなす態様で配置される。これにより、例えば配信ユーザ数の増加(及びそれに伴い配信中の特定コンテンツ数の増加)等に起因して、平面状の操作領域G300の数が増加した場合でも、ユーザの視認可能な範囲内に効率的に多くの操作領域を配置できる。
この場合、複数の平面状の操作領域G300は、少なくとも一部が、所定基準軸Iまわりの第1曲面501(図4及び図5A参照)に沿って複数の列で配置される。所定基準軸Iは、ユーザの位置を通り、ホーム空間の上下方向に延在する軸である。このとき、ホーム空間の上面視では、第1曲面501は、インターフェース表示層J2を形状付ける円形状の形態であってよく、曲率中心は所定基準軸I上に位置してよい。ただし、変形例では、第1曲面501は、ホーム空間の上面視で、楕円形状やその類の形状であってもよい。これにより、ユーザは、自身を中心とした同等の距離間で複数の平面状の操作領域G300を見ることができ、操作性が向上する。なお、平面状の操作領域G300が第1曲面501に沿って配置されるとは、ホーム空間の上面視で、操作領域G300の平面状に係る平面内の方向が、第1曲面501の接線方向に平行な態様であってよい。あるいは、第1曲面501の曲率半径が十分小さい場合、操作領域G300が第1曲面501に投影される態様であってよい。
また、複数の平面状の操作領域G300は、好ましくは、カテゴリごとに纏まる態様で配置されてもよい。例えば、第1曲面501に沿った一の領域であって、ユーザの視点から視て正面の領域には、ユーザの“おすすめ”のカテゴリに係る操作領域G300が配置され、正面の領域の左右側には異なるカテゴリ(例えば、“コラボまち”、“ゲーム”、“ビギナー”、“フォロー”等)が配置されてもよい。このような、各操作領域G300の配置は、スマートフォンの画面における各種アプリのアイコンの配置と同様の態様で、ユーザごとにカスタマイズされてもよい。図4には、ユーザの視点から視て正面の領域が領域R500(図5参照)で模式的に示されている。ホーム画像H1は、ユーザの視点から視て正面の領域に基づいて生成される。なお、ユーザの視点から視て正面の領域R500の位置は、ユーザの視線の方向や顔の向きが変化するとそれに伴い変化してよい。これにより、実空間での視野の変化と仮想空間での視野の変化の間の整合性を高めることができる。
また、複数の平面状の操作領域G300は、好ましくは、前後に複数層をなす態様で配置される。例えば、複数の平面状の操作領域G300は、所定基準軸Iまわりの第1曲面501に沿って複数の列で配置される第1グループと、所定基準軸Iまわりの第2曲面502に沿って複数の列で配置される第2グループとを含んでよい。この場合、第2曲面502は、図4に示すように、第1曲面501に対して背後にオフセットされてよい。この場合、ユーザの視点から視たとき、第1曲面501に沿って配置された第1グループの複数の操作領域G300(以下、第2グループと区別するために、「操作領域G300-1」とも称する)の背後に、第2曲面502に沿って配置された第2グループの複数の操作領域G300(以下、第1グループと区別するために、「操作領域G300-2」とも称する)がオーバーラップする関係となる。このとき、ユーザの視点から視たとき、第2グループの操作領域G300-2は、第1グループの操作領域G300-1の背後から一部が可視であってもよい。この場合、ユーザに背後側の操作領域の存在を知ってもらうことが可能となるとともに、ユーザの目に留まりうる操作領域の数を効率的に増加させることが可能となる。なお、第2曲面に対して、更に背後側にオフセットした第3曲面を設定し、更なる平面状の操作領域G300を配置してもよい。このように、ユーザの視点から視て2つ以上の任意の数で平面状の操作領域G300をオーバーラップする態様で配置してもよい。
また、このような前後にオーバーラップした複数の平面状の操作領域G300の場合、多数の操作領域G300を、ユーザにより操作可能に配置しつつ、描画に関する処理負荷を効率的に低減できる。例えば、操作領域G300-1に関してのみサムネイル画像やリアルタイムの映像の完全な描画を行いつつ、操作領域G300-2に関しては不完全な描画(例えばテクスチャを変化させるなどの加工)を行うことによって、全体としての描画に関する処理負荷を低減することも可能である。また、同様の観点から、操作領域G300-1のうちの、ユーザの視点から視て正面の領域R500内の操作領域G300-1に関してのみサムネイル画像やリアルタイムの映像の完全な描画を行いつつ、正面の領域R500外の操作領域G300-1に関しては不完全な描画(例えばテクスチャを変化させるなどの加工)を行うことによって、全体としての描画に関する処理負荷を低減することも可能である。例えば、正面の領域R500内の操作領域G300-1となる可能性が高いデータをユーザの端末装置20においてプリキャッシュやプリロードすることによって、レイテンシを低減しつつ、ネットワーク3を介して提出されるリクエストの数、及びそれに伴いネットワーク3に課されるリクエストの量、並びにリクエストに応答するために使用される計算リソースを、効率的に低減することが可能となる。この場合、正面の領域R500内の操作領域G300-1となる可能性が高いデータは、ユーザごとの傾向に基づき予測されてよいし、人工知能に基づく機械学習等により決定されてもよい。
図5Aには、第1曲面501と第2曲面502との関係が上面視で模式的に示されている。第1曲面501と第2曲面502との間のオフセット距離は、異なる属性の層間の距離(例えばインターフェース表示層J2と補助情報表示層J5の間の距離)よりも有意に小さくてよい。これにより、同じインターフェース表示層J2であることがユーザにもわかりやすくなり、また、複数の平面状の操作領域G300が奥側にも存在することを直感的に理解しやすくなる。
このような複数の平面状の操作領域G300が配置されるインターフェース表示層J2の場合、ユーザは、特定の操作により、ユーザインターフェース(例えば複数の平面状の操作領域G300)の配置を変更可能であってよい。これにより、ユーザの好みや嗜好に応じたユーザインターフェース(例えば複数の平面状の操作領域G300)の配置が可能となる。
例えば、複数の平面状の操作領域G300の一部は、複数の平面状の操作領域G300の配置を変更するボタンとして機能してよい。あるいは、ユーザは、手を左右に動かすジェスチャ入力により、複数の平面状の操作領域G300を、ユーザの視点から視て左右に移動させてもよい。図6には、ユーザの操作により、左側の操作領域G300(図6では、「G300L」と表記)がユーザの視点から視て正面に移動している途中の状態が示されている。このように、複数の平面状の操作領域G300は、第1曲面501に沿って左右に移動されてもよい。これにより、複数の平面状の操作領域G300のうちの、ユーザの視点から視て正面に位置する操作領域G300を容易に変更させることができる。この場合、複数の平面状の操作領域G300は、正面の領域に位置する平面状の操作領域G300がカテゴリごとに変化する態様で、移動されてもよい。これにより、カテゴリごとの纏まりを維持できるので、見やすさと操作性の両立を図ることができる。
あるいは、複数の平面状の操作領域G300の一部又は全部は、連続的に、定期的に又は不定期的に、第1曲面501(及び/又は第2曲面502)に沿って左右に移動されてもよいし、周回する態様で移動されてもよい。このような動きは、ユーザによる設定に基づいて適宜変更可能であってもよいし、所定の移動条件の成立イベントに基づいて実現されてもよい。
また、上述したように前後にオーバーラップした複数の平面状の操作領域G300の場合、ユーザは、所定入力を行うことにより、前後を入れ替えることが可能であってよい。例えば、上述したように、ユーザの視点から視たとき、第1曲面501に沿って配置された第1グループの複数の操作領域G300-1の背後に、第2曲面502に沿って配置された第2グループの複数の操作領域G300-2がオーバーラップする場合、図7Aに模式的に示すように、ユーザは、手を所定の態様で動かす所定入力により、第1グループと第2グループとを入れ替えることができてよい。これにより、直感的な操作が可能となり、操作性が向上する。この場合、第2曲面502に沿って配置されていた第2グループの複数の操作領域G300-2は、第1グループとして第1曲面501に沿って配置され、かつ、第1曲面501に沿って配置されていた第1グループの複数の操作領域G300-1は、第2グループとして第2曲面502に沿って配置されることになる。なお、このような前後入れ替え操作は、複数の平面状の操作領域G300のうちの、ユーザの視点から視て正面に位置する操作領域G300にだけ適用されてもよい。これにより、複数の平面状の操作領域G300の全体を入れ替える場合に比べて処理負荷を低減できる。
なお、前後入れ替え態様は、図7Aにて矢印で模式的に示すように、第1曲面501に沿って配置された第1グループの複数の操作領域G300-1の全体がそのまま後ろに回るような態様であってもよいし、図7Bにて矢印で模式的に示すように、第1曲面501に沿って配置された第1グループの複数の操作領域G300-1のうちの上側が上側から後ろに回りかつ下側が下側から後ろに回るような態様であってもよい。また逆に、図7Bにて矢印で模式的に示すように、第2曲面502に沿って配置された第2グループの複数の操作領域G300-2のうちの上側が上側から前方に回りかつ下側が下側から前方に回るような態様で、第1グループと第2グループの切り替えが実現可能であってもよい。なお、ここでは、2つのグループについて説明したが、3つ以上のグループ(すなわち、前後に3層以上でオーバーラップした複数の平面状の操作領域G300)の場合も同様である。
なお、本実施形態では、ホーム画像H1は、ユーザアバタ表示層J1を含まないが、これに限られない。例えば、ホーム画像H1は、インターフェース表示層J2よりも手前側(ユーザの視点に近い側)にユーザアバタ表示層J1を含んでもよい。この場合、ホーム画像H1のユーザアバタ表示層J1には、ユーザが手を前に出したときなど、手が描画されてもよい。これにより、ユーザは、手の動きを見ながら、複数の平面状の操作領域G300に対する操作を行うことができるので、操作性が向上する。
図8A及び図8Bは、配信画像に対応する仮想空間の説明図であり、図8Aは、概略的な側面図であり、図8Bは、上面視による概略的な平面図である。図8A及び図8Bでは、配信ユーザが模式的に符号808で指示され、それに対応した配信者アバタM2の位置が点線の囲みで模式的に示されている。図9は、配信ユーザによる特定コンテンツの画像(以下、「配信画像H2」と称する)の階層構造の説明図である。図10は、鏡と配信画像H2の各層との関係を上面視により示す説明図である。図11は、配信ユーザ用の配信画像H20に係るインターフェース表示層J2の説明図である。図12は、配信ユーザがヘッドマウントディスプレイ(第1装着型装置の一例)を介して視た配信画像H2の一例を示す図である。図13は、視聴ユーザがヘッドマウントディスプレイ(第2装着型装置の一例)を介して視た配信画像H2の一例を示す図である。図14は、スマートフォン用の配信画像H2の一例を示す図である。なお、図14に示す配信画像H2は、ヘッドマウントディスプレイを介さずに視認する場合の画像であり、スマートフォン以外の同様の端末用としても利用できる。
配信画像H2は、配信ユーザによる特定コンテンツの制作用の仮想空間(以下、「コンテンツ制作空間」と称する)やその類の仮想空間であって、配信者アバタM2が配置される仮想空間に係る画像に対応する。なお、コンテンツ制作空間は、例えば現実世界におけるスタジオなどの空間に対応してよい。配信ユーザは、コンテンツ制作空間において、特定コンテンツの制作活動を行うことができる。
本実施形態では、配信画像H2は、配信ユーザ用の配信画像H20(図12参照)と、視聴ユーザ用の配信画像であって、ヘッドマウントディスプレイを介して視認可能な配信画像H21(図13参照)と、視聴ユーザ用の配信画像であって、ヘッドマウントディスプレイを介さずに視認可能な配信画像H22(以下、「スマートフォン用の配信画像H22」とも称する)(図14参照)とを含む。以下、特に言及しない限り、配信画像H2とは、これらの任意の配信画像に対応する。
本実施形態では、一例として、配信画像H2は、前側から順に、配信アバタ表示層J0、インターフェース表示層J2(第1ユーザインターフェースに係る層の一例)、補助情報表示層J5、ユーザアバタ表示層J1、及び背景層J3を含む。なお、変形例では、上述したような他の層を含んでもよいし、一部の層(例えば補助情報表示層J5や背景層J3)が省略されてもよい。また、インターフェース表示層J2及び補助情報表示層J5は、適宜、統合されてもよい。
図9には、配信アバタ表示層J0、インターフェース表示層J2、補助情報表示層J5、ユーザアバタ表示層J1、及び背景層J3の配置例が、配信ユーザの位置(配信者アバタM2の位置)を通る所定基準軸Iとともに上面視で示されている。
本実施形態では、図9に示すように、配信アバタ表示層J0、インターフェース表示層J2、補助情報表示層J5、ユーザアバタ表示層J1、及び背景層J3は、上面視で、所定基準軸Iを通るユーザの視線方向に沿って、異なる距離d1からd5の鉛直面を形成する態様で配置される。この場合、距離d1からd5のそれぞれは、それぞれの層とユーザとの間の距離に対応する。なお、背景層J3に係る距離d5は、無限大であってもよいし、仮想カメラの視点から最も遠い距離の面(ファークリップ面)に応じた距離であってもよい。この場合、仮想カメラのファークリップ面から最も近い距離の面(ニアクリップ面)にインターフェース表示層J2を設定してもよい。なお、この場合、配信ユーザの視点と仮想カメラは、配信者アバタM2の顔や頭部オブジェクトと同位置に設定されてもよく、配信者アバタM2の視点から前方に向かう方向に仮想カメラの光軸を有してもよい。この場合、配信者アバタM2の顔や配信者アバタM2の頭部は、配信ユーザの視点からは描画対象にしない一方、配信者アバタM2の腕や手(前に手を出して操作する際の手や腕の動き)は、描画対象としてもよい。なお、この場合でも、他のユーザ(例えば視聴ユーザ)からは、配信者アバタM2は、配信アバタ表示層J0として描画対象となりうる。また、インターフェース表示層J2の距離d2は、上述したように、ユーザの手が届く範囲内に設定されてもよい。また、距離d2は、ユーザごとに調整可能であってもよい。また、距離d2は、上述した径r1(図5参照)と同じであってもよい。これにより、ユーザの手の長さや嗜好に応じた距離感でインターフェース表示層J2を形成できる。また、距離d2が径r1(図5参照)と同じである場合、配信ユーザ用の配信画像H20とホーム画像H1との間で同様(共通)の操作性を実現でき、利便性を高めることができる。
配信者アバタM2が活動する仮想空間であるコンテンツ制作空間は、任意であり、例えば図8A及び図8Bに示す例では、配信ルーム800を含み、配信ルーム800内には、配信者アバタM2の着替え用のクローゼット801や、テーブル802が配置されてよい。配信ユーザは、クローゼット801内のアバタアイテムのうちから、所望のアバタアイテムを選んで、配信者アバタM2の準備(スタンバイ)を行うことができる。なお、アバタアイテムとは、配信者アバタM2等のアバタに対応付けて描画されるアイテムであり、例えば、髪型、衣服、装着具、肌の色等を含んでよい。
本実施形態では、コンテンツ制作空間は、好ましい例として、配信ルーム800内に鏡(ミラー)805が配置される。鏡805は、現実世界の鏡と同様、光(可視光)を反射する性質を有する。鏡805に映る像は、配信画像H20に対応する。従って、配信ユーザは、自身に対応する配信者アバタM2を鏡805の前に位置させることで、正面(鏡805)を視ながら、自身の各種状態(向き、位置、及び動き)に対応した配信者アバタM2の各種状態(及びそれに伴い配信画像H20の状態)を確認できる。これにより、配信ユーザは、鏡805に正対する状態(正面を向いた状態)かつ視線を鏡805に向けたまま、自身の各種状態(向き、位置、及び動き)及びそれに伴う配信者アバタM2の状態(及びそれに伴い配信画像H20の状態)を確認できる。このようにして、配信ユーザは、鏡805に向かって正対した状態で、自身の動きを確認しつつリアルタイムに適宜自身の動きを修正できるので、自己のイメージ通りの所望の配信画像H20を容易に生成できる。
図10には、配信ルーム800内の鏡805と、配信ユーザと、配信画像H2の各層の位置関係が、上面視で示されている。図10において、領域R502は、図9に示した領域R501に対応する領域であり、配信ユーザの視点から正面を視たときの、鏡805越しの視野に対応する領域R502は、鏡805に仮想カメラが配置されていると仮定したときの、当該仮想カメラの視野に対応する。この場合、鏡805内の仮想カメラは、撮像した像を鏡805に表示することで、鏡805と同様の機能を果たすことができる。
配信アバタ表示層J0には、配信者アバタが描画される。この場合、配信アバタ表示層J0には、鏡805の前に立つ配信ユーザの各種状態(向き、位置、及び動き)に応じた状態で配信者アバタM2が描画される。なお、配信ユーザの各種状態(向き、位置、及び動き)は、上述したように、入力部24を介して取得できる。
インターフェース表示層J2は、好ましくは、鏡805の前に立つ配信ユーザの位置を基準に配置される。換言すると、配信ユーザが鏡805の前に立つと、配信ユーザがインターフェース表示層J2に対して所定の位置関係に位置付けられる。本実施形態では、インターフェース表示層J2は、鏡805の前に立つときの配信ユーザの位置を基準として、当該ユーザがその場で手の届く範囲内に配置される。なお、所定の位置関係は、ユーザにより適宜変更可能であってもよい。これより、ユーザの嗜好や体格に応じたインターフェース表示層J2を実現できる。
インターフェース表示層J2は、好ましくは、入力部24として機能する1つ以上の操作領域を含む。各種の操作領域は、配信ユーザにより選択可能な選択ボタンとして機能できる。例えば、配信ユーザは、非接触型のユーザ入力を介して、所望の選択ボタンを選択(操作)可能であってよい。
この場合、操作領域を操作することで実現される各種処理(各種第1処理の一例)は、任意であるが、例えば、特定コンテンツの配信開始処理、特定コンテンツの配信終了処理、音声入力処理、配信ユーザがギフトを受け取る処理、アイテムの抽選処理(例えば、アバタに係るアイテム)、各種のアイテムの選択/交換処理、文字入力処理、他のユーザに対する承認処理、配信コンテンツのパラメータ(例えば後述する配信画像H2の各種パラメータ)の値を変化させる処理、及びこれらの処理を実行可能な状態に移行するための処理、のうちの少なくともいずれか1つを含んでよい。
図11には、配信ユーザ用の配信画像H20における各種アイコンの形態の操作領域G100の例が示されている。図11に示す例では、各種の操作領域G100は、チャット(コメント)を行うための操作領域G101、スクリーンショットを取得するための操作領域G102、ゲームをするための操作領域G103、他の動画コンテンツをシェア(視聴ユーザと配信ユーザで同じ動画を視聴する態様のシェア等を含む)するための操作領域G104、ガチャ(抽選)を回すための操作領域G105等を含む。なお、ガチャによる抽選対象物は、任意であるが、例えばアバタアイテムであってよい。
インターフェース表示層J2における操作領域は、常時、表示されてもよいし、特定の場合だけ表示されてもよい。これにより、インターフェース表示層J2における操作領域を介した操作を可能としつつ、配信者アバタM2の表示領域を拡大して配信者アバタM2全体を表示可能とすることができる。
また、インターフェース表示層J2における特定の操作領域は、上述したようなホーム画像H1に係る操作領域G300と同様の態様で表示されてもよい。この場合も、インターフェース表示層J2における各種操作領域は、図7A及び図7Bを参照して上述した態様で前後入れ替え可能とされてもよい。
また、好ましい実施形態では、インターフェース表示層J2における操作領域は、配信画像H2の各種パラメータを調整するための操作領域G120「以下、「スマホ小窓領域G120」とも称する」を含む。スマホ小窓領域G120には、視聴ユーザ用の配信画像H21の一部又は全部及び/又はスマートフォン用の配信画像H22の一部又は全部が表示されてよい。
スマホ小窓領域G120を介して調整可能な配信画像H2の各種パラメータは、例えば仮想カメラに係るパラメータであり、具体的には、明るさ、仮想カメラとの間の距離(すなわち鏡805と配信ユーザとの間の距離)、仮想カメラの光軸方向、仮想カメラの横方向の位置(光軸方向に交差する横方向での、配信ユーザに対する位置)、ズーム(倍率)等を含んでよい。この場合、例えば、配信ユーザは、スマホ小窓領域G120をスマートフォンと見立てて操作する態様で、例えばピンチアウトやピンチインにより、スマホ小窓領域G120内の画像のズームを変更可能であってもよいし、スワイプにより、スマホ小窓領域G120内の画像を平行移動可能であってもよい。あるいは、配信ユーザは、スマホ小窓領域G120の位置を移動させる操作を行うことで、仮想カメラの位置(自身に対する相対的な位置)を変更可能であってもよい。また、配信ユーザは、スマホ小窓領域G120を介して、仮想カメラの状態を制御することで、仮想カメラの位置を配信ユーザの移動に自動的に追従するような追従モードと、仮想カメラの位置を固定する固定モードとの間の切替が可能であってもよい。この場合、追従モードにより移動型の配信を行うことが可能となる。また、配信ユーザは、スマホ小窓領域G120を介して、仮想カメラの状態を制御することで、AFK(Away From Keyboard)の状態やミュート状態のような、視聴ユーザに見せたくない状態を形成可能であってもよい。これにより、不要な物体の描画による処理負荷の増加を防止しつつ、配信ユーザの利便性を高めることができる。
ところで、ユーザは、ヘッドマウントディスプレイ等を装着した状態では、実空間での操作とは異なり、配信画像H2の各種パラメータを調整する際の操作性が悪くなりやすいが、スマホ小窓領域G120を設けることで、操作性が良好となる。
また、スマホ小窓領域G120にスマートフォン用の配信画像H22が表示される場合、配信ユーザは、ヘッドマウントディスプレイを介して視聴される場合の配信画像H21に略一致する配信画像H20とともに、スマートフォンで視聴される場合の配信画像H22を確認しながら、特定コンテンツを制作できる。なお、スマホ小窓領域G120に代えて又は加えて、タブレット小窓部のような、他の視聴デバイス用の小窓部が設定されてもよい。配信ユーザは、所望の小窓部を選択して配信画像H20に表示させることが可能であってもよい。
図12に示す例では、配信者アバタM2を映す鏡805に隣接してスマホ小窓領域G120が表示されている。スマホ小窓領域G120は、スマートフォンに表示される場合の配信画像H22(図14参照)を表してもよい。この場合、配信ユーザは、スマートフォンで視聴する視聴ユーザの端末装置20上の配信画像H22の状態をリアルタイムに確認しながら、配信を行うことができる。
なお、変形例では、配信画像H20は、配信中の画像と、配信前の準備画像の2つの概念を含んでよい。配信前の準備画像の場合、インターフェース表示層J2において、クローゼット801(図8A参照)を開いて着替えを行うための操作領域G106(図11参照)や、配信を開始するための操作領域G107(図11参照)等が描画されてもよい。
補助情報表示層J5には、配信画像H2に係る特定コンテンツの視聴ユーザからのギフトアイテムや応援メッセージ等の文字情報がリアルタイムに描画されてよい。これにより、配信ユーザは、視聴ユーザの反応や視聴ユーザとの交流等を楽しみながら、特定コンテンツの配信を行うことができる。また、補助情報表示層J5には、特定コンテンツの配信名やタイトル等が描画されてもよい。例えば、図12に示す例では、「まったり雑談配信」という配信名G11と、ハート型のギフトオブジェクトG12、「初見です・・・」といった各種コメントG13等が描画されている。
ユーザアバタ表示層J1には、配信画像H2に係る特定コンテンツの視聴ユーザの視聴者アバタM1が描画されてよい。これにより、配信ユーザは、視聴ユーザの数や状態を把握しながら、配信を行うことができる。なお、ユーザアバタ表示層J1に描画される視聴者アバタM1は、対応する視聴ユーザの状態(向き、位置、及び動き)に応じた状態で描画されてもよい。これにより、配信ユーザは、視聴ユーザの状態を把握しながら配信を行うことができる。
この場合、ユーザアバタ表示層J1の状態を配信ユーザが容易に把握できるように、配信アバタ表示層J0に描画される配信者アバタM2は、半透明に描画されてもよい。この場合、配信ユーザは、配信者アバタM2の背後のユーザアバタ表示層J1の状態を容易に確認できる。なお、配信者アバタM2の半透明状態とソリッド状態との間は、配信ユーザによる入力により切り替え可能とされてもよい。この場合、配信ユーザは、配信者アバタM2の状態と、配信者アバタM2の背後のユーザアバタ表示層J1の状態とを選択的に確認することが容易となる。
背景層J3には、配信ルーム800の壁等が描画されてもよい。あるいは、背景層J3には、配信ルーム800の壁越しの風景が描画されてもよい。なお、配信画像H2に係る特定コンテンツの視聴ユーザの視聴者アバタM1は、コンテンツ制作空間とは異なる仮想空間(以下、「視聴空間」)に入室してもよい。この場合、背景層J3には、視聴空間に係る背景が描画されてもよい。この場合、視聴空間の画像である視聴ユーザ用の配信画像H21(図13参照)は、配信ユーザ用の配信画像H20(図12参照)に対して、背景層J3が異なってもよい。このように、視聴空間は、配信ユーザ用の配信画像H20の表す仮想空間(コンテンツ制作空間)との間で不整合があってもよい。これにより、視聴ユーザ用の配信画像H21を、配信ユーザ用の配信画像H20とは異なる観点から最適化できる。
なお、変形例では、図8Bに模試的に示すように、配信ルーム800は、前面側にハーフミラー(マジックミラー)の壁体810を有してもよい。この場合、壁体810は、外部から室内を見ることができる反面、内部からは室外を見ることができず鏡805と同様に反射する機能を有する。この場合、配信ユーザは、壁体810を上述した鏡805と同様の態様で利用して、配信を行うことができる。一方、視聴ユーザは、配信ルーム800内の配信ユーザ(配信者アバタM2)を、壁体810越しに視聴できる。なお、この場合、配信画像H2の背景層J3は、配信ルーム800の内部に代えて、特製の舞台等の描画を含んでよい。
次に、図15以降を参照して、上述した仮想現実生成システム1の構成例を順に説明していく。
図15は、コンテンツ配信側の端末装置20Aの機能を示す概略的なブロック図である。図16は、アバタの描画情報の一例の説明図である。図15及び図16の説明において、特に言及しない限り、配信ユーザとは、一の配信ユーザを指し、配信画像H2(H20)とは、当該一の配信ユーザによる特定コンテンツを形成する配信画像H2を指す。
端末装置20Aは、図15に示すように、第1描画処理部200Aと、第2描画処理部200Bと、第1情報生成部210Aと、第1通信部220Aと、第1表示部230Aと、第1記憶部240Aと、第1ユーザインターフェース部250Aとを含む。
第1描画処理部200A、第2描画処理部200B、第1情報生成部210A、第1通信部220A、第1表示部230A、及び第1ユーザインターフェース部250Aの各機能は、図1に示した端末装置20Aの端末制御部25が、端末通信部21、端末記憶部22、表示部23及び入力部24と協動して、仮想現実アプリケーションを実行することで実現できる。また、第1記憶部240Aは、図1に示した端末装置20Aの端末記憶部22により実現できる。
第1描画処理部200Aは、上述した配信ユーザ用の配信画像H20(図12参照)(第1仮想空間の画像の一例)を描画する。第1描画処理部200Aは、例えば所定のフレームレートで配信ユーザ用の配信画像H20(図12参照)を生成する。
第1描画処理部200Aは、第1描画部201Aと、第2描画部202Aと、第3描画部203Aとを含む。
第1描画部201Aは、配信ユーザ用の配信画像H20(図12参照)における配信アバタ表示層J0の画像領域(第1画像領域の一例)を描画する。配信画像H20における配信アバタ表示層J0は、上述したとおりである。第1描画部201Aは、例えば第1記憶部240Aに記憶されるアバタの描画情報(図16の表700参照)に基づいて、配信アバタ表示層J0の画像領域における配信者アバタM2を描画してもよい。図16には、アバタの描画情報の一例が表700で模試的に示されている。
この場合、アバタの描画情報は、各アバタIDに、顔パーツID、髪型パーツID、服装パーツID等が対応付けられる。顔パーツID、髪型パーツID、服装パーツID等の容姿に係るパーツ情報は、アバタを特徴付けるパラメータであり、各ユーザにより選択されてよい。例えば、アバタに係る顔パーツID、髪型パーツID、服装パーツID等の容姿に係る情報は、複数種類用意される。また、顔パーツIDについては、顔の形、目、口、鼻等の各種類にそれぞれパーツIDが用意され、顔パーツIDに係る情報は、当該顔を構成する各パーツのIDの組み合わせで管理されてもよい。この場合、各アバタIDに紐付けられた容姿に係る各IDに基づいて、サーバ装置10のみならず端末装置20側においても各アバタを描画することが可能となる。
なお、第1描画部201Aは、例えば配信者アバタM2がクローゼット801(図8A参照)を開いて着替え等を行った場合(すなわち髪型や服装に係るIDを変化させた場合)は、それに応じて配信者アバタM2の容姿を更新する。
また、第1描画部201Aは、第1情報生成部210Aの第1検出部211A(後述)からの検出結果(配信ユーザの状態の検出結果)に基づいて、配信者アバタM2の状態を変化させる。本実施形態では、上述したように、第1描画部201Aは、鏡805(図8A参照)に対面する配信ユーザの状態を、配信者アバタM2に置き換える態様で、配信者アバタM2を描画する。
例えば、配信者アバタM2が正面方向を有するキャラクタの形態である場合、第1描画部201Aは、配信ユーザが右を向くと、配信者アバタM2が左を向き、配信ユーザが下を向くと、配信者アバタM2が下を向くといった態様で、配信者アバタM2の向きを配信ユーザの向きに連動させてもよい。なお、この場合、向きは、顔だけであってもよいし、身体だけであってもよいし、これらの組み合わせであってもよい。これにより、配信者アバタM2と配信ユーザとの間の向きの整合性(連動性)が高くなり、配信者アバタM2の向きによる表現の多様化が可能となる。
また、配信者アバタM2が視線方向を有するキャラクタの形態である場合、第1描画部201Aは、配信ユーザの視線が右を向くと、配信者アバタM2の視線が左を向き、配信ユーザの視線が下を向くと、配信者アバタM2の視線が下を向くといった態様で、配信者アバタM2の視線の向きを配信ユーザの視線の向きに連動させてもよい。また、瞬きなど、目の各種動きを連動させてもよい。また、鼻や口などの動きを連動させてもよい。これにより、配信者アバタM2と配信ユーザとの間のパーツごとの整合性(連動性)が高くなり、配信者アバタM2による表情の多様化が可能となる。
また、配信者アバタM2が手を有するキャラクタの形態である場合、第1描画部201Aは、配信ユーザが右手を上げると、配信者アバタM2が左手を上げ、配信ユーザが両手を上げると、配信者アバタM2が両手を上げるといった態様で、配信者アバタM2の手の動きを配信ユーザの手の動きに連動させてもよい。また、指など手の各部の動きについても連動させてもよい。また、足等の他のパーツについても同様に連動させてもよい。これにより、配信者アバタM2と配信ユーザとの間の整合性(連動性)が高くなり、配信者アバタM2のパーツの動き等による表現の多様化が可能となる。
また、配信画像H20における配信者アバタM2の位置(描画位置)が可変である場合(すなわち、配信者アバタM2が位置を変化させるキャラクタである場合)、第1描画部201Aは、配信ユーザが右に移動すると、配信者アバタM2が左に移動し、配信ユーザが鏡805から離れると、配信者アバタM2が遠ざかるといった態様で、配信ユーザの位置(鏡805に対する位置)に応じて、配信画像H20における配信者アバタM2の位置を変化させてよい。これにより、配信者アバタM2と配信ユーザとの間の移動(位置)に関する整合性(連動性)が高くなり、配信者アバタM2の位置の変化による表現の多様化が可能となる。
第2描画部202Aは、配信ユーザ用の配信画像H20(図12参照)におけるインターフェース表示層J2の画像領域(第2画像領域の一例)を描画する。配信画像H20におけるインターフェース表示層J2は、上述したとおりである。
第2描画部202Aは、上述した各種の操作領域G100(図11参照)やスマホ小窓領域G120(図12参照)を描画する。この場合、第2描画部202Aは、常時、各種の操作領域G100やスマホ小窓領域G120を描画してもよいし、適宜、一部又は全部の描画を省略してもよい。例えば、第2描画部202Aは、後述する視聴ユーザ情報取得部222Aからのコラボ承認/非承認指示に応答して、コラボ承認/非承認用の操作領域G117、G118(図11参照)を出力させてもよい。これにより、インターフェース表示層J2を介して操作可能なバリエーションを増加しつつ、インターフェース表示層J2の表示の簡素化(見やすさ)を図ることができる。
第3描画部203Aは、配信ユーザ用の配信画像H20(図12参照)における残りの層の画像領域(第3画像領域の一例)を描画する。すなわち、第3描画部203Aは、配信画像H20における配信アバタ表示層J0及びインターフェース表示層J2以外の層の画像領域を描画する。例えば、第3描画部203Aは、配信画像H20の階層構造に応じて、背景層J3や補助情報表示層J5の各画像領域を描画してよい。
本実施形態では、上述したように、一例として、配信画像H20は、前側から順に、配信アバタ表示層J0、インターフェース表示層J2、補助情報表示層J5、ユーザアバタ表示層J1、及び背景層J3を含む。
従って、本実施形態では、第3描画部203Aは、補助情報表示層J5、ユーザアバタ表示層J1、及び背景層J3の各画像領域を描画する。
第3描画部203Aは、後述する視聴ユーザ情報取得部222Aからのギフト描画指示に応答して、例えば第1記憶部240Aに記憶されるギフトオブジェクトの描画情報に基づいて、補助情報表示層J5の画像領域におけるギフトオブジェクトを描画してもよい。なお、ギフトオブジェクトに係る描画情報は、ギフトIDごとに、第1記憶部240Aに記憶されてよい。ギフト描画指示は、描画対象のギフトオブジェクトを特定するギフトIDと、座標情報とを含んでよい。座標情報は、配信画像H20における描画位置を指示する情報であり、時系列で変化してよい。また、座標情報は、ギフトオブジェクトの動きを表す動き情報を含んでもよい。動き情報は、例えば、回転しながら落下する等の動きを表してもよい。これにより、ギフトオブジェクトの表現の多様化を図ることができる。
また、第3描画部203Aは、後述する視聴ユーザ情報取得部222Aからの視聴ユーザ描画指示に応答して、例えば第1記憶部240Aに記憶されるアバタの描画情報(図16の表700参照)に基づいて、ユーザアバタ表示層J1の画像領域における視聴者アバタM1(視聴ユーザの視聴者アバタM1)を描画してもよい。視聴ユーザ描画指示は、特定コンテンツを視聴している視聴ユーザに係る視聴者アバタM1を描画するための各種情報を含んでよい。例えば、視聴者アバタM1を描画するための各種情報は、視聴者アバタM1の情報(例えばアバタID、顔パーツID、髪型パーツID、服装パーツID等)や、座標情報を含んでよい。また、視聴者アバタM1に動きを持たせる仕様の場合、視聴ユーザ描画指示は、視聴ユーザの状態を表す情報(又はそれに基づく視聴者アバタM1の状態を表す情報)を含んでよい。これにより、配信ユーザ用の配信画像H20において視聴ユーザの動きが表現可能となるので、配信ユーザと視聴ユーザとの一体感を高めることができる。
また、第3描画部203Aは、後述する視聴ユーザ情報取得部222Aからのコメント描画指示に応答して、ユーザアバタ表示層J1の画像領域に各種コメントを描画してもよい。コメント描画指示は、コメントIDや座標情報を含んでよい。なお、定形コメントに係る描画情報は、コメントIDごとに、第1記憶部240Aに記憶されてよい。なお、定形コメントに関するコメントIDに代えて、コンテンツ視聴側の端末装置20Bから送信されうるテキスト情報(例えば、チャット等のメッセージ)が利用されてもよい。これにより、視聴ユーザのそれぞれからの固有のメッセージ等の送信が可能となり、配信ユーザ用の配信画像H20における、配信ユーザと視聴ユーザとの一体感を高めることができる。
また、第3描画部203Aは、配信ユーザにより選択されている背景IDに対応した背景画像を背景層J3に描画してよい。背景画像は、背景IDごとに、第1記憶部240Aに記憶されてよい。なお、背景画像は、配信ユーザによりカスタマイズされてもよい。
第2描画処理部200Bは、上述したホーム画像H1(図6参照)(第2仮想空間の画像の一例)を描画する。第2描画処理部200Bは、例えば所定のフレームレートでホーム画像H1(図6参照)を生成する。
第2描画処理部200Bは、第4描画部204Bと、第5描画部205Bとを含む。
第4描画部204Bは、ホーム画像H1(図6参照)におけるインターフェース表示層J2の画像領域(第4画像領域の一例)を描画する。ホーム画像H1におけるインターフェース表示層J2は、上述したとおりである。第4描画部204Bは、後述する第1入力処理部252Aからの指令に応答して複数の操作領域G300の配置等を変更してよい(図6や図7A参照)。
第5描画部205Bは、ホーム画像H1(図6参照)における残りの層の画像領域(第5画像領域の一例)を描画する。すなわち、第5描画部205Bは、ホーム画像H1におけるインターフェース表示層J2以外の層の画像領域を描画する。例えば、第5描画部205Bは、ホーム画像H1の階層構造に応じて、背景層J3や補助情報表示層J5の各画像領域を描画してよい。これにより、描画に関する処理負荷を大きく増加させることなく、ユーザに必要となりうる各種情報を効率的に提供可能とすることができる。
本実施形態では、上述したように、一例として、ホーム画像H1は、前側から順に、インターフェース表示層J2、補助情報表示層J5、及び背景層J3を含む。
従って、本実施形態では、第5描画部205Bは、補助情報表示層J5及び背景層J3の各画像領域を描画する。
第1情報生成部210Aは、配信ユーザに係る各種情報(以下、「配信ユーザ情報」と称する)を生成する。配信ユーザ情報は、後述する第1ユーザインターフェース部250Aで利用される配信ユーザの状態(第1検出部211Aにより検出された配信ユーザの状態)を表す情報を含む。また、配信ユーザ情報は、視聴ユーザ用の配信画像H21(図13参照)を描画するために必要な情報を含む。例えば、配信ユーザ情報は、配信者アバタM2を描画するための情報(例えばアバタIDや、顔パーツID、髪型パーツID、服装パーツID等)を含む。また、配信ユーザによる特定コンテンツが、配信ユーザによる音声を含む場合、配信ユーザ情報は、入力部24のマイク等を介して取得される音声情報を含んでよい。これにより、特定コンテンツの構成する各種情報を分離した形で扱うことができ、分散処理が可能となる。
本実施形態では、第1情報生成部210Aは、第1検出部211Aと、第1音声情報生成部212Aと、第1テキスト情報生成部213Aとを含む。
第1検出部211Aは、配信ユーザの状態(ユーザの向きや位置、動き又はその類)を検出する。第1検出部211Aは、上述した入力部24を介して、配信ユーザの状態を検出してもよい。第1検出部211Aは、ホーム画像H1が描画されている状態では、例えばホーム画像H1のフレームレートに応じた周期で、配信ユーザの状態を検出してもよい。また、第1検出部211Aは、配信ユーザ用の配信画像H20が描画されている状態では、例えば配信ユーザ用の配信画像H20(図12参照)のフレームレートに応じた周期で、配信ユーザの状態を検出してもよい。これにより、配信ユーザの状態(及びそれに伴い配信者アバタM2の表示)を高い頻度で検出(更新)できる。
第1検出部211Aは、例えば、配信ユーザの操作に応じてオン/オフ状態が切り替わってよい。例えば、インターフェース表示層J2に表示されうる配信開始用のボタン(図11の操作領域G107参照)を配信ユーザが操作した場合、後述する第1入力検出部251Aにより当該操作が検出され、後述する第1入力処理部252Aからの指令に応答して第1検出部211Aがオン状態に遷移してよい。これにより、インターフェース表示層J2を介して操作可能なバリエーションを増加しつつ、インターフェース表示層J2の表示の簡素化(見やすさ)を図ることができる。インターフェース表示層J2の表示の簡素化を図ることで、背後の層の見やすさを高めることができる。
第1音声情報生成部212Aは、配信ユーザの発話に基づく音声情報を生成する。例えば、第1音声情報生成部212Aは、入力部24のマイク等を介して配信ユーザの音声情報を生成する。なお、第1音声情報生成部212Aは、入力部24を介して得られる音声データを加工して配信ユーザの音声情報を生成してもよい。この場合、加工方法は、配信ユーザにより選択可能であってもよいし、音声データの加工が配信ユーザにより手動で実現されてもよい。
第1音声情報生成部212Aは、例えば、配信ユーザの操作に応じてオン/オフ状態が切り替わってよい。例えば、インターフェース表示層J2に表示されうるミュートボタン(図示せず)を配信ユーザが操作した場合、後述する第1入力検出部251Aにより当該操作が検出され、後述する第1入力処理部252Aからの指令に応答して第1音声情報生成部212Aがオフ状態に遷移してよい。
第1テキスト情報生成部213Aは、配信ユーザの発話及び/又は文字入力に基づくテキスト情報を生成する。例えば、第1テキスト情報生成部213Aは、配信ユーザが視聴ユーザと対話(チャット等)を行う際のテキスト情報を生成する。
第1テキスト情報生成部213Aは、例えば、配信ユーザの操作に応じてオン/オフ状態が切り替わってよい。例えば、インターフェース表示層J2に表示されうるコメント用のボタン(図11の操作領域G101参照)を配信ユーザが操作した場合、後述する第1入力検出部251Aにより当該操作が検出され、後述する第1入力処理部252Aからの指令に応答して第1テキスト情報生成部213Aがオン状態に遷移してよい。これにより、インターフェース表示層J2を介して操作可能なバリエーションを増加しつつ、インターフェース表示層J2の表示の簡素化(見やすさ)を図ることができる。
この場合、第1情報生成部210Aは、配信ユーザの状態を表す情報(又はそれに基づく配信者アバタM2の状態を表す情報)(以下、単に「配信者アバタM2の状態情報」と称する)と、配信者アバタM2の情報(例えばアバタID、顔パーツID、髪型パーツID、服装パーツID等)と、適宜、音声情報やテキスト情報と、をセットとして配信ユーザ情報に含ませてよい。この場合、第1情報生成部210Aは、配信者アバタM2の状態情報や音声情報、テキスト情報のような、動的に変化する情報には、タイムスタンプを付与する態様で配信ユーザ情報を生成してもよい。これにより、コンテンツ視聴側の端末装置20Bは、かかる配信ユーザ情報を受信すると、受信した配信ユーザ情報に基づいて、上述したような配信画像H21であって音声の出力を伴う配信画像H21を、配信ユーザによる特定コンテンツとして出力できる。
第1通信部220Aは、サーバ装置10や他の端末装置20(例えばコンテンツ視聴側の端末装置20B)と通信する。本実施形態では、第1通信部220Aは、配信処理部221Aと、視聴ユーザ情報取得部222Aとを含む。
配信処理部221Aは、第1情報生成部210Aにより生成される配信ユーザ情報を、コンテンツ視聴側の端末装置20Bに送信する。なお、変形例では、配信処理部221Aは、第1描画処理部200Aにより生成された配信画像H20に基づく動画データを端末装置20Bに送信してもよい。
配信処理部221Aは、例えば配信ユーザによる操作等に応じて、リアルタイムで配信ユーザ情報をコンテンツ視聴側の端末装置20Bに送信してもよいし(すなわちライブ配信を実現してもよいし)、非リアルタイムで配信ユーザ情報をコンテンツ視聴側の端末装置20Bに送信してもよい。非リアルタイムの場合、配信処理部221Aは、配信ユーザによる手動での編集後の動画データ又は編集後の配信ユーザ情報をコンテンツ視聴側の端末装置20Bに送信してもよい。
視聴ユーザ情報取得部222Aは、コンテンツ視聴側の端末装置20Bから各種の視聴ユーザ情報を取得する。視聴ユーザ情報取得部222Aは、取得した視聴ユーザ情報に基づいて、上述したギフト描画指示や、視聴ユーザ描画指示、コメント描画指示、コラボ承認/非承認指示等を生成する。なお、視聴ユーザ情報は、これらのギフト描画指示、視聴ユーザ描画指示、コメント描画指示、コラボ承認/非承認指示等を生成するために必要な情報が含められる。
第1表示部230Aは、第1描画処理部200Aにより生成された配信ユーザ用の配信画像H20(図12参照)や第2描画処理部200Bにより生成されたホーム画像H1を、端末装置20Aの表示部23に出力する。なお、本実施形態では、上述したように、表示部23は、一例として、ヘッドマウントディスプレイの形態である。
第1記憶部240Aには、上述したアバタの描画情報(図16の表700参照)等が記憶される。
第1ユーザインターフェース部250Aは、入力部24を介して、配信ユーザの各種入力を検出し、各種入力に応じた処理を実行する。第1ユーザインターフェース部250Aは、第1入力検出部251Aと、第1入力処理部252Aとを含む。
第1入力検出部251Aは、上述したインターフェース表示層J2を介した配信ユーザによる各種入力を検出する。例えば、第1入力検出部251Aは、上述した各種の操作領域G100(図11参照)やスマホ小窓領域G120(図12参照)、操作領域G300等を介した入力等を検出する。
この場合、第1入力検出部251Aは、第1検出部211Aにより検出された配信ユーザの状態と、インターフェース表示層J2の状態(例えば各種の操作領域G100やスマホ小窓領域G120の位置や表示状態)とに基づいて、配信ユーザによるインターフェース表示層J2を介した入力を検出してよい。例えば、第1入力検出部251Aは、各種の操作領域G100のうちの、一の操作領域に対してタップする動作を検出した場合に、当該一の操作領域に対する選択操作を検出してよい。これにより、ユーザは仮想空間内における簡易な動きで選択操作を実現できる。
第1入力処理部252Aは、ホーム画像H1において、第1入力検出部251Aにより検出された各種入力に応じた各種処理(各種第2処理の一例)を実行する。各種処理は、任意であるが、上述したように、例えば、ユーザインターフェース(例えば複数の平面状の操作領域G300)の配置を変更する処理や、ユーザを仮想空間の任意の場所又は特定の場所に移動させる処理(例えば配信ユーザを配信用の場所に移動させる処理)等であってよい。なお、各種処理は、適宜、第2描画処理部200Bによる各種の描画処理や画面の遷移(例えば仮想空間の移動)を伴ってもよい。
また、第1入力処理部252Aは、配信ユーザ用の配信画像H20(図12参照)において、第1入力検出部251Aにより検出された各種入力に応じた各種処理(各種第1処理の一例)を実行する。各種処理は、任意であるが、上述したように、例えば、特定コンテンツの配信開始処理、特定コンテンツの配信終了処理、音声入力処理、配信ユーザがギフトを受け取る処理等であってよい。なお、各種処理は、適宜、第1描画処理部200Aによる各種の描画処理や画面の遷移(例えば仮想空間の移動)を伴ってもよい。例えば、ギフトを受け取る処理を実行可能な状態に移行するための処理は、第1描画処理部200Aの第3描画部203Aによるお知らせ情報(ギフトが贈られた旨のお知らせ情報)の描画や、第1描画処理部200Aの第2描画部202Aによる受け取り用ボタンの描画等を伴ってもよい。
このように、本実施形態によれば、配信ユーザ用の配信画像H20は、上述したように、複数の階層を有するので、配信ユーザ用の配信画像H20の画像を階層化して処理負荷を効率的に低減できる。例えば、特定コンテンツを動画形式で配信する場合は、配信アバタ表示層J0の画像領域及びインターフェース表示層J2の画像領域のうちの配信アバタ表示層J0の画像領域をインターフェース表示層J2の画像領域よりも高い頻度で描画(更新)する等によって、配信ユーザ用の配信画像H20を描画する際の全体としての処理負荷を効率的に低減できる。また、配信ユーザ用の配信画像H20を階層化することで、“空間”としての距離感をユーザに効果的に与えることができる。また、配信ユーザ用の配信画像H20を階層化することで、例えば各層の画像領域の属性ごとに適切な距離で配置でき、例えば酔いが生じがたい態様の操作性の高いユーザインターフェースの描画と、視認しやすい配信者アバタM2等の描画の両立等が可能となる。
図17は、コンテンツ視聴側の端末装置20Bの機能を示す概略的なブロック図である。
端末装置20Bは、図17に示すように、第1描画処理部200A’と、第2描画処理部200Bと、第2情報生成部210Bと、第2通信部220Bと、第2表示部230Bと、第2記憶部240Bと、第2ユーザインターフェース部250Bとを含む。
第1描画処理部200A’、第2描画処理部200B、第2情報生成部210B、第2通信部220B、第2表示部230B、及び第2ユーザインターフェース部250Bの各機能は、図1に示した端末装置20Bの端末制御部25が、端末通信部21、端末記憶部22、表示部23及び入力部24と協動して、仮想現実アプリケーションを実行することで実現できる。また、第2記憶部240Bは、図1に示した端末装置20Bの端末記憶部22により実現できる。
第1描画処理部200A’は、後述する配信ユーザ情報取得部222Bからの配信ユーザ描画指示に応答して、視聴ユーザ用の配信画像H21(図13参照)を描画する。この場合、配信ユーザ描画指示は、コンテンツ配信側の端末装置20Aから送信される配信ユーザ情報(端末装置20Aの第1情報生成部210Aにより生成される配信ユーザ情報)に基づいて生成される。第1描画処理部200A’は、例えば配信ユーザ情報の更新周期に対応したフレームレートで視聴ユーザ用の配信画像H21(図13参照)を生成してよい。
第1描画処理部200A’は、第1描画部201Bと、第2描画部202Bと、第3描画部203Bとを含む。
第1描画部201Bは、視聴ユーザ用の配信画像H21(図13参照)における配信アバタ表示層J0の画像領域(第1画像領域の一例)を描画する。視聴ユーザ用の配信画像H21における配信アバタ表示層J0は、上述したとおりである。第1描画部201Bは、配信ユーザ情報と、例えば第1記憶部240Aに記憶されるアバタの描画情報(図16の表700参照)とに基づいて、配信アバタ表示層J0の画像領域における配信者アバタM2を描画してもよい。この場合、第1記憶部240Aに記憶されるアバタの描画情報を利用するので、比較的負荷の少ない処理で配信者アバタM2を描画できる。
第1描画部201Bの動作は、上述したコンテンツ配信側の端末装置20Aの第1描画部201Aと同様の機能を有する。この場合、配信者アバタM2を描画するための各種情報は、配信ユーザ描画指示に含まれてよい。すなわち、配信ユーザ描画指示は、配信者アバタM2の情報(例えばアバタIDや、顔パーツID、髪型パーツID、服装パーツID等)や、配信ユーザの状態を表す情報(又はそれに基づく配信者アバタM2の状態を表す情報)等を含んでよい。
第2描画部202Bは、視聴ユーザ用の配信画像H21(図13参照)におけるインターフェース表示層J2の画像領域(第2画像領域の一例)を描画する。第2描画部202Bの動作は、上述したコンテンツ配信側の端末装置20Aの第2描画部202Aと同様の機能を有する。ただし、視聴ユーザ用の配信画像H21におけるインターフェース表示層J2には、配信ユーザ用の配信画像H20(図12参照)におけるインターフェース表示層J2とは異なる操作領域が描画されてもよい。例えば、第2描画部202Bは、図13に示すように、ギフトを配信ユーザに贈るための操作領域G108や、コラボ配信の要請を配信ユーザに送信するための操作領域G109等を描画してもよい。なお、コラボ配信の要請は、配信ユーザ側から発出することが可能であってもよく、この場合、コラボ配信の要請を視聴ユーザに送信するための操作領域は、配信ユーザ用の配信画像H20(図12参照)に描画されてもよい。これにより、コラボ配信が促進され、ユーザ間の交流を効果的に促進できる。
第3描画部203Bは、視聴ユーザ用の配信画像H21(図13参照)における残りの層の画像領域(第3画像領域の一例)を描画する。第3描画部203Bの動作は、上述したコンテンツ配信側の端末装置20Aの第3描画部203Aと同様の機能を有する。ただし、補助情報表示層J5における描画内容は、適宜、異なってもよい。例えば、視聴ユーザ用の配信画像H21においては、図13に示すように、視聴者アバタM1(図12参照)が描画されなくてもよい。
第2描画処理部200Bは、上述したホーム画像H1(図6参照)(第2仮想空間の画像の一例)を描画する。第2描画処理部200Bは、例えば所定のフレームレートでホーム画像H1(図6参照)を生成する。
第2描画処理部200Bは、第4描画部204Bと、第5描画部205Bを含む。第2描画処理部200Bは、端末装置20Aの第2描画処理部200Bと実質的に同様であってよい。これにより、共通のハードウェアリソースを利用した効率的な構成を実現できる。
第2情報生成部210Bは、視聴ユーザに係る各種の視聴ユーザ情報を生成する。各種の視聴ユーザ情報は、後述する第2ユーザインターフェース部250Bで利用される視聴ユーザの状態(第2検出部211Bにより検出された視聴ユーザの状態)を表す情報を含む。また、各種の視聴ユーザ情報は、上述したコンテンツ配信側の端末装置20Aの視聴ユーザ情報取得部222Aにおいてギフト描画指示、視聴ユーザ描画指示、コメント描画指示、コラボ承認/非承認指示等を生成するために必要な情報を含む。
本実施形態では、第2情報生成部210Bは、第2検出部211Bと、第2音声情報生成部212Bと、第2テキスト情報生成部213Bとを含む。
第2検出部211Bは、視聴ユーザの状態(ユーザの向きや位置、動き又はその類)を検出する。第2検出部211Bは、上述した入力部24を介して、視聴ユーザの状態を検出してもよい。
第2検出部211Bは、ホーム画像H1が描画されている状態では、例えばホーム画像H1のフレームレートに応じた周期で、視聴ユーザの状態を検出してもよい。また、第2検出部211Bは、視聴ユーザ用の配信画像H21(図13参照)が描画されている状態では、例えば配信ユーザ情報の更新周期に対応した周期で、視聴ユーザの状態を検出してもよい。
第2音声情報生成部212Bは、視聴ユーザの発話に基づく音声情報を生成する。例えば、第2音声情報生成部212Bは、入力部24のマイク等を介して視聴ユーザの音声情報を生成する。なお、第2音声情報生成部212Bは、入力部24を介して得られる音声データを加工して視聴ユーザの音声情報を生成してもよい。この場合、加工方法は、視聴ユーザにより選択可能であってもよいし、音声データの加工が視聴ユーザにより手動で実現されてもよい。
第2音声情報生成部212Bは、例えば、視聴ユーザの操作に応じてオン/オフ状態が切り替わってよい。例えば、視聴ユーザ用の配信画像H21(図13参照)におけるインターフェース表示層J2に表示されうるミュートボタン(図示せず)を視聴ユーザが操作した場合、後述する第2入力検出部251Bにより当該操作が検出され、後述する第2入力処理部252Bからの指令に応答して第2音声情報生成部212Bがオフ状態に遷移してよい。
第2テキスト情報生成部213Bは、視聴ユーザの発話及び/又は文字入力に基づくテキスト情報を生成する。例えば、第2テキスト情報生成部213Bは、視聴ユーザが配信ユーザと対話(チャット等)を行う際のテキスト情報を生成する。
第2テキスト情報生成部213Bは、例えば、視聴ユーザの操作に応じてオン/オフ状態が切り替わってよい。例えば、インターフェース表示層J2に表示されうるコメント用のボタン(図13には図示せず)を視聴ユーザが操作した場合、後述する第2入力検出部251Bにより当該操作が検出され、後述する第2入力処理部252Bからの指令に応答して第2テキスト情報生成部213Bがオン状態に遷移してよい。これにより、インターフェース表示層J2を介して操作可能なバリエーションを増加しつつ、インターフェース表示層J2の表示の簡素化(見やすさ)を図ることができる。
この場合、第2情報生成部210Bは、視聴ユーザの状態を表す情報(又はそれに基づく視聴者アバタM1の状態を表す情報)(以下、単に「視聴者アバタM1の状態情報」と称する)と、視聴者アバタM1の情報(例えばアバタID、顔パーツID、髪型パーツID、服装パーツID等)と、適宜、音声情報と、をセットとして視聴ユーザ情報に含ませてよい。この場合、第2情報生成部210Bは、視聴者アバタM1の状態情報や音声情報のような、動的に変化する情報には、タイムスタンプを付与する態様で視聴ユーザ情報を生成してもよい。これにより、コンテンツ配信側の端末装置20Aは、かかる視聴ユーザ情報を受信すると、受信した視聴ユーザ情報に基づいて、上述したような配信画像H20におけるユーザアバタ表示層J1における視聴者アバタM1を描画できる。
第2通信部220Bは、サーバ装置10や他の端末装置20(例えばコンテンツ配信側の端末装置20A)と通信する。本実施形態では、第2通信部220Bは、配信処理部221Bと、配信ユーザ情報取得部222Bとを含む。
配信処理部221Bは、第2情報生成部210Bにより生成される視聴ユーザ情報を、コンテンツ配信側の端末装置20Aに送信する。
配信ユーザ情報取得部222Bは、コンテンツ配信側の端末装置20Aから配信ユーザ情報を取得し、上述した配信ユーザ描画指示を第1描画処理部200A’に与える。配信ユーザ情報は、上述したようにコンテンツ配信側の端末装置20Aの配信処理部221Aにより生成される。
第2表示部230Bは、第1描画処理部200A’や第2描画処理部200Bにより生成された配信画像H20やホーム画像H1を、端末装置20Bの表示部23に出力する。なお、本実施形態では、上述したように、表示部23は、一例として、ヘッドマウントディスプレイの形態である。
第2記憶部240Bには、上述したアバタの描画情報(図16の表700参照)等が記憶される。
第2ユーザインターフェース部250Bは、入力部24を介して、視聴ユーザの各種入力を検出し、各種入力に応じた処理を実行する。第2ユーザインターフェース部250Bは、第2入力検出部251Bと、第2入力処理部252Bとを含む。
第2入力検出部251Bは、上述したインターフェース表示層J2を介した視聴ユーザによる各種入力を検出する。例えば、第2入力検出部251Bは、上述した第2描画部202Bや第4描画部204Bにより描画されるインターフェース表示層J2を介した入力等を検出する。
この場合、第2入力検出部251Bは、第2検出部211Bにより検出された視聴ユーザの状態と、インターフェース表示層J2の状態(例えば各種の操作領域G100やスマホ小窓領域G120の位置や表示状態)とに基づいて、視聴ユーザによるインターフェース表示層J2を介した入力を検出してよい。例えば、第2入力検出部251Bは、ホーム画像H1において、上述した複数の平面状の操作領域G300に対する視聴ユーザによる各種操作を検出したり、視聴ユーザ用の配信画像H21(図13参照)において、各種操作領域(コラボ配信の要請を配信ユーザに送信するための操作領域等)に対する視聴ユーザによる各種操作を検出したりする。
第2入力処理部252Bは、ホーム画像H1において第2入力検出部251Bにより検出された各種入力に応じた各種処理(各種第2処理の一例)を実行する。各種処理は、任意であるが、上述したように、例えば、ユーザインターフェース(例えば複数の平面状の操作領域G300)の配置を変更する処理や、ユーザを仮想空間の任意の場所又は特定の場所に移動させる処理(例えば視聴ユーザを視聴用の場所に移動させる処理)等であってよい。なお、各種処理は、適宜、第2描画処理部200Bによる各種の描画処理や画面の遷移(例えば仮想空間の移動)を伴ってもよい。例えば、ギフトを贈る処理を実行可能な状態に移行するための処理は、第2描画処理部200Bの第4描画部204Bによるギフト選択用の画面の描画等を伴ってもよい。
また、第2入力処理部252Bは、視聴ユーザ用の配信画像H21(図13参照)において、第2入力検出部251Bにより検出された各種入力に応じた各種処理(各種第2処理の一例)を実行する。各種処理は、任意であるが、上述したように、例えば、特定コンテンツの視聴終了処理、音声入力処理、配信ユーザへギフトを贈る処理等であってよい。なお、各種処理は、適宜、第1描画処理部200A’による各種の描画処理や画面の遷移(例えば仮想空間の移動)を伴ってもよい。例えば、配信ユーザへギフトを贈る処理は、第1描画処理部200A’の第3描画部203Bによるお知らせ情報(ギフトが受け取られた旨のお知らせ情報)の描画等を伴ってもよい。
図18は、サーバ装置10の機能を示す概略的なブロック図である。
サーバ装置10は、主に、通信部100と、記憶部110と、を含む。
通信部100は、配信ユーザによる特定コンテンツの配信及び/又は視聴に必要とされる様々な情報(例えば、配信ユーザ情報や視聴ユーザ情報等)を、コンテンツ配信側の端末装置20A及び/又はコンテンツ視聴側の端末装置20Bとの間において通信することができる。
記憶部110は、配信ユーザによる特定コンテンツの配信及び/又は視聴に必要とされる様々な情報を記憶することができる。
このように、本実施形態によれば、視聴ユーザ用の配信画像H21は、上述したように、複数の階層を有するので、視聴ユーザ用の配信画像H21の画像を階層化して処理負荷を効率的に低減できる。例えば、インターフェース表示層J2のうちの、ユーザの視点から視て正面の領域内の画像領域をその他の画像領域よりも高い頻度で描画(更新)する等によって、視聴ユーザ用の配信画像H21を描画する際の全体としての処理負荷を効率的に低減できる。また、視聴ユーザ用の配信画像H21を階層化することで、“空間”としての距離感をユーザに効果的に与えることができる。また、視聴ユーザ用の配信画像H21を階層化することで、例えば各層の画像領域の属性ごとに適切な距離で配置でき、例えば酔いが生じがたい態様の操作性の高いユーザインターフェースの描画と、視認しやすい操作領域G300等の描画の両立等が可能となる。
なお、本実施形態では、サーバ装置10は、上述したホーム画像H1や配信画像H2の描画機能を有しておらず、かかる描画機能は、上述したようにコンテンツ配信側の端末装置20A及び/又はコンテンツ視聴側の端末装置20Bにより実現されている。しかしながら、ホーム画像H1及び/又は配信画像H2の描画機能の一部又は全部は、サーバ装置10により実現されてもよい。これは、描画機能以外の機能についても適宜同様であってよい。
次に、図19以降を参照して、図1に示した仮想現実生成システム1において行われる動作例について説明する。
図19は、図1に示した仮想現実生成システム1において行われるコンテンツ配信側の端末装置20Aの動作であって、特定コンテンツの配信開始に至るまでの動作の一例を示すフロー図である。
まず、ステップS190において、配信ユーザとなるユーザは、ヘッドマウントディスプレイである端末装置20Aを装着し、仮想現実アプリケーションを起動させる。これにより、ユーザは、ホーム空間内に位置し(ステップS191)、ホーム画像H1を視認できる。ユーザは、ホーム画像H1におけるインターフェース表示層J2の操作領域を操作して、コンテンツ制作空間に移動する(ステップS192)。配信ユーザは、コンテンツ制作空間に移動すると、適宜、配信者アバタM2の着替え等の準備を行い(ステップS193)、その後、鏡805の前に立ち、配信画像H20(配信前の準備画像)を視認する(ステップS194)。なお、配信前の準備画像としての配信画像H20は、配信アバタ表示層J0とインターフェース表示層J2のみを含んでもよく、配信アバタ表示層J0とインターフェース表示層J2と背景層J3のみを含んでもよい。なお、配信前の準備画像としての配信画像H20には、インターフェース表示層J2に配信開始用の操作領域G107(図11参照)が描画されてよい。また、別の実施形態では、コンテンツ制作空間に移動すると同時に配信がスタートされてもよい。
配信ユーザは、配信画像H20を見て配信をスタートさせることを決定すると、インターフェース表示層J2における対応する操作領域G107(図11参照)を操作して、配信画像H20を含む特定コンテンツの配信を開始する(ステップS195)。このようにして、特定コンテンツの配信が開始されると、コンテンツ視聴側の端末装置20Bのホーム画像H1におけるインターフェース表示層J2に、当該特定コンテンツを選択できる操作領域G300(図6及び図7A等参照)が描画される。
図20は、図1に示した仮想現実生成システム1において行われるコンテンツ視聴側の端末装置20Bの動作であって、特定コンテンツの視聴開始に至るまでの動作の一例を示すフロー図である。
まず、ステップS200において、視聴ユーザとなるユーザは、ヘッドマウントディスプレイである端末装置20Bを装着し、仮想現実アプリケーションを起動させる。これにより、ユーザは、ホーム空間内に位置し(ステップS201)、ホーム画像H1を視認できる。ユーザは、ホーム画像H1におけるインターフェース表示層J2の操作領域G300を操作して、所望の特定コンテンツを選択する(ステップS202)。このようにして、視聴ユーザは、特定コンテンツの視聴を開始できる(ステップS203)。
図21は、図1に示した仮想現実生成システム1において行われるコンテンツ配信側の端末装置20A、コンテンツ視聴側の端末装置20B、及びサーバ装置10の動作であって、配信ユーザによる特定コンテンツの配信中(すなわち視聴ユーザによる特定コンテンツの視聴中)の動作の一例を示すフロー図である。
なお、図21において、左側には、一のコンテンツ配信側の端末装置20Aにより行われる動作が示され、中央には、サーバ装置10(ここでは1つのサーバ装置10)により行われる動作が示され、右側には、一のコンテンツ視聴側の端末装置20Bにより行われる動作が示されている。
ステップS210において、配信ユーザは、鏡805の前で演技等を行う。これにより、コンテンツ配信側の端末装置20Aは、演技等に応じた配信ユーザ情報を生成する。コンテンツ配信側の端末装置20Aは、このような配信ユーザ情報をサーバ装置10に送信する。なお、配信ユーザ情報は、伝送される(伝送された)情報と基準時間に基づくタイムスタンプとの対応関係がコンテンツ配信側の端末装置20A及びコンテンツ視聴側の端末装置20Bの両方において明らかであるという条件が満たされる限りにおいて、任意の多重方式により相互に多重されサーバ装置10に送信されてもよい。このような条件が満たされていれば、コンテンツ視聴側の端末装置20Bは、配信ユーザ情報を受信したときに、配信ユーザ情報に対応するタイムスタンプに従って適切に処理することができる。多重方式については、配信ユーザ情報は、それぞれ、別々のチャネルを介して送信されてもよいし、配信ユーザ情報のうちの一部が同一のチャネルを介して送信されてもよい。チャネルは、タイムスロット、周波数帯域、及び/又は、拡散符号等を含み得る。なお、基準時間を利用した動画(特定コンテンツ)の配信方法は、ここでの参照により本願明細書に組み込まれる特許第6803485号公報に開示される態様で実現されてもよい。
次に、ステップS210における動作と並行して、コンテンツ配信側の端末装置20Aは、ステップS212において、視聴ユーザ用の配信画像H21を描画するための配信ユーザ情報を継続的にコンテンツ視聴側の端末装置20Bに送信するとともに、コンテンツ配信側の端末装置20Aに配信ユーザ用の配信画像H20(図12参照)を出力する。
コンテンツ配信側の端末装置20Aは、ステップS210及びステップS212における動作を、以下に説明するステップS214からステップ222における動作と並行して行うことができる。
次に、ステップS214において、サーバ装置10は、コンテンツ配信側の端末装置20Aから継続的に送信されてくる配信ユーザ情報を、コンテンツ視聴側の端末装置20Bに送信(転送)する。
ステップS216において、コンテンツ視聴側の端末装置20Bは、サーバ装置10から配信ユーザ情報を受信して記憶部140に記憶させる。一実施形態では、音声情報が他の情報に比べて大きな容量を有する可能性及び/又は通信回線に障害が発生する可能性を考慮して、コンテンツ視聴側の端末装置20Bは、サーバ装置10から受信した配信ユーザ情報を一時的に端末記憶部22(図1参照)に記憶(バッファリング)することができる。
このような配信ユーザ情報を受信及び記憶することに並行して、ステップS218において、コンテンツ視聴側の端末装置20Bは、コンテンツ配信側の端末装置20Aからサーバ装置10を介して受信及び記憶した配信ユーザ情報を用いて、視聴ユーザ用の配信画像H21を生成して特定コンテンツを再生する。
上述したステップS216及びステップS218における動作と並行して、ステップS220において、コンテンツ視聴側の端末装置20Bは、視聴ユーザ情報を生成し、視聴ユーザ情報をサーバ装置10を介してコンテンツ配信側の端末装置20Aに送信する。視聴ユーザ情報は、例えば、視聴ユーザがギフトを贈る操作を行った場合等にだけ生成されてもよい。
ステップS222において、サーバ装置10は、コンテンツ視聴側の端末装置20Bから受信した視聴ユーザ情報を、コンテンツ配信側の端末装置20Aに送信(転送)する。
ステップS224において、コンテンツ配信側の端末装置20Aは、視聴ユーザ情報をサーバ装置10を介して受信することができる。
ステップS226において、コンテンツ配信側の端末装置20Aは、基本的にステップS210におけるものと同様の動作を行うことができる。例えば、コンテンツ配信側の端末装置20Aは、ステップS224において受信した視聴ユーザ情報に基づいて、ギフト描画指示を生成し、配信画像H20における補助情報表示層J5に、対応するギフトオブジェクトを描画する。
このようにして、図21に示す処理は、配信ユーザによる特定コンテンツの配信が終了するまで又は当該特定コンテンツの視聴ユーザがいなくなるまで継続的に実行されてよい。
なお、図21に示す例において、各処理の実行主体は、上述のように多様な態様で変更可能である。例えば、ステップS212の処理のうち、配信ユーザ用の配信画像H20を生成する処理は、端末装置20Aに代えて、サーバ装置10で実現されてもよい。また、ステップS218の処理のうち、視聴ユーザ用の配信画像H21を生成する処理は、端末装置20Aやサーバ装置10で実現されてもよい。この場合、ステップS216では、配信ユーザ情報に代えて、視聴ユーザ用の配信画像H21のデータが受信されてよい。また、ステップS226の処理のうち、視聴ユーザ情報に基づいて配信画像H20における補助情報表示層J5にギフトオブジェクトを描画する処理は、端末装置20Aに代えて、サーバ装置10で実現されてもよい。
(変形例)
上述した実施形態は、端末装置20A、20Bとして装着型装置(ヘッドマウントディスプレイ)を用いた態様について説明したが、本願発明に係る仮想現実生成システム1、を携帯電話、スマートフォン、タブレット端末、PC(Personal Computer)などを端末装置20A(第1端末装置の一例)、端末装置20B(第2端末装置の一例)として用いたメタバース(インターネット上の仮想空間)として構成してもよい。以下では、このような態様とした場合の変形例について説明するが、メタバースとして構成した場合の論点として、設定され得るシーン(場面)及び画面の切り替えとユーザインターフェース(UI)の態様について説明する。以下の説明で触れていない事項については、技術的に合理性のある範囲内で上述した実施形態の説明が適用される。なお、以下において、ユーザインターフェースは、上述した実施形態における、入力部24、第1ユーザインターフェース部250A、及び/又は第2ユーザインターフェース部250Bによって実現される。
上述した実施形態は、端末装置20A、20Bとして装着型装置(ヘッドマウントディスプレイ)を用いた態様について説明したが、本願発明に係る仮想現実生成システム1、を携帯電話、スマートフォン、タブレット端末、PC(Personal Computer)などを端末装置20A(第1端末装置の一例)、端末装置20B(第2端末装置の一例)として用いたメタバース(インターネット上の仮想空間)として構成してもよい。以下では、このような態様とした場合の変形例について説明するが、メタバースとして構成した場合の論点として、設定され得るシーン(場面)及び画面の切り替えとユーザインターフェース(UI)の態様について説明する。以下の説明で触れていない事項については、技術的に合理性のある範囲内で上述した実施形態の説明が適用される。なお、以下において、ユーザインターフェースは、上述した実施形態における、入力部24、第1ユーザインターフェース部250A、及び/又は第2ユーザインターフェース部250Bによって実現される。
まず、メタバースとして構成した場合の、設定され得るシーン(場面)と、各シーンにおけるユーザインターフェースについて説明する。
各ユーザが共に視聴(以下、「共聴」という)するようなシーンについては、ユーザインターフェースは、再生、停止、言語設定などの操作を階層的にメニューにすることが好ましい。すなわち、一つの大スクリーンを用いて共聴する場合でも、音量、字幕言語設定、再生・停止・早送りなどは個別に操作できることとし、直接の操作に加えて、それらの権限設定が階層化することが好ましい。ユーザインターフェースの例としては、例えば、[動画を再生>リスト表示>共聴/自分だけ>ここに固定/みんなで操作]、[再生中にスクリーン操作>(権限がある場合)再生/停止/早送り/巻き戻し/終了]といった態様としてよい。
アバタへエモート(感情表現)を付与するようなシーンについては、共聴時、各ユーザは視線をスクリーンに向けるので、通常の表情エモート選択ではなく、より簡易に、かつ、ターゲットしている方向を明示しながらすばやく設定する(例えば、セミオート)ことが好ましい。ユーザインターフェースの例としては、例えば、[共聴スクリーン>観戦モード>スティックの上下左右が{笑顔マーク、ハートマーク、拍手マーク、semi-auto}に変わる]、[セミオート>ほかの人が反応したらそれに従う/映像に歓声があったら自動で反応]といった態様としてよい。
ユーザが講演者としてプレゼンテーションを行うようなシーンであるプレゼンテーションモードについては、ユーザのうち講演者にはシナリオや画面共有したい資料、その表示ユーザインターフェースなどが見えているのに対し、他のユーザにはメニューもユーザインターフェースも表示されないようにしてよい(ただし、バーチャルキャストは表示される)。ユーザインターフェースの例としては、例えば、[次のページに送る/いま喋るテキスト/次の画像]といった態様としてよい。講演者となるユーザは後ろを振り返るわけにはいかないため、操作とプレビュー、準備された画像やテキストがスクリーンに表示されることとなる。
ユーザがクイズ番組やオンライン教育用に選択肢だけで高速に回答するようなシーンである着席回答モードについては、ユーザインターフェースの例としては、例えば、個々のユーザに対し、選択肢の回答と挙手ボタンが表示されるようにしてよい。自由すぎないように、オーガナイザーに指定されると、一定条件を満たすまでそのユーザインターフェースで固定される。問題と回答の選択肢のセットになっており、タイマー、得点、ベットするコインの数などが含まれてよい。
建物を配置するようなシーンである配置モードについては、階層としては、[配置→ショップ→アウトドア→購入(残金・決済・ローン)→確定→場所→向き→他ユーザの操作可能/不可能…]といった態様となるが、これを3次元空間の直接配置にすると、「持って、落とす」という程度の対応しかできないので向きをそろえることは難しい。さらに、その後の「他者が見える・さわれる・移動できるかどうか」といった属性設定も行ない難い。そこで、ユーザインターフェースの例として、例えば、[3次元空間で自由に歩行→メニュー開く→ショップ]といった態様とすることができ、このとき、3次元空間は2次元のショップ画面の背景に薄く表示されており、他者からはメニューやショップは見えないようにしてよい。これを表示している間、他者からは虫眼鏡マークが頭に浮いていて「ショップ」の作業中であることが理解できるような状態で硬直しているように見える。配置決定かつ他者との衝突があるオブジェクト配置の場合は、他者に「建設予定地」が表示され、そこに他のユーザがいる場合は処理待ちになる。一定時間待っても解決しない場合は再度確認画面に戻るようにしてよく、また、キャンセルすると配置場所・向きについて一つ戻るようにしてよい。
次に、メタバースとして構成した場合の、画面の切り替えとユーザインターフェースについて説明する。
ユーザの視点については、自己視点で操作しているのみでは、俯瞰や第三者視点で観たいときに難が生じる。そこで、視点の切り替えとして、ユーザインターフェースで[俯瞰]を選択した時に俯瞰状態で観ることができるようにしてよい。ユーザインターフェースの例としては、例えば、[メニュー→ドローンフォト→決定でドローン操作モードに入る]といった態様としてよい。この際、アバタは固定とし、エモートや手などでモーションを作りながら、スティックで操作したドローンからの空撮ができるようにしてよい。
スクリーンショットを取った時のレイアウトビューについては、連写モードと連動し、「シェアしますか?」という確認画面が表示され、ユーザインターフェースの例としては、例えば、[フィルムロールを開く→過去の撮影を数枚並べて左右選択/上下でシェア/フィルタ/レイアウト(縦長、横長、正方形)/削除などを操作決定]といった態様としてよい。
メタバース空間内でのゲーム(In-Space-Game)時におけるゲームビューについては、ゲームのルールに従った判定やスコアシートが表示される。また、ゲームをアシストするための情報(例えば、ゲームがボウリングであれば目標であるピン、ジャンケンであれば相手が今まで出してきた指の出し方など)が表示されてもよい。一方、ゲームによって、その性格に応じ、武器の持ち替え、相手のHP表示、味方グループとの連絡などは、他のユーザに見られたくない情報であるので、表示されないようにしてもよい。
ゲームが、乗り物の操作、例えば自動車レースゲームである場合、順位表示、地図表示などが表示されてよい。自動車レースゲームの場合、ハンドル操作への置き換え制御が行われ、自動車に乗る選択をすると、ユーザインターフェースはドライブUIに制約される。このモードの時、ハンドコントローラは、手の代わりではなく、ステアリングホイールやアクセル・ブレーキ操作の代わりとして置き換えられ、左右動作がハンドル、上下動作がギアチェンジやアクセル/ブレーキ操作になるようにしてよい。
以上のほか、例えば、スマホ互換に関するビューが表示されてもよい。これは、いわゆるバーチャルスマホ表示とは異なり、スマホの購買決定に関するものであって、画面内に3次元背景を隠すような形でユーザインターフェース(スマホUI)を表示することにより、決定などをしやすくする。ユーザインターフェースとしては、例えば、多様なハンドコントローラに実装されたトラックパッドとスティックをどのように使うか(スワイプ、タッチ、長押し、ドラッグなど)について、ユーザの環境に合わせて定義すればよい。なお、上述した自動車レースゲームにおけるハンドコントローラを含め、ここでいうハンドコントローラ、トラックパッド、スティックは、実物であってもよいし、仮想空間上に描画されたバーチャルなものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1 仮想現実生成システム
3 ネットワーク
10 サーバ装置
11 サーバ通信部
12 サーバ記憶部
13 サーバ制御部
20、20A、20B 端末装置
21 端末通信部
22 端末記憶部
23 表示部
24 入力部
25 端末制御部
30A、30B スタジオユニット
140 記憶部
200 通信部
200A、200A’ 第1描画処理部
201A、201B 第1描画部
202A、202B 第2描画部
203A、203B 第3描画部
200B 第2描画処理部
204B 第4描画部
205B 第5描画部
210 記憶部
210A 第1情報生成部
210B 第2情報生成部
211A 第1検出部
211B 第2検出部
212A 第1音声情報生成部
212B 第2音声情報生成部
213A 第1テキスト情報生成部
213B 第2テキスト情報生成部
220A 第1通信部
220B 第2通信部
221A、221B 配信処理部
222A 視聴ユーザ情報取得部
222B 配信ユーザ情報取得部
230A 第1表示部
230B 第2表示部
240A 第1記憶部
240B 第2記憶部
250A 第1ユーザインターフェース部
250B 第2ユーザインターフェース部
251A 第1入力検出部
251B 第2入力検出部
252A 第1入力処理部
252B 第2入力処理部
3 ネットワーク
10 サーバ装置
11 サーバ通信部
12 サーバ記憶部
13 サーバ制御部
20、20A、20B 端末装置
21 端末通信部
22 端末記憶部
23 表示部
24 入力部
25 端末制御部
30A、30B スタジオユニット
140 記憶部
200 通信部
200A、200A’ 第1描画処理部
201A、201B 第1描画部
202A、202B 第2描画部
203A、203B 第3描画部
200B 第2描画処理部
204B 第4描画部
205B 第5描画部
210 記憶部
210A 第1情報生成部
210B 第2情報生成部
211A 第1検出部
211B 第2検出部
212A 第1音声情報生成部
212B 第2音声情報生成部
213A 第1テキスト情報生成部
213B 第2テキスト情報生成部
220A 第1通信部
220B 第2通信部
221A、221B 配信処理部
222A 視聴ユーザ情報取得部
222B 配信ユーザ情報取得部
230A 第1表示部
230B 第2表示部
240A 第1記憶部
240B 第2記憶部
250A 第1ユーザインターフェース部
250B 第2ユーザインターフェース部
251A 第1入力検出部
251B 第2入力検出部
252A 第1入力処理部
252B 第2入力処理部
Claims (15)
- 仮想空間の画像を描画する描画処理部と、
前記仮想空間における各種入力に応じた処理を実行するユーザインターフェース部と、を備え、
前記描画処理部は、当該情報処理システムにおける仮想現実の進行やユーザの操作に応じて、複数の階層を有する前記仮想空間の画像を更新し、
前記複数の階層は、第1表示媒体が表示される第1表示媒体表示層、第2表示媒体が表示される第2表示媒体表示層、ユーザインターフェースが表示されるインターフェース表示層、背景層、及び、各種の補助情報が表示される補助情報表示層のうちの任意の2つ以上の層を含むとともに、前記仮想空間の画像を視るユーザの視点を基準として、前記背景層が含まれる場合には前記背景層が最も背後の層とされるほかは、他の層同士の前後関係について状況に応じて設定される、情報処理システム。 - 前記第1表示媒体表示層は、前記仮想空間にコンテンツを配信する第1ユーザに対応付けられた前記第1表示媒体を表示する、請求項1に記載の情報処理システム。
- 前記第2表示媒体表示層は、前記仮想空間でコンテンツを視聴する第2ユーザに対応付けられた前記第2表示媒体を表示する、請求項1に記載の情報処理システム。
- 前記インターフェース表示層は、前記仮想空間にコンテンツを配信する第1ユーザ及び/又は前記仮想空間でコンテンツを視聴する第2ユーザが入力する前記ユーザインターフェースを表示する、請求項1に記載の情報処理システム。
- 前記背景層は、前記仮想空間の外側の境界を境界付ける機能を有する、請求項1に記載の情報処理システム。
- 前記補助情報表示層は、前記仮想空間で特定コンテンツを視聴する第2ユーザからの入力情報、前記仮想空間にコンテンツを配信する第1ユーザ及び/又は他のユーザへの案内やお知らせ情報、及び、前記第1ユーザに贈られるギフトオブジェクトを含むアイテム情報のうちの少なくともいずれか1つを含む前記補助情報を表示する、請求項1に記載の情報処理システム。
- 前記仮想空間は、第1仮想空間と第2仮想空間を含み、
前記第1仮想空間は、前記仮想空間にコンテンツを配信する第1ユーザのための画像を描画する空間であり、
前記第2仮想空間は、前記仮想空間でコンテンツを視聴する第2ユーザのための画像を描画する空間であって、各種の仮想空間へ移動する際の入口となる仮想空間を表す、請求項1に記載の情報処理システム。 - 前記第1仮想空間は、前記第1仮想空間の画像を視るユーザの視点を基準として、前側から順に、前記第1表示媒体表示層、前記インターフェース表示層、前記補助情報表示層、前記第2表示媒体表示層、及び前記背景層のうちの任意の2つ以上の層を含む、請求項7に記載の情報処理システム。
- 前記第1仮想空間は、該空間を構成する各層が、上面視で、所定基準軸を通るユーザの視線方向に沿って、異なる距離dの鉛直面を形成する態様で配置され、
各層の距離dは、それぞれの層とユーザとの間の距離に対応しており、前記背景層に係る距離dは無限大又はファークリップ面に応じた距離とすることが可能であり、前記インターフェース表示層の距離dはニアクリップ面に応じた距離とすること、ユーザの手が届く範囲内に設定し及び/又はユーザごとに調整することが可能である、請求項7又は8に記載の情報処理システム。 - 前記第2仮想空間は、前記第2仮想空間の画像を視るユーザの視点を基準として、前側から順に、前記第2表示媒体表示層、前記インターフェース表示層、前記補助情報表示層、及び前記背景層のうちの任意の2つ以上の層を含む、請求項7に記載の情報処理システム。
- 前記第2仮想空間は、該空間を構成する各層が、上面視で、所定基準軸まわりに、異なる径rの円柱の表面を形成する態様で配置され、
各層の径rは、それぞれの層とユーザとの間の距離に対応しており、前記背景層に係る径rは無限大又は無限遠とすることが可能であり、前記インターフェース表示層の径rはユーザの手が届く範囲内に設定し及び/又はユーザごとに調整することが可能である、請求項7又は10に記載の情報処理システム。 - 前記インターフェース表示層は、複数の操作領域を含み、
前記複数の操作領域は、前後に複数層をなす態様で配置され、前側に配置される第1グループと、前記第1グループの背後に配置される第2グループとを含む、請求項1から11のいずれか1項に記載の情報処理システム。 - 前記複数の操作領域は、ユーザの入力により、前記第1グループと前記第2グループとを前後に入れ替え可能である、請求項12に記載の情報処理システム。
- コンピュータにより実行される情報処理方法であって、
仮想空間の画像を描画する描画処理ステップと、
前記仮想空間における各種入力に応じた処理を実行するユーザインターフェース処理ステップと、を備え、
前記描画処理ステップは、当該情報処理方法が適用されるシステムにおける仮想現実の進行やユーザの操作に応じて、複数の階層を有する前記仮想空間の画像を更新し、
前記複数の階層は、第1表示媒体が表示される第1表示媒体表示層、第2表示媒体が表示される第2表示媒体表示層、ユーザインターフェースが表示されるインターフェース表示層、背景層、及び、各種の補助情報が表示される補助情報表示層のうちの任意の2つ以上の層を含むとともに、前記仮想空間の画像を視るユーザの視点を基準として、前記背景層が含まれる場合には前記背景層が最も背後の層とされるほかは、他の層同士の前後関係について状況に応じて設定される、情報処理方法。 - コンピュータに、
仮想空間の画像を描画する描画処理機能と、
前記仮想空間における各種入力に応じた処理を実行するユーザインターフェース処理機能と、を実行させ、
前記描画処理機能は、当該情報処理プログラムが適用されるシステムにおける仮想現実の進行やユーザの操作に応じて、複数の階層を有する前記仮想空間の画像を更新し、
前記複数の階層は、第1表示媒体が表示される第1表示媒体表示層、第2表示媒体が表示される第2表示媒体表示層、ユーザインターフェースが表示されるインターフェース表示層、背景層、及び、各種の補助情報が表示される補助情報表示層のうちの任意の2つ以上の層を含むとともに、前記仮想空間の画像を視るユーザの視点を基準として、前記背景層が含まれる場合には前記背景層が最も背後の層とされるほかは、他の層同士の前後関係について状況に応じて設定される、情報処理プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021057215 | 2021-03-30 | ||
JP2021057215 | 2021-03-30 | ||
PCT/JP2022/009184 WO2022209564A1 (ja) | 2021-03-30 | 2022-03-03 | 情報処理システム、情報処理方法、情報処理プログラム |
JP2023510714A JP7449523B2 (ja) | 2021-03-30 | 2022-03-03 | 情報処理システム、情報処理方法、情報処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023510714A Division JP7449523B2 (ja) | 2021-03-30 | 2022-03-03 | 情報処理システム、情報処理方法、情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024063062A true JP2024063062A (ja) | 2024-05-10 |
Family
ID=83458554
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023510714A Active JP7449523B2 (ja) | 2021-03-30 | 2022-03-03 | 情報処理システム、情報処理方法、情報処理プログラム |
JP2024024798A Pending JP2024063062A (ja) | 2021-03-30 | 2024-02-21 | 情報処理システム、情報処理方法、情報処理プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023510714A Active JP7449523B2 (ja) | 2021-03-30 | 2022-03-03 | 情報処理システム、情報処理方法、情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230368464A1 (ja) |
EP (1) | EP4319144A1 (ja) |
JP (2) | JP7449523B2 (ja) |
CN (1) | CN116114252A (ja) |
WO (1) | WO2022209564A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116320364B (zh) * | 2023-05-25 | 2023-08-01 | 四川中绳矩阵技术发展有限公司 | 一种基于多层显示的虚拟现实拍摄方法及显示方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62233307A (ja) | 1986-03-31 | 1987-10-13 | 芝浦メカトロニクス株式会社 | レ−ル形状の修正方法および装置 |
WO2019088273A1 (ja) | 2017-11-04 | 2019-05-09 | ナーブ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6770598B2 (ja) | 2019-01-23 | 2020-10-14 | 株式会社コロプラ | ゲームプログラム、方法、および情報処理装置 |
JP7356827B2 (ja) | 2019-06-26 | 2023-10-05 | 株式会社コロプラ | プログラム、情報処理方法、及び情報処理装置 |
JP2021020074A (ja) | 2020-09-24 | 2021-02-18 | 株式会社コロプラ | ゲームプログラム、方法、および情報処理装置 |
-
2022
- 2022-03-03 JP JP2023510714A patent/JP7449523B2/ja active Active
- 2022-03-03 EP EP22779789.1A patent/EP4319144A1/en active Pending
- 2022-03-03 WO PCT/JP2022/009184 patent/WO2022209564A1/ja active Application Filing
- 2022-03-03 CN CN202280005720.XA patent/CN116114252A/zh active Pending
-
2023
- 2023-06-28 US US18/215,201 patent/US20230368464A1/en active Pending
-
2024
- 2024-02-21 JP JP2024024798A patent/JP2024063062A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2022209564A1 (ja) | 2022-10-06 |
WO2022209564A1 (ja) | 2022-10-06 |
JP7449523B2 (ja) | 2024-03-14 |
EP4319144A1 (en) | 2024-02-07 |
US20230368464A1 (en) | 2023-11-16 |
CN116114252A (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11632530B2 (en) | System and method for presenting virtual reality content to a user | |
JP2024063062A (ja) | 情報処理システム、情報処理方法、情報処理プログラム | |
KR102358997B1 (ko) | 다자간 확장현실 체험을 위한 서비스 플랫폼 | |
JP6785325B2 (ja) | ゲームプログラム、方法、および情報処理装置 | |
JP2022089817A (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 | |
JP7305599B2 (ja) | プログラム | |
US20220297006A1 (en) | Program, method, and terminal device | |
US20240221271A1 (en) | Information processing system, information processing method, and computer program | |
JP6726322B1 (ja) | ゲームプログラム、方法、および情報処理装置 | |
JP2023143963A (ja) | プログラム、情報処理方法及び情報処理装置 | |
US20230252706A1 (en) | Information processing system, information processing method, and computer program | |
JP2023095862A (ja) | プログラム及び情報処理方法 | |
JP7454166B2 (ja) | 情報処理システム、情報処理方法、及び記憶媒体 | |
JP7357865B1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
WO2022113335A1 (ja) | 方法、コンピュータ可読媒体、および情報処理装置 | |
WO2022113330A1 (ja) | 方法、コンピュータ可読媒体、および情報処理装置 | |
WO2024146246A1 (zh) | 虚拟场景的交互处理方法、装置、电子设备及计算机存储介质 | |
US20240007700A1 (en) | Program, information processing method, and information processing device | |
WO2023213185A1 (zh) | 直播画面数据处理方法、装置、设备、存储介质及程序 | |
JP2021037302A (ja) | ゲームプログラム、方法、および情報処理装置 | |
JP2024089379A (ja) | 情報処理システム、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240221 |