JP2023169282A - コンピュータプログラム、サーバ装置、端末装置、及び方法 - Google Patents
コンピュータプログラム、サーバ装置、端末装置、及び方法 Download PDFInfo
- Publication number
- JP2023169282A JP2023169282A JP2023148974A JP2023148974A JP2023169282A JP 2023169282 A JP2023169282 A JP 2023169282A JP 2023148974 A JP2023148974 A JP 2023148974A JP 2023148974 A JP2023148974 A JP 2023148974A JP 2023169282 A JP2023169282 A JP 2023169282A
- Authority
- JP
- Japan
- Prior art keywords
- information
- stream
- computer program
- data
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 85
- 230000015572 biosynthetic process Effects 0.000 claims description 40
- 238000003786 synthesis reaction Methods 0.000 claims description 40
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 description 57
- 230000008901 benefit Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 38
- 238000007726 management method Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 33
- 238000003860 storage Methods 0.000 description 29
- 238000004519 manufacturing process Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000009877 rendering Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000014121 butter Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】インタラクティブなアプリケーションをサポート可能な、コンピュータプログラム、サーバ装置、端末装置及び方法を提供する。【解決手段】一実施形態に係るコンピュータプログラムは、モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記合成されたデータを提供する、ように前記プロセッサを機能させる、ものである。また、前記第1データタイプは、前記映像に係る中間生成情報を含む、ものである。また、前記中間生成情報は、前記映像に係る奥行情報を含む、ものである。【選択図】 図3
Description
本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方
法に関する。
法に関する。
近年の利用者は、関与する程度の高いインタラクティブなアプリケーションを望む傾向
にあり、かかるインタラクティブなアプリケーションをサポートできるシステムが必要と
なってきている。
にあり、かかるインタラクティブなアプリケーションをサポートできるシステムが必要と
なってきている。
特許文献1に記載された技術は、背景と3DCG空間の映像を合成するものである。ま
た、特許文献2に記載された技術は、プレイヤと参加者とが交流するものである。また、
特許文献3に記載された技術は、実写画像と仮想画像とを合成するものである。また、特
許文献4に記載された技術は、動画配信に係るものである。
た、特許文献2に記載された技術は、プレイヤと参加者とが交流するものである。また、
特許文献3に記載された技術は、実写画像と仮想画像とを合成するものである。また、特
許文献4に記載された技術は、動画配信に係るものである。
なお、上記特許文献1乃至4は、引用によりその全体が本明細書に組み入れられる。
本件出願において開示された幾つかの実施形態は、インタラクティブなアプリケーショ
ンをサポート可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供
する。
ンをサポート可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供
する。
一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイ
プの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、ものである。
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイ
プの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、ものである。
一態様に係るサーバ装置は、プロセッサを具備し、前記プロセッサが、コンピュータに
より読み取り可能な命令を実行することにより、モーション、音、コメント、及び/又は
、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含
む第2データタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記
第2ストリームに係るデータとを合成し、前記合成されたデータを提供する、ものである
。
より読み取り可能な命令を実行することにより、モーション、音、コメント、及び/又は
、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含
む第2データタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記
第2ストリームに係るデータとを合成し、前記合成されたデータを提供する、ものである
。
一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し
、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、モ
ーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプ
の第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、前
記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記合成
されたデータを提供する、ものである。
、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、モ
ーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプ
の第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、前
記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記合成
されたデータを提供する、ものである。
一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサによ
り実行される方法であって、前記プロセッサが、前記命令を実行することにより、モーシ
ョン、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第
1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、前記第
1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記合成され
たデータを提供する、ものである。
り実行される方法であって、前記プロセッサが、前記命令を実行することにより、モーシ
ョン、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第
1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、前記第
1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記合成され
たデータを提供する、ものである。
以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された
構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意され
たい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるもの
の、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、
本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプロ
グラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得るこ
とができるように組み合わされたものであればよい。
構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意され
たい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるもの
の、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、
本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプロ
グラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得るこ
とができるように組み合わされたものであればよい。
1.システムの例
図1は、一実施形態に係るシステムの構成の一例を示すブロック図である。図1に示す
ように、システム1は、通信網10に接続される1又はそれ以上のサーバ装置20と、通
信網10に接続される1又はそれ以上の端末装置30と、を含んでよい。なお、図1には
、サーバ装置20の例として、3つのサーバ装置20A~20Cが例示され、端末装置3
0の例として、3つの端末装置30A~30Cが例示されているが、サーバ装置20とし
て、これら以外の1又はそれ以上のサーバ装置20が通信網10に接続され得るし、端末
装置30として、これら以外の1又はそれ以上の端末装置30が通信網10に接続され得
る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む
場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち
、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様
であってもよい。
図1は、一実施形態に係るシステムの構成の一例を示すブロック図である。図1に示す
ように、システム1は、通信網10に接続される1又はそれ以上のサーバ装置20と、通
信網10に接続される1又はそれ以上の端末装置30と、を含んでよい。なお、図1には
、サーバ装置20の例として、3つのサーバ装置20A~20Cが例示され、端末装置3
0の例として、3つの端末装置30A~30Cが例示されているが、サーバ装置20とし
て、これら以外の1又はそれ以上のサーバ装置20が通信網10に接続され得るし、端末
装置30として、これら以外の1又はそれ以上の端末装置30が通信網10に接続され得
る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む
場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち
、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様
であってもよい。
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮
想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるも
のであってもよい。また、システムの所有者と管理者は異なってもよい。
想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるも
のであってもよい。また、システムの所有者と管理者は異なってもよい。
通信網10は、携帯電話網、無線LAN、固定電話網、インターネット、イントラネッ
ト、イーサネット(登録商標)、及び/又はこれらの組み合わせ等であってよく、また、
これらに限定されない。通信網10においては、本願書類で開示された種々のデータが通
信されてよい。例えば、後述する第1データタイプを含むストリーム、第2データタイプ
を含むストリーム、制御情報、などは、サーバ装置20から端末装置30へ通信されるこ
ともあれば、端末装置30からサーバ装置20へ通信されることがあってよい。
ト、イーサネット(登録商標)、及び/又はこれらの組み合わせ等であってよく、また、
これらに限定されない。通信網10においては、本願書類で開示された種々のデータが通
信されてよい。例えば、後述する第1データタイプを含むストリーム、第2データタイプ
を含むストリーム、制御情報、などは、サーバ装置20から端末装置30へ通信されるこ
ともあれば、端末装置30からサーバ装置20へ通信されることがあってよい。
サーバ装置20は、インストールされた特定のアプリケーションを実行することにより
、モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタ
イプの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し
、前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記
合成されたデータを提供する、という動作等を実行できてよい。
、モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタ
イプの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し
、前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、前記
合成されたデータを提供する、という動作等を実行できてよい。
或いはまた、端末装置30は、インストールされたウェブブラウザまたは特定のアプリ
ケーションを実行することにより、モーション、音、コメント、及び/又は、ギフティン
グに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2データ
タイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2ストリー
ムに係るデータとを合成し、前記合成されたデータを提供する、という動作等を実行でき
てよい。
ケーションを実行することにより、モーション、音、コメント、及び/又は、ギフティン
グに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2データ
タイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2ストリー
ムに係るデータとを合成し、前記合成されたデータを提供する、という動作等を実行でき
てよい。
端末装置30は、このような動作を実行することができる任意の端末装置であって、ス
マートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコン
ピュータ等であってよく、これらに限定されない。
マートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコン
ピュータ等であってよく、これらに限定されない。
2.各装置のハードウェア構成
次に、サーバ装置20が有するハードウェア構成の一例について説明する。
次に、サーバ装置20が有するハードウェア構成の一例について説明する。
2-1.サーバ装置20のハードウェア構成
サーバ装置20のハードウェア構成例について図2を参照して説明する。図2は、図1
に示したサーバ装置20(端末装置30)のハードウェア構成の一例を模式的に示すブロ
ック図である(なお、図2において、括弧内の参照符号は、後述するように各端末装置3
0に関連して記載されたものである。)
サーバ装置20のハードウェア構成例について図2を参照して説明する。図2は、図1
に示したサーバ装置20(端末装置30)のハードウェア構成の一例を模式的に示すブロ
ック図である(なお、図2において、括弧内の参照符号は、後述するように各端末装置3
0に関連して記載されたものである。)
図2に示すように、サーバ装置20は、主に、演算装置21と、主記憶装置22と、入
出力インタフェイス装置23を備えることができる。サーバ装置20は、更に、入力装置
24と、補助出力装置26と、を含むことができる。これら装置同士は、データバス及び
/又は制御バスにより接続されていてよい。
出力インタフェイス装置23を備えることができる。サーバ装置20は、更に、入力装置
24と、補助出力装置26と、を含むことができる。これら装置同士は、データバス及び
/又は制御バスにより接続されていてよい。
演算装置21は、主記憶装置22に記憶されている命令及びデータを用いて演算を行い
、その演算の結果を主記憶装置22に記憶させるものである。さらに、演算装置21は、
入出力インタフェイス装置23を介して、入力装置24、補助記憶装置25及び出力装置
26等を制御することができる。サーバ装置20は、1以上の演算装置21を含んでよい
。演算装置21は、1又はそれ以上の、中央処理装置(CPU)、マイクロプロセッサ、
及び/又は、グラフィックスプロセッシングユニット(GPU)を含んでよい。
、その演算の結果を主記憶装置22に記憶させるものである。さらに、演算装置21は、
入出力インタフェイス装置23を介して、入力装置24、補助記憶装置25及び出力装置
26等を制御することができる。サーバ装置20は、1以上の演算装置21を含んでよい
。演算装置21は、1又はそれ以上の、中央処理装置(CPU)、マイクロプロセッサ、
及び/又は、グラフィックスプロセッシングユニット(GPU)を含んでよい。
主記憶装置22は、記憶機能を有し、入力装置24、補助記憶装置25及び通信網10
等(サーバ装置20等)から、入出力インタフェイス装置23を介して受信した命令及び
データ、並びに、演算装置21の演算結果を記憶するものである。主記憶装置22は、R
AM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び/又はフラッシ
ュメモリ等をこれらに限定することなく含むことができる。
等(サーバ装置20等)から、入出力インタフェイス装置23を介して受信した命令及び
データ、並びに、演算装置21の演算結果を記憶するものである。主記憶装置22は、R
AM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び/又はフラッシ
ュメモリ等をこれらに限定することなく含むことができる。
補助記憶装置25は、記憶装置である。上記特定のアプリケーションやウェブブラウザ
等を構成する命令及びデータ(コンピュータプログラム)を記憶してよく、演算装置21
により制御されることにより、これらの命令及びデータ(コンピュータプログラム)は入
出力インタフェイス装置23を介して主記憶装置22にロードされてよい。補助記憶装置
25は、磁気ディスク装置及び/又は光ディスク装置、ファイルサーバ等であってよく、
これらに限定されない。
等を構成する命令及びデータ(コンピュータプログラム)を記憶してよく、演算装置21
により制御されることにより、これらの命令及びデータ(コンピュータプログラム)は入
出力インタフェイス装置23を介して主記憶装置22にロードされてよい。補助記憶装置
25は、磁気ディスク装置及び/又は光ディスク装置、ファイルサーバ等であってよく、
これらに限定されない。
入力装置24は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キー
ボード、マウス及び/又はセンサ等であってよい。
ボード、マウス及び/又はセンサ等であってよい。
出力装置26は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれら
に限定することなく含むことができてよい。また、入力装置24と出力装置26とが一体
化されたものであってもよい。
に限定することなく含むことができてよい。また、入力装置24と出力装置26とが一体
化されたものであってもよい。
このようなハードウェア構成にあっては、演算装置21が、補助記憶装置25に記憶さ
れた特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順
次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェ
イス装置23及び通信網10を介して、他の装置(例えばサーバ装置20及び他の端末装
置30等)との間で様々な情報の送受信を行うことができてよい。
れた特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順
次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェ
イス装置23及び通信網10を介して、他の装置(例えばサーバ装置20及び他の端末装
置30等)との間で様々な情報の送受信を行うことができてよい。
サーバ装置20がかかる構成を備え、インストールされた特定のアプリケーションを実
行することにより、以下で定義される、モーション、音、コメント、及び/又は、ギフテ
ィングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2デ
ータタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2スト
リームに係るデータとを合成し、前記合成されたデータを提供する、という動作等(後に
詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、かかる動作等は、
ユーザーが、入力装置24又は後述する端末装置30に係る入力装置34を用いて、本願
書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プロ
グラムが演算装置21上で実行されている場合にはユーザーの利用するシステムとしての
サーバ装置20の出力装置26によって表示されてよく、又はユーザーの利用するシステ
ムとしての端末装置30の出力装置36に表示させる構成であってよい。
行することにより、以下で定義される、モーション、音、コメント、及び/又は、ギフテ
ィングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2デ
ータタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2スト
リームに係るデータとを合成し、前記合成されたデータを提供する、という動作等(後に
詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、かかる動作等は、
ユーザーが、入力装置24又は後述する端末装置30に係る入力装置34を用いて、本願
書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プロ
グラムが演算装置21上で実行されている場合にはユーザーの利用するシステムとしての
サーバ装置20の出力装置26によって表示されてよく、又はユーザーの利用するシステ
ムとしての端末装置30の出力装置36に表示させる構成であってよい。
2-2.端末装置30のハードウェア構成
端末装置30のハードウェア構成例について同じく図2を参照して説明する。各端末装
置30のハードウェア構成としては、例えば、上述した各サーバ装置20のハードウェア
構成と同一のものを用いることが可能である。したがって、各端末装置30が有する構成
要素に対する参照符号は、図2において括弧内に示されている。
端末装置30のハードウェア構成例について同じく図2を参照して説明する。各端末装
置30のハードウェア構成としては、例えば、上述した各サーバ装置20のハードウェア
構成と同一のものを用いることが可能である。したがって、各端末装置30が有する構成
要素に対する参照符号は、図2において括弧内に示されている。
図2に示すように、各端末装置30は、主に、演算装置31と、主記憶装置32と、入
出力インタフェイス装置33と、入力装置34と、補助記憶装置35と、出力装置36と
、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続さ
れている。
出力インタフェイス装置33と、入力装置34と、補助記憶装置35と、出力装置36と
、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続さ
れている。
演算装置31、主記憶装置32、入出力インタフェイス装置33、入力装置34、補助
記憶装置35及び出力装置36は、それぞれ、上述した各サーバ装置20に含まれる、演
算装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶
装置25及び出力装置26と略同一であってもよいし、異なるものであってもよい。また
、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置34及び出力装
置36については、以下で詳述する。
記憶装置35及び出力装置36は、それぞれ、上述した各サーバ装置20に含まれる、演
算装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶
装置25及び出力装置26と略同一であってもよいし、異なるものであってもよい。また
、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置34及び出力装
置36については、以下で詳述する。
このようなハードウェア構成にあっては、演算装置31が、補助記憶装置35に記憶さ
れた特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順
次主記憶装置32にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置33を介して出力装置36を制御し、或いはまた、入出力インタフェ
イス装置33及び通信網10を介して、他の装置(例えば各サーバ装置20等)との間で
様々な情報の送受信を行うことができる。
れた特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順
次主記憶装置32にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置33を介して出力装置36を制御し、或いはまた、入出力インタフェ
イス装置33及び通信網10を介して、他の装置(例えば各サーバ装置20等)との間で
様々な情報の送受信を行うことができる。
端末装置30がかかる構成を備え、モーション、音、コメント、及び/又は、ギフティ
ングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2デー
タタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2ストリ
ームに係るデータとを合成し、前記合成されたデータを提供する、という動作等(後に詳
述する様々な動作を含む)の一部又は全部を実行できてよい。また、インストールされた
ウェブブラウザを実行することにより、サーバ装置20からウェブページを受信及び表示
して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置34を用
いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。
また、プログラムが演算装置31上で実行されている場合にはユーザーの利用するシステ
ムとしての端末装置30の出力装置36に表示する構成であってよい。
ングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2デー
タタイプの第2ストリームを取得し、前記第1ストリームに係るデータと前記第2ストリ
ームに係るデータとを合成し、前記合成されたデータを提供する、という動作等(後に詳
述する様々な動作を含む)の一部又は全部を実行できてよい。また、インストールされた
ウェブブラウザを実行することにより、サーバ装置20からウェブページを受信及び表示
して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置34を用
いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。
また、プログラムが演算装置31上で実行されている場合にはユーザーの利用するシステ
ムとしての端末装置30の出力装置36に表示する構成であってよい。
端末装置は、本願書類において、「利用者端末」ということもあり、利用者端末を利用
する者を利用者という(利用者は、支援するアプリケーションがゲームである場合、ゲー
ムの観客、ゲームのプレイヤ、ゲームの審判、ゲーム内の登場人物、などのゲームの関係
者であってよい。これらのゲームの観客、ゲームの審判、ゲーム内の登場人物などのゲー
ムの関係者は、利用者の下位概念である。)。また、利用者端末のうち、情報源の提供を
可能な端末を「情報源端末」ということもある(従って、情報源端末であれば、利用者端
末である)。情報源端末を利用する者を情報源提供者ということもある(情報源提供者は
、支援するアプリケーションがゲームである場合、ゲームのプレイヤであってよい。ゲー
ムのプレイヤは情報源提供者の下位概念であってよく、情報源提供者は、利用者の下位概
念であってよい)。そのため、一の情報処理装置について、かかる装置を利用する情報源
提供者の観点から情報源端末と称すると同時に、かかる装置を利用者として利用する観点
から利用者端末と称することもある。なお、本願に係るシステムにおいて、利用者は、利
用者を特定するIDで管理されてよい。かかる利用者を特定するIDは、本願に係るシス
テム内に記憶されてよく、本願に係るシステム内にて管理されてよい。一の利用者は、一
又は複数のIDを有してよい。本願においては、利用者Aを特定するIDで使用されてい
る利用者端末を、例えば、利用者Aが利用する利用者端末、利用者Aに係る利用者端末、
などと称することがある。同様に、情報源提供者Aを特定するIDで使用されている情報
源端末を、情報源提供者Aが利用する情報源端末、情報源提供者Aに係る情報源端末、な
どと称することがある。
する者を利用者という(利用者は、支援するアプリケーションがゲームである場合、ゲー
ムの観客、ゲームのプレイヤ、ゲームの審判、ゲーム内の登場人物、などのゲームの関係
者であってよい。これらのゲームの観客、ゲームの審判、ゲーム内の登場人物などのゲー
ムの関係者は、利用者の下位概念である。)。また、利用者端末のうち、情報源の提供を
可能な端末を「情報源端末」ということもある(従って、情報源端末であれば、利用者端
末である)。情報源端末を利用する者を情報源提供者ということもある(情報源提供者は
、支援するアプリケーションがゲームである場合、ゲームのプレイヤであってよい。ゲー
ムのプレイヤは情報源提供者の下位概念であってよく、情報源提供者は、利用者の下位概
念であってよい)。そのため、一の情報処理装置について、かかる装置を利用する情報源
提供者の観点から情報源端末と称すると同時に、かかる装置を利用者として利用する観点
から利用者端末と称することもある。なお、本願に係るシステムにおいて、利用者は、利
用者を特定するIDで管理されてよい。かかる利用者を特定するIDは、本願に係るシス
テム内に記憶されてよく、本願に係るシステム内にて管理されてよい。一の利用者は、一
又は複数のIDを有してよい。本願においては、利用者Aを特定するIDで使用されてい
る利用者端末を、例えば、利用者Aが利用する利用者端末、利用者Aに係る利用者端末、
などと称することがある。同様に、情報源提供者Aを特定するIDで使用されている情報
源端末を、情報源提供者Aが利用する情報源端末、情報源提供者Aに係る情報源端末、な
どと称することがある。
利用者端末は、入力装置34として、情報を入力可能であり、情報を取得可能な種々の
装置を含んでよい。また、利用者端末は、演算装置31によって、情報を生成してよい。
かかる利用者端末内で取得(以下、「取得」は、生成された情報を取得する場合も含んで
よい)された情報は、入出力インタフェイス装置23を介して、通信網10へ送信されて
よい。
装置を含んでよい。また、利用者端末は、演算装置31によって、情報を生成してよい。
かかる利用者端末内で取得(以下、「取得」は、生成された情報を取得する場合も含んで
よい)された情報は、入出力インタフェイス装置23を介して、通信網10へ送信されて
よい。
例えば、利用者端末は、入力装置34として、コメントを入力可能であり、テキスト情
報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用
者端末は、演算装置34により、一定のコメントを生成する機能を有してもよい。これら
の取得されたコメントは、同様に、入出力インタフェイス装置23を介して、通信網10
へ送信されてよい。
報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用
者端末は、演算装置34により、一定のコメントを生成する機能を有してもよい。これら
の取得されたコメントは、同様に、入出力インタフェイス装置23を介して、通信網10
へ送信されてよい。
なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、シ
ステムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送
信され、利用者端末において表示されてよい。システムが自動的に生成するコメントとし
ては、例えば、状況を説明するコメントであってよい。状況を説明するコメントは、利用
者の行為に起因するコメントであってもよいし、利用者の行為に起因しないコメントであ
ってもよい。利用者の行為に起因するコメントとしては、例えば、ある利用者が利用を開
始すると「Aさんが入室したよ」というようなものであってもよいし、利用者が所定の人
数よりも多いと「視聴数がX人を突破したよ」というようなものであってもよい。ここで
、利用者が所定の人数よりも多いケースは、所定のゲーム、アプリケーション、動画など
の配信が、配信当初からの視聴者の合計数であってもよいし、現在の配信における配信開
始からの視聴者の合計数であってもよいし、かかる合計数から視聴していない者を減じた
現在の配信における現在の視聴中の者の合計数などが、所定の人数よりも多い場合であっ
てよい。また、その他、利用者の行為に起因するコメントとして、ギフティングをした場
合に、「AさんがアイテムBをあげたよ」などのようなコメントであってもよい。
ステムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送
信され、利用者端末において表示されてよい。システムが自動的に生成するコメントとし
ては、例えば、状況を説明するコメントであってよい。状況を説明するコメントは、利用
者の行為に起因するコメントであってもよいし、利用者の行為に起因しないコメントであ
ってもよい。利用者の行為に起因するコメントとしては、例えば、ある利用者が利用を開
始すると「Aさんが入室したよ」というようなものであってもよいし、利用者が所定の人
数よりも多いと「視聴数がX人を突破したよ」というようなものであってもよい。ここで
、利用者が所定の人数よりも多いケースは、所定のゲーム、アプリケーション、動画など
の配信が、配信当初からの視聴者の合計数であってもよいし、現在の配信における配信開
始からの視聴者の合計数であってもよいし、かかる合計数から視聴していない者を減じた
現在の配信における現在の視聴中の者の合計数などが、所定の人数よりも多い場合であっ
てよい。また、その他、利用者の行為に起因するコメントとして、ギフティングをした場
合に、「AさんがアイテムBをあげたよ」などのようなコメントであってもよい。
また、利用者端末は、入力装置34として、音を取得可能なマイクを含んでよい。なお
、人の音声は、入力装置34としてのマイクによって取得され、音として扱ってもよいし
、入力装置34としてのマイクによって取得された後、演算装置31による音声認識によ
りテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置31に
よって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力イン
タフェイス装置23を介して、通信網10へ送信されてよい。
、人の音声は、入力装置34としてのマイクによって取得され、音として扱ってもよいし
、入力装置34としてのマイクによって取得された後、演算装置31による音声認識によ
りテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置31に
よって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力イン
タフェイス装置23を介して、通信網10へ送信されてよい。
また、利用者端末の一態様である情報源端末は、入力装置34として、人の動きを検知
可能なモーションセンサーを含んでよい。モーションセンサーは、利用者や情報源提供者
の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては
、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうる
が、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるもので
あってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなど
を有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置23を介
して、通信網10へ送信されてよい。
可能なモーションセンサーを含んでよい。モーションセンサーは、利用者や情報源提供者
の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては
、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうる
が、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるもので
あってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなど
を有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置23を介
して、通信網10へ送信されてよい。
また、利用者端末の一態様である情報源端末は、入力装置34として、動画を撮像可能
な撮像装置を含んでよい。撮像装置は、利用者や情報源提供者の、頭、顔面、目、身体の
一部、全身、などを撮像してよい。撮像装置が、頭や顔面を撮像する場合顔の方向を検知
することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像
する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモ
ーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これ
らの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、
同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
な撮像装置を含んでよい。撮像装置は、利用者や情報源提供者の、頭、顔面、目、身体の
一部、全身、などを撮像してよい。撮像装置が、頭や顔面を撮像する場合顔の方向を検知
することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像
する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモ
ーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これ
らの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、
同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
利用者端末の出力装置36は、表示装置、音発生装置であってよい。表示装置は、表示
可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディ
スプレイ、有機ELディスプレイ、マイクロLEDディスプレイ、ヘッドマウントディス
プレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、ス
ピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置36で出力される情報は
、演算装置31において生成された情報であってもよいし、通信網10から受信した情報
であってもよい。
可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディ
スプレイ、有機ELディスプレイ、マイクロLEDディスプレイ、ヘッドマウントディス
プレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、ス
ピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置36で出力される情報は
、演算装置31において生成された情報であってもよいし、通信網10から受信した情報
であってもよい。
3.各装置の機能
次に、サーバ装置20及び端末装置30の各々が有する機能の一例について、図3を参
考に、説明する。図3は、図1に示したシステムの機能の一例を模式的に示すブロック図
である。図3に示すように、一例のシステムは、種々のデータを取得する取得部41と、
取得されたデータの一部又は全部を合成する合成部42と、合成されたデータを提供する
提供部44と、有してよい。また、一例のシステムは、制御情報を管理する制御情報管理
部43を有してよい。なお、図3は、機能に着目した図であり、本願書類の各記載から明
らかなとおり、かかる機能が実行されるハードウェアは、サーバであってもよいし、情報
源端末であってもよいし、利用者端末であってもよいし、これらの組み合わせであっても
よい。したがって、各例のシステムに係る機能は、サーバ上で実行されてもよいし、情報
源端末上で実行されてもよいし、利用者端末上で実行されてもよいし、これらの複数のハ
ードウェア上に分散されて実行されてもよい。なお、図3は、取得部41が情報源端末か
ら情報を取得する態様を図示するが、後述のとおり、取得部41は利用者端末から情報を
取得してもよい。また、同様に、提供部44も、情報を利用者端末に提供してもよいし、
利用者端末の一態様である情報源端末に情報を提供してもよい。
次に、サーバ装置20及び端末装置30の各々が有する機能の一例について、図3を参
考に、説明する。図3は、図1に示したシステムの機能の一例を模式的に示すブロック図
である。図3に示すように、一例のシステムは、種々のデータを取得する取得部41と、
取得されたデータの一部又は全部を合成する合成部42と、合成されたデータを提供する
提供部44と、有してよい。また、一例のシステムは、制御情報を管理する制御情報管理
部43を有してよい。なお、図3は、機能に着目した図であり、本願書類の各記載から明
らかなとおり、かかる機能が実行されるハードウェアは、サーバであってもよいし、情報
源端末であってもよいし、利用者端末であってもよいし、これらの組み合わせであっても
よい。したがって、各例のシステムに係る機能は、サーバ上で実行されてもよいし、情報
源端末上で実行されてもよいし、利用者端末上で実行されてもよいし、これらの複数のハ
ードウェア上に分散されて実行されてもよい。なお、図3は、取得部41が情報源端末か
ら情報を取得する態様を図示するが、後述のとおり、取得部41は利用者端末から情報を
取得してもよい。また、同様に、提供部44も、情報を利用者端末に提供してもよいし、
利用者端末の一態様である情報源端末に情報を提供してもよい。
3-1.取得部41
取得部41は、本例のシステムに係る情報を取得する機能を有する。取得部41が取得
する本例のシステムに係る情報は種々のデータのタイプであってよい。
取得部41は、本例のシステムに係る情報を取得する機能を有する。取得部41が取得
する本例のシステムに係る情報は種々のデータのタイプであってよい。
取得部41は、データとして、ストリーム(ストリーミングと呼ばれることもあるが、
本願書類においては、ストリームという表記で統一する)を取得してよい。すなわち、取
得部41は、モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第
1データタイプの第1ストリームを取得してよく、また、映像を含む第2データタイプの
第2ストリームを取得してよい。ストリームによって運ばれるデータの内容は、モーショ
ン、音、コメント、中間生成情報、ギフティングに係る情報、映像(動画、静止画を含む
)、などであってよいなどが挙げられる。映像は、ゲームに係るものや、撮像装置で撮像
されたものであってよい。ゲームに係るものは、ゲーム内で実行される映像であってもよ
いし、ゲーム内でプレイヤがプレイしているゲーム映像であってもよい。また、撮像装置
で撮像されたものとしては、自然を撮像した映像、都会を撮像した映像、アトラクション
やイベントなどの映像など、その種類に限定はなく、種々のものであってよい。また、ス
トリームによって運ばれるデータの内容は、上述のものに加えて、又は、代えて、顔方向
情報、視線情報、表情情報、などであってもよい。
本願書類においては、ストリームという表記で統一する)を取得してよい。すなわち、取
得部41は、モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第
1データタイプの第1ストリームを取得してよく、また、映像を含む第2データタイプの
第2ストリームを取得してよい。ストリームによって運ばれるデータの内容は、モーショ
ン、音、コメント、中間生成情報、ギフティングに係る情報、映像(動画、静止画を含む
)、などであってよいなどが挙げられる。映像は、ゲームに係るものや、撮像装置で撮像
されたものであってよい。ゲームに係るものは、ゲーム内で実行される映像であってもよ
いし、ゲーム内でプレイヤがプレイしているゲーム映像であってもよい。また、撮像装置
で撮像されたものとしては、自然を撮像した映像、都会を撮像した映像、アトラクション
やイベントなどの映像など、その種類に限定はなく、種々のものであってよい。また、ス
トリームによって運ばれるデータの内容は、上述のものに加えて、又は、代えて、顔方向
情報、視線情報、表情情報、などであってもよい。
本願書類においては、便宜上、ストリームは、第1データタイプと、第2データタイプ
に分類されてよい。第1データタイプは、モーション、音、コメント、中間生成情報、ギ
フティングに係る情報、などが挙げられるが、これらに限られず、上述の顔方向情報、視
線情報、表情情報、などであってもよい。第2データタイプは、基本的に表示される背景
的機能を有するデータであってよく、例えば、映像が挙げられる。
に分類されてよい。第1データタイプは、モーション、音、コメント、中間生成情報、ギ
フティングに係る情報、などが挙げられるが、これらに限られず、上述の顔方向情報、視
線情報、表情情報、などであってもよい。第2データタイプは、基本的に表示される背景
的機能を有するデータであってよく、例えば、映像が挙げられる。
モーション、音、コメントは、上述のとおりであってよい。
中間生成情報は、後述する合成に利用される情報である。中間生成情報を用いることに
より、総合的に送信される容量を減らし、通信帯域の負担を減少可能な利点がある。
より、総合的に送信される容量を減らし、通信帯域の負担を減少可能な利点がある。
中間生成情報としては、奥行情報、マスク情報、低解像度レンダリング画像、フォント
レンダリング、UI(HP、MP、スコア、言語依存情報、個人情報)などが挙げられる
。
レンダリング、UI(HP、MP、スコア、言語依存情報、個人情報)などが挙げられる
。
奥行情報は、動画とアバターなど、少なくとも二つの情報について、一方の奥行と他方
の奥行のそれぞれの奥行情報が判明すると、一方を利用しなくてよい場合があり、利用さ
れない一方に関する情報を送る必要がない利点がある。例えば、アバターが、実況中継す
るゲーム映像の後ろ側に移動し、アバターが実況中継されているゲーム映像によって完全
に見えなくなる場合、見えないアバターに関する情報は送る必要がなくなり、通信量を減
少できることとなる。このような理由により、表示される情報に関する奥行情報に係る情
報を、中間生成情報として、送られてよい。すなわち、第1データタイプは、映像に係る
中間生成情報を含んでよく、中間生成情報は、映像に係る奥行情報を含んでよい。
の奥行のそれぞれの奥行情報が判明すると、一方を利用しなくてよい場合があり、利用さ
れない一方に関する情報を送る必要がない利点がある。例えば、アバターが、実況中継す
るゲーム映像の後ろ側に移動し、アバターが実況中継されているゲーム映像によって完全
に見えなくなる場合、見えないアバターに関する情報は送る必要がなくなり、通信量を減
少できることとなる。このような理由により、表示される情報に関する奥行情報に係る情
報を、中間生成情報として、送られてよい。すなわち、第1データタイプは、映像に係る
中間生成情報を含んでよく、中間生成情報は、映像に係る奥行情報を含んでよい。
マスク情報は、所定箇所を覆うことに係る情報であってよい。例えば、マスク情報は、
映像の所定の領域を覆うために領域を示すための座標情報であってよい。また、マスク情
報は、覆う時間に係る情報を含んでよい。映像情報とマスク情報とを合成することにより
、映像の所定の箇所を覆うことが可能となる利点がある。
映像の所定の領域を覆うために領域を示すための座標情報であってよい。また、マスク情
報は、覆う時間に係る情報を含んでよい。映像情報とマスク情報とを合成することにより
、映像の所定の箇所を覆うことが可能となる利点がある。
低解像度レンダリング画像は、例えば、サムネイルが挙げられる。本来の画像の解像度
よりも低い解像度の画像であってよい。このように本来の画像の解像度よりも低い解像度
の画像であることから、通信負担を軽減することが可能となり、そのため、例えば、複数
の画像のサムネイルを利用者端末に表示させる場合において、それらの本来の画像の通信
をすることに代えて、サムネイルを、他のデータと合成して通信することによって、本来
の画像を直接通信することよりも、通信容量を軽減させて一又は複数のサムネイルを送信
できる利点がある。
よりも低い解像度の画像であってよい。このように本来の画像の解像度よりも低い解像度
の画像であることから、通信負担を軽減することが可能となり、そのため、例えば、複数
の画像のサムネイルを利用者端末に表示させる場合において、それらの本来の画像の通信
をすることに代えて、サムネイルを、他のデータと合成して通信することによって、本来
の画像を直接通信することよりも、通信容量を軽減させて一又は複数のサムネイルを送信
できる利点がある。
フォントレンダリングは、フォントをレンダリングする際に必要となる情報であってよ
い。フォントをレンダリングした上で通信する場合、レンダリングにより画像情報となる
ため、通信量が増加しうる。そのため、どのようなレンダリングを行うかというフォント
の設定情報を通信し、表示される段階においてかかる設定情報を用いてフォントのレンダ
リングをすることにより、通信負担を軽減できる利点がある。
い。フォントをレンダリングした上で通信する場合、レンダリングにより画像情報となる
ため、通信量が増加しうる。そのため、どのようなレンダリングを行うかというフォント
の設定情報を通信し、表示される段階においてかかる設定情報を用いてフォントのレンダ
リングをすることにより、通信負担を軽減できる利点がある。
HP、MP、スコア、言語依存情報、個人情報などは、表示される利用者端末に係る利
用者のプロファイルに関連する情報である。ここでいう、HP、MP、スコアは、情報源
提供者に係る情報ではなく、利用者における情報を示す。言語依存情報や、個人情報も、
利用者のプロファイルに関連する情報である。これらは、利用者端末上で表示されるもの
であるが、利用者端末上で表示される段階で合成されれば足り、また、各表示される利用
者端末毎に、異なる情報としてよい。そのため、これらの情報は、元のデータと、分離し
て通信されてよい。なお、言語依存情報は、上述のように個々の利用者端末に合わせて設
定されてもよいし、同一の映像を視聴する又は同一のゲームに参加するなど同一の合成さ
れたデータを視聴する利用者端末のうち、最も多くの利用者端末において使用される言語
を用いて、サーバ、利用者端末、又は情報源端末において合成されてもよい。最も多くの
利用者端末において使用される言語は、サーバ又は情報源端末等において、判断されてよ
く、かかる判断は、各利用者端末において使用される言語を取得し、各言語を使用する利
用者端末の数をカウントし、使用される言語の中で最も多くの利用者端末が使用する言語
を特定することで、判断されてよい。また、かかる言語依存情報における言語環境は、利
用者端末が位置する国や地域の設定であるロケール情報を参照することで設定されてよく
、また、言語環境は、端末内に備えられているGPSによって測定される利用者端末の位
置や端末が向いている方位などの実空間での座標や向きや、イベント会場や映画館におい
て利用者端末を保持する者の座席情報と連動しても良い。
用者のプロファイルに関連する情報である。ここでいう、HP、MP、スコアは、情報源
提供者に係る情報ではなく、利用者における情報を示す。言語依存情報や、個人情報も、
利用者のプロファイルに関連する情報である。これらは、利用者端末上で表示されるもの
であるが、利用者端末上で表示される段階で合成されれば足り、また、各表示される利用
者端末毎に、異なる情報としてよい。そのため、これらの情報は、元のデータと、分離し
て通信されてよい。なお、言語依存情報は、上述のように個々の利用者端末に合わせて設
定されてもよいし、同一の映像を視聴する又は同一のゲームに参加するなど同一の合成さ
れたデータを視聴する利用者端末のうち、最も多くの利用者端末において使用される言語
を用いて、サーバ、利用者端末、又は情報源端末において合成されてもよい。最も多くの
利用者端末において使用される言語は、サーバ又は情報源端末等において、判断されてよ
く、かかる判断は、各利用者端末において使用される言語を取得し、各言語を使用する利
用者端末の数をカウントし、使用される言語の中で最も多くの利用者端末が使用する言語
を特定することで、判断されてよい。また、かかる言語依存情報における言語環境は、利
用者端末が位置する国や地域の設定であるロケール情報を参照することで設定されてよく
、また、言語環境は、端末内に備えられているGPSによって測定される利用者端末の位
置や端末が向いている方位などの実空間での座標や向きや、イベント会場や映画館におい
て利用者端末を保持する者の座席情報と連動しても良い。
上述のとおり、各データを合成する情報処理装置は、全て同一であることはなく、その
合成されうる情報に応じて、適した情報処理装置上で合成されてよい。例えば、フォント
レンダリングや、HP、MP、スコア、言語依存情報、個人情報などの個々の利用者のプ
ロファイルに関連する情報は、表示される利用者端末上において、合成されてよいが、奥
行情報など映像と密接に関連する情報はサーバ装置上で合成されてよい。
合成されうる情報に応じて、適した情報処理装置上で合成されてよい。例えば、フォント
レンダリングや、HP、MP、スコア、言語依存情報、個人情報などの個々の利用者のプ
ロファイルに関連する情報は、表示される利用者端末上において、合成されてよいが、奥
行情報など映像と密接に関連する情報はサーバ装置上で合成されてよい。
ギフティングに係る情報は、ギフトを提供することに係る情報である。ギフティングに
係る情報は、例えば、提供されるギフトの種類、提供されるギフトの数量、提供されるギ
フトの所有者情報、ギフトが提供される相手方情報、提供されるギフトの提供のタイミン
グ(例えば、提供の日時)の一部又は全部であってよい。所有者情報や相手方情報は、利
用者の名称、ID、利用者端末ID、など所有者や相手方を特定可能な情報であってよい
。また、その他、ギフトの金額、ギフトのレベル、ギフトに係る制約の情報などが含まれ
てもよい。
係る情報は、例えば、提供されるギフトの種類、提供されるギフトの数量、提供されるギ
フトの所有者情報、ギフトが提供される相手方情報、提供されるギフトの提供のタイミン
グ(例えば、提供の日時)の一部又は全部であってよい。所有者情報や相手方情報は、利
用者の名称、ID、利用者端末ID、など所有者や相手方を特定可能な情報であってよい
。また、その他、ギフトの金額、ギフトのレベル、ギフトに係る制約の情報などが含まれ
てもよい。
また、取得部41は、制御情報管理部43で管理される、後述の制御情報を取得してよ
い。制御情報は、例えば、視点制御情報、演出制御情報、等が挙げられる。制御情報は、
取得部41において、ストリームとして、取得されてもよい。
い。制御情報は、例えば、視点制御情報、演出制御情報、等が挙げられる。制御情報は、
取得部41において、ストリームとして、取得されてもよい。
ストリームは、タイムスタンプを含んでもよいが、含まなくてもよい。タイムスタンプ
を含む場合、時間的な調整が可能となる利点がある。すなわち、第1ストリーム及び第2
ストリームは、各々、時間情報を含んでよい。
を含む場合、時間的な調整が可能となる利点がある。すなわち、第1ストリーム及び第2
ストリームは、各々、時間情報を含んでよい。
取得部41が取得する情報のプロトコルは、どのようなものであってもよい。プロトコ
ルとしては、主に双方向でインタラクティブに情報の伝達が可能なプロトコルであっても
よいし、主に一方向に情報の伝達が可能なプロトコルであってもよい。前者としては、例
えば、RTMP(Real Time Messaging Protocol)が挙げ
られ、後者の場合はHTTP(Hypertext Transfer Protoco
l)やHLS(HTTP Live Streaming)やWebSocket(RF
C6455)が挙げられるが、これらのプロトコルに限られない。また、プロトコル毎に
通信経路(CDN)が異なるものであってもよいし、各処理において課金モデルが異なる
ものであってもよい。
ルとしては、主に双方向でインタラクティブに情報の伝達が可能なプロトコルであっても
よいし、主に一方向に情報の伝達が可能なプロトコルであってもよい。前者としては、例
えば、RTMP(Real Time Messaging Protocol)が挙げ
られ、後者の場合はHTTP(Hypertext Transfer Protoco
l)やHLS(HTTP Live Streaming)やWebSocket(RF
C6455)が挙げられるが、これらのプロトコルに限られない。また、プロトコル毎に
通信経路(CDN)が異なるものであってもよいし、各処理において課金モデルが異なる
ものであってもよい。
取得部41は、情報を、取得部41が実行されるプログラムと同一の情報処理装置内か
ら取得してもよいし、取得部41が実行されるプログラムとは異なる情報処理装置から取
得してもよい。後者の場合、取得部41は、ネットワーク上の他の情報処理装置から取得
してよい。取得部41は、他の情報処理装置から、直接的又は間接的に、情報を取得して
よい。特に、近年はネットワークが複雑に構成されることもあるため、間接的とは、取得
機能を有するプログラムが実行される情報処理装置が、他の情報処理装置から一又は複数
の情報処理装置を間に介在して、情報を取得する態様が想定されてよい。また、取得部4
1は、利用者端末から情報を取得してよいし、情報源端末から情報を取得してよい。
ら取得してもよいし、取得部41が実行されるプログラムとは異なる情報処理装置から取
得してもよい。後者の場合、取得部41は、ネットワーク上の他の情報処理装置から取得
してよい。取得部41は、他の情報処理装置から、直接的又は間接的に、情報を取得して
よい。特に、近年はネットワークが複雑に構成されることもあるため、間接的とは、取得
機能を有するプログラムが実行される情報処理装置が、他の情報処理装置から一又は複数
の情報処理装置を間に介在して、情報を取得する態様が想定されてよい。また、取得部4
1は、利用者端末から情報を取得してよいし、情報源端末から情報を取得してよい。
取得部41は、取得部41が取得した情報を、システム内に記憶してよい。また、取得
部41は、取得部41が取得した情報を、管理してよい。なお、取得部41は、取得部4
1が取得した情報の種類に応じて、記憶する期間を適宜設定してよい。
部41は、取得部41が取得した情報を、管理してよい。なお、取得部41は、取得部4
1が取得した情報の種類に応じて、記憶する期間を適宜設定してよい。
3-2.合成部42
合成部42は、取得部41によって取得されたストリームを合成する機能を有する。例
えば、第1ストリームに係るデータと第2ストリームに係るデータとを合成する機能を有
してよい。
合成部42は、取得部41によって取得されたストリームを合成する機能を有する。例
えば、第1ストリームに係るデータと第2ストリームに係るデータとを合成する機能を有
してよい。
合成する手法は種々の手法であってよい。合成の手法自体は、一のストリームと、他の
ストリームと、の情報を合成する種々の手法を用いてよい。例えば、一のストリームと他
のストリームとを、各々の形状のまま重ねてもよい。この場合、例えば、矩形状の一のス
トリームと矩形状の他のストリームとを重ねて合成させてよい。また、一のストリームの
形状と他のストリームの形状の一方又は両方の形状を変形させて重ねてもよい。例えば、
一のストリームの形状内の一部にはめ込み可能なように他のストリームの形状を変更させ
て、はめ込み合成のように形状を合せて変形させた上で重ねて合成させてもよい。また、
一のストリームと他のストリームの一方又は両方に一定のエフェクトを適用させた上で、
合成させてもよい。この場合、エフェクトとしては、色、スタイル、彩度等を変更するこ
とが挙げられ、空間として馴染むようにしてもよい。
ストリームと、の情報を合成する種々の手法を用いてよい。例えば、一のストリームと他
のストリームとを、各々の形状のまま重ねてもよい。この場合、例えば、矩形状の一のス
トリームと矩形状の他のストリームとを重ねて合成させてよい。また、一のストリームの
形状と他のストリームの形状の一方又は両方の形状を変形させて重ねてもよい。例えば、
一のストリームの形状内の一部にはめ込み可能なように他のストリームの形状を変更させ
て、はめ込み合成のように形状を合せて変形させた上で重ねて合成させてもよい。また、
一のストリームと他のストリームの一方又は両方に一定のエフェクトを適用させた上で、
合成させてもよい。この場合、エフェクトとしては、色、スタイル、彩度等を変更するこ
とが挙げられ、空間として馴染むようにしてもよい。
また、合成に際し、欠けている情報を適宜補う場合、通信される情報量が少なくなるた
め、通信負担が減少する利点がある。例えば、モーションは、動きの情報に留まることか
ら、動かされる対象となるアバターの情報が補われることで、アバターの動きを実現する
ことができる。この場合、アバターを含めた情報が通信されるのではなく、アバターの動
きのみが通信されることから、通信負担を減少できる利点がある。かかる合成のため、合
成部42は、モーションに係るアバターのモデルデータを有してよい。合成部42は、モ
ーションに係るアバターのモデルデータと、モーションと、を合成することで、モーショ
ンに係るバターの動きを実現してよい。また、合成部42は、オブジェクトデータを有し
てよい。オブジェクトデータは、アバターが存在する仮想空間の背景や、かかる背景上に
描画される各種物体に係るデータが含まれてよい。合成部42は、オブジェクトデータを
用いることで、描画されうる各種物体を合成して映像としてよい。
め、通信負担が減少する利点がある。例えば、モーションは、動きの情報に留まることか
ら、動かされる対象となるアバターの情報が補われることで、アバターの動きを実現する
ことができる。この場合、アバターを含めた情報が通信されるのではなく、アバターの動
きのみが通信されることから、通信負担を減少できる利点がある。かかる合成のため、合
成部42は、モーションに係るアバターのモデルデータを有してよい。合成部42は、モ
ーションに係るアバターのモデルデータと、モーションと、を合成することで、モーショ
ンに係るバターの動きを実現してよい。また、合成部42は、オブジェクトデータを有し
てよい。オブジェクトデータは、アバターが存在する仮想空間の背景や、かかる背景上に
描画される各種物体に係るデータが含まれてよい。合成部42は、オブジェクトデータを
用いることで、描画されうる各種物体を合成して映像としてよい。
例えば、第1ストリームに係るアバターのモーションと、第2ストリームに係る背景映
像とが合成される場合、合成部42は、予め記憶しているアバターを用いて、取得したモ
ーションを用いて、アバターの動きを再現し、このアバターと、背景映像とを合成してよ
い。ここで、合成部42は、予めアバターに関する情報を有してよく、合成部42は、ア
バターと関連付けられたモーション情報を取得することによって、アバターの動きを再現
できる機能を有してよい。この場合、アバターの動き自体を映像で情報源端末から取得す
る場合と比較し、情報源端末からはモーションを取得し、合成部42内に記憶されたかか
るモーションの基となるアバターの情報と合成することで、アバターの動きの情報を効率
よく伝達できる利点がある。また、合成部42は、一又は複数のアバターの情報を有して
よく、かかる一又は複数のアバターは、一又は複数の情報源端末に基づくモーションと、
各々対応するものが、関連付けられて記憶されてよい。これにより、一の情報源端末から
取得したモーションと、他の情報源端末から取得したモーションと、を区別して、各々関
連付けられて合成部42内に記憶されたアバターを用いて、アバターの動きを伝達できる
利点がある。
像とが合成される場合、合成部42は、予め記憶しているアバターを用いて、取得したモ
ーションを用いて、アバターの動きを再現し、このアバターと、背景映像とを合成してよ
い。ここで、合成部42は、予めアバターに関する情報を有してよく、合成部42は、ア
バターと関連付けられたモーション情報を取得することによって、アバターの動きを再現
できる機能を有してよい。この場合、アバターの動き自体を映像で情報源端末から取得す
る場合と比較し、情報源端末からはモーションを取得し、合成部42内に記憶されたかか
るモーションの基となるアバターの情報と合成することで、アバターの動きの情報を効率
よく伝達できる利点がある。また、合成部42は、一又は複数のアバターの情報を有して
よく、かかる一又は複数のアバターは、一又は複数の情報源端末に基づくモーションと、
各々対応するものが、関連付けられて記憶されてよい。これにより、一の情報源端末から
取得したモーションと、他の情報源端末から取得したモーションと、を区別して、各々関
連付けられて合成部42内に記憶されたアバターを用いて、アバターの動きを伝達できる
利点がある。
また、背景映像に代えてゲームであってもよい。第1ストリームに係るアバターのモー
ションと、第2ストリームに係る背景映像がゲームとを、取得部41が取得した場合にお
いて、合成部42は、予め記憶しているアバターを用いて、取得したモーションを用いて
、アバターの動きを再現し、このアバターと、ゲーム映像とを合成してよい。この場合、
アバターが、ゲームの実況中継を行っているかのような状況を再現できる利点がある。
ションと、第2ストリームに係る背景映像がゲームとを、取得部41が取得した場合にお
いて、合成部42は、予め記憶しているアバターを用いて、取得したモーションを用いて
、アバターの動きを再現し、このアバターと、ゲーム映像とを合成してよい。この場合、
アバターが、ゲームの実況中継を行っているかのような状況を再現できる利点がある。
また、例えば、ギフティングに係る情報と、動画配信される映像と、が合成される場合
、種々の情報源端末から取得されるギフティングに係る情報を、動画配信される映像に反
映させることができ、効率的な情報の伝達をしつつ、情報源端末に係る情報源提供者が、
ギフティングを介して、映像に参加する感触を得ることができる利点がある。すなわち、
第1データタイプは、ギフティングに係る情報を含み、第2データタイプは、動画配信さ
れる映像を含み、合成は、前記動画配信される映像に前記ギフティングに係る情報が反映
されることを含む、ものであってよい。
、種々の情報源端末から取得されるギフティングに係る情報を、動画配信される映像に反
映させることができ、効率的な情報の伝達をしつつ、情報源端末に係る情報源提供者が、
ギフティングを介して、映像に参加する感触を得ることができる利点がある。すなわち、
第1データタイプは、ギフティングに係る情報を含み、第2データタイプは、動画配信さ
れる映像を含み、合成は、前記動画配信される映像に前記ギフティングに係る情報が反映
されることを含む、ものであってよい。
なお、一のストリームと、他のストリームとを合成する手法を採用することにより、各
ストリームの通信品質を内容に合わせて各々設定可能とできる利点がある。例えば、背景
的な映像である第2データタイプに係るストリームは、一部品質が劣化したとしても既に
通信済みの情報を利用して補填することができるため、品質は高くなくてもよい。他方、
第1データタイプに係るストリームは、各情報に意義があるため、品質が高いことが好ま
しい。このように合成する手法を採用することにより、過剰な通信品質を求めることなく
、妥当な合成情報を提供できる利点がある。
ストリームの通信品質を内容に合わせて各々設定可能とできる利点がある。例えば、背景
的な映像である第2データタイプに係るストリームは、一部品質が劣化したとしても既に
通信済みの情報を利用して補填することができるため、品質は高くなくてもよい。他方、
第1データタイプに係るストリームは、各情報に意義があるため、品質が高いことが好ま
しい。このように合成する手法を採用することにより、過剰な通信品質を求めることなく
、妥当な合成情報を提供できる利点がある。
合成部42が合成する機能を実行する情報処理装置を、「合成装置」ということがある
。合成装置は、サーバ装置、情報源端末、利用者端末、のいずれであってもよい。
。合成装置は、サーバ装置、情報源端末、利用者端末、のいずれであってもよい。
すなわち、合成を、サーバで行ってもよい。また、第1ストリームを、第1情報源端末
から取得し、第2ストリームを、第2情報源端末から取得し、合成を、前記第1情報源端
末又は前記第2情報源端末で行ってもよい。また、これらの合成されたデータを、一又は
複数の利用者端末へ向けて提供してよい。また、合成を、利用者端末で行い、前記合成さ
れたデータを前記利用者端末で提供してもよい。
から取得し、第2ストリームを、第2情報源端末から取得し、合成を、前記第1情報源端
末又は前記第2情報源端末で行ってもよい。また、これらの合成されたデータを、一又は
複数の利用者端末へ向けて提供してよい。また、合成を、利用者端末で行い、前記合成さ
れたデータを前記利用者端末で提供してもよい。
また、第1情報源端末から取得された、第1ストリームと、第2ストリームと、につい
て、前記第1情報源端末で合成して一又は複数の利用者端末へ向けて提供してもよいし、
サーバで合成して一又は複数の利用者端末へ向けて提供してもよいし、利用者端末で合成
して前記利用者端末に提供してもよい。
て、前記第1情報源端末で合成して一又は複数の利用者端末へ向けて提供してもよいし、
サーバで合成して一又は複数の利用者端末へ向けて提供してもよいし、利用者端末で合成
して前記利用者端末に提供してもよい。
図5乃至図7は、合成部42がストリームの合成の機能を行う情報処理装置の場所を上
述のパターン分けに合わせて図示したものである。図5は、情報源端末51A及び51B
から取得した情報やストリームを、サーバ装置50において合成し、これを利用者端末5
2A及び52Bに提供する状況を図示したものである。図6は、情報源端末51A及び5
1Bから取得した情報やストリームを、情報源端末51Bにおいて合成し、これを利用者
端末52A及び52Bに提供する状況を図示したものである。図7は、情報源端末51A
及び51Bから取得した情報やストリームを、利用者端末52Aにおいて合成して利用者
端末52Aに提供し、また、利用者端末52Bにおいて合成して利用者端末52Bに提供
する状況を図示したものである。
述のパターン分けに合わせて図示したものである。図5は、情報源端末51A及び51B
から取得した情報やストリームを、サーバ装置50において合成し、これを利用者端末5
2A及び52Bに提供する状況を図示したものである。図6は、情報源端末51A及び5
1Bから取得した情報やストリームを、情報源端末51Bにおいて合成し、これを利用者
端末52A及び52Bに提供する状況を図示したものである。図7は、情報源端末51A
及び51Bから取得した情報やストリームを、利用者端末52Aにおいて合成して利用者
端末52Aに提供し、また、利用者端末52Bにおいて合成して利用者端末52Bに提供
する状況を図示したものである。
なお、合成部42による合成の機能は、かかる図のとおりのパターン分けが可能である
が、合成部42が実施する他の機能は、必ずしもかかるパターン分けされた合成の機能と
同一の情報処理装置内で実行される必要は無く、他の情報処理装置内で実行されてもよい
。すなわち、合成部42は、一又は複数の情報処理装置内で実行されてよい。例えば、モ
ーションを含む第1データタイプに係る第1ストリームと、映像を含む第2データタイプ
に係る第2ストリームと、音を含む第1データタイプに係る第3ストリームと、を取得し
、第1情報処理装置内において、モーションを含む第1データタイプに係る第1ストリー
ムと、映像を含む第2データタイプに係る第2ストリームと、を合成し、第1ストリーム
と第2ストリームとを合成したものと、音を含む第1データタイプに係る第3ストリーム
と、を第2情報処理装置へ提供し、第2情報処理装置内において、第1ストリームと第2
ストリームとを合成したものと、第3ストリームと、を合成して、かかる合成されたもの
を、第2情報処理装置内又は第3情報処理装置へ提供してもよい。
が、合成部42が実施する他の機能は、必ずしもかかるパターン分けされた合成の機能と
同一の情報処理装置内で実行される必要は無く、他の情報処理装置内で実行されてもよい
。すなわち、合成部42は、一又は複数の情報処理装置内で実行されてよい。例えば、モ
ーションを含む第1データタイプに係る第1ストリームと、映像を含む第2データタイプ
に係る第2ストリームと、音を含む第1データタイプに係る第3ストリームと、を取得し
、第1情報処理装置内において、モーションを含む第1データタイプに係る第1ストリー
ムと、映像を含む第2データタイプに係る第2ストリームと、を合成し、第1ストリーム
と第2ストリームとを合成したものと、音を含む第1データタイプに係る第3ストリーム
と、を第2情報処理装置へ提供し、第2情報処理装置内において、第1ストリームと第2
ストリームとを合成したものと、第3ストリームと、を合成して、かかる合成されたもの
を、第2情報処理装置内又は第3情報処理装置へ提供してもよい。
また、他の態様として、取得されたモーション、音、コメント、及び/又は、ギフティ
ングに係る情報を含む第1データタイプの第1ストリームに係るデータと、取得された映
像を含む第2データタイプの第2ストリームに係るデータと、を合成した上で、第1スト
リームを提供した端末、第2ストリームを提供した端末、又はそれ以外の端末から、前記
第2データタイプの第3ストリームを取得して前記合成されたストリームに係るデータと
前記第3ストリームに係るデータとを合成してもよいし、第1ストリームを提供した端末
、第2ストリームを提供した端末、又はそれ以外の端末から、前記第1データタイプの第
4ストリームを取得し、前記合成されたストリームに係るデータと前記第4ストリームに
係るデータとを合成してもよい。
ングに係る情報を含む第1データタイプの第1ストリームに係るデータと、取得された映
像を含む第2データタイプの第2ストリームに係るデータと、を合成した上で、第1スト
リームを提供した端末、第2ストリームを提供した端末、又はそれ以外の端末から、前記
第2データタイプの第3ストリームを取得して前記合成されたストリームに係るデータと
前記第3ストリームに係るデータとを合成してもよいし、第1ストリームを提供した端末
、第2ストリームを提供した端末、又はそれ以外の端末から、前記第1データタイプの第
4ストリームを取得し、前記合成されたストリームに係るデータと前記第4ストリームに
係るデータとを合成してもよい。
また、図8乃至図11は、合成の態様について、送信されるデータも含めた分類である
。なお、これらの図中及び対応説明において、CDN(HLS)と図示している箇所は、
CDN(Content Delivery Network)を用いた上で、HLS(
HTTP Live Streaming)を用いた一例を意図しているが、あくまで一
例であり、CDNを用いるがHLSを用いない例であってもよいし、CDNを用いずにH
LSを用いる例であってもよいし、その他の例であってもよい。
。なお、これらの図中及び対応説明において、CDN(HLS)と図示している箇所は、
CDN(Content Delivery Network)を用いた上で、HLS(
HTTP Live Streaming)を用いた一例を意図しているが、あくまで一
例であり、CDNを用いるがHLSを用いない例であってもよいし、CDNを用いずにH
LSを用いる例であってもよいし、その他の例であってもよい。
図8は、情報処理装置803が、音801及びモーション802を取得し、情報処理装
置803内のモーションに対応するアバター映像と合成して、音と映像が合成されたもの
をRTMPサーバ805に対して送り804、RTMPサーバ805が取得し、RTMP
サーバ805がCDN(HLS)806に送り、CDN(HLS)806が視聴者A80
7に配信する、という構成である。ここで、情報処理装置803は、情報源端末であって
もよいし、情報源端末から情報を取得するサーバ装置であってもよい。また、情報処理装
置803は、OBS(Open Broadcaster Software)を備えた
ものであってよく、他の情報処理装置からHDMIやAirPlayなどによって情報を
取得してもよい。
置803内のモーションに対応するアバター映像と合成して、音と映像が合成されたもの
をRTMPサーバ805に対して送り804、RTMPサーバ805が取得し、RTMP
サーバ805がCDN(HLS)806に送り、CDN(HLS)806が視聴者A80
7に配信する、という構成である。ここで、情報処理装置803は、情報源端末であって
もよいし、情報源端末から情報を取得するサーバ装置であってもよい。また、情報処理装
置803は、OBS(Open Broadcaster Software)を備えた
ものであってよく、他の情報処理装置からHDMIやAirPlayなどによって情報を
取得してもよい。
図9は、情報処理装置であるホスト803が音801A及びモーション802を取得し
、情報処理装置803内のモーションに対応するアバター映像と合成して、音と映像が合
成されたものを送り805、RTMPサーバ807が取得し、RTMPサーバ807がC
DN(HLS)808に送り、CDN(HLS)808は音と映像が合成されたものをゲ
ストA811に送り809A、ゲストB812に送り809B、視聴者813に送る80
9C。ここで、情報処理装置であるホスト803は、情報源端末であってもよいし、情報
源端末から情報を取得するサーバ装置であってもよい。ゲストA811及びゲストB81
2は、情報源端末であってよく、各々の情報源提供者は、音声801B、音声801Cを
、各々双方向に入出力でき、映像810A、映像811Bを各々視聴することができてよ
い。また、視聴者813は、利用者端末であってよく、映像810Cを視聴することがで
きてよい。情報処理装置である、ホスト803、ゲストA811、ゲストB812は、コ
ラボサーバ806との間で、音声について、双方向にやりとり可能であってよい(804
A、804B、804C)。なお、本図において、ゲストA810及びゲストB811の
2つの情報処理装置を図示しているが、一つでもよいし、2つ以上であってもよい。同様
に、情報処理装置である視聴者813は、一つでもよいし、2つ以上であってもよい。
、情報処理装置803内のモーションに対応するアバター映像と合成して、音と映像が合
成されたものを送り805、RTMPサーバ807が取得し、RTMPサーバ807がC
DN(HLS)808に送り、CDN(HLS)808は音と映像が合成されたものをゲ
ストA811に送り809A、ゲストB812に送り809B、視聴者813に送る80
9C。ここで、情報処理装置であるホスト803は、情報源端末であってもよいし、情報
源端末から情報を取得するサーバ装置であってもよい。ゲストA811及びゲストB81
2は、情報源端末であってよく、各々の情報源提供者は、音声801B、音声801Cを
、各々双方向に入出力でき、映像810A、映像811Bを各々視聴することができてよ
い。また、視聴者813は、利用者端末であってよく、映像810Cを視聴することがで
きてよい。情報処理装置である、ホスト803、ゲストA811、ゲストB812は、コ
ラボサーバ806との間で、音声について、双方向にやりとり可能であってよい(804
A、804B、804C)。なお、本図において、ゲストA810及びゲストB811の
2つの情報処理装置を図示しているが、一つでもよいし、2つ以上であってもよい。同様
に、情報処理装置である視聴者813は、一つでもよいし、2つ以上であってもよい。
図10は、情報処理装置であるホスト804と、情報処理装置であるゲストA805は
、モーション801A、モーション801B、を各々取得でき、音声802A、音声80
2B、を各々双方向に入出力でき、映像803A、映像803B、を各々視聴できるよう
構成されてよい。情報処理装置であるホスト804は、コラボサーバ809に対して、音
声を双方向に伝達し806A、モーションを双方向に伝達し807A、ギフティング情報
を双方向に伝達808A、できるよう構成されてよい。また、情報処理装置であるゲスト
A805は、コラボサーバ809に対して、音声を双方向に伝達し806B、モーション
を双方向に伝達し807B、ギフティング情報を双方向に伝達808B、できるよう構成
されてよい。特に、ゲストA805から、コラボサーバ809を介して、取得した音、モ
ーション、ギフティング情報は、ホスト804において取得された音、モーション、ギフ
ティング情報、とホスト804において合成され、映像として、RTMPサーバ810に
伝達され、CDN(HLS)811に伝達され、視聴者812に伝達されてよい。なお、
本図において、ホスト804からゲストA805に対し、コラボサーバ809を介した情
報の伝達経路を図示しているが、かかる例にとどまらず、例えば、ホスト804からコラ
ボサーバ809を介して、ゲストAと類似の機能を有する図示していないゲストB、ゲス
トC、ゲストDなどへ、同様に情報が双方向で伝達できてよい。また、本図において、ホ
スト804から、RMPサーバ810とCDN(HLS)811を介して、視聴者812
に情報が伝達する経路を示しているが、かかる例にとどまらず、例えば、ホスト804か
らRTMAP810とCDN(HLS)811を介して、視聴者812と類似の機能を有
する他の一又は複数の視聴者に対して、情報が伝達されてよい。
、モーション801A、モーション801B、を各々取得でき、音声802A、音声80
2B、を各々双方向に入出力でき、映像803A、映像803B、を各々視聴できるよう
構成されてよい。情報処理装置であるホスト804は、コラボサーバ809に対して、音
声を双方向に伝達し806A、モーションを双方向に伝達し807A、ギフティング情報
を双方向に伝達808A、できるよう構成されてよい。また、情報処理装置であるゲスト
A805は、コラボサーバ809に対して、音声を双方向に伝達し806B、モーション
を双方向に伝達し807B、ギフティング情報を双方向に伝達808B、できるよう構成
されてよい。特に、ゲストA805から、コラボサーバ809を介して、取得した音、モ
ーション、ギフティング情報は、ホスト804において取得された音、モーション、ギフ
ティング情報、とホスト804において合成され、映像として、RTMPサーバ810に
伝達され、CDN(HLS)811に伝達され、視聴者812に伝達されてよい。なお、
本図において、ホスト804からゲストA805に対し、コラボサーバ809を介した情
報の伝達経路を図示しているが、かかる例にとどまらず、例えば、ホスト804からコラ
ボサーバ809を介して、ゲストAと類似の機能を有する図示していないゲストB、ゲス
トC、ゲストDなどへ、同様に情報が双方向で伝達できてよい。また、本図において、ホ
スト804から、RMPサーバ810とCDN(HLS)811を介して、視聴者812
に情報が伝達する経路を示しているが、かかる例にとどまらず、例えば、ホスト804か
らRTMAP810とCDN(HLS)811を介して、視聴者812と類似の機能を有
する他の一又は複数の視聴者に対して、情報が伝達されてよい。
図11は、情報処理装置であるホスト803が、ギフティング情報801Aとモーショ
ン802Aを取得し、情報処理装置であるホスト803は、クライアントレンダリングサ
ーバ808に、音805A、ギフティング情報806A、モーション807Aを、伝達す
る。クライアントレンダリングサーバ808は、これらを、情報処理装置である視聴者A
804に、音805B、ギフティング情報806B、モーション807Bを、伝達し、情
報処理装置である視聴者A804において音とモーションを合成し、ギフティング情報8
01Bと映像802Bを提供する。なお、本図において、ホスト803から視聴者A80
4に対し、クライアントレンダリングサーバ808を介した情報の伝達経路を図示してい
るが、かかる例にとどまらず、例えば、ホスト803からクライアントレンダリングサー
バ808を介して、視聴者Aと類似の機能を有する図示していない視聴者B、視聴者C、
視聴者Dなどへ、同様に情報が双方向又は一方向で伝達できてよい。
ン802Aを取得し、情報処理装置であるホスト803は、クライアントレンダリングサ
ーバ808に、音805A、ギフティング情報806A、モーション807Aを、伝達す
る。クライアントレンダリングサーバ808は、これらを、情報処理装置である視聴者A
804に、音805B、ギフティング情報806B、モーション807Bを、伝達し、情
報処理装置である視聴者A804において音とモーションを合成し、ギフティング情報8
01Bと映像802Bを提供する。なお、本図において、ホスト803から視聴者A80
4に対し、クライアントレンダリングサーバ808を介した情報の伝達経路を図示してい
るが、かかる例にとどまらず、例えば、ホスト803からクライアントレンダリングサー
バ808を介して、視聴者Aと類似の機能を有する図示していない視聴者B、視聴者C、
視聴者Dなどへ、同様に情報が双方向又は一方向で伝達できてよい。
また、上述の各図で説明したように、一又は複数の情報源端末から取得した、第1スト
リームと第2ストリームは、映像と音声の種々の組み合わせが合成されてよい。例えば、
第1情報源端末から取得した第1ストリームが映像で、第1情報源から取得した第2スト
リームが音声で、第2情報源端末から取得した第3ストリームが映像で、第2情報源端末
から取得した第4ストリームが音声である例を考える。この場合、合成部42は、第1乃
至第4ストリームを全て合成してもよいし、第1乃至第4ストリームの一部を合成しても
よい。具体的には、合成部42は、第1乃至第3ストリームを合成してもよいし、第1、
第2、及び第4ストリームを合成してもよい。また、第2情報源端末から第4ストリーム
を取得せず、第3ストリームのみを取得する場合において、合成部42は、第1乃至第3
ストリームを合成してもよいし、第1及び第3ストリームを合成してもよいし、第2及び
第3ストリームを合成してもよい。また、第2情報源端末から第3ストリームを取得せず
、第4ストリームのみを取得する場合において、合成部42は、第1、第2及び第4スト
リームを合成してもよいし、第1及び第4ストリームを合成してもよいし、第2及び第4
ストリームを合成してもよい。なお、本段落の説明においてストリームは映像又は音声と
して説明したが、ストリームが音声と映像の両方を含むものとしてもよい。
リームと第2ストリームは、映像と音声の種々の組み合わせが合成されてよい。例えば、
第1情報源端末から取得した第1ストリームが映像で、第1情報源から取得した第2スト
リームが音声で、第2情報源端末から取得した第3ストリームが映像で、第2情報源端末
から取得した第4ストリームが音声である例を考える。この場合、合成部42は、第1乃
至第4ストリームを全て合成してもよいし、第1乃至第4ストリームの一部を合成しても
よい。具体的には、合成部42は、第1乃至第3ストリームを合成してもよいし、第1、
第2、及び第4ストリームを合成してもよい。また、第2情報源端末から第4ストリーム
を取得せず、第3ストリームのみを取得する場合において、合成部42は、第1乃至第3
ストリームを合成してもよいし、第1及び第3ストリームを合成してもよいし、第2及び
第3ストリームを合成してもよい。また、第2情報源端末から第3ストリームを取得せず
、第4ストリームのみを取得する場合において、合成部42は、第1、第2及び第4スト
リームを合成してもよいし、第1及び第4ストリームを合成してもよいし、第2及び第4
ストリームを合成してもよい。なお、本段落の説明においてストリームは映像又は音声と
して説明したが、ストリームが音声と映像の両方を含むものとしてもよい。
なお、これらは一例であり、他の種々の合成の態様が可能であることは、言うまでもな
い。
い。
また、取得部41が複数のストリームを取得する場合、合成部42は、かかる複数のス
トリームについて、時間的な調整を行ってよい。例えば、取得部41が取得した一又は複
数のストリームが、それぞれ、タイムスタンプなどの時間的情報を含む場合、合成部42
は、各ストリームの時間情報を用いて、各ストリームの時間情報の差が所定の値以下にな
るようストリームを合成してよい。なお、通信状況によっては、第1の情報源端末から取
得した第1ストリームに係る第1時間情報と、第2の情報源端末から取得した第2ストリ
ームに係る第2時間情報と、において、第1時間情報と第2時間情報との差が所定の値以
上の場合、一方を合成せず、一方の情報を利用せず、他方のみを提供部44によって提供
する、という構成としてもよい。この場合、通信状況が悪化しても、一定の情報の伝達を
継続できる利点がある。なお、この場合において、利用する情報と利用しない情報とを選
別する手法は、情報量を用いて通信情報の劣化を補う手法を用いてよい。
トリームについて、時間的な調整を行ってよい。例えば、取得部41が取得した一又は複
数のストリームが、それぞれ、タイムスタンプなどの時間的情報を含む場合、合成部42
は、各ストリームの時間情報を用いて、各ストリームの時間情報の差が所定の値以下にな
るようストリームを合成してよい。なお、通信状況によっては、第1の情報源端末から取
得した第1ストリームに係る第1時間情報と、第2の情報源端末から取得した第2ストリ
ームに係る第2時間情報と、において、第1時間情報と第2時間情報との差が所定の値以
上の場合、一方を合成せず、一方の情報を利用せず、他方のみを提供部44によって提供
する、という構成としてもよい。この場合、通信状況が悪化しても、一定の情報の伝達を
継続できる利点がある。なお、この場合において、利用する情報と利用しない情報とを選
別する手法は、情報量を用いて通信情報の劣化を補う手法を用いてよい。
すなわち、第1ストリーム及び第2ストリームは、各々、時間情報を含み、合成部42
は、第1ストリームに係る時間情報と、第2ストリームに係る時間情報と、を所定の関係
に調整して、第1ストリームと第2ストリームとを合成できるよう構成されてよい。なお
、所定の関係としては、合成されるストリームに係る時間情報が、夫々、同一となるよう
に調整して合成してもよいし、所定の時間内となるように調整して合成してもよい。所定
の時間内であってもよいのは、情報の種類によっては時間的誤差が生じても、利用者が閲
覧した場合に違和感を生じない場合もあるためである。
は、第1ストリームに係る時間情報と、第2ストリームに係る時間情報と、を所定の関係
に調整して、第1ストリームと第2ストリームとを合成できるよう構成されてよい。なお
、所定の関係としては、合成されるストリームに係る時間情報が、夫々、同一となるよう
に調整して合成してもよいし、所定の時間内となるように調整して合成してもよい。所定
の時間内であってもよいのは、情報の種類によっては時間的誤差が生じても、利用者が閲
覧した場合に違和感を生じない場合もあるためである。
また、合成部42は、中間生成情報を取得する場合、かかる中間生成情報を用いて、合
成してよい。また、合成部42は、中間生成情報を取得する場合、かかる中間生成情報を
用いて、合成するかどうかを決定し、合成すると決定した場合に限り、合成してもよい。
この場合、合成する必要がない場合について合成しなくてよいため、効率的に処理を行え
る利点がある。かかる合成する必要がないと決定する場合としては、例えば、奥行情報を
用いて奥側の情報で表示されないと決定される場合が挙げられる。より具体的には、例え
ば、動画とアバターなど、少なくとも二つの情報について、一方の奥行と他方の奥行のそ
れぞれの奥行情報が判明すると、合成せずに、奥側ではない手前側の情報を利用してよい
。なお、この場合、かかる二つの情報については、映像上の表示領域も用いて、判定して
よい。例えば、映像1に係る奥行情報がAであり、映像2に係る奥行情報がBであり、A
よりもBが多い奥行情報を有する(すなわち、映像1が映像2よりも奥側で見えない可能
性がある)場合において、映像2が映像1を覆わない場合、映像1が映像2よりも奥であ
っても見える可能性があることから、取得部41は映像1を取得し、合成部42はかかる
映像1を用いて合成してよい。このように、合成されうる映像の表示領域も用いられてよ
い。表示領域は、表示の位置が用いられてよい。
成してよい。また、合成部42は、中間生成情報を取得する場合、かかる中間生成情報を
用いて、合成するかどうかを決定し、合成すると決定した場合に限り、合成してもよい。
この場合、合成する必要がない場合について合成しなくてよいため、効率的に処理を行え
る利点がある。かかる合成する必要がないと決定する場合としては、例えば、奥行情報を
用いて奥側の情報で表示されないと決定される場合が挙げられる。より具体的には、例え
ば、動画とアバターなど、少なくとも二つの情報について、一方の奥行と他方の奥行のそ
れぞれの奥行情報が判明すると、合成せずに、奥側ではない手前側の情報を利用してよい
。なお、この場合、かかる二つの情報については、映像上の表示領域も用いて、判定して
よい。例えば、映像1に係る奥行情報がAであり、映像2に係る奥行情報がBであり、A
よりもBが多い奥行情報を有する(すなわち、映像1が映像2よりも奥側で見えない可能
性がある)場合において、映像2が映像1を覆わない場合、映像1が映像2よりも奥であ
っても見える可能性があることから、取得部41は映像1を取得し、合成部42はかかる
映像1を用いて合成してよい。このように、合成されうる映像の表示領域も用いられてよ
い。表示領域は、表示の位置が用いられてよい。
また、合成部42は、合成するに際し、後述の制御情報管理部43の情報を用いて、合
成するかどうかを決定してもよいが、制御情報管理部43の情報を用いないで合成しても
よい。前者は、例えば、制御情報管理部43が管理する情報において、全ての利用者端末
に対して合成した情報を提供するよう設定されている場合は合成してよく、全ての利用者
端末に対して合成しない情報を提供するよう設定されている場合は合成しないでよく、一
の利用者端末に対しては合成した情報を提供し他の利用者端末に対しては合成しない情報
を提供するよう設定されている場合は、合成してよい。なお、最後のケースにおいては、
提供部44が、合成した情報を提供する設定である利用者端末に対して合成した情報を提
供し、合成しない情報を提供する設定である利用者端末に対して合成しない情報を提供し
てよい。なお、後述のとおり、制御情報は、演出の各情報について、利用者端末毎の各設
定がされる場合があるため、合成される情報のパターンは、種々あってよく、これらは、
制御情報管理部43の情報を用いて、合成する情報のパターンが設定されてよい。この場
合、利用者端末が要求する合成されるパターンに合わせて合成する情報のパターンが決定
されるため、効率的に合成の処理ができる利点がある。
成するかどうかを決定してもよいが、制御情報管理部43の情報を用いないで合成しても
よい。前者は、例えば、制御情報管理部43が管理する情報において、全ての利用者端末
に対して合成した情報を提供するよう設定されている場合は合成してよく、全ての利用者
端末に対して合成しない情報を提供するよう設定されている場合は合成しないでよく、一
の利用者端末に対しては合成した情報を提供し他の利用者端末に対しては合成しない情報
を提供するよう設定されている場合は、合成してよい。なお、最後のケースにおいては、
提供部44が、合成した情報を提供する設定である利用者端末に対して合成した情報を提
供し、合成しない情報を提供する設定である利用者端末に対して合成しない情報を提供し
てよい。なお、後述のとおり、制御情報は、演出の各情報について、利用者端末毎の各設
定がされる場合があるため、合成される情報のパターンは、種々あってよく、これらは、
制御情報管理部43の情報を用いて、合成する情報のパターンが設定されてよい。この場
合、利用者端末が要求する合成されるパターンに合わせて合成する情報のパターンが決定
されるため、効率的に合成の処理ができる利点がある。
また、合成部42は、合成する前に、合成される第1ストリームと第2ストリームの一
方又は両方のストリームのフレームレートを調整する機能を有してよい。例えば、第1情
報源端末から配信される第1のストリームと、第2情報源端末から配信される第2のスト
リームと、が異なる配信環境である場合がある。配信環境の違いは、情報源端末の機能に
よるものであってもよいし、各情報源端末からのネットワークの通信状況によるものであ
ってもよい。合成部がフレームレートを調整する機能を有することにより、ストリームを
配信する情報源端末の機能やネットワーク状況に適切な合成データを生成できる利点があ
る。調整後のフレームレートは、予め定められたフレームレート又は合成部が取得したス
トリームにおいて規定されたフレームレート、と比較して、高いフレームレートであって
もよいし、低いフレームレートであってもよい。また、フレームレートは、予め定められ
た所定の値よりも低いフレームレートとしてもよい。また、フレームレートは、合成され
ることになるストリームの取得情報量と関連付けられた一又は複数の所定の値よりも低い
フレームレートであってよい。ストリームの取得情報量は、単位当たりの情報量や合成さ
れていない累積取得情報量などであってよい。特に、一のストリームの配信に遅延が生じ
る場合、かかる一のストリームのフレームレートを所定の値より低いものに調整して合成
することにより、遅延による低画質の不安定なストリームではなく、フレームレートは低
くても高画質な映像を提供できる利点がある。この場合、合成部42は、所定の値よりも
低いフレームレートに調整された一のストリームと、他のストリームとを、合成してよい
。
方又は両方のストリームのフレームレートを調整する機能を有してよい。例えば、第1情
報源端末から配信される第1のストリームと、第2情報源端末から配信される第2のスト
リームと、が異なる配信環境である場合がある。配信環境の違いは、情報源端末の機能に
よるものであってもよいし、各情報源端末からのネットワークの通信状況によるものであ
ってもよい。合成部がフレームレートを調整する機能を有することにより、ストリームを
配信する情報源端末の機能やネットワーク状況に適切な合成データを生成できる利点があ
る。調整後のフレームレートは、予め定められたフレームレート又は合成部が取得したス
トリームにおいて規定されたフレームレート、と比較して、高いフレームレートであって
もよいし、低いフレームレートであってもよい。また、フレームレートは、予め定められ
た所定の値よりも低いフレームレートとしてもよい。また、フレームレートは、合成され
ることになるストリームの取得情報量と関連付けられた一又は複数の所定の値よりも低い
フレームレートであってよい。ストリームの取得情報量は、単位当たりの情報量や合成さ
れていない累積取得情報量などであってよい。特に、一のストリームの配信に遅延が生じ
る場合、かかる一のストリームのフレームレートを所定の値より低いものに調整して合成
することにより、遅延による低画質の不安定なストリームではなく、フレームレートは低
くても高画質な映像を提供できる利点がある。この場合、合成部42は、所定の値よりも
低いフレームレートに調整された一のストリームと、他のストリームとを、合成してよい
。
さらに、合成部42は、合成される第1ストリームと第2ストリームの一方又は両方の
ストリームにおけるデータのうち、端末に応じて、合成しないデータと合成するデータと
を選択し、合成するデータのみ、合成するよう構成されてもよい。ここで、合成しないデ
ータは、例えば、利用者端末において取得済みでのデータや必要でないデータであってよ
い。合成部42がかかる構成を備える場合、通信量を減少させ、待機時間を高速化できる
利点がある。
ストリームにおけるデータのうち、端末に応じて、合成しないデータと合成するデータと
を選択し、合成するデータのみ、合成するよう構成されてもよい。ここで、合成しないデ
ータは、例えば、利用者端末において取得済みでのデータや必要でないデータであってよ
い。合成部42がかかる構成を備える場合、通信量を減少させ、待機時間を高速化できる
利点がある。
また、上述に述べた種々の合成の手法以外に、種々の合成手法を用いてよい。例えば、
合成は、クロマキー技術を用いてよく、合成時に使用するマスキングはクロマキーのよう
な色相をキーにする手法であってもよい。また、合成は、アルファマスクのようなマスク
用の画像メモリを用意して演算してもよい。また、PNGファイルのように透明情報をフ
ァイルに保存する方法を使用してもよい。ここで、マスクとなる画像メモリは、透過する
かどうかを2値で保存してもよいし、演算コストや画像品質に応じて、4値乃至256値
の中間調を利用してもよい。また、合成は、少なくとも二つの対象を、単純に重ね合せる
ものであってもよいし、かかる少なくとも二つの対象の一方又は双方に対して、色相や乗
算のような画像合成アルゴリズムを適用してもよい。なお、合成される対象の一方又は双
方が3D映像である場合、奥行き情報(デプス)を用いて合成してもよい。なお、個々に
述べた手法は一例であり、その他の一般的な合成手法が用いられてもよい。
合成は、クロマキー技術を用いてよく、合成時に使用するマスキングはクロマキーのよう
な色相をキーにする手法であってもよい。また、合成は、アルファマスクのようなマスク
用の画像メモリを用意して演算してもよい。また、PNGファイルのように透明情報をフ
ァイルに保存する方法を使用してもよい。ここで、マスクとなる画像メモリは、透過する
かどうかを2値で保存してもよいし、演算コストや画像品質に応じて、4値乃至256値
の中間調を利用してもよい。また、合成は、少なくとも二つの対象を、単純に重ね合せる
ものであってもよいし、かかる少なくとも二つの対象の一方又は双方に対して、色相や乗
算のような画像合成アルゴリズムを適用してもよい。なお、合成される対象の一方又は双
方が3D映像である場合、奥行き情報(デプス)を用いて合成してもよい。なお、個々に
述べた手法は一例であり、その他の一般的な合成手法が用いられてもよい。
3-3.制御情報管理部43
制御情報管理部43は、制御情報を管理する機能を有する。情報管理部が管理する情報
は、種々の情報であってよく、例えば、視点制御情報、演出制御情報、などであってよい
。制御情報管理部43は、図12のように、制御情報として、種々の情報を記憶してよい
。
制御情報管理部43は、制御情報を管理する機能を有する。情報管理部が管理する情報
は、種々の情報であってよく、例えば、視点制御情報、演出制御情報、などであってよい
。制御情報管理部43は、図12のように、制御情報として、種々の情報を記憶してよい
。
<視点制御情報>
視点制御情報は、利用者の視点を制御するための情報である。視点制御情報は、利用者
の視点の初期値の設定、利用者の視点の移動の設定、などであってよい。これは、例えば
スポーツゲームなどにおいては、ゲームを観戦する観客がいるところ、それら複数の観客
の中の一の観客を選択して、利用者の視点の初期値を設定したり、それら複数の観客の中
の一の観客を選択して、その観客の視点に移動したり、あるいは、観客ではないゲーム内
の他の箇所に移動する、などを可能とするものである。すなわち、制御情報管理部43は
、一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に
係る前記ゲーム空間内の視点を変更する、機能を有してよい。
視点制御情報は、利用者の視点を制御するための情報である。視点制御情報は、利用者
の視点の初期値の設定、利用者の視点の移動の設定、などであってよい。これは、例えば
スポーツゲームなどにおいては、ゲームを観戦する観客がいるところ、それら複数の観客
の中の一の観客を選択して、利用者の視点の初期値を設定したり、それら複数の観客の中
の一の観客を選択して、その観客の視点に移動したり、あるいは、観客ではないゲーム内
の他の箇所に移動する、などを可能とするものである。すなわち、制御情報管理部43は
、一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に
係る前記ゲーム空間内の視点を変更する、機能を有してよい。
視点制御情報は、ゲーム空間内の視点に係る情報を含んでよい。ゲーム空間内の視点に
係る情報は、視点が変更される利用者を特定する情報と、視点の変更後の箇所を特定する
情報と、を含んでよい。視点が変更される利用者を特定する情報は、利用者に係るIDな
どであってもよいし、利用者に係る利用者端末を特定する情報であってもよい。視点の変
更後の箇所は、ゲーム空間内に参加する利用者の視点であってもよいし、ゲーム空間内に
登場するキャラクターの視点であってもよいし、ゲーム空間上の一の箇所であってもよい
。ゲーム空間内に参加する利用者の視点は、IDで特定されてもよいし、ゲーム内で通用
する利用者名などで特定されてよい。また、同様に、ゲーム空間内に登場するキャラクタ
ーは、キャラクター名によって特定されてよく、ゲーム空間上の一の箇所は、ゲーム空間
上の一か所を特定できる情報であってよい。ゲーム空間内に登場するキャラクターとして
、例えば、スポーツゲームなどの競技であれば、観客が挙げられる。観客の位置によって
、ゲームの見え方は異なるものであるため、視点の移動を可能とすることによって、より
利用者がゲームに対して新たな興味を得ることができる利点がある。また、観客ではない
ゲーム内の他のキャラクターとしては、ゲームの審判であったり、ゲームの解説者であっ
たり、ゲーム内で出場を待機しているプレイヤであったり、ゲーム場でプレイをしている
プレイヤなど、ゲームに関連する人々であったりしてもよいし、またこれら以外であって
も、ゲーム場の中央や、ゲーム場の中央の上方、天井カメラ、ゴール裏など、ゲーム空間
上の一点又は領域であってもよい。また、スポーツゲーム等の競技以外の他のゲームにお
いても、登場するプレイヤやその他の特定のゲーム空間上の一点や領域に、視点が移動さ
れる対象が設定されてもよい。ゲームに関連する人々の視点に移動できれば、それぞれ各
ゲームに関連する人々の視点でゲームを楽しむことができる利点があるし、ゲーム空間上
の一点又は領域であれば、通常見ることができない視点からのゲームを楽しむことができ
る利点がある。すなわち、制御情報管理部43は、一の利用者端末に係るゲーム空間内の
視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変
更してよく、前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端
末以外のゲーム空間上の一の場所の視点に変更してよい。
係る情報は、視点が変更される利用者を特定する情報と、視点の変更後の箇所を特定する
情報と、を含んでよい。視点が変更される利用者を特定する情報は、利用者に係るIDな
どであってもよいし、利用者に係る利用者端末を特定する情報であってもよい。視点の変
更後の箇所は、ゲーム空間内に参加する利用者の視点であってもよいし、ゲーム空間内に
登場するキャラクターの視点であってもよいし、ゲーム空間上の一の箇所であってもよい
。ゲーム空間内に参加する利用者の視点は、IDで特定されてもよいし、ゲーム内で通用
する利用者名などで特定されてよい。また、同様に、ゲーム空間内に登場するキャラクタ
ーは、キャラクター名によって特定されてよく、ゲーム空間上の一の箇所は、ゲーム空間
上の一か所を特定できる情報であってよい。ゲーム空間内に登場するキャラクターとして
、例えば、スポーツゲームなどの競技であれば、観客が挙げられる。観客の位置によって
、ゲームの見え方は異なるものであるため、視点の移動を可能とすることによって、より
利用者がゲームに対して新たな興味を得ることができる利点がある。また、観客ではない
ゲーム内の他のキャラクターとしては、ゲームの審判であったり、ゲームの解説者であっ
たり、ゲーム内で出場を待機しているプレイヤであったり、ゲーム場でプレイをしている
プレイヤなど、ゲームに関連する人々であったりしてもよいし、またこれら以外であって
も、ゲーム場の中央や、ゲーム場の中央の上方、天井カメラ、ゴール裏など、ゲーム空間
上の一点又は領域であってもよい。また、スポーツゲーム等の競技以外の他のゲームにお
いても、登場するプレイヤやその他の特定のゲーム空間上の一点や領域に、視点が移動さ
れる対象が設定されてもよい。ゲームに関連する人々の視点に移動できれば、それぞれ各
ゲームに関連する人々の視点でゲームを楽しむことができる利点があるし、ゲーム空間上
の一点又は領域であれば、通常見ることができない視点からのゲームを楽しむことができ
る利点がある。すなわち、制御情報管理部43は、一の利用者端末に係るゲーム空間内の
視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変
更してよく、前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端
末以外のゲーム空間上の一の場所の視点に変更してよい。
視点制御情報は、上述のゲームに関連する人々を特定可能な情報であってもよいし、ゲ
ーム空間上の一点又は領域を特定可能な情報であってもよい。
ーム空間上の一点又は領域を特定可能な情報であってもよい。
この場合、制御情報管理部43は、予め、ゲームに係る観客の視点の位置や、ゲーム空
間上の視点を提供可能な位置の選択肢を記憶する機能を有してよい。また、制御情報管理
部43は、一又は複数の利用者端末に対して、かかる選択肢を送信してよい。また、利用
者端末においては、かかる選択肢の一を選択可能であってよく、かかる選択された一の選
択肢を、制御情報管理部43に向けて提供してよい。また、制御情報管理部43は、かか
る選択された一の選択肢を取得し、記憶し、設定してよい。
間上の視点を提供可能な位置の選択肢を記憶する機能を有してよい。また、制御情報管理
部43は、一又は複数の利用者端末に対して、かかる選択肢を送信してよい。また、利用
者端末においては、かかる選択肢の一を選択可能であってよく、かかる選択された一の選
択肢を、制御情報管理部43に向けて提供してよい。また、制御情報管理部43は、かか
る選択された一の選択肢を取得し、記憶し、設定してよい。
また、制御情報管理部43は、視点制御情報と、所定の条件と、を用いて、視点を設定
してもよい。例えば、特定のゲームに関連する人々の視点、ゲーム空間上の一点又は領域
、ゲーム空間上の所定の一点又は領域、に視点を移動する場合、所定の条件を満たしてい
る場合に限り、設定できるよう構成されていてよい。かかる所定の条件は、予め設定され
てよく、制御情報管理部43は、かかる条件を予め記憶しておいてよい。また、取得部4
1が利用者端末から視点制御情報を取得した場合において、制御情報管理部43は、視点
制御情報がかかる条件を満たしているか満たしていないかを判定する機能を有してよい。
そして、制御情報管理部43は、視点制御情報が、かかる条件を満たしている場合に、視
点を移動して設定してよいが、視点制御情報が、かかる条件を満たしていない場合には、
視点の設定をしないでよい。
してもよい。例えば、特定のゲームに関連する人々の視点、ゲーム空間上の一点又は領域
、ゲーム空間上の所定の一点又は領域、に視点を移動する場合、所定の条件を満たしてい
る場合に限り、設定できるよう構成されていてよい。かかる所定の条件は、予め設定され
てよく、制御情報管理部43は、かかる条件を予め記憶しておいてよい。また、取得部4
1が利用者端末から視点制御情報を取得した場合において、制御情報管理部43は、視点
制御情報がかかる条件を満たしているか満たしていないかを判定する機能を有してよい。
そして、制御情報管理部43は、視点制御情報が、かかる条件を満たしている場合に、視
点を移動して設定してよいが、視点制御情報が、かかる条件を満たしていない場合には、
視点の設定をしないでよい。
所定の条件としては、例えば、視点の変更を希望する利用者が、所定のアイテムを有し
ていること、所定の評価点を得られていること、所定のランクであること、所定の視聴時
間を経ていること、所定の価値物を提供したこと、及び/又は、所定量の所定の価値部を
提供したこと、などであってよい。
ていること、所定の評価点を得られていること、所定のランクであること、所定の視聴時
間を経ていること、所定の価値物を提供したこと、及び/又は、所定量の所定の価値部を
提供したこと、などであってよい。
所定のアイテムを有していることが条件として含まれる場合、視点の変更を希望する利
用者は、かかる所定のアイテムを取得する動機づけとなる利点がある。また、所定の評価
点を得られていたり、所定のランクであることが条件として含まれる場合、視点の変更を
希望する利用者は、かかる評価点を得たり、かかるランクを得たりする動機づけとなる利
点がある。ここで、評価点は、ゲーム内のポイント等を得ることにより得られるものであ
ってよく、ランクは、ゲーム内のポイント等を得ることにより得られる地位のようなもの
であってよい。また、所定の視聴時間は、後述のものであってよい。また、価値物は、ゲ
ーム空間内で価値があるとされるものであればよい。価値があるとは、保持することにメ
リットがあるものであればよく、アイテム、ゲーム内、また、ゲーム空間内における点数
などであってよい。
用者は、かかる所定のアイテムを取得する動機づけとなる利点がある。また、所定の評価
点を得られていたり、所定のランクであることが条件として含まれる場合、視点の変更を
希望する利用者は、かかる評価点を得たり、かかるランクを得たりする動機づけとなる利
点がある。ここで、評価点は、ゲーム内のポイント等を得ることにより得られるものであ
ってよく、ランクは、ゲーム内のポイント等を得ることにより得られる地位のようなもの
であってよい。また、所定の視聴時間は、後述のものであってよい。また、価値物は、ゲ
ーム空間内で価値があるとされるものであればよい。価値があるとは、保持することにメ
リットがあるものであればよく、アイテム、ゲーム内、また、ゲーム空間内における点数
などであってよい。
制御情報管理部43は、上述のような所定の条件を規定する場合、視点の変更を希望す
る利用者に係る利用者端末と関連付けられている、上述の所定の条件に関連する情報を用
いて、かかる条件の成否を判定してよい。所定の条件に関連する情報は、視点の変更を希
望する利用者に係る利用者端末内に記憶されていてもよいし、制御情報管理部43内に記
憶されていてもよい。前者であれば、制御情報管理部43が上述の利用者端末に問い合わ
せ、利用者端末内で条件の成否が判定された情報を、制御情報管理部43が取得してもよ
いし、制御情報管理部43が上述の利用者端末に問い合わせ、利用者端末から取得した条
件の成否を判定するのに必要な情報を取得した上で、条件の成否を判定してもよい。ここ
で、条件の成否を判定するのに必要な情報としては、かかる利用者が有するアイテム、評
価点、ランク、視聴時間、価値物、などであってよい。また、視点の変更を希望する利用
者と関連付けて、制御情報管理部43内に記憶されているアイテム、評価点、ランク、視
聴時間、価値物などを用いて、制御情報管理部43は、かかる条件の成否を判定してもよ
い。例えば、制御情報管理部43は、予め定められた利用者端末以外のゲーム空間上の一
の場所の視点に変更は、所定の価値物の提供を条件とするよう構成されてよい。
る利用者に係る利用者端末と関連付けられている、上述の所定の条件に関連する情報を用
いて、かかる条件の成否を判定してよい。所定の条件に関連する情報は、視点の変更を希
望する利用者に係る利用者端末内に記憶されていてもよいし、制御情報管理部43内に記
憶されていてもよい。前者であれば、制御情報管理部43が上述の利用者端末に問い合わ
せ、利用者端末内で条件の成否が判定された情報を、制御情報管理部43が取得してもよ
いし、制御情報管理部43が上述の利用者端末に問い合わせ、利用者端末から取得した条
件の成否を判定するのに必要な情報を取得した上で、条件の成否を判定してもよい。ここ
で、条件の成否を判定するのに必要な情報としては、かかる利用者が有するアイテム、評
価点、ランク、視聴時間、価値物、などであってよい。また、視点の変更を希望する利用
者と関連付けて、制御情報管理部43内に記憶されているアイテム、評価点、ランク、視
聴時間、価値物などを用いて、制御情報管理部43は、かかる条件の成否を判定してもよ
い。例えば、制御情報管理部43は、予め定められた利用者端末以外のゲーム空間上の一
の場所の視点に変更は、所定の価値物の提供を条件とするよう構成されてよい。
<演出制御情報>
演出制御情報は、利用者端末における出力装置で出力される演出を制御する情報である
。演出は、音、コメント、ギフティング、などが挙げられるため、対応する演出制御情報
は、音制御情報、コメント制御情報、ギフティング制御情報、などが挙げられる。なお、
本願書類において、情報源提供者は演出を行う者を指すことがあり、また、利用者はかか
る演出が出力されて視聴する者を指すことがあり、また、利用者端末はかかる演出を出力
する出力装置を備える端末を指すこともある。
演出制御情報は、利用者端末における出力装置で出力される演出を制御する情報である
。演出は、音、コメント、ギフティング、などが挙げられるため、対応する演出制御情報
は、音制御情報、コメント制御情報、ギフティング制御情報、などが挙げられる。なお、
本願書類において、情報源提供者は演出を行う者を指すことがあり、また、利用者はかか
る演出が出力されて視聴する者を指すことがあり、また、利用者端末はかかる演出を出力
する出力装置を備える端末を指すこともある。
演出制御情報は、グルーピング情報を含んでよい。グルーピング情報は、利用者や情報
源提供者をグループ分けする場合におけるグループ分けに係る情報であってよい。グルー
プ分けに係る情報は、一の利用者や一の情報提供者が、複数のグループのうちのどのグル
ープに属するかに関する情報であってよい。例えば、利用者がa乃至eの5人がいる場合
において、グループとして、AとBグループの二つがいる場合、a、b、eがAグループ
、c、dがBグループ、などの情報であってよい。この場合、aとAが関連付けられてお
り、bとAが関連付けられており、eとAが関連付けられていてよく、cとBが関連付け
られており、dとBが関連付けられていてよい。ここでは、AとBという二つのグループ
の例を示したが、かかる例はサッカー、野球など二つのチームが競うゲームの場合の例が
挙げられるがこれらに留まらず、二つに分かれて行うゲームにおいて、プレイヤになる場
合や、観客などが考えられる。また、これ以外の3つ以上のグループに分けられる場合、
3つ以上のチームで行うレースゲームなどであってもよいし、上述の二つのチームが競う
ゲームにおいて、審判や観客等であってもよい。なお、グルーピング情報は、複数の利用
者が一のグループに属してもよいし、一の利用者が一のグループに属してもよい。また、
上述では利用者として説明したが、同様に、情報源提供者であってもよい。また、利用者
のグループと、情報源提供者のグループと、があってもよいし、利用者と情報源提供者と
を混合したグループであってもよい。
源提供者をグループ分けする場合におけるグループ分けに係る情報であってよい。グルー
プ分けに係る情報は、一の利用者や一の情報提供者が、複数のグループのうちのどのグル
ープに属するかに関する情報であってよい。例えば、利用者がa乃至eの5人がいる場合
において、グループとして、AとBグループの二つがいる場合、a、b、eがAグループ
、c、dがBグループ、などの情報であってよい。この場合、aとAが関連付けられてお
り、bとAが関連付けられており、eとAが関連付けられていてよく、cとBが関連付け
られており、dとBが関連付けられていてよい。ここでは、AとBという二つのグループ
の例を示したが、かかる例はサッカー、野球など二つのチームが競うゲームの場合の例が
挙げられるがこれらに留まらず、二つに分かれて行うゲームにおいて、プレイヤになる場
合や、観客などが考えられる。また、これ以外の3つ以上のグループに分けられる場合、
3つ以上のチームで行うレースゲームなどであってもよいし、上述の二つのチームが競う
ゲームにおいて、審判や観客等であってもよい。なお、グルーピング情報は、複数の利用
者が一のグループに属してもよいし、一の利用者が一のグループに属してもよい。また、
上述では利用者として説明したが、同様に、情報源提供者であってもよい。また、利用者
のグループと、情報源提供者のグループと、があってもよいし、利用者と情報源提供者と
を混合したグループであってもよい。
以下では、説明の便宜上、演出が提供される端末又は演出が提供されない端末について
、利用者端末として説明するが、上述のグルーピングされた一又は複数の利用者端末であ
ってもよい。
、利用者端末として説明するが、上述のグルーピングされた一又は複数の利用者端末であ
ってもよい。
演出制御情報は、特定の一の利用者端末に基づく、音、コメント、及び/又は、ギフテ
ィングに係る情報について、特定の他の利用者端末に対して、提供されるか又は提供され
ないかを設定する情報を含んでよい。特定の他の利用者端末に対して提供されない設定の
場合、特定の一の利用者は、特定の他の利用者端末に係る利用者に知られずに、種々の演
出を提供できる利点があり、よりゲームの幅が広がる利点がある。
ィングに係る情報について、特定の他の利用者端末に対して、提供されるか又は提供され
ないかを設定する情報を含んでよい。特定の他の利用者端末に対して提供されない設定の
場合、特定の一の利用者は、特定の他の利用者端末に係る利用者に知られずに、種々の演
出を提供できる利点があり、よりゲームの幅が広がる利点がある。
例えば、音制御情報は、音を、提供しない利用者端末を特定する情報、又は、提供する
利用者端末を特定する情報、を含んでよい。この場合、音情報を提供しない利用者端末又
は提供する利用者端末を特定できるため、よりゲームの幅が広がる利点がある。より具体
的には、演出制御情報が音制御情報であり、提供されない音情報の対象利用者端末として
利用者端末Aを特定する情報の場合、かかる演出制御情報が設定されると、音情報が、利
用者端末Aに対して、提供されないようになってよい。
利用者端末を特定する情報、を含んでよい。この場合、音情報を提供しない利用者端末又
は提供する利用者端末を特定できるため、よりゲームの幅が広がる利点がある。より具体
的には、演出制御情報が音制御情報であり、提供されない音情報の対象利用者端末として
利用者端末Aを特定する情報の場合、かかる演出制御情報が設定されると、音情報が、利
用者端末Aに対して、提供されないようになってよい。
また、音制御情報は、音の情報源たる情報源端末を特定する情報を含んでよい。この場
合、提供される音又は提供されない音について、情報源端末に応じて、設定できる利点が
ある。より具体的には、演出制御情報が音制御情報であり、提供されない音情報の対象利
用者端末として利用者端末Aを特定する情報であり、提供されない音の情報源端末が情報
源端末Xである場合、かかる演出制御情報が設定されると、情報源端末Yから取得された
音情報は、利用者端末Aに対して、提供されるが、情報源端末Xから取得された音情報は
、利用者端末Aに対して、提供されないようになってよい。
合、提供される音又は提供されない音について、情報源端末に応じて、設定できる利点が
ある。より具体的には、演出制御情報が音制御情報であり、提供されない音情報の対象利
用者端末として利用者端末Aを特定する情報であり、提供されない音の情報源端末が情報
源端末Xである場合、かかる演出制御情報が設定されると、情報源端末Yから取得された
音情報は、利用者端末Aに対して、提供されるが、情報源端末Xから取得された音情報は
、利用者端末Aに対して、提供されないようになってよい。
同様に、上述の音制御情報に代えて、コメント制御情報、ギフティング制御情報も、対
応する情報を含んでよく、各々対応する情報処理が実行されてよい。
応する情報を含んでよく、各々対応する情報処理が実行されてよい。
このように、特定の一又は複数の情報源端末に基づく所定の設定がされたギフティング
に係る情報、音、及び/又はコメントは、他の特定の一又は複数の利用者端末に向けて提
供されないものであってよい。また、所定の設定は、一の利用者端末に基づく制御情報に
よって、設定されてよい。
に係る情報、音、及び/又はコメントは、他の特定の一又は複数の利用者端末に向けて提
供されないものであってよい。また、所定の設定は、一の利用者端末に基づく制御情報に
よって、設定されてよい。
また、上述の演出制御情報は、グルーピング情報と関連付ける情報を含んでよい。演出
制御情報が、提供される又は提供されない利用者端末に係るグルーピング情報と関連付け
る情報を含み、演出制御情報が、かかるグルーピング情報と関連付けられる場合、音、コ
メント、及び/又は、ギフティングに係る情報について、提供されるか又は提供されない
かが設定される利用者端末を、グループで特定できる利点がある。また、同様に、演出制
御情報が、情報源たる情報源端末に係るグルーピング情報と関連付ける情報を含み、演出
制御情報が、かかるグルーピング情報と関連付けられる場合、音、コメント、及び/又は
、ギフティングに係る情報について、情報源たる情報源端末を、グループで特定できる利
点がある。
制御情報が、提供される又は提供されない利用者端末に係るグルーピング情報と関連付け
る情報を含み、演出制御情報が、かかるグルーピング情報と関連付けられる場合、音、コ
メント、及び/又は、ギフティングに係る情報について、提供されるか又は提供されない
かが設定される利用者端末を、グループで特定できる利点がある。また、同様に、演出制
御情報が、情報源たる情報源端末に係るグルーピング情報と関連付ける情報を含み、演出
制御情報が、かかるグルーピング情報と関連付けられる場合、音、コメント、及び/又は
、ギフティングに係る情報について、情報源たる情報源端末を、グループで特定できる利
点がある。
例えば、演出制御情報は、音制御情報であり、提供されない音情報の対象利用者端末と
して、利用者端末A及びBのグループを特定する情報の場合、かかる演出制御情報が設定
されると、音情報が、利用者端末A及びBに対して、提供されないようになってよい。ま
た、演出制御情報は、音制御情報であり、提供されない音情報の対象利用者端末として、
利用者端末A及びBのグループを特定する情報であり、また、かかる提供されない音の情
報源端末が情報源端末Xである場合、かかる演出制御情報が設定されると、情報源端末Y
から取得された音情報は、利用者端末A及びBに対して、提供されるが、情報源端末Xか
ら取得された音情報は、利用者端末A及びBに対して、提供されないようになってよい。
して、利用者端末A及びBのグループを特定する情報の場合、かかる演出制御情報が設定
されると、音情報が、利用者端末A及びBに対して、提供されないようになってよい。ま
た、演出制御情報は、音制御情報であり、提供されない音情報の対象利用者端末として、
利用者端末A及びBのグループを特定する情報であり、また、かかる提供されない音の情
報源端末が情報源端末Xである場合、かかる演出制御情報が設定されると、情報源端末Y
から取得された音情報は、利用者端末A及びBに対して、提供されるが、情報源端末Xか
ら取得された音情報は、利用者端末A及びBに対して、提供されないようになってよい。
同様に、上述の音制御情報に代えて、コメント制御情報、ギフティング制御情報も、対
応する情報を含み、各々対応する情報処理が実行されてよい。
応する情報を含み、各々対応する情報処理が実行されてよい。
また、上述の演出制御情報は、演出をする情報源端末の指定に基づいて設定されてもよ
いし、演出が提供される利用者端末の指定に基づいて設定されてもよい。前者は、例えば
、Xが行うギフティングに係る情報を、利用者Yに係る端末に対して提供しない、という
演出制御情報を、ギフティングを行うXに係る情報源端末から、取得する構成である。こ
の場合、上述のように、情報源提供者Xは、利用者Yに知られずに、ギフティングできる
利点がある。
いし、演出が提供される利用者端末の指定に基づいて設定されてもよい。前者は、例えば
、Xが行うギフティングに係る情報を、利用者Yに係る端末に対して提供しない、という
演出制御情報を、ギフティングを行うXに係る情報源端末から、取得する構成である。こ
の場合、上述のように、情報源提供者Xは、利用者Yに知られずに、ギフティングできる
利点がある。
また、後者は、例えば、情報源提供者Xに基づく音を、利用者Yに係る利用者端末に対
して、提供しない、という演出制御情報を、利用者Yに係る利用者端末から、取得する構
成である。この場合、利用者Yは、情報源提供者Xからの音を聞かなくなるため、例えば
、利用者Yが興味を有していない情報源提供者Xからの音を無視したい場合などに、使用
出来る利点がある。
して、提供しない、という演出制御情報を、利用者Yに係る利用者端末から、取得する構
成である。この場合、利用者Yは、情報源提供者Xからの音を聞かなくなるため、例えば
、利用者Yが興味を有していない情報源提供者Xからの音を無視したい場合などに、使用
出来る利点がある。
また、制御情報管理部43は、上述の演出される場合における演出の程度を決定する情
報を記憶してよい。例えば、程度としては、演出が音であれば、音の音量を記憶してよく
、演出がコメントであれば、コメントのテキストに係るフォントの大きさ、色、書体、コ
メントの表示位置などが設定記憶されてよく、演出がギフティングに係る情報であれば、
ギフティング時の演出の手法が記憶されてよい。
報を記憶してよい。例えば、程度としては、演出が音であれば、音の音量を記憶してよく
、演出がコメントであれば、コメントのテキストに係るフォントの大きさ、色、書体、コ
メントの表示位置などが設定記憶されてよく、演出がギフティングに係る情報であれば、
ギフティング時の演出の手法が記憶されてよい。
また、制御情報管理部43は、上述の演出の程度に関する情報を、音、コメント、ギフ
ティングの各々について、一又は複数有してよい。また、制御情報管理部43が、音、コ
メント、ギフティングの各々について、複数の演出の程度に関する情報を有する場合、制
御情報管理部43は、それらの演出をする場合における各演出の程度を、所定の条件に基
づいて、決定して、提供してよい。
ティングの各々について、一又は複数有してよい。また、制御情報管理部43が、音、コ
メント、ギフティングの各々について、複数の演出の程度に関する情報を有する場合、制
御情報管理部43は、それらの演出をする場合における各演出の程度を、所定の条件に基
づいて、決定して、提供してよい。
例えば、各演出の程度を決定する所定の条件は、視聴時間、ゲーム空間内の情報源提供
者及び利用者の位置、価値物の支払の有無、価値物の量、またはこれらの組み合わせであ
ってよい。これらは、「利用者属性」ということもある。
者及び利用者の位置、価値物の支払の有無、価値物の量、またはこれらの組み合わせであ
ってよい。これらは、「利用者属性」ということもある。
視聴時間は、演出に係る情報源提供者が、対象とするアプリケーションを視聴している
時間の長さであってよい。かかる視聴時間は、対象とするアプリケーションの利用をはじ
めて開始した開始時から視聴した合計時間であってもよいし、対象とするアプリケーショ
ンにログアウトした場合において再ログインした時点からの視聴した合計時間であっても
よい。前者の場合は、かかるアプリケーションに対する合計時間を元に演出が決定される
利点があり、後者の場合は、ログインしてからの合計時間を元に演出が決定される利点が
ある。なお、視聴時間は、演出を視聴する側の利用者が、上述と同様に、対象とするアプ
リケーションを視聴している時間の長さであってもよい。
時間の長さであってよい。かかる視聴時間は、対象とするアプリケーションの利用をはじ
めて開始した開始時から視聴した合計時間であってもよいし、対象とするアプリケーショ
ンにログアウトした場合において再ログインした時点からの視聴した合計時間であっても
よい。前者の場合は、かかるアプリケーションに対する合計時間を元に演出が決定される
利点があり、後者の場合は、ログインしてからの合計時間を元に演出が決定される利点が
ある。なお、視聴時間は、演出を視聴する側の利用者が、上述と同様に、対象とするアプ
リケーションを視聴している時間の長さであってもよい。
また、各演出の程度が、視聴時間に基づく場合、一の利用者が、対象とするアプリケー
ションを視聴している時間の長さに依存してよい。例えば、演出が声援である場合におい
て、利用者Aが5時間視聴しており、利用者Bが20時間視聴している場合、利用者Bの
声援の音量は、利用者Aの声援の音量よりも、大きなものに設定されてよい。また、演出
がコメントである場合において、同様に、利用者Aが10時間視聴しており、利用者Bが
100時間視聴している場合、利用者Bのコメントのフォントの大きさは、利用者Aのコ
メントのフォントの大きさよりも、大きなものに設定されてよい。また、演出がギフティ
ングである場合において、同様に、利用者Aが20時間視聴しており、利用者Bが200
時間視聴している場合、利用者Bのギフティングの演出の華やかさは、利用者Aのギフテ
ィングの演出の華やかさよりも、凝ったもの(例えば、利用者Bのギフティング時の表示
よりも利用者Aのギフティング時の表示は、更に多くの表示がされるなど)に設定されて
よい。
ションを視聴している時間の長さに依存してよい。例えば、演出が声援である場合におい
て、利用者Aが5時間視聴しており、利用者Bが20時間視聴している場合、利用者Bの
声援の音量は、利用者Aの声援の音量よりも、大きなものに設定されてよい。また、演出
がコメントである場合において、同様に、利用者Aが10時間視聴しており、利用者Bが
100時間視聴している場合、利用者Bのコメントのフォントの大きさは、利用者Aのコ
メントのフォントの大きさよりも、大きなものに設定されてよい。また、演出がギフティ
ングである場合において、同様に、利用者Aが20時間視聴しており、利用者Bが200
時間視聴している場合、利用者Bのギフティングの演出の華やかさは、利用者Aのギフテ
ィングの演出の華やかさよりも、凝ったもの(例えば、利用者Bのギフティング時の表示
よりも利用者Aのギフティング時の表示は、更に多くの表示がされるなど)に設定されて
よい。
また、各演出の程度は、音、コメント、ギフティングなどの演出される行為を行う情報
源提供者がゲーム空間内にいる位置(本願書類において、かかる位置を「情報源位置」と
いうこともある)と、かかる演出を視聴する利用者がゲーム空間内にいる位置(本願書類
において、かかる位置を「視聴位置」ということもある。)と、の関係に依存してもよい
。かかる関係は、情報源位置と視聴位置との距離であってもよいし、情報源位置と視聴位
置との間の遮蔽物の有無や遮蔽物の遮蔽の程度によってもよい。
源提供者がゲーム空間内にいる位置(本願書類において、かかる位置を「情報源位置」と
いうこともある)と、かかる演出を視聴する利用者がゲーム空間内にいる位置(本願書類
において、かかる位置を「視聴位置」ということもある。)と、の関係に依存してもよい
。かかる関係は、情報源位置と視聴位置との距離であってもよいし、情報源位置と視聴位
置との間の遮蔽物の有無や遮蔽物の遮蔽の程度によってもよい。
例えば、演出が声援である場合において、声援を発する情報源提供者Xに係る情報源位
置と、声援を聞く利用者Aに係る視聴位置との距離が第1の距離であり、かかる情報源提
供者Xに係る情報源位置と、声援を聞く利用者Bに係る視聴位置との距離が第2の距離で
あり、第1の距離より第2の距離が長い場合、利用者Bに係る利用者端末において設定さ
れる声援の音量は、利用者Aに係る利用者端末において設定される声援の音量よりも、大
きなものに設定されてよい。
置と、声援を聞く利用者Aに係る視聴位置との距離が第1の距離であり、かかる情報源提
供者Xに係る情報源位置と、声援を聞く利用者Bに係る視聴位置との距離が第2の距離で
あり、第1の距離より第2の距離が長い場合、利用者Bに係る利用者端末において設定さ
れる声援の音量は、利用者Aに係る利用者端末において設定される声援の音量よりも、大
きなものに設定されてよい。
同様に、演出が声援である場合において、声援を発する情報源提供者Xに係る情報源位
置と、声援を聞く利用者Aに係る視聴位置との距離が第1の距離であり、声援を発する情
報源提供者Yに係る情報源位置と、声援を聞く利用者Aに係る視聴位置との距離が第2の
距離であり、第1の距離より第2の距離が長い場合、利用者Aに係る利用者端末において
、情報源提供者Xからの声援として設定される声援の音量は、情報源提供者Yからの声援
として設定される声援の音量よりも、大きなものに設定されてよい。
置と、声援を聞く利用者Aに係る視聴位置との距離が第1の距離であり、声援を発する情
報源提供者Yに係る情報源位置と、声援を聞く利用者Aに係る視聴位置との距離が第2の
距離であり、第1の距離より第2の距離が長い場合、利用者Aに係る利用者端末において
、情報源提供者Xからの声援として設定される声援の音量は、情報源提供者Yからの声援
として設定される声援の音量よりも、大きなものに設定されてよい。
また、上述の演出が声援である場合において、かかる音量は、情報源位置と視聴位置と
の距離の長さに応じて、声援の音量の程度が決定されてよい。例えば、情報源位置と視聴
位置との距離が2倍になった場合、声援の音量の程度は、2倍の定数を用いた演算によっ
て算出されるものであってよい。
の距離の長さに応じて、声援の音量の程度が決定されてよい。例えば、情報源位置と視聴
位置との距離が2倍になった場合、声援の音量の程度は、2倍の定数を用いた演算によっ
て算出されるものであってよい。
また、演出がコメントである場合においても、上述と同様に、情報源位置と視聴位置と
の関係に応じて、視聴位置に係る視聴端末において、かかるコメントのフォントが設定さ
れてよい。
の関係に応じて、視聴位置に係る視聴端末において、かかるコメントのフォントが設定さ
れてよい。
また、同様にギフティングにおいても、情報源位置と視聴位置との関係に応じて、視聴
位置に係る視聴端末において、ギフティングの演出の華やかさが設定されてよい。演出の
華やかさには、例えば、予め演出の華やかさの程度について複数のものが定められており
、かかる複数のもののうち、一の演出の華やかさの程度が設定されるものであってもよい
。
位置に係る視聴端末において、ギフティングの演出の華やかさが設定されてよい。演出の
華やかさには、例えば、予め演出の華やかさの程度について複数のものが定められており
、かかる複数のもののうち、一の演出の華やかさの程度が設定されるものであってもよい
。
また、各演出の程度は、価値物の支払の有無、価値物の支払量などに応じてよい。価値
物は、上述のとおり、ゲーム空間内で価値があるとされるものであればよい。価値がある
とは、保持することにメリットがあるものであればよく、アイテム、ゲーム内、また、ゲ
ーム空間内における点数などであってよい。
物は、上述のとおり、ゲーム空間内で価値があるとされるものであればよい。価値がある
とは、保持することにメリットがあるものであればよく、アイテム、ゲーム内、また、ゲ
ーム空間内における点数などであってよい。
例えば、利用者が所定の価値物を支払うことにより、音、コメント、ギフティングにつ
いて、演出の程度を高めることができてよい。この場合、演出制御情報は、音、コメント
、ギフティング等の特定の演出を示す情報と、一の利用者端末を示す情報と、所定の価値
物を支払うことを意図する情報と、を含んでよい。かかる情報により、前記一の利用者端
末に基づく、前記特定の演出について、所定の価値を支払うことにより、演出の程度を高
めることを、制御情報管理部43は取得することができ、かかる演出制御情報に基づいて
設定してよい。
いて、演出の程度を高めることができてよい。この場合、演出制御情報は、音、コメント
、ギフティング等の特定の演出を示す情報と、一の利用者端末を示す情報と、所定の価値
物を支払うことを意図する情報と、を含んでよい。かかる情報により、前記一の利用者端
末に基づく、前記特定の演出について、所定の価値を支払うことにより、演出の程度を高
めることを、制御情報管理部43は取得することができ、かかる演出制御情報に基づいて
設定してよい。
また、同様に、演出制御情報は、音、コメント、ギフティング等の特定の演出を示す情
報と、一の利用者端末を示す情報と、所定の価値物を支払うことを意図する情報と、支払
われる価値物の量と、を含んでよい。かかる情報により、前記一の利用者端末に基づく、
前記特定の演出について、前記価値物の量についての所定の価値を支払うことにより、演
出の程度を高めることを、制御情報管理部43は取得することができ、かかる演出制御情
報に基づいて設定してよい。
報と、一の利用者端末を示す情報と、所定の価値物を支払うことを意図する情報と、支払
われる価値物の量と、を含んでよい。かかる情報により、前記一の利用者端末に基づく、
前記特定の演出について、前記価値物の量についての所定の価値を支払うことにより、演
出の程度を高めることを、制御情報管理部43は取得することができ、かかる演出制御情
報に基づいて設定してよい。
なお、演出制御情報は、上述のとおり、演出の種類、例えば、音、コメント、ギフティ
ング、という種類毎に設定されてもよいし、演出全体について、設定されてもよい。後者
の場合、各演出を一つの設定として扱えるため、設定が容易である利点がある。
ング、という種類毎に設定されてもよいし、演出全体について、設定されてもよい。後者
の場合、各演出を一つの設定として扱えるため、設定が容易である利点がある。
このように、一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメント
が提供される、ものであってよい。一の利用者端末と関連付けられる利用者属性に応じた
程度で、音声又はコメントが提供される、ものであってよく、前記利用者属性は、視聴期
間を含んでよく、前記利用者属性は、ゲーム空間内における場所を含んでよく、前記利用
者属性は、価値物の提供の有無及び/又は提供の程度を含んでよい。
が提供される、ものであってよい。一の利用者端末と関連付けられる利用者属性に応じた
程度で、音声又はコメントが提供される、ものであってよく、前記利用者属性は、視聴期
間を含んでよく、前記利用者属性は、ゲーム空間内における場所を含んでよく、前記利用
者属性は、価値物の提供の有無及び/又は提供の程度を含んでよい。
また、演出制御情報は、一の利用者端末における演出を、他の利用者端末における演出
と、異なるものとするよう設定する内容を含んでもよい。演出が異なる例としては、ギフ
ティングの対象を他の利用者端末におけるものの大きさよりも大きくして一の利用者端末
上で表示したり、演出として発生される音を他の利用者端末におけるものの音の大きさよ
りも大きくして発生させたりしてよい。この場合、一の利用者端末が、他の利用者端末よ
りも、演算機能及び/又は記憶機能が高い場合のみ、かかる異なるものとするよう設定さ
れてもよい。この場合、演出制御情報として、利用者端末から情報を取得していない場合
においても、利用者端末の演算機能及び/又は記憶機能が所定の値よりも高い場合に、か
かる異なる演出とする設定であってもよい。また、この場合、かかる利用者端末の演算機
能及び/又は記憶機能の情報は、システムが、利用者端末から予め取得し、かかる情報に
基づいて、異なる演出の情報を、かかる利用者端末に提供するよう構成されてよい。すな
わち、一の利用者端末において提供される一の前記合成データに基づく演出は、他の利用
者端末において提供される前記一の前記合成データに基づく演出と異なる、ものであって
よい。
と、異なるものとするよう設定する内容を含んでもよい。演出が異なる例としては、ギフ
ティングの対象を他の利用者端末におけるものの大きさよりも大きくして一の利用者端末
上で表示したり、演出として発生される音を他の利用者端末におけるものの音の大きさよ
りも大きくして発生させたりしてよい。この場合、一の利用者端末が、他の利用者端末よ
りも、演算機能及び/又は記憶機能が高い場合のみ、かかる異なるものとするよう設定さ
れてもよい。この場合、演出制御情報として、利用者端末から情報を取得していない場合
においても、利用者端末の演算機能及び/又は記憶機能が所定の値よりも高い場合に、か
かる異なる演出とする設定であってもよい。また、この場合、かかる利用者端末の演算機
能及び/又は記憶機能の情報は、システムが、利用者端末から予め取得し、かかる情報に
基づいて、異なる演出の情報を、かかる利用者端末に提供するよう構成されてよい。すな
わち、一の利用者端末において提供される一の前記合成データに基づく演出は、他の利用
者端末において提供される前記一の前記合成データに基づく演出と異なる、ものであって
よい。
3-4.提供部44
提供部44は、合成部42で生成されたものを、提供する機能を有する。また、提供部
44は、合成部42で生成されたもの、又は、合成部42で生成されずに取得部41で取
得されたもの、を制御情報管理部43内の情報に基づいて、提供してもよい。
提供部44は、合成部42で生成されたものを、提供する機能を有する。また、提供部
44は、合成部42で生成されたもの、又は、合成部42で生成されずに取得部41で取
得されたもの、を制御情報管理部43内の情報に基づいて、提供してもよい。
提供は、合成する処理を実行する情報処理装置と直接接続された表示装置で表示及び/
又は提供する態様であってもよいし、合成する処理を実行する情報処理装置と直接接続さ
れていない表示装置で表示及び/又は提供する態様であってもよい。前者は、合成部42
を備える情報処理装置において、合成された情報を提供する態様であってよく、後者は、
合成部42を備える情報処理装置とは異なる情報処理装置において、合成された情報を提
供する態様であってよい。
又は提供する態様であってもよいし、合成する処理を実行する情報処理装置と直接接続さ
れていない表示装置で表示及び/又は提供する態様であってもよい。前者は、合成部42
を備える情報処理装置において、合成された情報を提供する態様であってよく、後者は、
合成部42を備える情報処理装置とは異なる情報処理装置において、合成された情報を提
供する態様であってよい。
4.実施形態に係る情報処理の流れ
4-1.実施形態1
次に、本願発明の一態様である実施形態1に係る情報処理の流れを、図13を用いて説
明する。実施形態1で説明する形態に係るシステムにおいては、第1情報源端末に係る第
1情報源提供者が第1のアバターとなり、第2情報源端末に係る第2情報源提供者が第2
のアバターとなり、第3情報源端末からゲーム映像が送られ、視聴者は、これらが合成さ
れたものを視聴する状況を対象とする。
4-1.実施形態1
次に、本願発明の一態様である実施形態1に係る情報処理の流れを、図13を用いて説
明する。実施形態1で説明する形態に係るシステムにおいては、第1情報源端末に係る第
1情報源提供者が第1のアバターとなり、第2情報源端末に係る第2情報源提供者が第2
のアバターとなり、第3情報源端末からゲーム映像が送られ、視聴者は、これらが合成さ
れたものを視聴する状況を対象とする。
ステップ1
一例のシステムは、第1情報源端末から、第1データタイプとして、第1のアバターに
係る第1のモーションを含む第1ストリームを取得する(ステップ001)。ここで、一
例のシステムは、かかる第1のアバターについての具体的なキャラクターに関する映像の
情報を有してよい。
一例のシステムは、第1情報源端末から、第1データタイプとして、第1のアバターに
係る第1のモーションを含む第1ストリームを取得する(ステップ001)。ここで、一
例のシステムは、かかる第1のアバターについての具体的なキャラクターに関する映像の
情報を有してよい。
ステップ2
一例のシステムは、第2情報源端末から、第1データタイプとして、第2のアバターに
係る第2のモーションを含む第2ストリームを取得する(ステップ002)。ここで、一
例のシステムは、同様に、かかる第2のアバターについての具体的なキャラクターに関す
る映像の情報を有してよい。
一例のシステムは、第2情報源端末から、第1データタイプとして、第2のアバターに
係る第2のモーションを含む第2ストリームを取得する(ステップ002)。ここで、一
例のシステムは、同様に、かかる第2のアバターについての具体的なキャラクターに関す
る映像の情報を有してよい。
ステップ3
一例のシステムは、第3情報源端末から、第2データタイプとして、背景となるゲーム
映像を含む第3ストリームを取得する(ステップ003)。
一例のシステムは、第3情報源端末から、第2データタイプとして、背景となるゲーム
映像を含む第3ストリームを取得する(ステップ003)。
ステップ4
一例のシステムは、第1ストリームと、第2ストリームと、第3ストリームと、を合成
する(ステップ004)。このとき、第1ストリームは、一例のシステム内に格納されて
いる第1のアバターを構成するものと、第1ストリーム内の第1のアバターに係るモーシ
ョンとを合成して、動きのある第1のアバターとした上で、他のストリームと合成されて
よい。同様に、第2ストリームは、一例のシステム内に格納されている第2のアバターを
構成するものと、第2ストリーム内の第2のアバターに係るモーションとを合成して、動
きのある第2のアバターとした上で、他のストリームと合成されてよい。また、これらの
合成の順序は、どのような順序であってもよい。
一例のシステムは、第1ストリームと、第2ストリームと、第3ストリームと、を合成
する(ステップ004)。このとき、第1ストリームは、一例のシステム内に格納されて
いる第1のアバターを構成するものと、第1ストリーム内の第1のアバターに係るモーシ
ョンとを合成して、動きのある第1のアバターとした上で、他のストリームと合成されて
よい。同様に、第2ストリームは、一例のシステム内に格納されている第2のアバターを
構成するものと、第2ストリーム内の第2のアバターに係るモーションとを合成して、動
きのある第2のアバターとした上で、他のストリームと合成されてよい。また、これらの
合成の順序は、どのような順序であってもよい。
ステップ5
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する(ステップ
005)。
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する(ステップ
005)。
4-2.実施形態2
次に、本願発明の一態様である実施形態2に係る情報処理の流れを、図14を用いて説
明する。実施形態2で説明する形態に係るシステムにおいては、第1情報源提供者が第1
のアバターとなり、第1情報源端末は、かかる第1情報源提供者に係るモーションとゲー
ム映像を取得し、視聴者は、これらが合成されたものを視聴する状況を対象とする。なお
、一例のシステムは、ゲーム映像とかかる第1情報源提供者の場所的関係は、中間生成情
報としての奥行情報を取得する。
次に、本願発明の一態様である実施形態2に係る情報処理の流れを、図14を用いて説
明する。実施形態2で説明する形態に係るシステムにおいては、第1情報源提供者が第1
のアバターとなり、第1情報源端末は、かかる第1情報源提供者に係るモーションとゲー
ム映像を取得し、視聴者は、これらが合成されたものを視聴する状況を対象とする。なお
、一例のシステムは、ゲーム映像とかかる第1情報源提供者の場所的関係は、中間生成情
報としての奥行情報を取得する。
ステップ1
第1情報源提供者が第1のアバターとして動いている状況を、第1情報源端末は、第1
のアバターのモーションとして、取得する(ステップ001)。第1情報源端末は、第1
情報源提供者の動きとしてのモーションは、第1情報源提供者の身体に備えられたセンサ
ーを通して取得してもよいし、第1情報源提供者の動きを撮像した撮像装置を分析によっ
て取得してもよい。
第1情報源提供者が第1のアバターとして動いている状況を、第1情報源端末は、第1
のアバターのモーションとして、取得する(ステップ001)。第1情報源端末は、第1
情報源提供者の動きとしてのモーションは、第1情報源提供者の身体に備えられたセンサ
ーを通して取得してもよいし、第1情報源提供者の動きを撮像した撮像装置を分析によっ
て取得してもよい。
ステップ2
一例のシステムは、第1情報源端末から、第1データタイプとして、第1のアバターに
係る第1のモーションを含む第1ストリームを取得する(ステップ002)。なお、一例
のシステムは、かかる第1のアバターについての具体的なキャラクターに関する映像の情
報を有してよい。
一例のシステムは、第1情報源端末から、第1データタイプとして、第1のアバターに
係る第1のモーションを含む第1ストリームを取得する(ステップ002)。なお、一例
のシステムは、かかる第1のアバターについての具体的なキャラクターに関する映像の情
報を有してよい。
ステップ3
一例のシステムは、第1情報源端末から、第2データタイプとして、ゲーム映像を含む
第2ストリームを取得する(ステップ003)。なお、第1情報源提供者は、ゲーム映像
を前にして、例えば、ゲームの実況中継を行う状況が考えられる。
一例のシステムは、第1情報源端末から、第2データタイプとして、ゲーム映像を含む
第2ストリームを取得する(ステップ003)。なお、第1情報源提供者は、ゲーム映像
を前にして、例えば、ゲームの実況中継を行う状況が考えられる。
ステップ4
一例のシステムは、第1情報源端末から、第1データタイプとして、上述のゲーム映像
と第1アバターの場所的関係である奥行情報を含む第3ストリームを、取得する(ステッ
プ004)。ここで、奥行情報は、第1アバターの奥行情報と、ゲーム映像の奥行情報と
、のセットであってもよいし、ゲーム映像の奥行情報と第1アバターの奥行情報の差分情
報であってもよい。また後者の場合、どちらが前面であるかを示す情報も追加されていて
よい。
一例のシステムは、第1情報源端末から、第1データタイプとして、上述のゲーム映像
と第1アバターの場所的関係である奥行情報を含む第3ストリームを、取得する(ステッ
プ004)。ここで、奥行情報は、第1アバターの奥行情報と、ゲーム映像の奥行情報と
、のセットであってもよいし、ゲーム映像の奥行情報と第1アバターの奥行情報の差分情
報であってもよい。また後者の場合、どちらが前面であるかを示す情報も追加されていて
よい。
ステップ5
一例のシステムは、第1ストリームと、第2ストリームと、を合成する(ステップ00
5)。ここで、合成部42は、第3ストリームに含まれる奥行情報を用いて、合成してよ
い。例えば、第1情報源提供者は、ゲームの実況中継中、ゲーム映像の背後に回ったり、
前面を動いたりする場合が考えられる。第1情報源提供者が演じるアバターがゲーム映像
の背後に回った場合、かかるアバターはゲーム映像で見えなくなるものであるため、合成
部42は、奥行情報を用いて、第3ストリームに含まれる奥行情報を用いて、上述のよう
な見えなくなるものについては、第1ストリームと、第2ストリームとを、合成しないも
のとしてよい。この場合、合成処理の負担が軽減できる利点がある。
一例のシステムは、第1ストリームと、第2ストリームと、を合成する(ステップ00
5)。ここで、合成部42は、第3ストリームに含まれる奥行情報を用いて、合成してよ
い。例えば、第1情報源提供者は、ゲームの実況中継中、ゲーム映像の背後に回ったり、
前面を動いたりする場合が考えられる。第1情報源提供者が演じるアバターがゲーム映像
の背後に回った場合、かかるアバターはゲーム映像で見えなくなるものであるため、合成
部42は、奥行情報を用いて、第3ストリームに含まれる奥行情報を用いて、上述のよう
な見えなくなるものについては、第1ストリームと、第2ストリームとを、合成しないも
のとしてよい。この場合、合成処理の負担が軽減できる利点がある。
ステップ6
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する(ステップ
006)。
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する(ステップ
006)。
なお、上述の構成に代えて、ステップ4において、第1情報源端末は、奥行情報を用い
て、奥側となる映像に係るものを、一例のシステムに送らないよう構成されてもよい。具
体的には、第1情報源提供者が演じるアバターがゲーム映像の背後にいて見えない者であ
る場合など、奥行情報に係る第3ストリームを用いて、第1ストリームが第2ストリーム
で隠れてしまうなど合成されないストリームであると判定した場合、第1情報源端末は、
第1ストリームを一例のシステムに送らないよう構成されてもよい。この場合、そもそも
、合成されない第1ストリームが送信されないため、第1情報源端末から合成部42を含
む一例のシステムへの通信経路の情報を減少できる利点がある。
て、奥側となる映像に係るものを、一例のシステムに送らないよう構成されてもよい。具
体的には、第1情報源提供者が演じるアバターがゲーム映像の背後にいて見えない者であ
る場合など、奥行情報に係る第3ストリームを用いて、第1ストリームが第2ストリーム
で隠れてしまうなど合成されないストリームであると判定した場合、第1情報源端末は、
第1ストリームを一例のシステムに送らないよう構成されてもよい。この場合、そもそも
、合成されない第1ストリームが送信されないため、第1情報源端末から合成部42を含
む一例のシステムへの通信経路の情報を減少できる利点がある。
4-3.実施形態3
次に、本願発明の一態様である実施形態3に係る情報処理の流れを、図15を用いて説
明する。実施形態3で説明する形態に係るシステムにおいては、第1情報源提供者が第1
のアバターを演じ、第1情報源端末は、かかる第1情報源提供者に係るモーションを取得
し、サーバにおいて、映像とかかる第1のアバターが合成されたものを、視聴者(利用者
)が視聴する状況を対象とする。また、利用者は、A、B、Cの3者がおり、各々が利用
する端末を、利用者端末A、利用者端末B、利用者端末C、とする。Aは、ギフティング
をCに公開しない設定としたうえでギフティングを行うとする。ここで、利用者端末Aは
、情報源端末であってよい。また、利用者端末Aの視点は、その視点を利用者端末Bのも
のに変更するものとする。
次に、本願発明の一態様である実施形態3に係る情報処理の流れを、図15を用いて説
明する。実施形態3で説明する形態に係るシステムにおいては、第1情報源提供者が第1
のアバターを演じ、第1情報源端末は、かかる第1情報源提供者に係るモーションを取得
し、サーバにおいて、映像とかかる第1のアバターが合成されたものを、視聴者(利用者
)が視聴する状況を対象とする。また、利用者は、A、B、Cの3者がおり、各々が利用
する端末を、利用者端末A、利用者端末B、利用者端末C、とする。Aは、ギフティング
をCに公開しない設定としたうえでギフティングを行うとする。ここで、利用者端末Aは
、情報源端末であってよい。また、利用者端末Aの視点は、その視点を利用者端末Bのも
のに変更するものとする。
ステップ1
第1情報源提供者が第1のアバターを演じる状況について、一例のシステムは、第1情
報源端末から、第1のアバターに係るモーションを含む第1ストリームを取得し、映像と
合成する(ステップ001)。
第1情報源提供者が第1のアバターを演じる状況について、一例のシステムは、第1情
報源端末から、第1のアバターに係るモーションを含む第1ストリームを取得し、映像と
合成する(ステップ001)。
ステップ2
一例のシステムは、映像と第1のアバターに係るモーションとの合成されたものを、利
用者端末A、B、C、に各々送る(ステップ002)。
一例のシステムは、映像と第1のアバターに係るモーションとの合成されたものを、利
用者端末A、B、C、に各々送る(ステップ002)。
ステップ3
一例のシステムは、利用者端末Aのギフティングが利用者端末Cに通知されないことを
内容とするギフティング制御情報を、利用者端末Aから、取得する(ステップ003)。
かかるギフティング制御情報は、通知されないギフティングとして利用者Aに係ることが
含まれてよい。また、ギフティング制御情報は、ギフティングが通知されない相手として
、利用者端末Cを含んでもよいし、利用者端末Cを含むグループを含むものであってもよ
い。また、通知されないギフティングが、利用者端末Aに基づくギフティングであること
は、利用者端末Aから通知されたギフティング制御情報であることによって特定されても
よい。
一例のシステムは、利用者端末Aのギフティングが利用者端末Cに通知されないことを
内容とするギフティング制御情報を、利用者端末Aから、取得する(ステップ003)。
かかるギフティング制御情報は、通知されないギフティングとして利用者Aに係ることが
含まれてよい。また、ギフティング制御情報は、ギフティングが通知されない相手として
、利用者端末Cを含んでもよいし、利用者端末Cを含むグループを含むものであってもよ
い。また、通知されないギフティングが、利用者端末Aに基づくギフティングであること
は、利用者端末Aから通知されたギフティング制御情報であることによって特定されても
よい。
ステップ4
一例のシステムは、かかるギフティング制御情報を用いて、利用者端末Aのギフティン
グは、利用者端末Bに通知されないことを設定する(ステップ004)。
一例のシステムは、かかるギフティング制御情報を用いて、利用者端末Aのギフティン
グは、利用者端末Bに通知されないことを設定する(ステップ004)。
ステップ5
一例のシステムは、利用者端末Aから、ギフティングを行う旨のギフティングに係る情
報を含む第2ストリームを取得する(ステップ005)。
一例のシステムは、利用者端末Aから、ギフティングを行う旨のギフティングに係る情
報を含む第2ストリームを取得する(ステップ005)。
ステップ6
一例のシステムは、利用者端末Bに対しては、ギフティングに係る情報と、上述の合成
されたものと、を合成したものを送り、利用者端末Cに対しては、ギフティングに係る情
報が合成されていない、上述の合成されたもののみを送る(ステップ006)。
一例のシステムは、利用者端末Bに対しては、ギフティングに係る情報と、上述の合成
されたものと、を合成したものを送り、利用者端末Cに対しては、ギフティングに係る情
報が合成されていない、上述の合成されたもののみを送る(ステップ006)。
ステップ7
一例のシステムは、利用者端末Aから、利用者端末Aの視点を利用者端末Bの視点に変
更することを内容とする視点制御情報を取得する(ステップ007)。
一例のシステムは、利用者端末Aから、利用者端末Aの視点を利用者端末Bの視点に変
更することを内容とする視点制御情報を取得する(ステップ007)。
ステップ8
一例のシステムは、かかる視点制御情報に基づいて、利用者端末Aの視点を、利用者端
末Bの視点に変更する設定をする(ステップ008)。
一例のシステムは、かかる視点制御情報に基づいて、利用者端末Aの視点を、利用者端
末Bの視点に変更する設定をする(ステップ008)。
ステップ9
一例のシステムは、利用者端末Aに対し、利用者端末Bの視点の映像を提供する(ステ
ップ009)。
一例のシステムは、利用者端末Aに対し、利用者端末Bの視点の映像を提供する(ステ
ップ009)。
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又
はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一
部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータ
に実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されて
よい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一
部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータ
に実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されて
よい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明さ
れた種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用で
きることはいうまでもない。
れた種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用で
きることはいうまでもない。
1 システム
10 通信網
20(20A~20C) サーバ装置
30(30A~30C) 端末装置
21(31) 演算装置
22(32) 主記憶装置
23(33) 入出力インタフェイス
24(34) 入力装置
25(35) 補助記憶装置
26(36) 出力装置
41 取得部
42 合成部
43 制御情報管理部
44 提供部
51A、51B 情報源端末
52A、52B 利用者端末
10 通信網
20(20A~20C) サーバ装置
30(30A~30C) 端末装置
21(31) 演算装置
22(32) 主記憶装置
23(33) 入出力インタフェイス
24(34) 入力装置
25(35) 補助記憶装置
26(36) 出力装置
41 取得部
42 合成部
43 制御情報管理部
44 提供部
51A、51B 情報源端末
52A、52B 利用者端末
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。以下、当初明細書に記載のクレームを引き写す。
[1]
コンピュータプログラムであって、
プロセッサにより実行されることにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするコンピュータプログラム。
[2]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[1]に記載のコンピュータプログラム。
[3]
前記中間生成情報は、前記映像に係る奥行情報を含む、
[2]に記載のコンピュータプログラム。
[4]
前記第2データタイプの第3ストリームを取得し、
前記合成されたデータと前記第3ストリームを合成する、
[1]乃至[3]のいずれか1項に記載のコンピュータプログラム。
[5]
前記第1データタイプの第4ストリームを取得し、
前記合成されたデータと前記第4ストリームとを合成する、
[1]乃至[3]のいずれか1項に記載のコンピュータプログラム。
[6]
前記第1ストリーム及び前記第2ストリームは、各々、時間情報を含み、
前記第1ストリームに係る時間情報と、前記第2ストリームに係る時間情報と、を所定の関係に調整して、前記第1ストリームと前記第2ストリームとを合成する、
[1]乃至[5]のいずれか1項に記載のコンピュータプログラム。
[7]
前記合成を、サーバで行う、
[1]乃至[6]のいずれかに記載のコンピュータプログラム。
[8]
前記第1ストリームを、第1情報源端末から取得し、
前記第2ストリームを、第2情報源端末から取得し、
前記合成を、前記第1情報源端末又は前記第2情報源端末で行う、
[1]乃至[6]のいずれか1項に記載のコンピュータプログラム。
[9]
前記合成を、利用者端末で行い、前記合成されたデータを前記利用者端末で提供する、
[1]乃至[6]のいずれかに記載のコンピュータプログラム。
[10]
前記合成されたデータを、一又は複数の利用者端末へ向けて提供する、
[1]乃至[8]のいずれかに記載のコンピュータプログラム。
[11]
一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に係る前記ゲーム空間内の視点を変更する、
[1]乃至[10]のいずれかに記載のコンピュータプログラム。
[12]
前記一の利用者端末に係る前記ゲーム空間内の視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変更する、
[11]に記載のコンピュータプログラム。
[13]
前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更する、
[11]に記載のコンピュータプログラム。
[14]
前記予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更は、所定の価値物の提供を条件とする、
[13]に記載のコンピュータプログラム。
[15]
一の利用者端末において提供される一の前記合成されたデータに基づく演出は、他の利用者端末において提供される前記一の前記合成されたデータに基づく演出と異なる、
[1]乃至[14]のいずれかに記載のコンピュータプログラム。
[16]
前記第1データタイプは、ギフティングに係る情報を含み、
前記第2データタイプは、動画配信される映像を含み、
前記合成は、前記動画配信される映像に前記ギフティングに係る情報が反映されることを含む、
[1]乃至[15]のいずれか1項に記載のコンピュータプログラム。
[17]
特定の一又は複数の情報源端末に基づく所定の設定がされたギフティングに係る情報、音、及び/又はコメントは、他の特定の一又は複数の利用者端末に向けて提供されない、
[1]乃至[15]のいずれかに記載のコンピュータプログラム。
[18]
前記所定の設定は、一の利用者端末に基づく制御情報によって、設定される、
[17]に記載のコンピュータプログラム。
[19]
一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメントが提供される、
[1]乃至[18]のいずれかに記載のコンピュータプログラム。
[20]
一の利用者端末と関連付けられる利用者属性に応じた程度で、音声又はコメントが提供される、
[1]乃至[19]のいずれかに記載のコンピュータプログラム。
[21]
前記利用者属性は、視聴期間を含む、
[19]又は[20]のいずれかに記載のコンピュータプログラム。
[22]
前記利用者属性は、ゲーム空間内における場所を含む、
[19]乃至[21]のいずれかに記載のコンピュータプログラム。
[23]
前記利用者属性は、価値物の提供の有無及び/又は提供の程度を含む、
[19]乃至[22]のいずれかに記載のコンピュータプログラム。
[24]
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、
[1]乃至[23]のいずれかに記載のコンピュータプログラム。
[25]
前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、
[1]乃至[24]のいずれかに記載のコンピュータプログラム。
[26]
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするサーバ装置。
[27]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[26]に記載のサーバ装置。
[28]
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする端末装置。
[29]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[28]に記載の端末装置。
[30]
コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする方法。
[31]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[30]に記載の方法。
[1]
コンピュータプログラムであって、
プロセッサにより実行されることにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするコンピュータプログラム。
[2]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[1]に記載のコンピュータプログラム。
[3]
前記中間生成情報は、前記映像に係る奥行情報を含む、
[2]に記載のコンピュータプログラム。
[4]
前記第2データタイプの第3ストリームを取得し、
前記合成されたデータと前記第3ストリームを合成する、
[1]乃至[3]のいずれか1項に記載のコンピュータプログラム。
[5]
前記第1データタイプの第4ストリームを取得し、
前記合成されたデータと前記第4ストリームとを合成する、
[1]乃至[3]のいずれか1項に記載のコンピュータプログラム。
[6]
前記第1ストリーム及び前記第2ストリームは、各々、時間情報を含み、
前記第1ストリームに係る時間情報と、前記第2ストリームに係る時間情報と、を所定の関係に調整して、前記第1ストリームと前記第2ストリームとを合成する、
[1]乃至[5]のいずれか1項に記載のコンピュータプログラム。
[7]
前記合成を、サーバで行う、
[1]乃至[6]のいずれかに記載のコンピュータプログラム。
[8]
前記第1ストリームを、第1情報源端末から取得し、
前記第2ストリームを、第2情報源端末から取得し、
前記合成を、前記第1情報源端末又は前記第2情報源端末で行う、
[1]乃至[6]のいずれか1項に記載のコンピュータプログラム。
[9]
前記合成を、利用者端末で行い、前記合成されたデータを前記利用者端末で提供する、
[1]乃至[6]のいずれかに記載のコンピュータプログラム。
[10]
前記合成されたデータを、一又は複数の利用者端末へ向けて提供する、
[1]乃至[8]のいずれかに記載のコンピュータプログラム。
[11]
一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に係る前記ゲーム空間内の視点を変更する、
[1]乃至[10]のいずれかに記載のコンピュータプログラム。
[12]
前記一の利用者端末に係る前記ゲーム空間内の視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変更する、
[11]に記載のコンピュータプログラム。
[13]
前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更する、
[11]に記載のコンピュータプログラム。
[14]
前記予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更は、所定の価値物の提供を条件とする、
[13]に記載のコンピュータプログラム。
[15]
一の利用者端末において提供される一の前記合成されたデータに基づく演出は、他の利用者端末において提供される前記一の前記合成されたデータに基づく演出と異なる、
[1]乃至[14]のいずれかに記載のコンピュータプログラム。
[16]
前記第1データタイプは、ギフティングに係る情報を含み、
前記第2データタイプは、動画配信される映像を含み、
前記合成は、前記動画配信される映像に前記ギフティングに係る情報が反映されることを含む、
[1]乃至[15]のいずれか1項に記載のコンピュータプログラム。
[17]
特定の一又は複数の情報源端末に基づく所定の設定がされたギフティングに係る情報、音、及び/又はコメントは、他の特定の一又は複数の利用者端末に向けて提供されない、
[1]乃至[15]のいずれかに記載のコンピュータプログラム。
[18]
前記所定の設定は、一の利用者端末に基づく制御情報によって、設定される、
[17]に記載のコンピュータプログラム。
[19]
一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメントが提供される、
[1]乃至[18]のいずれかに記載のコンピュータプログラム。
[20]
一の利用者端末と関連付けられる利用者属性に応じた程度で、音声又はコメントが提供される、
[1]乃至[19]のいずれかに記載のコンピュータプログラム。
[21]
前記利用者属性は、視聴期間を含む、
[19]又は[20]のいずれかに記載のコンピュータプログラム。
[22]
前記利用者属性は、ゲーム空間内における場所を含む、
[19]乃至[21]のいずれかに記載のコンピュータプログラム。
[23]
前記利用者属性は、価値物の提供の有無及び/又は提供の程度を含む、
[19]乃至[22]のいずれかに記載のコンピュータプログラム。
[24]
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、
[1]乃至[23]のいずれかに記載のコンピュータプログラム。
[25]
前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、
[1]乃至[24]のいずれかに記載のコンピュータプログラム。
[26]
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするサーバ装置。
[27]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[26]に記載のサーバ装置。
[28]
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする端末装置。
[29]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[28]に記載の端末装置。
[30]
コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする方法。
[31]
前記第1データタイプは、前記映像に係る中間生成情報を含む、
[30]に記載の方法。
Claims (31)
- コンピュータプログラムであって、
プロセッサにより実行されることにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタイ
プの第1ストリームを取得し、映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするコンピュータプログラム。 - 前記第1データタイプは、前記映像に係る中間生成情報を含む、
請求項1に記載のコンピュータプログラム。 - 前記中間生成情報は、前記映像に係る奥行情報を含む、
請求項2に記載のコンピュータプログラム。 - 前記第2データタイプの第3ストリームを取得し、
前記合成されたデータと前記第3ストリームを合成する、
請求項1乃至3のいずれか1項に記載のコンピュータプログラム。 - 前記第1データタイプの第4ストリームを取得し、
前記合成されたデータと前記第4ストリームとを合成する、
請求項1乃至3のいずれか1項に記載のコンピュータプログラム。 - 前記第1ストリーム及び前記第2ストリームは、各々、時間情報を含み、
前記第1ストリームに係る時間情報と、前記第2ストリームに係る時間情報と、を所定
の関係に調整して、前記第1ストリームと前記第2ストリームとを合成する、
請求項1乃至5のいずれか1項に記載のコンピュータプログラム。 - 前記合成を、サーバで行う、
請求項1乃至6のいずれか1項に記載のコンピュータプログラム。 - 前記第1ストリームを、第1情報源端末から取得し、
前記第2ストリームを、第2情報源端末から取得し、
前記合成を、前記第1情報源端末又は前記第2情報源端末で行う、
請求項1乃至6のいずれか1項に記載のコンピュータプログラム。 - 前記合成を、利用者端末で行い、前記合成されたデータを前記利用者端末で提供する、
請求項1乃至6のいずれか1項に記載のコンピュータプログラム。 - 前記合成されたデータを、一又は複数の利用者端末へ向けて提供する、
請求項1乃至8のいずれか1項に記載のコンピュータプログラム。 - 一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に
係る前記ゲーム空間内の視点を変更する、
請求項1乃至10のいずれか1項に記載のコンピュータプログラム。 - 前記一の利用者端末に係る前記ゲーム空間内の視点を、予め定められた利用者端末のい
ずれか一の利用者に係るゲーム空間内の視点に変更する、
請求項11に記載のコンピュータプログラム。 - 前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端末以外のゲ
ーム空間上の一の場所の視点に変更する、
請求項11に記載のコンピュータプログラム。 - 前記予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更は、所定の
価値物の提供を条件とする、
請求項13に記載のコンピュータプログラム。 - 一の利用者端末において提供される一の前記合成されたデータに基づく演出は、他の利
用者端末において提供される前記一の前記合成されたデータに基づく演出と異なる、
請求項1乃至14のいずれか1項に記載のコンピュータプログラム。 - 前記第1データタイプは、ギフティングに係る情報を含み、
前記第2データタイプは、動画配信される映像を含み、
前記合成は、前記動画配信される映像に前記ギフティングに係る情報が反映されること
を含む、
請求項1乃至15のいずれか1項に記載のコンピュータプログラム。 - 特定の一又は複数の情報源端末に基づく所定の設定がされたギフティングに係る情報、
音、及び/又はコメントは、他の特定の一又は複数の利用者端末に向けて提供されない、
請求項1乃至15のいずれか1項に記載のコンピュータプログラム。 - 前記所定の設定は、一の利用者端末に基づく制御情報によって、設定される、
請求項17に記載のコンピュータプログラム。 - 一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメントが提供される
、
請求項1乃至18のいずれか1項に記載のコンピュータプログラム。 - 一の利用者端末と関連付けられる利用者属性に応じた程度で、音声又はコメントが提供
される、
請求項1乃至19のいずれか1項に記載のコンピュータプログラム。 - 前記利用者属性は、視聴期間を含む、
請求項19又は20のいずれか1項に記載のコンピュータプログラム。 - 前記利用者属性は、ゲーム空間内における場所を含む、
請求項19乃至21のいずれか1項に記載のコンピュータプログラム。 - 前記利用者属性は、価値物の提供の有無及び/又は提供の程度を含む、
請求項19乃至22のいずれか1項に記載のコンピュータプログラム。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックス
プロセッシングユニット(GPU)である、
請求項1乃至23のいずれか1項に記載のコンピュータプログラム。 - 前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュー
タに搭載される、
請求項1乃至24のいずれか1項に記載のコンピュータプログラム。 - プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタ
イプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするサーバ装置。 - 前記第1データタイプは、前記映像に係る中間生成情報を含む、
請求項26に記載のサーバ装置。 - プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタ
イプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする端末装置。 - 前記第1データタイプは、前記映像に係る中間生成情報を含む、
請求項28に記載の端末装置。 - コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法で
あって、
前記プロセッサが、前記命令を実行することにより、
モーション、音、コメント、及び/又は、ギフティングに係る情報を含む第1データタ
イプの第1ストリームを取得し、
映像を含む第2データタイプの第2ストリームを取得し、
前記第1ストリームに係るデータと前記第2ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする方法。 - 前記第1データタイプは、前記映像に係る中間生成情報を含む、
請求項30に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023148974A JP2023169282A (ja) | 2019-09-27 | 2023-09-14 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177503A JP7360112B2 (ja) | 2019-09-27 | 2019-09-27 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
JP2023148974A JP2023169282A (ja) | 2019-09-27 | 2023-09-14 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177503A Division JP7360112B2 (ja) | 2019-09-27 | 2019-09-27 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023169282A true JP2023169282A (ja) | 2023-11-29 |
Family
ID=75162705
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177503A Active JP7360112B2 (ja) | 2019-09-27 | 2019-09-27 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
JP2023148974A Pending JP2023169282A (ja) | 2019-09-27 | 2023-09-14 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177503A Active JP7360112B2 (ja) | 2019-09-27 | 2019-09-27 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11930228B2 (ja) |
JP (2) | JP7360112B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114501041B (zh) * | 2021-04-06 | 2023-07-14 | 抖音视界有限公司 | 特效显示方法、装置、设备及存储介质 |
JP2022182615A (ja) * | 2021-05-28 | 2022-12-08 | 株式会社コナミデジタルエンタテインメント | 制御システム、情報システム、情報処理方法およびプログラム |
JP7489644B2 (ja) | 2022-06-28 | 2024-05-24 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
WO2004039068A1 (ja) * | 2002-10-23 | 2004-05-06 | Matsushita Electric Industrial Co., Ltd. | 画像合成携帯端末およびそれに用いられる画像合成方法 |
US8904430B2 (en) * | 2008-04-24 | 2014-12-02 | Sony Computer Entertainment America, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
JP6217682B2 (ja) * | 2015-03-27 | 2017-10-25 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
US10484439B2 (en) * | 2015-06-30 | 2019-11-19 | Amazon Technologies, Inc. | Spectating data service for a spectating system |
WO2017134706A1 (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 映像表示方法及び映像表示装置 |
CN106385587B (zh) * | 2016-09-14 | 2019-08-02 | 三星电子(中国)研发中心 | 分享虚拟现实视角的方法、装置及*** |
JP6853013B2 (ja) * | 2016-10-26 | 2021-03-31 | グリー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
CN106507161B (zh) * | 2016-11-29 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 视频直播方法及直播装置 |
JP6878014B2 (ja) * | 2017-01-13 | 2021-05-26 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、画像処理システム |
US10868977B2 (en) * | 2017-01-16 | 2020-12-15 | Sony Corporation | Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information |
CN110249631B (zh) * | 2017-01-31 | 2022-02-11 | 株式会社尼康 | 显示控制***及显示控制方法 |
JP2018182428A (ja) | 2017-04-06 | 2018-11-15 | 株式会社フューチャリズムワークス | 映像配信装置、映像配信システム及び映像配信方法 |
JP7148945B2 (ja) * | 2017-08-25 | 2022-10-06 | 国立大学法人電気通信大学 | ゲームプログラム、ゲーム処理方法およびゲーム装置 |
JP6527627B1 (ja) * | 2018-08-31 | 2019-06-05 | 株式会社バーチャルキャスト | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
JP6543403B1 (ja) | 2018-12-12 | 2019-07-10 | グリー株式会社 | 動画配信システム、動画配信方法及び動画配信プログラム |
US11297116B2 (en) * | 2019-12-04 | 2022-04-05 | Roblox Corporation | Hybrid streaming |
-
2019
- 2019-09-27 JP JP2019177503A patent/JP7360112B2/ja active Active
-
2020
- 2020-09-24 US US17/030,942 patent/US11930228B2/en active Active
-
2023
- 2023-09-14 JP JP2023148974A patent/JP2023169282A/ja active Pending
-
2024
- 2024-02-16 US US18/443,770 patent/US20240196025A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11930228B2 (en) | 2024-03-12 |
US20210099735A1 (en) | 2021-04-01 |
JP7360112B2 (ja) | 2023-10-12 |
US20240196025A1 (en) | 2024-06-13 |
JP2021057701A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11436803B2 (en) | Insertion of VR spectator in live video of a live event | |
US11899835B2 (en) | Control of personal space content presented via head mounted display | |
JP2023169282A (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
EP3573026B1 (en) | Information processing apparatus, information processing method, and program | |
JPWO2016009865A1 (ja) | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム | |
JP2020017242A (ja) | 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム | |
US10289193B2 (en) | Use of virtual-reality systems to provide an immersive on-demand content experience | |
EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
JP7496558B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
JP6688378B1 (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
JP2011109371A (ja) | 3次元画像にコメントテキストを重畳して表示するサーバ、端末、プログラム及び方法 | |
JP7356662B2 (ja) | コンピュータプログラム、及び方法 | |
US20240114181A1 (en) | Information processing device, information processing method, and program | |
WO2023105750A1 (ja) | 情報処理システムおよび情報処理方法 | |
US11641459B2 (en) | Viewing system, distribution apparatus, viewing apparatus, and recording medium | |
US20240242422A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable medium | |
JP2023002032A (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
WO2024100393A1 (en) | Apparatus and methods for virtual events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231013 |