JP2023169282A - コンピュータプログラム、サーバ装置、端末装置、及び方法 - Google Patents

Abstract

【課題】インタラクティブなアプリケーションをサポート可能な、コンピュータプログラム、サーバ装置、端末装置及び方法を提供する。【解決手段】一実施形態に係るコンピュータプログラムは、モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、前記合成されたデータを提供する、ように前記プロセッサを機能させる、ものである。また、前記第１データタイプは、前記映像に係る中間生成情報を含む、ものである。また、前記中間生成情報は、前記映像に係る奥行情報を含む、ものである。【選択図】 図３

Description

本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方
法に関する。

近年の利用者は、関与する程度の高いインタラクティブなアプリケーションを望む傾向
にあり、かかるインタラクティブなアプリケーションをサポートできるシステムが必要と
なってきている。

特開２０１８－７４２９４号公報 特開２０１９－３７５４９号公報 特開２００２－２７１６９３号公報 特許第６５４３４０３号公報

特許文献１に記載された技術は、背景と３ＤＣＧ空間の映像を合成するものである。ま
た、特許文献２に記載された技術は、プレイヤと参加者とが交流するものである。また、
特許文献３に記載された技術は、実写画像と仮想画像とを合成するものである。また、特
許文献４に記載された技術は、動画配信に係るものである。

なお、上記特許文献１乃至４は、引用によりその全体が本明細書に組み入れられる。

本件出願において開示された幾つかの実施形態は、インタラクティブなアプリケーショ
ンをサポート可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供
する。

一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイ
プの第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、
前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
前記合成されたデータを提供する、ものである。

一態様に係るサーバ装置は、プロセッサを具備し、前記プロセッサが、コンピュータに
より読み取り可能な命令を実行することにより、モーション、音、コメント、及び／又は
、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含
む第２データタイプの第２ストリームを取得し、前記第１ストリームに係るデータと前記
第２ストリームに係るデータとを合成し、前記合成されたデータを提供する、ものである
。

一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し
、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、モ
ーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプ
の第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、前
記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、前記合成
されたデータを提供する、ものである。

一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサによ
り実行される方法であって、前記プロセッサが、前記命令を実行することにより、モーシ
ョン、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第
１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、前記第
１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、前記合成され
たデータを提供する、ものである。

図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である。 図３は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。 図４は、一実施形態に係るシステムが有するデータの一例である。 図５は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図６は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図７は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図８は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図９は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図１０は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図１１は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図１２は、一実施形態に係るシステムが有するデータの一例である。 図１３は、一実施形態に係るシステムが処理するフローの一例である。 図１４は、一実施形態に係るシステムが処理するフローの一例である。 図１５は、一実施形態に係るシステムが処理するフローの一例である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された
構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意され
たい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるもの
の、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、
本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプロ
グラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得るこ
とができるように組み合わされたものであればよい。

１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示す
ように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通
信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には
、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３
０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０とし
て、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末
装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得
る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む
場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち
、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様
であってもよい。

また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮
想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるも
のであってもよい。また、システムの所有者と管理者は異なってもよい。

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネッ
ト、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、
これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通
信されてよい。例えば、後述する第１データタイプを含むストリーム、第２データタイプ
を含むストリーム、制御情報、などは、サーバ装置２０から端末装置３０へ通信されるこ
ともあれば、端末装置３０からサーバ装置２０へ通信されることがあってよい。

サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより
、モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタ
イプの第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し
、前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、前記
合成されたデータを提供する、という動作等を実行できてよい。

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリ
ケーションを実行することにより、モーション、音、コメント、及び／又は、ギフティン
グに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含む第２データ
タイプの第２ストリームを取得し、前記第１ストリームに係るデータと前記第２ストリー
ムに係るデータとを合成し、前記合成されたデータを提供する、という動作等を実行でき
てよい。

端末装置３０は、このような動作を実行することができる任意の端末装置であって、ス
マートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコン
ピュータ等であってよく、これらに限定されない。

２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。

２－１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１
に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロ
ック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３
０に関連して記載されたものである。）

図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入
出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置
２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び
／又は制御バスにより接続されていてよい。

演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い
、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、
入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置
２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい
。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、
及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。

主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０
等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及び
データ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、Ｒ
ＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシ
ュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ
等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１
により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入
出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置
２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、
これらに限定されない。

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キー
ボード、マウス及び／又はセンサ等であってよい。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれら
に限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体
化されたものであってもよい。

このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶さ
れた特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順
次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェ
イス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装
置３０等）との間で様々な情報の送受信を行うことができてよい。

サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実
行することにより、以下で定義される、モーション、音、コメント、及び／又は、ギフテ
ィングに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含む第２デ
ータタイプの第２ストリームを取得し、前記第１ストリームに係るデータと前記第２スト
リームに係るデータとを合成し、前記合成されたデータを提供する、という動作等（後に
詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、
ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願
書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プロ
グラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしての
サーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステ
ムとしての端末装置３０の出力装置３６に表示させる構成であってよい。

２－２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装
置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア
構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成
要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入
出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と
、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続さ
れている。

演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助
記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演
算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶
装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また
、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装
置３６については、以下で詳述する。

このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶さ
れた特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順
次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力
インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェ
イス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で
様々な情報の送受信を行うことができる。

端末装置３０がかかる構成を備え、モーション、音、コメント、及び／又は、ギフティ
ングに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含む第２デー
タタイプの第２ストリームを取得し、前記第１ストリームに係るデータと前記第２ストリ
ームに係るデータとを合成し、前記合成されたデータを提供する、という動作等（後に詳
述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされた
ウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示
して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用
いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。
また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステ
ムとしての端末装置３０の出力装置３６に表示する構成であってよい。

端末装置は、本願書類において、「利用者端末」ということもあり、利用者端末を利用
する者を利用者という（利用者は、支援するアプリケーションがゲームである場合、ゲー
ムの観客、ゲームのプレイヤ、ゲームの審判、ゲーム内の登場人物、などのゲームの関係
者であってよい。これらのゲームの観客、ゲームの審判、ゲーム内の登場人物などのゲー
ムの関係者は、利用者の下位概念である。）。また、利用者端末のうち、情報源の提供を
可能な端末を「情報源端末」ということもある（従って、情報源端末であれば、利用者端
末である）。情報源端末を利用する者を情報源提供者ということもある（情報源提供者は
、支援するアプリケーションがゲームである場合、ゲームのプレイヤであってよい。ゲー
ムのプレイヤは情報源提供者の下位概念であってよく、情報源提供者は、利用者の下位概
念であってよい）。そのため、一の情報処理装置について、かかる装置を利用する情報源
提供者の観点から情報源端末と称すると同時に、かかる装置を利用者として利用する観点
から利用者端末と称することもある。なお、本願に係るシステムにおいて、利用者は、利
用者を特定するＩＤで管理されてよい。かかる利用者を特定するＩＤは、本願に係るシス
テム内に記憶されてよく、本願に係るシステム内にて管理されてよい。一の利用者は、一
又は複数のＩＤを有してよい。本願においては、利用者Ａを特定するＩＤで使用されてい
る利用者端末を、例えば、利用者Ａが利用する利用者端末、利用者Ａに係る利用者端末、
などと称することがある。同様に、情報源提供者Ａを特定するＩＤで使用されている情報
源端末を、情報源提供者Ａが利用する情報源端末、情報源提供者Ａに係る情報源端末、な
どと称することがある。

利用者端末は、入力装置３４として、情報を入力可能であり、情報を取得可能な種々の
装置を含んでよい。また、利用者端末は、演算装置３１によって、情報を生成してよい。
かかる利用者端末内で取得（以下、「取得」は、生成された情報を取得する場合も含んで
よい）された情報は、入出力インタフェイス装置２３を介して、通信網１０へ送信されて
よい。

例えば、利用者端末は、入力装置３４として、コメントを入力可能であり、テキスト情
報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用
者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これら
の取得されたコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０
へ送信されてよい。

なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、シ
ステムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送
信され、利用者端末において表示されてよい。システムが自動的に生成するコメントとし
ては、例えば、状況を説明するコメントであってよい。状況を説明するコメントは、利用
者の行為に起因するコメントであってもよいし、利用者の行為に起因しないコメントであ
ってもよい。利用者の行為に起因するコメントとしては、例えば、ある利用者が利用を開
始すると「Ａさんが入室したよ」というようなものであってもよいし、利用者が所定の人
数よりも多いと「視聴数がＸ人を突破したよ」というようなものであってもよい。ここで
、利用者が所定の人数よりも多いケースは、所定のゲーム、アプリケーション、動画など
の配信が、配信当初からの視聴者の合計数であってもよいし、現在の配信における配信開
始からの視聴者の合計数であってもよいし、かかる合計数から視聴していない者を減じた
現在の配信における現在の視聴中の者の合計数などが、所定の人数よりも多い場合であっ
てよい。また、その他、利用者の行為に起因するコメントとして、ギフティングをした場
合に、「ＡさんがアイテムＢをあげたよ」などのようなコメントであってもよい。

また、利用者端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお
、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし
、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によ
りテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置３１に
よって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力イン
タフェイス装置２３を介して、通信網１０へ送信されてよい。

また、利用者端末の一態様である情報源端末は、入力装置３４として、人の動きを検知
可能なモーションセンサーを含んでよい。モーションセンサーは、利用者や情報源提供者
の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては
、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうる
が、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるもので
あってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなど
を有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介
して、通信網１０へ送信されてよい。

また、利用者端末の一態様である情報源端末は、入力装置３４として、動画を撮像可能
な撮像装置を含んでよい。撮像装置は、利用者や情報源提供者の、頭、顔面、目、身体の
一部、全身、などを撮像してよい。撮像装置が、頭や顔面を撮像する場合顔の方向を検知
することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像
する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモ
ーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これ
らの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、
同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

利用者端末の出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示
可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディ
スプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディス
プレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、ス
ピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は
、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報
であってもよい。

３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参
考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図
である。図３に示すように、一例のシステムは、種々のデータを取得する取得部４１と、
取得されたデータの一部又は全部を合成する合成部４２と、合成されたデータを提供する
提供部４４と、有してよい。また、一例のシステムは、制御情報を管理する制御情報管理
部４３を有してよい。なお、図３は、機能に着目した図であり、本願書類の各記載から明
らかなとおり、かかる機能が実行されるハードウェアは、サーバであってもよいし、情報
源端末であってもよいし、利用者端末であってもよいし、これらの組み合わせであっても
よい。したがって、各例のシステムに係る機能は、サーバ上で実行されてもよいし、情報
源端末上で実行されてもよいし、利用者端末上で実行されてもよいし、これらの複数のハ
ードウェア上に分散されて実行されてもよい。なお、図３は、取得部４１が情報源端末か
ら情報を取得する態様を図示するが、後述のとおり、取得部４１は利用者端末から情報を
取得してもよい。また、同様に、提供部４４も、情報を利用者端末に提供してもよいし、
利用者端末の一態様である情報源端末に情報を提供してもよい。

３－１．取得部４１
取得部４１は、本例のシステムに係る情報を取得する機能を有する。取得部４１が取得
する本例のシステムに係る情報は種々のデータのタイプであってよい。

取得部４１は、データとして、ストリーム（ストリーミングと呼ばれることもあるが、
本願書類においては、ストリームという表記で統一する）を取得してよい。すなわち、取
得部４１は、モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第
１データタイプの第１ストリームを取得してよく、また、映像を含む第２データタイプの
第２ストリームを取得してよい。ストリームによって運ばれるデータの内容は、モーショ
ン、音、コメント、中間生成情報、ギフティングに係る情報、映像（動画、静止画を含む
）、などであってよいなどが挙げられる。映像は、ゲームに係るものや、撮像装置で撮像
されたものであってよい。ゲームに係るものは、ゲーム内で実行される映像であってもよ
いし、ゲーム内でプレイヤがプレイしているゲーム映像であってもよい。また、撮像装置
で撮像されたものとしては、自然を撮像した映像、都会を撮像した映像、アトラクション
やイベントなどの映像など、その種類に限定はなく、種々のものであってよい。また、ス
トリームによって運ばれるデータの内容は、上述のものに加えて、又は、代えて、顔方向
情報、視線情報、表情情報、などであってもよい。

本願書類においては、便宜上、ストリームは、第１データタイプと、第２データタイプ
に分類されてよい。第１データタイプは、モーション、音、コメント、中間生成情報、ギ
フティングに係る情報、などが挙げられるが、これらに限られず、上述の顔方向情報、視
線情報、表情情報、などであってもよい。第２データタイプは、基本的に表示される背景
的機能を有するデータであってよく、例えば、映像が挙げられる。

モーション、音、コメントは、上述のとおりであってよい。

中間生成情報は、後述する合成に利用される情報である。中間生成情報を用いることに
より、総合的に送信される容量を減らし、通信帯域の負担を減少可能な利点がある。

中間生成情報としては、奥行情報、マスク情報、低解像度レンダリング画像、フォント
レンダリング、ＵＩ（ＨＰ、ＭＰ、スコア、言語依存情報、個人情報）などが挙げられる
。

奥行情報は、動画とアバターなど、少なくとも二つの情報について、一方の奥行と他方
の奥行のそれぞれの奥行情報が判明すると、一方を利用しなくてよい場合があり、利用さ
れない一方に関する情報を送る必要がない利点がある。例えば、アバターが、実況中継す
るゲーム映像の後ろ側に移動し、アバターが実況中継されているゲーム映像によって完全
に見えなくなる場合、見えないアバターに関する情報は送る必要がなくなり、通信量を減
少できることとなる。このような理由により、表示される情報に関する奥行情報に係る情
報を、中間生成情報として、送られてよい。すなわち、第１データタイプは、映像に係る
中間生成情報を含んでよく、中間生成情報は、映像に係る奥行情報を含んでよい。

マスク情報は、所定箇所を覆うことに係る情報であってよい。例えば、マスク情報は、
映像の所定の領域を覆うために領域を示すための座標情報であってよい。また、マスク情
報は、覆う時間に係る情報を含んでよい。映像情報とマスク情報とを合成することにより
、映像の所定の箇所を覆うことが可能となる利点がある。

低解像度レンダリング画像は、例えば、サムネイルが挙げられる。本来の画像の解像度
よりも低い解像度の画像であってよい。このように本来の画像の解像度よりも低い解像度
の画像であることから、通信負担を軽減することが可能となり、そのため、例えば、複数
の画像のサムネイルを利用者端末に表示させる場合において、それらの本来の画像の通信
をすることに代えて、サムネイルを、他のデータと合成して通信することによって、本来
の画像を直接通信することよりも、通信容量を軽減させて一又は複数のサムネイルを送信
できる利点がある。

フォントレンダリングは、フォントをレンダリングする際に必要となる情報であってよ
い。フォントをレンダリングした上で通信する場合、レンダリングにより画像情報となる
ため、通信量が増加しうる。そのため、どのようなレンダリングを行うかというフォント
の設定情報を通信し、表示される段階においてかかる設定情報を用いてフォントのレンダ
リングをすることにより、通信負担を軽減できる利点がある。

ＨＰ、ＭＰ、スコア、言語依存情報、個人情報などは、表示される利用者端末に係る利
用者のプロファイルに関連する情報である。ここでいう、ＨＰ、ＭＰ、スコアは、情報源
提供者に係る情報ではなく、利用者における情報を示す。言語依存情報や、個人情報も、
利用者のプロファイルに関連する情報である。これらは、利用者端末上で表示されるもの
であるが、利用者端末上で表示される段階で合成されれば足り、また、各表示される利用
者端末毎に、異なる情報としてよい。そのため、これらの情報は、元のデータと、分離し
て通信されてよい。なお、言語依存情報は、上述のように個々の利用者端末に合わせて設
定されてもよいし、同一の映像を視聴する又は同一のゲームに参加するなど同一の合成さ
れたデータを視聴する利用者端末のうち、最も多くの利用者端末において使用される言語
を用いて、サーバ、利用者端末、又は情報源端末において合成されてもよい。最も多くの
利用者端末において使用される言語は、サーバ又は情報源端末等において、判断されてよ
く、かかる判断は、各利用者端末において使用される言語を取得し、各言語を使用する利
用者端末の数をカウントし、使用される言語の中で最も多くの利用者端末が使用する言語
を特定することで、判断されてよい。また、かかる言語依存情報における言語環境は、利
用者端末が位置する国や地域の設定であるロケール情報を参照することで設定されてよく
、また、言語環境は、端末内に備えられているＧＰＳによって測定される利用者端末の位
置や端末が向いている方位などの実空間での座標や向きや、イベント会場や映画館におい
て利用者端末を保持する者の座席情報と連動しても良い。

上述のとおり、各データを合成する情報処理装置は、全て同一であることはなく、その
合成されうる情報に応じて、適した情報処理装置上で合成されてよい。例えば、フォント
レンダリングや、ＨＰ、ＭＰ、スコア、言語依存情報、個人情報などの個々の利用者のプ
ロファイルに関連する情報は、表示される利用者端末上において、合成されてよいが、奥
行情報など映像と密接に関連する情報はサーバ装置上で合成されてよい。

ギフティングに係る情報は、ギフトを提供することに係る情報である。ギフティングに
係る情報は、例えば、提供されるギフトの種類、提供されるギフトの数量、提供されるギ
フトの所有者情報、ギフトが提供される相手方情報、提供されるギフトの提供のタイミン
グ（例えば、提供の日時）の一部又は全部であってよい。所有者情報や相手方情報は、利
用者の名称、ＩＤ、利用者端末ＩＤ、など所有者や相手方を特定可能な情報であってよい
。また、その他、ギフトの金額、ギフトのレベル、ギフトに係る制約の情報などが含まれ
てもよい。

また、取得部４１は、制御情報管理部４３で管理される、後述の制御情報を取得してよ
い。制御情報は、例えば、視点制御情報、演出制御情報、等が挙げられる。制御情報は、
取得部４１において、ストリームとして、取得されてもよい。

ストリームは、タイムスタンプを含んでもよいが、含まなくてもよい。タイムスタンプ
を含む場合、時間的な調整が可能となる利点がある。すなわち、第１ストリーム及び第２
ストリームは、各々、時間情報を含んでよい。

取得部４１が取得する情報のプロトコルは、どのようなものであってもよい。プロトコ
ルとしては、主に双方向でインタラクティブに情報の伝達が可能なプロトコルであっても
よいし、主に一方向に情報の伝達が可能なプロトコルであってもよい。前者としては、例
えば、ＲＴＭＰ（Ｒｅａｌ Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）が挙げ
られ、後者の場合はＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏ
ｌ）やＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やＷｅｂＳｏｃｋｅｔ（ＲＦ
Ｃ６４５５）が挙げられるが、これらのプロトコルに限られない。また、プロトコル毎に
通信経路（ＣＤＮ）が異なるものであってもよいし、各処理において課金モデルが異なる
ものであってもよい。

取得部４１は、情報を、取得部４１が実行されるプログラムと同一の情報処理装置内か
ら取得してもよいし、取得部４１が実行されるプログラムとは異なる情報処理装置から取
得してもよい。後者の場合、取得部４１は、ネットワーク上の他の情報処理装置から取得
してよい。取得部４１は、他の情報処理装置から、直接的又は間接的に、情報を取得して
よい。特に、近年はネットワークが複雑に構成されることもあるため、間接的とは、取得
機能を有するプログラムが実行される情報処理装置が、他の情報処理装置から一又は複数
の情報処理装置を間に介在して、情報を取得する態様が想定されてよい。また、取得部４
１は、利用者端末から情報を取得してよいし、情報源端末から情報を取得してよい。

取得部４１は、取得部４１が取得した情報を、システム内に記憶してよい。また、取得
部４１は、取得部４１が取得した情報を、管理してよい。なお、取得部４１は、取得部４
１が取得した情報の種類に応じて、記憶する期間を適宜設定してよい。

３－２．合成部４２
合成部４２は、取得部４１によって取得されたストリームを合成する機能を有する。例
えば、第１ストリームに係るデータと第２ストリームに係るデータとを合成する機能を有
してよい。

合成する手法は種々の手法であってよい。合成の手法自体は、一のストリームと、他の
ストリームと、の情報を合成する種々の手法を用いてよい。例えば、一のストリームと他
のストリームとを、各々の形状のまま重ねてもよい。この場合、例えば、矩形状の一のス
トリームと矩形状の他のストリームとを重ねて合成させてよい。また、一のストリームの
形状と他のストリームの形状の一方又は両方の形状を変形させて重ねてもよい。例えば、
一のストリームの形状内の一部にはめ込み可能なように他のストリームの形状を変更させ
て、はめ込み合成のように形状を合せて変形させた上で重ねて合成させてもよい。また、
一のストリームと他のストリームの一方又は両方に一定のエフェクトを適用させた上で、
合成させてもよい。この場合、エフェクトとしては、色、スタイル、彩度等を変更するこ
とが挙げられ、空間として馴染むようにしてもよい。

また、合成に際し、欠けている情報を適宜補う場合、通信される情報量が少なくなるた
め、通信負担が減少する利点がある。例えば、モーションは、動きの情報に留まることか
ら、動かされる対象となるアバターの情報が補われることで、アバターの動きを実現する
ことができる。この場合、アバターを含めた情報が通信されるのではなく、アバターの動
きのみが通信されることから、通信負担を減少できる利点がある。かかる合成のため、合
成部４２は、モーションに係るアバターのモデルデータを有してよい。合成部４２は、モ
ーションに係るアバターのモデルデータと、モーションと、を合成することで、モーショ
ンに係るバターの動きを実現してよい。また、合成部４２は、オブジェクトデータを有し
てよい。オブジェクトデータは、アバターが存在する仮想空間の背景や、かかる背景上に
描画される各種物体に係るデータが含まれてよい。合成部４２は、オブジェクトデータを
用いることで、描画されうる各種物体を合成して映像としてよい。

例えば、第１ストリームに係るアバターのモーションと、第２ストリームに係る背景映
像とが合成される場合、合成部４２は、予め記憶しているアバターを用いて、取得したモ
ーションを用いて、アバターの動きを再現し、このアバターと、背景映像とを合成してよ
い。ここで、合成部４２は、予めアバターに関する情報を有してよく、合成部４２は、ア
バターと関連付けられたモーション情報を取得することによって、アバターの動きを再現
できる機能を有してよい。この場合、アバターの動き自体を映像で情報源端末から取得す
る場合と比較し、情報源端末からはモーションを取得し、合成部４２内に記憶されたかか
るモーションの基となるアバターの情報と合成することで、アバターの動きの情報を効率
よく伝達できる利点がある。また、合成部４２は、一又は複数のアバターの情報を有して
よく、かかる一又は複数のアバターは、一又は複数の情報源端末に基づくモーションと、
各々対応するものが、関連付けられて記憶されてよい。これにより、一の情報源端末から
取得したモーションと、他の情報源端末から取得したモーションと、を区別して、各々関
連付けられて合成部４２内に記憶されたアバターを用いて、アバターの動きを伝達できる
利点がある。

また、背景映像に代えてゲームであってもよい。第１ストリームに係るアバターのモー
ションと、第２ストリームに係る背景映像がゲームとを、取得部４１が取得した場合にお
いて、合成部４２は、予め記憶しているアバターを用いて、取得したモーションを用いて
、アバターの動きを再現し、このアバターと、ゲーム映像とを合成してよい。この場合、
アバターが、ゲームの実況中継を行っているかのような状況を再現できる利点がある。

また、例えば、ギフティングに係る情報と、動画配信される映像と、が合成される場合
、種々の情報源端末から取得されるギフティングに係る情報を、動画配信される映像に反
映させることができ、効率的な情報の伝達をしつつ、情報源端末に係る情報源提供者が、
ギフティングを介して、映像に参加する感触を得ることができる利点がある。すなわち、
第１データタイプは、ギフティングに係る情報を含み、第２データタイプは、動画配信さ
れる映像を含み、合成は、前記動画配信される映像に前記ギフティングに係る情報が反映
されることを含む、ものであってよい。

なお、一のストリームと、他のストリームとを合成する手法を採用することにより、各
ストリームの通信品質を内容に合わせて各々設定可能とできる利点がある。例えば、背景
的な映像である第２データタイプに係るストリームは、一部品質が劣化したとしても既に
通信済みの情報を利用して補填することができるため、品質は高くなくてもよい。他方、
第１データタイプに係るストリームは、各情報に意義があるため、品質が高いことが好ま
しい。このように合成する手法を採用することにより、過剰な通信品質を求めることなく
、妥当な合成情報を提供できる利点がある。

合成部４２が合成する機能を実行する情報処理装置を、「合成装置」ということがある
。合成装置は、サーバ装置、情報源端末、利用者端末、のいずれであってもよい。

すなわち、合成を、サーバで行ってもよい。また、第１ストリームを、第１情報源端末
から取得し、第２ストリームを、第２情報源端末から取得し、合成を、前記第１情報源端
末又は前記第２情報源端末で行ってもよい。また、これらの合成されたデータを、一又は
複数の利用者端末へ向けて提供してよい。また、合成を、利用者端末で行い、前記合成さ
れたデータを前記利用者端末で提供してもよい。

また、第１情報源端末から取得された、第１ストリームと、第２ストリームと、につい
て、前記第１情報源端末で合成して一又は複数の利用者端末へ向けて提供してもよいし、
サーバで合成して一又は複数の利用者端末へ向けて提供してもよいし、利用者端末で合成
して前記利用者端末に提供してもよい。

図５乃至図７は、合成部４２がストリームの合成の機能を行う情報処理装置の場所を上
述のパターン分けに合わせて図示したものである。図５は、情報源端末５１Ａ及び５１Ｂ
から取得した情報やストリームを、サーバ装置５０において合成し、これを利用者端末５
２Ａ及び５２Ｂに提供する状況を図示したものである。図６は、情報源端末５１Ａ及び５
１Ｂから取得した情報やストリームを、情報源端末５１Ｂにおいて合成し、これを利用者
端末５２Ａ及び５２Ｂに提供する状況を図示したものである。図７は、情報源端末５１Ａ
及び５１Ｂから取得した情報やストリームを、利用者端末５２Ａにおいて合成して利用者
端末５２Ａに提供し、また、利用者端末５２Ｂにおいて合成して利用者端末５２Ｂに提供
する状況を図示したものである。

なお、合成部４２による合成の機能は、かかる図のとおりのパターン分けが可能である
が、合成部４２が実施する他の機能は、必ずしもかかるパターン分けされた合成の機能と
同一の情報処理装置内で実行される必要は無く、他の情報処理装置内で実行されてもよい
。すなわち、合成部４２は、一又は複数の情報処理装置内で実行されてよい。例えば、モ
ーションを含む第１データタイプに係る第１ストリームと、映像を含む第２データタイプ
に係る第２ストリームと、音を含む第１データタイプに係る第３ストリームと、を取得し
、第１情報処理装置内において、モーションを含む第１データタイプに係る第１ストリー
ムと、映像を含む第２データタイプに係る第２ストリームと、を合成し、第１ストリーム
と第２ストリームとを合成したものと、音を含む第１データタイプに係る第３ストリーム
と、を第２情報処理装置へ提供し、第２情報処理装置内において、第１ストリームと第２
ストリームとを合成したものと、第３ストリームと、を合成して、かかる合成されたもの
を、第２情報処理装置内又は第３情報処理装置へ提供してもよい。

また、他の態様として、取得されたモーション、音、コメント、及び／又は、ギフティ
ングに係る情報を含む第１データタイプの第１ストリームに係るデータと、取得された映
像を含む第２データタイプの第２ストリームに係るデータと、を合成した上で、第１スト
リームを提供した端末、第２ストリームを提供した端末、又はそれ以外の端末から、前記
第２データタイプの第３ストリームを取得して前記合成されたストリームに係るデータと
前記第３ストリームに係るデータとを合成してもよいし、第１ストリームを提供した端末
、第２ストリームを提供した端末、又はそれ以外の端末から、前記第１データタイプの第
４ストリームを取得し、前記合成されたストリームに係るデータと前記第４ストリームに
係るデータとを合成してもよい。

また、図８乃至図１１は、合成の態様について、送信されるデータも含めた分類である
。なお、これらの図中及び対応説明において、ＣＤＮ（ＨＬＳ）と図示している箇所は、
ＣＤＮ（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）を用いた上で、ＨＬＳ（
ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）を用いた一例を意図しているが、あくまで一
例であり、ＣＤＮを用いるがＨＬＳを用いない例であってもよいし、ＣＤＮを用いずにＨ
ＬＳを用いる例であってもよいし、その他の例であってもよい。

図８は、情報処理装置８０３が、音８０１及びモーション８０２を取得し、情報処理装
置８０３内のモーションに対応するアバター映像と合成して、音と映像が合成されたもの
をＲＴＭＰサーバ８０５に対して送り８０４、ＲＴＭＰサーバ８０５が取得し、ＲＴＭＰ
サーバ８０５がＣＤＮ（ＨＬＳ）８０６に送り、ＣＤＮ（ＨＬＳ）８０６が視聴者Ａ８０
７に配信する、という構成である。ここで、情報処理装置８０３は、情報源端末であって
もよいし、情報源端末から情報を取得するサーバ装置であってもよい。また、情報処理装
置８０３は、ＯＢＳ（Ｏｐｅｎ Ｂｒｏａｄｃａｓｔｅｒ Ｓｏｆｔｗａｒｅ）を備えた
ものであってよく、他の情報処理装置からＨＤＭＩやＡｉｒＰｌａｙなどによって情報を
取得してもよい。

図９は、情報処理装置であるホスト８０３が音８０１Ａ及びモーション８０２を取得し
、情報処理装置８０３内のモーションに対応するアバター映像と合成して、音と映像が合
成されたものを送り８０５、ＲＴＭＰサーバ８０７が取得し、ＲＴＭＰサーバ８０７がＣ
ＤＮ（ＨＬＳ）８０８に送り、ＣＤＮ（ＨＬＳ）８０８は音と映像が合成されたものをゲ
ストＡ８１１に送り８０９Ａ、ゲストＢ８１２に送り８０９Ｂ、視聴者８１３に送る８０
９Ｃ。ここで、情報処理装置であるホスト８０３は、情報源端末であってもよいし、情報
源端末から情報を取得するサーバ装置であってもよい。ゲストＡ８１１及びゲストＢ８１
２は、情報源端末であってよく、各々の情報源提供者は、音声８０１Ｂ、音声８０１Ｃを
、各々双方向に入出力でき、映像８１０Ａ、映像８１１Ｂを各々視聴することができてよ
い。また、視聴者８１３は、利用者端末であってよく、映像８１０Ｃを視聴することがで
きてよい。情報処理装置である、ホスト８０３、ゲストＡ８１１、ゲストＢ８１２は、コ
ラボサーバ８０６との間で、音声について、双方向にやりとり可能であってよい（８０４
Ａ、８０４Ｂ、８０４Ｃ）。なお、本図において、ゲストＡ８１０及びゲストＢ８１１の
２つの情報処理装置を図示しているが、一つでもよいし、２つ以上であってもよい。同様
に、情報処理装置である視聴者８１３は、一つでもよいし、２つ以上であってもよい。

図１０は、情報処理装置であるホスト８０４と、情報処理装置であるゲストＡ８０５は
、モーション８０１Ａ、モーション８０１Ｂ、を各々取得でき、音声８０２Ａ、音声８０
２Ｂ、を各々双方向に入出力でき、映像８０３Ａ、映像８０３Ｂ、を各々視聴できるよう
構成されてよい。情報処理装置であるホスト８０４は、コラボサーバ８０９に対して、音
声を双方向に伝達し８０６Ａ、モーションを双方向に伝達し８０７Ａ、ギフティング情報
を双方向に伝達８０８Ａ、できるよう構成されてよい。また、情報処理装置であるゲスト
Ａ８０５は、コラボサーバ８０９に対して、音声を双方向に伝達し８０６Ｂ、モーション
を双方向に伝達し８０７Ｂ、ギフティング情報を双方向に伝達８０８Ｂ、できるよう構成
されてよい。特に、ゲストＡ８０５から、コラボサーバ８０９を介して、取得した音、モ
ーション、ギフティング情報は、ホスト８０４において取得された音、モーション、ギフ
ティング情報、とホスト８０４において合成され、映像として、ＲＴＭＰサーバ８１０に
伝達され、ＣＤＮ（ＨＬＳ）８１１に伝達され、視聴者８１２に伝達されてよい。なお、
本図において、ホスト８０４からゲストＡ８０５に対し、コラボサーバ８０９を介した情
報の伝達経路を図示しているが、かかる例にとどまらず、例えば、ホスト８０４からコラ
ボサーバ８０９を介して、ゲストＡと類似の機能を有する図示していないゲストＢ、ゲス
トＣ、ゲストＤなどへ、同様に情報が双方向で伝達できてよい。また、本図において、ホ
スト８０４から、ＲＭＰサーバ８１０とＣＤＮ（ＨＬＳ）８１１を介して、視聴者８１２
に情報が伝達する経路を示しているが、かかる例にとどまらず、例えば、ホスト８０４か
らＲＴＭＡＰ８１０とＣＤＮ（ＨＬＳ）８１１を介して、視聴者８１２と類似の機能を有
する他の一又は複数の視聴者に対して、情報が伝達されてよい。

図１１は、情報処理装置であるホスト８０３が、ギフティング情報８０１Ａとモーショ
ン８０２Ａを取得し、情報処理装置であるホスト８０３は、クライアントレンダリングサ
ーバ８０８に、音８０５Ａ、ギフティング情報８０６Ａ、モーション８０７Ａを、伝達す
る。クライアントレンダリングサーバ８０８は、これらを、情報処理装置である視聴者Ａ
８０４に、音８０５Ｂ、ギフティング情報８０６Ｂ、モーション８０７Ｂを、伝達し、情
報処理装置である視聴者Ａ８０４において音とモーションを合成し、ギフティング情報８
０１Ｂと映像８０２Ｂを提供する。なお、本図において、ホスト８０３から視聴者Ａ８０
４に対し、クライアントレンダリングサーバ８０８を介した情報の伝達経路を図示してい
るが、かかる例にとどまらず、例えば、ホスト８０３からクライアントレンダリングサー
バ８０８を介して、視聴者Ａと類似の機能を有する図示していない視聴者Ｂ、視聴者Ｃ、
視聴者Ｄなどへ、同様に情報が双方向又は一方向で伝達できてよい。

また、上述の各図で説明したように、一又は複数の情報源端末から取得した、第１スト
リームと第２ストリームは、映像と音声の種々の組み合わせが合成されてよい。例えば、
第１情報源端末から取得した第１ストリームが映像で、第１情報源から取得した第２スト
リームが音声で、第２情報源端末から取得した第３ストリームが映像で、第２情報源端末
から取得した第４ストリームが音声である例を考える。この場合、合成部４２は、第１乃
至第４ストリームを全て合成してもよいし、第１乃至第４ストリームの一部を合成しても
よい。具体的には、合成部４２は、第１乃至第３ストリームを合成してもよいし、第１、
第２、及び第４ストリームを合成してもよい。また、第２情報源端末から第４ストリーム
を取得せず、第３ストリームのみを取得する場合において、合成部４２は、第１乃至第３
ストリームを合成してもよいし、第１及び第３ストリームを合成してもよいし、第２及び
第３ストリームを合成してもよい。また、第２情報源端末から第３ストリームを取得せず
、第４ストリームのみを取得する場合において、合成部４２は、第１、第２及び第４スト
リームを合成してもよいし、第１及び第４ストリームを合成してもよいし、第２及び第４
ストリームを合成してもよい。なお、本段落の説明においてストリームは映像又は音声と
して説明したが、ストリームが音声と映像の両方を含むものとしてもよい。

なお、これらは一例であり、他の種々の合成の態様が可能であることは、言うまでもな
い。

また、取得部４１が複数のストリームを取得する場合、合成部４２は、かかる複数のス
トリームについて、時間的な調整を行ってよい。例えば、取得部４１が取得した一又は複
数のストリームが、それぞれ、タイムスタンプなどの時間的情報を含む場合、合成部４２
は、各ストリームの時間情報を用いて、各ストリームの時間情報の差が所定の値以下にな
るようストリームを合成してよい。なお、通信状況によっては、第１の情報源端末から取
得した第１ストリームに係る第１時間情報と、第２の情報源端末から取得した第２ストリ
ームに係る第２時間情報と、において、第１時間情報と第２時間情報との差が所定の値以
上の場合、一方を合成せず、一方の情報を利用せず、他方のみを提供部４４によって提供
する、という構成としてもよい。この場合、通信状況が悪化しても、一定の情報の伝達を
継続できる利点がある。なお、この場合において、利用する情報と利用しない情報とを選
別する手法は、情報量を用いて通信情報の劣化を補う手法を用いてよい。

すなわち、第１ストリーム及び第２ストリームは、各々、時間情報を含み、合成部４２
は、第１ストリームに係る時間情報と、第２ストリームに係る時間情報と、を所定の関係
に調整して、第１ストリームと第２ストリームとを合成できるよう構成されてよい。なお
、所定の関係としては、合成されるストリームに係る時間情報が、夫々、同一となるよう
に調整して合成してもよいし、所定の時間内となるように調整して合成してもよい。所定
の時間内であってもよいのは、情報の種類によっては時間的誤差が生じても、利用者が閲
覧した場合に違和感を生じない場合もあるためである。

また、合成部４２は、中間生成情報を取得する場合、かかる中間生成情報を用いて、合
成してよい。また、合成部４２は、中間生成情報を取得する場合、かかる中間生成情報を
用いて、合成するかどうかを決定し、合成すると決定した場合に限り、合成してもよい。
この場合、合成する必要がない場合について合成しなくてよいため、効率的に処理を行え
る利点がある。かかる合成する必要がないと決定する場合としては、例えば、奥行情報を
用いて奥側の情報で表示されないと決定される場合が挙げられる。より具体的には、例え
ば、動画とアバターなど、少なくとも二つの情報について、一方の奥行と他方の奥行のそ
れぞれの奥行情報が判明すると、合成せずに、奥側ではない手前側の情報を利用してよい
。なお、この場合、かかる二つの情報については、映像上の表示領域も用いて、判定して
よい。例えば、映像１に係る奥行情報がＡであり、映像２に係る奥行情報がＢであり、Ａ
よりもＢが多い奥行情報を有する（すなわち、映像１が映像２よりも奥側で見えない可能
性がある）場合において、映像２が映像１を覆わない場合、映像１が映像２よりも奥であ
っても見える可能性があることから、取得部４１は映像１を取得し、合成部４２はかかる
映像１を用いて合成してよい。このように、合成されうる映像の表示領域も用いられてよ
い。表示領域は、表示の位置が用いられてよい。

また、合成部４２は、合成するに際し、後述の制御情報管理部４３の情報を用いて、合
成するかどうかを決定してもよいが、制御情報管理部４３の情報を用いないで合成しても
よい。前者は、例えば、制御情報管理部４３が管理する情報において、全ての利用者端末
に対して合成した情報を提供するよう設定されている場合は合成してよく、全ての利用者
端末に対して合成しない情報を提供するよう設定されている場合は合成しないでよく、一
の利用者端末に対しては合成した情報を提供し他の利用者端末に対しては合成しない情報
を提供するよう設定されている場合は、合成してよい。なお、最後のケースにおいては、
提供部４４が、合成した情報を提供する設定である利用者端末に対して合成した情報を提
供し、合成しない情報を提供する設定である利用者端末に対して合成しない情報を提供し
てよい。なお、後述のとおり、制御情報は、演出の各情報について、利用者端末毎の各設
定がされる場合があるため、合成される情報のパターンは、種々あってよく、これらは、
制御情報管理部４３の情報を用いて、合成する情報のパターンが設定されてよい。この場
合、利用者端末が要求する合成されるパターンに合わせて合成する情報のパターンが決定
されるため、効率的に合成の処理ができる利点がある。

また、合成部４２は、合成する前に、合成される第１ストリームと第２ストリームの一
方又は両方のストリームのフレームレートを調整する機能を有してよい。例えば、第１情
報源端末から配信される第１のストリームと、第２情報源端末から配信される第２のスト
リームと、が異なる配信環境である場合がある。配信環境の違いは、情報源端末の機能に
よるものであってもよいし、各情報源端末からのネットワークの通信状況によるものであ
ってもよい。合成部がフレームレートを調整する機能を有することにより、ストリームを
配信する情報源端末の機能やネットワーク状況に適切な合成データを生成できる利点があ
る。調整後のフレームレートは、予め定められたフレームレート又は合成部が取得したス
トリームにおいて規定されたフレームレート、と比較して、高いフレームレートであって
もよいし、低いフレームレートであってもよい。また、フレームレートは、予め定められ
た所定の値よりも低いフレームレートとしてもよい。また、フレームレートは、合成され
ることになるストリームの取得情報量と関連付けられた一又は複数の所定の値よりも低い
フレームレートであってよい。ストリームの取得情報量は、単位当たりの情報量や合成さ
れていない累積取得情報量などであってよい。特に、一のストリームの配信に遅延が生じ
る場合、かかる一のストリームのフレームレートを所定の値より低いものに調整して合成
することにより、遅延による低画質の不安定なストリームではなく、フレームレートは低
くても高画質な映像を提供できる利点がある。この場合、合成部４２は、所定の値よりも
低いフレームレートに調整された一のストリームと、他のストリームとを、合成してよい
。

さらに、合成部４２は、合成される第１ストリームと第２ストリームの一方又は両方の
ストリームにおけるデータのうち、端末に応じて、合成しないデータと合成するデータと
を選択し、合成するデータのみ、合成するよう構成されてもよい。ここで、合成しないデ
ータは、例えば、利用者端末において取得済みでのデータや必要でないデータであってよ
い。合成部４２がかかる構成を備える場合、通信量を減少させ、待機時間を高速化できる
利点がある。

また、上述に述べた種々の合成の手法以外に、種々の合成手法を用いてよい。例えば、
合成は、クロマキー技術を用いてよく、合成時に使用するマスキングはクロマキーのよう
な色相をキーにする手法であってもよい。また、合成は、アルファマスクのようなマスク
用の画像メモリを用意して演算してもよい。また、ＰＮＧファイルのように透明情報をフ
ァイルに保存する方法を使用してもよい。ここで、マスクとなる画像メモリは、透過する
かどうかを２値で保存してもよいし、演算コストや画像品質に応じて、４値乃至２５６値
の中間調を利用してもよい。また、合成は、少なくとも二つの対象を、単純に重ね合せる
ものであってもよいし、かかる少なくとも二つの対象の一方又は双方に対して、色相や乗
算のような画像合成アルゴリズムを適用してもよい。なお、合成される対象の一方又は双
方が３Ｄ映像である場合、奥行き情報（デプス）を用いて合成してもよい。なお、個々に
述べた手法は一例であり、その他の一般的な合成手法が用いられてもよい。

３－３．制御情報管理部４３
制御情報管理部４３は、制御情報を管理する機能を有する。情報管理部が管理する情報
は、種々の情報であってよく、例えば、視点制御情報、演出制御情報、などであってよい
。制御情報管理部４３は、図１２のように、制御情報として、種々の情報を記憶してよい
。

＜視点制御情報＞
視点制御情報は、利用者の視点を制御するための情報である。視点制御情報は、利用者
の視点の初期値の設定、利用者の視点の移動の設定、などであってよい。これは、例えば
スポーツゲームなどにおいては、ゲームを観戦する観客がいるところ、それら複数の観客
の中の一の観客を選択して、利用者の視点の初期値を設定したり、それら複数の観客の中
の一の観客を選択して、その観客の視点に移動したり、あるいは、観客ではないゲーム内
の他の箇所に移動する、などを可能とするものである。すなわち、制御情報管理部４３は
、一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に
係る前記ゲーム空間内の視点を変更する、機能を有してよい。

視点制御情報は、ゲーム空間内の視点に係る情報を含んでよい。ゲーム空間内の視点に
係る情報は、視点が変更される利用者を特定する情報と、視点の変更後の箇所を特定する
情報と、を含んでよい。視点が変更される利用者を特定する情報は、利用者に係るＩＤな
どであってもよいし、利用者に係る利用者端末を特定する情報であってもよい。視点の変
更後の箇所は、ゲーム空間内に参加する利用者の視点であってもよいし、ゲーム空間内に
登場するキャラクターの視点であってもよいし、ゲーム空間上の一の箇所であってもよい
。ゲーム空間内に参加する利用者の視点は、ＩＤで特定されてもよいし、ゲーム内で通用
する利用者名などで特定されてよい。また、同様に、ゲーム空間内に登場するキャラクタ
ーは、キャラクター名によって特定されてよく、ゲーム空間上の一の箇所は、ゲーム空間
上の一か所を特定できる情報であってよい。ゲーム空間内に登場するキャラクターとして
、例えば、スポーツゲームなどの競技であれば、観客が挙げられる。観客の位置によって
、ゲームの見え方は異なるものであるため、視点の移動を可能とすることによって、より
利用者がゲームに対して新たな興味を得ることができる利点がある。また、観客ではない
ゲーム内の他のキャラクターとしては、ゲームの審判であったり、ゲームの解説者であっ
たり、ゲーム内で出場を待機しているプレイヤであったり、ゲーム場でプレイをしている
プレイヤなど、ゲームに関連する人々であったりしてもよいし、またこれら以外であって
も、ゲーム場の中央や、ゲーム場の中央の上方、天井カメラ、ゴール裏など、ゲーム空間
上の一点又は領域であってもよい。また、スポーツゲーム等の競技以外の他のゲームにお
いても、登場するプレイヤやその他の特定のゲーム空間上の一点や領域に、視点が移動さ
れる対象が設定されてもよい。ゲームに関連する人々の視点に移動できれば、それぞれ各
ゲームに関連する人々の視点でゲームを楽しむことができる利点があるし、ゲーム空間上
の一点又は領域であれば、通常見ることができない視点からのゲームを楽しむことができ
る利点がある。すなわち、制御情報管理部４３は、一の利用者端末に係るゲーム空間内の
視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変
更してよく、前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端
末以外のゲーム空間上の一の場所の視点に変更してよい。

視点制御情報は、上述のゲームに関連する人々を特定可能な情報であってもよいし、ゲ
ーム空間上の一点又は領域を特定可能な情報であってもよい。

この場合、制御情報管理部４３は、予め、ゲームに係る観客の視点の位置や、ゲーム空
間上の視点を提供可能な位置の選択肢を記憶する機能を有してよい。また、制御情報管理
部４３は、一又は複数の利用者端末に対して、かかる選択肢を送信してよい。また、利用
者端末においては、かかる選択肢の一を選択可能であってよく、かかる選択された一の選
択肢を、制御情報管理部４３に向けて提供してよい。また、制御情報管理部４３は、かか
る選択された一の選択肢を取得し、記憶し、設定してよい。

また、制御情報管理部４３は、視点制御情報と、所定の条件と、を用いて、視点を設定
してもよい。例えば、特定のゲームに関連する人々の視点、ゲーム空間上の一点又は領域
、ゲーム空間上の所定の一点又は領域、に視点を移動する場合、所定の条件を満たしてい
る場合に限り、設定できるよう構成されていてよい。かかる所定の条件は、予め設定され
てよく、制御情報管理部４３は、かかる条件を予め記憶しておいてよい。また、取得部４
１が利用者端末から視点制御情報を取得した場合において、制御情報管理部４３は、視点
制御情報がかかる条件を満たしているか満たしていないかを判定する機能を有してよい。
そして、制御情報管理部４３は、視点制御情報が、かかる条件を満たしている場合に、視
点を移動して設定してよいが、視点制御情報が、かかる条件を満たしていない場合には、
視点の設定をしないでよい。

所定の条件としては、例えば、視点の変更を希望する利用者が、所定のアイテムを有し
ていること、所定の評価点を得られていること、所定のランクであること、所定の視聴時
間を経ていること、所定の価値物を提供したこと、及び／又は、所定量の所定の価値部を
提供したこと、などであってよい。

所定のアイテムを有していることが条件として含まれる場合、視点の変更を希望する利
用者は、かかる所定のアイテムを取得する動機づけとなる利点がある。また、所定の評価
点を得られていたり、所定のランクであることが条件として含まれる場合、視点の変更を
希望する利用者は、かかる評価点を得たり、かかるランクを得たりする動機づけとなる利
点がある。ここで、評価点は、ゲーム内のポイント等を得ることにより得られるものであ
ってよく、ランクは、ゲーム内のポイント等を得ることにより得られる地位のようなもの
であってよい。また、所定の視聴時間は、後述のものであってよい。また、価値物は、ゲ
ーム空間内で価値があるとされるものであればよい。価値があるとは、保持することにメ
リットがあるものであればよく、アイテム、ゲーム内、また、ゲーム空間内における点数
などであってよい。

制御情報管理部４３は、上述のような所定の条件を規定する場合、視点の変更を希望す
る利用者に係る利用者端末と関連付けられている、上述の所定の条件に関連する情報を用
いて、かかる条件の成否を判定してよい。所定の条件に関連する情報は、視点の変更を希
望する利用者に係る利用者端末内に記憶されていてもよいし、制御情報管理部４３内に記
憶されていてもよい。前者であれば、制御情報管理部４３が上述の利用者端末に問い合わ
せ、利用者端末内で条件の成否が判定された情報を、制御情報管理部４３が取得してもよ
いし、制御情報管理部４３が上述の利用者端末に問い合わせ、利用者端末から取得した条
件の成否を判定するのに必要な情報を取得した上で、条件の成否を判定してもよい。ここ
で、条件の成否を判定するのに必要な情報としては、かかる利用者が有するアイテム、評
価点、ランク、視聴時間、価値物、などであってよい。また、視点の変更を希望する利用
者と関連付けて、制御情報管理部４３内に記憶されているアイテム、評価点、ランク、視
聴時間、価値物などを用いて、制御情報管理部４３は、かかる条件の成否を判定してもよ
い。例えば、制御情報管理部４３は、予め定められた利用者端末以外のゲーム空間上の一
の場所の視点に変更は、所定の価値物の提供を条件とするよう構成されてよい。

＜演出制御情報＞
演出制御情報は、利用者端末における出力装置で出力される演出を制御する情報である
。演出は、音、コメント、ギフティング、などが挙げられるため、対応する演出制御情報
は、音制御情報、コメント制御情報、ギフティング制御情報、などが挙げられる。なお、
本願書類において、情報源提供者は演出を行う者を指すことがあり、また、利用者はかか
る演出が出力されて視聴する者を指すことがあり、また、利用者端末はかかる演出を出力
する出力装置を備える端末を指すこともある。

演出制御情報は、グルーピング情報を含んでよい。グルーピング情報は、利用者や情報
源提供者をグループ分けする場合におけるグループ分けに係る情報であってよい。グルー
プ分けに係る情報は、一の利用者や一の情報提供者が、複数のグループのうちのどのグル
ープに属するかに関する情報であってよい。例えば、利用者がａ乃至ｅの５人がいる場合
において、グループとして、ＡとＢグループの二つがいる場合、ａ、ｂ、ｅがＡグループ
、ｃ、ｄがＢグループ、などの情報であってよい。この場合、ａとＡが関連付けられてお
り、ｂとＡが関連付けられており、ｅとＡが関連付けられていてよく、ｃとＢが関連付け
られており、ｄとＢが関連付けられていてよい。ここでは、ＡとＢという二つのグループ
の例を示したが、かかる例はサッカー、野球など二つのチームが競うゲームの場合の例が
挙げられるがこれらに留まらず、二つに分かれて行うゲームにおいて、プレイヤになる場
合や、観客などが考えられる。また、これ以外の３つ以上のグループに分けられる場合、
３つ以上のチームで行うレースゲームなどであってもよいし、上述の二つのチームが競う
ゲームにおいて、審判や観客等であってもよい。なお、グルーピング情報は、複数の利用
者が一のグループに属してもよいし、一の利用者が一のグループに属してもよい。また、
上述では利用者として説明したが、同様に、情報源提供者であってもよい。また、利用者
のグループと、情報源提供者のグループと、があってもよいし、利用者と情報源提供者と
を混合したグループであってもよい。

以下では、説明の便宜上、演出が提供される端末又は演出が提供されない端末について
、利用者端末として説明するが、上述のグルーピングされた一又は複数の利用者端末であ
ってもよい。

演出制御情報は、特定の一の利用者端末に基づく、音、コメント、及び／又は、ギフテ
ィングに係る情報について、特定の他の利用者端末に対して、提供されるか又は提供され
ないかを設定する情報を含んでよい。特定の他の利用者端末に対して提供されない設定の
場合、特定の一の利用者は、特定の他の利用者端末に係る利用者に知られずに、種々の演
出を提供できる利点があり、よりゲームの幅が広がる利点がある。

例えば、音制御情報は、音を、提供しない利用者端末を特定する情報、又は、提供する
利用者端末を特定する情報、を含んでよい。この場合、音情報を提供しない利用者端末又
は提供する利用者端末を特定できるため、よりゲームの幅が広がる利点がある。より具体
的には、演出制御情報が音制御情報であり、提供されない音情報の対象利用者端末として
利用者端末Ａを特定する情報の場合、かかる演出制御情報が設定されると、音情報が、利
用者端末Ａに対して、提供されないようになってよい。

また、音制御情報は、音の情報源たる情報源端末を特定する情報を含んでよい。この場
合、提供される音又は提供されない音について、情報源端末に応じて、設定できる利点が
ある。より具体的には、演出制御情報が音制御情報であり、提供されない音情報の対象利
用者端末として利用者端末Ａを特定する情報であり、提供されない音の情報源端末が情報
源端末Ｘである場合、かかる演出制御情報が設定されると、情報源端末Ｙから取得された
音情報は、利用者端末Ａに対して、提供されるが、情報源端末Ｘから取得された音情報は
、利用者端末Ａに対して、提供されないようになってよい。

同様に、上述の音制御情報に代えて、コメント制御情報、ギフティング制御情報も、対
応する情報を含んでよく、各々対応する情報処理が実行されてよい。

このように、特定の一又は複数の情報源端末に基づく所定の設定がされたギフティング
に係る情報、音、及び／又はコメントは、他の特定の一又は複数の利用者端末に向けて提
供されないものであってよい。また、所定の設定は、一の利用者端末に基づく制御情報に
よって、設定されてよい。

また、上述の演出制御情報は、グルーピング情報と関連付ける情報を含んでよい。演出
制御情報が、提供される又は提供されない利用者端末に係るグルーピング情報と関連付け
る情報を含み、演出制御情報が、かかるグルーピング情報と関連付けられる場合、音、コ
メント、及び／又は、ギフティングに係る情報について、提供されるか又は提供されない
かが設定される利用者端末を、グループで特定できる利点がある。また、同様に、演出制
御情報が、情報源たる情報源端末に係るグルーピング情報と関連付ける情報を含み、演出
制御情報が、かかるグルーピング情報と関連付けられる場合、音、コメント、及び／又は
、ギフティングに係る情報について、情報源たる情報源端末を、グループで特定できる利
点がある。

例えば、演出制御情報は、音制御情報であり、提供されない音情報の対象利用者端末と
して、利用者端末Ａ及びＢのグループを特定する情報の場合、かかる演出制御情報が設定
されると、音情報が、利用者端末Ａ及びＢに対して、提供されないようになってよい。ま
た、演出制御情報は、音制御情報であり、提供されない音情報の対象利用者端末として、
利用者端末Ａ及びＢのグループを特定する情報であり、また、かかる提供されない音の情
報源端末が情報源端末Ｘである場合、かかる演出制御情報が設定されると、情報源端末Ｙ
から取得された音情報は、利用者端末Ａ及びＢに対して、提供されるが、情報源端末Ｘか
ら取得された音情報は、利用者端末Ａ及びＢに対して、提供されないようになってよい。

同様に、上述の音制御情報に代えて、コメント制御情報、ギフティング制御情報も、対
応する情報を含み、各々対応する情報処理が実行されてよい。

また、上述の演出制御情報は、演出をする情報源端末の指定に基づいて設定されてもよ
いし、演出が提供される利用者端末の指定に基づいて設定されてもよい。前者は、例えば
、Ｘが行うギフティングに係る情報を、利用者Ｙに係る端末に対して提供しない、という
演出制御情報を、ギフティングを行うＸに係る情報源端末から、取得する構成である。こ
の場合、上述のように、情報源提供者Ｘは、利用者Ｙに知られずに、ギフティングできる
利点がある。

また、後者は、例えば、情報源提供者Ｘに基づく音を、利用者Ｙに係る利用者端末に対
して、提供しない、という演出制御情報を、利用者Ｙに係る利用者端末から、取得する構
成である。この場合、利用者Ｙは、情報源提供者Ｘからの音を聞かなくなるため、例えば
、利用者Ｙが興味を有していない情報源提供者Ｘからの音を無視したい場合などに、使用
出来る利点がある。

また、制御情報管理部４３は、上述の演出される場合における演出の程度を決定する情
報を記憶してよい。例えば、程度としては、演出が音であれば、音の音量を記憶してよく
、演出がコメントであれば、コメントのテキストに係るフォントの大きさ、色、書体、コ
メントの表示位置などが設定記憶されてよく、演出がギフティングに係る情報であれば、
ギフティング時の演出の手法が記憶されてよい。

また、制御情報管理部４３は、上述の演出の程度に関する情報を、音、コメント、ギフ
ティングの各々について、一又は複数有してよい。また、制御情報管理部４３が、音、コ
メント、ギフティングの各々について、複数の演出の程度に関する情報を有する場合、制
御情報管理部４３は、それらの演出をする場合における各演出の程度を、所定の条件に基
づいて、決定して、提供してよい。

例えば、各演出の程度を決定する所定の条件は、視聴時間、ゲーム空間内の情報源提供
者及び利用者の位置、価値物の支払の有無、価値物の量、またはこれらの組み合わせであ
ってよい。これらは、「利用者属性」ということもある。

視聴時間は、演出に係る情報源提供者が、対象とするアプリケーションを視聴している
時間の長さであってよい。かかる視聴時間は、対象とするアプリケーションの利用をはじ
めて開始した開始時から視聴した合計時間であってもよいし、対象とするアプリケーショ
ンにログアウトした場合において再ログインした時点からの視聴した合計時間であっても
よい。前者の場合は、かかるアプリケーションに対する合計時間を元に演出が決定される
利点があり、後者の場合は、ログインしてからの合計時間を元に演出が決定される利点が
ある。なお、視聴時間は、演出を視聴する側の利用者が、上述と同様に、対象とするアプ
リケーションを視聴している時間の長さであってもよい。

また、各演出の程度が、視聴時間に基づく場合、一の利用者が、対象とするアプリケー
ションを視聴している時間の長さに依存してよい。例えば、演出が声援である場合におい
て、利用者Ａが５時間視聴しており、利用者Ｂが２０時間視聴している場合、利用者Ｂの
声援の音量は、利用者Ａの声援の音量よりも、大きなものに設定されてよい。また、演出
がコメントである場合において、同様に、利用者Ａが１０時間視聴しており、利用者Ｂが
１００時間視聴している場合、利用者Ｂのコメントのフォントの大きさは、利用者Ａのコ
メントのフォントの大きさよりも、大きなものに設定されてよい。また、演出がギフティ
ングである場合において、同様に、利用者Ａが２０時間視聴しており、利用者Ｂが２００
時間視聴している場合、利用者Ｂのギフティングの演出の華やかさは、利用者Ａのギフテ
ィングの演出の華やかさよりも、凝ったもの（例えば、利用者Ｂのギフティング時の表示
よりも利用者Ａのギフティング時の表示は、更に多くの表示がされるなど）に設定されて
よい。

また、各演出の程度は、音、コメント、ギフティングなどの演出される行為を行う情報
源提供者がゲーム空間内にいる位置（本願書類において、かかる位置を「情報源位置」と
いうこともある）と、かかる演出を視聴する利用者がゲーム空間内にいる位置（本願書類
において、かかる位置を「視聴位置」ということもある。）と、の関係に依存してもよい
。かかる関係は、情報源位置と視聴位置との距離であってもよいし、情報源位置と視聴位
置との間の遮蔽物の有無や遮蔽物の遮蔽の程度によってもよい。

例えば、演出が声援である場合において、声援を発する情報源提供者Ｘに係る情報源位
置と、声援を聞く利用者Ａに係る視聴位置との距離が第１の距離であり、かかる情報源提
供者Ｘに係る情報源位置と、声援を聞く利用者Ｂに係る視聴位置との距離が第２の距離で
あり、第１の距離より第２の距離が長い場合、利用者Ｂに係る利用者端末において設定さ
れる声援の音量は、利用者Ａに係る利用者端末において設定される声援の音量よりも、大
きなものに設定されてよい。

同様に、演出が声援である場合において、声援を発する情報源提供者Ｘに係る情報源位
置と、声援を聞く利用者Ａに係る視聴位置との距離が第１の距離であり、声援を発する情
報源提供者Ｙに係る情報源位置と、声援を聞く利用者Ａに係る視聴位置との距離が第２の
距離であり、第１の距離より第２の距離が長い場合、利用者Ａに係る利用者端末において
、情報源提供者Ｘからの声援として設定される声援の音量は、情報源提供者Ｙからの声援
として設定される声援の音量よりも、大きなものに設定されてよい。

また、上述の演出が声援である場合において、かかる音量は、情報源位置と視聴位置と
の距離の長さに応じて、声援の音量の程度が決定されてよい。例えば、情報源位置と視聴
位置との距離が２倍になった場合、声援の音量の程度は、２倍の定数を用いた演算によっ
て算出されるものであってよい。

また、演出がコメントである場合においても、上述と同様に、情報源位置と視聴位置と
の関係に応じて、視聴位置に係る視聴端末において、かかるコメントのフォントが設定さ
れてよい。

また、同様にギフティングにおいても、情報源位置と視聴位置との関係に応じて、視聴
位置に係る視聴端末において、ギフティングの演出の華やかさが設定されてよい。演出の
華やかさには、例えば、予め演出の華やかさの程度について複数のものが定められており
、かかる複数のもののうち、一の演出の華やかさの程度が設定されるものであってもよい
。

また、各演出の程度は、価値物の支払の有無、価値物の支払量などに応じてよい。価値
物は、上述のとおり、ゲーム空間内で価値があるとされるものであればよい。価値がある
とは、保持することにメリットがあるものであればよく、アイテム、ゲーム内、また、ゲ
ーム空間内における点数などであってよい。

例えば、利用者が所定の価値物を支払うことにより、音、コメント、ギフティングにつ
いて、演出の程度を高めることができてよい。この場合、演出制御情報は、音、コメント
、ギフティング等の特定の演出を示す情報と、一の利用者端末を示す情報と、所定の価値
物を支払うことを意図する情報と、を含んでよい。かかる情報により、前記一の利用者端
末に基づく、前記特定の演出について、所定の価値を支払うことにより、演出の程度を高
めることを、制御情報管理部４３は取得することができ、かかる演出制御情報に基づいて
設定してよい。

また、同様に、演出制御情報は、音、コメント、ギフティング等の特定の演出を示す情
報と、一の利用者端末を示す情報と、所定の価値物を支払うことを意図する情報と、支払
われる価値物の量と、を含んでよい。かかる情報により、前記一の利用者端末に基づく、
前記特定の演出について、前記価値物の量についての所定の価値を支払うことにより、演
出の程度を高めることを、制御情報管理部４３は取得することができ、かかる演出制御情
報に基づいて設定してよい。

なお、演出制御情報は、上述のとおり、演出の種類、例えば、音、コメント、ギフティ
ング、という種類毎に設定されてもよいし、演出全体について、設定されてもよい。後者
の場合、各演出を一つの設定として扱えるため、設定が容易である利点がある。

このように、一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメント
が提供される、ものであってよい。一の利用者端末と関連付けられる利用者属性に応じた
程度で、音声又はコメントが提供される、ものであってよく、前記利用者属性は、視聴期
間を含んでよく、前記利用者属性は、ゲーム空間内における場所を含んでよく、前記利用
者属性は、価値物の提供の有無及び／又は提供の程度を含んでよい。

また、演出制御情報は、一の利用者端末における演出を、他の利用者端末における演出
と、異なるものとするよう設定する内容を含んでもよい。演出が異なる例としては、ギフ
ティングの対象を他の利用者端末におけるものの大きさよりも大きくして一の利用者端末
上で表示したり、演出として発生される音を他の利用者端末におけるものの音の大きさよ
りも大きくして発生させたりしてよい。この場合、一の利用者端末が、他の利用者端末よ
りも、演算機能及び／又は記憶機能が高い場合のみ、かかる異なるものとするよう設定さ
れてもよい。この場合、演出制御情報として、利用者端末から情報を取得していない場合
においても、利用者端末の演算機能及び／又は記憶機能が所定の値よりも高い場合に、か
かる異なる演出とする設定であってもよい。また、この場合、かかる利用者端末の演算機
能及び／又は記憶機能の情報は、システムが、利用者端末から予め取得し、かかる情報に
基づいて、異なる演出の情報を、かかる利用者端末に提供するよう構成されてよい。すな
わち、一の利用者端末において提供される一の前記合成データに基づく演出は、他の利用
者端末において提供される前記一の前記合成データに基づく演出と異なる、ものであって
よい。

３－４．提供部４４
提供部４４は、合成部４２で生成されたものを、提供する機能を有する。また、提供部
４４は、合成部４２で生成されたもの、又は、合成部４２で生成されずに取得部４１で取
得されたもの、を制御情報管理部４３内の情報に基づいて、提供してもよい。

提供は、合成する処理を実行する情報処理装置と直接接続された表示装置で表示及び／
又は提供する態様であってもよいし、合成する処理を実行する情報処理装置と直接接続さ
れていない表示装置で表示及び／又は提供する態様であってもよい。前者は、合成部４２
を備える情報処理装置において、合成された情報を提供する態様であってよく、後者は、
合成部４２を備える情報処理装置とは異なる情報処理装置において、合成された情報を提
供する態様であってよい。

４．実施形態に係る情報処理の流れ
４－１．実施形態１
次に、本願発明の一態様である実施形態１に係る情報処理の流れを、図１３を用いて説
明する。実施形態１で説明する形態に係るシステムにおいては、第１情報源端末に係る第
１情報源提供者が第１のアバターとなり、第２情報源端末に係る第２情報源提供者が第２
のアバターとなり、第３情報源端末からゲーム映像が送られ、視聴者は、これらが合成さ
れたものを視聴する状況を対象とする。

ステップ１
一例のシステムは、第１情報源端末から、第１データタイプとして、第１のアバターに
係る第１のモーションを含む第１ストリームを取得する（ステップ００１）。ここで、一
例のシステムは、かかる第１のアバターについての具体的なキャラクターに関する映像の
情報を有してよい。

ステップ２
一例のシステムは、第２情報源端末から、第１データタイプとして、第２のアバターに
係る第２のモーションを含む第２ストリームを取得する（ステップ００２）。ここで、一
例のシステムは、同様に、かかる第２のアバターについての具体的なキャラクターに関す
る映像の情報を有してよい。

ステップ３
一例のシステムは、第３情報源端末から、第２データタイプとして、背景となるゲーム
映像を含む第３ストリームを取得する（ステップ００３）。

ステップ４
一例のシステムは、第１ストリームと、第２ストリームと、第３ストリームと、を合成
する（ステップ００４）。このとき、第１ストリームは、一例のシステム内に格納されて
いる第１のアバターを構成するものと、第１ストリーム内の第１のアバターに係るモーシ
ョンとを合成して、動きのある第１のアバターとした上で、他のストリームと合成されて
よい。同様に、第２ストリームは、一例のシステム内に格納されている第２のアバターを
構成するものと、第２ストリーム内の第２のアバターに係るモーションとを合成して、動
きのある第２のアバターとした上で、他のストリームと合成されてよい。また、これらの
合成の順序は、どのような順序であってもよい。

ステップ５
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する（ステップ
００５）。

４－２．実施形態２
次に、本願発明の一態様である実施形態２に係る情報処理の流れを、図１４を用いて説
明する。実施形態２で説明する形態に係るシステムにおいては、第１情報源提供者が第１
のアバターとなり、第１情報源端末は、かかる第１情報源提供者に係るモーションとゲー
ム映像を取得し、視聴者は、これらが合成されたものを視聴する状況を対象とする。なお
、一例のシステムは、ゲーム映像とかかる第１情報源提供者の場所的関係は、中間生成情
報としての奥行情報を取得する。

ステップ１
第１情報源提供者が第１のアバターとして動いている状況を、第１情報源端末は、第１
のアバターのモーションとして、取得する（ステップ００１）。第１情報源端末は、第１
情報源提供者の動きとしてのモーションは、第１情報源提供者の身体に備えられたセンサ
ーを通して取得してもよいし、第１情報源提供者の動きを撮像した撮像装置を分析によっ
て取得してもよい。

ステップ２
一例のシステムは、第１情報源端末から、第１データタイプとして、第１のアバターに
係る第１のモーションを含む第１ストリームを取得する（ステップ００２）。なお、一例
のシステムは、かかる第１のアバターについての具体的なキャラクターに関する映像の情
報を有してよい。

ステップ３
一例のシステムは、第１情報源端末から、第２データタイプとして、ゲーム映像を含む
第２ストリームを取得する（ステップ００３）。なお、第１情報源提供者は、ゲーム映像
を前にして、例えば、ゲームの実況中継を行う状況が考えられる。

ステップ４
一例のシステムは、第１情報源端末から、第１データタイプとして、上述のゲーム映像
と第１アバターの場所的関係である奥行情報を含む第３ストリームを、取得する（ステッ
プ００４）。ここで、奥行情報は、第１アバターの奥行情報と、ゲーム映像の奥行情報と
、のセットであってもよいし、ゲーム映像の奥行情報と第１アバターの奥行情報の差分情
報であってもよい。また後者の場合、どちらが前面であるかを示す情報も追加されていて
よい。

ステップ５
一例のシステムは、第１ストリームと、第２ストリームと、を合成する（ステップ００
５）。ここで、合成部４２は、第３ストリームに含まれる奥行情報を用いて、合成してよ
い。例えば、第１情報源提供者は、ゲームの実況中継中、ゲーム映像の背後に回ったり、
前面を動いたりする場合が考えられる。第１情報源提供者が演じるアバターがゲーム映像
の背後に回った場合、かかるアバターはゲーム映像で見えなくなるものであるため、合成
部４２は、奥行情報を用いて、第３ストリームに含まれる奥行情報を用いて、上述のよう
な見えなくなるものについては、第１ストリームと、第２ストリームとを、合成しないも
のとしてよい。この場合、合成処理の負担が軽減できる利点がある。

ステップ６
一例のシステムは、合成されたものを、利用者に係る利用者端末に提供する（ステップ
００６）。

なお、上述の構成に代えて、ステップ４において、第１情報源端末は、奥行情報を用い
て、奥側となる映像に係るものを、一例のシステムに送らないよう構成されてもよい。具
体的には、第１情報源提供者が演じるアバターがゲーム映像の背後にいて見えない者であ
る場合など、奥行情報に係る第３ストリームを用いて、第１ストリームが第２ストリーム
で隠れてしまうなど合成されないストリームであると判定した場合、第１情報源端末は、
第１ストリームを一例のシステムに送らないよう構成されてもよい。この場合、そもそも
、合成されない第１ストリームが送信されないため、第１情報源端末から合成部４２を含
む一例のシステムへの通信経路の情報を減少できる利点がある。

４－３．実施形態３
次に、本願発明の一態様である実施形態３に係る情報処理の流れを、図１５を用いて説
明する。実施形態３で説明する形態に係るシステムにおいては、第１情報源提供者が第１
のアバターを演じ、第１情報源端末は、かかる第１情報源提供者に係るモーションを取得
し、サーバにおいて、映像とかかる第１のアバターが合成されたものを、視聴者（利用者
）が視聴する状況を対象とする。また、利用者は、Ａ、Ｂ、Ｃの３者がおり、各々が利用
する端末を、利用者端末Ａ、利用者端末Ｂ、利用者端末Ｃ、とする。Ａは、ギフティング
をＣに公開しない設定としたうえでギフティングを行うとする。ここで、利用者端末Ａは
、情報源端末であってよい。また、利用者端末Ａの視点は、その視点を利用者端末Ｂのも
のに変更するものとする。

ステップ１
第１情報源提供者が第１のアバターを演じる状況について、一例のシステムは、第１情
報源端末から、第１のアバターに係るモーションを含む第１ストリームを取得し、映像と
合成する（ステップ００１）。

ステップ２
一例のシステムは、映像と第１のアバターに係るモーションとの合成されたものを、利
用者端末Ａ、Ｂ、Ｃ、に各々送る（ステップ００２）。

ステップ３
一例のシステムは、利用者端末Ａのギフティングが利用者端末Ｃに通知されないことを
内容とするギフティング制御情報を、利用者端末Ａから、取得する（ステップ００３）。
かかるギフティング制御情報は、通知されないギフティングとして利用者Ａに係ることが
含まれてよい。また、ギフティング制御情報は、ギフティングが通知されない相手として
、利用者端末Ｃを含んでもよいし、利用者端末Ｃを含むグループを含むものであってもよ
い。また、通知されないギフティングが、利用者端末Ａに基づくギフティングであること
は、利用者端末Ａから通知されたギフティング制御情報であることによって特定されても
よい。

ステップ４
一例のシステムは、かかるギフティング制御情報を用いて、利用者端末Ａのギフティン
グは、利用者端末Ｂに通知されないことを設定する（ステップ００４）。

ステップ５
一例のシステムは、利用者端末Ａから、ギフティングを行う旨のギフティングに係る情
報を含む第２ストリームを取得する（ステップ００５）。

ステップ６
一例のシステムは、利用者端末Ｂに対しては、ギフティングに係る情報と、上述の合成
されたものと、を合成したものを送り、利用者端末Ｃに対しては、ギフティングに係る情
報が合成されていない、上述の合成されたもののみを送る（ステップ００６）。

ステップ７
一例のシステムは、利用者端末Ａから、利用者端末Ａの視点を利用者端末Ｂの視点に変
更することを内容とする視点制御情報を取得する（ステップ００７）。

ステップ８
一例のシステムは、かかる視点制御情報に基づいて、利用者端末Ａの視点を、利用者端
末Ｂの視点に変更する設定をする（ステップ００８）。

ステップ９
一例のシステムは、利用者端末Ａに対し、利用者端末Ｂの視点の映像を提供する（ステ
ップ００９）。

また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又
はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一
部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータ
に実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されて
よい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。

本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明さ
れた種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用で
きることはいうまでもない。

１ システム
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 合成部
４３ 制御情報管理部
４４ 提供部
５１Ａ、５１Ｂ 情報源端末
５２Ａ、５２Ｂ 利用者端末

本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。以下、当初明細書に記載のクレームを引き写す。
［１］
コンピュータプログラムであって、
プロセッサにより実行されることにより、
モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、
前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするコンピュータプログラム。

［２］
前記第１データタイプは、前記映像に係る中間生成情報を含む、
［１］に記載のコンピュータプログラム。

［３］
前記中間生成情報は、前記映像に係る奥行情報を含む、
［２］に記載のコンピュータプログラム。

［４］
前記第２データタイプの第３ストリームを取得し、
前記合成されたデータと前記第３ストリームを合成する、
［１］乃至［３］のいずれか１項に記載のコンピュータプログラム。

［５］
前記第１データタイプの第４ストリームを取得し、
前記合成されたデータと前記第４ストリームとを合成する、
［１］乃至［３］のいずれか１項に記載のコンピュータプログラム。

［６］
前記第１ストリーム及び前記第２ストリームは、各々、時間情報を含み、
前記第１ストリームに係る時間情報と、前記第２ストリームに係る時間情報と、を所定の関係に調整して、前記第１ストリームと前記第２ストリームとを合成する、
［１］乃至［５］のいずれか１項に記載のコンピュータプログラム。

［７］
前記合成を、サーバで行う、
［１］乃至［６］のいずれかに記載のコンピュータプログラム。

［８］
前記第１ストリームを、第１情報源端末から取得し、
前記第２ストリームを、第２情報源端末から取得し、
前記合成を、前記第１情報源端末又は前記第２情報源端末で行う、
［１］乃至［６］のいずれか１項に記載のコンピュータプログラム。

［９］
前記合成を、利用者端末で行い、前記合成されたデータを前記利用者端末で提供する、
［１］乃至［６］のいずれかに記載のコンピュータプログラム。

［１０］
前記合成されたデータを、一又は複数の利用者端末へ向けて提供する、
［１］乃至［８］のいずれかに記載のコンピュータプログラム。

［１１］
一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に係る前記ゲーム空間内の視点を変更する、
［１］乃至［１０］のいずれかに記載のコンピュータプログラム。

［１２］
前記一の利用者端末に係る前記ゲーム空間内の視点を、予め定められた利用者端末のいずれか一の利用者に係るゲーム空間内の視点に変更する、
［１１］に記載のコンピュータプログラム。

［１３］
前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更する、
［１１］に記載のコンピュータプログラム。

［１４］
前記予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更は、所定の価値物の提供を条件とする、
［１３］に記載のコンピュータプログラム。

［１５］
一の利用者端末において提供される一の前記合成されたデータに基づく演出は、他の利用者端末において提供される前記一の前記合成されたデータに基づく演出と異なる、
［１］乃至［１４］のいずれかに記載のコンピュータプログラム。

［１６］
前記第１データタイプは、ギフティングに係る情報を含み、
前記第２データタイプは、動画配信される映像を含み、
前記合成は、前記動画配信される映像に前記ギフティングに係る情報が反映されることを含む、
［１］乃至［１５］のいずれか１項に記載のコンピュータプログラム。

［１７］
特定の一又は複数の情報源端末に基づく所定の設定がされたギフティングに係る情報、音、及び／又はコメントは、他の特定の一又は複数の利用者端末に向けて提供されない、
［１］乃至［１５］のいずれかに記載のコンピュータプログラム。

［１８］
前記所定の設定は、一の利用者端末に基づく制御情報によって、設定される、
［１７］に記載のコンピュータプログラム。


［１９］
一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメントが提供される、
［１］乃至［１８］のいずれかに記載のコンピュータプログラム。

［２０］
一の利用者端末と関連付けられる利用者属性に応じた程度で、音声又はコメントが提供される、
［１］乃至［１９］のいずれかに記載のコンピュータプログラム。

［２１］
前記利用者属性は、視聴期間を含む、
［１９］又は［２０］のいずれかに記載のコンピュータプログラム。

［２２］
前記利用者属性は、ゲーム空間内における場所を含む、
［１９］乃至［２１］のいずれかに記載のコンピュータプログラム。

［２３］
前記利用者属性は、価値物の提供の有無及び／又は提供の程度を含む、
［１９］乃至［２２］のいずれかに記載のコンピュータプログラム。

［２４］
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
［１］乃至［２３］のいずれかに記載のコンピュータプログラム。

［２５］
前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、
［１］乃至［２４］のいずれかに記載のコンピュータプログラム。

［２６］
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、
映像を含む第２データタイプの第２ストリームを取得し、
前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とするサーバ装置。

［２７］
前記第１データタイプは、前記映像に係る中間生成情報を含む、
［２６］に記載のサーバ装置。

［２８］
プロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、
映像を含む第２データタイプの第２ストリームを取得し、
前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする端末装置。

［２９］
前記第１データタイプは、前記映像に係る中間生成情報を含む、
［２８］に記載の端末装置。

［３０］
コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイプの第１ストリームを取得し、
映像を含む第２データタイプの第２ストリームを取得し、
前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
前記合成されたデータを提供する、
ことを特徴とする方法。

［３１］
前記第１データタイプは、前記映像に係る中間生成情報を含む、
［３０］に記載の方法。

Claims (31)

1. コンピュータプログラムであって、
   プロセッサにより実行されることにより、
   モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタイ
   プの第１ストリームを取得し、映像を含む第２データタイプの第２ストリームを取得し、
   前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
   前記合成されたデータを提供する、
   ことを特徴とするコンピュータプログラム。
2. 前記第１データタイプは、前記映像に係る中間生成情報を含む、
   請求項１に記載のコンピュータプログラム。
3. 前記中間生成情報は、前記映像に係る奥行情報を含む、
   請求項２に記載のコンピュータプログラム。
4. 前記第２データタイプの第３ストリームを取得し、
   前記合成されたデータと前記第３ストリームを合成する、
   請求項１乃至３のいずれか１項に記載のコンピュータプログラム。
5. 前記第１データタイプの第４ストリームを取得し、
   前記合成されたデータと前記第４ストリームとを合成する、
   請求項１乃至３のいずれか１項に記載のコンピュータプログラム。
6. 前記第１ストリーム及び前記第２ストリームは、各々、時間情報を含み、
   前記第１ストリームに係る時間情報と、前記第２ストリームに係る時間情報と、を所定
   の関係に調整して、前記第１ストリームと前記第２ストリームとを合成する、
   請求項１乃至５のいずれか１項に記載のコンピュータプログラム。
7. 前記合成を、サーバで行う、
   請求項１乃至６のいずれか１項に記載のコンピュータプログラム。
8. 前記第１ストリームを、第１情報源端末から取得し、
   前記第２ストリームを、第２情報源端末から取得し、
   前記合成を、前記第１情報源端末又は前記第２情報源端末で行う、
   請求項１乃至６のいずれか１項に記載のコンピュータプログラム。
9. 前記合成を、利用者端末で行い、前記合成されたデータを前記利用者端末で提供する、
   請求項１乃至６のいずれか１項に記載のコンピュータプログラム。
10. 前記合成されたデータを、一又は複数の利用者端末へ向けて提供する、
    請求項１乃至８のいずれか１項に記載のコンピュータプログラム。
11. 一の利用者端末から、ゲーム空間内の視点に係る情報を取得し、前記一の利用者端末に
    係る前記ゲーム空間内の視点を変更する、
    請求項１乃至１０のいずれか１項に記載のコンピュータプログラム。
12. 前記一の利用者端末に係る前記ゲーム空間内の視点を、予め定められた利用者端末のい
    ずれか一の利用者に係るゲーム空間内の視点に変更する、
    請求項１１に記載のコンピュータプログラム。
13. 前記一の利用者端末に係るゲーム空間内の視点を、予め定められた利用者端末以外のゲ
    ーム空間上の一の場所の視点に変更する、
    請求項１１に記載のコンピュータプログラム。
14. 前記予め定められた利用者端末以外のゲーム空間上の一の場所の視点に変更は、所定の
    価値物の提供を条件とする、
    請求項１３に記載のコンピュータプログラム。
15. 一の利用者端末において提供される一の前記合成されたデータに基づく演出は、他の利
    用者端末において提供される前記一の前記合成されたデータに基づく演出と異なる、
    請求項１乃至１４のいずれか１項に記載のコンピュータプログラム。
16. 前記第１データタイプは、ギフティングに係る情報を含み、
    前記第２データタイプは、動画配信される映像を含み、
    前記合成は、前記動画配信される映像に前記ギフティングに係る情報が反映されること
    を含む、
    請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
17. 特定の一又は複数の情報源端末に基づく所定の設定がされたギフティングに係る情報、
    音、及び／又はコメントは、他の特定の一又は複数の利用者端末に向けて提供されない、
    請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
18. 前記所定の設定は、一の利用者端末に基づく制御情報によって、設定される、
    請求項１７に記載のコンピュータプログラム。
19. 一の利用者端末と関連付けられる利用者属性に応じて、音声又はコメントが提供される
    、
    請求項１乃至１８のいずれか１項に記載のコンピュータプログラム。
20. 一の利用者端末と関連付けられる利用者属性に応じた程度で、音声又はコメントが提供
    される、
    請求項１乃至１９のいずれか１項に記載のコンピュータプログラム。
21. 前記利用者属性は、視聴期間を含む、
    請求項１９又は２０のいずれか１項に記載のコンピュータプログラム。
22. 前記利用者属性は、ゲーム空間内における場所を含む、
    請求項１９乃至２１のいずれか１項に記載のコンピュータプログラム。
23. 前記利用者属性は、価値物の提供の有無及び／又は提供の程度を含む、
    請求項１９乃至２２のいずれか１項に記載のコンピュータプログラム。
24. 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックス
    プロセッシングユニット（ＧＰＵ）である、
    請求項１乃至２３のいずれか１項に記載のコンピュータプログラム。
25. 前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュー
    タに搭載される、
    請求項１乃至２４のいずれか１項に記載のコンピュータプログラム。
26. プロセッサを具備し、
    前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
    モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタ
    イプの第１ストリームを取得し、
    映像を含む第２データタイプの第２ストリームを取得し、
    前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
    前記合成されたデータを提供する、
    ことを特徴とするサーバ装置。
27. 前記第１データタイプは、前記映像に係る中間生成情報を含む、
    請求項２６に記載のサーバ装置。
28. プロセッサを具備し、
    前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
    モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタ
    イプの第１ストリームを取得し、
    映像を含む第２データタイプの第２ストリームを取得し、
    前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
    前記合成されたデータを提供する、
    ことを特徴とする端末装置。
29. 前記第１データタイプは、前記映像に係る中間生成情報を含む、
    請求項２８に記載の端末装置。
30. コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法で
    あって、
    前記プロセッサが、前記命令を実行することにより、
    モーション、音、コメント、及び／又は、ギフティングに係る情報を含む第１データタ
    イプの第１ストリームを取得し、
    映像を含む第２データタイプの第２ストリームを取得し、
    前記第１ストリームに係るデータと前記第２ストリームに係るデータとを合成し、
    前記合成されたデータを提供する、
    ことを特徴とする方法。
31. 前記第１データタイプは、前記映像に係る中間生成情報を含む、
    請求項３０に記載の方法。

Images