JP2023065288A - Information processing program and information processing system - Google Patents
Information processing program and information processing system Download PDFInfo
- Publication number
- JP2023065288A JP2023065288A JP2022006589A JP2022006589A JP2023065288A JP 2023065288 A JP2023065288 A JP 2023065288A JP 2022006589 A JP2022006589 A JP 2022006589A JP 2022006589 A JP2022006589 A JP 2022006589A JP 2023065288 A JP2023065288 A JP 2023065288A
- Authority
- JP
- Japan
- Prior art keywords
- distributor
- avatar
- user
- display area
- video distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 112
- 238000009826 distribution Methods 0.000 claims description 305
- 230000000694 effects Effects 0.000 claims description 77
- 230000033001 locomotion Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 230000008054 signal transmission Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 71
- 230000000875 corresponding effect Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 21
- 230000009471 action Effects 0.000 description 17
- 238000009877 rendering Methods 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 206010011469 Crying Diseases 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明の実施形態の少なくとも1つは、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムに関する。 At least one embodiment of the present invention relates to an information processing program and an information processing system for realizing interactive communication using avatars in video distribution.
従来、通信ネットワークを介したユーザ間のコミュニケーションにおいて、ユーザの分身として機能するいわゆるアバターが用いられてきた。アバターは、簡易なアイコンで表現されるもののほか、人型のキャラクタなどによって表現されるものが存在する。アバターは、ユーザの好みに応じてカスタマイズ可能としている場合も多く、ユーザ毎にカスタマイズしたアバターによって個性を表現するともに、他者との区別を容易にする機能を担っている。 Conventionally, so-called avatars functioning as users' alter ego have been used in communication between users via a communication network. Avatars include those represented by simple icons and those represented by humanoid characters. In many cases, avatars can be customized according to user's preferences, and the avatars customized for each user express individuality and have the function of facilitating distinction from others.
ここで、例えば、特許文献1には、他のユーザの行動に少なくとも基づく所定のパラメータ(例えば、特別アイテムの提供数、親密度情報等)の値に応じてアバターの表示態様を変化させるようにすることで、ユーザ自身の行動のみに起因して表示態様が変化する場合と比較してアバターに対する興趣の低下を抑制し得る構成が開示されている。 Here, for example, in Patent Literature 1, the display mode of the avatar is changed according to the value of a predetermined parameter (for example, the number of special items provided, familiarity information, etc.) based at least on the behavior of other users. By doing so, a configuration is disclosed that is capable of suppressing a decrease in interest in the avatar compared to the case where the display mode changes only due to the user's own actions.
ところで、SNSやビデオゲームにおいてアバターが利用されてきたが、近年、動画配信をアバターによって行いたいというニーズが存在する。動画配信は、配信者が撮影した動画をサーバ経由で視聴者に提供する形態で実現されるが、近年は、視聴者からのコメントの送信や金銭に相当するポイントの寄付など、双方向のコミュニケーションが実現されつつある。動画配信における双方向のコミュニケーションの一態様としてアバターを用いたコミュニケーションが望まれている。 By the way, avatars have been used in SNS and video games, but in recent years, there is a need to perform video distribution using avatars. Video distribution is realized by providing videos shot by the distributor to viewers via a server, but in recent years, two-way communication such as sending comments from viewers and donating points equivalent to money is being realized. Communication using avatars is desired as one mode of two-way communication in video distribution.
本発明の少なくとも1つの実施形態の目的は、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムを提供することである。 An object of at least one embodiment of the present invention is to provide an information processing program and an information processing system for realizing interactive communication using avatars in video distribution.
非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、前記サーバに、前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。 From a non-limiting point of view, an information processing program according to an embodiment of the present invention is an information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). An information processing program, comprising: a distributor display function for causing the server to receive, from a distributor terminal, photographed video data obtained by photographing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen; A broadcaster avatar display function for displaying an operable broadcaster avatar in a broadcaster avatar display area set on the video distribution screen based on input operation information from the broadcaster, and a user receiving and watching the video distribution. and a user avatar display function for displaying a user avatar corresponding to the user avatar, which can be operated based on user input operation information transmitted from the user terminal, in the user avatar display area set on the video distribution screen. and a moving image distribution screen transmission function for transmitting the moving image distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the distribution of the moving image. It is characterized by
非限定的な観点によると、本発明の一実施形態に係る情報処理システムは、通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段とを含むことを特徴とする。 From a non-limiting point of view, an information processing system according to an embodiment of the present invention includes a communication network, a server, a distributor terminal, and a user terminal, and real-time video distribution by a video distributor (hereinafter referred to as distributor). 1. An information processing system for performing processing for controlling a video distribution screen of video distribution, wherein the distributor receives captured video data obtained by filming the video of the distributor from the distributor terminal and sets it on the video distribution screen. Distributor display means for displaying in a display area; Distributor avatar display means for displaying in a distributor avatar display area set on the video distribution screen a distributor avatar operable based on input operation information from the distributor. setting, on the video distribution screen, user avatars corresponding to respective users who receive and view the video distribution and are operable based on user input operation information transmitted from the user terminal; a user avatar display means for displaying in the user avatar display area, the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area; and video distribution screen transmission means for transmitting to.
非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、前記配信者端末に、前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。 From a non-limiting point of view, an information processing program according to an embodiment of the present invention causes a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). a distributor display function for displaying, on the distributor terminal, captured video data obtained by capturing a video of the distributor in a distributor display area set on the video distribution screen; a broadcaster avatar display function for displaying an operable broadcaster avatar in a broadcaster avatar display area set on the video distribution screen based on the input operation information of the above; a user avatar display function for displaying a user avatar that can be operated based on user input operation information transmitted from a user terminal in a user avatar display area set on the video distribution screen; a moving image distribution screen transmission function for transmitting the moving image distribution screen including the broadcaster display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the moving image distribution. Characterized by
本願の各実施形態により1または2以上の不足が解決される。 Embodiments of the present application address one or more deficiencies.
以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings. It should be noted that the various constituent elements in the examples of the embodiments described below can be appropriately combined within a range that does not cause contradiction or the like. Also, the content described as an example of a certain embodiment may be omitted in other embodiments. Further, the contents of operations and processes that are not related to the features of each embodiment may be omitted. Furthermore, the order of various processes constituting various flows described below is random as long as there is no contradiction in the processing contents.
[第1の実施形態]
図1は、本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。図1に示すように、情報処理システム100は、情報処理サーバ10(サーバ10)と、情報処理システム100において動画配信を行う動画配信者が使用する配信者端末20と、情報処理システム100のユーザが使用するユーザ端末(30,301~30N(Nは任意の整数)とを含む。なお、情報処理システム100の構成はこれに限定されず、複数の配信者端末20が同時に参加する構成としてもよいし、単一のユーザ端末を複数のユーザが使用する構成としてもよいし、複数のサーバを備える構成としてもよい。
[First embodiment]
FIG. 1 is a block diagram showing an example of the configuration of an information processing system corresponding to at least one embodiment of the invention. As shown in FIG. 1, an information processing system 100 includes an information processing server 10 (server 10), a
サーバ10と配信者端末20と複数のユーザ端末30,301~30Nは、それぞれインターネットなどの通信ネットワーク40に接続されている。なお、図示しないが、配信者端末20と複数のユーザ端末30,301~30Nは、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク40と接続する。
The
情報処理システム100は、サーバ10と配信者端末20と複数のユーザ端末30,301~30Nとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。
The information processing system 100 includes a
サーバ10は、情報処理システム100の管理者によって管理され、配信者端末20、複数のユーザ端末30,301~30Nに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ10は、WWWサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。サーバ10の構成は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えていれば特に限定されない。以下、サーバ10のハードウェア構成の例について簡単に説明する。
The
図1に示すように、サーバ10は、CPU(Central Processing Unit)101と、メモリ102と、記憶装置103とを少なくとも備える。
As shown in FIG. 1 , the
CPU101は、各種の演算および制御を行う中央処理装置である。また、サーバ10がGPU(Graphics Processing Unit)を備える場合には、各種の演算および制御の一部をGPUによって行うようにしてもよい。サーバ10は、適宜メモリ102に読み出したデータを用いて動画配信の制御に必要な各種の情報処理をCPU101にて実行し、得られた処理結果を必要に応じて記憶装置103に記憶させる。
A
記憶装置103は、各種情報を格納する記憶媒体としての機能を有する。記憶装置103の構成は特に限定されないが、配信者端末20、複数のユーザ端末30,301~30Nそれぞれにかかる処理負荷を軽減させるといった観点から、動画配信の制御に必要な各種情報を全て記憶可能な構成であることが好ましい。このような例には、HDDやSSDがある。ただし、各種情報を記憶する記憶部は、サーバ10がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ10の外部に有する構成とされていてもよい。
The
図2は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図2に示すサーバ10Aは、サーバの構成の一例を示すブロック図である。図2に示すように、サーバ10Aは、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14とを少なくとも備える。
FIG. 2 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. The
配信者表示部11は、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末20が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部11では、配信者端末20から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。
The
配信者アバター表示部12は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末20を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末20に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部12では、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。
The distributor
ユーザアバター表示部13は、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末30を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末30に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部13では、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。
The user
動画配信画面送信部14は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部11の制御に基づいて生成された配信者表示領域、配信者アバター表示部12の制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部13の制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末20とユーザ端末30,301~30Nが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。
The moving picture distribution
配信者端末20は、配信者によって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、PDA(Personal Digital Assistants)、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク40に接続可能なデバイスによって構成される。また、配信者は自信を撮影した撮影動画データを配信者端末20を介してサーバ10に送信する必要があるため、配信者端末20がカメラ装置を備えているか、配信者端末20に対して外付けのカメラ装置を接続して利用する必要がある。
The
複数のユーザ端末30,301~30Nは、それぞれ、ユーザによって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、PDA(Personal Digital Assistants)、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク40に接続可能なデバイスによって構成される。また、ユーザ端末30,301~30Nは、サーバ10から送信される動画配信画面を受信して表示するための表示部を備えている必要がある。
A plurality of
また、配信者端末20、複数のユーザ端末30,301~30Nは、それぞれ、通信ネットワーク40に接続し、サーバ10との通信を行うことにより各種処理を実行するためのハードウェア及びソフトウェアを備える。なお、配信者端末20、複数のユーザ端末30,301~30Nそれぞれは、サーバ10を介さずに互いに直接通信を行うこともできる構成とされていてもよい。
Further, the
次に、本例の情報処理システム100(システム100)の動作について説明する。 Next, the operation of the information processing system 100 (system 100) of this example will be described.
図3は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Aと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。
FIG. 3 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Aは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS11)。次に、サーバ10Aは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS12)。次に、サーバ10Aは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS13)。次に、サーバ10Aは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS14)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS15)、処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
図4は、本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ側の動作の例を示すフローチャートである。ここでは、システム100におけるサーバ10Aの動作について改めて説明する。
FIG. 4 is a flowchart illustrating an example of server-side operations in information processing corresponding to at least one embodiment of the present invention. Here, the operation of the
動画配信が開始されると、サーバ10Aは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS101)。次に、サーバ10Aは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS102)。次に、サーバ10Aは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS103)。そして、サーバ10Aは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して(ステップS104)、処理を終了する。
When moving image distribution is started, the
図5は、本発明の実施形態の少なくとも一つに対応する情報処理における配信者端末側の動作の例を示すフローチャートである。以下、配信者端末20が、単体で情報処理を実行する場合を例にして説明する。なお、配信者端末20の構成については、サーバ10から各種情報を受信することを除きサーバ10の構成と同様の機能を備えるものであるため、重複説明を避ける観点から記載を省略する。また、以下においては配信者端末20において情報処理を実行する場合を例に説明を行うが、同様の情報処理をユーザ端末30において実行するようにしてもよい。
FIG. 5 is a flow chart showing an example of the operation of the distributor terminal in information processing corresponding to at least one embodiment of the present invention. A case where the
情報処理が開始されると、配信者端末20は、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS201)。次に、配信者端末20は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS202)。次に、配信者端末20は、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS203)。そして、配信者端末20は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して(ステップS204)、処理を終了する。
When information processing is started, the
以上に説明したように、第1の実施形態の一側面として、サーバ10Aが、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14とを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。
As described above, as one aspect of the first embodiment, the
すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。 That is, a broadcaster avatar display area for displaying a broadcaster avatar that can be operated based on the input operation of the broadcaster and a user avatar display area for displaying a user avatar that can be operated based on the input operation by the user are displayed on the video distribution screen. By setting it to , each avatar can be operated by each and communication can be achieved. In addition, since the distributor display area is provided, the user can observe the distributor who has seen the action that the user avatar has performed, and the distributor's reaction to the user avatar operated by the user can be observed. can also be observed.
[第2の実施形態]
図6は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図6を用いて、情報処理サーバ10の例である情報処理サーバ10B(サーバ10B)について説明する。本例において、サーバ10Bは、配信者表示部11と、配信者アバター表示部12Bと、ユーザアバター表示部13と、動画配信画面送信部14とを少なくとも備える。
[Second embodiment]
FIG. 6 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An
配信者アバター表示部12Bは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。
The distributor
ここで、モーションキャプチャ手段とは、配信者の身体動作(モーション)を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部12Bでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。
Here, the motion capture means means means for detecting body movements (motions) of the distributor and acquiring them as input operation information. Any means may be used as long as it can detect the body motion of the distributor who is the target of the input operation information. As an example, there is a method of detecting the body movement of the broadcaster by image analysis of the captured video data of the broadcaster taken with a camera device, and a method of attaching a sensor to a predetermined part of the body of the broadcaster and detecting the displacement of the sensor. For example, a method of detecting the body movement of the broadcaster by using In the case of the method of image analysis of captured moving image data, the captured moving image data may be used as it is for display in the distributor display area, or a camera device dedicated to motion capture means may be provided separately and captured moving image data may be used. may be obtained. As for the operation of the broadcaster avatar, it is conceivable that some action is associated with a predetermined body motion of the broadcaster and registered in advance, and the registered action is executed. A configuration in which a distributor avatar is made to execute is also conceivable. In this distributor
図7は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Bと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10B、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
FIG. 7 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Bは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS21)。次に、サーバ10Bは、配信者の身体動作に基づいて操作され得る配信者アバターを配信者アバター表示領域に表示させる(ステップS22)。次に、サーバ10Bは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS23)。次に、サーバ10Bは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS24)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS25)、処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
以上に説明したように、第2の実施形態の一側面として、サーバ10Bが、配信者表示部11と、配信者アバター表示部12Bと、ユーザアバター表示部13と、動画配信画面送信部14とを備え、このうちの配信者アバター表示部12Bにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。
As described above, as one aspect of the second embodiment, the
すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。 In other words, in a situation where the user watching the video distribution can observe the distributor displayed in the distributor display area and the distributor avatar displayed in the distributor avatar display area at the same time, the distributor has some kind of body. Since it is possible to simultaneously observe the motion and the broadcaster avatar that is operated based on the body movements, it is possible to observe the broadcaster avatar being operated in real time by the body movements of the broadcaster. It is possible to realize more real-time communication.
[第3の実施形態]
図8は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図8を用いて、情報処理サーバ10の例である情報処理サーバ10C(サーバ10C)について説明する。本例において、サーバ10Cは、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14と、特典付与部15とを少なくとも備える。
[Third Embodiment]
FIG. 8 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An
特典付与部15は、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する機能を有する。
The
ここで、特典とは、配信者の選択したユーザアバターに対応づいているユーザが何らかの恩恵を受ける処理のことをいう。特典は、その特典を付与されるユーザが何らかの恩恵を感じることができればどのような内容であってもよい。特典の一例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。ユーザに対する特典付与のタイミングは適宜設定し得る事項である。 Here, the benefit means processing in which a user corresponding to the user avatar selected by the distributor receives some kind of benefit. The privilege may have any content as long as the user to whom the privilege is given can feel some kind of benefit. Examples of benefits include the provision of items that can be worn by the user avatar, the provision of the right for the user avatar and the distributor avatar to co-star in the same space, and the privilege of delivering goods to the user at a later date. The timing of granting the privilege to the user is a matter that can be set as appropriate.
図9は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Cと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10C、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
FIG. 9 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Cは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS31)。次に、サーバ10Cは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS32)。次に、サーバ10Cは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS33)。次に、サーバ10Cは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS34)。次に、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる(ステップS35)。そして、サーバ10Cは、配信者からの特典付与対象の選択を受付け、対象となったユーザに特典を付与して(ステップS36)、処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
以上に説明したように、第3の実施形態の一側面として、サーバ10Cが、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14と、特典付与部15とを備え、このうちの特典付与部15において、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与するようにしたので、動画配信において配信者からユーザに対するコミュニケーション手段の1つとして特典の付与を利用することが可能となる。
As described above, as one aspect of the third embodiment, the
すなわち、動画配信におけるコミュニケーションの1つとして配信者による特典の付与を利用することが可能となる。 In other words, it is possible to utilize the awarding of benefits by the distributor as one of the communications in video distribution.
[第4の実施形態]
図10は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図10を用いて、情報処理サーバ10の例である情報処理サーバ10D(サーバ10D)について説明する。本例において、サーバ10Dは、配信者表示部11と、配信者アバター表示部12Dと、ユーザアバター表示部13Dと、動画配信画面送信部14とを少なくとも備える。
[Fourth embodiment]
FIG. 10 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An
配信者アバター表示部12Dは、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置される配信者アバターは、3次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る3次元モデルで構成された配信者アバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。
The distributor
ユーザアバター表示部13Dは、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置されるユーザアバターは、3次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る3次元モデルで構成されたユーザアバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。
The user
また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12D及びユーザアバター表示部13Dにおける処理を実行するようにする。同一の3次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の3次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。
Also, the distributor avatar and at least some of the user avatars are arranged in the same three-dimensional virtual space, and then the processing in the distributor
図11は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Dと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10D、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
FIG. 11 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Dは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS41)。次に、サーバ10Dは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる(ステップS42)。次に、サーバ10Dは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる(ステップS43)。次に、サーバ10Dは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS44)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS45)、処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
以上に説明したように、第4の実施形態の一側面として、サーバ10Dが、配信者表示部11と、配信者アバター表示部12Dと、ユーザアバター表示部13Dと、動画配信画面送信部14とを備え、このうちの配信者アバター表示部12Dにおいて、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部13Dにおいて、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12D及びユーザアバター表示部13Dにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の3次元仮想空間を共有している一体感を得ることが可能となる。
As described above, as one aspect of the fourth embodiment, the
すなわち、同一の3次元仮想空間を共有してのイベント、例えば、3次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の3次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。 That is, in an event that shares the same three-dimensional virtual space, such as a live concert in a three-dimensional virtual space, the distributor avatar and the user avatar of the artist who is the distributor live in the same three-dimensional virtual space. It is possible to provide the user with a sense of unity by sharing the event.
[第5の実施形態]
図12は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図12を用いて、情報処理サーバ10の例である情報処理サーバ10Z(サーバ10Z)について説明する。本例において、サーバ10Zは、配信者表示部11Zと、配信者アバター表示部12Zと、ユーザアバター表示部13Zと、動画配信画面送信部14Zとを少なくとも備える。
[Fifth Embodiment]
FIG. 12 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An
配信者表示部11Zは、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末20が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部11Zでは、配信者端末20から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた度動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。
The
配信者アバター表示部12Zは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末20を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末20に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部12Zでは、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。
The distributor
また、配信者アバター表示部12Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。
In addition, the distributor
ここで、モーションキャプチャ手段とは、配信者の身体動作(モーション)を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部12Zでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。
Here, the motion capture means means means for detecting body movements (motions) of the distributor and acquiring them as input operation information. Any means may be used as long as it can detect the body motion of the distributor who is the target of the input operation information. As an example, there is a method of detecting the body movement of the broadcaster by image analysis of the captured video data of the broadcaster taken with a camera device, and a method of attaching a sensor to a predetermined part of the body of the broadcaster and detecting the displacement of the sensor. For example, a method of detecting the body movement of the broadcaster by using In the case of the method of image analysis of captured moving image data, the captured moving image data may be used as it is for display in the distributor display area, or a camera device dedicated to motion capture means may be provided separately and captured moving image data may be used. may be obtained. As for the operation of the broadcaster avatar, it is conceivable that some action is associated with a predetermined body motion of the broadcaster and registered in advance, and the registered action is executed. A configuration in which a distributor avatar is made to execute is also conceivable. In this distributor
また、配信者アバター表示部12Zは、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置される配信者アバターは、3次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る3次元モデルで構成された配信者アバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。
Further, the distributor
ユーザアバター表示部13Zは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末30を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末30に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部13Zでは、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。
The user
また、ユーザアバター表示部13Zは、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置されるユーザアバターは、3次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る3次元モデルで構成されたユーザアバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。
In addition, the user
また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12Z及びユーザアバター表示部13Zにおける処理を実行するようにしてもよい。同一の3次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の3次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。
Also, the processing in the distributor
動画配信画面送信部14Zは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部11Zの制御に基づいて生成された配信者表示領域、配信者アバター表示部12Zの制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部13Zの制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末20とユーザ端末30,301~30Nが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。
The moving image distribution
図11は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Zと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10Z、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
FIG. 11 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Zは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS51)。次に、サーバ10Zは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる(ステップS52)。このとき配置する配信者アバターは、モーションキャプチャ手段に基づいて取得される配信者の身体動作によって操作し得るものとしてもよい。次に、サーバ10Zは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる(ステップS53)。このとき、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置するようにしてもよい。次に、サーバ10Zは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS54)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS55)、処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
図14は、本発明の実施形態の少なくとも一つに対応する情報処理における動画配信画面の一例を説明するための説明図である。この図14は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表している。この図14の例では、配信者アバター表示領域と、ユーザアバター表示領域とが同じ空間であるような表示を行っている例であるが、これに限定されず、図14における配信者表示領域と同様に、配信者アバター表示領域とユーザアバター表示領域についても表示枠によって領域を区切って設ける構成とすることも考えられる。この図14に示すような動画配信画面に基づいて動画配信を実行している最中に、配信者は配信者アバターを操作し、ユーザはユーザアバターを操作することで、アバターを用いた双方向のコミュニケーションを実現できる。 FIG. 14 is an explanatory diagram for explaining an example of a video distribution screen in information processing corresponding to at least one embodiment of the present invention. This FIG. 14 shows a state in which a distributor display area, a distributor avatar display area, and a user avatar display area are provided in the video distribution screen. In the example of FIG. 14, the display is performed such that the distributor avatar display area and the user avatar display area are in the same space. Similarly, the distributor avatar display area and the user avatar display area may be separated by a display frame. While performing video distribution based on the video distribution screen as shown in FIG. 14, the distributor operates the distributor avatar, and the user operates the user avatar. communication can be realized.
なお、配信者表示部11Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作と同一の動きを行う第1アバターを配信者表示領域に表示させるものとし、配信者アバター表示部12Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された第2アバターを配信者アバター表示領域に表示させる構成としてもよい。すなわち、配信者表示領域に対して配信者本人の顔を露出させるのではなく、配信者表示領域に第1アバターを表示させ、配信者アバター表示領域に表示させる第2アバターを第1アバターが操作しているようにしてもよい。これは、いわゆるVTuberがさらにそのアバターを用いるといった演出を実現するために利用することが可能である。
Note that the
また、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与できるようにしてもよい。動画配信において配信者からユーザに対するコミュニケーション手段の1つとして特典の付与を利用することが可能となる。特典の例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。 Further, a predetermined benefit may be given to a user associated with a predetermined number of user avatars selected by the distributor among a plurality of user avatars. It is possible to use the provision of benefits as one means of communication from the distributor to the user in video distribution. Examples of benefits include the provision of items that can be worn by the user avatar, the provision of the right for the user avatar and the distributor avatar to co-star in the same space, and the provision of delivering goods to the user at a later date.
また、ユーザアバター表示部13Zは、予め設定した所定数のユーザ分だけのユーザアバターをユーザアバター表示領域に表示させるものとしてもよい。すなわち、ユーザアバター表示領域に無制限にユーザアバターを表示させるのではなく、表示するユーザアバターの数に所定の制限をかけてもよい。表示するユーザアバターを決定する条件はどのようなものであってもよい。配信者からユーザに与えられる特典の一つとして、配信者に選択されたユーザアバターのみがユーザアバター表示領域に表示される構成とすることも可能である。また、配信者による動画配信を視聴するためのルームに入室可能な人数を制限できるような構成であってもよい。動画配信を視聴可能なユーザ数を制限して、入室できたユーザについてはユーザアバターを必ずユーザアバター表示領域に表示させるようにしてもよいし、動画配信を視聴可能なユーザ数を制限し、その中からさらにユーザアバター表示領域に表示させるユーザアバターを絞ってもよい。
Also, the user
また、配信者アバター表示部12は、配信者からの物品の指定又は撮影動画データの画像解析に基づいて配信者が所持する物品を特定し、特定した物品に相当する物品を配信者アバターに所持させる制御を実行した上で当該配信者アバターを配信者アバター表示領域に表示させるようにしてもよい。配信者と同じ物品を配信者アバターに持たせることで、配信者アバターであることを認識し易くなり、同じ物品を所持させる演出によってユーザの興味を惹きつけることが可能となる。
In addition, the distributor
また、配信者表示部11Zは、配信者が複数存在する場合には配信者の人数分の配信者表示領域を設けるようにしてもよい。また、配信者アバター表示部12Zは、複数の配信者のそれぞれに対応する配信者アバターを予め定義された同一の3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにしてもよい。すなわち、複数の配信者によって共同で動画配信を行う場合に、配信者表示領域は配信者毎に設けるが、同一の3次元仮想空間を共有した状態を1つの仮想カメラからの撮影視点にてレンダリングすることで、複数の配信者がいても配信者アバター表示領域は1つにして表示を行うことができる。これにより、複数の配信者による共同の動画配信であっても、配信者アバターは同一空間で共演している様子を表現することが可能となる。
Further, when there are a plurality of distributors, the
また、配信者及び/又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成としてもよい。音声入力によって自身に対応した配信者アバター又はユーザアバターを操作することができれば、より簡単に配信者アバター又はユーザアバターの操作を実行することが可能となる。 Further, the distributor and/or the user may be configured to be able to operate by voice input as one of the input operation information for the distributor avatar or the user avatar corresponding to the distributor and/or the user. If it is possible to operate the distributor avatar or user avatar corresponding to oneself by voice input, it becomes possible to more easily operate the distributor avatar or user avatar.
また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置し、かつ、配信者アバターとユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能としもよい。配信者アバターとユーザアバターについて相手に対して接触して何らかの作用を及ぼすことを可能にすることで、より一層コミュニケーションの幅が広がるという効果が得られる。 Also, the distributor avatar and at least some of the user avatars may be arranged in the same three-dimensional virtual space, and the distributor avatar and the user avatar may contact each other and exert some effect. By making it possible for the distributor avatar and the user avatar to come into contact with each other and exert some action, it is possible to obtain the effect of further expanding the range of communication.
また、ユーザ自身を撮影した撮影データを表示するためのユーザ表示領域を動画配信画面に設けるようにしてもよい。動画配信を視聴するユーザ全員についてユーザ表示領域に表示することが困難な場合も想定されるため、ユーザ表示領域に表示するユーザは、人数を制限するものであってもよいし、配信者が選択したユーザのみをユーザ表示領域に表示させるものであってもよい。 Also, a user display area for displaying photographed data obtained by photographing the user himself/herself may be provided on the video distribution screen. Since it may be difficult to display in the user display area all the users who watch the video distribution, the number of users to be displayed in the user display area may be limited, or may be selected by the distributor. Only the user who has done so may be displayed in the user display area.
以上に説明したように、第5の実施形態の一側面として、サーバ10Zが、配信者表示部11Zと、配信者アバター表示部12Zと、ユーザアバター表示部13Zと、動画配信画面送信部14Zとを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。
As described above, as one aspect of the fifth embodiment, the
すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。 That is, a broadcaster avatar display area for displaying a broadcaster avatar that can be operated based on the input operation of the broadcaster and a user avatar display area for displaying a user avatar that can be operated based on the input operation by the user are displayed on the video distribution screen. By setting it to , each avatar can be operated by each and communication can be achieved. In addition, since the distributor display area is provided, the user can observe the distributor who has seen the action that the user avatar has performed, and the distributor's reaction to the user avatar operated by the user can be observed. can also be observed.
また、配信者アバター表示部12Zにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。
Further, in the distributor
すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。 In other words, in a situation where the user watching the video distribution can observe the distributor displayed in the distributor display area and the distributor avatar displayed in the distributor avatar display area at the same time, the distributor has some kind of body. Since it is possible to simultaneously observe the motion and the broadcaster avatar that is operated based on the body movements, it is possible to observe the broadcaster avatar being operated in real time by the body movements of the broadcaster. It is possible to realize more real-time communication.
また、配信者アバター表示部12Zにおいて、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部13Zにおいて、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12Z及びユーザアバター表示部13Zにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の3次元仮想空間を共有している一体感を得ることが可能となる。
Further, in the distributor
すなわち、同一の3次元仮想空間を共有してのイベント、例えば、3次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の3次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。 That is, in an event that shares the same three-dimensional virtual space, such as a live concert in a three-dimensional virtual space, the distributor avatar and the user avatar of the artist who is the distributor live in the same three-dimensional virtual space. It is possible to provide the user with a sense of unity by sharing the event.
[第6の実施形態]
図15は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図15を用いて、情報処理サーバ10の例である情報処理サーバ10E(サーバ10E)について説明する。本例において、サーバ10Eは、配信者表示部11と、配信者アバター表示部12Eと、ユーザアバター表示部13Eと、動画配信画面送信部14Eと、同期信号送信部16と、演出処理部17とを少なくとも備える。
[Sixth Embodiment]
FIG. 15 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An
配信者アバター表示部12Eは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。また、また、配信者アバター表示部12Eは、後述する演出処理部17によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。
The distributor
ユーザアバター表示部13Eは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。また、ユーザアバター表示部13Eは、後述する演出処理部17によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。この場合、演出処理部17によって決定された演出内容に基づいてユーザアバターに実行させる動作、モーションは、ユーザの入力操作情報に基づく動作指示に優先して実行させるようにしてもよい。
The user
動画配信画面送信部14Eは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。また、動画配信画面送信部14Eは、後述する演出処理部17によって決定された演出内容に応じて、動画配信画面を演出に基づいて変化させる機能を有する。
The moving picture distribution
同期信号送信部16は、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信する機能を有する。ここで、同期信号とは、動画配信画面に含まれる情報の何れかに同期させた信号のことをいう。動画配信画面に含まれる情報としては、音楽、動画などが考えられる。また、これらに限らず、同期させるためのトリガーとなる情報であればどのような情報であってもよい。ユーザ端末の通信環境によって動画配信画面を受信する時間にはばらつきが生じるため、ユーザによる入力操作が何れのタイミングで行われたかを判定するための基準が必要となる。そこで、動画配信画面に含まれる何らかの情報に同期させた同期信号を基準としてユーザによる入力操作のタイミングを判定すれば、ユーザ端末の通信環境に関わらず入力タイミングを判定することが可能となる。また、同期信号には、ユーザからの入力操作を受け付けるタイミングを指示する情報を含ませるようにしてもよい。また、同期信号には、演出処理条件が達成された場合に実行される演出処理の内容を示す情報を含ませるようにしてもよい。
The synchronizing
演出処理部17は、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行する機能を有する。ここで、入力操作情報とは、ユーザ端末に対してユーザの入力操作が行われたか否かの情報を少なくとも含むものをいう。また、入力操作情報は、入力操作が行われた場合に入力のタイミングがどのようなタイミングであったかを示すタイミング情報を含むものであってもよい。この演出処理部17では、入力操作情報が予め定めた所定の演出処理条件を満たす場合に、条件を満たした演出内容を動画配信画面に反映させる演出処理を実行する。演出内容はどのようなものであってもよい。一例としては、配信者アバターに所定のモーション(例えば、ダンス)を実行させる演出や、1以上のユーザアバターに所定のモーションを実行させる演出などが考えらえる。複数のユーザアバターに同時に同じモーションを実行させる演出も可能である。また、演出内容は、動画配信画面における配信者表示領域、配信者アバター表示領域及びユーザアバター表示領域ではなく、これら3つの領域以外の個所に対する演出であってもよい。例えば、3つの領域以外の個所に花火が上がる演出などが考えられる。なお、演出処理は、配信者アバター表示部12Eに対して演出処理を実行させる手法、ユーザアバター表示部13Eに対して演出処理を実行させる手法、演出処理部17において演出処理を実行して動画配信画面を変更する手法など、どのような手法で実現されるものであってもよい。
The
ここで、演出処理部17における所定の演出処理条件は、どのようなものであってもよいが、例えば、入力操作情報の数の条件、入力操作情報のタイミングの条件、又はこれらの組み合わせの条件などが考えられる。入力操作情報の数の条件は、例えば、複数のユーザからの入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、複数のユーザからの入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。入力操作情報のタイミングの条件は、例えば、ユーザ端末において入力操作を受け付けるタイミングをユーザに対して示すようにして、理想的入力タイミングとユーザの入力タイミングとのずれの情報を入力操作情報に含めるようにし、入力タイミングのずれが所定の範囲内に収まっている場合に演出が実行されるという条件が挙げられる。入力操作情報の数の条件と入力操作情報のタイミングの条件の組み合わせについては、例えば、入力タイミングのずれが所定の範囲内に収まっている入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、入力タイミングのずれが所定の範囲内に収まっている入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。
Here, the predetermined effect processing condition in the
また、所定の演出処理条件と演出内容の組み合わせはどのようなものであってもよい。例えば、あるユーザ1一人に設定される演出処理条件と1つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。また、例えば、複数のユーザが関係する演出処理条件と1つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。なお、演出処理は、ダンスのモーションや、演出用のエフェクトは、音楽に合わせたタイミングでのみ再生されるようにしてもよい。また、演出処理は、所定のタイミングで受け付けた入力操作に基づいて、所与のタイミングで演出処理を反映させた動画配信画面を出力する構成となる。すなわち、ユーザの入力操作のタイミングと動画配信画面の出力のタイミングには一定の時間差が生じる。出力タイミングまでの時間差については意図的に設定することも可能であり、音楽におけるAメロ、Bメロのタイミングにて受け付けた入力操作情報に基づいて、サビの再生時に演出処理を反映させた動画配信画面を出力するようにしてもよい。 Moreover, the combination of the predetermined effect processing condition and the content of the effect may be any combination. For example, an effect processing condition set for one user may be associated with one effect content, and effect processing may be executed for the corresponding effect content based on the achievement of the effect processing condition by the user. Further, for example, a performance processing condition related to a plurality of users may be associated with one performance content, and the performance processing may be executed for the corresponding performance content based on the achievement of the performance processing condition of the user. Note that in the production process, dance motions and effects for production may be reproduced only at timings that match music. Also, the effect processing is configured to output a moving image distribution screen reflecting the effect processing at a given timing based on an input operation received at a predetermined timing. That is, there is a certain time difference between the timing of the user's input operation and the timing of outputting the video distribution screen. It is also possible to intentionally set the time lag until the output timing, and based on the input operation information received at the timing of the A melody and B melody of the music, video distribution that reflects the production processing when playing the chorus You may make it output a screen.
図16は、本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。この図16を用いて、ユーザ端末30の例について説明する。本例において、ユーザ端末30は、同期信号受信部31と、入力操作判定部32と、入力操作情報送信部33とを少なくとも備える。
FIG. 16 is a block diagram showing the configuration of a user terminal corresponding to at least one embodiment of the invention. An example of the
同期信号受信部31は、サーバ10Eから送信される同期信号を受信する機能を有する。受信した同期信号は、ユーザに対して入力操作のタイミングを提示するために用いられたり、ユーザによる入力操作のタイミングの判定の基準として用いられたりする。
The
入力操作判定部32は、受信した同期信号に基づいて入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する機能を有する。ここで、入力操作のタイミングを示す情報は、少なくとも入力操作を受け付けていることをユーザに通知する内容を含む情報をいう。さらに、入力操作のタイミングを示す情報として、音楽や動画と同期させた同期信号に基づいて具体的な入力操作のタイミングをユーザに認識させるための表示等を含ませるようにしてもよい。また、入力操作のタイミングを示す情報の表示に加えて、演出内容をユーザに認識させるための情報を併せて表示させるようにしてもよい。そして、実際にユーザによる入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する。同期信号を用いることで、ユーザによる入力操作のタイミングが同期信号の何れのタイミングと一致するかによって入力タイミングを判定することが可能となる。
The input
入力操作情報送信部33は、入力操作について、タイミング情報を含む入力操作情報を生成してサーバに送信する機能を有する。ここで、入力操作情報は、入力操作に関する情報であり、少なくとも入力操作のタイミング情報を含むものとする。なお、タイミング情報は、入力操作を受け付ける期間内において入力操作が行われたという大まかな情報であってもよいし、入力操作の理想的入力タイミングとの一致度(ずれ量)を正確に表した情報であってもよい。
The input operation
図17は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Eと、ユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10E、ユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
FIG. 17 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the
本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Eは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS61)。次に、サーバ10Eは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS62)。次に、サーバ10Eは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS63)。次に、サーバ10Eは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS64)。そして、ユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる(ステップS65)。また、サーバ10Eは、動画配信画面の内容に同期させた同期信号を動画配信画面とともに送信する(ステップS66)。ユーザ端末30は、入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受け付ける(ステップS67)。そして、ユーザ端末30は、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定し、タイミング情報を含む入力操作情報を生成して送信する(ステップS68)。次に、サーバ10Eは、入力操作情報が演出処理条件を充足する場合、演出処理の実行を決定する(ステップS69)。サーバ10Eは、演出内容を反映させた動画配信画面を生成して送信する(ステップS70)。そして、ユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS71)、情報処理を終了する。
The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the
図18は、本発明の実施形態の少なくとも一つに対応する情報処理においてユーザ端末において表示させる動画配信画面の一例を説明するための説明図である。この図18は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表しており、さらに、ユーザに入力操作のタイミングを認識させるための入力タイミング表示欄を設けた状態を表している。この図18の例では、入力タイミング表示欄の内側を右から左に向かってマークA~Eが順次移動していき、左端の矢印部分に各マークが到達したときが入力の理想的入力タイミングであるものとする。これらマークA~Eのそれぞれが矢印部分に到達するタイミングは、同期信号に基づいて調整されており、例えば、音楽のリズムに合わせて理想的入力タイミングに到達する構成となっている。 FIG. 18 is an explanatory diagram for explaining an example of a video distribution screen displayed on a user terminal in information processing corresponding to at least one embodiment of the present invention. FIG. 18 shows a state in which a distributor display area, a distributor avatar display area, and a user avatar display area are provided in the video distribution screen. is provided with an input timing display column. In the example of FIG. 18, the marks A to E move sequentially from right to left inside the input timing display field, and the ideal input timing is when each mark reaches the arrowed portion at the left end. Assume that there is The timing at which each of these marks A to E reaches the arrowed portion is adjusted based on the synchronizing signal.
この図18の例において、マークA~Eの何れかに対してユーザによる入力操作が行われると、ユーザの入力操作について理想的入力タイミングとの一致度を判定して、タイミング情報を含む入力操作情報を生成してサーバ10Eに対して送信する。サーバ10Eでは、入力操作情報が所定の演出処理条件を充足するか否かを判定して、充足する場合には演出処理の実行を決定する。実行する演出処理の内容は、例えば、マークA~Eの何れに対して入力操作が行われるかによって演出内容を変化させるようにしてもよい。また、マークA~Eのそれぞれに対応する演出内容をユーザが認識可能なように動画配信画面に対応する演出内容を表示するようにしてもよい。あるいは、マークA~Eの全てについて所定の入力誤差範囲内にて入力操作を実行できた場合に演出処理を実行する構成とすることも考えられる。また、複数のユーザに対して同様に入力操作を要求して、入力操作に関する条件を充足したユーザが所定数に達することを演出処理条件とすることも考えられる。演出内容の一例としては、配信者アバターに特別なダンスを実行させるといった演出が考えられる。
In the example of FIG. 18, when the user performs an input operation on any of the marks A to E, the degree of coincidence of the user's input operation with the ideal input timing is determined, and the input operation including the timing information is determined. Information is generated and transmitted to the
なお、図18の例では、入力タイミング表示欄の中に表示させる入力タイミングを示すためのマークA~Eを1段で表示しているが、これに限定されるものではない。例えば、入力タイミング表示欄の中に入力タイミングを示すマークを2段以上表示可能とし、何れの段のマークに対して入力操作を行うかによって演出を変化させるようにしてもよい。具体例としては、入力タイミングを示すマークを2段に表示させた状態において、上の段のマークに合わせて入力操作が行われるとユーザアバターが赤いサイリウムを振り、下の段のマークに合わせて入力操作が行われるとユーザアバターが緑のサイリウムを振るというように演出を変化させることが考えられる。また、入力タイミングを示すマークを2段に表示させた状態において、上の段のマークに合わせて入力操作が行われると配信者アバターが所定のダンスを実行し、下の段のマークに合わせて入力操作が行われると配信者アバターが上の段の場合とは異なる所定のダンスを実行するというように演出を変化させることが考えられる。 In the example of FIG. 18, the marks A to E for indicating the input timings to be displayed in the input timing display field are displayed in one stage, but the present invention is not limited to this. For example, it is possible to display marks indicating input timings in two or more stages in the input timing display field, and to change the effect depending on which stage of the mark the input operation is performed. As a specific example, in a state in which marks indicating input timing are displayed in two stages, when an input operation is performed in accordance with the mark in the upper stage, the user avatar shakes a red glow stick and moves to match the mark in the lower stage. It is conceivable to change the presentation such that the user avatar shakes a green glow stick when an input operation is performed. Also, in a state in which marks indicating input timing are displayed in two stages, when an input operation is performed in accordance with the mark in the upper stage, the broadcaster avatar performs a predetermined dance and moves in accordance with the mark in the lower stage. It is conceivable to change the presentation such that when the input operation is performed, the broadcaster avatar performs a predetermined dance different from that in the upper stage.
以上に説明したように、第6の実施形態の一側面として、サーバ10Eが、配信者表示部11と、配信者アバター表示部12Eと、ユーザアバター表示部13Eと、動画配信画面送信部14Eと、同期信号送信部16と、演出処理部17とを備え、このうちの同期信号送信部16において、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信するようにし、また、演出処理部17において、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行するようにしたので、動画配信画面の内容に同期したタイミングでのユーザの入力操作に基づいて演出処理を実行して動画配信することでユーザ参加型のイベントを実現することが可能となる。
As described above, as one aspect of the sixth embodiment, the
すなわち、メタバースやゲームなどにおけるライブ配信を含む動画配信において、動画配信画面の内容に同期させた同期信号を基準としてユーザからの入力操作を要求し、かつ、入力タイミングの判定も行うようにすることで、ユーザ毎の通信環境の相違に関わらず、動画配信に含まれる音楽のリズムに合わせた入力操作を各ユーザが実行することが可能となる。このユーザ毎の入力操作情報を用いて演出処理を実行して動画配信画面を生成することで、視聴者も参加、協力することで、ダイナミックな演出によるライブ配信を配信者が気軽に実現することが可能となる。配信者アバターを演出処理の対象にすることに加え、聴衆側であるユーザアバターについても演出処理の対象とすることも可能であり、配信者アバターやユーザアバターのモーション及びステージ上のCGエフェクトなどを用いて、大規模なライブステージの演出を実現することが可能となる。また、入力操作のタイミングとして音楽のリズムに合わせることを求めるなどすれば、音楽のリズムに合わせて入力操作を行う音楽ゲーム的な楽しさを動画配信において提供することも可能となる。 That is, in moving image distribution including live distribution in the Metaverse, games, etc., an input operation from the user is requested based on a synchronization signal synchronized with the content of the moving image distribution screen, and the input timing is also determined. Therefore, each user can perform an input operation in tune with the rhythm of the music included in the moving image distribution, regardless of the difference in communication environment between users. By executing production processing using this input operation information for each user and generating a moving image distribution screen, viewers participate and cooperate, so that the distributor can easily realize live distribution with dynamic production. becomes possible. In addition to making the distributor avatar the target of the production process, it is also possible to make the user avatar on the audience side the target of the production process, and the motion of the distributor avatar and the user avatar, the CG effects on the stage, etc. By using it, it is possible to realize a large-scale live stage performance. In addition, if the input operation timing is requested to match the rhythm of the music, it is possible to provide the enjoyment of a music game in which the input operation is performed in accordance with the rhythm of the music in moving image distribution.
以上に説明したように、本願の各実施形態により1または2以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。 As described above, the embodiments of the present application address one or more deficiencies. In addition, the effect by each embodiment is an example of a non-limiting effect or effect.
なお、上述した各実施形態では、配信者端末20、複数のユーザ端末30,301~30Nとサーバ10は、自己が備える記憶装置に記憶されている各種制御プログラム(例えば、情報処理プログラム)に従って、上述した各種の処理を実行する。
In each of the above-described embodiments, the
また、システム100の構成は上述した各実施形態の例として説明した構成に限定されず、例えばユーザ端末が実行する処理として説明した処理の一部または全部をサーバ10が実行する構成としてもよいし、サーバ10が実行する処理として説明した処理の一部または全部を配信者端末20、複数のユーザ端末30,301~30Nの何れか(例えば、ユーザ端末30)が実行する構成としてもよい。また、サーバ10が備える記憶部の一部または全部を配信者端末20、複数のユーザ端末30,301~30Nの何れかが備える構成としてもよい。すなわち、システム100における配信者端末20、ユーザ端末30及びサーバ10の何れかが備える機能の一部または全部を、他の個所が担う構成としてもよい。
Further, the configuration of the system 100 is not limited to the configuration described as an example of each embodiment described above. , the
また、プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。 Also, the program may be configured to implement part or all of the functions described as examples of the above-described embodiments in a single device that does not include a communication network.
[付記]
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
[1]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
[2]
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された前記配信者アバターを前記配信者アバター表示領域に表示させる
[1]記載の情報処理プログラム。
[3]
前記配信者表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作と同一の動きを行う第1アバターを配信者表示領域に表示させるものとし、
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された第2アバターを前記配信者アバター表示領域に表示させる
[1]又は[2]記載の情報処理プログラム。
[4]
前記サーバに、
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
[1]から[3]の何れか一つに記載の情報処理プログラム。
[5]
前記ユーザアバター表示機能は、予め設定した所定数のユーザ分だけのユーザアバターを前記ユーザアバター表示領域に表示させる
[1]から[4]の何れか一つに記載の情報処理プログラム。
[6]
前記配信者アバター表示機能は、予め定義された3次元仮想空間内に前記配信者アバターを配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
[1]から[5]の何れか一つに記載の情報処理プログラム。
[7]
前記ユーザアバター表示機能は、予め定義された3次元仮想空間内に前記ユーザアバターを配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記ユーザアバター表示領域に表示させる
[1]から[6]の何れか一つに記載の情報処理プログラム。
[8]
前記配信者アバター表示機能は、前記配信者からの物品の指定又は前記撮影動画データの画像解析に基づいて前記配信者が所持する物品を特定し、特定した物品に相当する物品を前記配信者アバターに所持させる制御を実行した上で当該配信者アバターを前記配信者アバター表示領域に表示させる
[1]から[7]の何れか一つに記載の情報処理プログラム。
[9]
前記配信者表示機能は、前記配信者が複数存在する場合には前記配信者の人数分の前記配信者表示領域を設ける
[1]から[8]の何れか一つに記載の情報処理プログラム。
[10]
前記配信者アバター表示機能は、複数の前記配信者のそれぞれに対応する配信者アバターを予め定義された同一の3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
[9]記載の情報処理プログラム。
[11]
前記配信者及び/又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成として、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[12]
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の3次元仮想空間に配置した上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[13]
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の3次元仮想空間に配置し、かつ、前記配信者アバターと前記ユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能とした上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[14]
前記サーバに、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
[1]から[13]の何れか一つに記載の情報処理プログラム。
[15]
前記演出処理機能は、前記入力操作情報の内容に応じて前記演出内容を変化させる
[14]記載の情報処理プログラム。
[16]
[1]から[15]のうち何れかに記載の情報処理プログラムが前記サーバに実現させる機能のうち少なくとも1つの機能を、当該サーバと通信可能なユーザ端末に実現させる情報処理プログラム。
[17]
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。
[18]
前記サーバが、前記配信者表示手段と、前記配信者アバター表示手段と、前記ユーザアバター表示手段と、前記動画配信画面送信手段とを含み、
前記配信者端末及びユーザ端末が、前記動画配信画面送信手段により送信された動画配信画面を表示装置の表示画面に出力する表示出力手段を含む
[17]記載の情報処理システム。
[19]
前記サーバは、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
[17]又は[18]記載の情報処理システム。
[20]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
[21]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
[22]
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備える情報処理システムが、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
[23]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理装置であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示部と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示部と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示部と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信部と
を備える情報処理装置。
[Appendix]
The above descriptions of the embodiments describe at least the following inventions so that those having ordinary knowledge in the field to which the inventions belong can implement them.
[1]
An information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the server,
a distributor display function for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
[2]
The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. The information processing program according to [1], further displaying the delivered distributor avatar in the distributor avatar display area.
[3]
The distributor display function displays, in the distributor display area, a first avatar performing the same movement as the distributor's body motion acquired based on the motion capture means,
The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. The information processing program according to [1] or [2], wherein the second avatar thus obtained is displayed in the distributor avatar display area.
[4]
to the server,
Any one of [1] to [3] for realizing a privilege granting function of granting a predetermined privilege to a user associated with a predetermined number of user avatars selected by the distributor among a plurality of user avatars. the information processing program described in 1.
[5]
The information processing program according to any one of [1] to [4], wherein the user avatar display function displays user avatars for a predetermined number of users in the user avatar display area.
[6]
The distributor avatar display function arranges the distributor avatar in a predefined three-dimensional virtual space, and renders the captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera to the distributor avatar. The information processing program according to any one of [1] to [5], which is displayed in a display area.
[7]
The user avatar display function arranges the user avatar in a predefined three-dimensional virtual space, and renders the captured image data obtained by rendering the three-dimensional virtual space from a shooting viewpoint of a predetermined virtual camera in the user avatar display area. Displaying the information processing program according to any one of [1] to [6].
[8]
The distributor avatar display function identifies an article possessed by the distributor based on designation of the article by the distributor or image analysis of the captured video data, and displays an article corresponding to the identified article to the distributor avatar. The information processing program according to any one of [1] to [7], wherein the distributor avatar is displayed in the distributor avatar display area after executing control to have the distributor avatar held by the distributor.
[9]
The information processing program according to any one of [1] to [8], wherein the distributor display function provides the distributor display areas for the number of distributors when there are a plurality of distributors.
[10]
The distributor avatar display function arranges distributor avatars corresponding to each of the plurality of distributors in the same predefined three-dimensional virtual space, and arranges the distributor avatars in the same three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera. The information processing program according to [9], wherein the captured image data rendered by rendering is displayed in the distributor avatar display area.
[11]
The distributor and/or user can operate by voice input as one of the input operation information for the distributor avatar or user avatar corresponding to himself/herself, and the distributor avatar display function and the user avatar display function The information processing program according to any one of [1] to [10].
[12]
arranging the distributor avatar and at least part of the user avatars in the same three-dimensional virtual space, and then realizing the distributor avatar display function and the user avatar display function of [1] to [10]; The information processing program according to any one of the above.
[13]
The distributor avatar and at least a part of the user avatar are arranged in the same three-dimensional virtual space, and the distributor avatar and the user avatar can contact each other and exert some action. The information processing program according to any one of [1] to [10], which realizes the distributor avatar display function and the user avatar display function.
[14]
to the server,
a synchronization signal transmission function for transmitting a synchronization signal synchronized with the content of a video distribution screen to the user terminal together with the video distribution screen;
an effect processing function for receiving input operation information whose input timing is determined based on the synchronization signal from the user terminal, determining content of effect to be included in the video distribution screen based on the input operation information, and executing effect processing; The information processing program according to any one of [1] to [13].
[15]
The information processing program according to [14], wherein the effect processing function changes the content of the effect according to the content of the input operation information.
[16]
An information processing program that causes a user terminal capable of communicating with the server to realize at least one of the functions that the information processing program according to any one of [1] to [15] causes the server to realize.
[17]
An information processing system comprising a communication network, a server, a distributor terminal, and a user terminal, and for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor), ,
a distributor display means for receiving, from the distributor terminal, captured video data obtained by capturing a video of the distributor and displaying it in a distributor display area set on the video distribution screen;
a distributor avatar display means for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from the user terminal is set on the video distribution screen. user avatar display means for displaying in a user avatar display area;
video distribution screen transmitting means for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution; processing system.
[18]
The server includes the distributor display means, the distributor avatar display means, the user avatar display means, and the video distribution screen transmission means,
The information processing system according to [17], wherein the distributor terminal and the user terminal include display output means for outputting the moving picture distribution screen transmitted by the moving picture distribution screen transmitting means to a display screen of a display device.
[19]
The server is
Synchronization signal transmission means for transmitting a synchronization signal synchronized with the contents of a moving image distribution screen to the user terminal together with the moving image distribution screen;
effect processing means for receiving, from the user terminal, input operation information whose input timing is determined based on the synchronization signal, determining content of effects to be included in the video distribution screen based on the input operation information, and executing effect processing; including
The user terminal is
Synchronization signal receiving means for receiving the synchronization signal;
Information indicating the timing of the input operation is displayed on the moving image distribution screen based on the received synchronization signal to accept the input operation, and when the input operation is performed, the timing of the input operation is determined based on the synchronization signal. input operation determination means;
The information processing system according to [17] or [18], further comprising input operation information transmitting means for generating the input operation information including timing information regarding the input operation and transmitting the input operation information to the server.
[20]
An information processing program for causing a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the distributor terminal,
a distributor display function for displaying captured video data obtained by shooting a video of the distributor in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
[21]
An information processing method for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor),
a distributor display process for receiving captured video data obtained by capturing a video of the distributor from a distributor terminal and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display process for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. user avatar display processing for displaying in the avatar display area;
and a video distribution screen transmission process for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. Processing method.
[22]
Information processing for an information processing system comprising a communication network, a server, a distributor terminal, and a user terminal to perform processing for controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). a method,
a distributor display process for receiving captured video data obtained by capturing a video of the distributor from a distributor terminal and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display process for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. user avatar display processing for displaying in the avatar display area;
and a video distribution screen transmission process for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. Processing method.
[23]
An information processing device for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor),
a distributor display unit for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor, and for displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display unit for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display part to be displayed in the avatar display area;
a video distribution screen transmission unit that transmits the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. processing equipment.
10 情報処理サーバ(サーバ)
11、11Z 配信者表示部
12、12B、12D、12Z 配信者アバター表示部
13、13D、13Z ユーザアバター表示部
14、14Z 動画配信画面送信部
15 特典付与部
20 配信者端末
30,301~30N ユーザ端末
40 通信ネットワーク
100 情報処理システム
10 information processing server (server)
11, 11Z
Claims (9)
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。 An information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the server,
a distributor display function for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
請求項1記載の情報処理プログラム。 The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. 2. The information processing program according to claim 1, further comprising: displaying the broadcaster avatar thus obtained in the broadcaster avatar display area.
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
請求項1又は請求項2記載の情報処理プログラム。 to the server,
3. The information processing according to claim 1 or claim 2, wherein a privilege granting function is realized to grant a predetermined privilege to a user associated with a predetermined number of user avatars selected by said distributor among a plurality of user avatars. program.
請求項1から請求項3の何れか一つに記載の情報処理プログラム。 The distributor avatar and at least a part of the user avatar are placed in the same three-dimensional virtual space, and then the distributor avatar display function and the user avatar display function are realized. The information processing program according to any one of the above.
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
請求項1から請求項4の何れか一つに記載の情報処理プログラム。 to the server,
a synchronization signal transmission function for transmitting a synchronization signal synchronized with the content of a video distribution screen to the user terminal together with the video distribution screen;
an effect processing function for receiving input operation information whose input timing is determined based on the synchronization signal from the user terminal, determining content of effect to be included in the video distribution screen based on the input operation information, and executing effect processing; The information processing program according to any one of claims 1 to 4, which implements
請求項5記載の情報処理プログラム。 6. The information processing program according to claim 5, wherein the effect processing function changes the content of the effect according to the content of the input operation information.
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。 An information processing system comprising a communication network, a server, a distributor terminal, and a user terminal, and for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor), ,
a distributor display means for receiving, from the distributor terminal, captured video data obtained by capturing a video of the distributor and displaying it in a distributor display area set on the video distribution screen;
a distributor avatar display means for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from the user terminal is set on the video distribution screen. user avatar display means for displaying in a user avatar display area;
video distribution screen transmitting means for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution; processing system.
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
請求項7記載の情報処理システム。 The server is
Synchronization signal transmission means for transmitting a synchronization signal synchronized with the contents of a moving image distribution screen to the user terminal together with the moving image distribution screen;
effect processing means for receiving, from the user terminal, input operation information whose input timing is determined based on the synchronization signal, determining content of effects to be included in the video distribution screen based on the input operation information, and executing effect processing; including
The user terminal is
Synchronization signal receiving means for receiving the synchronization signal;
Information indicating the timing of the input operation is displayed on the moving image distribution screen based on the received synchronization signal to accept the input operation, and when the input operation is performed, the timing of the input operation is determined based on the synchronization signal. input operation determination means;
8. The information processing system according to claim 7, further comprising input operation information transmitting means for generating said input operation information including timing information regarding said input operation and transmitting said input operation information to said server.
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。 An information processing program for causing a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the distributor terminal,
a distributor display function for displaying captured video data obtained by shooting a video of the distributor in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021175620 | 2021-10-27 | ||
JP2021175620 | 2021-10-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023065288A true JP2023065288A (en) | 2023-05-12 |
Family
ID=86281890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006589A Pending JP2023065288A (en) | 2021-10-27 | 2022-01-19 | Information processing program and information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023065288A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466039B1 (en) | 2023-06-13 | 2024-04-11 | Kddi株式会社 | Information processing device, information processing method, and program |
-
2022
- 2022-01-19 JP JP2022006589A patent/JP2023065288A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466039B1 (en) | 2023-06-13 | 2024-04-11 | Kddi株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6724110B2 (en) | Avatar display system in virtual space, avatar display method in virtual space, computer program | |
JP6858737B2 (en) | Viewing program, distribution program, how to execute the viewing program, how to execute the distribution program, information processing device, and information processing system | |
WO2020138107A1 (en) | Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user | |
JP6707111B2 (en) | Three-dimensional content distribution system, three-dimensional content distribution method, computer program | |
US20130311566A1 (en) | Method and apparatus for creating rule-based interaction of portable client devices at a live event | |
CN112261481B (en) | Interactive video creating method, device and equipment and readable storage medium | |
US20230412897A1 (en) | Video distribution system for live distributing video containing animation of character object generated based on motion of actors | |
EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
JP2024019661A (en) | Information processing device, information processing method, and information processing program | |
JP6688378B1 (en) | Content distribution system, distribution device, reception device, and program | |
JP2023065288A (en) | Information processing program and information processing system | |
JP2020102236A (en) | Content distribution system, receiving device and program | |
JP2020144887A (en) | Avatar display system in virtual space, avatar display method in virtual space, and computer program | |
KR20200028830A (en) | Real-time computer graphics video broadcasting service system | |
JP7244450B2 (en) | Computer program, server device, terminal device, and method | |
Narayanan et al. | Cinemacraft: exploring fidelity cues in collaborative virtual world interactions | |
JP2023100616A (en) | Content distribution apparatus, content distribution program, content distribution method, content display device, content display program, and contents display method | |
CN116017082A (en) | Information processing method and electronic equipment | |
JP7094404B2 (en) | Viewing program, distribution program, how to execute the viewing program, how to execute the distribution program, information processing device, and information processing system | |
JP7225159B2 (en) | 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM | |
JP7442979B2 (en) | karaoke system | |
JP6665273B1 (en) | Content distribution system, receiving device, and program | |
JP6498832B1 (en) | Video distribution system that distributes video including messages from viewing users | |
JP6453500B1 (en) | GAME PROGRAM, METHOD, AND INFORMATION PROCESSING DEVICE | |
US20240114181A1 (en) | Information processing device, information processing method, and program |