JP2023065288A - Information processing program and information processing system - Google Patents

Information processing program and information processing system Download PDF

Info

Publication number
JP2023065288A
JP2023065288A JP2022006589A JP2022006589A JP2023065288A JP 2023065288 A JP2023065288 A JP 2023065288A JP 2022006589 A JP2022006589 A JP 2022006589A JP 2022006589 A JP2022006589 A JP 2022006589A JP 2023065288 A JP2023065288 A JP 2023065288A
Authority
JP
Japan
Prior art keywords
distributor
avatar
user
display area
video distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022006589A
Other languages
Japanese (ja)
Inventor
泰仁 渡辺
Yasuhito Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Publication of JP2023065288A publication Critical patent/JP2023065288A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To realize two-way communication using avatars in video streaming.SOLUTION: A captured video data obtained by capturing video of a streamer is displayed in a streamer display area, an operable streamer avatar is displayed in a streamer avatar display area on the basis of input operation information from the streamer, a user avatar associated with each user who receives and watches the video streaming and is operable on the basis of the user's input operation information is displayed in a user avatar display area, and a video streaming screen including the streamer display area, the streamer avatar display area, and the user avatar display area is transmitted to a terminal that receives video streaming.SELECTED DRAWING: Figure 3

Description

本発明の実施形態の少なくとも1つは、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムに関する。 At least one embodiment of the present invention relates to an information processing program and an information processing system for realizing interactive communication using avatars in video distribution.

従来、通信ネットワークを介したユーザ間のコミュニケーションにおいて、ユーザの分身として機能するいわゆるアバターが用いられてきた。アバターは、簡易なアイコンで表現されるもののほか、人型のキャラクタなどによって表現されるものが存在する。アバターは、ユーザの好みに応じてカスタマイズ可能としている場合も多く、ユーザ毎にカスタマイズしたアバターによって個性を表現するともに、他者との区別を容易にする機能を担っている。 Conventionally, so-called avatars functioning as users' alter ego have been used in communication between users via a communication network. Avatars include those represented by simple icons and those represented by humanoid characters. In many cases, avatars can be customized according to user's preferences, and the avatars customized for each user express individuality and have the function of facilitating distinction from others.

ここで、例えば、特許文献1には、他のユーザの行動に少なくとも基づく所定のパラメータ(例えば、特別アイテムの提供数、親密度情報等)の値に応じてアバターの表示態様を変化させるようにすることで、ユーザ自身の行動のみに起因して表示態様が変化する場合と比較してアバターに対する興趣の低下を抑制し得る構成が開示されている。 Here, for example, in Patent Literature 1, the display mode of the avatar is changed according to the value of a predetermined parameter (for example, the number of special items provided, familiarity information, etc.) based at least on the behavior of other users. By doing so, a configuration is disclosed that is capable of suppressing a decrease in interest in the avatar compared to the case where the display mode changes only due to the user's own actions.

特開2018-124940号公報JP 2018-124940 A

ところで、SNSやビデオゲームにおいてアバターが利用されてきたが、近年、動画配信をアバターによって行いたいというニーズが存在する。動画配信は、配信者が撮影した動画をサーバ経由で視聴者に提供する形態で実現されるが、近年は、視聴者からのコメントの送信や金銭に相当するポイントの寄付など、双方向のコミュニケーションが実現されつつある。動画配信における双方向のコミュニケーションの一態様としてアバターを用いたコミュニケーションが望まれている。 By the way, avatars have been used in SNS and video games, but in recent years, there is a need to perform video distribution using avatars. Video distribution is realized by providing videos shot by the distributor to viewers via a server, but in recent years, two-way communication such as sending comments from viewers and donating points equivalent to money is being realized. Communication using avatars is desired as one mode of two-way communication in video distribution.

本発明の少なくとも1つの実施形態の目的は、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムを提供することである。 An object of at least one embodiment of the present invention is to provide an information processing program and an information processing system for realizing interactive communication using avatars in video distribution.

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、前記サーバに、前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。 From a non-limiting point of view, an information processing program according to an embodiment of the present invention is an information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). An information processing program, comprising: a distributor display function for causing the server to receive, from a distributor terminal, photographed video data obtained by photographing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen; A broadcaster avatar display function for displaying an operable broadcaster avatar in a broadcaster avatar display area set on the video distribution screen based on input operation information from the broadcaster, and a user receiving and watching the video distribution. and a user avatar display function for displaying a user avatar corresponding to the user avatar, which can be operated based on user input operation information transmitted from the user terminal, in the user avatar display area set on the video distribution screen. and a moving image distribution screen transmission function for transmitting the moving image distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the distribution of the moving image. It is characterized by

非限定的な観点によると、本発明の一実施形態に係る情報処理システムは、通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段とを含むことを特徴とする。 From a non-limiting point of view, an information processing system according to an embodiment of the present invention includes a communication network, a server, a distributor terminal, and a user terminal, and real-time video distribution by a video distributor (hereinafter referred to as distributor). 1. An information processing system for performing processing for controlling a video distribution screen of video distribution, wherein the distributor receives captured video data obtained by filming the video of the distributor from the distributor terminal and sets it on the video distribution screen. Distributor display means for displaying in a display area; Distributor avatar display means for displaying in a distributor avatar display area set on the video distribution screen a distributor avatar operable based on input operation information from the distributor. setting, on the video distribution screen, user avatars corresponding to respective users who receive and view the video distribution and are operable based on user input operation information transmitted from the user terminal; a user avatar display means for displaying in the user avatar display area, the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area; and video distribution screen transmission means for transmitting to.

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、前記配信者端末に、前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。 From a non-limiting point of view, an information processing program according to an embodiment of the present invention causes a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). a distributor display function for displaying, on the distributor terminal, captured video data obtained by capturing a video of the distributor in a distributor display area set on the video distribution screen; a broadcaster avatar display function for displaying an operable broadcaster avatar in a broadcaster avatar display area set on the video distribution screen based on the input operation information of the above; a user avatar display function for displaying a user avatar that can be operated based on user input operation information transmitted from a user terminal in a user avatar display area set on the video distribution screen; a moving image distribution screen transmission function for transmitting the moving image distribution screen including the broadcaster display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the moving image distribution. Characterized by

本願の各実施形態により1または2以上の不足が解決される。 Embodiments of the present application address one or more deficiencies.

本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。1 is a block diagram showing an example of the configuration of an information processing system corresponding to at least one embodiment of the present invention; FIG. 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ側の動作の例を示すフローチャートである。4 is a flow chart showing an example of server-side operations in information processing corresponding to at least one embodiment of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理における配信者端末側の動作の例を示すフローチャートである。4 is a flow chart showing an example of the operation of the distributor terminal in information processing corresponding to at least one of the embodiments of the present invention; 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応する情報処理における動画配信画面の一例を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an example of a video distribution screen in information processing corresponding to at least one embodiment of the present invention; 本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。It is a block diagram showing the configuration of a server corresponding to at least one of the embodiments of the present invention. 本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。1 is a block diagram showing a configuration of a user terminal corresponding to at least one embodiment of the present invention; FIG. 本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。4 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention; 本発明の実施形態の少なくとも一つに対応する情報処理においてユーザ端末において表示させる動画配信画面の一例を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an example of a video distribution screen displayed on a user terminal in information processing corresponding to at least one embodiment of the present invention;

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings. It should be noted that the various constituent elements in the examples of the embodiments described below can be appropriately combined within a range that does not cause contradiction or the like. Also, the content described as an example of a certain embodiment may be omitted in other embodiments. Further, the contents of operations and processes that are not related to the features of each embodiment may be omitted. Furthermore, the order of various processes constituting various flows described below is random as long as there is no contradiction in the processing contents.

[第1の実施形態]
図1は、本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。図1に示すように、情報処理システム100は、情報処理サーバ10(サーバ10)と、情報処理システム100において動画配信を行う動画配信者が使用する配信者端末20と、情報処理システム100のユーザが使用するユーザ端末(30,301~30N(Nは任意の整数)とを含む。なお、情報処理システム100の構成はこれに限定されず、複数の配信者端末20が同時に参加する構成としてもよいし、単一のユーザ端末を複数のユーザが使用する構成としてもよいし、複数のサーバを備える構成としてもよい。
[First embodiment]
FIG. 1 is a block diagram showing an example of the configuration of an information processing system corresponding to at least one embodiment of the invention. As shown in FIG. 1, an information processing system 100 includes an information processing server 10 (server 10), a distributor terminal 20 used by a video distributor who distributes videos in the information processing system 100, and users of the information processing system 100. The configuration of the information processing system 100 is not limited to this, and a configuration in which a plurality of distributor terminals 20 participate at the same time is also possible. Alternatively, a single user terminal may be used by a plurality of users, or a plurality of servers may be provided.

サーバ10と配信者端末20と複数のユーザ端末30,301~30Nは、それぞれインターネットなどの通信ネットワーク40に接続されている。なお、図示しないが、配信者端末20と複数のユーザ端末30,301~30Nは、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク40と接続する。 The server 10, the distributor terminal 20, and the plurality of user terminals 30, 301 to 30N are each connected to a communication network 40 such as the Internet. Although not shown, the distributor terminal 20 and the plurality of user terminals 30, 301 to 30N are connected to the communication network 40 by performing data communication with a base station managed by a telecommunications carrier through wireless communication lines.

情報処理システム100は、サーバ10と配信者端末20と複数のユーザ端末30,301~30Nとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。 The information processing system 100 includes a server 10, a distributor terminal 20, and a plurality of user terminals 30, 301 to 30N, thereby realizing various functions for executing various processes according to user operations.

サーバ10は、情報処理システム100の管理者によって管理され、配信者端末20、複数のユーザ端末30,301~30Nに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ10は、WWWサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。サーバ10の構成は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えていれば特に限定されない。以下、サーバ10のハードウェア構成の例について簡単に説明する。 The server 10 is managed by an administrator of the information processing system 100, and has various functions for providing information on various processes to the distributor terminal 20 and the plurality of user terminals 30, 301 to 30N. In this example, the server 10 is configured by an information processing device such as a WWW server, and includes a storage medium for storing various information. The configuration of the server 10 is not particularly limited as long as it has a general configuration for performing various processes as a computer such as a control unit and a communication unit. An example of the hardware configuration of the server 10 will be briefly described below.

図1に示すように、サーバ10は、CPU(Central Processing Unit)101と、メモリ102と、記憶装置103とを少なくとも備える。 As shown in FIG. 1 , the server 10 includes at least a CPU (Central Processing Unit) 101 , a memory 102 and a storage device 103 .

CPU101は、各種の演算および制御を行う中央処理装置である。また、サーバ10がGPU(Graphics Processing Unit)を備える場合には、各種の演算および制御の一部をGPUによって行うようにしてもよい。サーバ10は、適宜メモリ102に読み出したデータを用いて動画配信の制御に必要な各種の情報処理をCPU101にて実行し、得られた処理結果を必要に応じて記憶装置103に記憶させる。 A CPU 101 is a central processing unit that performs various calculations and controls. Moreover, when the server 10 is provided with a GPU (Graphics Processing Unit), the GPU may perform part of various calculations and controls. The server 10 causes the CPU 101 to execute various types of information processing necessary for controlling moving image distribution using the data read out to the memory 102 as appropriate, and stores the obtained processing results in the storage device 103 as necessary.

記憶装置103は、各種情報を格納する記憶媒体としての機能を有する。記憶装置103の構成は特に限定されないが、配信者端末20、複数のユーザ端末30,301~30Nそれぞれにかかる処理負荷を軽減させるといった観点から、動画配信の制御に必要な各種情報を全て記憶可能な構成であることが好ましい。このような例には、HDDやSSDがある。ただし、各種情報を記憶する記憶部は、サーバ10がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ10の外部に有する構成とされていてもよい。 The storage device 103 has a function as a storage medium for storing various information. The configuration of the storage device 103 is not particularly limited, but from the viewpoint of reducing the processing load on each of the distributor terminal 20 and the plurality of user terminals 30, 301 to 30N, it is possible to store all the various information necessary for controlling video distribution. configuration. Examples of such include HDDs and SSDs. However, the storage unit that stores various information may have a storage area accessible by the server 10 , and may have a dedicated storage area outside the server 10 , for example.

図2は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図2に示すサーバ10Aは、サーバの構成の一例を示すブロック図である。図2に示すように、サーバ10Aは、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14とを少なくとも備える。 FIG. 2 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. The server 10A shown in FIG. 2 is a block diagram showing an example of the configuration of the server. As shown in FIG. 2, the server 10A includes at least a distributor display section 11, a distributor avatar display section 12, a user avatar display section 13, and a video distribution screen transmission section .

配信者表示部11は、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末20が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部11では、配信者端末20から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。 The distributor display unit 11 has a function of receiving photographed moving image data obtained by photographing a distributor from a distributor terminal and displaying it in a distributor display area set on a moving image distribution screen. Here, the photographed moving image data refers to moving image data obtained by photographing the distributor himself/herself. A camera device for capturing moving images may be provided in the distributor terminal 20 or may be an external camera device. Also, the moving image distribution screen refers to a screen configuration that is actually viewed when viewing the moving image distribution. Further, the distributor display area is an area for displaying captured moving image data obtained by capturing a moving image of the distributor and is provided in a part of the moving image distribution screen. The distributor display unit 11 performs control so that captured video data acquired from the distributor terminal 20 is displayed in a distributor display area set on the video distribution screen. In addition, video distribution by the distributor means video distribution that is executed mainly by the distributor, and real-time video distribution is not the content of playing back video data that has been recorded in advance, but the distribution It is a live-format moving image distribution in which a person's real-time appearance is captured and distributed as it is to a user who is a viewer.

配信者アバター表示部12は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末20を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末20に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部12では、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。 The distributor avatar display unit 12 has a function of displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor. Here, an avatar is an object such as a display or character that functions as an alter ego of a user. A distributor avatar is an avatar registered in association with a distributor. Any distributor avatar may be used, but the distributor avatar can be operated based on input operation information from the distributor input via the distributor terminal 20 . The input operation information from the distributor may be any information that can be input to the distributor terminal 20. For example, input from a device such as a mouse or keyboard, or distribution obtained by a microphone. Voice input by a person's voice can be considered. In addition, the operation of the broadcaster avatar is not to make the broadcaster avatar perform some action, such as changing facial expressions such as waving, walking, jumping, crying and laughing, and expressing emotions using speech bubbles and icons. I assume. Further, the operation for the broadcaster avatar may be a complicated operation such as performing a dance to a tune to be reproduced based on a preset program. Further, the distributor avatar display area is an area for displaying the distributor avatar and is provided in a part of the video distribution screen. The distributor avatar display unit 12 performs control so that the distributor avatar is displayed in the distributor avatar display area set on the video distribution screen.

ユーザアバター表示部13は、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末30を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末30に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部13では、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。 The user avatar display unit 13 displays a user avatar associated with each user who receives and views a video distribution and is operable based on the user's input operation information transmitted from the user terminal. It has a function to display in the user avatar display area set on the screen. Here, the user avatar is an avatar associated with each user who receives and views the video distribution. Any user avatar may be used, but the user avatar can be operated based on input operation information from the user input via the user terminal 30 . The input operation information from the user may be anything as long as it can be input to the user terminal 30. For example, input from a device such as a mouse or keyboard, or input from a distributor acquired by a microphone A speech input by voice or the like is conceivable. In addition, it is assumed that user avatar operations will cause the broadcaster avatar to perform some action, such as changing facial expressions such as waving, walking, jumping, crying and laughing, and expressing emotions using speech bubbles and icons. are doing. Further, the operation on the user avatar may be an instruction for a complicated operation such as performing a dance to a tune to be reproduced based on a preset program. Also, the user avatar display area is an area for displaying the user avatar and is provided in a part of the video distribution screen. The user avatar display unit 13 performs control so that the user avatar is displayed in the user avatar display area set on the video distribution screen.

動画配信画面送信部14は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部11の制御に基づいて生成された配信者表示領域、配信者アバター表示部12の制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部13の制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末20とユーザ端末30,301~30Nが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。 The moving picture distribution screen transmission unit 14 has a function of transmitting a moving picture distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area to a terminal receiving distribution of a moving picture. A distributor display area generated under the control of the distributor display unit 11, a distributor avatar display area generated under the control of the distributor avatar display unit 12, and a distributor avatar display area generated under the control of the user avatar display unit 13 The user avatar display area is arranged at a predetermined position in a preset moving image distribution screen to generate a moving image distribution screen, and the generated moving image distribution screen is transmitted to a terminal that receives the moving image distribution. Terminals that receive moving image distribution are assumed to be distributor terminal 20 and user terminals 30, 301 to 30N. The distributor display area, the distributor avatar display area, and the user avatar display area may be provided within the video distribution screen as completely independent areas, or may be part or all of the mutual areas. may be provided in the video distribution screen by sharing the .

配信者端末20は、配信者によって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、PDA(Personal Digital Assistants)、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク40に接続可能なデバイスによって構成される。また、配信者は自信を撮影した撮影動画データを配信者端末20を介してサーバ10に送信する必要があるため、配信者端末20がカメラ装置を備えているか、配信者端末20に対して外付けのカメラ装置を接続して利用する必要がある。 The distributor terminal 20 is managed by the distributor, and is connected to the communication network 40 by devices such as personal computers, mobile phone terminals, tablet terminals, PDAs (Personal Digital Assistants), portable game devices, and so-called wearable devices. Configured. In addition, since the distributor needs to transmit the captured moving image data of himself/herself to the server 10 via the distributor terminal 20, the distributor terminal 20 is provided with a camera device, or the distributor terminal 20 is equipped with an external device. It is necessary to connect and use the attached camera device.

複数のユーザ端末30,301~30Nは、それぞれ、ユーザによって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、PDA(Personal Digital Assistants)、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク40に接続可能なデバイスによって構成される。また、ユーザ端末30,301~30Nは、サーバ10から送信される動画配信画面を受信して表示するための表示部を備えている必要がある。 A plurality of user terminals 30, 301 to 30N are each managed by a user. For example, a personal computer, a mobile phone terminal, a tablet terminal, a PDA (Personal Digital Assistants), a portable game device, a so-called wearable device, etc. can be connected to the communication network 40. consists of devices that can connect to Also, the user terminals 30, 301 to 30N must have a display section for receiving and displaying the moving picture distribution screen transmitted from the server 10. FIG.

また、配信者端末20、複数のユーザ端末30,301~30Nは、それぞれ、通信ネットワーク40に接続し、サーバ10との通信を行うことにより各種処理を実行するためのハードウェア及びソフトウェアを備える。なお、配信者端末20、複数のユーザ端末30,301~30Nそれぞれは、サーバ10を介さずに互いに直接通信を行うこともできる構成とされていてもよい。 Further, the distributor terminal 20 and the plurality of user terminals 30, 301 to 30N are each connected to the communication network 40 and equipped with hardware and software for executing various processes by communicating with the server 10. FIG. Note that the distributor terminal 20 and the plurality of user terminals 30, 301 to 30N may be configured to communicate directly with each other without going through the server 10. FIG.

次に、本例の情報処理システム100(システム100)の動作について説明する。 Next, the operation of the information processing system 100 (system 100) of this example will be described.

図3は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Aと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。 FIG. 3 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10A and the distributor terminal 20 and/or the user terminal 30 execute information processing will be described below as an example.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Aは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS11)。次に、サーバ10Aは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS12)。次に、サーバ10Aは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS13)。次に、サーバ10Aは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS14)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS15)、処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10A first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S11). Next, the server 10A displays an operable distributor avatar in the distributor avatar display area based on the input operation information from the distributor (step S12). Next, the server 10A displays an operable user avatar in the user avatar display area based on the user's input operation information (step S13). Next, the server 10A transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S14). Then, the distributor terminal 20 and/or the user terminal 30 receive the moving image distribution screen, display the moving image distribution screen on a predetermined display device as necessary (step S15), and end the process. .

図4は、本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ側の動作の例を示すフローチャートである。ここでは、システム100におけるサーバ10Aの動作について改めて説明する。 FIG. 4 is a flowchart illustrating an example of server-side operations in information processing corresponding to at least one embodiment of the present invention. Here, the operation of the server 10A in the system 100 will be explained again.

動画配信が開始されると、サーバ10Aは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS101)。次に、サーバ10Aは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS102)。次に、サーバ10Aは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS103)。そして、サーバ10Aは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して(ステップS104)、処理を終了する。 When moving image distribution is started, the server 10A first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S101). Next, the server 10A displays an operable distributor avatar in the distributor avatar display area based on the input operation information from the distributor (step S102). Next, the server 10A displays an operable user avatar in the user avatar display area based on the user's input operation information (step S103). The server 10A then transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S104), and ends the process.

図5は、本発明の実施形態の少なくとも一つに対応する情報処理における配信者端末側の動作の例を示すフローチャートである。以下、配信者端末20が、単体で情報処理を実行する場合を例にして説明する。なお、配信者端末20の構成については、サーバ10から各種情報を受信することを除きサーバ10の構成と同様の機能を備えるものであるため、重複説明を避ける観点から記載を省略する。また、以下においては配信者端末20において情報処理を実行する場合を例に説明を行うが、同様の情報処理をユーザ端末30において実行するようにしてもよい。 FIG. 5 is a flow chart showing an example of the operation of the distributor terminal in information processing corresponding to at least one embodiment of the present invention. A case where the distributor terminal 20 executes information processing by itself will be described below as an example. Note that the configuration of the distributor terminal 20 has the same functions as the configuration of the server 10 except for receiving various information from the server 10, so description thereof will be omitted from the viewpoint of avoiding duplication of description. Further, although the case where information processing is executed in the distributor terminal 20 will be described below as an example, similar information processing may be executed in the user terminal 30 .

情報処理が開始されると、配信者端末20は、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS201)。次に、配信者端末20は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS202)。次に、配信者端末20は、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS203)。そして、配信者端末20は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して(ステップS204)、処理を終了する。 When information processing is started, the distributor terminal 20 first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S201). Next, the distributor terminal 20 displays the operable distributor avatar in the distributor avatar display area based on the input operation information from the distributor (step S202). Next, the distributor terminal 20 displays an operable user avatar in the user avatar display area based on the user's input operation information (step S203). The distributor terminal 20 then transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S204), and ends the process.

以上に説明したように、第1の実施形態の一側面として、サーバ10Aが、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14とを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。 As described above, as one aspect of the first embodiment, the server 10A includes the distributor display unit 11, the distributor avatar display unit 12, the user avatar display unit 13, and the video distribution screen transmission unit 14. , the broadcaster is displayed in the broadcaster display area of the captured video data, and the broadcaster avatar that can be operated based on the input operation information from the broadcaster is displayed in the broadcaster avatar display area, and the video distribution is received. a user avatar corresponding to each user who views the content and is operable based on user input operation information is displayed in a user avatar display area, a distributor display area, a distributor avatar display area, Since the moving image distribution screen including the user avatar display area is transmitted to the terminal that receives the moving image distribution, it is possible to realize two-way communication using the avatar in the moving image distribution.

すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。 That is, a broadcaster avatar display area for displaying a broadcaster avatar that can be operated based on the input operation of the broadcaster and a user avatar display area for displaying a user avatar that can be operated based on the input operation by the user are displayed on the video distribution screen. By setting it to , each avatar can be operated by each and communication can be achieved. In addition, since the distributor display area is provided, the user can observe the distributor who has seen the action that the user avatar has performed, and the distributor's reaction to the user avatar operated by the user can be observed. can also be observed.

[第2の実施形態]
図6は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図6を用いて、情報処理サーバ10の例である情報処理サーバ10B(サーバ10B)について説明する。本例において、サーバ10Bは、配信者表示部11と、配信者アバター表示部12Bと、ユーザアバター表示部13と、動画配信画面送信部14とを少なくとも備える。
[Second embodiment]
FIG. 6 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An information processing server 10B (server 10B), which is an example of the information processing server 10, will be described with reference to FIG. In this example, the server 10B includes at least a distributor display section 11, a distributor avatar display section 12B, a user avatar display section 13, and a video distribution screen transmission section .

配信者アバター表示部12Bは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。 The distributor avatar display unit 12B acquires the body motion of the distributor acquired based on the motion capture means as input operation information from the distributor, controls the operation of the distributor avatar, and performs the distribution operated by the control. It has a function to display the broadcaster avatar in the broadcaster avatar display area.

ここで、モーションキャプチャ手段とは、配信者の身体動作(モーション)を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部12Bでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。 Here, the motion capture means means means for detecting body movements (motions) of the distributor and acquiring them as input operation information. Any means may be used as long as it can detect the body motion of the distributor who is the target of the input operation information. As an example, there is a method of detecting the body movement of the broadcaster by image analysis of the captured video data of the broadcaster taken with a camera device, and a method of attaching a sensor to a predetermined part of the body of the broadcaster and detecting the displacement of the sensor. For example, a method of detecting the body movement of the broadcaster by using In the case of the method of image analysis of captured moving image data, the captured moving image data may be used as it is for display in the distributor display area, or a camera device dedicated to motion capture means may be provided separately and captured moving image data may be used. may be obtained. As for the operation of the broadcaster avatar, it is conceivable that some action is associated with a predetermined body motion of the broadcaster and registered in advance, and the registered action is executed. A configuration in which a distributor avatar is made to execute is also conceivable. In this distributor avatar display section 12B, the distributor avatar operated by the distributor's body motion is displayed in the distributor avatar display area.

図7は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Bと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10B、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。 FIG. 7 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10B and the distributor terminal 20 and/or the user terminal 30 execute information processing will be described below as an example. Flowcharts showing operations of the server 10B, the distributor terminal 20, and/or the user terminal 30 are omitted from the viewpoint of avoiding duplication of explanation.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Bは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS21)。次に、サーバ10Bは、配信者の身体動作に基づいて操作され得る配信者アバターを配信者アバター表示領域に表示させる(ステップS22)。次に、サーバ10Bは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS23)。次に、サーバ10Bは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS24)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS25)、処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10B first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S21). Next, the server 10B displays a distributor avatar that can be operated based on the distributor's body motion in the distributor avatar display area (step S22). Next, the server 10B displays an operable user avatar in the user avatar display area based on the user's input operation information (step S23). Next, the server 10B transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S24). Then, the distributor terminal 20 and/or the user terminal 30 receive the moving image distribution screen, display the moving image distribution screen on a predetermined display device as necessary (step S25), and end the process. .

以上に説明したように、第2の実施形態の一側面として、サーバ10Bが、配信者表示部11と、配信者アバター表示部12Bと、ユーザアバター表示部13と、動画配信画面送信部14とを備え、このうちの配信者アバター表示部12Bにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。 As described above, as one aspect of the second embodiment, the server 10B includes the distributor display unit 11, the distributor avatar display unit 12B, the user avatar display unit 13, and the video distribution screen transmission unit 14. and the distributor avatar display unit 12B acquires body motions of the distributor acquired based on the motion capture means as input operation information from the distributor, controls the operation of the distributor avatar, and controls the operation of the distributor avatar. Since the manipulated distributor avatar is displayed in the distributor avatar display area, the distributor avatar displayed on the video distribution screen can be operated based on the distributor's body motion.

すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。 In other words, in a situation where the user watching the video distribution can observe the distributor displayed in the distributor display area and the distributor avatar displayed in the distributor avatar display area at the same time, the distributor has some kind of body. Since it is possible to simultaneously observe the motion and the broadcaster avatar that is operated based on the body movements, it is possible to observe the broadcaster avatar being operated in real time by the body movements of the broadcaster. It is possible to realize more real-time communication.

[第3の実施形態]
図8は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図8を用いて、情報処理サーバ10の例である情報処理サーバ10C(サーバ10C)について説明する。本例において、サーバ10Cは、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14と、特典付与部15とを少なくとも備える。
[Third Embodiment]
FIG. 8 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An information processing server 10C (server 10C), which is an example of the information processing server 10, will be described with reference to FIG. In this example, the server 10</b>C includes at least a distributor display section 11 , a distributor avatar display section 12 , a user avatar display section 13 , a video distribution screen transmission section 14 , and a privilege provision section 15 .

特典付与部15は、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する機能を有する。 The privilege granting unit 15 has a function of granting a predetermined privilege to a user associated with a predetermined number of user avatars selected by the distributor among a plurality of user avatars.

ここで、特典とは、配信者の選択したユーザアバターに対応づいているユーザが何らかの恩恵を受ける処理のことをいう。特典は、その特典を付与されるユーザが何らかの恩恵を感じることができればどのような内容であってもよい。特典の一例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。ユーザに対する特典付与のタイミングは適宜設定し得る事項である。 Here, the benefit means processing in which a user corresponding to the user avatar selected by the distributor receives some kind of benefit. The privilege may have any content as long as the user to whom the privilege is given can feel some kind of benefit. Examples of benefits include the provision of items that can be worn by the user avatar, the provision of the right for the user avatar and the distributor avatar to co-star in the same space, and the privilege of delivering goods to the user at a later date. The timing of granting the privilege to the user is a matter that can be set as appropriate.

図9は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Cと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10C、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。 FIG. 9 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10C and the distributor terminal 20 and/or the user terminal 30 execute information processing will be described below as an example. Flowcharts showing operations of the server 10C, the distributor terminal 20 and/or the user terminal 30 are omitted from the viewpoint of avoiding duplication of explanation.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Cは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS31)。次に、サーバ10Cは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS32)。次に、サーバ10Cは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS33)。次に、サーバ10Cは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS34)。次に、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる(ステップS35)。そして、サーバ10Cは、配信者からの特典付与対象の選択を受付け、対象となったユーザに特典を付与して(ステップS36)、処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10C first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S31). Next, the server 10C displays an operable distributor avatar in the distributor avatar display area based on the input operation information from the distributor (step S32). Next, the server 10C displays an operable user avatar in the user avatar display area based on the user's input operation information (step S33). Next, the server 10C transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S34). Next, the distributor terminal 20 and/or the user terminal 30 receive the moving image distribution screen and, if necessary, display the moving image distribution screen on a predetermined display device (step S35). Then, the server 10C accepts the selection of the privilege granting target from the distributor, grants the privilege to the target user (step S36), and terminates the process.

以上に説明したように、第3の実施形態の一側面として、サーバ10Cが、配信者表示部11と、配信者アバター表示部12と、ユーザアバター表示部13と、動画配信画面送信部14と、特典付与部15とを備え、このうちの特典付与部15において、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与するようにしたので、動画配信において配信者からユーザに対するコミュニケーション手段の1つとして特典の付与を利用することが可能となる。 As described above, as one aspect of the third embodiment, the server 10C includes the distributor display unit 11, the distributor avatar display unit 12, the user avatar display unit 13, and the video distribution screen transmission unit 14. , and a privilege granting unit 15, wherein the privilege granting unit 15 grants a predetermined privilege to a user corresponding to a predetermined number of user avatars selected by a distributor from among a plurality of user avatars. As a result, it is possible to use the granting of benefits as one means of communication from the distributor to the user in video distribution.

すなわち、動画配信におけるコミュニケーションの1つとして配信者による特典の付与を利用することが可能となる。 In other words, it is possible to utilize the awarding of benefits by the distributor as one of the communications in video distribution.

[第4の実施形態]
図10は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図10を用いて、情報処理サーバ10の例である情報処理サーバ10D(サーバ10D)について説明する。本例において、サーバ10Dは、配信者表示部11と、配信者アバター表示部12Dと、ユーザアバター表示部13Dと、動画配信画面送信部14とを少なくとも備える。
[Fourth embodiment]
FIG. 10 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An information processing server 10D (server 10D), which is an example of the information processing server 10, will be described with reference to FIG. In this example, the server 10D includes at least a distributor display section 11, a distributor avatar display section 12D, a user avatar display section 13D, and a video distribution screen transmission section .

配信者アバター表示部12Dは、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置される配信者アバターは、3次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る3次元モデルで構成された配信者アバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。 The distributor avatar display unit 12D arranges the distributor avatar in a predefined three-dimensional virtual space, and renders the captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera in the distributor avatar display area. It has a function to display. Any three-dimensional virtual space may be used. It is preferable that the broadcaster avatar placed in the three-dimensional virtual space be configured as a three-dimensional model. A broadcaster avatar composed of a three-dimensional model that can be manipulated based on the input operation of the broadcaster is arranged in a three-dimensional virtual space, and the three-dimensional virtual space is rendered from the shooting viewpoint of a predetermined virtual camera. Make the avatar appear in the broadcaster avatar display area. The shooting viewpoint of the predetermined virtual camera may be a fixed viewpoint, or may be configured to change the shooting viewpoint as appropriate.

ユーザアバター表示部13Dは、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置されるユーザアバターは、3次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る3次元モデルで構成されたユーザアバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。 The user avatar display unit 13D has a function of arranging a user avatar in a predefined three-dimensional virtual space and displaying photographed image data obtained by rendering the three-dimensional virtual space from the photographing viewpoint of a predetermined virtual camera in the user avatar display area. have Any three-dimensional virtual space may be used. It is preferable that the user avatar placed in the three-dimensional virtual space be configured as a three-dimensional model. A user avatar composed of a three-dimensional model that can be manipulated based on a user's input operation is placed in a three-dimensional virtual space, and the three-dimensional virtual space is rendered from a predetermined virtual camera's shooting viewpoint. Make it visible in the avatar display area. The shooting viewpoint of the predetermined virtual camera may be a fixed viewpoint, or may be configured to change the shooting viewpoint as appropriate.

また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12D及びユーザアバター表示部13Dにおける処理を実行するようにする。同一の3次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の3次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。 Also, the distributor avatar and at least some of the user avatars are arranged in the same three-dimensional virtual space, and then the processing in the distributor avatar display section 12D and the user avatar display section 13D is executed. While sharing the same three-dimensional virtual space, by making the shooting viewpoint of the virtual camera for display in the distributor avatar display area and the shooting viewpoint of the virtual camera for display in the user avatar display area different, The same 3D virtual space can be rendered and displayed from different viewpoints. In addition, when an image rendered while sharing the same virtual space is displayed in the broadcaster avatar display area, it is also possible to adopt a configuration in which the user avatar can be displayed in the broadcaster avatar display area depending on the direction of the shooting viewpoint of the virtual camera. can.

図11は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Dと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10D、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。 FIG. 11 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10D and the distributor terminal 20 and/or the user terminal 30 execute information processing will be described below as an example. Flowcharts showing operations of the server 10D, the distributor terminal 20, and/or the user terminal 30 are omitted from the viewpoint of avoiding duplication of explanation.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Dは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS41)。次に、サーバ10Dは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる(ステップS42)。次に、サーバ10Dは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる(ステップS43)。次に、サーバ10Dは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS44)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS45)、処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10D first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S41). Next, the server 10D arranges an operable distributor avatar in a predefined three-dimensional virtual space based on the input operation information from the distributor, and displays the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera. The rendered captured image data is displayed in the distributor avatar display area (step S42). Next, the server 10D arranges an operable user avatar in a three-dimensional virtual space defined in advance based on the input operation information of the user, and takes a photograph by rendering the three-dimensional virtual space from the photographing viewpoint of a predetermined virtual camera. The image data is displayed in the user avatar display area (step S43). Next, the server 10D transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S44). Then, the distributor terminal 20 and/or the user terminal 30 receive the moving image distribution screen, display the moving image distribution screen on a predetermined display device as necessary (step S45), and end the process. .

以上に説明したように、第4の実施形態の一側面として、サーバ10Dが、配信者表示部11と、配信者アバター表示部12Dと、ユーザアバター表示部13Dと、動画配信画面送信部14とを備え、このうちの配信者アバター表示部12Dにおいて、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部13Dにおいて、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12D及びユーザアバター表示部13Dにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の3次元仮想空間を共有している一体感を得ることが可能となる。 As described above, as one aspect of the fourth embodiment, the server 10D includes the distributor display unit 11, the distributor avatar display unit 12D, the user avatar display unit 13D, and the video distribution screen transmission unit 14. In the distributor avatar display unit 12D of these, the distributor avatar is arranged in a predefined three-dimensional virtual space, and the captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera is displayed. The user avatar is displayed in the distributor avatar display area, and the user avatar is arranged in a predefined three-dimensional virtual space in the user avatar display unit 13D, and the three-dimensional virtual space is rendered from the shooting viewpoint of a predetermined virtual camera. The captured image data is displayed in the user avatar display area, and the distributor avatar and at least a part of the user avatar are arranged in the same three-dimensional virtual space, and then the distributor avatar display unit 12D and the user avatar are displayed. Since the processing in the display unit 13D is executed, it is possible to obtain a sense of unity in which the distributor avatar and the user avatar share the same three-dimensional virtual space in video distribution.

すなわち、同一の3次元仮想空間を共有してのイベント、例えば、3次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の3次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。 That is, in an event that shares the same three-dimensional virtual space, such as a live concert in a three-dimensional virtual space, the distributor avatar and the user avatar of the artist who is the distributor live in the same three-dimensional virtual space. It is possible to provide the user with a sense of unity by sharing the event.

[第5の実施形態]
図12は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図12を用いて、情報処理サーバ10の例である情報処理サーバ10Z(サーバ10Z)について説明する。本例において、サーバ10Zは、配信者表示部11Zと、配信者アバター表示部12Zと、ユーザアバター表示部13Zと、動画配信画面送信部14Zとを少なくとも備える。
[Fifth Embodiment]
FIG. 12 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An information processing server 10Z (server 10Z), which is an example of the information processing server 10, will be described with reference to FIG. In this example, the server 10Z includes at least a distributor display section 11Z, a distributor avatar display section 12Z, a user avatar display section 13Z, and a video distribution screen transmission section 14Z.

配信者表示部11Zは、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末20が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部11Zでは、配信者端末20から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた度動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。 The distributor display unit 11Z has a function of receiving captured moving image data obtained by capturing a moving image of the distributor from the distributor terminal and displaying it in a distributor display area set on the moving image distribution screen. Here, the photographed moving image data refers to moving image data obtained by photographing the distributor himself/herself. A camera device for capturing moving images may be provided in the distributor terminal 20 or may be an external camera device. Further, the moving image distribution screen refers to a screen configuration that is actually viewed when viewing moving image distribution. Further, the distributor display area is an area for displaying captured moving image data obtained by capturing a moving image of the distributor and is provided in a part of the moving image distribution screen. The distributor display unit 11Z performs control so that captured moving image data acquired from the distributor terminal 20 is displayed in a distributor display area set on the moving image distribution screen. In addition, the video distribution by the distributor is the video distribution that is executed mainly by the distributor, and the real-time video distribution is not the content that reproduces the video data recorded in advance, It refers to a live-format moving image distribution in which the real-time state of the distributor is filmed and distributed as is to the user who is the viewer.

配信者アバター表示部12Zは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末20を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末20に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部12Zでは、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。 The distributor avatar display unit 12Z has a function of displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor. Here, an avatar is an object such as a display or character that functions as an alter ego of a user. A distributor avatar is an avatar registered in association with a distributor. Any distributor avatar may be used, but the distributor avatar can be operated based on input operation information from the distributor input via the distributor terminal 20 . The input operation information from the distributor may be any information that can be input to the distributor terminal 20. For example, input from a device such as a mouse or keyboard, or distribution obtained by a microphone. Voice input by a person's voice can be considered. In addition, the operation of the broadcaster avatar is not to make the broadcaster avatar perform some action, such as changing facial expressions such as waving, walking, jumping, crying and laughing, and expressing emotions using speech bubbles and icons. I assume. Further, the operation for the broadcaster avatar may be a complicated operation such as performing a dance to a tune to be reproduced based on a preset program. Further, the distributor avatar display area is an area for displaying the distributor avatar and is provided in a part of the video distribution screen. The distributor avatar display unit 12Z controls to display the distributor avatar in the distributor avatar display area set on the video distribution screen.

また、配信者アバター表示部12Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。 In addition, the distributor avatar display unit 12Z acquires body motions of the distributor acquired based on the motion capture means as input operation information from the distributor, controls the operation of the distributor avatar, and controls the operation of the distributor avatar. It has a function to display the broadcaster avatar in the broadcaster avatar display area.

ここで、モーションキャプチャ手段とは、配信者の身体動作(モーション)を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部12Zでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。 Here, the motion capture means means means for detecting body movements (motions) of the distributor and acquiring them as input operation information. Any means may be used as long as it can detect the body motion of the distributor who is the target of the input operation information. As an example, there is a method of detecting the body movement of the broadcaster by image analysis of the captured video data of the broadcaster taken with a camera device, and a method of attaching a sensor to a predetermined part of the body of the broadcaster and detecting the displacement of the sensor. For example, a method of detecting the body movement of the broadcaster by using In the case of the method of image analysis of captured moving image data, the captured moving image data may be used as it is for display in the distributor display area, or a camera device dedicated to motion capture means may be provided separately and captured moving image data may be used. may be obtained. As for the operation of the broadcaster avatar, it is conceivable that some action is associated with a predetermined body motion of the broadcaster and registered in advance, and the registered action is executed. A configuration in which a distributor avatar is made to execute is also conceivable. In this distributor avatar display section 12Z, the distributor avatar operated by the distributor's body motion is displayed in the distributor avatar display area.

また、配信者アバター表示部12Zは、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置される配信者アバターは、3次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る3次元モデルで構成された配信者アバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。 Further, the distributor avatar display unit 12Z arranges the distributor avatar in a predefined three-dimensional virtual space, and displays the captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera as the distributor avatar. It has a function to display in the area. Any three-dimensional virtual space may be used. It is preferable that the broadcaster avatar placed in the three-dimensional virtual space be configured as a three-dimensional model. A broadcaster avatar composed of a three-dimensional model that can be manipulated based on the input operation of the broadcaster is arranged in a three-dimensional virtual space, and the three-dimensional virtual space is rendered from the shooting viewpoint of a predetermined virtual camera. Make the avatar appear in the broadcaster avatar display area. The shooting viewpoint of the predetermined virtual camera may be a fixed viewpoint, or may be configured to change the shooting viewpoint as appropriate.

ユーザアバター表示部13Zは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末30を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末30に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部13Zでは、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。 The user avatar display unit 13Z is a user avatar associated with each user who receives and views the video distribution, and which is operable based on the user's input operation information transmitted from the user terminal. It has a function to display in the user avatar display area set on the screen. Here, the user avatar is an avatar associated with each user who receives and views the video distribution. Any user avatar may be used, but the user avatar can be operated based on input operation information from the user input via the user terminal 30 . The input operation information from the user may be anything as long as it can be input to the user terminal 30. For example, input from a device such as a mouse or keyboard, or input from a distributor acquired by a microphone A speech input by voice or the like is conceivable. In addition, it is assumed that user avatar operations will cause the broadcaster avatar to perform some action, such as changing facial expressions such as waving, walking, jumping, crying and laughing, and expressing emotions using speech bubbles and icons. are doing. Further, the operation on the user avatar may be an instruction for a complicated operation such as performing a dance to a tune to be reproduced based on a preset program. Also, the user avatar display area is an area for displaying the user avatar and is provided in a part of the video distribution screen. The user avatar display section 13Z performs control so that the user avatar is displayed in the user avatar display area set on the video distribution screen.

また、ユーザアバター表示部13Zは、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。3次元仮想空間はどのようなものであってもよい。3次元仮想空間に配置されるユーザアバターは、3次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る3次元モデルで構成されたユーザアバターを3次元仮想空間に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。 In addition, the user avatar display unit 13Z arranges the user avatar in a predefined three-dimensional virtual space, and displays captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera in the user avatar display area. It has a function to let Any three-dimensional virtual space may be used. It is preferable that the user avatar placed in the three-dimensional virtual space be configured as a three-dimensional model. A user avatar composed of a three-dimensional model that can be manipulated based on a user's input operation is placed in a three-dimensional virtual space, and the three-dimensional virtual space is rendered from a predetermined virtual camera's shooting viewpoint. Make it visible in the avatar display area. The shooting viewpoint of the predetermined virtual camera may be a fixed viewpoint, or may be configured to change the shooting viewpoint as appropriate.

また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12Z及びユーザアバター表示部13Zにおける処理を実行するようにしてもよい。同一の3次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の3次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。 Also, the processing in the distributor avatar display section 12Z and the user avatar display section 13Z may be executed after the distributor avatar and at least some of the user avatars are arranged in the same three-dimensional virtual space. While sharing the same three-dimensional virtual space, by making the shooting viewpoint of the virtual camera for display in the distributor avatar display area and the shooting viewpoint of the virtual camera for display in the user avatar display area different, The same 3D virtual space can be rendered and displayed from different viewpoints. In addition, when an image rendered while sharing the same virtual space is displayed in the broadcaster avatar display area, it is also possible to adopt a configuration in which the user avatar can be displayed in the broadcaster avatar display area depending on the direction of the shooting viewpoint of the virtual camera. can.

動画配信画面送信部14Zは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部11Zの制御に基づいて生成された配信者表示領域、配信者アバター表示部12Zの制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部13Zの制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末20とユーザ端末30,301~30Nが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。 The moving image distribution screen transmission unit 14Z has a function of transmitting a moving image distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area to terminals that receive distribution of moving images. A distributor display area generated under the control of the distributor display section 11Z, a distributor avatar display area generated under the control of the distributor avatar display section 12Z, and a distributor avatar display area generated under the control of the user avatar display section 13Z. The user avatar display area is arranged at a predetermined position in a preset moving image distribution screen to generate a moving image distribution screen, and the generated moving image distribution screen is transmitted to a terminal that receives the moving image distribution. Terminals that receive moving image distribution are assumed to be distributor terminal 20 and user terminals 30, 301 to 30N. The distributor display area, the distributor avatar display area, and the user avatar display area may be provided within the video distribution screen as completely independent areas, or may be part or all of the mutual areas. may be provided in the video distribution screen by sharing the .

図11は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Zと、配信者端末20及び/又はユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10Z、配信者端末20及び/又はユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。 FIG. 11 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10Z and the distributor terminal 20 and/or the user terminal 30 execute information processing will be described below as an example. Flowcharts showing operations of the server 10Z, the distributor terminal 20, and/or the user terminal 30 are omitted from the viewpoint of avoiding duplication of explanation.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Zは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS51)。次に、サーバ10Zは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる(ステップS52)。このとき配置する配信者アバターは、モーションキャプチャ手段に基づいて取得される配信者の身体動作によって操作し得るものとしてもよい。次に、サーバ10Zは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる(ステップS53)。このとき、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置するようにしてもよい。次に、サーバ10Zは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS54)。そして、配信者端末20及び/又はユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS55)、処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10Z first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S51). Next, the server 10Z arranges the operable distributor avatar in a predefined three-dimensional virtual space based on the input operation information from the distributor, and displays the three-dimensional virtual space at the shooting viewpoint of a predetermined virtual camera. The rendered photographed image data is displayed in the distributor avatar display area (step S52). The distributor avatar placed at this time may be operable by the distributor's bodily movements acquired based on the motion capture means. Next, the server 10Z arranges an operable user avatar in a three-dimensional virtual space defined in advance based on the user's input operation information, and takes a photograph by rendering the three-dimensional virtual space from the photographing viewpoint of a predetermined virtual camera. The image data is displayed in the user avatar display area (step S53). At this time, the distributor avatar and at least some of the user avatars may be arranged in the same three-dimensional virtual space. Next, the server 10Z transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S54). Then, the distributor terminal 20 and/or the user terminal 30 receive the moving image distribution screen, display the moving image distribution screen on a predetermined display device as necessary (step S55), and end the process. .

図14は、本発明の実施形態の少なくとも一つに対応する情報処理における動画配信画面の一例を説明するための説明図である。この図14は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表している。この図14の例では、配信者アバター表示領域と、ユーザアバター表示領域とが同じ空間であるような表示を行っている例であるが、これに限定されず、図14における配信者表示領域と同様に、配信者アバター表示領域とユーザアバター表示領域についても表示枠によって領域を区切って設ける構成とすることも考えられる。この図14に示すような動画配信画面に基づいて動画配信を実行している最中に、配信者は配信者アバターを操作し、ユーザはユーザアバターを操作することで、アバターを用いた双方向のコミュニケーションを実現できる。 FIG. 14 is an explanatory diagram for explaining an example of a video distribution screen in information processing corresponding to at least one embodiment of the present invention. This FIG. 14 shows a state in which a distributor display area, a distributor avatar display area, and a user avatar display area are provided in the video distribution screen. In the example of FIG. 14, the display is performed such that the distributor avatar display area and the user avatar display area are in the same space. Similarly, the distributor avatar display area and the user avatar display area may be separated by a display frame. While performing video distribution based on the video distribution screen as shown in FIG. 14, the distributor operates the distributor avatar, and the user operates the user avatar. communication can be realized.

なお、配信者表示部11Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作と同一の動きを行う第1アバターを配信者表示領域に表示させるものとし、配信者アバター表示部12Zは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された第2アバターを配信者アバター表示領域に表示させる構成としてもよい。すなわち、配信者表示領域に対して配信者本人の顔を露出させるのではなく、配信者表示領域に第1アバターを表示させ、配信者アバター表示領域に表示させる第2アバターを第1アバターが操作しているようにしてもよい。これは、いわゆるVTuberがさらにそのアバターを用いるといった演出を実現するために利用することが可能である。 Note that the distributor display unit 11Z displays in the distributor display area the first avatar that performs the same movement as the distributor's body motion acquired based on the motion capture means, and the distributor avatar display unit 12Z acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and displays the second avatar operated by the control as the broadcaster avatar. It may be configured to be displayed in the area. That is, instead of exposing the face of the distributor to the distributor display area, the first avatar is displayed in the distributor display area, and the first avatar operates the second avatar to be displayed in the distributor avatar display area. You can make it look like This can be used to realize effects such as so-called VTubers using their avatars.

また、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与できるようにしてもよい。動画配信において配信者からユーザに対するコミュニケーション手段の1つとして特典の付与を利用することが可能となる。特典の例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。 Further, a predetermined benefit may be given to a user associated with a predetermined number of user avatars selected by the distributor among a plurality of user avatars. It is possible to use the provision of benefits as one means of communication from the distributor to the user in video distribution. Examples of benefits include the provision of items that can be worn by the user avatar, the provision of the right for the user avatar and the distributor avatar to co-star in the same space, and the provision of delivering goods to the user at a later date.

また、ユーザアバター表示部13Zは、予め設定した所定数のユーザ分だけのユーザアバターをユーザアバター表示領域に表示させるものとしてもよい。すなわち、ユーザアバター表示領域に無制限にユーザアバターを表示させるのではなく、表示するユーザアバターの数に所定の制限をかけてもよい。表示するユーザアバターを決定する条件はどのようなものであってもよい。配信者からユーザに与えられる特典の一つとして、配信者に選択されたユーザアバターのみがユーザアバター表示領域に表示される構成とすることも可能である。また、配信者による動画配信を視聴するためのルームに入室可能な人数を制限できるような構成であってもよい。動画配信を視聴可能なユーザ数を制限して、入室できたユーザについてはユーザアバターを必ずユーザアバター表示領域に表示させるようにしてもよいし、動画配信を視聴可能なユーザ数を制限し、その中からさらにユーザアバター表示領域に表示させるユーザアバターを絞ってもよい。 Also, the user avatar display unit 13Z may display user avatars for a predetermined number of users in the user avatar display area. In other words, the number of user avatars to be displayed may be limited by a predetermined limit instead of displaying an unlimited number of user avatars in the user avatar display area. Any condition may be used to determine which user avatar to display. As one of the benefits given to the user by the distributor, it is possible to have a configuration in which only the user avatar selected by the distributor is displayed in the user avatar display area. Further, the configuration may be such that the number of people who can enter the room for viewing the video distribution by the distributor can be limited. The number of users who can view the video distribution may be limited so that the user avatars of users who are able to enter the room are always displayed in the user avatar display area. User avatars to be displayed in the user avatar display area may be narrowed down from among them.

また、配信者アバター表示部12は、配信者からの物品の指定又は撮影動画データの画像解析に基づいて配信者が所持する物品を特定し、特定した物品に相当する物品を配信者アバターに所持させる制御を実行した上で当該配信者アバターを配信者アバター表示領域に表示させるようにしてもよい。配信者と同じ物品を配信者アバターに持たせることで、配信者アバターであることを認識し易くなり、同じ物品を所持させる演出によってユーザの興味を惹きつけることが可能となる。 In addition, the distributor avatar display unit 12 identifies an article possessed by the distributor based on the designation of the article by the distributor or image analysis of the captured video data, and the distributor avatar possesses an article corresponding to the identified article. The distributor avatar may be displayed in the distributor avatar display area after executing control to cause the distributor avatar to be displayed. By having the distributor avatar hold the same article as the distributor, it becomes easy to recognize that the distributor avatar is the distributor avatar, and the user's interest can be attracted by the effect of having the distributor avatar hold the same article.

また、配信者表示部11Zは、配信者が複数存在する場合には配信者の人数分の配信者表示領域を設けるようにしてもよい。また、配信者アバター表示部12Zは、複数の配信者のそれぞれに対応する配信者アバターを予め定義された同一の3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにしてもよい。すなわち、複数の配信者によって共同で動画配信を行う場合に、配信者表示領域は配信者毎に設けるが、同一の3次元仮想空間を共有した状態を1つの仮想カメラからの撮影視点にてレンダリングすることで、複数の配信者がいても配信者アバター表示領域は1つにして表示を行うことができる。これにより、複数の配信者による共同の動画配信であっても、配信者アバターは同一空間で共演している様子を表現することが可能となる。 Further, when there are a plurality of distributors, the distributor display section 11Z may provide distributor display areas for the number of distributors. Further, the distributor avatar display unit 12Z arranges distributor avatars corresponding to each of a plurality of distributors in the same predefined three-dimensional virtual space, and distributes the distributor avatars in the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera. may be displayed in the broadcaster avatar display area. In other words, when a plurality of distributors jointly distribute a moving image, each distributor has its own display area, but the same three-dimensional virtual space is shared by rendering from a shooting viewpoint from a single virtual camera. By doing so, even if there are a plurality of distributors, the distributor avatar display area can be displayed as one. As a result, even in joint video distribution by a plurality of distributors, it is possible for the distributor avatars to express how they are co-starring in the same space.

また、配信者及び/又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成としてもよい。音声入力によって自身に対応した配信者アバター又はユーザアバターを操作することができれば、より簡単に配信者アバター又はユーザアバターの操作を実行することが可能となる。 Further, the distributor and/or the user may be configured to be able to operate by voice input as one of the input operation information for the distributor avatar or the user avatar corresponding to the distributor and/or the user. If it is possible to operate the distributor avatar or user avatar corresponding to oneself by voice input, it becomes possible to more easily operate the distributor avatar or user avatar.

また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置し、かつ、配信者アバターとユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能としもよい。配信者アバターとユーザアバターについて相手に対して接触して何らかの作用を及ぼすことを可能にすることで、より一層コミュニケーションの幅が広がるという効果が得られる。 Also, the distributor avatar and at least some of the user avatars may be arranged in the same three-dimensional virtual space, and the distributor avatar and the user avatar may contact each other and exert some effect. By making it possible for the distributor avatar and the user avatar to come into contact with each other and exert some action, it is possible to obtain the effect of further expanding the range of communication.

また、ユーザ自身を撮影した撮影データを表示するためのユーザ表示領域を動画配信画面に設けるようにしてもよい。動画配信を視聴するユーザ全員についてユーザ表示領域に表示することが困難な場合も想定されるため、ユーザ表示領域に表示するユーザは、人数を制限するものであってもよいし、配信者が選択したユーザのみをユーザ表示領域に表示させるものであってもよい。 Also, a user display area for displaying photographed data obtained by photographing the user himself/herself may be provided on the video distribution screen. Since it may be difficult to display in the user display area all the users who watch the video distribution, the number of users to be displayed in the user display area may be limited, or may be selected by the distributor. Only the user who has done so may be displayed in the user display area.

以上に説明したように、第5の実施形態の一側面として、サーバ10Zが、配信者表示部11Zと、配信者アバター表示部12Zと、ユーザアバター表示部13Zと、動画配信画面送信部14Zとを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。 As described above, as one aspect of the fifth embodiment, the server 10Z includes the distributor display section 11Z, the distributor avatar display section 12Z, the user avatar display section 13Z, and the video distribution screen transmission section 14Z. , the broadcaster is displayed in the broadcaster display area of the captured video data, and the broadcaster avatar that can be operated based on the input operation information from the broadcaster is displayed in the broadcaster avatar display area, and the video distribution is received. a user avatar corresponding to each user who views the content and is operable based on user input operation information is displayed in a user avatar display area, a distributor display area, a distributor avatar display area, Since the moving image distribution screen including the user avatar display area is transmitted to the terminal that receives the moving image distribution, it is possible to realize two-way communication using the avatar in the moving image distribution.

すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。 That is, a broadcaster avatar display area for displaying a broadcaster avatar that can be operated based on the input operation of the broadcaster and a user avatar display area for displaying a user avatar that can be operated based on the input operation by the user are displayed on the video distribution screen. By setting it to , each avatar can be operated by each and communication can be achieved. In addition, since the distributor display area is provided, the user can observe the distributor who has seen the action that the user avatar has performed, and the distributor's reaction to the user avatar operated by the user can be observed. can also be observed.

また、配信者アバター表示部12Zにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。 Further, in the distributor avatar display section 12Z, the body motion of the distributor acquired based on the motion capture means is acquired as the input operation information from the distributor, and the operation of the distributor avatar is controlled. Since the broadcaster avatar is displayed in the broadcaster avatar display area, it is possible to operate the broadcaster avatar displayed on the video distribution screen based on the body motion of the broadcaster.

すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。 In other words, in a situation where the user watching the video distribution can observe the distributor displayed in the distributor display area and the distributor avatar displayed in the distributor avatar display area at the same time, the distributor has some kind of body. Since it is possible to simultaneously observe the motion and the broadcaster avatar that is operated based on the body movements, it is possible to observe the broadcaster avatar being operated in real time by the body movements of the broadcaster. It is possible to realize more real-time communication.

また、配信者アバター表示部12Zにおいて、予め定義された3次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部13Zにおいて、予め定義された3次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で3次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の3次元仮想空間に配置した上で、配信者アバター表示部12Z及びユーザアバター表示部13Zにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の3次元仮想空間を共有している一体感を得ることが可能となる。 Further, in the distributor avatar display section 12Z, the distributor avatar is arranged in a predefined three-dimensional virtual space, and captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera is displayed as the distributor avatar. In addition, the user avatar display unit 13Z arranges the user avatar in a predefined three-dimensional virtual space, and renders the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera. is displayed in the user avatar display area, and after arranging the distributor avatar and at least a part of the user avatar in the same three-dimensional virtual space, in the distributor avatar display unit 12Z and the user avatar display unit 13Z Since the process is executed, it is possible to obtain a sense of unity in which the distributor avatar and the user avatar share the same three-dimensional virtual space in video distribution.

すなわち、同一の3次元仮想空間を共有してのイベント、例えば、3次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の3次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。 That is, in an event that shares the same three-dimensional virtual space, such as a live concert in a three-dimensional virtual space, the distributor avatar and the user avatar of the artist who is the distributor live in the same three-dimensional virtual space. It is possible to provide the user with a sense of unity by sharing the event.

[第6の実施形態]
図15は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図15を用いて、情報処理サーバ10の例である情報処理サーバ10E(サーバ10E)について説明する。本例において、サーバ10Eは、配信者表示部11と、配信者アバター表示部12Eと、ユーザアバター表示部13Eと、動画配信画面送信部14Eと、同期信号送信部16と、演出処理部17とを少なくとも備える。
[Sixth Embodiment]
FIG. 15 is a block diagram showing the configuration of a server corresponding to at least one embodiment of the invention. An information processing server 10E (server 10E), which is an example of the information processing server 10, will be described with reference to FIG. In this example, the server 10E includes a distributor display unit 11, a distributor avatar display unit 12E, a user avatar display unit 13E, a video distribution screen transmission unit 14E, a synchronization signal transmission unit 16, and an effect processing unit 17. at least.

配信者アバター表示部12Eは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。また、また、配信者アバター表示部12Eは、後述する演出処理部17によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。 The distributor avatar display unit 12E has a function of displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor. Further, the distributor avatar display unit 12E has a function of changing and displaying actions and motions to be executed by the distributor avatar according to the content of the effect determined by the effect processing unit 17, which will be described later.

ユーザアバター表示部13Eは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。また、ユーザアバター表示部13Eは、後述する演出処理部17によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。この場合、演出処理部17によって決定された演出内容に基づいてユーザアバターに実行させる動作、モーションは、ユーザの入力操作情報に基づく動作指示に優先して実行させるようにしてもよい。 The user avatar display unit 13E is a user avatar associated with each user who receives and watches the video distribution, and which can be operated based on the user's input operation information transmitted from the user terminal. It has a function to display in the user avatar display area set on the screen. The user avatar display unit 13E also has a function of changing and displaying actions and motions to be executed by the distributor avatar according to the content of the effect determined by the effect processing unit 17, which will be described later. In this case, the action or motion to be executed by the user avatar based on the content of the presentation determined by the presentation processing unit 17 may be performed with priority over the action instruction based on the user's input operation information.

動画配信画面送信部14Eは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。また、動画配信画面送信部14Eは、後述する演出処理部17によって決定された演出内容に応じて、動画配信画面を演出に基づいて変化させる機能を有する。 The moving picture distribution screen transmission unit 14E has a function of transmitting a moving picture distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area to a terminal receiving distribution of a moving picture. The moving image distribution screen transmission unit 14E also has a function of changing the moving image distribution screen based on the effect determined by the effect processing unit 17, which will be described later.

同期信号送信部16は、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信する機能を有する。ここで、同期信号とは、動画配信画面に含まれる情報の何れかに同期させた信号のことをいう。動画配信画面に含まれる情報としては、音楽、動画などが考えられる。また、これらに限らず、同期させるためのトリガーとなる情報であればどのような情報であってもよい。ユーザ端末の通信環境によって動画配信画面を受信する時間にはばらつきが生じるため、ユーザによる入力操作が何れのタイミングで行われたかを判定するための基準が必要となる。そこで、動画配信画面に含まれる何らかの情報に同期させた同期信号を基準としてユーザによる入力操作のタイミングを判定すれば、ユーザ端末の通信環境に関わらず入力タイミングを判定することが可能となる。また、同期信号には、ユーザからの入力操作を受け付けるタイミングを指示する情報を含ませるようにしてもよい。また、同期信号には、演出処理条件が達成された場合に実行される演出処理の内容を示す情報を含ませるようにしてもよい。 The synchronizing signal transmission unit 16 has a function of transmitting a synchronizing signal synchronized with the content of the moving image distribution screen to the user terminal together with the moving image distribution screen. Here, the synchronous signal means a signal synchronized with any of the information included in the video distribution screen. Information included in the moving image distribution screen may include music, moving images, and the like. Also, the information is not limited to these, and any information may be used as long as it is information that serves as a trigger for synchronization. Since the time at which the video distribution screen is received varies depending on the communication environment of the user terminal, a criterion for determining the timing of the input operation by the user is required. Therefore, if the timing of the user's input operation is determined based on a synchronization signal synchronized with some information included in the video distribution screen, it becomes possible to determine the input timing regardless of the communication environment of the user terminal. In addition, the synchronization signal may include information indicating the timing of receiving the input operation from the user. Further, the synchronizing signal may include information indicating the content of the effect processing to be executed when the effect processing condition is satisfied.

演出処理部17は、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行する機能を有する。ここで、入力操作情報とは、ユーザ端末に対してユーザの入力操作が行われたか否かの情報を少なくとも含むものをいう。また、入力操作情報は、入力操作が行われた場合に入力のタイミングがどのようなタイミングであったかを示すタイミング情報を含むものであってもよい。この演出処理部17では、入力操作情報が予め定めた所定の演出処理条件を満たす場合に、条件を満たした演出内容を動画配信画面に反映させる演出処理を実行する。演出内容はどのようなものであってもよい。一例としては、配信者アバターに所定のモーション(例えば、ダンス)を実行させる演出や、1以上のユーザアバターに所定のモーションを実行させる演出などが考えらえる。複数のユーザアバターに同時に同じモーションを実行させる演出も可能である。また、演出内容は、動画配信画面における配信者表示領域、配信者アバター表示領域及びユーザアバター表示領域ではなく、これら3つの領域以外の個所に対する演出であってもよい。例えば、3つの領域以外の個所に花火が上がる演出などが考えられる。なお、演出処理は、配信者アバター表示部12Eに対して演出処理を実行させる手法、ユーザアバター表示部13Eに対して演出処理を実行させる手法、演出処理部17において演出処理を実行して動画配信画面を変更する手法など、どのような手法で実現されるものであってもよい。 The effect processing unit 17 has a function of receiving input operation information in which the input timing is determined based on the synchronization signal from the user terminal, determining the content of effect to be included in the video distribution screen based on the input operation information, and executing effect processing. have. Here, the input operation information includes at least information as to whether or not the user has performed an input operation on the user terminal. Also, the input operation information may include timing information indicating what kind of timing the input was at when the input operation was performed. When the input operation information satisfies a predetermined effect processing condition, the effect processing unit 17 executes effect processing for reflecting the effect content satisfying the condition on the moving image distribution screen. The contents of the presentation may be of any kind. As an example, an effect in which a distributor avatar performs a predetermined motion (for example, dancing), an effect in which one or more user avatars perform a predetermined motion, or the like can be considered. It is also possible to produce an effect in which a plurality of user avatars simultaneously perform the same motion. Also, the content of the effect may be an effect for places other than these three areas, instead of the distributor display area, the distributor avatar display area, and the user avatar display area on the video distribution screen. For example, it is conceivable that fireworks are set off in places other than the three areas. Note that the effect processing includes a method of causing the distributor avatar display unit 12E to execute the effect processing, a method of causing the user avatar display unit 13E to execute the effect processing, and a method of executing the effect processing in the effect processing unit 17 and performing video distribution. Any method, such as a method of changing the screen, may be used.

ここで、演出処理部17における所定の演出処理条件は、どのようなものであってもよいが、例えば、入力操作情報の数の条件、入力操作情報のタイミングの条件、又はこれらの組み合わせの条件などが考えられる。入力操作情報の数の条件は、例えば、複数のユーザからの入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、複数のユーザからの入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。入力操作情報のタイミングの条件は、例えば、ユーザ端末において入力操作を受け付けるタイミングをユーザに対して示すようにして、理想的入力タイミングとユーザの入力タイミングとのずれの情報を入力操作情報に含めるようにし、入力タイミングのずれが所定の範囲内に収まっている場合に演出が実行されるという条件が挙げられる。入力操作情報の数の条件と入力操作情報のタイミングの条件の組み合わせについては、例えば、入力タイミングのずれが所定の範囲内に収まっている入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、入力タイミングのずれが所定の範囲内に収まっている入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。 Here, the predetermined effect processing condition in the effect processing unit 17 may be any condition, but for example, the condition of the number of input operation information, the condition of the timing of the input operation information, or a combination of these conditions. etc. can be considered. The condition for the number of input operation information is, for example, a condition that a presentation is executed when the number of input operation information from a plurality of users reaches a predetermined number, or a condition according to the number of input operation information from a plurality of users. One example is the condition that the contents of the performance change. The conditions for the timing of the input operation information are, for example, to indicate to the user the timing at which the user terminal accepts the input operation, and to include information on the deviation between the ideal input timing and the user's input timing in the input operation information. and the effect is executed when the deviation of the input timing is within a predetermined range. Regarding the combination of the condition for the number of pieces of input operation information and the condition for the timing of input operation information, for example, when the number of pieces of input operation information whose input timing lag is within a predetermined range reaches a predetermined number, an effect is executed. Alternatively, there may be a condition that the content of presentation changes according to the number of input operation information whose input timing lag is within a predetermined range.

また、所定の演出処理条件と演出内容の組み合わせはどのようなものであってもよい。例えば、あるユーザ1一人に設定される演出処理条件と1つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。また、例えば、複数のユーザが関係する演出処理条件と1つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。なお、演出処理は、ダンスのモーションや、演出用のエフェクトは、音楽に合わせたタイミングでのみ再生されるようにしてもよい。また、演出処理は、所定のタイミングで受け付けた入力操作に基づいて、所与のタイミングで演出処理を反映させた動画配信画面を出力する構成となる。すなわち、ユーザの入力操作のタイミングと動画配信画面の出力のタイミングには一定の時間差が生じる。出力タイミングまでの時間差については意図的に設定することも可能であり、音楽におけるAメロ、Bメロのタイミングにて受け付けた入力操作情報に基づいて、サビの再生時に演出処理を反映させた動画配信画面を出力するようにしてもよい。 Moreover, the combination of the predetermined effect processing condition and the content of the effect may be any combination. For example, an effect processing condition set for one user may be associated with one effect content, and effect processing may be executed for the corresponding effect content based on the achievement of the effect processing condition by the user. Further, for example, a performance processing condition related to a plurality of users may be associated with one performance content, and the performance processing may be executed for the corresponding performance content based on the achievement of the performance processing condition of the user. Note that in the production process, dance motions and effects for production may be reproduced only at timings that match music. Also, the effect processing is configured to output a moving image distribution screen reflecting the effect processing at a given timing based on an input operation received at a predetermined timing. That is, there is a certain time difference between the timing of the user's input operation and the timing of outputting the video distribution screen. It is also possible to intentionally set the time lag until the output timing, and based on the input operation information received at the timing of the A melody and B melody of the music, video distribution that reflects the production processing when playing the chorus You may make it output a screen.

図16は、本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。この図16を用いて、ユーザ端末30の例について説明する。本例において、ユーザ端末30は、同期信号受信部31と、入力操作判定部32と、入力操作情報送信部33とを少なくとも備える。 FIG. 16 is a block diagram showing the configuration of a user terminal corresponding to at least one embodiment of the invention. An example of the user terminal 30 will be described with reference to FIG. In this example, the user terminal 30 includes at least a synchronization signal receiver 31 , an input operation determination unit 32 , and an input operation information transmitter 33 .

同期信号受信部31は、サーバ10Eから送信される同期信号を受信する機能を有する。受信した同期信号は、ユーザに対して入力操作のタイミングを提示するために用いられたり、ユーザによる入力操作のタイミングの判定の基準として用いられたりする。 The synchronous signal receiver 31 has a function of receiving a synchronous signal transmitted from the server 10E. The received synchronization signal is used to present the timing of the input operation to the user, or is used as a reference for judging the timing of the input operation by the user.

入力操作判定部32は、受信した同期信号に基づいて入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する機能を有する。ここで、入力操作のタイミングを示す情報は、少なくとも入力操作を受け付けていることをユーザに通知する内容を含む情報をいう。さらに、入力操作のタイミングを示す情報として、音楽や動画と同期させた同期信号に基づいて具体的な入力操作のタイミングをユーザに認識させるための表示等を含ませるようにしてもよい。また、入力操作のタイミングを示す情報の表示に加えて、演出内容をユーザに認識させるための情報を併せて表示させるようにしてもよい。そして、実際にユーザによる入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する。同期信号を用いることで、ユーザによる入力操作のタイミングが同期信号の何れのタイミングと一致するかによって入力タイミングを判定することが可能となる。 The input operation determination unit 32 receives the input operation by displaying information indicating the timing of the input operation on the video distribution screen based on the received synchronization signal, and when the input operation is performed, the input operation is performed based on the synchronization signal. It has the function of judging the timing. Here, the information indicating the timing of the input operation means information including at least the content of notifying the user that the input operation is being accepted. Furthermore, the information indicating the timing of the input operation may include a display or the like for allowing the user to recognize the specific timing of the input operation based on the synchronization signal synchronized with the music or video. Further, in addition to the display of the information indicating the timing of the input operation, information for allowing the user to recognize the contents of the presentation may be displayed together. Then, when an input operation is actually performed by the user, the timing of the input operation is determined based on the synchronization signal. By using the synchronizing signal, it is possible to determine the input timing depending on which timing of the synchronizing signal the timing of the input operation by the user matches.

入力操作情報送信部33は、入力操作について、タイミング情報を含む入力操作情報を生成してサーバに送信する機能を有する。ここで、入力操作情報は、入力操作に関する情報であり、少なくとも入力操作のタイミング情報を含むものとする。なお、タイミング情報は、入力操作を受け付ける期間内において入力操作が行われたという大まかな情報であってもよいし、入力操作の理想的入力タイミングとの一致度(ずれ量)を正確に表した情報であってもよい。 The input operation information transmitting unit 33 has a function of generating input operation information including timing information regarding input operations and transmitting the generated input operation information to the server. Here, the input operation information is information about the input operation, and includes at least timing information of the input operation. Note that the timing information may be rough information indicating that the input operation was performed within the period during which the input operation is accepted, or may be information that accurately represents the degree of matching (deviation) between the input operation and the ideal input timing. It may be information.

図17は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ10Eと、ユーザ端末30とが、情報処理を実行する場合を例にして説明する。なお、サーバ10E、ユーザ端末30のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。 FIG. 17 is a flowchart illustrating an example of information processing corresponding to at least one embodiment of the invention. A case where the server 10E and the user terminal 30 execute information processing will be described below as an example. Flowcharts showing operations of the server 10E and the user terminal 30 are omitted from the viewpoint of avoiding duplication of explanation.

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ10Eは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる(ステップS61)。次に、サーバ10Eは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる(ステップS62)。次に、サーバ10Eは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる(ステップS63)。次に、サーバ10Eは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する(ステップS64)。そして、ユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる(ステップS65)。また、サーバ10Eは、動画配信画面の内容に同期させた同期信号を動画配信画面とともに送信する(ステップS66)。ユーザ端末30は、入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受け付ける(ステップS67)。そして、ユーザ端末30は、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定し、タイミング情報を含む入力操作情報を生成して送信する(ステップS68)。次に、サーバ10Eは、入力操作情報が演出処理条件を充足する場合、演出処理の実行を決定する(ステップS69)。サーバ10Eは、演出内容を反映させた動画配信画面を生成して送信する(ステップS70)。そして、ユーザ端末30は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて(ステップS71)、情報処理を終了する。 The information processing according to this example is triggered by, for example, the start of video distribution by the distributor. When moving image distribution is started, the server 10E first displays captured moving image data obtained by capturing a moving image of the distributor in the distributor display area (step S61). Next, the server 10E displays an operable distributor avatar in the distributor avatar display area based on the input operation information from the distributor (step S62). Next, the server 10E displays an operable user avatar in the user avatar display area based on the user's input operation information (step S63). Next, the server 10E transmits a video distribution screen including a distributor display area, a distributor avatar display area, and a user avatar display area (step S64). Then, the user terminal 30 receives the moving image distribution screen and, if necessary, displays the moving image distribution screen on a predetermined display device (step S65). In addition, the server 10E transmits a synchronization signal synchronized with the content of the video distribution screen together with the video distribution screen (step S66). The user terminal 30 receives the input operation by displaying information indicating the timing of the input operation on the video distribution screen (step S67). Then, when an input operation is performed, the user terminal 30 determines the timing of the input operation based on the synchronization signal, and generates and transmits input operation information including timing information (step S68). Next, when the input operation information satisfies the effect processing conditions, the server 10E determines execution of the effect processing (step S69). The server 10E generates and transmits a moving image distribution screen reflecting the content of the effect (step S70). Then, the user terminal 30 receives the moving image distribution screen, displays the moving image distribution screen on a predetermined display device as necessary (step S71), and ends the information processing.

図18は、本発明の実施形態の少なくとも一つに対応する情報処理においてユーザ端末において表示させる動画配信画面の一例を説明するための説明図である。この図18は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表しており、さらに、ユーザに入力操作のタイミングを認識させるための入力タイミング表示欄を設けた状態を表している。この図18の例では、入力タイミング表示欄の内側を右から左に向かってマークA~Eが順次移動していき、左端の矢印部分に各マークが到達したときが入力の理想的入力タイミングであるものとする。これらマークA~Eのそれぞれが矢印部分に到達するタイミングは、同期信号に基づいて調整されており、例えば、音楽のリズムに合わせて理想的入力タイミングに到達する構成となっている。 FIG. 18 is an explanatory diagram for explaining an example of a video distribution screen displayed on a user terminal in information processing corresponding to at least one embodiment of the present invention. FIG. 18 shows a state in which a distributor display area, a distributor avatar display area, and a user avatar display area are provided in the video distribution screen. is provided with an input timing display column. In the example of FIG. 18, the marks A to E move sequentially from right to left inside the input timing display field, and the ideal input timing is when each mark reaches the arrowed portion at the left end. Assume that there is The timing at which each of these marks A to E reaches the arrowed portion is adjusted based on the synchronizing signal.

この図18の例において、マークA~Eの何れかに対してユーザによる入力操作が行われると、ユーザの入力操作について理想的入力タイミングとの一致度を判定して、タイミング情報を含む入力操作情報を生成してサーバ10Eに対して送信する。サーバ10Eでは、入力操作情報が所定の演出処理条件を充足するか否かを判定して、充足する場合には演出処理の実行を決定する。実行する演出処理の内容は、例えば、マークA~Eの何れに対して入力操作が行われるかによって演出内容を変化させるようにしてもよい。また、マークA~Eのそれぞれに対応する演出内容をユーザが認識可能なように動画配信画面に対応する演出内容を表示するようにしてもよい。あるいは、マークA~Eの全てについて所定の入力誤差範囲内にて入力操作を実行できた場合に演出処理を実行する構成とすることも考えられる。また、複数のユーザに対して同様に入力操作を要求して、入力操作に関する条件を充足したユーザが所定数に達することを演出処理条件とすることも考えられる。演出内容の一例としては、配信者アバターに特別なダンスを実行させるといった演出が考えられる。 In the example of FIG. 18, when the user performs an input operation on any of the marks A to E, the degree of coincidence of the user's input operation with the ideal input timing is determined, and the input operation including the timing information is determined. Information is generated and transmitted to the server 10E. The server 10E determines whether or not the input operation information satisfies a predetermined effect processing condition, and determines execution of the effect processing when the condition is satisfied. The content of the effect processing to be executed may be changed depending on, for example, which one of the marks A to E is subjected to the input operation. Further, the effect contents corresponding to each of the marks A to E may be displayed on the moving image distribution screen so that the user can recognize the effect contents corresponding to each mark. Alternatively, it is conceivable that the effect processing is executed when the input operation can be executed within a predetermined input error range for all of the marks A to E. It is also conceivable to request a plurality of users to perform an input operation in the same manner, and to set the effect processing condition to that the number of users who have satisfied the conditions regarding the input operation reaches a predetermined number. As an example of the content of the production, a production such as making the distributor avatar perform a special dance can be considered.

なお、図18の例では、入力タイミング表示欄の中に表示させる入力タイミングを示すためのマークA~Eを1段で表示しているが、これに限定されるものではない。例えば、入力タイミング表示欄の中に入力タイミングを示すマークを2段以上表示可能とし、何れの段のマークに対して入力操作を行うかによって演出を変化させるようにしてもよい。具体例としては、入力タイミングを示すマークを2段に表示させた状態において、上の段のマークに合わせて入力操作が行われるとユーザアバターが赤いサイリウムを振り、下の段のマークに合わせて入力操作が行われるとユーザアバターが緑のサイリウムを振るというように演出を変化させることが考えられる。また、入力タイミングを示すマークを2段に表示させた状態において、上の段のマークに合わせて入力操作が行われると配信者アバターが所定のダンスを実行し、下の段のマークに合わせて入力操作が行われると配信者アバターが上の段の場合とは異なる所定のダンスを実行するというように演出を変化させることが考えられる。 In the example of FIG. 18, the marks A to E for indicating the input timings to be displayed in the input timing display field are displayed in one stage, but the present invention is not limited to this. For example, it is possible to display marks indicating input timings in two or more stages in the input timing display field, and to change the effect depending on which stage of the mark the input operation is performed. As a specific example, in a state in which marks indicating input timing are displayed in two stages, when an input operation is performed in accordance with the mark in the upper stage, the user avatar shakes a red glow stick and moves to match the mark in the lower stage. It is conceivable to change the presentation such that the user avatar shakes a green glow stick when an input operation is performed. Also, in a state in which marks indicating input timing are displayed in two stages, when an input operation is performed in accordance with the mark in the upper stage, the broadcaster avatar performs a predetermined dance and moves in accordance with the mark in the lower stage. It is conceivable to change the presentation such that when the input operation is performed, the broadcaster avatar performs a predetermined dance different from that in the upper stage.

以上に説明したように、第6の実施形態の一側面として、サーバ10Eが、配信者表示部11と、配信者アバター表示部12Eと、ユーザアバター表示部13Eと、動画配信画面送信部14Eと、同期信号送信部16と、演出処理部17とを備え、このうちの同期信号送信部16において、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信するようにし、また、演出処理部17において、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行するようにしたので、動画配信画面の内容に同期したタイミングでのユーザの入力操作に基づいて演出処理を実行して動画配信することでユーザ参加型のイベントを実現することが可能となる。 As described above, as one aspect of the sixth embodiment, the server 10E includes the distributor display unit 11, the distributor avatar display unit 12E, the user avatar display unit 13E, and the video distribution screen transmission unit 14E. , a synchronizing signal transmitting unit 16, and an effect processing unit 17. The synchronizing signal transmitting unit 16 among these transmits a synchronizing signal synchronized with the content of the moving image distribution screen to the user terminal together with the moving image distribution screen. In addition, the effect processing unit 17 receives input operation information in which the input timing is determined based on the synchronization signal from the user terminal, determines the effect content to be included in the video distribution screen based on the input operation information, and performs effect processing. Since it is executed, it is possible to realize a user-participation type event by executing performance processing based on the user's input operation at the timing synchronized with the contents of the moving image distribution screen and distributing moving images.

すなわち、メタバースやゲームなどにおけるライブ配信を含む動画配信において、動画配信画面の内容に同期させた同期信号を基準としてユーザからの入力操作を要求し、かつ、入力タイミングの判定も行うようにすることで、ユーザ毎の通信環境の相違に関わらず、動画配信に含まれる音楽のリズムに合わせた入力操作を各ユーザが実行することが可能となる。このユーザ毎の入力操作情報を用いて演出処理を実行して動画配信画面を生成することで、視聴者も参加、協力することで、ダイナミックな演出によるライブ配信を配信者が気軽に実現することが可能となる。配信者アバターを演出処理の対象にすることに加え、聴衆側であるユーザアバターについても演出処理の対象とすることも可能であり、配信者アバターやユーザアバターのモーション及びステージ上のCGエフェクトなどを用いて、大規模なライブステージの演出を実現することが可能となる。また、入力操作のタイミングとして音楽のリズムに合わせることを求めるなどすれば、音楽のリズムに合わせて入力操作を行う音楽ゲーム的な楽しさを動画配信において提供することも可能となる。 That is, in moving image distribution including live distribution in the Metaverse, games, etc., an input operation from the user is requested based on a synchronization signal synchronized with the content of the moving image distribution screen, and the input timing is also determined. Therefore, each user can perform an input operation in tune with the rhythm of the music included in the moving image distribution, regardless of the difference in communication environment between users. By executing production processing using this input operation information for each user and generating a moving image distribution screen, viewers participate and cooperate, so that the distributor can easily realize live distribution with dynamic production. becomes possible. In addition to making the distributor avatar the target of the production process, it is also possible to make the user avatar on the audience side the target of the production process, and the motion of the distributor avatar and the user avatar, the CG effects on the stage, etc. By using it, it is possible to realize a large-scale live stage performance. In addition, if the input operation timing is requested to match the rhythm of the music, it is possible to provide the enjoyment of a music game in which the input operation is performed in accordance with the rhythm of the music in moving image distribution.

以上に説明したように、本願の各実施形態により1または2以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。 As described above, the embodiments of the present application address one or more deficiencies. In addition, the effect by each embodiment is an example of a non-limiting effect or effect.

なお、上述した各実施形態では、配信者端末20、複数のユーザ端末30,301~30Nとサーバ10は、自己が備える記憶装置に記憶されている各種制御プログラム(例えば、情報処理プログラム)に従って、上述した各種の処理を実行する。 In each of the above-described embodiments, the distributor terminal 20, the plurality of user terminals 30, 301 to 30N, and the server 10 follow various control programs (for example, information processing programs) stored in their own storage devices, Executes the various types of processing described above.

また、システム100の構成は上述した各実施形態の例として説明した構成に限定されず、例えばユーザ端末が実行する処理として説明した処理の一部または全部をサーバ10が実行する構成としてもよいし、サーバ10が実行する処理として説明した処理の一部または全部を配信者端末20、複数のユーザ端末30,301~30Nの何れか(例えば、ユーザ端末30)が実行する構成としてもよい。また、サーバ10が備える記憶部の一部または全部を配信者端末20、複数のユーザ端末30,301~30Nの何れかが備える構成としてもよい。すなわち、システム100における配信者端末20、ユーザ端末30及びサーバ10の何れかが備える機能の一部または全部を、他の個所が担う構成としてもよい。 Further, the configuration of the system 100 is not limited to the configuration described as an example of each embodiment described above. , the distributor terminal 20 or any of the plurality of user terminals 30, 301 to 30N (for example, the user terminal 30) may execute some or all of the processes described as the processes executed by the server 10. FIG. Further, a configuration may be adopted in which a part or all of the storage unit provided in the server 10 is provided in the distributor terminal 20 or any one of the plurality of user terminals 30, 301 to 30N. In other words, a part or all of the functions provided by any one of the distributor terminal 20, the user terminal 30 and the server 10 in the system 100 may be performed by another part.

また、プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。 Also, the program may be configured to implement part or all of the functions described as examples of the above-described embodiments in a single device that does not include a communication network.

[付記]
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
[1]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
[2]
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された前記配信者アバターを前記配信者アバター表示領域に表示させる
[1]記載の情報処理プログラム。
[3]
前記配信者表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作と同一の動きを行う第1アバターを配信者表示領域に表示させるものとし、
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された第2アバターを前記配信者アバター表示領域に表示させる
[1]又は[2]記載の情報処理プログラム。
[4]
前記サーバに、
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
[1]から[3]の何れか一つに記載の情報処理プログラム。
[5]
前記ユーザアバター表示機能は、予め設定した所定数のユーザ分だけのユーザアバターを前記ユーザアバター表示領域に表示させる
[1]から[4]の何れか一つに記載の情報処理プログラム。
[6]
前記配信者アバター表示機能は、予め定義された3次元仮想空間内に前記配信者アバターを配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
[1]から[5]の何れか一つに記載の情報処理プログラム。
[7]
前記ユーザアバター表示機能は、予め定義された3次元仮想空間内に前記ユーザアバターを配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記ユーザアバター表示領域に表示させる
[1]から[6]の何れか一つに記載の情報処理プログラム。
[8]
前記配信者アバター表示機能は、前記配信者からの物品の指定又は前記撮影動画データの画像解析に基づいて前記配信者が所持する物品を特定し、特定した物品に相当する物品を前記配信者アバターに所持させる制御を実行した上で当該配信者アバターを前記配信者アバター表示領域に表示させる
[1]から[7]の何れか一つに記載の情報処理プログラム。
[9]
前記配信者表示機能は、前記配信者が複数存在する場合には前記配信者の人数分の前記配信者表示領域を設ける
[1]から[8]の何れか一つに記載の情報処理プログラム。
[10]
前記配信者アバター表示機能は、複数の前記配信者のそれぞれに対応する配信者アバターを予め定義された同一の3次元仮想空間内に配置し、所定の仮想カメラの撮影視点で前記3次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
[9]記載の情報処理プログラム。
[11]
前記配信者及び/又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成として、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[12]
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の3次元仮想空間に配置した上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[13]
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の3次元仮想空間に配置し、かつ、前記配信者アバターと前記ユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能とした上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
[1]から[10]の何れか一つに記載の情報処理プログラム。
[14]
前記サーバに、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
[1]から[13]の何れか一つに記載の情報処理プログラム。
[15]
前記演出処理機能は、前記入力操作情報の内容に応じて前記演出内容を変化させる
[14]記載の情報処理プログラム。
[16]
[1]から[15]のうち何れかに記載の情報処理プログラムが前記サーバに実現させる機能のうち少なくとも1つの機能を、当該サーバと通信可能なユーザ端末に実現させる情報処理プログラム。
[17]
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。
[18]
前記サーバが、前記配信者表示手段と、前記配信者アバター表示手段と、前記ユーザアバター表示手段と、前記動画配信画面送信手段とを含み、
前記配信者端末及びユーザ端末が、前記動画配信画面送信手段により送信された動画配信画面を表示装置の表示画面に出力する表示出力手段を含む
[17]記載の情報処理システム。
[19]
前記サーバは、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
[17]又は[18]記載の情報処理システム。
[20]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
[21]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
[22]
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備える情報処理システムが、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
[23]
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理装置であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示部と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示部と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示部と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信部と
を備える情報処理装置。
[Appendix]
The above descriptions of the embodiments describe at least the following inventions so that those having ordinary knowledge in the field to which the inventions belong can implement them.
[1]
An information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the server,
a distributor display function for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
[2]
The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. The information processing program according to [1], further displaying the delivered distributor avatar in the distributor avatar display area.
[3]
The distributor display function displays, in the distributor display area, a first avatar performing the same movement as the distributor's body motion acquired based on the motion capture means,
The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. The information processing program according to [1] or [2], wherein the second avatar thus obtained is displayed in the distributor avatar display area.
[4]
to the server,
Any one of [1] to [3] for realizing a privilege granting function of granting a predetermined privilege to a user associated with a predetermined number of user avatars selected by the distributor among a plurality of user avatars. the information processing program described in 1.
[5]
The information processing program according to any one of [1] to [4], wherein the user avatar display function displays user avatars for a predetermined number of users in the user avatar display area.
[6]
The distributor avatar display function arranges the distributor avatar in a predefined three-dimensional virtual space, and renders the captured image data obtained by rendering the three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera to the distributor avatar. The information processing program according to any one of [1] to [5], which is displayed in a display area.
[7]
The user avatar display function arranges the user avatar in a predefined three-dimensional virtual space, and renders the captured image data obtained by rendering the three-dimensional virtual space from a shooting viewpoint of a predetermined virtual camera in the user avatar display area. Displaying the information processing program according to any one of [1] to [6].
[8]
The distributor avatar display function identifies an article possessed by the distributor based on designation of the article by the distributor or image analysis of the captured video data, and displays an article corresponding to the identified article to the distributor avatar. The information processing program according to any one of [1] to [7], wherein the distributor avatar is displayed in the distributor avatar display area after executing control to have the distributor avatar held by the distributor.
[9]
The information processing program according to any one of [1] to [8], wherein the distributor display function provides the distributor display areas for the number of distributors when there are a plurality of distributors.
[10]
The distributor avatar display function arranges distributor avatars corresponding to each of the plurality of distributors in the same predefined three-dimensional virtual space, and arranges the distributor avatars in the same three-dimensional virtual space from the shooting viewpoint of a predetermined virtual camera. The information processing program according to [9], wherein the captured image data rendered by rendering is displayed in the distributor avatar display area.
[11]
The distributor and/or user can operate by voice input as one of the input operation information for the distributor avatar or user avatar corresponding to himself/herself, and the distributor avatar display function and the user avatar display function The information processing program according to any one of [1] to [10].
[12]
arranging the distributor avatar and at least part of the user avatars in the same three-dimensional virtual space, and then realizing the distributor avatar display function and the user avatar display function of [1] to [10]; The information processing program according to any one of the above.
[13]
The distributor avatar and at least a part of the user avatar are arranged in the same three-dimensional virtual space, and the distributor avatar and the user avatar can contact each other and exert some action. The information processing program according to any one of [1] to [10], which realizes the distributor avatar display function and the user avatar display function.
[14]
to the server,
a synchronization signal transmission function for transmitting a synchronization signal synchronized with the content of a video distribution screen to the user terminal together with the video distribution screen;
an effect processing function for receiving input operation information whose input timing is determined based on the synchronization signal from the user terminal, determining content of effect to be included in the video distribution screen based on the input operation information, and executing effect processing; The information processing program according to any one of [1] to [13].
[15]
The information processing program according to [14], wherein the effect processing function changes the content of the effect according to the content of the input operation information.
[16]
An information processing program that causes a user terminal capable of communicating with the server to realize at least one of the functions that the information processing program according to any one of [1] to [15] causes the server to realize.
[17]
An information processing system comprising a communication network, a server, a distributor terminal, and a user terminal, and for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor), ,
a distributor display means for receiving, from the distributor terminal, captured video data obtained by capturing a video of the distributor and displaying it in a distributor display area set on the video distribution screen;
a distributor avatar display means for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from the user terminal is set on the video distribution screen. user avatar display means for displaying in a user avatar display area;
video distribution screen transmitting means for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution; processing system.
[18]
The server includes the distributor display means, the distributor avatar display means, the user avatar display means, and the video distribution screen transmission means,
The information processing system according to [17], wherein the distributor terminal and the user terminal include display output means for outputting the moving picture distribution screen transmitted by the moving picture distribution screen transmitting means to a display screen of a display device.
[19]
The server is
Synchronization signal transmission means for transmitting a synchronization signal synchronized with the contents of a moving image distribution screen to the user terminal together with the moving image distribution screen;
effect processing means for receiving, from the user terminal, input operation information whose input timing is determined based on the synchronization signal, determining content of effects to be included in the video distribution screen based on the input operation information, and executing effect processing; including
The user terminal is
Synchronization signal receiving means for receiving the synchronization signal;
Information indicating the timing of the input operation is displayed on the moving image distribution screen based on the received synchronization signal to accept the input operation, and when the input operation is performed, the timing of the input operation is determined based on the synchronization signal. input operation determination means;
The information processing system according to [17] or [18], further comprising input operation information transmitting means for generating the input operation information including timing information regarding the input operation and transmitting the input operation information to the server.
[20]
An information processing program for causing a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the distributor terminal,
a distributor display function for displaying captured video data obtained by shooting a video of the distributor in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
[21]
An information processing method for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor),
a distributor display process for receiving captured video data obtained by capturing a video of the distributor from a distributor terminal and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display process for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. user avatar display processing for displaying in the avatar display area;
and a video distribution screen transmission process for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. Processing method.
[22]
Information processing for an information processing system comprising a communication network, a server, a distributor terminal, and a user terminal to perform processing for controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor). a method,
a distributor display process for receiving captured video data obtained by capturing a video of the distributor from a distributor terminal and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display process for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. user avatar display processing for displaying in the avatar display area;
and a video distribution screen transmission process for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. Processing method.
[23]
An information processing device for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor),
a distributor display unit for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor, and for displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display unit for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display part to be displayed in the avatar display area;
a video distribution screen transmission unit that transmits the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution. processing equipment.

10 情報処理サーバ(サーバ)
11、11Z 配信者表示部
12、12B、12D、12Z 配信者アバター表示部
13、13D、13Z ユーザアバター表示部
14、14Z 動画配信画面送信部
15 特典付与部
20 配信者端末
30,301~30N ユーザ端末
40 通信ネットワーク
100 情報処理システム
10 information processing server (server)
11, 11Z Distributor display section 12, 12B, 12D, 12Z Distributor avatar display section 13, 13D, 13Z User avatar display section 14, 14Z Video distribution screen transmission section 15 Privilege giving section 20 Distributor terminal 30, 301 to 30N User Terminal 40 Communication network 100 Information processing system

Claims (9)

動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
An information processing program for causing a server to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the server,
a distributor display function for receiving, from a distributor terminal, captured video data obtained by capturing a video of the distributor and displaying the video data in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された前記配信者アバターを前記配信者アバター表示領域に表示させる
請求項1記載の情報処理プログラム。
The broadcaster avatar display function acquires the body motion of the broadcaster acquired based on the motion capture means as input operation information from the broadcaster, controls the operation of the broadcaster avatar, and controls the operation of the broadcaster avatar. 2. The information processing program according to claim 1, further comprising: displaying the broadcaster avatar thus obtained in the broadcaster avatar display area.
前記サーバに、
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
請求項1又は請求項2記載の情報処理プログラム。
to the server,
3. The information processing according to claim 1 or claim 2, wherein a privilege granting function is realized to grant a predetermined privilege to a user associated with a predetermined number of user avatars selected by said distributor among a plurality of user avatars. program.
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の3次元仮想空間に配置した上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
請求項1から請求項3の何れか一つに記載の情報処理プログラム。
The distributor avatar and at least a part of the user avatar are placed in the same three-dimensional virtual space, and then the distributor avatar display function and the user avatar display function are realized. The information processing program according to any one of the above.
前記サーバに、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
請求項1から請求項4の何れか一つに記載の情報処理プログラム。
to the server,
a synchronization signal transmission function for transmitting a synchronization signal synchronized with the content of a video distribution screen to the user terminal together with the video distribution screen;
an effect processing function for receiving input operation information whose input timing is determined based on the synchronization signal from the user terminal, determining content of effect to be included in the video distribution screen based on the input operation information, and executing effect processing; The information processing program according to any one of claims 1 to 4, which implements
前記演出処理機能は、前記入力操作情報の内容に応じて前記演出内容を変化させる
請求項5記載の情報処理プログラム。
6. The information processing program according to claim 5, wherein the effect processing function changes the content of the effect according to the content of the input operation information.
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。
An information processing system comprising a communication network, a server, a distributor terminal, and a user terminal, and for performing processing for controlling a video distribution screen of real-time video distribution by a video distributor (hereinafter referred to as a distributor), ,
a distributor display means for receiving, from the distributor terminal, captured video data obtained by capturing a video of the distributor and displaying it in a distributor display area set on the video distribution screen;
a distributor avatar display means for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from the user terminal is set on the video distribution screen. user avatar display means for displaying in a user avatar display area;
video distribution screen transmitting means for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives video distribution; processing system.
前記サーバは、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
請求項7記載の情報処理システム。
The server is
Synchronization signal transmission means for transmitting a synchronization signal synchronized with the contents of a moving image distribution screen to the user terminal together with the moving image distribution screen;
effect processing means for receiving, from the user terminal, input operation information whose input timing is determined based on the synchronization signal, determining content of effects to be included in the video distribution screen based on the input operation information, and executing effect processing; including
The user terminal is
Synchronization signal receiving means for receiving the synchronization signal;
Information indicating the timing of the input operation is displayed on the moving image distribution screen based on the received synchronization signal to accept the input operation, and when the input operation is performed, the timing of the input operation is determined based on the synchronization signal. input operation determination means;
8. The information processing system according to claim 7, further comprising input operation information transmitting means for generating said input operation information including timing information regarding said input operation and transmitting said input operation information to said server.
動画配信者(以下、配信者)によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
An information processing program for causing a distributor terminal to realize a process of controlling a video distribution screen for real-time video distribution by a video distributor (hereinafter referred to as a distributor),
to the distributor terminal,
a distributor display function for displaying captured video data obtained by shooting a video of the distributor in a distributor display area set on the video distribution screen;
a distributor avatar display function for displaying an operable distributor avatar in a distributor avatar display area set on the video distribution screen based on input operation information from the distributor;
A user who sets, on the video distribution screen, a user avatar associated with each user who receives and views the video distribution and is operable based on user input operation information transmitted from a user terminal. a user avatar display function for displaying in the avatar display area;
and a video distribution screen transmission function for transmitting the video distribution screen including the distributor display area, the distributor avatar display area, and the user avatar display area to a terminal that receives the video distribution. Information processing program.
JP2022006589A 2021-10-27 2022-01-19 Information processing program and information processing system Pending JP2023065288A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021175620 2021-10-27
JP2021175620 2021-10-27

Publications (1)

Publication Number Publication Date
JP2023065288A true JP2023065288A (en) 2023-05-12

Family

ID=86281890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022006589A Pending JP2023065288A (en) 2021-10-27 2022-01-19 Information processing program and information processing system

Country Status (1)

Country Link
JP (1) JP2023065288A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7466039B1 (en) 2023-06-13 2024-04-11 Kddi株式会社 Information processing device, information processing method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7466039B1 (en) 2023-06-13 2024-04-11 Kddi株式会社 Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
JP6724110B2 (en) Avatar display system in virtual space, avatar display method in virtual space, computer program
JP6858737B2 (en) Viewing program, distribution program, how to execute the viewing program, how to execute the distribution program, information processing device, and information processing system
WO2020138107A1 (en) Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user
JP6707111B2 (en) Three-dimensional content distribution system, three-dimensional content distribution method, computer program
US20130311566A1 (en) Method and apparatus for creating rule-based interaction of portable client devices at a live event
CN112261481B (en) Interactive video creating method, device and equipment and readable storage medium
US20230412897A1 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of actors
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
JP2024019661A (en) Information processing device, information processing method, and information processing program
JP6688378B1 (en) Content distribution system, distribution device, reception device, and program
JP2023065288A (en) Information processing program and information processing system
JP2020102236A (en) Content distribution system, receiving device and program
JP2020144887A (en) Avatar display system in virtual space, avatar display method in virtual space, and computer program
KR20200028830A (en) Real-time computer graphics video broadcasting service system
JP7244450B2 (en) Computer program, server device, terminal device, and method
Narayanan et al. Cinemacraft: exploring fidelity cues in collaborative virtual world interactions
JP2023100616A (en) Content distribution apparatus, content distribution program, content distribution method, content display device, content display program, and contents display method
CN116017082A (en) Information processing method and electronic equipment
JP7094404B2 (en) Viewing program, distribution program, how to execute the viewing program, how to execute the distribution program, information processing device, and information processing system
JP7225159B2 (en) 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM
JP7442979B2 (en) karaoke system
JP6665273B1 (en) Content distribution system, receiving device, and program
JP6498832B1 (en) Video distribution system that distributes video including messages from viewing users
JP6453500B1 (en) GAME PROGRAM, METHOD, AND INFORMATION PROCESSING DEVICE
US20240114181A1 (en) Information processing device, information processing method, and program