JP2024052539A - Information processing system, control method, and server device - Google Patents
Information processing system, control method, and server device Download PDFInfo
- Publication number
- JP2024052539A JP2024052539A JP2023129811A JP2023129811A JP2024052539A JP 2024052539 A JP2024052539 A JP 2024052539A JP 2023129811 A JP2023129811 A JP 2023129811A JP 2023129811 A JP2023129811 A JP 2023129811A JP 2024052539 A JP2024052539 A JP 2024052539A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- terminal device
- character
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 230000010365 information processing Effects 0.000 title claims abstract description 89
- 230000004044 response Effects 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims description 206
- 238000013461 design Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 description 351
- 238000003860 storage Methods 0.000 description 149
- 230000006854 communication Effects 0.000 description 124
- 238000004891 communication Methods 0.000 description 122
- 230000033001 locomotion Effects 0.000 description 118
- 230000008569 process Effects 0.000 description 113
- 230000005540 biological transmission Effects 0.000 description 78
- 238000010586 diagram Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 42
- 239000000284 extract Substances 0.000 description 38
- 230000008859 change Effects 0.000 description 35
- 238000011156 evaluation Methods 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 24
- 230000008921 facial expression Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Abstract
【課題】ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を決定するユーザインターフェースを向上させる情報処理システム、制御方法及びサーバ装置を提供する。【解決手段】情報処理システムが備える一又は複数のコンピュータプロセッサは、第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を、第１ユーザとは異なるユーザの端末装置に送信し、第１ユーザ及び一又は複数の第２ユーザを含むユーザグループを設定し、第１オブジェクトに関する関連画像を複数含むグループの中から第１ユーザによって選択された関連画像の表示に関する情報を、ユーザグループに含まれる第２ユーザの端末装置に送信し、第１ユーザによる指示に応じて、第１ユーザを示す第１オブジェクトと、一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像をグループに含めること、を実行する。【選択図】図２[Problem] To provide an information processing system, a control method, and a server device that improve a user interface for determining information to be provided to other users without requiring a user to perform complicated operations. [Solution] One or more computer processors included in the information processing system execute the following: transmitting information relating to the display of a video including a first object representing a first user to a terminal device of a user different from the first user; setting a user group including the first user and one or more second users; transmitting information relating to the display of a related image selected by the first user from a group including a plurality of related images relating to the first object to a terminal device of a second user included in the user group; and, in response to an instruction from the first user, including a new related image including a first object representing the first user and a second object representing at least one second user of the one or more second users in the group. [Selected Figure] Figure 2
Description
本明細書で開示された実施形態は、情報処理システム、制御方法、及びサーバ装置に関する。 The embodiments disclosed in this specification relate to an information processing system, a control method, and a server device.
従来から、ユーザによる端末装置の操作によって入力されたテキスト情報又は画像情報等の入力情報を、他ユーザの端末装置に送信する機能を実現するインスタントメッセンジャー（Instant Messenger）が知られている。近年のインスタントメッセンジャーでは、ユーザに対応するアバター等のキャラクタオブジェクトが用いられた画像情報が、入力情報としてユーザの端末装置から他ユーザの端末装置に送信され得る。 Conventionally, instant messengers have been known that realize a function of transmitting input information, such as text information or image information, input by a user operating a terminal device to the terminal device of another user. In recent instant messengers, image information using a character object, such as an avatar, corresponding to the user can be transmitted as input information from the user's terminal device to the terminal device of another user.
例えば、特許文献１には、ユーザの端末装置から他ユーザの端末装置に送信可能な画像情報の一例としてアバタースタンプが用いられる情報処理システムについて記載されている。特許文献１に記載された情報処理システムでは、ユーザは、自身が作成及び登録したアバター等のオブジェクトに対応する画像情報（自作アバタースタンプ等）を用いることができる。このように、特許文献１に記載された情報処理システムにおいて、ユーザは、自身を示すオブジェクトに対応する画像を用いて他ユーザとのコミュニケーションを行うことにより、自身に対応するオブジェクトを他ユーザにアピールすることが可能となる。
For example,
特許文献１に記載された情報処理システムでは、ユーザに対応する情報の候補を豊富にするためにユーザ自身が情報を生成するという煩雑な操作を行う必要があり、ユーザの情報処理システムの利用促進を促すことができなくなるという問題があった。また、特許文献１に記載された情報処理システムでは、ユーザに対応する情報の候補が多い場合、ユーザにとって、他ユーザに提供したい情報の選択操作が煩雑になってしまい、ユーザの情報処理システムの利用促進を促すことができなくなるという問題があった。
In the information processing system described in
本明細書で開示された情報処理システム、制御方法、及びサーバ装置は、ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を決定するユーザインターフェースを向上させることを可能とする。 The information processing system, control method, and server device disclosed in this specification make it possible to improve the user interface that determines the information to be provided to other users without requiring the user to perform complicated operations.
開示された情報処理システムは、一又は複数のコンピュータプロセッサを備える情報処理システムであって、一又は複数のコンピュータプロセッサが、第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を、第１ユーザとは異なるユーザの端末装置に送信し、第１ユーザ及び一又は複数の第２ユーザを含むユーザグループを設定し、第１オブジェクトに関する関連画像を複数含むグループの中から第１ユーザによって選択された関連画像の表示に関する情報を、ユーザグループに含まれる第２ユーザの端末装置に送信すること、を実行し、一又は複数のコンピュータプロセッサが、第１ユーザによる指示に応じて、第１ユーザを示す第１オブジェクトと、一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像をグループに含めること、を実行する。 The disclosed information processing system is an information processing system including one or more computer processors, in which the one or more computer processors execute the following: transmitting information relating to the display of a video including a first object representing a first user to a terminal device of a user different from the first user; setting a user group including the first user and one or more second users; transmitting information relating to the display of a related image selected by the first user from a group including a plurality of related images relating to the first object to a terminal device of a second user included in the user group; and the one or more computer processors execute the following in response to an instruction from the first user: including in the group a new related image including a first object representing the first user and a second object representing at least one second user of the one or more second users.
また、開示された情報処理システムにおいて、ユーザグループの設定において、一又は複数のコンピュータプロセッサが、ユーザグループを複数設定し、関連画像の表示に関する情報の送信において、一又は複数のコンピュータプロセッサが、少なくとも一の第２ユーザを含む関連画像は、少なくとも一の第２ユーザを含むユーザグループのみに送信すること、を実行することが好ましい。 Furthermore, in the disclosed information processing system, in setting the user groups, it is preferable that one or more computer processors set multiple user groups, and in transmitting information relating to the display of related images, the one or more computer processors transmit related images including at least one second user only to the user group including at least one second user.
また、開示された情報処理システムにおいて、新たな関連画像には、第１ユーザによって選択された一又は複数の第２ユーザを示す第２オブジェクトが含まれることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the new related image includes a second object representing one or more second users selected by the first user.
また、開示された情報処理システムにおいて、一又は複数のコンピュータプロセッサが、一又は複数の第２ユーザを選択すること、を実行し、新たな関連画像には、選択された一又は複数の第２ユーザを示す第２オブジェクトが含まれることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that one or more computer processors select one or more second users, and the new related image includes a second object representing the selected one or more second users.
また、開示された情報処理システムにおいて、一又は複数の第２ユーザの選択において、一又は複数のコンピュータプロセッサが、ユーザグループに含まれるユーザ間のチャットにおいて各第２ユーザが直近に送信した情報のうち、送信時が現時点から近い順に情報を送信した一又は複数の第２ユーザを選択すること、を実行することが好ましい。 In addition, in the disclosed information processing system, it is preferable that, in selecting one or more second users, one or more computer processors select one or more second users who have sent information in descending order of the time of sending from the most recent information sent by each second user in a chat between users included in a user group, in descending order of the time of sending from the current time.
また、開示された情報処理システムにおいて、一又は複数の第２ユーザの選択において、一又は複数のコンピュータプロセッサが、ユーザグループに含まれるユーザ間のチャット画面が端末装置に表示された時点が現時点から近い一又は複数の第２ユーザを選択すること、を実行することが好ましい。 Furthermore, in the disclosed information processing system, in selecting one or more second users, it is preferable that one or more computer processors select one or more second users for whom a chat screen between users included in a user group was displayed on a terminal device at a time close to the current time.
また、開示された情報処理システムにおいて、一又は複数の第２ユーザの選択において、一又は複数のコンピュータプロセッサが、第１ユーザと所定の関係を有する一又は複数の第２ユーザを選択すること、を実行することが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that in selecting one or more second users, one or more computer processors select one or more second users who have a predetermined relationship with the first user.
また、開示された情報処理システムにおいて、第１ユーザと所定の関係を有する第２ユーザは、第１ユーザと一対一の情報交換をしたことがあるユーザであることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the second user who has a predetermined relationship with the first user is a user who has had one-to-one information exchange with the first user.
また、開示された情報処理システムにおいて、第１ユーザと所定の関係を有する第２ユーザは、第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を受信した端末装置のユーザであることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the second user having a predetermined relationship with the first user is a user of a terminal device that has received information regarding the display of a video including a first object representing the first user.
また、開示された情報処理システムにおいて、第１ユーザと所定の関係を有する第２ユーザは、第１ユーザによってフォローされているユーザ、又は、第１ユーザと相互フォローの関係にあるユーザであることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the second user having a predetermined relationship with the first user is a user who is followed by the first user, or a user who has a mutual follow relationship with the first user.
また、開示された情報処理システムにおいて、第１ユーザと所定の関係を有する第２ユーザは、第１ユーザと同一のイベントに参加したユーザ又は第１ユーザとともに同一ゲームに参加したユーザであることが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the second user who has a predetermined relationship with the first user is a user who participated in the same event as the first user or a user who participated in the same game as the first user.
また、開示された情報処理システムにおいて、一又は複数のコンピュータプロセッサが、ユーザグループに含まれるユーザ間の情報交換に参加している第２ユーザの数が所定数に達したことに応じて、所定数の第２ユーザを選択し、選択された所定数の第２ユーザを示す第２オブジェクトを含む新たな関連画像を生成すること、を実行することが好ましい。 In addition, in the disclosed information processing system, it is preferable that one or more computer processors select a predetermined number of second users in response to the number of second users participating in information exchange between users included in a user group reaching a predetermined number, and generate a new related image including a second object representing the selected predetermined number of second users.
また、開示された情報処理システムにおいて、新たな関連画像は、第１オブジェクト及び第２オブジェクトとは異なる、キャラクタ関連画像のデザインに関する第３オブジェクトを含み、第３オブジェクトに対応するポーズの第１オブジェクト及び第２オブジェクトを含むことが好ましい。 Furthermore, in the disclosed information processing system, it is preferable that the new related image includes a third object related to the design of the character-related image that is different from the first object and the second object, and includes the first object and the second object in a pose that corresponds to the third object.
開示された制御方法は、一又は複数のコンピュータプロセッサを備える情報処理システムの制御方法であって、一又は複数のコンピュータプロセッサが、第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を、第１ユーザとは異なるユーザの端末装置に送信し、第１ユーザ及び一又は複数の第２ユーザを含むユーザグループを設定し、第１オブジェクトに関する関連画像を複数含むグループの中から第１ユーザによって選択された関連画像の表示に関する情報を、ユーザグループに含まれる第２ユーザの端末装置に送信すること、を含み、一又は複数のコンピュータプロセッサが、第１ユーザによる指示に応じて、第１ユーザを示す第１オブジェクトと、一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像をグループに含めること、を含む。 The disclosed control method is a control method for an information processing system having one or more computer processors, and includes the following: the one or more computer processors transmit information regarding the display of a video including a first object representing a first user to a terminal device of a user different from the first user; set a user group including the first user and one or more second users; and transmit information regarding the display of a related image selected by the first user from a group including a plurality of related images relating to the first object to a terminal device of a second user included in the user group; and the one or more computer processors include, in response to an instruction from the first user, a new related image including a first object representing the first user and a second object representing at least one second user of the one or more second users in the group.
開示されたサーバ装置は、第１ユーザの第１端末装置と一又は複数の第２ユーザの第２端末装置と通信するサーバ装置であって、第１端末装置から送信された、第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を受信し、第１端末装置から受信した動画の表示に関する情報を、第１ユーザとは異なるユーザの端末装置に送信し、第１ユーザ及び一又は複数の第２ユーザを含むユーザグループを設定し、第１端末装置から送信された、第１オブジェクトに関する関連画像を複数含むグループの中から第１ユーザによって選択された関連画像の表示に関する情報を受信し、関連画像の表示に関する情報を第２端末装置に送信する、処理部を備え、第１ユーザによる指示に応じて、第１ユーザを示す第１オブジェクトと、一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像がグループに含まれる。 The disclosed server device is a server device that communicates with a first terminal device of a first user and a second terminal device of one or more second users, and includes a processing unit that receives information related to the display of a video including a first object representing the first user transmitted from the first terminal device, transmits the information related to the display of the video received from the first terminal device to a terminal device of a user different from the first user, sets a user group including the first user and one or more second users, receives information related to the display of a related image selected by the first user from a group including a plurality of related images related to the first object transmitted from the first terminal device, and transmits information related to the display of the related image to the second terminal device, and in response to an instruction from the first user, a new related image including a first object representing the first user and a second object representing at least one second user of the one or more second users is included in the group.
開示された情報処理システム、制御方法、及びサーバ装置によって、ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を決定するユーザインターフェースを向上させることが可能となる。 The disclosed information processing system, control method, and server device make it possible to improve the user interface that determines the information to be provided to other users without requiring the user to perform complicated operations.
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Various embodiments of the present invention will be described below with reference to the drawings. However, please note that the technical scope of the present invention is not limited to these embodiments, but extends to the inventions described in the claims and their equivalents.
（情報処理システムの概要）
図１及び図２は、情報処理システムの概要の一例を説明するための模式図である。情報処理システムは、複数のユーザのそれぞれが操作する端末装置とサーバ装置とを備える。例えば、端末装置は、ユーザが所有する多機能携帯電話（所謂「スマートフォン」）等の情報処理装置である。例えば、サーバ装置は、通信ネットワークを介して端末装置に動画配信サービス及び情報交換サービスを提供するためのコンピュータである。サーバ装置は、動画配信サービス及び情報交換サービスの両サービス以外の他サービス（オンラインゲーム等）を端末装置に提供してもよい。
(Outline of the information processing system)
1 and 2 are schematic diagrams for explaining an example of an overview of an information processing system. The information processing system includes a terminal device operated by each of a plurality of users and a server device. For example, the terminal device is an information processing device such as a multi-function mobile phone (a so-called "smartphone") owned by the user. For example, the server device is a computer for providing a video distribution service and an information exchange service to the terminal device via a communication network. The server device may provide services (such as online games) other than the video distribution service and the information exchange service to the terminal device.
動画配信サービスは、特定の端末装置を操作しているユーザを示す画像（後述する、ユーザを示すキャラクタオブジェクトを含む配信画像等。）が、特定の端末装置から一又は複数の他のユーザの端末装置に配信されるサービスである。情報交換サービスは、インスタントメッセンジャー等を実行している複数のユーザの端末装置間において、テキスト情報及び画像情報等の各種情報が一の端末装置から他の端末装置が送信されるサービスである。情報交換サービスは、所謂チャット機能によって実現されるサービスでもよい。 The video distribution service is a service in which an image showing a user operating a specific terminal device (such as a distribution image including a character object showing the user, as described below) is distributed from the specific terminal device to one or more other users' terminal devices. The information exchange service is a service in which various information such as text information and image information is transmitted from one terminal device to another terminal device between the terminal devices of multiple users running instant messengers or the like. The information exchange service may be a service realized by a so-called chat function.
動画配信サービス、情報交換サービス、及び他サービスのうちの少なくとも２以上のサービスにおいて、各ユーザを示すキャラクタオブジェクトが連動して用いられてもよい。キャラクタオブジェクトが連動して用いられることとは、例えば、動画配信サービスにおいて外観が変更されたキャラクタオブジェクトが、情報交換サービスにおいても当該変更された外観で表示されることである。また、キャラクタオブジェクトが連動して用いられることとは、情報交換サービスにおいて使用が許可されたキャラクタオブジェクトが、動画配信サービスにおいても使用が可能となること等でもよい。また、キャラクタオブジェクトが連動して用いられることとは、情報交換サービスにおいて使用が許可されなくなったキャラクタオブジェクトが、動画配信サービスにおいても使用ができなくなること等でもよい。 A character object representing each user may be used in conjunction with at least two or more services among the video distribution service, the information exchange service, and other services. The use of a character object in conjunction with the other services may mean, for example, that a character object whose appearance has been changed in the video distribution service is also displayed with the changed appearance in the information exchange service. The use of a character object in conjunction with the other services may mean that a character object whose use is permitted in the information exchange service can also be used in the video distribution service. The use of a character object in conjunction with the other services may mean that a character object whose use is no longer permitted in the information exchange service can no longer be used in the video distribution service.
端末装置は、アプリケーションプログラム等の制御プログラムを記憶し、ユーザからの開始操作に応じて制御プログラムをメモリにロードする。端末装置は、ユーザによる指示の入力及びロードした制御プログラムに含まれる命令の実行により、少なくとも動画配信サービス及び情報交換サービスのいずれか一方を開始する。動画配信サービスが開始されると、端末装置は、制御プログラムに含まれる命令を実行することにより、動画配信サービスに関する複数の機能を実現する。また、情報交換サービスが開始されると、端末装置は、制御プログラムに含まれる命令を実行することにより、情報交換サービスに関する複数の機能を実現する。なお、サーバ装置によって提供される各種サービスをユーザが利用したい場合、ユーザが、サーバ装置と通信可能な端末装置を用いて各種サービスに係る公知のログイン操作を行うことにより、各種サービスに係るサーバ装置及び端末装置間のセッションが開始される。これにより、ユーザは、各種サービスに参加し、各種サービスを利用することが可能となる。 The terminal device stores a control program such as an application program, and loads the control program into memory in response to a start operation from the user. The terminal device starts at least one of a video distribution service and an information exchange service in response to an instruction input by the user and execution of an instruction included in the loaded control program. When the video distribution service is started, the terminal device executes an instruction included in the control program to realize multiple functions related to the video distribution service. When the information exchange service is started, the terminal device executes an instruction included in the control program to realize multiple functions related to the information exchange service. When a user wants to use various services provided by the server device, the user uses a terminal device capable of communicating with the server device to perform a known login operation related to the various services, and a session related to the various services is started between the server device and the terminal device. This allows the user to participate in and use various services.
動画配信サービスが開始された場合、例えば、ユーザの端末装置は、ユーザによって入力された各種の入力データに基づくモーションデータを含むキャラクタ動画データを生成する生成機能を実現する。例えば、入力データは、ユーザの端末装置に備えられた撮像装置によって所定のサンプリング時間間隔ごとに取得された複数の撮像データであり、この場合、各撮像データにはユーザが写されている。キャラクタ動画データは、ユーザを示すキャラクタオブジェクトを含む配信画像の表示に関する情報の一例である。キャラクタ動画データは、動画配信サービス中において所定時間ごとに生成される。 When a video distribution service is started, for example, the user's terminal device realizes a generation function that generates character video data including motion data based on various input data entered by the user. For example, the input data is a plurality of image data acquired at predetermined sampling time intervals by an imaging device provided in the user's terminal device, and in this case, the user is depicted in each image data. The character video data is an example of information related to the display of a distribution image including a character object representing the user. The character video data is generated at predetermined time intervals during the video distribution service.
また、例えば、ユーザの端末装置は、キャラクタ動画データに基づいて配信画像を表示する。ユーザの端末装置は、配信画像の表示とともに、生成されたキャラクタ動画データをサーバ装置経由で他ユーザの端末装置に送信するため、生成されたキャラクタ動画データをサーバ装置に所定時間ごとに送信する出力機能を実現する。また、例えば、ユーザの端末装置は、サーバ装置から所定時間ごとに送信された他ユーザの所定の指示を示す情報に基づいて、特定のオブジェクトを含む配信画像を表示する機能を実現する。 For example, the user's terminal device displays a distributed image based on the character video data. In addition to displaying the distributed image, the user's terminal device transmits the generated character video data to the terminal devices of other users via the server device, thereby realizing an output function of transmitting the generated character video data to the server device at predetermined time intervals. For example, the user's terminal device also realizes a function of displaying a distributed image including a specific object based on information indicating predetermined instructions of other users transmitted from the server device at predetermined time intervals.
以下、キャラクタ動画データをサーバ装置に送信するという端末装置の機能を少なくとも使用するユーザを配信ユーザと称する場合がある。配信ユーザによって操作される端末装置を配信端末装置と称する場合がある。また、配信端末装置からキャラクタ動画データを受信し且つ配信ユーザの配信画像を表示するという端末装置の機能を少なくとも使用するユーザを視聴ユーザと称する場合がある。視聴ユーザによって操作される端末装置を視聴端末装置と称する場合がある。なお、１台の端末装置が、配信端末装置及び視聴端末装置の両方の機能を有してもよい。 Hereinafter, a user who uses at least the function of a terminal device to transmit character video data to a server device may be referred to as a broadcasting user. A terminal device operated by a broadcasting user may be referred to as a broadcasting terminal device. A user who uses at least the function of a terminal device to receive character video data from a broadcasting terminal device and display a broadcast image of the broadcasting user may be referred to as a viewing user. A terminal device operated by a viewing user may be referred to as a viewing terminal device. Note that one terminal device may have the functions of both a broadcasting terminal device and a viewing terminal device.
動画配信サービスが開始されると、図１（ａ）に示されるように、配信端末装置は、配信ユーザの配信イベントに関する配信画像を含む配信画面を表示する。一又は複数の視聴端末装置は、配信端末装置からキャラクタ動画データをサーバ装置経由で受信し、キャラクタ動画データに基づいて配信ユーザの配信イベントに関する配信画像を含む配信画面を表示する。配信ユーザの配信画像は、配信ユーザを示すキャラクタオブジェクトを含む。当該キャラクタオブジェクトは、キャラクタ動画データに含まれる配信ユーザのモーションデータに応じて動作するように表示される。 When the video distribution service is started, as shown in FIG. 1(a), the distribution terminal device displays a distribution screen including a distribution image related to the distribution user's distribution event. One or more viewing terminal devices receive character video data from the distribution terminal device via the server device, and display a distribution screen including a distribution image related to the distribution user's distribution event based on the character video data. The distribution image of the distribution user includes a character object representing the distribution user. The character object is displayed to move according to the motion data of the distribution user included in the character video data.
配信端末装置がマイクを備える場合、配信端末装置は、配信ユーザによって発せられた音声を取得し、取得した配信ユーザの音声データを一又は複数の視聴端末装置に送信することができる。この場合、配信端末装置は、配信ユーザの音声データを、キャラクタ動画データとともにサーバ装置経由で一又は複数の視聴端末装置に送信するために、配信ユーザのキャラクタ動画データ及び音声データをサーバ装置に送信する。また、一又は複数の視聴端末装置は、配信端末装置によってサーバ装置に送信された配信ユーザのキャラクタ動画データ及び音声データをサーバ装置から受信する。 When the distribution terminal device is equipped with a microphone, the distribution terminal device can acquire voice uttered by the distribution user and transmit the acquired voice data of the distribution user to one or more viewing terminal devices. In this case, the distribution terminal device transmits the character video data and voice data of the distribution user to the server device in order to transmit the voice data of the distribution user together with the character video data to one or more viewing terminal devices via the server device. In addition, the one or more viewing terminal devices receive from the server device the character video data and voice data of the distribution user transmitted to the server device by the distribution terminal device.
配信ユーザによって発生された音声が配信端末装置によって取得された時において、キャラクタ動画データに含まれる配信ユーザのモーションデータは、配信ユーザの唇の動きを示すフェイスモーションデータを含む。この場合、配信端末装置は、配信ユーザによって発生された音声と略同期するように唇が動作する配信ユーザを示すキャラクタオブジェクトを含む配信画像を表示する。一又は複数の視聴端末装置は、配信ユーザの音声データを配信ユーザのキャラクタ動画データとともに受信した場合、配信ユーザの音声を出力するとともに、出力された音声と略同期するように唇が動作する配信ユーザを示すキャラクタオブジェクトを含む配信画像を表示する。 When the voice generated by the broadcast user is acquired by the broadcast terminal device, the motion data of the broadcast user included in the character video data includes face motion data indicating the movement of the broadcast user's lips. In this case, the broadcast terminal device displays a broadcast image including a character object representing the broadcast user whose lips move in approximate synchronization with the voice generated by the broadcast user. When one or more viewing terminal devices receive the broadcast user's voice data together with the broadcast user's character video data, they output the broadcast user's voice and display a broadcast image including a character object representing the broadcast user whose lips move in approximate synchronization with the output voice.
配信端末装置は、配信ユーザからの指示に応じて、配信ユーザを示すキャラクタオブジェクトを含むキャラクタ関連画像を生成する。例えば、キャラクタ関連画像は、情報交換サービスにおいて配信端末装置によって一又は複数の他ユーザの端末装置に送信され得る所謂「スタンプ画像」である。キャラクタ関連画像はスタンプ画像に限定されず、サーバ装置によって提供されるサービスにおいて利用可能であれば、どのような画像でもよい。他ユーザは、視聴ユーザに限定されてもよく、又は、視聴ユーザを含む配信ユーザ以外のユーザでもよい。他ユーザは、視聴ユーザを含まない配信ユーザ以外のユーザでもよい。 In response to an instruction from the broadcasting user, the broadcasting terminal device generates a character-related image including a character object representing the broadcasting user. For example, the character-related image is a so-called "stamp image" that can be transmitted by the broadcasting terminal device to one or more other users' terminal devices in an information exchange service. The character-related image is not limited to a stamp image, and may be any image that is usable in the service provided by the server device. The other users may be limited to viewing users, or may be users other than the broadcasting user, including the viewing user. The other users may be users other than the broadcasting user, not including the viewing user.
キャラクタ関連画像は、サーバ装置によって提供される情報交換サービス以外のサービスで使用されてもよい。例えば、動画配信サービスにおいて、キャラクタ関連画像を生成した配信端末装置は、キャラクタ関連画像を一又は複数の視聴端末装置に送信できるように構成されてもよい。また、オンラインゲームにおいて、キャラクタ関連画像を生成した配信端末装置は、キャラクタ関連画像を、当該オンラインゲームに参加している一又は複数の他ユーザの端末装置に送信できるように構成されてもよい。 The character-related image may be used in a service other than the information exchange service provided by the server device. For example, in a video distribution service, a distribution terminal device that generates a character-related image may be configured to be able to transmit the character-related image to one or more viewing terminal devices. Also, in an online game, a distribution terminal device that generates a character-related image may be configured to be able to transmit the character-related image to one or more terminal devices of other users participating in the online game.
図１（ａ）に示される例では、配信端末装置は３種類のキャラクタ関連画像を生成する。配信端末装置によって生成されたキャラクタ関連画像は図１（ａ）に示される３種類に限定されず、２種類のキャラクタ関連画像が生成されても、４種類以上のキャラクタ関連画像が生成されてもよい。 In the example shown in FIG. 1(a), the distribution terminal device generates three types of character-related images. The character-related images generated by the distribution terminal device are not limited to the three types shown in FIG. 1(a), and two types of character-related images or four or more types of character-related images may be generated.
次に、配信端末装置は、サーバ装置によって提供される少なくとも一のサービスにおいて使用可能なキャラクタ関連画像を含む使用可能グループを設定する。配信端末装置によって設定された使用可能グループに所属する（含まれる）キャラクタ関連画像は図１（ａ）に示される２種類に限定されない。１種類のキャラクタ関連画像が使用可能グループに所属するように使用可能グループが設定されてもよく、また、３種類以上のキャラクタ関連画像が使用可能グループに所属するように使用可能グループが設定されてもよい。 Next, the distribution terminal device sets an available group including character-related images that can be used in at least one service provided by the server device. The character-related images that belong to (are included in) the available group set by the distribution terminal device are not limited to the two types shown in FIG. 1(a). The available group may be set so that one type of character-related image belongs to the available group, or the available group may be set so that three or more types of character-related images belong to the available group.
配信端末装置によって設定された使用可能グループに所属しない（含まれない）キャラクタ関連画像は図１（ａ）に示される１種類に限定されない。使用可能グループに所属しないキャラクタ関連画像は２種類以上でもよい。使用可能グループに所属しないキャラクタ関連画像がなくてもよく、この場合、キャラクタ関連画像が生成されるたびに、生成されたキャラクタ関連画像が使用可能グループに所属するように使用可能グループが設定されてもよい。 The character-related images that do not belong to (are not included in) the available group set by the distribution terminal device are not limited to the one type shown in FIG. 1(a). There may be two or more types of character-related images that do not belong to the available group. There may be no character-related images that do not belong to the available group, in which case the available group may be set each time a character-related image is generated so that the generated character-related image belongs to the available group.
以下、図１（ｂ）を参照して、情報交換サービスにおけるキャラクタ関連画像の使用の一例について説明する。図１（ｂ）は、情報交換サービスを利用している配信端末装置によって表示される情報交換画面の一例を示す図である。図１（ｂ）に示される例では、配信ユーザによって入力された入力情報が、情報交換画面のユーザ表示領域内の、最も古い入力情報から順に画面の上から下に向けて時系列に表示される。例えば、ユーザ表示領域は、情報交換画面の右辺近傍領域である。入力情報は、テキスト情報、静止画像情報、動画像情報、及びスタンプ画像等である。また、一又は複数の他ユーザの端末装置から送信された他ユーザの入力情報が、情報交換画面の他ユーザ表示領域に、最も古い入力情報から順に画面の上から下に向けて時系列に表示される。例えば、他ユーザ表示領域は、情報交換画面の左辺近傍領域である。 Below, with reference to FIG. 1(b), an example of the use of character-related images in the information exchange service will be described. FIG. 1(b) is a diagram showing an example of an information exchange screen displayed by a broadcasting terminal device using the information exchange service. In the example shown in FIG. 1(b), input information input by a broadcasting user is displayed in chronological order from the top to the bottom of the screen in the user display area of the information exchange screen, starting from the oldest input information. For example, the user display area is an area near the right side of the information exchange screen. The input information is text information, still image information, moving image information, stamp images, etc. In addition, input information of other users transmitted from one or more terminal devices of other users is displayed in chronological order from the top to the bottom of the screen in the other user display area of the information exchange screen, starting from the oldest input information. For example, the other user display area is an area near the left side of the information exchange screen.
図１（ｂ）に示されるように、配信端末装置は、配信ユーザからの指示に応じて、配信ユーザの使用可能グループに所属する全部又は一部のキャラクタ関連画像のそれぞれを示す候補情報を選択可能に表示する。候補情報は、キャラクタ関連画像と同一の画像、キャラクタ関連画像を縮小したサムネイル画像、又はキャラクタ関連画像をデフォルメした簡略画像等である。候補情報には、キャラクタ関連画像を示すテキスト情報、マーク画像等が含まれてもよい。 As shown in FIG. 1(b), in response to an instruction from the broadcasting user, the broadcasting terminal device selectively displays candidate information indicating all or some of the character-related images belonging to the broadcasting user's available group. The candidate information is an image identical to the character-related image, a thumbnail image that is a reduced version of the character-related image, or a simplified image that is a deformed version of the character-related image, etc. The candidate information may also include text information indicating the character-related image, a mark image, etc.
配信端末装置は、表示された候補情報の中から配信ユーザによって選択された候補情報に対応するキャラクタ関連画像を、情報交換画面のユーザ表示領域の最新の入力情報の下に表示する（図１（ｂ））。配信端末装置は、キャラクタ関連画像の表示とともに、当該キャラクタ関連画像の表示に関する情報を、サーバ装置経由で一又は複数の他ユーザの端末装置に送信する。この場合、キャラクタ関連画像の表示に関する情報を受信した一又は複数の他ユーザの端末装置は、当該キャラクタ関連画像を、情報交換画面の他ユーザ表示領域の最新の入力情報の下に表示する。キャラクタ関連画像の表示に関する情報は、キャラクタ関連画像を識別するための識別情報である。キャラクタ関連画像の表示に関する情報は、キャラクタ関連画像でもよい。 The broadcasting terminal device displays a character-related image corresponding to candidate information selected by the broadcasting user from the displayed candidate information, below the most recently input information in the user display area of the information exchange screen (FIG. 1(b)). Along with displaying the character-related image, the broadcasting terminal device transmits information relating to the display of the character-related image to one or more terminal devices of other users via the server device. In this case, the terminal device of one or more other users that receives the information relating to the display of the character-related image displays the character-related image below the most recently input information in the other user display area of the information exchange screen. The information relating to the display of the character-related image is identification information for identifying the character-related image. The information relating to the display of the character-related image may be the character-related image itself.
配信端末装置は、配信ユーザを示すキャラクタオブジェクトと、一又は複数の他ユーザのうちの少なくとも一の他ユーザを示すキャラクタオブジェクトとを含む新たな関連画像を生成する追加生成処理を実行する。一又は複数の他ユーザは、開始された情報交換サービスに参加しているユーザであって、配信ユーザと情報交換可能なユーザである。 The broadcasting terminal device executes an additional generation process to generate a new related image including a character object representing the broadcasting user and a character object representing at least one of the one or more other users. The one or more other users are users who are participating in the started information exchange service and who are able to exchange information with the broadcasting user.
以下、図２を参照して追加生成処理の一例の概要について説明する。 Below, an overview of an example of the additional generation process is explained with reference to Figure 2.
まず、配信端末装置は、配信ユーザによる指示に応じて、又は、自動的に、一又は複数の他ユーザによって構成される選択対象グループの中から一又は複数のユーザを選択する。図２の（１）に示される例では、２人の他ユーザ（他ユーザＸ及び他ユーザＹ）が属する選択対象グループの中から、他ユーザＸが選択される。 First, the distribution terminal device selects one or more users from a selection target group consisting of one or more other users, either in response to an instruction from the distribution user or automatically. In the example shown in FIG. 2(1), other user X is selected from a selection target group to which two other users (other user X and other user Y) belong.
選択対象グループに属するユーザは、情報交換サービスに参加し且つ配信ユーザと情報交換可能な他ユーザに限定されない。選択対象グループには、配信ユーザと所定の関係にある一又は複数のユーザが含まれてもよく、又は、選択対象グループには、配信ユーザと所定の関係にある一又は複数のユーザのみが含まれてもよい。また、選択対象グループには、情報交換以外のサービスに参加しているユーザが含まれてもよく、又は、選択対象グループには、情報交換以外のサービスに参加しているユーザのみが含まれてもよい。 The users belonging to the selection group are not limited to other users who participate in the information exchange service and can exchange information with the broadcasting user. The selection group may include one or more users who have a specified relationship with the broadcasting user, or the selection group may only include one or more users who have a specified relationship with the broadcasting user. The selection group may also include users who participate in services other than information exchange, or the selection group may only include users who participate in services other than information exchange.
配信端末装置は、他ユーザＸが選択された場合、配信ユーザを示すキャラクタオブジェクトと、選択された他ユーザＸを示すキャラクタオブジェクトと、両方を含む新たなキャラクタ関連画像を生成する（図２の（２））。新たなキャラクタ関連画像には、キャラクタオブジェクト以外の各種オブジェクト（文字を示すオブジェクト、背景オブジェクト等）が含まれてもよい。新たなキャラクタ関連画像に含まれるキャラクタオブジェクトは、所定の動作を自動的に行うように制御されてもよい。 When another user X is selected, the broadcasting terminal device generates a new character-related image that includes both a character object representing the broadcasting user and a character object representing the selected other user X ((2) in FIG. 2). The new character-related image may include various objects other than the character object (objects representing text, background objects, etc.). The character objects included in the new character-related image may be controlled to automatically perform a predetermined action.
次に、配信端末装置は、新たなキャラクタ関連画像を使用可能グループに所属させ（含ませ）、図２の（３）に示されるように、新たなキャラクタ関連画像を示す候補情報を選択可能に表示する。そして、配信端末装置は、表示された候補情報の中から配信ユーザによって一の候補情報が選択された場合、当該一の候補情報に対応するキャラクタ関連画像を、情報交換画面のユーザ表示領域の最新の入力情報の下に表示する。 Next, the broadcasting terminal device causes the new character-related image to belong (be included) in the available group, and displays candidate information showing the new character-related image in a selectable manner, as shown in FIG. 2 (3). Then, when a piece of candidate information is selected by the broadcasting user from the displayed candidate information, the broadcasting terminal device displays the character-related image corresponding to that piece of candidate information below the most recently entered information in the user display area of the information exchange screen.
配信端末装置は、新たなキャラクタ関連画像を使用可能グループに所属させ（含ませ）るとともに、使用可能グループに含まれている他のキャラクタ関連画像を削除してもよい。削除される他のキャラクタ関連画像は、使用可能グループに含まれている、新たなキャラクタ関連画像以外の全てのキャラクタ関連画像でもよい。これにより、既に使用可能グループに含まれているキャラクタ関連画像が、新たなキャラクタ関連画像に変更される。 The distribution terminal device may include (associate) the new character-related image in the available group, and may delete other character-related images included in the available group. The other character-related images that are deleted may be all character-related images included in the available group other than the new character-related image. This changes the character-related images already included in the available group to the new character-related images.
キャラクタ関連画像を生成する端末装置は配信端末装置に限らない。ユーザを示すキャラクタオブジェクトが利用可能な端末装置であれば、当該キャラクタオブジェクトを含むキャラクタ関連画像を生成してもよい。 The terminal device that generates the character-related image is not limited to the distribution terminal device. If the terminal device is capable of using a character object representing a user, the character-related image including the character object may be generated.
以上、図１及び図２を参照しつつ説明したとおり、情報処理システム、端末装置、及びサーバ装置は、キャラクタ関連画像の生成又は増加を指示したユーザ以外の他ユーザを示すキャラクタオブジェクトに関する情報に基づいて、使用可能となるキャラクタ関連画像の種類を増加させる。このように、情報処理システム、端末装置、及びサーバ装置によって、ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を決定するユーザインターフェースを向上させることが可能となる。 As described above with reference to Figures 1 and 2, the information processing system, terminal device, and server device increase the types of character-related images that can be used based on information about character objects that represent users other than the user who instructed the generation or increase of character-related images. In this way, the information processing system, terminal device, and server device make it possible to improve the user interface that determines the information to be provided to other users without requiring the user to perform complicated operations.
また、情報処理システム、端末装置、及びサーバ装置は、キャラクタ関連画像の生成又は増加を指示したユーザ以外の他ユーザを示すキャラクタオブジェクトに関する情報に基づくキャラクタ関連画像を、使用可能なキャラクタ関連画像のうちの少なくとも一つと変更させる。このように、情報処理システム、端末装置、及びサーバ装置によって、ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を変化させてユーザの選択を飽きさせないようにすることが可能となる。 The information processing system, terminal device, and server device also change the character-related image based on information about a character object representing a user other than the user who instructed the generation or increase of the character-related image to at least one of the available character-related images. In this way, the information processing system, terminal device, and server device can change the information provided to other users without requiring the user to perform complicated operations, thereby preventing the user from becoming bored with their choices.
また、従来の情報処理システムでは、ユーザがキャラクタ関連画像の候補を増減又は変更させる操作又は指示を行うためには、ユーザは、キャラクタ関連画像を使用するサービスを中断又は終了させる必要があった。このように、従来の情報処理システムでは、ユーザがキャラクタ関連画像の候補を増減又は変更させる操作又は指示を行う際に、サービスの中断又は終了、及び、中断したサービスの再開に関する複数の通信が発生することになり、端末装置の処理負荷及び／又は端末装置とサーバ装置と間の通信の負荷が増大するという問題が生じることがあった。 Furthermore, in conventional information processing systems, in order for a user to perform an operation or give an instruction to increase, decrease, or change the candidates for character-related images, the user had to interrupt or terminate the service that uses the character-related images. Thus, in conventional information processing systems, when a user performs an operation or gives an instruction to increase, decrease, or change the candidates for character-related images, multiple communications are generated regarding the interruption or termination of the service and the resumption of the interrupted service, which can cause problems such as an increase in the processing load on the terminal device and/or the communication load between the terminal device and the server device.
これに対し、本実施形態で開示された情報処理システム、端末装置、及びサーバ装置では、キャラクタ関連画像の生成を指示したユーザ以外の他ユーザを示すキャラクタオブジェクトに関する情報に基づいて新たなキャラクタ関連画像を生成する追加生成処理により、他ユーザに提供される情報の多様化を図ること、及び／又は他ユーザに提供される情報を変化させてユーザの選択を飽きさせないようにすることができ、端末装置の処理負荷及び／又は端末装置とサーバ装置と間の通信負荷を低減させることが可能となる。また、本実施形態で開示された情報処理システム、端末装置、及びサーバ装置は、他ユーザに提供するキャラクタ関連画像の多様化を図ることができるため、キャラクタ関連画像が利用可能な各種サービスに対するユーザの利用意欲を向上させることが可能となる。また、本実施形態で開示された情報処理システム、端末装置、及びサーバ装置により、サービスの実行を継続したまま、自動的なキャラクタ関連画像の変更を、簡単なインターフェースで実現することが可能となる。 In contrast, in the information processing system, terminal device, and server device disclosed in this embodiment, the additional generation process generates new character-related images based on information about character objects representing users other than the user who instructed the generation of the character-related images, thereby diversifying the information provided to other users and/or changing the information provided to other users to prevent the user from becoming bored with the selection, thereby making it possible to reduce the processing load of the terminal device and/or the communication load between the terminal device and the server device. In addition, the information processing system, terminal device, and server device disclosed in this embodiment can diversify the character-related images provided to other users, thereby making it possible to increase the user's willingness to use various services in which character-related images can be used. In addition, the information processing system, terminal device, and server device disclosed in this embodiment make it possible to automatically change character-related images with a simple interface while continuing to execute the service.
また、図１及び図２に示される例において、情報交換サービスを利用するユーザ及び他ユーザは、所定の関係を有しているユーザでもよい。例えば、ユーザと所定の関係を有する他ユーザは、ユーザの相互フォロワーである。なお、ユーザが他ユーザをフォローし且つ他ユーザもユーザをフォローしている（ユーザと他ユーザが相互フォローしている）場合、ユーザと他ユーザは相互フォロワーとなる。また、ユーザと所定の関係を有する他ユーザは、ユーザの相互フォロワーである所定ユーザと相互フォローの関係にある他ユーザでもよい。また、ユーザと所定の関係を有する他ユーザは、ユーザとフレンド関係にある他ユーザでもよく、又は、ユーザの端末装置に特定情報（電話番号、メールアドレス、所定のＩＤ（identification）等）が記憶されている他のユーザでもよい。また、ユーザが配信ユーザである場合、ユーザと所定の関係を有する他ユーザは、ユーザが配信した配信画像を視聴した視聴ユーザでもよい。この場合、所定の関係を有しているユーザ及び他ユーザが、図１及び図２に示されるような情報交換サービスを行う場合、ユーザ及び他ユーザによって構成される所定の情報交換グループが、ユーザ若しくは他ユーザの端末装置又はサーバ装置によって一時的に作成されてもよい。 In the example shown in FIG. 1 and FIG. 2, the user and other users who use the information exchange service may be users who have a predetermined relationship. For example, other users who have a predetermined relationship with the user are mutual followers of the user. In addition, when the user follows other users and the other users also follow the user (the user and other users follow each other), the user and other users become mutual followers. In addition, other users who have a predetermined relationship with the user may be other users who have a mutual follow relationship with a predetermined user who is a mutual follower of the user. In addition, other users who have a predetermined relationship with the user may be other users who have a friend relationship with the user, or other users whose specific information (such as a phone number, an email address, or a predetermined ID (identification)) is stored in the user's terminal device. In addition, when the user is a distribution user, other users who have a predetermined relationship with the user may be viewing users who have viewed a distribution image distributed by the user. In this case, when the user and other users who have a predetermined relationship perform an information exchange service as shown in FIG. 1 and FIG. 2, a predetermined information exchange group composed of the user and other users may be temporarily created by the user's or other users' terminal device or server device.
なお、上述した図１及び図２の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明及び本明細書の開示範囲に含まれる。 The above explanation of Figs. 1 and 2 is merely for the purpose of deepening understanding of the contents of the present invention. The present invention is specifically embodied in the following embodiments, and may be embodied in various modified forms without substantially departing from the principles of the present invention. All such modified forms are included within the scope of the present invention and the disclosure of this specification.
（情報処理システム１）
図３は、情報処理システム１の概略構成の一例を示す図である。情報処理システム１は、複数のユーザのそれぞれが操作する端末装置２と、サーバ装置３とを備える。端末装置２及びサーバ装置３は、例えば、基地局４と移動体通信網５とゲートウェイ６とインターネット７等の通信ネットワークとを介して相互に接続される。端末装置２及びサーバ装置３間では、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol，HTTP）等の通信プロトコルに基づいて通信が行われる。また、端末装置２及びサーバ装置３間において、最初にＨＴＴＰ通信によりコネクションが確立され、その後は、ＨＴＴＰ通信よりも小コスト（通信負荷及び処理負荷が少ない）の双方向通信が行われるＷｅｂＳｏｃｋｅｔに基づいて通信が行われてもよい。なお、端末装置２及びサーバ装置３間の通信方式は、上述の方式に限定されず、本実施形態を実現できるものであれば、端末装置２及びサーバ装置３間においてどのような通信方式の技術が用いられてもよい。
(Information Processing System 1)
FIG. 3 is a diagram showing an example of a schematic configuration of the
通信ネットワークは、ローカルエリアネットワーク（Local Area Network, LAN）又はワイドエリアネットワーク（Wide Area Network, WAN）、若しくは、ＬＡＮ及びＷＡＮの任意の組み合わせでもよい。通信ネットワークには、公衆交換電話網（Public Switched Telephone Network, PSTN）、サービス総合デジタル網（Integrated Services Digital Network, ISDN）及び／又はサブネットワークが含まれてもよい。通信ネットワークは、イーサネット（Ethernet）のネットワークケーブル、又は、ユニバーサルシリアルバス（Universal Serial Bus, USB）ケーブル等の有線通信網でもよい。通信ネットワークは、ＥＤＧＥ、３Ｇ、４Ｇ及び／又は５Ｇの無線セルラーシステムを含むセルラーネットワークなどの無線通信網でもよい。無線通信網には、Wi-Fi（登録商標）、無線ＬＡＮ、Bluetooth（登録商標）、又は、その他の公知の無線形式の通信が含まれてもよい。 The communication network may be a Local Area Network (LAN) or a Wide Area Network (WAN), or any combination of LANs and WANs. The communication network may include a Public Switched Telephone Network (PSTN), an Integrated Services Digital Network (ISDN), and/or a sub-network. The communication network may be a wired communication network, such as an Ethernet network cable or a Universal Serial Bus (USB) cable. The communication network may be a wireless communication network, such as a cellular network, including EDGE, 3G, 4G, and/or 5G wireless cellular systems. The wireless communication network may include Wi-Fi, wireless LAN, Bluetooth, or other known wireless forms of communication.
端末装置２は、スマートフォン等の情報処理装置である。端末装置２は、携帯電話機、ノートＰＣ、タブレット端末、タブレットＰＣ、ヘッドマウントディスプレイ（Head Mounted Display，HMD）、電子書籍リーダー、又はウェアラブルコンピュータ等でもよい。端末装置２は、携帯ゲーム機、又はゲーム用コンソール等でもよい。端末装置２は、ユーザ及び他ユーザを示すキャラクタオブジェクトの表示出力、他ユーザの音声の出力、並びに、他ユーザとの情報交換処理が可能であれば、どのような情報処理装置でもよい。
The
図３に示される例では、１台のサーバ装置３が情報処理システム１の構成要素として図示されているが、サーバ装置３は複数の物理的に別体のサーバ装置３の集合であってもよい。この場合、複数のサーバ装置３のそれぞれは、同一の機能を有するものでもよく、１台のサーバ装置３の機能を分散して有するものでもよい。例えば、動画配信サービスを実現するためのサーバ装置３ａと、情報交換サービスを実現するためのサーバ装置３ｂとが、情報処理システム１の構成要素であってもよい。
In the example shown in FIG. 3, one
（端末装置２）
図４は、端末装置２の概略構成の一例を示す図である。端末装置２は、基地局４と移動体通信網５とゲートウェイ６とインターネット７等の通信ネットワークとを介してサーバ装置３に接続し、サーバ装置３と通信を行う。端末装置２は、ユーザによって入力された各種データ（撮像データ等）に従ってモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データ及び／又はユーザの音声データをサーバ装置３に送信する。また、端末装置２は、サーバ装置３から送信された他ユーザのキャラクタ動画データ及び／又は他ユーザの音声データを受信し、受信したャラクタ動画データ及び／又は音声データに基づいて他ユーザのキャラクタオブジェクトを表示し、及び／又は、他ユーザの音声を出力する。また、端末装置２は、ユーザによって入力された、テキスト情報、静止画像情報、動画像情報、及びスタンプ画像等の入力情報と、他ユーザの端末装置２から送信された、他ユーザによって入力された入力情報と、を時系列に従って表示する。このような機能を実現するため、端末装置２は、端末通信Ｉ／Ｆ２１と、端末記憶装置２２と、表示装置２３と、入力装置２４と、撮像装置２５と、マイク２６と、端末処理装置２７とを備える。
(Terminal device 2)
4 is a diagram showing an example of a schematic configuration of the
端末通信Ｉ／Ｆ２１は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ドライバやＰＰＰ（Point-to-Point Protocol）ドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。端末装置２は、端末通信Ｉ／Ｆ２１を介して、サーバ装置３等の他の装置にデータを送信し且つ他の装置からデータを受信することができる。なお、端末通信Ｉ／Ｆ２１には、通信ネットワークとインターフェースするためのイーサネットＰＲＯネットワークインターフェースカードのようなネットワークコントローラが含まれてもよい。また、ネットワークコントローラは、Bluetooth（登録商標）、近距離無線通信（Near Field Communication, NFC）、又は赤外線等の他の直接的な無線通信規格に準拠するものでもよい。
The terminal communication I/
端末記憶装置２２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ装置である。端末記憶装置２２は、端末処理装置２７における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、制御プログラム及びデータ等を記憶する。端末記憶装置２２に記憶されるドライバプログラムは、表示装置２３を制御する出力デバイスドライバプログラム、及び、入力装置２４を制御する入力デバイスドライバプログラム等である。端末記憶装置２２に記憶される制御プログラムは、例えば、動画配信サービス及び情報交換サービス等を含む各種サービスに関する各種機能を実現するためのアプリケーションプログラムである。なお、制御プログラムは、サーバ装置３又はその他の装置から送信されたものでもよい。
The
端末記憶装置２２は、データとして、端末装置２を操作するユーザを一意に識別するための識別情報（例えば、ユーザＩＤ）等を記憶する。また、端末記憶装置２２は、データとして、背景データ及びモデルデータ等を記憶する。また、端末記憶装置２２は、データとして、ユーザテーブルＴ１、オブジェクトテーブルＴ２、及びグループテーブルＴ３を記憶する。また、端末記憶装置２２は、所定の処理に係るデータを一時的に記憶してもよい。
The
背景データは、配信画像において、ユーザのキャラクタオブジェクトが存在する仮想空間を構築するためのアセットデータである。背景データには、仮想空間の背景を描画するためのデータ、配信画像に含まれる各種物体を描画するためのデータ、及びこれら以外の配信画像に表示される各種背景オブジェクトを描画するためのデータが含まれる。背景データには、仮想空間における各種背景オブジェクトの位置を示すオブジェクト位置情報が含まれてもよい。 The background data is asset data for constructing a virtual space in which the user's character object exists in the delivered image. The background data includes data for drawing the background of the virtual space, data for drawing various objects included in the delivered image, and data for drawing various other background objects displayed in the delivered image. The background data may also include object position information that indicates the positions of various background objects in the virtual space.
また、端末記憶装置２２は、データとして、キャラクタ関連画像用のモーションデータを複数種類記憶する。キャラクタ関連画像用のモーションデータは、キャラクタオブジェクトに所定の動作をさせるための各部位（頭部、腕部、手部（指部を含む）、胸部、胴部、脚部、又はこれら以外の部位）の位置及び向きのデジタル表現であるボディモーションデータを含む。また、キャラクタ関連画像用のモーションデータは、キャラクタオブジェクトに顔に所定の表情をさせるためのフェイスモーションデータを含んでもよい。
The
キャラクタ関連画像用のモーションデータは、キャラクタオブジェクトを所定時間（例えば３秒）だけ動くように表現するために、複数の連続したモーションデータの集合であってもよい。キャラクタ関連画像用のモーションデータは、一のモーションデータでもよい。キャラクタ関連画像用のモーションデータが一のモーションデータである場合、当該キャラクタ関連画像用のモーションデータによって生成されたキャラクタ関連画像に含まれるキャラクタオブジェクトは動作を行わない。 The motion data for a character-related image may be a collection of multiple consecutive motion data in order to express a character object moving for a predetermined period of time (e.g., 3 seconds). The motion data for a character-related image may be a single piece of motion data. When the motion data for a character-related image is a single piece of motion data, the character object included in the character-related image generated by the motion data for that character-related image does not move.
また、端末記憶装置２２は、データとして、キャラクタ関連画像用のモーションデータとともに、各種背景オブジェクト、ギフトオブジェクト、文字を表現するためのオブジェクトデータ等の、キャラクタ関連画像用のオブジェクトデータを記憶してもよい。このようなキャラクタ関連画像のデザインに関する、キャラクタ関連画像用のオブジェクトデータが用いられることにより、キャラクタ関連画像の表現を多様にすることが可能となる。この場合、端末記憶装置２２は、キャラクタ関連画像用のオブジェクトデータに関連付けられたオブジェクトＩＤを記憶してもよい。
The
表示装置２３は、液晶ディスプレイである。なお、表示装置２３は、有機ＥＬ（Electro-Luminescence）ディスプレイ等でもよい。表示装置２３は、端末処理装置２７から供給された、動画像データに応じた動画像及び／又は静止画像データに応じた静止画像等を表示画面に表示する。また、表示装置２３は、端末装置２の構成要素でなくてもよく、この場合、表示装置２３は、サーバ装置３と通信可能なＨＭＤのディスプレイ、有線又は無線を介して端末装置２と通信可能な、プロジェクションマッピング（Projection Mapping）用の映写装置、網膜投影型の投影装置等でもよい。なお、端末装置２は、表示装置２３とインターフェースするためのグラフィックカード又はグラフィックアダプタ等のディスプレイコントローラを備えてもよい。
The
入力装置２４は、タッチパネル等のポインティングデバイスである。入力装置２４がタッチパネルである場合、入力装置２４は、ユーザのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、ユーザの非接触操作を検出可能に構成されてもよい。なお、入力装置２４は、入力キー等でもよい。ユーザは、入力装置２４を用いて、文字、数字及び記号、若しくは、表示装置２３の表示画面上の位置等を入力することができる。入力装置２４は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、入力装置２４は、発生した信号を、ユーザの指示として端末処理装置２７に供給する。なお、端末装置２は、入力装置２４とインターフェースするためのＩ／Ｏインターフェースを備えてもよい。Ｉ／Ｏインターフェースは、入力装置２４の他のさまざまな周辺機器と接続されてもよい。
The
撮像装置２５は、結像光学系、撮像素子及び画像処理部等を有するカメラである。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して撮像データとして出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して撮像データとして出力する。
The
マイク２６は、ユーザによって発せられた音声を取得し、音声データに変換するように構成された集音装置である。マイク２６は、ユーザの音声入力を取得することができるように構成され、マイク２６により取得されたユーザの音声入力を音声データに変換し、音声データを端末処理装置２７に出力する。
The
端末処理装置２７は、端末記憶装置２２に記憶されているオペレーティングシステムプログラム、ドライバプログラム及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。端末処理装置２７は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等の電子回路、又は各種電子回路の組み合わせである。端末処理装置２７は、ＡＳＩＣｓ（Application Specific Integrated Circuits）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、ＭＣＵ（Micro Controller Unit）等の集積回路により実現されてもよい。図４においては、端末処理装置２７が単一の構成要素として図示されているが、端末処理装置２７は複数の物理的に別体のプロセッサの集合であってもよい。例えば、命令を実行するために協調的に並列に動作する複数のプロセッサが実装されてもよい。
The
なお、本明細書で開示された構成要素（例えば、端末処理装置２７及び／又は（後述する）サーバ処理装置３３）により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ＡＳＩＣｓ、ＣＰＵ、従来型の回路、及び／又はそれらの組合せを含む、「Circuitry」又は「Processing Circuitry」において実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、「Circuitry」又は「Processing Circuitry」とみなされる。プロセッサは、メモリに格納されたプログラムを実行する、「Programmed Processor」であってもよい。
Note that the functions realized by the components disclosed herein (e.g., the
本明細書において、「Circuitry」、「ユニット」、「手段」は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。 As used herein, a "circuitry," "unit," or "means" refers to hardware that is programmed to implement or executes a described function. The hardware may be any hardware disclosed herein or any hardware known to be programmed to implement or execute the described function.
当該ハードウェアが「Circuitry」のタイプであるとみなされるプロセッサである場合、当該「Circuitry」、「ユニット」、又は「手段」は、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。 If the hardware in question is a processor that is considered to be a type of "Circuitry," the "Circuitry," "Unit," or "Means" is the combination of the hardware and the software used to configure the hardware and/or processor.
「Processing Circuitry」は、任意のコンピュータベース及びクラウドベースの制御プロセスを制御するために使用されてもよい。後述する動作シーケンス、動作フロー、及びフローチャートにおける、説明又はブロックは、その制御プロセスの特定の論理機能又は工程（steps）を実装するための一又は複数の実行可能な命令を含むモジュール、セグメント、又はコードの一部を示すものとして理解され得る。また、これらの代替実装は、本発明（the present advancements）の例示的な実施形態の範囲内に含まれる。例えば、制御プロセスの特定の論理機能又は工程（steps）は、開示された順序と異なる順序で実行されてもよく、例えば、実質的に同時に実行されてもよく、又は、開示された順序と逆の順序で実行されてもよい。 "Processing Circuitry" may be used to control any computer-based and cloud-based control process. Descriptions or blocks in the operational sequences, operational flows, and flowcharts described below may be understood as indicating modules, segments, or portions of code that include one or more executable instructions for implementing specific logical functions or steps of the control process. These alternative implementations are also included within the scope of exemplary embodiments of the present advancements. For example, specific logical functions or steps of the control process may be performed in a different order than disclosed, e.g., substantially simultaneously, or in a reverse order to that disclosed.
「Processing Circuitry」には、本明細書に開示された制御プロセスのうちの一又は複数の制御プロセスを実行するＣＰＵが含まれもよい。プロセスデータ及び命令は、メモリに格納されもよい。プロセスデータ及び命令は、ハードディスクドライブ（Hard Disk Drive, HDD）又は携帯型記憶媒体などの記憶媒体ディスクに格納されてもよい。プロセスデータ及び命令は、リモートに格納されてもよい。 The "Processing Circuitry" may include a CPU that executes one or more of the control processes disclosed herein. The process data and instructions may be stored in memory. The process data and instructions may be stored on a storage medium disk, such as a Hard Disk Drive (HDD) or a portable storage medium. The process data and instructions may be stored remotely.
特許請求された発明（the claimed advancements）は、本発明のプロセスの命令が格納されるコンピュータ可読媒体の形式によって限定されない。例えば、命令は、ＣＤ、ＤＶＤ、ＦＬＡＳＨメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、又は「Processing Circuitry」が通信する情報処理装置（他のサーバ装置又はコンピュータ等）の任意の他の不揮発性コンピュータ可読媒体に格納されてもよい。命令は、「Processing Circuitry」によって実行可能であれば、ネットワークベースのストレージ、クラウドベースのストレージ、又は他のモバイルアクセス可能なストレージに格納されてもよい。 The claimed advancements are not limited by the type of computer-readable medium on which the instructions of the inventive process are stored. For example, the instructions may be stored on a CD, DVD, FLASH memory, RAM, ROM, PROM, EPROM, EEPROM, hard disk, or any other non-volatile computer-readable medium of an information processing device (such as another server device or computer) with which the "Processing Circuitry" communicates. The instructions may also be stored on network-based storage, cloud-based storage, or other mobile-accessible storage, provided that the instructions are executable by the "Processing Circuitry."
特許請求された発明（the claimed advancements）は、ユーティリティアプリケーション、バックグラウンドデーモン、オペレーティングシステムのコンポーネント、又は、それらの組み合わせとして提供されてもよい。また、マイクロソフトウィンドウズ（登録商標）、ＵＮＩＸ（登録商標）、ソラリス、ＬＩＮＵＸ（登録商標）、Ａｐｐｌｅ ＭＡＣ－ＯＳ、Ａｐｐｌｅ ｉＯＳ、及び当業者に公知の他のシステムを含むオペレーティングシステムと、ＣＰＵとが連携して実行されてもよい。 The claimed advancements may be provided as a utility application, a background daemon, a component of an operating system, or any combination thereof, and may be executed in conjunction with a CPU and an operating system, including Microsoft Windows, UNIX, Solaris, LINUX, Apple MAC-OS, Apple iOS, and other systems known to those skilled in the art.
本明細書で開示された機能及び特徴は、情報処理システム１のさまざまな分散コンポーネントによって実行されてもよい。例えば、一又は複数のプロセッサが、これらのシステム機能を実行することができ、各プロセッサは、ネットワーク内で通信可能な複数のコンポーネントに分散されてもよい。分散されたコンポーネントには、さまざまなヒューマンインターフェイス、通信デバイス（ディスプレイモニター、スマートフォン、タブレット、携帯情報端末（PDA）等）、処理を共有する一又は複数のクライアント及びサーバ装置が含まれてもよい。情報処理システム１への入力として、ユーザによる直接の入力が受信されても、リアルタイム又はバッチプロセスによるリモートで入力が受信されてもよい。さらに、実装の一部は、本明細書で開示されているものと同一ではないモジュール又はハードウェアで実行されてもよく、この場合、他の実装も特許請求の範囲内に含まれるものである。
The functions and features disclosed herein may be performed by various distributed components of the
端末処理装置２７は、制御プログラムに含まれる各種命令を実行することにより、生成部２７１、送信部２７２、受信部２７３、表示処理部２７４、及び音声出力部２７５として機能する。生成部２７１、送信部２７２、受信部２７３、表示処理部２７４、及び音声出力部２７５の機能については後述する。
The
（各種テーブル）
図５は、端末記憶装置２２に記憶されるユーザテーブルＴ１、オブジェクトテーブルＴ２、及びグループテーブルＴ３のデータ構造の一例を示す図である。なお、ユーザテーブルＴ１、オブジェクトテーブルＴ２、及びグループテーブルＴ３のうちの少なくとも一つのテーブルは、サーバ装置３のサーバ記憶装置３２に記憶されてもよい。この場合、端末装置２は、所定のタイミングで、サーバ記憶装置３２に記憶されている最新のテーブルを受信して端末記憶装置２２に記憶してもよい。
(Various tables)
5 is a diagram showing an example of the data structures of the user table T1, object table T2, and group table T3 stored in the
（ユーザテーブルＴ１）
図５（ａ）は、サーバ装置３によって提供されるサービスを利用するユーザを管理するユーザテーブルＴ１のデータ構造の一例である。ユーザテーブルＴ１において管理されるユーザは配信ユーザであるが、配信ユーザ以外のユーザが管理されてもよい。ユーザテーブルＴ１では、各ユーザについて、ユーザＩＤ、ユーザの名称、ユーザのキャラクタオブジェクト、ユーザの保有オブジェクト、及び使用オブジェクト等が、互いに関連付けて記憶されている。ユーザテーブルＴ１において、ユーザのユーザＩＤに関連付けて、ユーザの保有コイン（ユーザが保有している仮想的な貨幣価値の「コイン」の総量を示す情報）及び／又はユーザポイント等が記憶されてもよい。ユーザＩＤは、各ユーザを一意に識別するための識別データの一例である。名称は、各ユーザの名称を示すデータの一例である。
(User Table T1)
FIG. 5(a) is an example of a data structure of a user table T1 that manages users who use the service provided by the
例えば、キャラクタオブジェクトは、キャラクタオブジェクトのアニメーションを生成するためのモデルデータを識別するためのモデルＩＤである。モデルデータは、モデルＩＤに関連付けられて端末記憶装置２２に記憶される。モデルデータは、３次元のアニメーションを生成するための３次元モデルデータであってもよいし、２次元のモデルデータを生成するための２次元モデルデータであってもよい。モデルデータは、例えば、キャラクタオブジェクトの顔及び顔以外の部分の骨格を示すリグデータ（所謂「スケルトンデータ」）と、キャラクタオブジェクトの表面の形状や質感を示す表面データとを含む。モデルデータには、互いに異なる複数のモデルデータが含まれてもよい。複数のモデルデータのそれぞれは、互いに異なるリグデータを有してもよく、又は、同じリグデータを有してもよい。複数のモデルデータのそれぞれは、互いに異なる表面データを有してもよく、又は、同じ表面データを有してもよい。なお、キャラクタオブジェクトを構成する複数の部分オブジェクトのそれぞれに関連付けられた複数のオブジェクトＩＤが、モデルＩＤに関連付けられてもよい。この場合、複数の部分オブジェクトのオブジェクトＩＤごとに、３次元のアニメーションを生成するための３次元モデルデータが端末記憶装置２２及びサーバ記憶装置３２に記憶されていてもよい。この場合、キャラクタオブジェクトの表示処理において、モデルＩＤに関連付けられた複数の部分オブジェクトのオブジェクトＩＤを抽出し、各オブジェクトＩＤに対応する（各部分オブジェクトの）３次元モデルデータが特定され、特定された（各部分オブジェクトの）３次元モデルデータに基づいてキャラクタオブジェクトが表示されてもよい。また、各３次元モデルデータに対応する画像情報が記憶されてもよい。
For example, the character object is a model ID for identifying model data for generating animation of the character object. The model data is stored in the
保有オブジェクトは、各ユーザが保有しているオブジェクトを示すオブジェクトＩＤである。保有オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けることが可能な装着オブジェクト、及び、配信画像内においてユーザのキャラクタオブジェクトの背面に配置される壁紙オブジェクト等である。装着オブジェクト及び壁紙オブジェクトの詳細は後述する。保有オブジェクトは、上述の例に限らず、配信画面に表示可能であればどのようなオブジェクトでもよい。保有オブジェクトは、ユーザが参加したイベントの結果に応じて、又は、ユーザによって実行された選択ゲーム（例えば、抽選ゲーム）の結果に応じて、ユーザが保有することになったオブジェクトでもよい。また、保有オブジェクトは、情報処理システム１における購入機能において、ユーザが仮想的な貨幣価値の「コイン」を消費することで、ユーザが保有することになったオブジェクトでもよい。
The owned object is an object ID indicating an object owned by each user. The owned object is an attachment object that can be associated with a specific part of a character object, a wallpaper object that is placed behind the user's character object in the distribution image, etc. Details of attachment objects and wallpaper objects will be described later. The owned object is not limited to the above examples, and may be any object that can be displayed on the distribution screen. The owned object may be an object that the user has acquired according to the result of an event in which the user has participated, or according to the result of a selection game (e.g., a lottery game) played by the user. The owned object may also be an object that the user has acquired by spending "coins" of virtual monetary value in the purchase function of the
使用オブジェクトは、ユーザの端末装置２において表示中の配信画像において使用されているオブジェクトを示すオブジェクトＩＤである。例えば、動画配信サービス中に、ユーザの変更指示が入力された場合、表示中の配信画像に含まれるユーザのキャラクタオブジェクトに、ユーザの保有オブジェクトとして保有している装着オブジェクトが装着される。この場合、ユーザのキャラクタオブジェクトに装着された装着オブジェクトのオブジェクトＩＤが、使用オブジェクトとしてユーザＩＤに関連付けてユーザテーブルＴ１に記憶される。また、例えば、動画配信サービス中に、ユーザの変更指示が入力された場合、表示中の配信画像においてユーザのキャラクタオブジェクトの背面に、ユーザの保有オブジェクトとして保有している壁紙オブジェクトが配置される。この場合、配信画像に配置された壁紙オブジェクトのオブジェクトＩＤが、使用オブジェクトとしてユーザＩＤに関連付けてユーザテーブルＴ１に記憶される。
The used object is an object ID indicating an object used in the delivery image being displayed on the user's
（オブジェクトテーブルＴ２）
図５（ｂ）は、追加オブジェクトとして選択されるオブジェクトを管理するオブジェクトテーブルＴ２のデータ構造の一例である。追加オブジェクトは、例えば、視聴ユーザによって配信ユーザに贈られるギフトオブジェクトである。オブジェクトテーブルＴ２では、各追加オブジェクトについて、オブジェクトＩＤ、名称、画像情報、希少度及び配置箇所等が、互いに関連付けて記憶されている。
(Object table T2)
5B is an example of the data structure of an object table T2 that manages objects selected as additional objects. An additional object is, for example, a gift object given to a broadcasting user by a viewing user. In the object table T2, the object ID, name, image information, rarity, placement location, etc. of each additional object are stored in association with each other.
オブジェクトＩＤは、各追加オブジェクトを一意に識別するための識別データの一例である。画像情報は、各追加オブジェクトに対応する一又は複数の静止画像である。画像情報は、各追加オブジェクトに対応する１種類以上の動画像でもよい。希少度は、各追加オブジェクトの希少度合いを示す情報である。配置箇所は、各追加オブジェクトの画像情報が表示される箇所を示す情報である。なお、キャラクタオブジェクトの表示位置及び表示範囲が定められている場合、当該キャラクタオブジェクトに対する相対的な位置を示す情報が配置箇所として記憶されてもよい。画像情報に代えて、追加オブジェクトのモデルデータが記憶されてもよい。追加オブジェクトのモデルデータには、３次元形状を示すリグデータと表面データとが含まれ、当該モデルデータに基づいて、追加オブジェクトを所定の視点から見た画像が描画される。 The object ID is an example of identification data for uniquely identifying each additional object. The image information is one or more still images corresponding to each additional object. The image information may be one or more types of moving images corresponding to each additional object. The rarity is information indicating the rarity of each additional object. The placement location is information indicating the location where the image information of each additional object is displayed. Note that, if the display position and display range of a character object are determined, information indicating a relative position with respect to the character object may be stored as the placement location. Instead of image information, model data of the additional object may be stored. The model data of the additional object includes rig data and surface data indicating a three-dimensional shape, and an image of the additional object viewed from a specified viewpoint is drawn based on the model data.
追加オブジェクトは、複数の種類（カテゴリ）に分類される。例えば、追加オブジェクトには、エフェクトギフトとして使用されるエフェクトオブジェクトと、通常ギフトとして使用される通常オブジェクトと、装着ギフトとして使用される装着オブジェクトと、メッセージギフトとして使用されるメッセージオブジェクトと、が含まれる。追加オブジェクトに、配信画像内のキャラクタオブジェクトの背面に配置される壁紙オブジェクトが含まれてもよい。なお、追加オブジェクトの種類（カテゴリ）を示す情報が、追加オブジェクトのオブジェクトＩＤに関連付けてオブジェクトテーブルＴ２に記憶されてもよい。以下、追加オブジェクトの種類に応じて、画像情報及び配置箇所について説明する。 The additional objects are classified into a number of types (categories). For example, the additional objects include effect objects used as effect gifts, normal objects used as normal gifts, wearable objects used as wearable gifts, and message objects used as message gifts. The additional objects may also include wallpaper objects that are placed behind the character objects in the delivered image. Information indicating the type (category) of the additional object may be stored in object table T2 in association with the object ID of the additional object. Below, image information and placement locations are explained according to the type of additional object.
エフェクトオブジェクトは、配信画像の全体の印象に影響を与えるオブジェクトである。エフェクトオブジェクトは、例えば、紙吹雪を模したオブジェクトである。エフェクトオブジェクトが紙吹雪を模したオブジェクトである場合、画像情報として、複数の紙を示す画像が記憶される。 An effect object is an object that affects the overall impression of the delivered image. An effect object is, for example, an object that resembles confetti. When the effect object is an object that resembles confetti, an image showing multiple pieces of paper is stored as the image information.
エフェクトオブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、紙吹雪を模したオブジェクトは、配信画像の全体に表示される。エフェクトオブジェクトは、視聴ユーザの指示に応じて、配信ユーザの配信画像を含む配信画面全体に表示されてもよい。エフェクトオブジェクトは、配信画像に含まれるキャラクタオブジェクトと重複するように表示されてもよい。エフェクトオブジェクトは、後述する装着オブジェクトと異なり、キャラクタの特定の部位に関連付けられずに表示される。このように、情報処理システム１の端末装置２は、視聴ユーザの指示に応じて配信ユーザの配信画像にエフェクトオブジェクトを表示することにより、当該エフェクトオブジェクトが表示される前に比べて、配信ユーザの配信画像の全体の印象を変えることができる。
Information indicating "space" as the placement location of the effect object is stored. For example, an object resembling confetti is displayed across the entire broadcast image. The effect object may be displayed across the entire broadcast screen including the broadcast user's broadcast image in response to an instruction from the viewing user. The effect object may be displayed so as to overlap with a character object included in the broadcast image. Unlike wearable objects, which will be described later, the effect object is displayed without being associated with a specific part of the character. In this way, the
通常オブジェクトは、例えば、ぬいぐるみ、花束、アクセサリ、又はギフトやプレゼントに適した物品を模したオブジェクトである。通常オブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、通常オブジェクトには、所定の移動ルートに関する情報が関連付けられており、配信画像内を所定の移動ルートに沿って移動する通常オブジェクトが表示される。「通常オブジェクト」の配置箇所として記憶される「空間」を示す情報は、複数の種類に分類されてもよい。複数の種類の「空間」は、例えば、「中央の空間」（配信画像を左右に３分割した場合の画像中央の領域）、「左の空間」（配信画像を左右に３分割した場合の画像左側の領域）、及び「右の空間」（配信画像を左右に３分割した場合の画像右側の領域）である。また、複数の種類の「空間」は、「中央の空間」（配信画像を上下に３分割した場合の画像中央の領域）、「上の空間」（配信画像を上下に３分割した場合の画像上側の領域）、及び「下の空間」（配信画像を上下に３分割した場合の画像下側の領域）でもよい。この場合、通常オブジェクトに関連付けられた移動ルートは、当該通常オブジェクトの配置箇所として関連付けられた種類の「空間」内に設定される。例えば、通常オブジェクトに、「右の空間」を示す情報が記憶された場合、当該通常オブジェクトに、配信画像を左右に３分割した場合の画像右側の領域内を移動する移動ルートに関する情報が関連付けられる。また、配信画像内の通常オブジェクトごとに設定された位置又は自動的にランダムに決定された位置から、所定の移動ルールに沿って移動する通常オブジェクトが表示されてもよい。所定の移動ルールは、例えば、通常オブジェクトが自由落下しているような移動となるように設定された移動ルールである。なお、通常オブジェクトは、キャラクタオブジェクトと重複するように表示されてもよい。この場合、通常オブジェクトは、後述する装着オブジェクトと異なり、キャラクタオブジェクトの特定の部位に関連付けられずに表示される。また、通常オブジェクトは、キャラクタオブジェクトに接したタイミングで跳ね返るような移動を行うように表示されてもよい。 A normal object is, for example, an object that imitates a stuffed toy, a bouquet, an accessory, or an item suitable for a gift or present. Information indicating a "space" is stored as the placement location of the normal object. For example, information regarding a predetermined movement route is associated with the normal object, and the normal object is displayed moving along the predetermined movement route in the delivery image. The information indicating the "space" stored as the placement location of the "normal object" may be classified into multiple types. The multiple types of "space" are, for example, a "center space" (a region in the center of the image when the delivery image is divided into three parts horizontally), a "left space" (a region on the left side of the image when the delivery image is divided into three parts horizontally), and a "right space" (a region on the right side of the image when the delivery image is divided into three parts horizontally). In addition, the multiple types of "space" may be a "center space" (a region in the center of the image when the delivery image is divided into three parts vertically), an "upper space" (a region on the upper side of the image when the delivery image is divided into three parts vertically), and a "lower space" (a region on the lower side of the image when the delivery image is divided into three parts vertically). In this case, the movement route associated with the normal object is set within the "space" of the type associated with the placement location of the normal object. For example, if information indicating "right space" is stored in a normal object, information regarding a movement route that moves within the area on the right side of the image when the delivery image is divided into three parts horizontally is associated with the normal object. In addition, a normal object that moves according to a predetermined movement rule may be displayed from a position set for each normal object in the delivery image or a position automatically and randomly determined. The predetermined movement rule is, for example, a movement rule set so that the normal object moves as if it is falling freely. Note that the normal object may be displayed so as to overlap with a character object. In this case, unlike an attached object described later, the normal object is displayed without being associated with a specific part of the character object. In addition, the normal object may be displayed so as to move in a manner that bounces back when it comes into contact with the character object.
通常オブジェクトが、配信画像に含まれるキャラクタオブジェクトと重複して表示される場合、例えば、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『頭部』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「頭部」とは重複しないように表示される。また、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『上半身』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「上半身」とは重複しないように表示される。 When a normal object is displayed overlapping with a character object included in the distributed image, for example, the normal object may be displayed so as to overlap with "parts other than the 'head', including the 'face', of the character object." In this case, the normal object is displayed so as not to overlap with the "head" of the character object. Also, the normal object may be displayed so as to overlap with "parts other than the 'upper body', including the 'face', of the character object." In this case, the normal object is displayed so as not to overlap with the "upper body" of the character object.
装着オブジェクトは、キャラクタオブジェクトの特定の部位（装着箇所）に関連付けて配信画像に表示されるオブジェクトである。例えば、特定の部位は、キャラクタオブジェクトの頭部における、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、及び髪全体等である。また、特定の部位は、親指、薬指、手首、肘、肩、二の腕、手全体、腕全体、胴部、上半身、下半身等でもよい。 An attachment object is an object that is displayed in a distributed image in association with a specific part (attachment location) of a character object. For example, specific parts of the character object's head include the front left, front right, rear left, rear right, front center, rear center, left eye, right eye, left ear, right ear, and all of the hair. In addition, specific parts may also be the thumb, ring finger, wrist, elbow, shoulder, upper arm, entire hand, entire arm, torso, upper body, lower body, etc.
キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位に接するように配信画像に表示される。また、キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位の一部又は全部を覆うように配信画像に表示されてもよい。特定の部位は、３次元座標空間における位置を示す３次元位置情報で特定されてもよく、また、３次元座標空間の位置情報に関連付けられてもよい。 A wearable object associated with a specific part of a character object is displayed in the distributed image so as to be in contact with the specific part of the character object. Also, a wearable object associated with a specific part of a character object may be displayed in the distributed image so as to cover a part or all of the specific part of the character object. The specific part may be identified by three-dimensional position information indicating a position in three-dimensional coordinate space, or may be associated with position information in three-dimensional coordinate space.
装着オブジェクトの画像情報は、例えば、キャラクタオブジェクトに装着されるアクセサリ（カチューシャ、ネックレス又はイヤリング等）、衣服（Ｔシャツ又はワンピース等）、コスチューム、及び、これら以外のキャラクタオブジェクトが装着可能なもの、を模した画像情報である。 The image information of the wearing object is, for example, image information that imitates accessories (headbands, necklaces, earrings, etc.) worn by the character object, clothing (T-shirts, dresses, etc.), costumes, and other items that can be worn by the character object.
装着オブジェクトの配置箇所として、装着オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着部位を示す情報が記憶される。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部」を示す情報が記憶される。また、装着オブジェクトが「Ｔシャツ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「胴部」を示す情報が記憶される。 As the placement location of the wearing object, information is stored that indicates the wearing part, which indicates which part of the character object the wearing object is associated with. For example, if the wearing object is a "headband", information is stored that indicates the "head" of the character object as the placement location of the wearing object. Also, if the wearing object is a "T-shirt", information is stored that indicates the "torso" of the character object as the placement location of the wearing object.
装着オブジェクトの配置箇所として、３次元座標空間における複数の装着部位を示す情報が記憶されてもよい。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の２つの部位を示す情報が記憶されてもよい。これにより、「カチューシャ」を模した装着オブジェクトは、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の両方に装着されるように表示される。 Information indicating multiple attachment locations in three-dimensional coordinate space may be stored as the placement location of the attachment object. For example, if the attachment object is a "headband," information indicating two locations, the "rear left side of the head" and the "rear right side of the head" of the character object, may be stored as the placement location of the attachment object. In this way, an attachment object modeled after a "headband" is displayed as being attached to both the "rear left side of the head" and the "rear right side of the head" of the character object.
キャラクタオブジェクトに装着箇所が共通する複数種類の装着オブジェクトが装着される場合、当該複数種類の装着オブジェクトは時間を隔ててキャラクタオブジェクトに装着される。これにより、装着部位が共通する複数種類の装着オブジェクトは、キャラクタオブジェクトに同時に装着されない。例えば、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトの装着箇所として、ともに「頭部」が記憶される場合、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトは、同時にキャラクタオブジェクトの頭部に表示されない。 When multiple types of attachment objects that are attached to the same attachment location are attached to the character object, the multiple types of attachment objects are attached to the character object at different times. As a result, multiple types of attachment objects that are attached to the same attachment location are not attached to the character object at the same time. For example, if the attachment location of an attachment object indicating a "headband" and an attachment object indicating a "hat" are both stored as "head," the attachment object indicating a "headband" and the attachment object indicating a "hat" will not be displayed on the head of the character object at the same time.
オブジェクトテーブルＴ２において、追加オブジェクトの種類に応じた表示時間が、当該追加オブジェクトのオブジェクトＩＤに関連付けて記憶されてもよい。例えば、装着オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長い時間が記憶されてもよい。例えば、装着オブジェクトの表示時間として「６０秒」が記憶された場合、エフェクトオブジェクトの表示時間として「５秒」が記憶され、通常オブジェクトの表示時間として「１０秒」が記憶されてもよい。 In object table T2, a display time according to the type of additional object may be stored in association with the object ID of the additional object. For example, the display time of an attached object may be stored as a time longer than the display time of an effect object and the display time of a normal object. For example, if "60 seconds" is stored as the display time of an attached object, "5 seconds" may be stored as the display time of an effect object, and "10 seconds" may be stored as the display time of a normal object.
（グループテーブルＴ３）
図５（ｃ）は、ユーザが所属する情報交換グループを管理するグループテーブルＴ３のデータ構造の一例である。グループテーブルＴ３は、ユーザごとに個別に設けられ、図５（ｃ）に示されるグループテーブルＴ３は、当該グループテーブルＴ３を記憶する端末装置２を操作するユーザのグループテーブルＴ３である。
(Group table T3)
Fig. 5(c) shows an example of the data structure of a group table T3 that manages information exchange groups to which a user belongs. The group table T3 is provided individually for each user, and the group table T3 shown in Fig. 5(c) is the group table T3 of the user who operates the
グループテーブルＴ３では、各情報交換グループについて、情報交換グループのグループＩＤ、情報交換グループの名称、情報交換グループに所属する所属ユーザ等が、互いに関連付けて記憶されている。グループＩＤは、各情報交換グループを一意に識別するための識別データの一例である。名称は、各情報交換グループの名称を示すデータの一例である。所属ユーザは、情報交換グループに所属する各ユーザのユーザＩＤである。 In the group table T3, for each information exchange group, the group ID of the information exchange group, the name of the information exchange group, the users belonging to the information exchange group, etc. are stored in association with each other. The group ID is an example of identification data for uniquely identifying each information exchange group. The name is an example of data indicating the name of each information exchange group. The users belonging to the information exchange group are the user IDs of each user belonging to the information exchange group.
なお、グループテーブルＴ３がサーバ記憶装置３２に記憶される場合は、グループテーブルＴ３ごとに、対応するユーザ（グループテーブルＴ３を記憶する端末装置２を操作するユーザ）のユーザＩＤが関連付けて記憶される。
When the group table T3 is stored in the
図４に戻り、生成部２７１、送信部２７２、受信部２７３、表示処理部２７４、音声出力部２７５の機能について説明する。
Returning to FIG. 4, the functions of the
（生成部２７１）
生成部２７１は、端末装置２が、配信ユーザによって操作される配信端末装置として使用される場合に機能する。生成部２７１は、撮像装置２５によって連続的に出力された撮像データを、撮像装置２５から取得する。例えば、配信ユーザによって把持された端末装置２（配信端末装置）の撮像装置２５は、表示装置２３の表示画面を眺める配信ユーザの顔が撮影方向となるように、端末装置２に設けられる。撮像装置２５は、撮影方向の配信ユーザの顔を連続的に撮像し、配信ユーザの顔の撮像データを取得し、端末処理装置２７の生成部２７１に出力する。撮像装置２５は、配信ユーザの顔以外の部位、例えば、頭部、腕部、手部（指部を含む）、胸部、胴部、脚部、又はこれら以外の部位を撮像して撮像データを取得しても良い。また、撮像装置２５は、人物の顔の奥行きを検出可能な３Ｄカメラであってもよい。
(Generation unit 271)
The generating
生成部２７１は、連続的に取得した撮像データに基づいて、配信ユーザの顔の動きのデジタル表現であるフェイスモーションデータを、時間の経過に伴って随時生成する。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部２７１によって生成されたフェイスモーションデータは、配信ユーザの顔の動き（表情の変化）を時系列的にデジタル表現することができる。
The
生成部２７１は、配信ユーザの各部位（頭部、腕部、手部（指部を含む）、胸部、胴部、脚部、又はこれら以外の部位）の位置及び向きのデジタル表現であるボディモーションデータを、連続的に取得した撮像データに基づいて、フェイスモーションデータとともに、又は、フェイスモーションデータとは別に、生成してもよい。
The
ボディモーションデータは、配信ユーザに装着された公知のモーションセンサからの検出情報に基づいて生成されてもよい。この場合、端末装置２（配信端末装置）の端末通信Ｉ／Ｆ２１は、配信ユーザに装着されたモーションセンサからの検出情報を無線通信で取得するための所定の通信回路を有する。そして、生成部２７１は、端末通信Ｉ／Ｆ２１によって取得された検出情報に基づいてボディモーションデータを生成する。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部２７１によって生成されたボディモーションデータは、配信ユーザの体の動きを時系列的にデジタル表現することができる。
The body motion data may be generated based on detection information from a known motion sensor worn by the broadcasting user. In this case, the terminal communication I/
配信ユーザに装着されたモーションセンサからの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。この場合、撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、例えば、多軸レーザーエミッターである。配信ユーザに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerでもよく、また、ベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションでもよい。 The generation of body motion data based on detection information from a motion sensor worn by a broadcasting user may be performed, for example, in a photography studio. In this case, the photography studio may be equipped with a base station, a tracking sensor, and a display. The base station may be, for example, a multi-axis laser emitter. The motion sensor worn by the broadcasting user may be, for example, a Vive Tracker provided by HTC CORPORATION, and the base station may be, for example, a base station provided by HTC CORPORATION.
また、撮影スタジオに隣接した別室に、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポーターコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置３は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータは、配信ユーザを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。オペレータは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージが撮影スタジオのディスプレイに表示されてもよい。
Also, a supporter computer may be installed in a separate room adjacent to the photography studio. The display of the photography studio may be configured to display information received from the supporter computer. The
生成部２７１は、随時生成したフェイスモーションデータ及び／又はボディモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データを、表示処理部２７４に出力する。以下、フェイスモーションデータ及びボディモーションデータを、モーションデータと総称する場合がある。また、生成部２７１は、生成したキャラクタ動画データと、端末記憶装置２２に記憶された配信ユーザのユーザＩＤとを送信部２７２に出力する。なお、生成部２７１は、マイク２６から出力された配信ユーザの音声データを取得した場合、生成したキャラクタ動画データと、取得した音声データと、端末記憶装置２２に記憶された配信ユーザのユーザＩＤと、を送信部２７２に出力する。
The
（送信部２７２）
配信ユーザの端末装置２（配信端末装置）の送信部２７２は、配信ユーザによる配信の開始指示に応じて、配信ユーザによる配信イベントの開始を指示するための配信開始指示に関する情報を、端末記憶装置２２に記憶された配信ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。以下、配信ユーザのユーザＩＤを、配信ユーザＩＤと称する場合がある。
(Transmitter 272)
In response to an instruction to start a broadcast from the broadcast user, the transmitting
また、配信ユーザの端末装置２（配信端末装置）の送信部２７２は、生成部２７１から出力された配信ユーザのキャラクタ動画データを、配信イベントにおける配信ユーザの配信画像を表示するための情報として、端末記憶装置２２に記憶された配信ユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。配信ユーザの音声データが、配信ユーザのキャラクタ動画データとともに生成部２７１から出力された場合、送信部２７２は、配信ユーザのキャラクタ動画データ及び音声データを、配信ユーザＩＤとともに、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。
The transmitting
また、配信ユーザの端末装置２（配信端末装置）の送信部２７２は、配信ユーザによる配信の終了指示に応じて、配信ユーザによる配信イベントの終了を指示するための配信終了指示に関する情報を、端末記憶装置２２に記憶された配信ユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。
In addition, in response to an instruction to end the broadcast by the broadcast user, the
また、視聴ユーザの端末装置２（視聴端末装置）の送信部２７２は、視聴ユーザによる配信画像の視聴開始指示に応じて、視聴開始指示に関する情報を、配信画像に関する情報と、端末記憶装置２２に記憶された視聴ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。配信画像に関する情報は、配信ユーザによって視聴開始が指示された配信画像を特定するための情報であり、たとえば、配信画像の識別情報（配信画像ＩＤ）又は配信画像を配信している配信ユーザの配信ユーザＩＤ等である。以下、視聴ユーザのユーザＩＤを、視聴ユーザＩＤと称する場合がある。
In addition, in response to an instruction by the viewing user to start viewing a distributed image, the
また、送信部２７２は、ユーザが入力装置２４を操作することによって入力された各種の指示を示す情報を、端末記憶装置２２に記憶されたユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。ユーザによる各種の指示には、例えば、追加指示、変更指示、及び生成指示等が含まれる。追加指示を示す情報は、配信ユーザの配信画像に含ませる追加オブジェクトのオブジェクトＩＤと配信ユーザＩＤと視聴ユーザの端末装置２（視聴端末装置）の端末記憶装置２２に記憶された視聴ユーザＩＤとともにサーバ装置３に送信される。
The
配信ユーザによって部分オブジェクトが選択されて、選択された部分オブジェクトによって構成されるキャラクタオブジェクトの作成に関する指示がされた場合、キャラクタオブジェクトのモデルデータを識別するためのモデルＩＤと、キャラクタオブジェクトを構成する複数の部分オブジェクトのオブジェクトＩＤとが、配信ユーザの端末装置２（配信端末装置）の端末記憶装置２２に記憶されたユーザＩＤ等とともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信されてもよい。この場合、サーバ装置３は、ユーザＩＤと、モデルＩＤと、キャラクタオブジェクトを構成する複数の部分オブジェクトのオブジェクトＩＤとを互いに関連付けてサーバ記憶装置３２に記憶してもよい。
When a partial object is selected by the broadcasting user and an instruction is given regarding the creation of a character object composed of the selected partial objects, a model ID for identifying model data for the character object and object IDs of the multiple partial objects that make up the character object may be transmitted to the
また、サーバ装置３経由で、配信ユーザのキャラクタオブジェクトのモデルデータを識別するためのモデルＩＤと、ユーザのキャラクタオブジェクトを構成する複数の部分オブジェクトのオブジェクトＩＤと、ユーザのユーザＩＤとを受信した視聴ユーザの端末装置２（視聴端末装置）は、受信したユーザＩＤとモデルＩＤとキャラクタオブジェクトを構成する複数の部分オブジェクトのオブジェクトＩＤと、を互いに関連付けて端末記憶装置２２に記憶してもよい。これにより、配信ユーザのユーザＩＤ（又はモデルＩＤ）のみがサーバ装置３経由で視聴ユーザの端末装置２（視聴端末装置）に送信されるだけで、視聴ユーザの端末装置２（視聴端末装置）は、受信したユーザＩＤ（又はモデルＩＤ）に関連付けられた複数の部分オブジェクトのオブジェクトＩＤを抽出することができる。そして、視聴ユーザの端末装置２（視聴端末装置）は、抽出した各オブジェクトＩＤに対応する（各部分オブジェクトの）３次元モデルデータに基づいて配信ユーザのキャラクタオブジェクトを含む配信画像を表示することができる。
Furthermore, the viewing user's terminal device 2 (viewing terminal device) that receives the model ID for identifying model data of the broadcasting user's character object, the object IDs of the multiple partial objects that make up the user's character object, and the user's user ID via the
ユーザの端末装置２の送信部２７２は、ユーザによる、新たな情報交換を開始する指示に応じて、新規開始指示に関する情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。新規開始指示に関する情報とともに、ユーザによって指定された他ユーザのユーザＩＤ及び端末装置２の端末記憶装置２２に記憶されたユーザＩＤが、サーバ装置３に送信される。ユーザによって指定された他ユーザは、ユーザによって情報交換の相手として指定された一又は複数のユーザである。以降、ユーザと一又は複数の他ユーザとが所属するグループを、情報交換グループと称する場合がある。
In response to an instruction from the user to start a new information exchange, the transmitting
情報交換グループに所属するユーザの端末装置２の送信部２７２は、ユーザによる、情報交換グループ内の情報交換（例えば、テキストチャット等）を開始する指示に応じて、情報交換開始指示に関する情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。情報交換開始指示に関する情報とともに、端末装置２の端末記憶装置２２に記憶された、ユーザが所属する情報交換グループのグループＩＤが、送信先情報としてサーバ装置３に送信される。なお、サーバ装置３が情報交換グループに所属する各ユーザのユーザＩＤを記憶しない場合、情報交換開始指示に関する情報とともに、情報交換グループを示すグループＩＤ又は情報交換グループに所属する他ユーザのユーザＩＤを含む送信先情報がサーバ装置３に送信されてもよい。
In response to an instruction from the user to start information exchange (e.g., text chat) within the information exchange group, the transmitting
情報交換グループに所属するユーザの端末装置２の送信部２７２は、情報交換画面の表示中においてユーザによる入力情報が入力された場合、当該入力情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。入力情報とともに、情報交換グループに所属するユーザの端末装置２の端末記憶装置２２に記憶されたユーザＩＤ及び送信先情報が、サーバ装置３に送信される。送信先情報は、情報交換グループを示すグループＩＤ、又は、情報交換グループに所属する他ユーザのユーザＩＤである。
When the user inputs information while the information exchange screen is displayed, the transmitting
（受信部２７３）
視聴ユーザの端末装置２（視聴端末装置）の受信部２７３は、サーバ装置３から送信された、配信ユーザのキャラクタ動画データ及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。視聴ユーザの端末装置２（視聴端末装置）の受信部２７３は、サーバ装置３から送信された、配信ユーザのキャラクタ動画データ、音声データ及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。視聴ユーザの端末装置２（視聴端末装置）の受信部２７３は、サーバ装置３から送信された、配信ユーザの音声データ及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。また、受信部２７３は、サーバ装置３から送信された、配信ユーザの端末装置２（配信端末装置）及び視聴ユーザの端末装置２（視聴端末装置）の受信部２７３は、他ユーザの各種の指示を示す情報等を、端末通信Ｉ／Ｆ２１を介して受信する。受信部２７３は、受信した情報を端末処理装置２７に渡す。
(Receiving unit 273)
The receiving
サーバ装置３から送信された配信ユーザのキャラクタ動画データ及びユーザＩＤは、配信ユーザの端末装置２（配信端末装置）の送信部２７２によってサーバ装置３に送信されたものである。また、サーバ装置３から送信された配信ユーザのキャラクタ動画データ、音声データ及びユーザＩＤは、配信ユーザの端末装置２（配信端末装置）の送信部２７２によってサーバ装置３に送信されたものである。また、サーバ装置３から送信された配信ユーザの音声データ及びユーザＩＤは、配信ユーザの端末装置２（配信端末装置）の送信部２７２によってサーバ装置３に送信されたものである。
The broadcast user's character video data and user ID transmitted from the
情報交換グループに所属するユーザの端末装置２の受信部２７３は、情報交換グループに所属する他ユーザの端末装置２から送信された新規開始指示に関する情報に応じて、サーバ装置３から送信された新規開始指示に関する情報と、情報交換グループに所属するユーザのユーザＩＤと、を受信する。
The receiving
情報交換グループに所属するユーザの端末装置２の受信部２７３は、サーバ装置３から送信された、情報交換グループに所属する他ユーザの入力情報及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。
The receiving
（表示処理部２７４）
配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、配信イベントの開始の指示に応じて、生成部２７１によって生成されたモーションデータを含むキャラクタ動画データに基づいて描画された画像を配信ユーザの配信画像として表示装置２３に表示する。なお、モーションデータは、キャラクタ動画データとして視聴ユーザの端末装置２（視聴端末装置）に送信される。また、視聴ユーザの端末装置２（視聴端末装置）の表示処理部２７４は、受信部２７３によって受信された配信ユーザのキャラクタ動画データ（モーションデータ）に基づいて描画された画像を配信ユーザの配信画像として表示装置２３に表示する。
(Display Processing Unit 274)
In response to an instruction to start a distribution event, the
以下、モーションデータに基づく配信画像の描画処理について説明する。以下の説明において、配信端末装置におけるモーションデータに基づく配信画像の描画処理では、端末記憶装置２２に記憶されたユーザＩＤが用いられ、視聴端末装置におけるモーションデータに基づく配信画像の描画処理では、サーバ装置３から受信したユーザＩＤが用いられる。
The drawing process of the distributed image based on the motion data will be described below. In the following description, the drawing process of the distributed image based on the motion data in the distribution terminal device uses the user ID stored in the
まず、表示処理部２７４は、ユーザＩＤに関連付けられたキャラクタオブジェクトのモデルＩＤと、使用オブジェクトのオブジェクトＩＤとをユーザテーブルＴ１から抽出する。次に、表示処理部２７４は、抽出したモデルＩＤに関連付けられたモデルデータと、抽出した使用オブジェクトのオブジェクトＩＤに関連付けられた画像情報及び配置箇所を端末記憶装置２２から読み出す。次に、表示処理部２７４は、読み出したモデルデータと使用オブジェクトの画像情報及び配置箇所とモーションデータとに基づいて、使用オブジェクトが配置箇所に装着されたキャラクタオブジェクトのアニメーションを生成する。なお、キャラクタオブジェクトのモデルＩＤに、キャラクタオブジェクトを構成する複数の部分オブジェクトのオブジェクトＩＤが関連付けられている場合、表示処理部２７４は、抽出したモデルＩＤに関連付けられた複数の部分オブジェクトのオブジェクトＩＤに対応するモデルデータを抽出する。次に、表示処理部２７４は、読み出した複数の部分オブジェクトのモデルデータと使用オブジェクトの画像情報及び配置箇所とモーションデータとに基づいて、使用オブジェクトが配置箇所に装着されたキャラクタオブジェクトのアニメーションを生成する。なお、使用オブジェクトは、複数の部分オブジェクトの中に含まれてもよい。
First, the
表示処理部２７４は、モーションデータにフェイスモーションデータが含まれる場合、キャラクタオブジェクトの表情がフェイスモーションデータに基づいて変化するように、キャラクタオブジェクトのアニメーションを生成する。これにより、表示処理部２７４は、読み出したモデルデータとフェイスモーションデータとに基づいて、配信ユーザの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。表示処理部２７４は、モーションデータにフェイスモーションデータ及びボディモーションデータが含まれる場合、読み出したモデルデータとフェイスモーションデータ及びボディモーションデータとに基づいて、配信ユーザの表情及び体の動きに同期して動くキャラクタオブジェクトのアニメーションを生成する。次に、表示処理部２７４は、生成したキャラクタオブジェクトのアニメーション（動画像）と、端末記憶装置２２に記憶された背景データを用いて生成した背景を示す背景画像と、を含む配信画像を描画する。そして、表示処理部２７４は、描画された配信画像を示す描画データを出力し、モーションデータに基づく配信画像の描画処理を終了する。配信画像の描画処理において３次元のモデルデータが用いられた場合、配信画像の描画処理において描画された配信画像は、配信ユーザの表情及び体の動きに同期して動くキャラクタオブジェクトを含む３次元の仮想空間内が描画された動画である。以下、主に、キャラクタオブジェクトのアニメーション（動画像）を含む配信画像について説明するが、配信画像は、キャラクタオブジェクトのアニメーション（動画像）を含むものに限定されない。配信画像は、キャラクタオブジェクトの静止画像を含むものでもよい。また、配信画像は、キャラクタオブジェクトの新たな静止画像が所定時間ごとに表示されるものでもよい。
When the motion data includes face motion data, the
また、表示処理部２７４は、配信ユーザによる変更指示に応じて、配信ユーザの保有オブジェクトである装着オブジェクト又は装着ギフトとして視聴ユーザから送信された装着オブジェクトを適用したキャラクタオブジェクトを、表示装置２３に表示する変更処理を実行してもよい。例えば、配信ユーザによって変更指示された装着オブジェクトが「カチューシャ」である場合、表示処理部２７４は、当該装着オブジェクト（「カチューシャ」）のオブジェクトＩＤを、ユーザテーブルＴ１において配信ユーザのユーザＩＤに関連付けられた保有オブジェクトから抽出し、配信ユーザの使用オブジェクトとして記憶する。表示処理部２７４は、配信ユーザの使用オブジェクトとして記憶されたオブジェクトＩＤに関連付けられた画像情報及び配置箇所をオブジェクトテーブルＴ２から抽出する。次に、表示処理部２７４は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクト（「カチューシャ」）を頭部（「カチューシャ」のオブジェクトＩＤに関連付けられた配置箇所）に装着した配信ユーザのキャラクタオブジェクトを含む配信画像を生成する。なお、表示処理部２７４は、キャラクタオブジェクトの装着部位（配置箇所）の動きに付随して動く装着オブジェクトを装着したキャラクタオブジェクトを含む配信画像を生成してもよい。例えば、配信画像において、装着オブジェクト「カチューシャ」は、キャラクタオブジェクトの頭部の動きに付随して動くように表示される。
In addition, the
また、視聴ユーザの端末装置２（視聴端末装置）の表示処理部２７４は、視聴ユーザからの追加オブジェクトの追加指示に応じて、追加オブジェクトを含む配信画像を表示する。また、配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、視聴ユーザの端末装置２から受信した追加オブジェクトの追加指示を示す情報に応じて、追加オブジェクトを含む配信画像を表示する。
The
配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、視聴ユーザの端末装置２（視聴端末装置）から追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤがいずれかのエフェクトオブジェクトのオブジェクトＩＤである場合、オブジェクトテーブルＴ２を参照して、追加指示を示す情報とともに受信したオブジェクトＩＤに関連付けられたエフェクトオブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出し、抽出した静止画像又は動画像を含む配信画像を生成する。例えば、紙吹雪や花火を示すエフェクトオブジェクトの追加指示がなされた場合、配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、紙吹雪や花火を模したエフェクトオブジェクト（図示せず）の動画像を含む配信画像を生成する。視聴ユーザの端末装置２（視聴端末装置）の表示処理部２７４は、視聴ユーザからの追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤがいずれかのエフェクトオブジェクトのオブジェクトＩＤである場合、同様に、オブジェクトテーブルＴ２を参照して、追加指示を示す情報とともに受信したオブジェクトＩＤに関連付けられたエフェクトオブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出し、抽出した静止画像又は動画像を含む視聴ユーザの配信画像を生成する。
When the object ID received from the viewing user's terminal device 2 (viewing terminal device) together with the information indicating an instruction to add an additional object is the object ID of one of the effect objects, the
配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、視聴ユーザの端末装置２（視聴端末装置）から受信した追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤが通常オブジェクトのオブジェクトＩＤである場合、オブジェクトテーブルＴ２を参照して、通常オブジェクトのオブジェクトＩＤに関連付けられた、通常オブジェクトの静止画像又は動画像（画像情報）及び配置箇所を抽出する。次に、配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、配置箇所によって示される位置に配置した通常オブジェクトの静止画像又は動画像を含む視聴ユーザの配信画像を生成する。また、視聴ユーザの端末装置２（視聴端末装置）の表示処理部２７４は、視聴ユーザからの追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤが通常オブジェクトのオブジェクトＩＤである場合、同様に、オブジェクトテーブルＴ２を参照して、通常オブジェクトのオブジェクトＩＤに関連付けられた、通常オブジェクトの静止画像又は動画像（画像情報）及び配置箇所を抽出し、配置箇所によって示される位置に配置した通常オブジェクトの静止画像又は動画像を含む視聴ユーザの配信画像を生成する。
When the object ID received together with the information indicating an instruction to add an additional object from the viewing user's terminal device 2 (viewing terminal device) is the object ID of a normal object, the
表示処理部２７４は、配信画像の表示領域内を移動する通常オブジェクトの動画像を含む配信画像を生成してもよい。例えば、表示処理部２７４は、通常オブジェクトは、配信画像の上から下に向かって落下するような動きをする通常オブジェクトの動画像を含む配信画像を生成してもよい。この場合、通常オブジェクトは、落下開始から出力画像の下端まで落下する間、配信画像の表示領域内に表示され、配信画像の下端に落下した後に配信画像から消滅してもよい。なお、通常オブジェクトの移動ルートは、配信画像の、左から右の方向、右から左の方向、左上から左下の方向、又はこれら以外の方向のルートでもよく、また、直線軌道、円軌道、楕円軌道、螺旋軌道、又はこれら以外の軌道に沿ったルートでもよい。
The
配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、視聴ユーザからの追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤが装着オブジェクトのオブジェクトＩＤである場合、配信画像内に、装着指示に関する通知情報を表示する。次に、表示処理部２７４は、オブジェクトテーブルＴ２を参照して、追加指示を示す情報とともに受信したオブジェクトＩＤに関連付けられた装着オブジェクトの画像情報及び配置箇所を抽出する。次に、表示処理部２７４は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクトを、配置箇所によって示される装着部位に装着した配信ユーザのキャラクタオブジェクトを含む配信画像を生成する。また、視聴ユーザの端末装置２（視聴端末装置）の表示処理部２７４は、視聴ユーザからの追加オブジェクトの追加指示を示す情報とともに受信したオブジェクトＩＤが装着オブジェクトのオブジェクトＩＤである場合、配信画像内に、装着指示に関する通知情報を表示する。次に、表示処理部２７４は、オブジェクトテーブルＴ２を参照して、追加指示を示す情報とともに受信したオブジェクトＩＤに関連付けられた装着オブジェクトの画像情報及び配置箇所を抽出する。次に、表示処理部２７４は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクトを、配置箇所によって示される装着部位に装着した配信ユーザのキャラクタオブジェクトを含む配信画像を生成する。
If the object ID received together with the information indicating an instruction to add an additional object from the viewing user is the object ID of a wearing object, the
また、ユーザの端末装置２の表示処理部２７４は、ユーザによる新たな情報交換を開始する指示に応じて、当該ユーザと当該ユーザによって指定された全ての他ユーザが所属する新たな情報交換グループに係る情報交換画面を表示する。また、ユーザの端末装置２の表示処理部２７４は、他ユーザの新規開始指示に関する情報と新たな情報交換グループに所属する各ユーザのユーザＩＤが受信部２７３によって受信された場合、当該情報交換グループに係る情報交換画面を表示する。
In addition, in response to an instruction from the user to start a new information exchange, the
また、情報交換グループに所属するユーザの端末装置２の表示処理部２７４は、ユーザによる、情報交換グループ内の情報交換を開始する指示に応じて、当該情報交換グループに係る情報交換画面を表示する。また、情報交換グループに所属するユーザの端末装置２の表示処理部２７４は、当該情報交換グループに所属する他ユーザの情報交換開始指示に関する情報と当該情報交換グループに所属する各ユーザのユーザＩＤが受信部２７３によって受信された場合、当該情報交換グループに係る情報交換画面を表示する。
In addition, the
また、情報交換グループに所属するユーザの端末装置２の表示処理部２７４は、情報交換画面の表示中においてユーザによる入力情報が入力された場合、入力された入力情報を、情報交換画面のユーザ表示領域の最新の入力情報の下に表示する。また、情報交換グループに所属するユーザの端末装置２の表示処理部２７４は、情報交換画面の表示中において、他ユーザによる入力情報が受信部２７３によって受信された場合、受信された入力情報を、情報交換画面の他ユーザ表示領域の最新の入力情報の下に表示する。
In addition, when input information is input by a user while the information exchange screen is displayed, the
（音声出力部２７５）
視聴ユーザの端末装置２（視聴端末装置）の音声出力部２７５は、配信ユーザの音声データが受信部２７３によって受信された場合、音声データに基づいて生成される配信ユーザの音声をスピーカ（図示せず）から音声出力する。また、視聴端末装置の音声出力部２７５は、配信ユーザのキャラクタ動画データ及び音声データが受信された場合、表示処理部２７４による配信ユーザの配信画像の表示とともに、音声データに基づく配信ユーザの音声をスピーカから音声出力する。これにより、配信画像に含まれる配信ユーザのキャラクタオブジェクトの唇の動作中に、配信ユーザの音声が出力されるため、視聴ユーザは、音声を発しているような配信ユーザのキャラクタオブジェクトを含む配信画像を視聴することができる。
(Audio output unit 275)
When the audio data of the broadcast user is received by the receiving
（サーバ装置３）
図６は、サーバ装置３の概略構成の一例を示す図である。複数のユーザのそれぞれの端末装置２に動画配信サービス及び情報交換サービス等の各種サービスを提供するサーバ装置３は、配信ユーザの端末装置２から送信された配信ユーザのキャラクタ動画データ及び各種の指示を示す情報を、一又は複数の視聴ユーザの端末装置２に送信する。また、サーバ装置３は、一のユーザの端末装置から受信した入力情報（テキスト情報、スタンプ画像等）を、一のユーザと同一の情報交換グループに所属する一又は複数の他のユーザの端末装置２に送信する。また、サーバ装置３は、一のユーザの端末装置２から受信した情報を、当該情報と同時に受信した送信先情報に含まれるユーザＩＤによって示されるユーザの端末装置２に送信してもよい。そのために、サーバ装置３は、サーバ通信Ｉ／Ｆ３１と、サーバ記憶装置３２と、サーバ処理装置３３とを備える。
(Server device 3)
6 is a diagram showing an example of a schematic configuration of the
サーバ通信Ｉ／Ｆ３１は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置３は、サーバ通信Ｉ／Ｆ３１を介して、他の装置に情報を送信し且つ他の装置から情報を受信することができる。
The server communication I/
サーバ記憶装置３２は、例えば、ＲＯＭ、ＲＡＭ等の半導体メモリ装置である。サーバ記憶装置３２は、例えば、磁気ディスク、光ディスク、又はデータを記憶可能な前記以外の各種記憶装置でもよい。サーバ記憶装置３２は、サーバ処理装置３３における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム及びデータ等を記憶する。なお、サーバ記憶装置３２は、データとして、ユーザテーブルＴ１、オブジェクトテーブルＴ２、及びグループテーブルＴ３を記憶してもよい。なお、サーバ記憶装置３２は、データとして、配信中の配信ユーザの配信ユーザＩＤを記憶し、配信ユーザの配信ユーザＩＤに関連付けて、当該配信ユーザの配信画像を視聴中の視聴ユーザのユーザＩＤ（視聴ユーザＩＤ）を記憶する。なお、配信ユーザＩＤは、配信画像に関する情報の一種である。配信画像に関する情報は、配信画像の識別情報（配信画像ＩＤ）でもよい。例えば、配信画像ＩＤと配信ユーザＩＤと視聴ユーザＩＤとが互いに関連付けて記憶されてもよい。
The
サーバ処理装置３３は、サーバ記憶装置３２に記憶されているオペレーティングシステムプログラム、ドライバプログラム、及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。サーバ処理装置３３は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ等の電子回路、又は各種電子回路の組み合わせである。サーバ処理装置３３は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。図６においては、サーバ処理装置３３が単一の構成要素として図示されているが、サーバ処理装置３３は複数の物理的に別体のプロセッサの集合であってもよい。例えば、命令を実行するために協調的に並列に動作する複数のプロセッサが実装されてもよい。サーバ処理装置３３は、制御プログラムに含まれる各種命令を実行することにより、サーバ受信部３３１、及びサーバ送信部３３２として機能する。
The
（サーバ受信部３３１）
サーバ受信部３３１は、配信ユーザの端末装置２（配信端末装置）から送信された配信開始指示に関する情報を、配信ユーザＩＤとともに、サーバ通信Ｉ／Ｆ３１を介して受信する。サーバ受信部３３１は、配信ユーザの端末装置２（配信端末装置）から送信された配信終了指示に関する情報を、配信ユーザＩＤとともに、サーバ通信Ｉ／Ｆ３１を介して受信する。また、サーバ受信部３３１は、配信ユーザの端末装置２（配信端末装置）から送信された配信ユーザの配信画像を表示するための情報を、配信ユーザＩＤとともに、サーバ通信Ｉ／Ｆ３１を介して受信する。
(Server Receiving Unit 331)
The
また、サーバ受信部３３１は、視聴ユーザの端末装置２（視聴端末装置）から送信された視聴開始指示に関する情報を、配信画像に関する情報及び視聴ユーザＩＤとともに、サーバ通信Ｉ／Ｆ３１を介して受信する。サーバ受信部３３１は、視聴ユーザの端末装置２（視聴端末装置）から送信された追加指示を示す情報を、オブジェクトＩＤ、配信ユーザＩＤ、及び視聴ユーザＩＤとともに、サーバ通信Ｉ／Ｆ３１を介して受信する。
The
また、サーバ受信部３３１は、新たに情報交換（例えばテキストチャット）を開始したいユーザの端末装置２から、サーバ通信Ｉ／Ｆ３１を介して、新規開始指示に関する情報、当該ユーザのユーザＩＤ、及び情報交換の相手として選択された他ユーザのユーザＩＤを受信する。この場合、サーバ受信部３３１は、新たな情報交換グループのグループＩＤを設定する。そして、サーバ受信部３３１は、受信したユーザのユーザＩＤ及び他ユーザのユーザＩＤを、新たな情報交換グループに所属するユーザＩＤとして、新たな情報交換グループのグループＩＤに関連付けてサーバ記憶装置３２に記憶する。
The
また、サーバ受信部３３１は、情報交換グループに所属するユーザの端末装置２から、サーバ通信Ｉ／Ｆ３１を介して、情報交換開始指示に関する情報、当該ユーザのユーザＩＤ、及び送信先情報を受信する。サーバ受信部３３１は、受信した送信先情報が情報交換グループを示すグループＩＤである場合、サーバ記憶装置３２を参照し、送信先情報として受信されたグループＩＤに関連付けられたユーザのユーザＩＤを抽出する。そして、サーバ受信部３３１は、抽出したユーザＩＤを送信先の端末装置２のユーザのユーザＩＤとして特定する。また、サーバ受信部３３１は、受信した送信先情報がユーザＩＤである場合、送信先情報として受信したユーザＩＤを送信先の端末装置２のユーザのユーザＩＤとして特定する。そして、サーバ受信部３３１は、受信した情報交換開始指示に関する情報及び送信先の端末装置２のユーザのユーザＩＤを、サーバ送信部３３２に渡す。
The
また、サーバ受信部３３１は、情報交換グループに所属するユーザの端末装置２から、サーバ通信Ｉ／Ｆ３１を介して、当該ユーザによって入力された入力情報、当該ユーザのユーザＩＤ、及び送信先情報を受信する。次に、サーバ受信部３３１は、受信した送信先情報に基づいて、送信先の端末装置２のユーザのユーザＩＤを抽出する。サーバ受信部３３１は、受信した入力情報、入力情報を入力したユーザのユーザＩＤ、及び送信先の端末装置２のユーザのユーザＩＤを、サーバ送信部３３２に渡す。
The
（サーバ送信部３３２）
サーバ送信部３３２は、サーバ受信部３３１によって受信された配信ユーザのキャラクタ動画データ及びユーザＩＤを、サーバ記憶装置３２に記憶された、当該配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤによって示される視聴ユーザの端末装置２（視聴端末装置）にサーバ通信Ｉ／Ｆ３１を介して送信する。サーバ送信部３３２は、サーバ受信部３３１によって受信された配信ユーザのキャラクタ動画データ、音声データ及びユーザＩＤを、サーバ記憶装置３２に記憶された、当該配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤによって示される視聴ユーザの端末装置２（視聴端末装置）にサーバ通信Ｉ／Ｆ３１を介して送信する。
(Server transmission unit 332)
The
また、サーバ送信部３３２は、サーバ受信部３３１によって受信された配信ユーザによる各種の指示を示す情報を、サーバ記憶装置３２に記憶された、当該配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤによって示される視聴ユーザの端末装置２（視聴端末装置）にサーバ通信Ｉ／Ｆ３１を介して送信する。また、サーバ送信部３３２は、サーバ受信部３３１によって受信された視聴ユーザによる各種の指示を示す情報を、当該視聴ユーザのユーザＩＤに関連付けられた配信ユーザＩＤによって示される配信ユーザの端末装置２、及び、当該配信ユーザＩＤに関連付けられた他の視聴ユーザのユーザＩＤによって示される視聴ユーザの端末装置２にサーバ通信Ｉ／Ｆ３１を介して送信する。
The
また、サーバ受信部３３１による新たな情報交換グループのグループＩＤの設定に応じて、サーバ送信部３３２は、新たな情報交換グループのグループＩＤに関連付けられた、新たな情報交換グループに所属するユーザＩＤを、サーバ記憶装置３２から抽出する。そして、サーバ送信部３３２は、抽出されたユーザＩＤによって識別されるユーザの端末装置２に、新たな情報交換グループに関する情報交換画面の表示指示に関する情報を、サーバ通信Ｉ／Ｆ３１を介して送信する。
In addition, in response to the group ID of the new information exchange group being set by the
また、サーバ送信部３３２は、サーバ受信部３３１から、情報交換開始指示に関する情報及び送信先情報を受け取ると、送信先情報に係るユーザＩＤによって識別されるユーザの端末装置２に、受け取った情報交換開始指示に関する情報交換画面の表示指示に関する情報を、サーバ通信Ｉ／Ｆ３１を介して送信する。
In addition, when the
また、サーバ送信部３３２は、サーバ受信部３３１から、入力情報、入力情報を入力したユーザのユーザＩＤ、及び送信先の端末装置２のユーザのユーザＩＤを受け取ると、送信先の端末装置２のユーザのユーザＩＤのうち、入力情報を入力したユーザのユーザＩＤ以外のユーザＩＤによって識別されるユーザの端末装置２に、受け取った入力情報を、サーバ通信Ｉ／Ｆ３１を介して送信する。
When the
（各種画面の例）
以下、図７～図１５を参照し、ユーザの端末装置２の表示装置２３に表示される各種画面の例について説明する。図７～図１５において、同一の符号が付されている複数の構成要素は、互いに等価な機能を有する構成要素である。
(Examples of various screens)
7 to 15, examples of various screens displayed on the
図７（ａ）は、配信ユーザの端末装置２（配信端末装置）の表示装置２３に表示される配信画面６００の一例を示す図である。配信画面６００には、キャラクタオブジェクト６０１を含む配信画像６０２と、応答情報表示領域６０３と、配信終了ボタン６０４と、が含まれる。図７（ｂ）は、視聴ユーザの端末装置２（視聴端末装置）の表示装置２３に表示される配信画面６１０の一例を示す図である。配信画面６１０には、キャラクタオブジェクト６１１を含む配信画像６１２と、評価ボタン６１３と、追加ボタン６１４と、コメントボタン６１５と、応答情報表示領域６１６と、視聴終了ボタン６１７と、が含まれる。
Fig. 7(a) is a diagram showing an example of a
配信ユーザの端末装置２（配信端末装置）は、配信イベントの開始に応じて、送信部２７２による配信開始指示に関する情報のサーバ装置３への送信処理を実行する。配信イベントは、表示装置２３に表示されたホーム画面等の所定の画面（図示せず）に対する配信ユーザの操作に応じて、配信ユーザによる配信イベントの開始指示が入力装置２４から端末処理装置２７に入力された場合に開始される。次に、端末装置２（配信端末装置）は、送信部２７２によるキャラクタ動画データ等の送信処理と表示処理部２７４による配信画面６００の表示処理とを同時に（並行して）実行する。
In response to the start of a distribution event, the terminal device 2 (distribution terminal device) of the distribution user executes a process of transmitting information related to a distribution start instruction to the
視聴ユーザの端末装置２（視聴端末装置）の受信部２７３によって、現在配信を行っている１人以上の配信ユーザを示す情報が受信された場合、端末装置２（視聴端末装置）の表示処理部２７４は、配信イベント選択画面（図示せず）を表示装置２３に表示する。配信イベント選択画面には、現在配信を行っている１人以上の配信ユーザを選択するための選択肢オブジェクトが含まれる。次に、端末装置２（視聴端末装置）の送信部２７２は、配信イベント選択画面に含まれる１人以上の配信ユーザの中から視聴ユーザによる入力装置２４の操作に応じて選択された配信ユーザを示す情報を入力装置２４から取得する。このように、送信部２７２は、視聴ユーザによる配信画像の視聴開始指示を入力装置２４から受け付ける。そして、送信部２７２は、選択された配信ユーザを示す情報を含む視聴開始指示に関する情報、配信画像に関する情報、及び端末記憶装置２２に記憶された視聴ユーザのユーザＩＤを、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。
When the receiving
サーバ装置３のサーバ受信部３３１は、端末装置２（視聴端末装置）から送信された視聴開始指示に関する情報、配信画像に関する情報、及び視聴ユーザのユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介して受信する。次に、サーバ装置３のサーバ送信部３３２は、視聴開始指示に関する情報とともに受信されたユーザＩＤによって識別される視聴ユーザの端末装置２（視聴端末装置）を特定する。次に、サーバ送信部３３２は、特定された端末装置２（視聴端末装置）に、視聴開始指示に関する情報とともに受信された配信画像に関する情報によって識別される配信画像を表示するための情報をサーバ通信Ｉ／Ｆ３１を介して配信する。なお、配信画像を表示するための情報は、配信ユーザのキャラクタ動画データ、又は、配信ユーザのキャラクタ動画データ及び音声データである。
The
端末装置２（視聴端末装置）の受信部２７３によってキャラクタ動画データが受信された場合、端末装置２（視聴端末装置）の表示処理部２７４は、受信されたキャラクタ動画データに基づいて配信画面６１０を表示する。端末装置２（視聴端末装置）の受信部２７３によってキャラクタ動画データ及び音声データが受信された場合、端末装置２（視聴端末装置）の表示処理部２７４は、受信されたキャラクタ動画データに基づいて配信画面６１０を表示するとともに、端末装置２（視聴端末装置）の音声出力部２７５は、音声データに基づいて生成される配信ユーザの音声をスピーカ（図示せず）から音声出力する。なお、サーバ装置３のサーバ受信部３３１は、視聴開始指示に関する情報を送信した端末装置２（視聴端末装置）の視聴ユーザの視聴ユーザＩＤを、視聴中の視聴ユーザの視聴ユーザＩＤとして登録（サーバ記憶装置３２に記憶）する。
When the character video data is received by the receiving
以下、配信画面６００に含まれる各表示要素について説明する。
The following describes each display element included in the
配信画面６００に含まれるキャラクタオブジェクト６０１は、表示処理部２７４によって生成された配信ユーザのキャラクタオブジェクトのアニメーション（動画像）である。表示処理部２７４は、生成された配信ユーザのモーションデータと、ユーザテーブルＴ１に記憶された配信ユーザのユーザＩＤに関連付けられたキャラクタオブジェクトとに基づいて、配信ユーザのキャラクタオブジェクトのアニメーションを生成する。モーションデータにフェイスモーションデータが含まれる場合、表示処理部２７４は、配信ユーザの表情の動きに同期するように、キャラクタオブジェクト６０１の表情を変化させる。モーションデータにボディモーションデータが含まれる場合、表示処理部２７４は、配信ユーザの体の動きに同期するように、キャラクタオブジェクト６０１の対応する部位を動作させる。表示処理部２７４は、生成されたキャラクタオブジェクト６０１を含む配信画像６０２を、表示装置２３に表示する。
The
配信画面６００に含まれる応答情報表示領域６０３は、配信画面６１０を表示している各端末装置２（視聴端末装置）から送信された応答情報（コメント情報、評価情報、及び／又は追加オブジェクトに関する情報）が含まれる。
The response
図７（ａ）に示される応答情報表示領域６０３の例では、「ユーザＲ」という名称の視聴ユーザの端末装置２（視聴端末装置）から「かっこいい」というコメントを示すコメント情報が送信されたことが示されている。次に、「ユーザＦ」という名称の視聴ユーザの端末装置２（視聴端末装置）から評価情報が送信されたことが示されている。そして、「ユーザＡ」という名称の視聴ユーザの端末装置２（視聴端末装置）から評価情報が直近で送信されたことが示されている。
The example of the response
配信画面６００に含まれる配信終了ボタン６０４は、配信画面６００の表示を終了して、配信画像６１２の配信を終了するためのボタンオブジェクト等のオブジェクト画像である。配信ユーザによる入力装置２４の操作によって配信終了ボタン６０４が選択されると、配信ユーザの端末装置２（配信端末装置）の表示処理部２７４は、配信画面６００の表示を終了する。そして、端末装置２（配信端末装置）の送信部２７２は、配信終了指示に関する情報を、端末記憶装置２２に記憶された配信ユーザＩＤとともに、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ受信部３３１は、配信ユーザの端末装置２（配信端末装置）から送信された配信終了指示に関する情報を受信すると、配信終了指示に関する情報とともに受信された配信ユーザＩＤをサーバ記憶装置３２から削除する。さらに、サーバ受信部３３１は、削除された配信ユーザＩＤに関連付けられた視聴ユーザＩＤをサーバ記憶装置３２から削除する。これにより、配信終了ボタン６０４を選択した配信ユーザの配信画像の配信が終了する。なお、配信を終了した配信ユーザの配信ユーザＩＤは、サーバ記憶装置３２から削除されなくてもよい。この場合、配信を終了した配信ユーザの配信ユーザＩＤは、配信終了ユーザＩＤとしてサーバ記憶装置３２に記憶されてもよい。また、配信を終了した配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤは、サーバ記憶装置３２から削除されなくてもよい。この場合、配信を終了した配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤは、視聴終了ユーザＩＤとしてサーバ記憶装置３２に記憶されてもよい。また、サーバ送信部３３２は、配信を終了した配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤにより識別される視聴ユーザの端末装置２（視聴端末装置）に、配信終了指示に関する情報を送信してもよい。この場合、配信ユーザの配信画像を表示している視聴ユーザの端末装置２（視聴端末装置）においても、配信終了指示に関する情報の受信に応じて、配信画面６１０の表示が終了する。
The distribution end button 604 included in the
以下、配信画面６１０に含まれる各表示要素について説明する。
The following describes each display element included in the
配信画面６１０に含まれるキャラクタオブジェクト６１１は、表示処理部２７４によって生成された配信ユーザのキャラクタオブジェクトのアニメーション（動画像）である。表示処理部２７４は、受信部２７３によって受信された配信ユーザのキャラクタ動画データ（モーションデータ）と、ユーザテーブルＴ１に記憶された配信ユーザのユーザＩＤに関連付けられたキャラクタオブジェクトとに基づいて、配信ユーザのキャラクタオブジェクトのアニメーションを生成する。以下、キャラクタオブジェクト６１１を含む配信画像６１２の表示処理の一例について説明する。
The
サーバ装置３は、配信ユーザの配信画像の視聴開始指示に関する情報、配信画像に関する情報（配信画像の配信ユーザＩＤ）と、及び視聴ユーザのユーザＩＤを、視聴ユーザの端末装置２（視聴端末装置）から受信した場合、受信した視聴ユーザの視聴ユーザＩＤを、受信した配信画像の配信ユーザＩＤと関連付けて記憶する。
When the
視聴ユーザの端末装置２（視聴端末装置）の受信部２７３によって受信された配信ユーザのキャラクタ動画データ（モーションデータ）に、配信ユーザのフェイスモーションデータが含まれる場合、配信ユーザの表情の動きに同期して表情が変化するキャラクタオブジェクト６１１を含む配信画像６１２が表示される。例えば、配信ユーザが音声を発した場合では、唇が動作しているキャラクタオブジェクト６１１を含む配信画像６１２が表示される。また、受信部２７３によって受信された配信ユーザのモーションデータに配信ユーザのボディモーションデータが含まれる場合、配信ユーザの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト６１１を含む配信画像６１２が表示される。配信ユーザのキャラクタ動画データ及び音声データが受信された場合、受信されたキャラクタ動画データに基づく配信画像６１２が表示処理部２７４によって表示され、受信された配信ユーザの音声データに基づいて生成される配信ユーザの音声が音声出力部２７５によって音声出力される。これにより、ユーザＡは、音声を発しているような動きをしている配信ユーザのキャラクタオブジェクト６１１を見ながら配信ユーザの音声を聞くことができる。以上により、配信画像６１２の表示処理は終了する。配信画像６１２の表示処理は、配信ユーザの出力情報を所定の時間間隔ごと（例えば２秒ごと）に受信するたびに実行される。
When the broadcast user's character video data (motion data) received by the receiving
配信画面６１０に含まれる評価ボタン６１３は、配信画面６１０に含まれるキャラクタオブジェクト６１１に関する評価情報の送信、又は、キャラクタオブジェクト６１１に係る配信ユーザに関する評価情報の送信、を指示するためのオブジェクト画像である。視聴ユーザによる入力装置２４の操作に応じて評価ボタン６１３が選択された場合、端末装置２（視聴端末装置）の送信部２７２は、「配信画面６１０に含まれるキャラクタオブジェクト６１１に対する肯定的な評価」がなされたことを示す評価情報又は「配信画面６１０に含まれるキャラクタオブジェクト６１１に係る配信ユーザに対する肯定的な評価」がなされたことを示す評価情報とともに、当該評価情報の表示指示に関する情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ受信部３３１は、受信した評価情報をサーバ記憶装置３２に記憶してもよく、また、サーバ装置３のサーバ送信部３３２は、受信された評価情報を配信ユーザの端末装置２（配信端末装置）に送信してもよい。
The
なお、評価ボタン６１３は、「配信画面６００に含まれるキャラクタオブジェクト６１１に対する否定的な評価」がなされたことを示す評価情報又は「配信画面６００に含まれるキャラクタオブジェクト６１１に係る配信ユーザに対する否定的な評価」がなされたことを示す評価情報の送信を指示するためのオブジェクト画像でもよい。また、配信画面６１０に、複数種類の評価ボタン６１３（例えば、肯定的な評価情報を送信するための評価ボタン及び否定的な評価情報を送信するための評価ボタンの２種類の評価ボタン）が含まれてもよい。
The
配信画面６１０が複数の端末装置２（視聴端末装置）において表示されている場合、各端末装置２（視聴端末装置）から送信された評価情報を集計した集計情報が配信画面６００及び／又は配信画面６１０に含まれてもよい。例えば、サーバ装置３は、複数の端末装置２（視聴端末装置）のそれぞれから送信された評価情報の数を計数し、当該評価情報の数を配信画面６００及び／又は配信画面６１０に含めるための表示情報を生成してもよい。集計情報は、評価情報の数に限らず、評価情報が送信された時間帯に関する情報等でもよい。なお、集計期間は、配信イベントの開始から現在時刻までの期間、配信画面６００の表示開始から現在時刻までの期間、配信画面６１０の配信開始から現在時刻までの期間、又は、所定の期間（例えば、２１時～２４時までの期間）等である。また、集計期間は、複数設定されてもよい。サーバ装置３によって評価情報が配信ユーザの端末装置２（配信端末装置）に送信され得る場合、評価情報の集計処理は端末装置２（配信端末装置）によって実行されてもよい。この場合、配信画面６００に集計情報を含める処理は、端末装置２（配信端末装置）によって実行されてもよく、配信画面６１０に集計情報を含める処理は、当該配信画面６１０を表示している端末装置２（視聴端末装置）によって実行されてもよい。
When the
配信画面６１０に含まれる追加ボタン６１４は、配信画面６００及び配信画面６１０に表示させる追加オブジェクトを選択するための選択画面７００の表示を指示するためのオブジェクト画像である。視聴ユーザによる入力装置２４の操作に応じて追加ボタン６１４が選択されると、当該視聴ユーザの端末装置２（視聴端末装置）において選択画面７００が表示される。選択画面７００の詳細は後述する。
The
配信画面６１０に含まれるコメントボタン６１５は、配信画面６００及び配信画面６１０に表示させるコメント（文字列）を入力するためのコメント入力ウィンドウ（図示しない）の表示を指示するためのオブジェクト画像である。視聴ユーザによる入力装置２４の操作に応じてコメントボタン６１５が選択されると、コメント入力ウィンドウ（図示しない）が配信画面６１０上に重畳表示される。
The
コメント入力ウィンドウは、コメントボタン６１５を選択した視聴ユーザの端末装置２の表示装置２３のみに表示され、コメント入力ウィンドウに入力中の文字列は、他の端末装置２の表示装置２３に表示されない。例えば、視聴ユーザの端末装置２の表示処理部２７４は、当該視聴ユーザによる入力装置２４の操作に応じてコメント入力ウィンドウに入力されたコメント（文字列）を示すコメント情報を作成する。コメント情報は応答情報の一種である。
The comment input window is displayed only on the
配信画面６１０に含まれる応答情報表示領域６１６には、視聴ユーザによる操作に応じて作成された応答情報（コメント情報、評価情報、及び／又は（後述する）追加オブジェクトに関する情報）、及び、同一の配信ユーザの配信画像６１２を視聴している他の視聴ユーザの端末装置２から送信された応答情報が含まれる。
The response
図７（ｂ）に示される応答情報表示領域６１６の例では、「ユーザＲ」という名称の視聴ユーザの端末装置２から「かっこいい」というコメント（文字列）を示すコメント情報が送信されたことが示されている。また、「ユーザＦ」という名称の視聴ユーザの端末装置２から評価情報が送信されたことが示されている。さらに、この端末装置２を操作するユーザＡの端末装置２によって作成された評価情報が送信されたことが示されている。
The example of the response
配信画面６１０を表示している端末装置２の送信部２７２は、当該端末装置２の視聴ユーザによって応答情報が作成されて送信指示が入力されると、作成された応答情報とともに応答情報の表示指示に関する情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。なお、応答情報の表示指示に関する情報とともに、端末記憶装置２２に記憶された当該視聴ユーザの視聴ユーザＩＤが送信される。
When response information is created by the viewing user of the
サーバ装置３のサーバ受信部３３１は、配信画面６１０を表示している端末装置２から送信された応答情報の表示指示に関する情報を、応答情報と視聴ユーザＩＤとともに受信する。サーバ装置３のサーバ送信部３３２は、受信した視聴ユーザＩＤに関連付けて記憶された配信ユーザＩＤを、サーバ記憶装置３２から抽出する。そして、サーバ送信部３３２は、抽出した配信ユーザＩＤによって示される配信ユーザの端末装置２及び抽出した視聴ユーザＩＤによって示される視聴ユーザの端末装置２に、受信した応答情報及び視聴ユーザＩＤを送信する。配信画面６１０を表示している各端末装置２の受信部２７３は、サーバ装置３から送信された応答情報及び視聴ユーザＩＤを端末通信Ｉ／Ｆ２１を介して受信する。配信画面６１０を表示している各端末装置２の表示処理部２７４は、受信された応答情報及び受信された視聴ユーザＩＤに関連付けられた名称に基づいて、応答情報と当該応答情報を入力した視聴ユーザの名称とを時系列に並べて応答情報表示領域６１６内に含めた配信画面６１０を表示する。なお、受信されたユーザＩＤに関連付けられた名称は、表示処理部２７４によって、ユーザテーブルＴ１が参照されることにより抽出された情報である。このように、配信画面６１０を表示している各端末装置２の表示処理部２７４は、応答情報が受信されるたびに、受信された応答情報と当該応答情報を入力した視聴ユーザの名称とを時系列に並べて応答情報表示領域６１６に表示する。
The
応答情報表示領域６０３及び／又は応答情報表示領域６１６に表示可能な応答情報の数に上限数が設定されてもよい。図７（ａ）に示される応答情報表示領域６０３及び図７（ｂ）に示される応答情報表示領域６１６の例では、表示可能な応答情報の上限数は「３」である。各端末装置２に表示される応答情報の数が、設定された上限数を超える場合、各端末装置２の表示処理部２７４は、新たに受信した３つの応答情報を順に応答情報表示領域６０３に含めた配信画面６００又は応答情報表示領域６１６に含めた配信画面６１０を表示する。
An upper limit may be set for the number of pieces of response information that can be displayed in the response
なお、応答情報表示領域６１６内の応答情報がスクロール可能に表示されてもよい。この場合、この場合、ユーザによるスワイプ操作（例えば、指が画面に接しながら当該指が画面下から上に移動する操作）に応じて、応答情報表示領域６１６に現在含まれていない応答情報が、応答情報表示領域６１６内にスクロール表示される。配信画面６００に含まれる応答情報表示領域６０３内の応答情報も、応答情報表示領域６１６と同様に、スクロール可能に表示されてもよい。
The response information in the response
視聴終了ボタン６１７は、配信画面６１０の表示を終了して、配信画像６１２の視聴を終了するためのボタンオブジェクト等のオブジェクト画像である。視聴ユーザによる入力装置２４の操作によって視聴終了ボタン６１７が選択されると、当該視聴ユーザの端末装置２の表示処理部２７４は、配信画面６１０の表示を終了する。そして、端末装置２の送信部２７２は、視聴終了指示に関する情報を、端末記憶装置２２に記憶された視聴ユーザＩＤと送信先情報ともに、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ受信部３３１は、ユーザの端末装置２から送信された視聴終了指示に関する情報と視聴ユーザＩＤを受信すると、受信した視聴ユーザＩＤと同一且つ終了させた配信画面６１０に係る配信ユーザの配信ユーザＩＤに関連付けられた視聴ユーザＩＤを、視聴終了ユーザＩＤとしてサーバ記憶装置３２に記憶する。なお、視聴終了ユーザＩＤは、終了させた配信画面６１０に係る配信ユーザの配信ユーザＩＤに関連付けて記憶される。これにより、視聴終了ボタン６１７を選択した視聴ユーザの配信画像の視聴が終了する。
The
図８（ａ）は、視聴ユーザの端末装置２（視聴端末装置）の表示装置２３に表示される選択画面７００の一例を示す図である。図８（ａ）に示されるように、選択画面７００は、配信画面６１０に重畳するように表示される。選択画面７００は、配信画面６１０の表示を一時的に中断させている間に後に表示され、選択画面７００の表示の終了に応じて配信画面６１０が再表示されてもよい。
Fig. 8(a) is a diagram showing an example of a
図８（ａ）に示される例では、８種類の追加候補オブジェクトを示す画像が選択画面７００の表示領域内に含まれる。追加候補オブジェクトを示す画像の近傍に、当該追加候補オブジェクトを示す名称が配置されてもよい。選択画面７００の表示領域内に含まれる追加候補オブジェクトの数は、８つに限らず、７つ以下でも９つ以上でもよい。端末装置２の表示処理部２７４は、複数の追加候補オブジェクトを示す画像の一部を選択画面７００の表示領域内に含めることができない場合、追加候補オブジェクトを示す画像をスクロール可能に表示してもよい。この場合、視聴ユーザによるスワイプ操作（例えば、指が画面に接しながら当該指が画面右から左に移動する操作）に応じて、選択画面７００の表示領域内に現在含まれていない追加候補オブジェクトを示す画像がスクロールされて、選択画面７００の表示領域内に表示される。
In the example shown in FIG. 8(a), images showing eight types of candidate objects for addition are included in the display area of the
追加候補オブジェクトのそれぞれは追加オブジェクトを示す。追加候補オブジェクトを示す画像は、例えば、追加オブジェクトの一種であるギフトオブジェクトを示すアイコン画像、サムネイル画像等である。なお、選択画面７００において、各追加候補オブジェクトの画像が、追加オブジェクトの種類（無料ギフト、有料ギフト、アクセサリ、応援グッズ、アピール、バラエティ、グループの所属ユーザの協力が必要な協力ギフト等）ごとに分類されて表示されてもよい。なお、有料ギフトに属する追加オブジェクトとは、ユーザが仮想的な貨幣価値の「コイン」を消費することにより購入可能な追加オブジェクトである。無料ギフトに属する追加オブジェクトとは、貨幣価値を消費することなく、代わりに配信を視聴することなどで取得できるポイントを消費すること等で入手可能な追加オブジェクトである。なお、追加オブジェクトは、視聴ユーザが、端末装置２において実行される所定のミッションをプレイして、当該所定のミッションをクリアすることで配信ユーザに送信することが可能となるオブジェクトでもよい。追加オブジェクトは、視聴ユーザが、端末装置２において実行される公知の抽選ゲームをプレイして、当該抽選ゲームで当選することで配信ユーザに送信することが可能となるオブジェクトでもよい。また、追加オブジェクトは、視聴ユーザが保有するオブジェクトとして管理（記憶）されてもよい。
Each of the additional candidate objects indicates an additional object. The image indicating the additional candidate object is, for example, an icon image, a thumbnail image, or the like indicating a gift object, which is a type of additional object. In addition, in the
視聴ユーザによる入力装置２４の操作に応じて追加候補オブジェクトが選択されると、入力装置２４は、追加指示を、選択された追加候補オブジェクトに対応するオブジェクトＩＤとともに端末処理装置２７に入力する。以下、追加指示に応じた追加処理の一例について説明する。
When a candidate object for addition is selected in response to an operation of the
まず、表示処理部２７４は、入力された追加指示及びオブジェクトＩＤを取得すると、オブジェクトテーブルＴ２を参照して、取得したオブジェクトＩＤに関連付けられた追加オブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出する。次に、表示処理部２７４は、配信ユーザのキャラクタオブジェクト６１１を含む配信画像６１２に、抽出した静止画像又は動画像を含めた新たな配信画像６１２を生成する。
First, when the
次に、送信部２７２は、入力された追加指示及びオブジェクトＩＤを取得すると、追加指示を示す情報を、取得したオブジェクトＩＤと端末記憶装置２２に記憶された視聴ユーザの視聴ユーザＩＤと配信画像に関する情報（配信画像の配信ユーザＩＤ）とともに、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。次に、サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、追加指示を示す情報とオブジェクトＩＤと視聴ユーザＩＤと配信画像に関する情報（配信画像の配信ユーザＩＤ）とを受信する。なお、配信画像に関する情報（配信画像の配信ユーザＩＤ）が送信されなかった場合、サーバ装置３のサーバ送信部３３２は、受信した視聴ユーザＩＤに関連付けて記憶された配信ユーザＩＤを、サーバ記憶装置３２から抽出する。サーバ送信部３３２は、配信画像に関する情報（配信画像の配信ユーザＩＤ）又は抽出した配信ユーザＩＤに関連付けられた視聴ユーザＩＤのうち、受信した視聴ユーザＩＤ以外の視聴ユーザＩＤを抽出する。そして、サーバ送信部３３２は、抽出した視聴ユーザＩＤによって示される視聴ユーザの端末装置２に、受信した追加指示を示す情報とオブジェクトＩＤと受信したユーザＩＤ（追加指示をした視聴ユーザのユーザＩＤ）を、サーバ通信Ｉ／Ｆ３１を介して送信する。また、サーバ送信部３３２は、配信画像に関する情報（配信画像の配信ユーザＩＤ）又は抽出した配信ユーザＩＤによって示される配信ユーザの端末装置２に、受信した追加指示を示す情報とオブジェクトＩＤと受信した視聴ユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介して送信する。
Next, when the
そして、視聴ユーザ（追加指示をした視聴ユーザを除く）及び配信ユーザの端末装置２の受信部２７３は、端末通信Ｉ／Ｆ２１を介して、追加指示を示す情報と追加指示をした視聴ユーザのユーザＩＤとオブジェクトＩＤとを受信する。次に、端末装置２の表示処理部２７４は、オブジェクトテーブルＴ２を参照して、受信したオブジェクトＩＤに関連付けられた追加オブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出する。次に、表示処理部２７４は、配信ユーザのキャラクタオブジェクト６０１、６１１を含む配信画像６０２、６１２に、抽出した静止画像又は動画像を含めた新たな配信画像６１２を生成する。なお、新たな配信画像６０２、６１２には、追加指示をした視聴ユーザの名称及び受信したオブジェクトＩＤに関連付けられた追加オブジェクトの名称を含む応答情報が新たに表示されてもよい。以上により、追加処理は終了する。
Then, the receiving
図８（ｂ）は、端末装置２の表示装置２３に表示される配信画面７１０の他の一例を示す図である。配信画面７１０には、配信画面６１０と同様に、キャラクタオブジェクト６１１を含む配信画像６１２と、評価ボタン６１３と、追加ボタン６１４と、コメントボタン６１５と、応答情報表示領域６１６と、視聴終了ボタン６１７が含まれる。
FIG. 8(b) is a diagram showing another example of a
配信画面７１０には、配信画面６１０と異なり、追加オブジェクト７１１及び追加オブジェクト７１２が含まれる。追加オブジェクト７１１及び追加オブジェクト７１２は、ともに追加オブジェクトを示す静止画像又は動画像である。以下、追加オブジェクト７１２の追加指示をした視聴ユーザがユーザＡである場合を例に、追加オブジェクト７１２の表示処理の一例について説明する。
Unlike
ユーザＡによる入力装置２４の操作に応じて、（追加オブジェクト７１２に対応する）追加候補オブジェクトが選択されると、ユーザＡの端末装置２の入力装置２４は、追加指示を、選択された追加候補オブジェクトに対応するオブジェクトＩＤとともに端末処理装置２７に入力する。ユーザＡの端末装置２の表示処理部２７４は、入力された追加指示及びオブジェクトＩＤを取得すると、オブジェクトテーブルＴ２を参照して、取得したオブジェクトＩＤに関連付けられた追加オブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出する。そして、ユーザＡの端末装置２の表示処理部２７４は、配信ユーザのキャラクタオブジェクト６１１を含む配信画像６１２に、抽出した静止画像又は動画像に基づく追加オブジェクト７１２を含めた新たな配信画像６１２を生成する。
When a candidate object for addition (corresponding to the additional object 712) is selected in response to user A's operation of the
ユーザＡの端末装置２の送信部２７２は、追加オブジェクト７１２に係る追加指示を示す情報と取得したオブジェクトＩＤと端末記憶装置２２に記憶されたユーザＡの視聴ユーザＩＤとを、サーバ装置３経由で、視聴ユーザ（追加指示をした視聴ユーザを除く）及び配信ユーザの端末装置２に送信する。追加オブジェクト７１２に係る追加指示を示す情報とユーザＡの視聴ユーザＩＤとオブジェクトＩＤとが、視聴ユーザ（ユーザＡを除く）及び配信ユーザの端末装置２の受信部２７３によって受信されると、視聴ユーザ（ユーザＡを除く）及び配信ユーザの端末装置２の表示処理部２７４は、オブジェクトテーブルＴ２を参照して、受信したオブジェクトＩＤに関連付けられた追加オブジェクトの静止画像又は動画像（画像情報）を端末記憶装置２２から抽出する。そして、当該端末装置２の表示処理部２７４は、配信ユーザのキャラクタオブジェクト６１１を含む配信画像６１２に、抽出した静止画像又は動画像に基づく新たな配信画像６１２を生成する。以上により、追加オブジェクト７１２の表示処理は終了する。
The transmitting
配信画面に追加される追加オブジェクトは、所定の変化条件が満たされると、配信画面の表示中に、形状、サイズ、配置、色、輝度、及び／又はデザインが変化してもよい。なお、所定の変化条件は、追加オブジェクトの追加指示を示す情報に関する条件であってもよい。例えば、所定の変化条件は、同じ配信画面を視聴している全視聴ユーザのうちのいずれかの視聴ユーザによる追加指示のタイミングに係る条件が満たされたこと、及び／又は、同じ配信画面を視聴している全視聴ユーザのうちの少なくとも２の視聴ユーザが互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたことでもよい。追加指示のタイミングに係る条件が満たされることとは、例えば、複数の視聴ユーザによる追加指示のタイミングの差分時間が所定期間内であること等である。視聴ユーザによる追加指示に応じて、サーバ装置３によって当該視聴ユーザに所定のポイントが付与される。所定の変化条件が満たされた場合、所定の変化条件を満たす追加指示を行った視聴ユーザに、所定のポイントよりも多いポイントが付与されてもよい。所定の変化条件は、所定の関係を有する複数の視聴ユーザのいずれかによる追加指示のタイミングに係る条件が満たされたこと、及び／又は、所定の関係を有する複数の視聴ユーザが互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたことでもよい。この場合、所定の関係を有さない視聴ユーザによる追加指示のタイミングに係る条件が満たされたとしても、所定の変化条件は満たされない。
When a predetermined change condition is satisfied, the shape, size, arrangement, color, brightness, and/or design of the additional object added to the distribution screen may change during the display of the distribution screen. The predetermined change condition may be a condition related to information indicating an instruction to add an additional object. For example, the predetermined change condition may be that a condition related to the timing of an instruction to add by any one of all viewing users viewing the same distribution screen is satisfied, and/or that at least two viewing users among all viewing users viewing the same distribution screen have issued an instruction to add multiple specific types of additional objects that are different from each other. For example, the condition related to the timing of the instruction to add is satisfied when the difference in the timing of the instruction to add by multiple viewing users is within a predetermined period. In response to the instruction to add by the viewing user, the
複数の視聴ユーザにおける所定の関係とは、例えば、複数の視聴ユーザのうちの一の視聴ユーザが複数の視聴ユーザのうちの他の視聴ユーザの相互フォロワーであることである。なお、一のユーザが他のユーザをフォローし且つ他のユーザも一のユーザをフォローしている（一のユーザと他のユーザが相互フォローしている）場合、一のユーザと他のユーザは相互フォロワーとなる。また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザのうちの一の視聴ユーザが、複数の視聴ユーザのうちの他の視聴ユーザと相互フォローしている所定の視聴ユーザと相互フォローの関係にあることでもよい。 A specified relationship among multiple viewing users means, for example, that one viewing user among the multiple viewing users is a mutual follower of another viewing user among the multiple viewing users. Note that when one user follows another user and the other user also follows the one user (the one user and the other user are mutually following each other), the one user and the other user are mutual followers. Also, a specified relationship among multiple viewing users may mean that one viewing user among the multiple viewing users is in a mutual follow relationship with a specified viewing user who is mutually following another viewing user among the multiple viewing users.
また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザがフレンド関係にあることでもよい。また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザのうちの一の視聴ユーザの端末装置に、複数の視聴ユーザのうちの他の視聴ユーザの特定情報（電話番号、メールアドレス、所定のＩＤ（identification）等）が記憶されていることでもよい。また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザが同一の情報交換サービスを利用して情報交換を実施した回数が、所定回数以上である関係でもよい。また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザのそれぞれが同一の及び／又は異なる情報交換サービスに参加した回数が、ともに所定回数以上である関係でもよい。 The specified relationship between multiple viewing users may be that the multiple viewing users are friends. The specified relationship between multiple viewing users may be that a terminal device of one of the multiple viewing users stores specific information (such as a phone number, email address, or a specified ID (identification)) of another of the multiple viewing users. The specified relationship between multiple viewing users may be that the number of times that multiple viewing users have exchanged information using the same information exchange service is equal to or greater than a specified number. The specified relationship between multiple viewing users may be that the number of times that each of the multiple viewing users has participated in the same and/or different information exchange services is equal to or greater than a specified number.
また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザのうちの一の視聴ユーザが配信ユーザとして配信画像を配信した場合において、当該複数の視聴ユーザのうちの他の視聴ユーザの操作に関する関係でもよい。ここで、他の視聴ユーザの操作に関する関係とは、当該一の視聴ユーザによって配信された配信画像を当該他の視聴ユーザが視聴した回数が所定の視聴回数以上であるという関係である。また、他の視聴ユーザの操作に関する関係とは、当該一の視聴ユーザによって配信された配信画像において、当該他の視聴ユーザによるコメント情報の送信が所定の送信回数以上であるという関係でもよい。 Furthermore, the specified relationship among multiple viewing users may be a relationship regarding the operations of other viewing users among the multiple viewing users when one of the multiple viewing users distributes a distribution image as a distribution user. Here, the relationship regarding the operations of the other viewing users is a relationship in which the number of times the other viewing users have viewed the distribution image distributed by the one viewing user is equal to or greater than a specified number of views. Furthermore, the relationship regarding the operations of the other viewing users may be a relationship in which the other viewing users have sent comment information on the distribution image distributed by the one viewing user equal to or greater than a specified number of transmissions.
また、複数の視聴ユーザにおける所定の関係とは、複数の視聴ユーザのそれぞれが参加している所定のイベントに関する関係でもよい。ここで、所定のイベントに関する関係とは、複数の視聴ユーザのそれぞれが、現在同一のイベントに参加しているという関係である。また、所定のイベントに関する関係とは、複数の視聴ユーザのそれぞれが、過去に同一のイベントに参加していたという関係でもよい。また、所定のイベントに関する関係とは、複数の視聴ユーザのうちの一以上の視聴ユーザが参加しているイベントに、複数の視聴ユーザのうちの他の視聴ユーザが、過去に参加していたという関係でもよい。 The specified relationship between multiple viewing users may be a relationship regarding a specified event in which each of the multiple viewing users is participating. Here, the relationship regarding a specified event is a relationship in which each of the multiple viewing users is currently participating in the same event. The relationship regarding a specified event may be a relationship in which each of the multiple viewing users has participated in the same event in the past. The relationship regarding a specified event may be a relationship in which another viewing user of the multiple viewing users has participated in an event in which one or more viewing users of the multiple viewing users are participating in the past.
配信ユーザによる入力装置２４の操作によって配信画像６０２の変更ボタン（図示せず）が選択された場合、選択画面８００が表示される。例えば、変更ボタンは、配信画面６００に含まれる。変更ボタンは、表示装置２３に表示されたホーム画面等の所定の画面に含まれるものでもよい。図９（ａ）は、配信ユーザの端末装置２（配信端末装置）の表示装置２３に表示される選択画面８００の一例を示す図である。図９（ａ）に示される選択画面８００は、配信画面６００に重畳して表示される。選択画面８００は、配信画面６００の表示を終了させた後に表示されてもよい。
When a change button (not shown) of the
選択画面８００には、複数の配置箇所のそれぞれを示す複数の配置候補オブジェクト８０１、及び、キャラクタオブジェクト６０１に新たに装着させる装着オブジェクトの候補となる装着候補オブジェクト８０２が含まれる。配信ユーザによる入力装置２４の操作によって複数の配置候補オブジェクト８０１のいずれかが選択されると、選択された配置候補オブジェクト８０１に対応する配置候補に関連付けられた配信ユーザの保有オブジェクトのオブジェクトＩＤに対応する装着候補オブジェクト８０２が選択画面８００に表示される。配信ユーザによる入力装置２４の操作によって複数の装着候補オブジェクト８０２のいずれかが選択されると、入力装置２４は、変更指示を端末処理装置２７に入力し、表示処理部２７４は、上述の変更処理を実行する。そして、表示処理部２７４は、新たな装着オブジェクトを装着したキャラクタオブジェクト８１１を含む配信画像８１２を含む配信画面８１０（図９（ｂ））を表示する。
The
図９（ｂ）は、配信ユーザの端末装置２（配信端末装置）の表示装置２３に表示される配信画面８１０の他の一例を示す図である。配信画面８１０には、新たな装着オブジェクトを装着した配信ユーザのキャラクタオブジェクト８１１を含む配信画像８１２が少なくとも含まれる。図９（ｂ）に示される例では、配信ユーザのキャラクタオブジェクト６０１が着用している衣服が変更されたキャラクタオブジェクト８１１が表示される。
Figure 9(b) is a diagram showing another example of a
動画配信サービスを開始した配信ユーザによって入力された変更指示に関する情報は、サーバ装置３を経由して、当該配信ユーザの配信画像を視聴している視聴ユーザの端末装置２（視聴端末装置）に送信される。これにより、配信ユーザによって入力された変更指示に応じた変更処理が、視聴ユーザの端末装置２（視聴端末装置）においても実行される。これにより、新たな装着オブジェクトが装着された配信ユーザのキャラクタオブジェクトを含む配信画像が視聴ユーザの端末装置２（視聴端末装置）に表示される。
Information regarding the change instruction input by a broadcasting user who has started a video broadcasting service is transmitted via the
図８及び図９を参照して説明したように、視聴ユーザによる追加指示に応じて、ユーザ配信ユーザのキャラクタオブジェクトを含む配信画像の少なくとも一部が変更され、配信ユーザによる変更指示に応じて、配信ユーザのキャラクタオブジェクトの少なくとも一部が変更される。これにより、配信イベント中に、視聴ユーザが飽きてしまうこと防止し、動画配信サービスを継続利用しようとするユーザの意欲を向上させることが可能となる。 As described with reference to Figures 8 and 9, at least a portion of the broadcast image including the broadcast user's character object is changed in response to an additional instruction from the viewing user, and at least a portion of the broadcast user's character object is changed in response to a change instruction from the broadcast user. This makes it possible to prevent the viewing user from becoming bored during the broadcast event and to increase the user's motivation to continue using the video broadcast service.
また、従来の情報処理システムでは、配信ユーザは、キャラクタオブジェクトを介して視聴ユーザへの配信イベントを開始した後に、キャラクタオブジェクトを含む配信画像を変更しようとするためには、配信イベントを中断しなければならなかった。そして、配信イベントが中断された後に、キャラクタオブジェクトの外観及び／又はキャラクタオブジェクトを含む配信画像内の背景等の画像を変更するための機能を起動させる必要があった。そして、配信ユーザは、変更機能を用いてキャラクタオブジェクト及び／又は配信画像を変更した後に、配信イベントを再開するという煩雑な手続きを行う必要があった。これに対し、本実施形態の情報処理システム１は、配信イベントを中断して配信ユーザのキャラクタオブジェクトの再設定を行うことなく、配信ユーザのキャラクタオブジェクトの変更を可能とする。これにより、本実施形態の情報処理システム１では、配信イベント中に配信ユーザのキャラクタオブジェクトを変更させるためのユーザインターフェースが複雑とならないため、従来の情報処理システムより、ユーザビリティを向上させることが可能となる。また、本実施形態の情報処理システム１では、配信イベントを中断することなくユーザのキャラクタオブジェクトの変更が可能であるため、サーバ装置３及び端末装置２間の通信回数及び通信量を低減させることができる。このように、本実施形態の情報処理システム１では、サーバ装置３及び端末装置２間の通信を改善することが可能となる。
In addition, in the conventional information processing system, after starting a distribution event to a viewing user via a character object, the distribution user had to interrupt the distribution event in order to change the distribution image including the character object. Then, after the distribution event was interrupted, it was necessary to activate a function for changing the appearance of the character object and/or the image of the background in the distribution image including the character object. Then, the distribution user had to carry out a cumbersome procedure of using the change function to change the character object and/or the distribution image, and then resuming the distribution event. In contrast, the
図１０（ａ）は、ユーザの端末装置２の表示装置２３に表示されるグループ設定画面９００の一例を示す図である。グループ設定画面９００は、表示装置２３に表示されたホーム画面等の所定の画面に対するユーザの操作に応じて表示される。グループ設定画面９００を表示可能な端末装置２を操作できるユーザは、配信ユーザ又は視聴ユーザである。グループ設定画面９００を表示可能な端末装置２を操作できるユーザは、配信ユーザ及び視聴ユーザに限定されず、サーバ装置３によって提供されるサービスを受けることが可能なユーザであれば、どのようなユーザでもよい。グループ設定画面９００に対するユーザの操作に応じて、新たな情報交換グループが設定される。
FIG. 10(a) is a diagram showing an example of a
図１０（ａ）に示されるように、グループ設定画面９００には、候補表示領域９０１、選択オブジェクト９０２と、開始ボタン９０３と、が含まれる。候補表示領域９０１には、情報交換グループに所属可能な一又は複数の候補ユーザを示す情報が表示される。例えば、情報交換グループに所属可能な一又は複数の候補ユーザは、グループ設定画面９００を表示した端末装置２を操作するユーザの相互フォロワーであるユーザである。または、情報交換グループに所属可能な一又は複数の候補ユーザは、グループ設定画面９００を表示した端末装置２を操作するユーザとフレンド関係にあるユーザでもよい。情報交換グループに所属可能な一又は複数の候補ユーザは、上述に限らず、グループ設定画面９００を表示した端末装置２を操作するユーザと所定の関係を有するユーザであればどのようなユーザでもよい。図１０（ａ）に示される例では、ユーザの端末装置２の表示処理部２７４は、情報交換グループに所属可能な複数のユーザのキャラクタオブジェクトのそれぞれサムネイル画像及び名称を、候補ユーザを示す情報として候補表示領域９０１に表示する。
10(a), the
選択オブジェクト９０２は、候補表示領域９０１に表示された各候補ユーザを選択するための操作オブジェクトである。図１０（ａ）に示される例では、ユーザの端末装置２の表示処理部２７４は、各候補ユーザに対応するチェックボックスオブジェクトを選択オブジェクト９０２として表示する。例えば、ユーザの入力装置２４の操作によって選択オブジェクト９０２が選択されると、選択オブジェクト９０２が「チェック」マークを含む表示となる。この場合、「チェック」マークを含む表示となっている選択オブジェクト９０２に対応する候補ユーザが選択された状態となる。また、「チェック」マークを含む表示となっている選択オブジェクト９０２がユーザの入力装置２４の操作によって選択されると、選択オブジェクト９０２が「チェック」マークを含まない表示となる。この場合、「チェック」マークを含まない表示となっている選択オブジェクト９０２に対応する候補ユーザが選択されていない状態となる。選択オブジェクト９０２のそれぞれには、対応する候補ユーザのユーザＩＤが関連付けられている。
The
開始ボタン９０３は、ユーザが新たに情報交換グループを作成し、新たに作成した情報交換グループに所属する他ユーザとの情報交換を開始するためのボタンオブジェクト等である。ユーザによる入力装置２４の操作によって開始ボタン９０３が選択されると、端末装置２を操作するユーザと選択オブジェクト９０２によって選択された状態の候補ユーザとが所属ユーザとして所属する新たな情報交換グループが作成される。例えば、ユーザの端末装置２の表示処理部２７４は、端末記憶装置２２に記憶されたユーザのユーザＩＤと、選択オブジェクト９０２によって選択された状態の選択オブジェクト９０２に関連付けられた候補ユーザのユーザＩＤと、を特定する。そして、表示処理部２７４は、新たに作成したグループＩＤに、特定されたユーザのユーザＩＤ及び候補ユーザのユーザＩＤを、所属ユーザとして関連付けてグループテーブルＴ３に記憶する。この際、表示処理部２７４は、新たに作成したグループＩＤに対して、自動的に作成した情報交換グループの名称を対応付けてもよく、又は、ユーザによって入力された情報交換グループの名称を対応付けてもよい。開始ボタン９０３の選択に応じて新たな情報交換グループが作成されると、表示処理部２７４は、新たな情報交換グループの所属ユーザによる情報交換画面１０００を表示する。
The
図１０（ｂ）は、ユーザの端末装置２の表示装置２３に表示される情報交換開始画面９１０の一例を示す図である。情報交換開始画面９１０は、表示装置２３に表示されたホーム画面等の所定の画面に対するユーザの操作に応じて表示される。情報交換開始画面９１０を表示可能な端末装置２を操作できるユーザは、配信ユーザ又は視聴ユーザである。情報交換開始画面９１０を表示可能な端末装置２を操作できるユーザは、配信ユーザ及び視聴ユーザに限定されず、サーバ装置３によって提供されるサービスを受けることが可能なユーザであれば、どのようなユーザでもよい。情報交換開始画面９１０に対するユーザの操作に応じて、選択された情報交換グループによる情報交換が開始される。
FIG. 10(b) is a diagram showing an example of an information
図１０（ｂ）に示されるように、情報交換開始画面９１０には、候補グループ領域９１１が含まれる。候補グループ領域９１１には、情報交換開始画面９１０を表示する端末装置２を操作するユーザが所属している情報交換グループを示す情報が表示される。情報交換グループを示す情報は、ユーザによって選択可能であり、情報交換グループを示す情報には、対応する情報交換グループのグループＩＤが関連付けられている。
As shown in FIG. 10(b), the information
ユーザによる入力装置２４の操作によって、情報交換開始画面９１０に含まれるいずれかの情報交換グループを示す情報が選択されると、選択された情報交換グループを示す情報に関連付けられているグループＩＤが特定される。表示処理部２７４は、特定されたグループＩＤに関連付けられたユーザＩＤによって識別される各ユーザ（特定されたグループＩＤによって示される情報交換グループに所属する各ユーザ）による情報交換画面１０００を表示する。
When the user operates the
図１１（ａ）は、ユーザの端末装置２の表示装置２３に表示される情報交換画面１０００の一例を示す図である。情報交換画面１０００では、グループ設定画面９００に含まれる開始ボタン９０３がユーザによって選択されたことにより新たに設定された情報交換グループに所属する複数のユーザによる情報交換が行われる。または、情報交換画面１０００では、情報交換開始画面９１０においてユーザによって選択された情報交換グループに所属する複数のユーザによる情報交換が行われる。以下、情報交換を行う情報交換グループに所属する複数のユーザのうち、情報交換画面１０００を表示している端末装置２を操作するユーザ以外のユーザを、他ユーザと称する場合がある。情報交換画面１０００（及び後述する各情報交換画面）は、テキストチャット等を実現する所謂チャット画面等によって実現されてもよい。
11(a) is a diagram showing an example of an
情報交換画面１０００には、他ユーザ入力情報１００１と、他ユーザ情報１００２と、テキスト入力オブジェクト１００３と、候補表示ボタン１００４と、ユーザ入力情報１００５と、が含まれる。他ユーザ入力情報１００１は、他ユーザによって入力された入力情報である。他ユーザ情報１００２は、他ユーザ入力情報１００１ごとに対応付けられて表示される他ユーザを示す情報（キャラクタオブジェクトのアイコン画像等）である。テキスト入力オブジェクト１００３は、入力情報としてのテキスト情報をユーザが入力するための操作オブジェクトである。候補表示ボタン１００４は、キャラクタ関連画像に対応する候補情報１１０１を、ユーザが選択できるように表示させるための操作オブジェクトである。ユーザ入力情報１００５は、ユーザによって入力された入力情報である。
The
他ユーザの端末装置２から送信された他ユーザの入力情報がサーバ装置３を経由して受信される度に、表示処理部２７４は、情報交換画面１０００の他ユーザ表示領域に、受信された他ユーザの入力情報を示す他ユーザ入力情報１００１を表示する。例えば、他ユーザ表示領域は、情報交換画面１０００の左辺近傍領域であり、他ユーザ入力情報１００１は、他ユーザ表示領域に、最も古いものから順に画面の上から下に向けて時系列に表示される。ユーザの入力情報が、テキスト入力オブジェクト１００３に対するユーザの入力操作によって入力される度に、表示処理部２７４は、情報交換画面１０００のユーザ表示領域に、入力されたユーザの入力情報を示すユーザ入力情報１００５を表示する。例えば、ユーザ表示領域は、情報交換画面１０００の右辺近傍領域であり、ユーザ入力情報１００５は、ユーザ表示領域に、最も古いものから順に画面の上から下に向けて時系列に表示される。
Every time the input information of another user transmitted from the
ユーザの端末装置２の送信部２７２は、新たに設定された情報交換グループに係る情報交換画面１０００が表示された場合、新たな情報交換グループに関する情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。新たな情報交換グループに関する情報は、新たな情報交換グループのグループＩＤ、新たな情報交換グループの名称、及び新たな情報交換グループに所属するユーザのユーザＩＤである。
When the
サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、情報交換グループに関する情報を受信する。サーバ受信部３３１は、受信した新たな情報交換グループに関する情報をサーバ記憶装置３２に記憶する。例えば、サーバ受信部３３１は、新たな情報交換グループのグループＩＤに関連付けて、新たな情報交換グループの名称、及び新たな情報交換グループに所属するユーザのユーザＩＤをサーバ記憶装置３２に記憶する。
The
サーバ装置３のサーバ送信部３３２は、新たな情報交換グループに関する情報を、新たな情報交換グループに所属するユーザのうちの、新たな情報交換グループに関する情報を送信したユーザ以外のユーザのユーザＩＤによって示される他ユーザの端末装置２にサーバ通信Ｉ／Ｆ３１を介して送信する。
The
他ユーザの端末装置２の受信部２７３は、サーバ装置３経由でユーザの端末装置２から送信された新たな情報交換グループに関する情報を受信すると、新たな情報交換グループのグループＩＤに関連付けて、新たな情報交換グループの名称、及び新たな情報交換グループに所属するユーザのユーザＩＤを、グループテーブルＴ３に記憶する。なお、他ユーザの端末装置２の表示処理部２７４は、新たな情報交換グループに関する情報を受信すると、自動的に新たな情報交換グループに係る情報交換画面１０００を表示してもよい。
When the receiving
情報交換画面１０００において、ユーザの操作によってテキスト入力オブジェクト１００３に新たなテキスト情報が入力情報として入力されると、表示処理部２７４は、入力された新たなテキスト情報を、ユーザ入力情報１００５としてユーザ表示領域に表示する。情報交換画面１０００において、ユーザの操作によって画像情報又は動画情報等が入力情報として入力されると、表示処理部２７４は、入力された画像情報又は動画情報等を、ユーザ入力情報１００５としてユーザ表示領域に表示する。入力情報として入力される情報は、テキスト情報、画像情報、及び動画情報に限定されず、所定のアプリケーションプログラムによって利用可能な形式の情報でもよい。
When new text information is input as input information to the
他ユーザの端末装置２によって表示された情報交換画面１０００において他ユーザの操作によって入力された入力情報が、他ユーザのユーザＩＤとともに、サーバ装置３経由で受信された場合、受信された入力情報が、他ユーザ入力情報として他ユーザ表示領域に表示される。この場合、受信された他ユーザのユーザＩＤに関連する画像等が他ユーザ情報１００２として表示される。
When input information entered by another user's operation on the
ユーザの端末装置２の送信部２７２は、入力された新たなテキスト情報及びユーザのユーザＩＤを、サーバ装置３を経由して他ユーザの端末装置２に送信する。これにより、テキスト情報を入力したユーザ以外の所属ユーザである他ユーザの端末装置２に表示される情報交換画面１０００においても、入力された新たなテキスト情報が他ユーザ入力情報１００１として表示される。
The
情報交換画面１０００において、ユーザによる入力装置２４の操作によって候補表示ボタン１００４が選択された場合、入力装置２４は、キャラクタ関連画像を選択するための候補情報の表示指示を端末処理装置２７に送出する。次に、表示処理部２７４は、ユーザのキャラクタオブジェクトを含むキャラクタ関連画像が過去に生成されて端末記憶装置２２に記憶されているか否かを判定する。ユーザのキャラクタオブジェクトを含むキャラクタ関連画像が記憶されていない場合、表示処理部２７４は、キャラクタ関連画像の生成を指示するための生成指示オブジェクト１００６を表示する。また、ユーザのキャラクタオブジェクトを含むキャラクタ関連画像が記憶されている場合、例えば、表示処理部２７４は、記憶されている４種類の候補情報１１０１を含む情報交換画面１１００を表示する。
When the user operates the
図１１（ｂ）は、ユーザの端末装置２の表示装置２３に表示される情報交換画面１０１０の一例を示す図である。情報交換画面１０１０は、情報交換画面１０００に含まれる候補表示ボタン１００４がユーザによって選択されたときに、ユーザのキャラクタオブジェクトを含むキャラクタ関連画像が端末記憶装置２２に記憶されていないと判定された場合に表示される画面である。
Figure 11 (b) is a diagram showing an example of an
情報交換画面１０１０には、情報交換画面１０００と同様に、他ユーザ入力情報１００１と、他ユーザ情報１００２と、テキスト入力オブジェクト１００３と、候補表示ボタン１００４と、ユーザ入力情報１００５と、が含まれる。さらに、情報交換画面１０１０には、生成指示オブジェクト１００６が含まれる。図１１（ｂ）に示される例では、情報交換画面１０１０において、生成指示オブジェクト１００６とともに、キャラクタ関連画像の生成を促す情報が表示される。
The
情報交換画面１０１０において、ユーザによる入力装置２４の操作によって生成指示オブジェクト１００６が選択された場合、入力装置２４は、キャラクタ関連画像の生成指示を端末処理装置２７に送出する。生成部２７１は、入力装置２４からキャラクタ関連画像の生成指示を取得した場合、キャラクタ関連画像の生成処理を実行する。以下、キャラクタ関連画像の生成処理の一例について説明する。
When a
まず、生成部２７１は、端末記憶装置２２に記憶されたユーザＩＤに関連付けられたキャラクタオブジェクトのモデルＩＤと、使用オブジェクトのオブジェクトＩＤとをユーザテーブルＴ１から抽出する。次に、生成部２７１は、抽出したモデルＩＤに関連付けられたモデルデータと、抽出した使用オブジェクトのオブジェクトＩＤに関連付けられた画像情報及び配置箇所を端末記憶装置２２から読み出す。次に、生成部２７１は、キャラクタ関連画像用のモーションデータ及びキャラクタ関連画像用のオブジェクトデータを端末記憶装置２２から読み出す。次に、生成部２７１は、読み出したモデルデータと、使用オブジェクトの画像情報及び配置箇所と、キャラクタ関連画像用のモーションデータ及びキャラクタ関連画像用のオブジェクトデータとに基づいて、所定の動作及び表情のキャラクタオブジェクトと、背景、文字等のオブジェクトデータとを含むキャラクタ関連画像を生成する。そして、生成部２７１は、生成したキャラクタ関連画像に、当該キャラクタ関連画像を一意に識別するための関連画像ＩＤを関連付けて端末記憶装置２２に記憶する。また、生成部２７１は、生成したキャラクタ関連画像を示す候補情報を生成し、生成した候補情報に、キャラクタ関連画像を識別するための関連画像ＩＤを関連付けて端末記憶装置２２に記憶する。また、生成部２７１は、キャラクタ関連画像の生成時における使用オブジェクトのオブジェクトＩＤを関連画像ＩＤに関連付けて端末記憶装置２２に記憶し、キャラクタ関連画像の生成処理が終了する。なお、生成されたキャラクタ関連画像の一部又は全部は、情報交換サービスにおいて使用できないように設定されてもよい。この場合、情報交換サービスにおいて使用可能なキャラクタ関連画像によって構成される使用可能グループが設定されてもよい。そして、情報交換サービスにおいて使用可能な新たなキャラクタ関連画像が生成されると、当該新たなキャラクタ関連画像は使用可能グループに含まれるように設定される。
First, the
以下、キャラクタ関連画像の送信処理の一例について説明する。まず、キャラクタ関連画像を生成した端末装置２の送信部２７２は、端末記憶装置２２に記憶された、関連画像ＩＤに関連付けられたキャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤを、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。なお、関連画像ＩＤに関連付けられたキャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤとともに、端末記憶装置２２に記憶されたユーザＩＤが、サーバ装置３に送信される。サーバ装置３のサーバ受信部３３１は、関連画像ＩＤに関連付けられたキャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤと、ユーザＩＤとを受信すると、ユーザＩＤに関連画像ＩＤを関連付けて記憶するとともに、関連画像ＩＤに関連付けて、キャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤをサーバ記憶装置３２に記憶する。そして、サーバ送信部３３２は、キャラクタ関連画像等を送信した端末装置２のユーザが所属する情報交換グループに所属する他のユーザの端末装置２に、受信された、ユーザのユーザＩＤに関連付けられた関連画像ＩＤと、当該関連画像ＩＤに関連付けられたキャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤを、サーバ通信Ｉ／Ｆ３１を介して送信する。他のユーザの端末装置２は、送信された、ユーザＩＤに関連付けられた関連画像ＩＤと、当該関連画像ＩＤに関連付けられたキャラクタ関連画像、候補情報、及び使用オブジェクトのオブジェクトＩＤを端末記憶装置２２に記憶する。以上により、キャラクタ関連画像の送信処理が終了する。なお、キャラクタ関連画像を生成した端末装置２の送信部２７２は、端末記憶装置２２に記憶された、関連画像ＩＤに関連付けられた候補情報及び使用オブジェクトのオブジェクトＩＤをサーバ装置３に送信しなくてもよい。また、情報交換グループに所属する他のユーザの端末装置２に、同じ情報交換グループに所属する一のユーザのユーザＩＤに関連付けられた、候補情報及び使用オブジェクトのオブジェクトＩＤが送信されなくてもよい。また、情報交換グループに所属する他のユーザの端末装置２に、同じ情報交換グループに所属する一のユーザのユーザＩＤに関連付けられたキャラクタ関連画像が送信されるタイミングは、一のユーザが、キャラクタ関連画像を入力情報として選択したタイミングでもよい。キャラクタ関連画像の送信処理は、キャラクタ関連画像の生成処理及び／又は追加生成処理が実行されるたびに実行されてもよい。
An example of a character-related image transmission process is described below. First, the
表示処理部２７４は、生成部２７１によって生成された候補情報を、端末記憶装置２２から読み出して表示する。図１２（ａ）は、ユーザの端末装置２の表示装置２３に表示される情報交換画面１１００の一例を示す図である。情報交換画面１１００は、情報交換画面１０１０に含まれる生成指示オブジェクト１００６がユーザによって選択されたときに表示される画面である。
The
情報交換画面１１００には、情報交換画面１０００と同様に、他ユーザ入力情報１００１と、他ユーザ情報１００２と、テキスト入力オブジェクト１００３と、候補表示ボタン１００４と、ユーザ入力情報１００５と、が含まれる。さらに、情報交換画面１０１０には、生成された４種類の候補情報１１０１及び追加生成ボタン１１０２が含まれる。情報交換画面１１００に含まれる候補情報１１０１の種類は４種類に限らず、３種類以下でも５種類以上でもよい。端末装置２の表示処理部２７４は、複数種類の候補情報１１０１の一部を情報交換画面１１００の表示領域内に含めることができない場合、候補情報１１０１をスクロール可能に表示してもよい。この場合、ユーザによるスワイプ操作（例えば、指が画面に接しながら当該指が画面右から左に移動する操作）に応じて、情報交換画面１１００の表示領域内に現在含まれていない候補情報１１０１がスクロールされて、情報交換画面１１００の表示領域内に表示される。
The
ユーザによる入力装置２４の操作に応じて、４種類の候補情報１１０１の中から一つの候補情報が選択された場合（図１２（ｂ））、入力装置２４は、選択された候補情報に関連付けられた関連画像ＩＤを端末処理装置２７に送出する。次に、表示処理部２７４は、入力装置２４から受け取った関連画像ＩＤによって識別されるキャラクタ関連画像を端末記憶装置２２から抽出し、抽出されたキャラクタ関連画像を、ユーザ入力情報１２０１として情報交換画面１２００のユーザ表示領域に表示する（図１３）。ユーザ入力情報１２０１として表示されるキャラクタ関連画像は、２次元静止画像、又は、キャラクタオブジェクトを含む３次元の仮想空間内が描画された３次元静止画像である。ユーザ入力情報１２０１として表示されるキャラクタ関連画像が複数の連続したモーションデータに基づいて生成された場合、当該キャラクタ関連画像は、所定時間（例えば３秒）だけ動くキャラクタオブジェクトを含む２次元動画像でもよい。この場合、キャラクタ関連画像は、所定時間（例えば３秒）だけ動くキャラクタオブジェクトを含む３次元の仮想空間内が描画された３次元動画像でもよい。図１３に示されるように、ユーザ入力情報１２０１として表示されたキャラクタ関連画像の表示装置２３の表示画面における表示サイズは、配信画像６０２の表示装置２３の表示画面における表示サイズより小さい。このように、キャラクタ関連画像が表示装置２３の表示画面に描画される描画処理負荷は、配信画像６０２が表示装置２３の表示画面に描画される描画処理負荷より大きい。また、配信画像６０２を表示するためのモーションデータを含むキャラクタ動画データは、継続的に送信されるため、当該キャラクタ動画データの送信時の伝送量は、キャラクタ関連画像を表示するための関連画像ＩＤの送信時の伝送量よりも大きい。このように、各種サービスにおいてキャラクタ関連データが使用されることにより、配信画像が使用される場合と比較して、端末装置２及び／又はサーバ装置３の処理負荷、並びに、端末装置２及びサーバ装置３の間の送信負荷を低減させつつ、ユーザのキャラクタオブジェクトを他のユーザの端末装置２に表示させることが可能となる。
When one piece of
表示処理部２７４によるユーザ入力情報１２０１の表示とともに、送信部２７２は、入力装置２４から受け取った関連画像ＩＤ及び端末記憶装置２２に記憶されたユーザＩＤを、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって受信されたユーザＩＤと同じ情報交換グループに関連付けられた他ユーザのユーザＩＤをサーバ記憶装置３２から抽出する。また、サーバ送信部３３２は、抽出されたユーザＩＤによって識別される他ユーザの端末装置２に、サーバ受信部３３１によって受信された関連画像ＩＤ及びユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介して送信する。
Along with displaying the
そして、他ユーザの端末装置２の受信部２７３は、サーバ装置３から送信された関連画像ＩＤ及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。次に、他ユーザの端末装置２の表示処理部２７４は、受信部２７３によって受信された関連画像ＩＤによって識別されるキャラクタ関連画像を端末記憶装置２２から抽出し、抽出されたキャラクタ関連画像を、他ユーザ入力情報として配信画面の他ユーザ表示領域に表示する。このように、ユーザによって使用されたキャラクタ関連画像と同一の画像が、ユーザが所属する情報交換グループに関連付けられた他ユーザの端末装置２においても表示される。なお、他ユーザの端末装置２の表示処理部２７４は、受信された関連画像ＩＤによって識別されるキャラクタ関連画像が端末記憶装置２２に記憶されていない場合、他ユーザの端末装置２の送信部２７２は、画像送信要求をサーバ装置３に送信する。画像送信要求は、受信された関連画像ＩＤ及び／又はユーザＩＤ、並びに、他ユーザのユーザＩＤとともに送信される。サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって画像送信要求が受信された場合、画像送信要求とともに受信された関連画像ＩＤに関連付けられたキャラクタ関連画像をサーバ記憶装置３２から抽出する。次に、サーバ送信部３３２は、抽出されたキャラクタ関連画像を、受信された関連画像ＩＤ及びユーザＩＤとともに他ユーザの端末装置２に送信する。他ユーザの端末装置２の受信部２７３は、サーバ装置３から送信された関連画像ＩＤ、キャラクタ関連画像及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信し、互いに関連付けて端末記憶装置２２に記憶する。そして、他ユーザの端末装置２の表示処理部２７４は、記憶されたキャラクタ関連画像を、他ユーザ入力情報として配信画面の他ユーザ表示領域に表示する。
Then, the receiving
図１２（ａ）に戻り、ユーザによる入力装置２４の操作に応じて追加生成ボタン１１０２が選択された場合、ユーザの端末装置２の表示処理部２７４及び生成部２７１は、追加生成処理を実行する。追加生成処理は、例えば、情報交換サービスを利用して、ユーザと情報交換を行っている他ユーザを示すキャラクタオブジェクト及び／又はユーザと情報交換を行ったことがある他ユーザを示すキャラクタオブジェクトを含む新たなキャラクタ関連画像を生成する処理である。ユーザと情報交換を行っている他ユーザとは、例えば、ユーザの端末装置２に現在表示されている情報交換画面に係る情報交換を行うための情報交換画面を表示している端末装置２の他ユーザである。または、ユーザと情報交換を行っている他ユーザとは、ユーザの端末装置２に現在表示されている情報交換画面に係る情報交換を行うための情報交換画面を表示するための制御プログラムを実行中の端末装置２の他ユーザでもよい。
Returning to FIG. 12(a), when the
図１４（ａ）は、ユーザの端末装置２の表示装置２３に表示される他オブジェクト選択画面１３００の一例を示す図である。他オブジェクト選択画面１３００は、追加生成処理によって生成される新たなキャラクタ関連画像に含まれるオブジェクトデータを選択するための画面である。
Figure 14 (a) is a diagram showing an example of an other
キャラクタ関連画像に含まれるオブジェクトデータには、例えば、背景を示すオブジェクトデータ、文字を示すオブジェクトデータが含まれる。また、キャラクタ関連画像に含まれるオブジェクトデータには、デザインを示すオブジェクトデータが含まれてもよい。例えば、デザインを示すオブジェクトデータは、枠（フレーム）等の絵柄を示すオブジェクトデータである。また、キャラクタ関連画像に含まれるオブジェクトデータには、エフェクトを示すオブジェクトデータが含まれてもよい。例えば、エフェクトを示すオブジェクトデータは、装飾（glitter等）を示すオブジェクトデータであり、キャラクタオブジェクトの周囲に配置される「星」の形状のオブジェクトデータ、又は、涙若しくは汗を示す「雫」の形状のオブジェクトデータ等である。 The object data included in the character-related image may include, for example, object data showing a background and object data showing text. The object data included in the character-related image may also include object data showing a design. For example, the object data showing a design is object data showing a pattern such as a frame. The object data included in the character-related image may also include object data showing an effect. For example, the object data showing an effect is object data showing decoration (glitter, etc.), such as object data in the shape of "stars" placed around the character object, or object data in the shape of "droplets" showing tears or sweat.
他オブジェクト選択画面１３００は、情報交換画面１１００に含まれる追加生成ボタン１１０２がユーザによって選択されたことに応じて追加生成処理が開始された場合に表示される画面である。例えば、端末装置の表示処理部２７４は、ユーザによる入力装置２４の操作による追加生成ボタン１１０２の選択に応じて他オブジェクト選択画面１３００を表示する。
The other
他オブジェクト選択画面１３００には、候補表示領域１３０１と、選択オブジェクト１３０２、ユーザ選択指示ボタン１３０３、終了ボタン１３０４が含まれる。
The other
候補表示領域１３０１には、端末記憶装置２２に記憶されたキャラクタ関連画像用のオブジェクトデータを示す候補情報が表示される。候補情報は、キャラクタ関連画像用のオブジェクトデータである。図１４（ａ）に示される例では、候補情報として、「ＯＫ」という文字を示すオブジェクトデータが候補表示領域１３０１に表示される。また、図１４（ａ）に示される例では、候補情報として、エフェクトの一種である「漫符（Manpu）」（漫画（Manga）において使用されるマーク、シンボル、又は符号等）を示すオブジェクトデータが候補表示領域１３０１に表示される。なお、候補情報として、キャラクタ関連画像用のオブジェクトデータを説明する文字情報等が候補表示領域１３０１に表示されてもよい。例えば、オブジェクトデータが「星」の形状のオブジェクトデータである場合、「星（Star）」という文字が候補表示領域１３０１に表示されてもよい。
In the
候補表示領域１３０１に表示される候補情報は、２種類に限定されず、１種類でも３種類以上でもよい。端末装置２の表示処理部２７４は、複数種類の候補情報の一部を候補表示領域１３０１の表示領域内に含めることができない場合、当該複数種類の候補情報をスクロール可能に表示してもよい。この場合、ユーザによるスワイプ操作に応じて、他オブジェクト選択画面１３００の候補表示領域１３０１の表示領域内に現在含まれていない候補情報がスクロールされて、候補表示領域１３０１の表示領域内に表示されてもよい。
The number of types of candidate information displayed in the
選択オブジェクト１３０２は、候補表示領域１３０１に表示された候補情報の中から一の候補情報を選択するための操作オブジェクトである。図１４（ａ）に示される例では、ユーザの端末装置２の表示処理部２７４は、各候補情報に対応するチェックボックスオブジェクトを選択オブジェクト１３０２として表示する。選択オブジェクト１３０２のそれぞれには、対応する各キャラクタ関連画像用のオブジェクトデータのオブジェクトＩＤが関連付けられている。
The
例えば、ユーザの入力装置２４の操作によって選択オブジェクト１３０２が選択されると、選択された選択オブジェクト１３０２は、「チェック」マークを含む表示となる。この場合、「チェック」マークを含む表示となった選択オブジェクト１３０２に対応するキャラクタ関連画像用のオブジェクトデータが選択された状態となる。また、「チェック」マークを含む表示となっている選択オブジェクト１３０２がユーザの入力装置２４の操作によって選択されると、選択された選択オブジェクト１３０２は、「チェック」マークを含まない表示となる。この場合、「チェック」マークを含まない表示となっている選択オブジェクト１３０２に対応するキャラクタ関連画像用のオブジェクトデータが選択されていない状態となる。このように、ユーザは、一又は複数の選択オブジェクト１３０２を選択操作することにより、一又は複数のキャラクタ関連画像用のオブジェクトデータを選択することができる。
For example, when a
ユーザ選択指示ボタン１３０３は、選択された選択オブジェクト１３０２に対応するオブジェクトデータを、新たなキャラクタ関連画像に含まれるオブジェクトデータとして設定し、ユーザ選択画面１３１０の表示を指示するためのボタンオブジェクト等である。ユーザによる入力装置２４の操作によるユーザ選択指示ボタン１３０３の選択に応じて、入力装置２４は、ユーザ選択指示を端末処理装置２７に入力する。端末装置２の表示処理部２７４は、ユーザ選択指示が入力された場合、選択された選択オブジェクト１３０２に対応するオブジェクトデータを、新たなキャラクタ関連画像に含まれるオブジェクトデータとして端末記憶装置２２に一時的に記憶する。端末装置２の表示処理部２７４は、他オブジェクト選択画面１３００の表示を終了し、ユーザ選択画面１３１０を表示装置２３に表示する。
The user
終了ボタン１３０４は、他オブジェクト選択画面１３００の表示を終了するための操作オブジェクトである。ユーザによる入力装置２４の操作によって終了ボタン１３０４が選択されると、端末装置２の表示処理部２７４は、他オブジェクト選択画面１３００の表示を終了し、情報交換画面１１００を表示装置２３に表示する。
The
なお、情報交換画面１１００に含まれる追加生成ボタン１１０２がユーザによって選択されたことに応じて、他オブジェクト選択画面１３００が表示されなくてもよい。例えば、ユーザによる追加生成ボタン１１０２の選択に応じて、（他オブジェクト選択画面１３００が表示されずに）後述するユーザ選択画面１３１０が表示されてもよい。また、例えば、ユーザによる追加生成ボタン１１０２の選択に応じて、（他オブジェクト選択画面１３００及びユーザ選択画面１３１０の両者が表示されずに）後述する追加生成処理が実行されてもよい。他オブジェクト選択画面１３００が表示されない場合、後述する追加生成処理において、キャラクタ関連画像用のオブジェクトデータが用いられないキャラクタ関連画像が生成される。または、他オブジェクト選択画面１３００が表示されない場合、予め定められたキャラクタ関連画像用のオブジェクトデータが用いられたキャラクタ関連画像が生成されてもよい。また、ユーザ選択画面１３１０が表示されない場合、後述する追加生成処理において、選択条件を満たす他ユーザが自動的に選択され、当該選択条件を満たす他ユーザのキャラクタオブジェクトが用いられたキャラクタ関連画像が生成されてもよい。なお、選択条件の詳細は後述する。
In addition, the other
図１４（ｂ）は、ユーザの端末装置２の表示装置２３に表示されるユーザ選択画面１３１０の一例を示す図である。ユーザ選択画面１３１０は、追加生成処理によって生成される新たなキャラクタ関連画像に含まれるキャラクタオブジェクトによって示される他ユーザを選択するための画面である。ユーザ選択画面１３１０には、候補表示領域１３１１、選択オブジェクト１３１２と、追加生成指示ボタン１３１３と、終了ボタン１３１４が含まれる。
Figure 14 (b) is a diagram showing an example of a
候補表示領域１３１１には、ユーザが所属する情報交換グループに所属している他ユーザのうちの情報交換画面１０００を現在表示している端末装置２の他ユーザを示す情報が表示される。候補表示領域１３１１には、ユーザが所属する情報交換グループに所属する全ての他ユーザを示す情報が表示されてもよい。ユーザが所属する情報交換グループとは、追加生成処理を開始するためにユーザが選択操作した情報交換画面１１００に係る情報交換グループである。このように、一の情報交換グループに所属する一のユーザの端末装置２に表示された、当該一の情報交換グループに係る情報交換画面１１００において、一のユーザによって追加生成ボタン１１０２が選択された場合、当該一のユーザの端末装置２は、一の情報交換グループに所属する他ユーザを示すキャラクタオブジェクトを含む新たなキャラクタ関連画像を生成することができる。図１４（ｂ）に示される例では、ユーザの端末装置２の表示処理部２７４は、他ユーザのキャラクタオブジェクトのそれぞれサムネイル画像及び名称を、他ユーザを示す情報として候補表示領域１３１１に表示する。
The
選択オブジェクト１３１２は、候補表示領域１３１１に表示された他ユーザを示す情報の中から一又は複数の他ユーザを示す情報を選択するための操作オブジェクトである。図１４（ｂ）に示される例では、ユーザの端末装置２の表示処理部２７４は、各他ユーザを示す情報に対応するチェックボックスオブジェクトを選択オブジェクト１３１２として表示する。選択オブジェクト１３１２のそれぞれには、対応する各他ユーザのユーザＩＤが関連付けられている。
The
例えば、ユーザの入力装置２４の操作によって選択オブジェクト１３１２が選択されると、選択された選択オブジェクト１３１２は、「チェック」マークを含む表示となる。この場合、「チェック」マークを含む表示となった選択オブジェクト１３１２に対応する他ユーザが選択された状態となる。また、「チェック」マークを含む表示となっている選択オブジェクト１３１２がユーザの入力装置２４の操作によって選択されると、選択された選択オブジェクト１３１２は、「チェック」マークを含まない表示となる。この場合、「チェック」マークを含まない表示となっている選択オブジェクト１３１２に対応する他ユーザが選択されていない状態となる。このように、ユーザは、一又は複数の選択オブジェクト１３１２を選択操作することにより、一又は複数の他ユーザを選択することができる。
For example, when a
追加生成指示ボタン１３１３は、新たなキャラクタ関連画像を生成する追加生成指示を入力するための操作オブジェクトの一例である。例えば、ユーザによる入力装置２４の操作に応じて追加生成指示ボタン１３１３が選択された場合、入力装置２４は、生成部２７１に追加生成指示を入力し、表示処理部２７４は、ユーザ選択画面１３１０の表示を終了する。
The additional
生成部２７１は、入力装置２４からの追加生成指示を取得すると、他オブジェクト選択画面１３００においてユーザによるユーザ選択指示ボタン１３０３の選択に応じて一時的に記憶されたオブジェクトデータを端末記憶装置２２から取得する。次に、生成部２７１は、ユーザ選択画面１３１０においてユーザによって選択された選択オブジェクト１３１２に対応する他ユーザのユーザＩＤを取得する。
When the
次に、生成部２７１は、取得された（キャラクタ関連画像用の）オブジェクトデータ及び他ユーザのユーザＩＤに基づいて新たなキャラクタ関連画像を生成する追加生成処理を実行する。以下、新たなキャラクタ関連画像を生成する追加生成処理の一例について説明する。
Next, the
まず、生成部２７１は、端末記憶装置２２に記憶されたユーザＩＤに関連付けられた、ユーザのキャラクタオブジェクトのモデルＩＤと、使用オブジェクトのオブジェクトＩＤとをユーザテーブルＴ１から抽出する。次に、生成部２７１は、抽出したモデルＩＤに関連付けられたユーザのキャラクタオブジェクトのモデルデータと、抽出した（ユーザのキャラクタオブジェクトの）使用オブジェクトのオブジェクトＩＤに関連付けられた画像情報及び配置箇所を端末記憶装置２２から読み出す。次に、生成部２７１は、取得された他ユーザのユーザＩＤに関連付けられた、他ユーザのキャラクタオブジェクトのモデルＩＤと、使用オブジェクトのオブジェクトＩＤとをユーザテーブルＴ１から抽出する。次に、生成部２７１は、抽出したモデルＩＤに関連付けられた他ユーザのキャラクタオブジェクトのモデルデータと、抽出した（他ユーザのキャラクタオブジェクトの）使用オブジェクトのオブジェクトＩＤに関連付けられた画像情報及び配置箇所を端末記憶装置２２から読み出す。
First, the
次に、生成部２７１は、画像定義情報を端末記憶装置２２から読み出す。画像定義情報には、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトのモーションデータ、キャラクタオブジェクトの位置、キャラクタ関連画像用のオブジェクトデータの位置、及び／又は、視点位置等が含まれる。端末記憶装置２２には、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトの数ごとに、複数の画像定義情報が記憶されている。
Next, the
まず、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトの数が「２」である場合（ユーザのキャラクタオブジェクト及び他ユーザのキャラクタオブジェクト１体）の画像定義情報の一例について説明する。この画像定義情報には、ユーザのキャラクタオブジェクトのモーションデータと、１体の他ユーザのキャラクタオブジェクトのモーションデータと含まれる。モーションデータは、所定の動作期間（例えば３秒間）において、キャラクタオブジェクトに所定の動作をさせるための時系列のモーションデータでもよい。また、この画像定義情報には、ユーザのキャラクタオブジェクトの位置及び正面の向き、他ユーザのキャラクタオブジェクトの位置及び正面の向き、並びに、視点の位置及び視線方向、を示す情報が記憶される。キャラクタオブジェクトの位置及び視点の位置は、仮想の３次元空間内の３次元座標によって表される。また、キャラクタオブジェクトの向き及び視線方向は、仮想の３次元空間内における単位ベクトル等によって表される。例えば、視点の位置から視線方向を見た場合において、左側に、第１ポーズ（記憶されたモーションデータに基づくポーズ）のユーザのキャラクタオブジェクトの正面が表示され、右側に、第２ポーズ（記憶されたモーションデータに基づくポーズ）の他ユーザのキャラクタオブジェクトの正面が見えるように定義された画像定義情報が記憶される。同じ画像定義情報が用いられる場合、キャラクタ関連画像に含まれるキャラクタオブジェクトとして、いずれの他ユーザのキャラクタオブジェクトが選択されたとしても、同一の第２ポーズのキャラクタオブジェクトがキャラクタ関連画像に含まれる。 First, an example of image definition information in the case where the number of character objects included in the new character-related image is "2" (the user's character object and one character object of another user) will be described. This image definition information includes motion data of the user's character object and motion data of one character object of another user. The motion data may be time-series motion data for making the character object perform a predetermined motion during a predetermined motion period (e.g., 3 seconds). In addition, this image definition information stores information indicating the position and front direction of the user's character object, the position and front direction of the other user's character object, and the position and line of sight of the viewpoint. The position of the character object and the position of the line of sight are represented by three-dimensional coordinates in a virtual three-dimensional space. In addition, the direction and line of sight of the character object are represented by a unit vector or the like in the virtual three-dimensional space. For example, when looking in the line of sight from the position of the viewpoint, image definition information is stored so that the front of the user's character object in the first pose (a pose based on the stored motion data) is displayed on the left, and the front of the other user's character object in the second pose (a pose based on the stored motion data) is displayed on the right. When the same image definition information is used, no matter which other user's character object is selected as the character object included in the character-related image, the character object in the same second pose will be included in the character-related image.
また、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトの数が「３」である場合（ユーザのキャラクタオブジェクト及び他ユーザのキャラクタオブジェクト２体）の画像定義情報の一例について説明する。この画像定義情報には、ユーザのキャラクタオブジェクトのモーションデータと、２体の他ユーザのキャラクタオブジェクトのモーションデータと含まれる。また、この画像定義情報には、ユーザのキャラクタオブジェクトの位置及び正面の向き、２体の他ユーザのキャラクタオブジェクトのそれぞれ位置及び正面の向き、並びに、視点の位置及び視線方向、を示す情報が記憶される。例えば、視点の位置から視線方向を見た場合において、左側に、第３ポーズ（記憶されたモーションデータに基づくポーズ）の１人目の他ユーザのキャラクタオブジェクトの正面が表示され、真ん中に、第４ポーズ（記憶されたモーションデータに基づくポーズ）のユーザのキャラクタオブジェクトの正面が表示され、右側に、２人目の第５ポーズ（記憶されたモーションデータに基づくポーズ）の他ユーザのキャラクタオブジェクトの正面が見えるように定義された画像定義情報が記憶される。同じ画像定義情報が用いられる場合、左側に位置する１人目のキャラクタオブジェクトとして、いずれの他ユーザのキャラクタオブジェクトが選択されたとしても、同一の第３ポーズのキャラクタオブジェクトがキャラクタ関連画像に含まれる。同様に、右側に位置する２人目のキャラクタオブジェクトとして、いずれの他ユーザのキャラクタオブジェクトが選択されたとしても、同一の第５ポーズのキャラクタオブジェクトがキャラクタ関連画像に含まれる。なお、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトの数は、「２」及び「３」に限定されず「４」以上の数でもよい。 In addition, an example of image definition information in the case where the number of character objects included in the new character-related image is "3" (the user's character object and two other users' character objects) will be described. This image definition information includes motion data of the user's character object and motion data of the two other users' character objects. This image definition information also stores information indicating the position and front direction of the user's character object, the positions and front directions of the two other users' character objects, and the position and line of sight of the viewpoint. For example, when looking in the line of sight from the viewpoint position, the front of the first other user's character object in the third pose (a pose based on the stored motion data) is displayed on the left, the front of the user's character object in the fourth pose (a pose based on the stored motion data) is displayed in the middle, and the front of the second other user's character object in the fifth pose (a pose based on the stored motion data) is displayed on the right. When the same image definition information is used, no matter which other user's character object is selected as the first character object located on the left, the same character object in the third pose is included in the character-related image. Similarly, no matter which other user's character object is selected as the second character object located on the right side, the same character object in the fifth pose will be included in the character-related image. Note that the number of character objects included in the new character-related image is not limited to "2" or "3" and may be "4" or more.
なお、上述の実施形態の説明において、「ポーズ」について、「第１」ポーズ、「第２」ポーズ、「第３」ポーズ、「第４」ポーズ及び「第５」ポーズと称したが、これら、「第１」、「第２」、「第３」、「第４」及び「第５」は、順番を示すものでもなく、各ポーズが互いに異なることを規定するものでもない。すなわち、「第１」ポーズ、「第２」ポーズ、「第３」ポーズ、「第４」ポーズ及び「第５」ポーズは、互いに異なるポーズでもよく、又は、これらのうちの少なくとも一部は同一のポーズでもよい。また、特許請求の範囲において、上述の「第１」ポーズは、他の名称（例えば、「第２」ポーズ～「第５」ポーズのいずれか。）で称されてもよく、同様に、「第２」ポーズ、「第３」ポーズ、「第４」ポーズ及び「第５」ポーズも他の名称で称されてもよい。すなわち、特許請求の範囲に記載された「第１」ポーズという用語は、「２体のキャラクタオブジェクトが含まれるキャラクタ関連画像におけるユーザのキャラクタオブジェクトのポーズ」であると限定して解釈されず、特許請求の範囲の記載を合理的に解釈して理解されるべきものである。「第２」ポーズ、「第３」ポーズ、「第４」ポーズ及び「第５」ポーズの各用語も同様に、上述の実施形態のものに限定して解釈されず、特許請求の範囲の記載を合理的に解釈して理解されるべきものである。 In the above description of the embodiment, the "poses" are referred to as the "first", "second", "third", "fourth" and "fifth" poses, but these "first", "second", "third", "fourth" and "fifth" do not indicate an order, nor do they specify that the poses are different from each other. In other words, the "first", "second", "third", "fourth" and "fifth" poses may be different from each other, or at least some of them may be the same pose. In addition, in the claims, the above-mentioned "first" pose may be referred to by other names (for example, any of the "second" to "fifth" poses), and similarly, the "second", "third", "fourth" and "fifth" poses may be referred to by other names. In other words, the term "first" pose described in the claims should not be interpreted as being limited to "the pose of the user's character object in a character-related image including two character objects", but should be understood by interpreting the claims in a reasonable manner. Similarly, the terms "second" pose, "third" pose, "fourth" pose, and "fifth" pose should not be interpreted as being limited to the above-mentioned embodiments, but should be understood through a reasonable interpretation of the claims.
ユーザのキャラクタオブジェクト用の画像定義情報及び／又は他ユーザのキャラクタオブジェクト用の画像定義情報は、端末記憶装置２２に複数種類記憶されてもよい。ユーザのキャラクタオブジェクト用の画像定義情報及び他ユーザのキャラクタオブジェクト用の画像定義情報を、キャラクタオブジェクト用の画像定義情報と総称する場合がある。例えば、キャラクタ関連画像用のモーションデータとして、キャラクタオブジェクトのパラメータごとに異なる種類のモーションデータが記憶されてもよい。パラメータは、性別（女性型、男性型等）、サイズ（身長が所定値以上、所定値未満等）、性格（穏やか、活気がある等）、年齢（３０歳以上、３０歳未満等）等を含む。例えば、ユーザのキャラクタオブジェクト用の画像定義情報として、キャラクタオブジェクトが女性型である場合に適用されるキャラクタ関連画像用のモーションデータＭＦが記憶され、キャラクタオブジェクトが男性型である場合に適用されるキャラクタ関連画像用のモーションデータＭＭが記憶される。また例えば、キャラクタオブジェクトが所定値以上の身長である場合に適用されるキャラクタ関連画像用のモーションデータＭＴが記憶され、キャラクタオブジェクトが所定値未満の身長である場合に適用されるキャラクタ関連画像用のモーションデータＭＳが記憶される。また、例えば、ユーザのキャラクタオブジェクト用の画像定義情報として、キャラクタオブジェクトが女性型であり且つ所定値未満の身長である場合に適用されるキャラクタ関連画像用のモーションデータＭＦＳが記憶され、キャラクタオブジェクトが男性型である場合に適用され且つ所定値以上の身長である場合にキャラクタ関連画像用のモーションデータＭＭＴが記憶されてもよい。
A plurality of types of image definition information for the user's character object and/or image definition information for the character object of another user may be stored in the
次に、生成部２７１は、抽出された各モデルデータと、各使用オブジェクトの画像情報及び配置箇所と、画像定義情報、及び、取得された（キャラクタ関連画像用の）オブジェクトデータとに基づいて、所定の動作及び表情のユーザのキャラクタオブジェクトと、背景、文字等のオブジェクトデータとを含む新たなキャラクタ関連画像を生成する。次に、生成部２７１は、生成した新たなキャラクタ関連画像に、当該キャラクタ関連画像を一意に識別するための関連画像ＩＤを関連付けて端末記憶装置２２に記憶する。また、生成部２７１は、生成した新たなキャラクタ関連画像を示す候補情報を生成し、生成した候補情報に、当該キャラクタ関連画像を識別するための関連画像ＩＤを関連付けて端末記憶装置２２に記憶する。そして、生成部２７１は、新たなキャラクタ関連画像の生成時における使用オブジェクトのオブジェクトＩＤを関連画像ＩＤに関連付けて端末記憶装置２２に記憶し、新たなキャラクタ関連画像の追加生成処理が終了する。なお、生成された新たなキャラクタ関連画像の一部又は全部は、情報交換サービスにおいて使用できないように設定されてもよい。この場合、情報交換サービスにおいて使用可能なキャラクタ関連画像によって構成される使用可能グループが設定されてもよい。そして、情報交換サービスにおいて使用可能な新たなキャラクタ関連画像が生成されると、当該新たなキャラクタ関連画像は使用可能グループに含まれるように設定される。
Next, the generating
新たな追加生成処理の終了に応じて、追加生成処理を実行した端末装置２の送信部２７２は、新たなキャラクタ関連画像の送信処理を実行する。これにより、新たなキャラクタ関連画像が、追加生成処理を実行した端末装置２のユーザが所属する情報交換グループに所属する他のユーザの端末装置２に、サーバ装置３を経由して送信される。また、新たな追加生成処理の終了に応じて、追加生成処理を実行した端末装置２の表示処理部２７４は、情報交換画面１４００の表示処理を実行する。
In response to the end of the new additional generation process, the
終了ボタン１３１４は、ユーザ選択画面１３１０の表示を終了するための操作オブジェクトである。ユーザによる入力装置２４の操作によって終了ボタン１３１４が選択されると、端末装置２の表示処理部２７４は、ユーザ選択画面１３１０の表示を終了する。
The
なお、他オブジェクト選択画面１３００に含まれるユーザ選択指示ボタン１３０３がユーザによって選択されたことに応じて、ユーザ選択画面１３１０が表示されなくてもよい。例えば、ユーザによるユーザ選択指示ボタン１３０３の選択に応じて、（ユーザ選択画面１３１０が表示されずに）追加生成処理が実行されてもよい。ユーザ選択画面１３１０が表示されない場合、追加生成処理において、選択条件を満たす他ユーザが自動的に選択され、当該選択条件を満たす他ユーザのキャラクタオブジェクトが用いられたキャラクタ関連画像が生成されてもよい。以下、追加生成処理を開始するためにユーザが選択操作した情報交換画面１１００に係る情報交換グループを、単に「情報交換グループ」と称し、この「情報交換グループ」に所属する、ユーザ（情報交換画面１１００を選択操作したユーザ）以外のユーザを、単に「他ユーザ」と称する場合がある。
Note that the
選択条件は、他ユーザの情報交換サービスの利用状況に関する条件である。以下、他ユーザの情報交換サービスの利用状況に関する選択条件を満たす他ユーザの判定処理の一例について説明する。まず、他ユーザの端末装置２は、サーバ装置３を経由して、他ユーザの入力情報及びユーザＩＤを、送信日時とともにユーザの端末装置２に送信する。ユーザの端末装置２は、受信した他ユーザの入力情報及びユーザＩＤを送信日時とともに端末記憶装置２２に記憶する。生成部２７１は、情報交換グループに所属する各他ユーザが情報交換グループ内の情報交換において直近に送信した入力情報を、送信日時が現時点から近い順に並べ、送信日時が現時点に最も近い一又は複数の入力情報を特定する。そして、生成部２７１は、判定された一又は複数の入力情報のそれぞれを送信した他ユーザを、選択条件を満たす他ユーザとして判定する。例えば、他ユーザが４人（それぞれ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４と称する。）であり、且つ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４のそれぞれが直近に送信した入力情報の送信日時が、2022年3月24日10:55、2022年3月23日23:03、2022年3月24日11:21、2022年3月24日07:13である場合、生成部２７１は、入力情報の送信日時が最も現時点に近い２人の他ユーザＵ３及び他ユーザＵ１を、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、情報交換グループに係る情報交換において、入力情報（テキスト情報、スタンプ画像等）を直近に送信した他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。他ユーザが送信した入力情報には、公知の「リアクションスタンプ」が含まれてもよい。生成部２７１によって判定される、選択条件を満たす他ユーザの数は、「２」に限定されない。選択条件を満たす他ユーザの数は、「１」でもよく、又は、「３」以上でもよい。また、選択条件を満たす他ユーザの数は、後述する他ユーザ設定数ＵＡでもよい。なお、上述の実施形態において、送信日時に替えて、ユーザの端末装置２が、他ユーザの入力情報及びユーザＩＤを受信した受信日時が用いられてもよい。
The selection condition is a condition related to the usage status of the information exchange service of other users. An example of a process for determining other users who satisfy the selection condition related to the usage status of the information exchange service of other users will be described below. First, the
以下、他ユーザの情報交換サービスの利用状況に関する選択条件を満たす他ユーザの判定処理の他の一例について説明する。まず、他ユーザの端末装置２は、他ユーザの端末装置２が情報交換グループ内の情報交換を開始するために情報交換画面の表示を開始するたびに、情報交換画面の表示開始時を、サーバ装置３を経由してユーザの端末装置２に送信する。ユーザの端末装置２は、受信した他ユーザの情報交換画面の表示開始時を端末記憶装置２２に記憶する。生成部２７１は、情報交換グループに所属する各他ユーザの端末装置２が情報交換グループ内の情報交換を開始するために直近に表示した情報交換画面の表示開始時が現時点に最も近い一又は複数の端末装置２を操作する他ユーザを判定する。そして、生成部２７１は、判定された一又は複数の他ユーザを、選択条件を満たす他ユーザとして判定する。例えば、他ユーザが４人（それぞれ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４と称する。）であり、且つ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４のそれぞれが直近に情報交換グループに係る情報交換画面を表示した表示日時が、2022年3月23日21:10、2022年3月23日23:00、2022年3月23日22:17、2022年3月23日05:55である場合、生成部２７１は、情報交換画面の表示開始時が最も現時点に近い２人の他ユーザＵ２及び他ユーザＵ３を、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、情報交換グループに係る情報交換を、直近に開始した他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。選択条件を満たす他ユーザの数は、「２」に限定されない。選択条件を満たす他ユーザの数は、「１」でもよく、又は、「３」以上でもよい。また、選択条件を満たす他ユーザの数は、後述する他ユーザ設定数ＵＡでもよい。
Below, another example of the process of determining other users who satisfy the selection condition regarding the usage status of the information exchange service of other users will be described. First, each time the
以下、他ユーザの情報交換サービスの利用状況に関する選択条件を満たす他ユーザの判定処理の他の一例について説明する。まず、他ユーザの端末装置２は、他ユーザの端末装置２が情報交換グループ内の情報交換を開始するために情報交換サービスにログインするたびに、情報交換サービスのログイン日時を、サーバ装置３を経由してユーザの端末装置２に送信する。ユーザの端末装置２は、受信した他ユーザの情報交換サービスのログイン日時を端末記憶装置２２に記憶する。生成部２７１は、情報交換グループに所属する各他ユーザが、情報交換グループ内の情報交換を開始するために、情報交換サービスに直近にログインしたログイン日時が現時点に最も近い一又は複数の端末装置２を操作する他ユーザを判定する。そして、生成部２７１は、判定された一又は複数の他ユーザを、選択条件を満たす他ユーザとして判定する。例えば、他ユーザが４人（それぞれ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４と称する。）であり、且つ、他ユーザＵ１、他ユーザＵ２、他ユーザＵ３、他ユーザＵ４のそれぞれが直近に情報交換サービスにログインしたログイン日時が、2022年3月23日21:10、2022年3月23日23:00、2022年3月23日22:17、2022年3月23日05:55である場合、生成部２７１は、最も現時点に近い２人の他ユーザＵ２及び他ユーザＵ３を、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、情報交換グループに係る情報交換を、直近に開始した他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。選択条件を満たす他ユーザの数は、「２」に限定されない。選択条件を満たす他ユーザの数は、「１」でもよく、又は、「３」以上でもよい。また、選択条件を満たす他ユーザの数は、後述する他ユーザ設定数ＵＡでもよい。
Below, another example of the process of determining other users who satisfy the selection condition regarding the usage status of the information exchange service of other users will be described. First, each time the other user's
キャラクタ関連画像に含まれる他ユーザの数を示す他ユーザ設定数ＵＡは、予め設定されたものでも、自動的に設定されたものでもよい。例えば、選択条件を満たす他ユーザの判定処理において、端末記憶装置２２に記憶された他ユーザ設定数ＵＡが用いられてもよい。また、選択条件を満たす他ユーザの判定処理において、端末処理装置２７によってランダムに設定された他ユーザ設定数ＵＡが用いられてもよい。また、キャラクタ関連画像用のオブジェクトデータに他ユーザ設定数ＵＡが関連付けて記憶されている場合、他オブジェクト選択画面１３００に対するユーザの操作に応じて取得された（キャラクタ関連画像用の）オブジェクトデータに関連付けられた他ユーザ設定数ＵＡが、選択条件を満たす他ユーザの判定処理において自動的に用いられてもよい。
The other user set number UA, which indicates the number of other users included in the character-related image, may be preset or automatically set. For example, the other user set number UA stored in the
選択条件は、ユーザと他ユーザとの関係に関する条件でもよい。以下、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザの判定処理の一例について説明する。まず、生成部２７１は、所属ユーザがユーザと一人の他ユーザのみである情報交換グループがグループテーブルＴ３に記憶されているか否かを判定する。生成部２７１は、所属ユーザがユーザと一人の他ユーザのみである情報交換グループがグループテーブルＴ３に記憶されている場合、所属ユーザがユーザと一人の他ユーザのみである情報交換グループに所属する他ユーザを抽出する。そして、生成部２７１は、抽出された他ユーザが情報交換グループ（追加生成処理を開始するためにユーザが選択操作した情報交換画面１１００に係る情報交換グループ）の所属ユーザである場合、当該抽出された他ユーザを、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、ユーザと一対一の情報交換をしたことがある他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。なお、ユーザと一対一の情報交換をしたことがある他ユーザは、情報交換サービス以外の他のＳＮＳサービスにおけるチャット機能等において、ユーザと一対一の情報交換をしたことがある他ユーザであってもよい。
The selection condition may be a condition related to the relationship between the user and the other user. An example of a process for determining a user who satisfies a selection condition related to the relationship between the user and the other user will be described below. First, the
以下、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザの判定処理の他の一例について説明する。まず、ユーザの端末装置２の送信部２７２は、ユーザが配信ユーザとして配信した配信画像を視聴したことがある他ユーザを示す配信終了ユーザＩＤの送信要求を示す情報を、ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、送信要求を示す情報及びユーザのユーザＩＤを受信すると、受信したユーザのユーザＩＤに関連付けられた配信終了ユーザＩＤを、サーバ記憶装置３２から抽出する。そして、サーバ装置３のサーバ送信部３３２は、抽出された配信終了ユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介してユーザの端末装置２に送信する。ユーザの端末装置２の受信部２７３は、受信した配信終了ユーザＩＤを端末記憶装置２２に記憶する。そして、生成部２７１は、記憶された配信終了ユーザＩＤによって示される他ユーザが情報交換グループの所属ユーザである場合、当該配信終了ユーザＩＤによって示される他ユーザを、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、ユーザが配信ユーザとして配信した配信画像を視聴したことがある他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。
Hereinafter, another example of the process of determining other users who satisfy the selection conditions regarding the relationship between the user and other users will be described. First, the
以下、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザの判定処理の他の一例について説明する。まず、ユーザの端末装置２の送信部２７２は、ユーザが過去に参加していた又は現在参加している所定のイベントにおける他ユーザの参加状況の送信要求を示す情報を、ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３は、所定のイベントを複数のユーザに提供することができ、所定のイベントに参加したい各ユーザは、端末装置２に対する所定の操作を行うことで、サーバ装置３と接続し、所定のイベントに参加することが可能となる。サーバ装置３は、所定のイベントに関する情報（イベントＩＤ等）に関連付けて、所定のイベントに参加した各ユーザのユーザＩＤをサーバ記憶装置３２に記憶している。サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、送信要求を示す情報及びユーザのユーザＩＤを受信すると、受信したユーザのユーザＩＤに関連付けられたイベントＩＤに関連付けられた他ユーザのユーザＩＤを、サーバ記憶装置３２から抽出する。なお、抽出されたイベントＩＤに関連付けられた他ユーザのユーザＩＤは、参加期間の少なくとも一部がユーザと重複する他ユーザのユーザＩＤでもよい。また、抽出されたイベントＩＤに関連付けられた他ユーザのユーザＩＤは、参加期間の少なくとも一部がユーザと重複する他ユーザであって、所定のイベントにおいて設定されたユーザと同一のグループに属する他のユーザＩＤでもよい。そして、サーバ装置３のサーバ送信部３３２は、抽出されたユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介してユーザの端末装置２に送信する。ユーザの端末装置２の受信部２７３は、受信したユーザＩＤを端末記憶装置２２に記憶する。そして、生成部２７１は、記憶されたユーザＩＤによって示される他ユーザが情報交換グループの所属ユーザである場合、記憶されたユーザＩＤによって示される他ユーザを、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、過去にユーザと同一のイベントに参加していた他ユーザ及び／又は現在ユーザと同一のイベントに参加している他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。
Hereinafter, another example of the process of determining other users who satisfy the selection conditions regarding the relationship between the user and other users will be described. First, the
以下、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザの判定処理の他の一例について説明する。まず、ユーザの端末装置２の送信部２７２は、ユーザが過去にプレイした所謂ネットゲームをプレイした他ユーザに関する送信要求を示す情報を、ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。
Below, we will explain another example of the process of determining other users who satisfy the selection conditions regarding the relationship between the user and other users. First, the
この場合の前提として、サーバ装置３は、一又は複数のネットゲームを複数のユーザに提供する機能を有し、ネットゲームをプレイしたい各ユーザは、端末装置２に対する所定の操作を行うことで、サーバ装置３と接続し、当該ネットゲームのプレイが可能である。サーバ装置３は、ネットゲームに関する情報（ゲームＩＤ等）に関連付けて、当該ネットゲームをプレイした各ユーザのユーザＩＤをサーバ記憶装置３２に記憶している。
In this case, the
サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、送信要求を示す情報及びユーザのユーザＩＤを受信すると、受信したユーザのユーザＩＤに関連付けられたゲームＩＤに関連付けられた他ユーザのユーザＩＤを、サーバ記憶装置３２から抽出する。なお、抽出されたイベントＩＤに関連付けられた他ユーザのユーザＩＤは、参加期間の少なくとも一部がユーザと重複する他ユーザのユーザＩＤでもよい。そして、サーバ装置３のサーバ送信部３３２は、抽出されたユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介してユーザの端末装置２に送信する。ユーザの端末装置２の受信部２７３は、受信したユーザＩＤを端末記憶装置２２に記憶する。そして、生成部２７１は、記憶されたユーザＩＤによって示される他ユーザが情報交換グループの所属ユーザである場合、記憶されたユーザＩＤによって示される他ユーザを、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、過去にユーザと同一のゲームをプレイしていた他ユーザ及び／又は現在ユーザと同一のゲームをプレイしている他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。
When the
ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザは、上述の例に限定されず、例えば、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザには、ユーザによってフォローされている他ユーザ、ユーザをフォローしている他ユーザ、ユーザの相互フォロワーでいる他のユーザ、ユーザと相互フォローしている特定のユーザと相互フォローの関係でいる他のユーザ、ユーザとフレンド関係にある他ユーザ、ユーザの端末装置２において特定情報（電話番号、メールアドレス、所定のＩＤ（identification）等）が記憶された他ユーザ等が含まれてもよい。
Other users who satisfy the selection conditions regarding the relationship between the user and other users are not limited to the above examples, and may include, for example, other users who are followed by the user, other users who follow the user, other users who are mutual followers of the user, other users who are in a mutual follow relationship with a specific user who is mutually following the user, other users who are friends with the user, other users whose specific information (phone number, email address, specified ID (identification), etc.) is stored in the user's
選択条件がユーザと他ユーザとの関係に関する条件である場合、選択条件を満たす他ユーザのうち、他ユーザ設定数ＵＢの他ユーザのキャラクタオブジェクトが追加生成処理に用いられてもよい。例えば、他ユーザ設定数ＵＢが「３」である場合、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザが１０人であっても、当該１０人の他ユーザのうちの３人の他ユーザのキャラクタオブジェクトが追加生成処理に用いられる。 When the selection condition is a condition related to the relationship between the user and other users, among the other users who satisfy the selection condition, the character objects of the other users up to the other user set number UB may be used in the additional generation process. For example, when the other user set number UB is "3", even if there are ten other users who satisfy the selection condition related to the relationship between the user and other users, the character objects of three of the ten other users are used in the additional generation process.
他ユーザ設定数ＵＢは、予め設定されたものでも、自動的に設定されたものでもよい。例えば、選択条件を満たす他ユーザの判定処理において、端末記憶装置２２に記憶された他ユーザ設定数ＵＢが用いられてもよい。また、選択条件を満たす他ユーザの判定処理において、端末処理装置２７によってランダムに設定された他ユーザ設定数ＵＢが用いられてもよい。また、キャラクタ関連画像用のオブジェクトデータに他ユーザ設定数ＵＢが関連付けて記憶されている場合、他オブジェクト選択画面１３００に対するユーザの操作に応じて取得された（キャラクタ関連画像用の）オブジェクトデータに関連付けられた他ユーザ設定数ＵＢが、選択条件を満たす他ユーザの判定処理において自動的に用いられてもよい。
The other user set number UB may be preset or automatically set. For example, the other user set number UB stored in the
選択条件がユーザと他ユーザとの関係に関する条件であり且つ他ユーザ設定数ＵＢが用いられる場合、選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢ未満であれば、追加生成処理が実行されなくてもよい。または、選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢ未満である場合、追加生成処理に用いられる他ユーザのキャラクタオブジェクトの数が他ユーザ設定数ＵＢに達するように、選択条件を満たさない他ユーザの中から他ユーザが選択されてもよい。この他ユーザの選択は、ユーザの手動操作によって他ユーザの中から他ユーザが選択されることでもよく、他ユーザの中からランダムに他ユーザが選択されることでもよい。また、選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢを超えた場合、選択条件を満たす他ユーザの中から、他ユーザ設定数ＵＢの他ユーザが、ランダムに選択されてもよく、又は、他ユーザ設定数ＵＢの他ユーザが、ユーザの手動操作によって選択されてもよい。 When the selection condition is a condition related to the relationship between the user and other users and the other user set number UB is used, if the number of other users who satisfy the selection condition is less than the other user set number UB, the additional generation process may not be executed. Alternatively, when the number of other users who satisfy the selection condition is less than the other user set number UB, other users may be selected from other users who do not satisfy the selection condition so that the number of character objects of other users used in the additional generation process reaches the other user set number UB. This selection of other users may be selected from other users by manual operation of the user, or may be selected randomly from other users. Also, when the number of other users who satisfy the selection condition exceeds the other user set number UB, other users of the other user set number UB may be randomly selected from other users who satisfy the selection condition, or other users of the other user set number UB may be selected by manual operation of the user.
選択条件がユーザと他ユーザとの関係に関する条件であり且つ他ユーザ設定数ＵＢが用いられる場合、選択条件（ユーザと他ユーザとの関係に関する条件）は、追加生成処理において複数用いられてもよい。この場合、ユーザと他ユーザとの関係に関する条件のそれぞれに対して優先順位が設定される。 When the selection conditions are conditions related to the relationship between the user and other users and the number of other users set UB is used, multiple selection conditions (conditions related to the relationship between the user and other users) may be used in the additional generation process. In this case, a priority is set for each of the conditions related to the relationship between the user and other users.
以下、優先順位１位の選択条件が「ユーザと一対一の情報交換をしたことがある」という条件であり、優先順位２位の選択条件が「所定のイベントにおいて設定されたユーザと同一のグループに属する」である場合を例に説明する。例えば、生成部２７１は、情報交換グループの所属ユーザの中から、「ユーザと一対一の情報交換をしたことがある」他ユーザを抽出する。次に、生成部２７１は、抽出された「ユーザと一対一の情報交換をしたことがある」他ユーザを、優先順位１位の選択条件を満たす他ユーザとして判定する。次に、優先順位１位の選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢ未満である場合、情報交換グループの優先順位１位の選択条件を満さない所属ユーザの中から、「所定のイベントにおいて設定されたユーザと同一のグループに属する」他ユーザを抽出する。次に、生成部２７１は、抽出された「所定のイベントにおいて設定されたユーザと同一のグループに属する」他ユーザを、優先順位２位の選択条件を満たす他ユーザとして判定する。次に、生成部２７１は、優先順位１位の選択条件を満たす他ユーザと判定された優先順位２位の選択条件を満たす他ユーザとを、選択条件を満たす他ユーザとして設定する。そして、生成部２７１は、選択条件を満たす他ユーザの数との合計を算出する。
Hereinafter, an example will be described in which the selection condition of the first priority is "having exchanged information one-to-one with the user" and the selection condition of the second priority is "belonging to the same group as the user set in the specified event". For example, the
生成部２７１は、算出された合計が他ユーザ設定数ＵＢである場合、選択条件を満たす他ユーザが用いられる。また、生成部２７１は、算出された合計が他ユーザ設定数ＵＢを超えた場合、選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢとなるように、優先順位２位の選択条件を満たす他ユーザの中から再選択した他ユーザを、優先順位２位の選択条件を満たす他ユーザとして設定する。再選択は、ユーザの手動操作による選択でもよく、生成部２７１による自動的なランダム選択でもよい。また、生成部２７１は、算出された合計が他ユーザ設定数ＵＢを未満である場合、選択条件を満たす他ユーザの数が他ユーザ設定数ＵＢとなるように、情報交換グループの優先順位１位及び２位の選択条件を満さない所属ユーザの中から、ユーザの手動操作により又はランダムに、選択条件を満たす他ユーザを設定する。
When the calculated total is the other user set number UB, the
選択条件がユーザと他ユーザとの関係に関する条件である場合において複数種類の他ユーザ設定数ＵＢが用いられもよい。例えば他ユーザ設定数ＵＢとして、「１」、「２」、「３」、「４」の４種類の数値が設定されてもよい。他ユーザ設定数ＵＢは、２種類の数値若しくは３種類の数値でもよく、５種類以上の数値でもよい。例えば、選択条件を満たす他ユーザの数が「１」である場合、追加生成処理において、他ユーザが１人の場合のキャラクタ関連画像が生成される。また、選択条件を満たす他ユーザの数が「２」である場合、追加生成処理において、他ユーザが２人の場合のキャラクタ関連画像が生成される。 When the selection condition is a condition related to the relationship between the user and other users, multiple types of other user setting numbers UB may be used. For example, four types of numerical values, "1", "2", "3", and "4", may be set as the other user setting number UB. The other user setting number UB may be two or three types of numerical values, or may be five or more types of numerical values. For example, when the number of other users satisfying the selection condition is "1", a character-related image for when there is one other user is generated in the additional generation process. Also, when the number of other users satisfying the selection condition is "2", a character-related image for when there are two other users is generated in the additional generation process.
図１５は、ユーザの端末装置２の表示装置２３に表示される情報交換画面１４００の一例を示す図である。情報交換画面１４００は、追加生成処理によって新たなキャラクタ関連画像が生成された場合に表示される。
Figure 15 is a diagram showing an example of an
情報交換画面１４００には、情報交換画面１１００と同様に、他ユーザ入力情報１４０１と、他ユーザ情報１４０２と、テキスト入力オブジェクト１００３と、候補表示ボタン１００４と、ユーザ入力情報１４０４と、追加生成ボタン１１０２とが含まれる。情報交換画面１４００の候補情報１４０３には、情報交換画面１１００の４種類の候補情報１１０１と、１種類の新たなキャラクタ関連画像に対応する候補情報とが含まれる。なお、候補情報１４０３に新たなキャラクタ関連画像に対応する候補情報が含まれた場合、以前から含まれていた４種類の候補情報１１０１のうちの１種類以上の候補情報を、候補情報１４０３から削除してもよい。例えば、２種類以上の候補情報が削除されることにより、候補情報の選択肢が減少することになり、ユーザの情報の選択を容易にすることが可能となる。
The
ユーザによる入力装置２４の操作に応じて、６種類の候補情報１４０３の中から一つの候補情報が選択された場合、入力装置２４は、選択された候補情報に関連付けられた関連画像ＩＤを端末処理装置２７に送出する。次に、表示処理部２７４は、入力装置２４から受け取った関連画像ＩＤによって識別されるキャラクタ関連画像を端末記憶装置２２から抽出し、抽出されたキャラクタ関連画像を、ユーザ入力情報１４０４として情報交換画面１４００のユーザ表示領域に表示する（図１５）。
When one piece of candidate information is selected from the six types of
表示処理部２７４によるユーザ入力情報１４０４の表示とともに、送信部２７２は、入力装置２４から受け取った関連画像ＩＤ及び端末記憶装置２２に記憶されたユーザＩＤを、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって受信されたユーザＩＤと同じ情報交換グループに関連付けられた他ユーザのユーザＩＤをサーバ記憶装置３２から抽出する。また、サーバ送信部３３２は、抽出されたユーザＩＤによって識別される他ユーザの端末装置２に、サーバ受信部３３１によって受信された関連画像ＩＤ及びユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介して送信する。
Along with displaying the
そして、他ユーザの端末装置２の受信部２７３は、サーバ装置３から送信された関連画像ＩＤ及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信する。次に、他ユーザの端末装置２の表示処理部２７４は、受信部２７３によって受信された関連画像ＩＤによって識別されるキャラクタ関連画像を端末記憶装置２２から抽出し、抽出されたキャラクタ関連画像を、他ユーザ入力情報として配信画面の他ユーザ表示領域に表示する。このように、ユーザによって使用されたキャラクタ関連画像と同一の画像が、ユーザが所属する情報交換グループに関連付けられた他ユーザの端末装置２においても表示される。
Then, the receiving
なお、他ユーザの端末装置２の表示処理部２７４は、受信された関連画像ＩＤによって識別されるキャラクタ関連画像が端末記憶装置２２に記憶されていない場合、他ユーザの端末装置２の送信部２７２は、画像送信要求をサーバ装置３に送信する。画像送信要求は、受信された関連画像ＩＤ及び／又はユーザＩＤ、並びに、他ユーザのユーザＩＤとともに送信される。サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって画像送信要求が受信された場合、画像送信要求とともに受信された関連画像ＩＤに関連付けられたキャラクタ関連画像をサーバ記憶装置３２から抽出する。次に、サーバ送信部３３２は、抽出されたキャラクタ関連画像を、受信された関連画像ＩＤ及びユーザＩＤとともに他ユーザの端末装置２に送信する。他ユーザの端末装置２の受信部２７３は、サーバ装置３から送信された関連画像ＩＤ、キャラクタ関連画像及びユーザＩＤを、端末通信Ｉ／Ｆ２１を介して受信し、互いに関連付けて端末記憶装置２２に記憶する。そして、他ユーザの端末装置２の表示処理部２７４は、記憶されたキャラクタ関連画像を、他ユーザ入力情報として配信画面の他ユーザ表示領域に表示する。
In addition, if the character-related image identified by the received related image ID is not stored in the
なお、新たなキャラクタ関連画像は、追加生成処理を開始するためにユーザが選択操作した情報交換画面１１００に係る情報交換グループ以外の他の情報交換グループに係る情報交換においても使用可能であってもよい。例えば、当該他の情報交換グループに係る情報交換画面においても、新たなキャラクタ関連画像に対応する候補情報が表示され、ユーザによる候補情報の選択に応じて、選択された候補情報に対応するキャラクタ関連画像が表示されるとともに、当該他の情報交換グループに属する他ユーザの端末装置２においても選択された候補情報に対応するキャラクタ関連画像が表示される。
The new character-related image may also be usable in information exchanges related to information exchange groups other than the information exchange group related to the
また、新たなキャラクタ関連画像は、新たなキャラクタ関連画像に含まれるキャラクタオブジェクトによって示される他ユーザが含まれない情報交換グループに係る情報交換においても使用できないように制御されてもよい。例えば、ユーザの端末装置２の表示処理部２７４は、当該ユーザのキャラクタオブジェクトと、現在表示している情報交換画面に係る情報交換グループに含まれていない一又は複数の他ユーザのキャラクタオブジェクトのみとを含むキャラクタ関連画像の候補情報を表示しない。これにより、キャラクタ関連画像に含まれているキャラクタオブジェクトによって示される他ユーザが一人も含まれていない情報交換グループ内では、当該キャラクタ関連画像の使用の制限が可能となり、キャラクタオブジェクトの意図しない拡散を防止すること可能となる。
The new character-related image may also be controlled so that it cannot be used in information exchanges related to information exchange groups that do not include other users represented by character objects included in the new character-related image. For example, the
（情報処理システム１の動作シーケンス）
図１６は、情報処理システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め端末記憶装置２２及びサーバ記憶装置３２のそれぞれに記憶されている制御プログラムに基づいて、主に端末処理装置２７及びサーバ処理装置３３により、２台の端末装置２及びサーバ装置３の各要素と協働して実行される。以下、２台の端末装置２のうち、配信端末装置２ａを、配信ユーザによって操作される端末装置２とし、視聴端末装置２ｂを、視聴ユーザによって操作される端末装置２とする。
(Operation sequence of information processing system 1)
16 is a diagram showing an example of an operation sequence of the
まず、配信端末装置２ａの送信部２７２は、生成部２７１によって生成されたキャラクタ動画データ及び配信ユーザの配信ユーザＩＤを、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する（ステップＳ１０１）。送信部２７２は、配信ユーザの音声データをキャラクタ動画データとともにサーバ装置３に送信してもよい。動画配信サービスの開始から終了までの間、ステップＳ１０１の処理は、所定時間間隔ごと（例えば、２秒間隔ごと）に連続して実行される。そして、ステップＳ１０１の処理の実行に応じて、ステップＳ１０２～Ｓ１０４に係る処理は断続的に実行される。
First, the
サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によってキャラクタ動画データが受信されるたびに、受信されたキャラクタ動画データを、サーバ通信Ｉ／Ｆ３１を介して視聴端末装置２ｂに配信する（ステップＳ１０２）。配信端末装置２ａの表示処理部２７４は、生成部２７１によって生成されたキャラクタ動画データに基づいて配信画像を表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に配信画面を表示する（ステップＳ１０３）。視聴端末装置２ｂの表示処理部２７４は、受信部２７３によって受信されたキャラクタ動画データに基づいて配信画像を表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に配信画面を表示する（ステップＳ１０４）。
The
次に、視聴端末装置２ｂの送信部２７２は、視聴ユーザによる入力装置２４の操作に応じて入力された、応答情報を配信画面に表示させるための表示指示に関する情報、及び／又は、追加オブジェクトを配信画面に表示させるための追加指示を示す情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する（ステップＳ１０５）。サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって各種指示（表示指示、追加指示等）に関する情報が受信されるたびに、受信された各種指示に関する情報を、サーバ通信Ｉ／Ｆ３１を介して配信端末装置２ａに配信する（ステップＳ１０６）。視聴端末装置２ｂの表示処理部２７４は、視聴ユーザによる入力装置２４の操作に応じて入力された各種指示に基づいて、応答情報及び／又は追加オブジェクトを表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に配信画面を表示する（ステップＳ１０７）。配信端末装置２ａの表示処理部２７４は、受信部２７３によって受信された各種指示に関する情報に基づいて、応答情報及び／又は追加オブジェクトを表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に配信画面を表示する（ステップＳ１０８）。
Next, the transmitting
次に、配信端末装置２ａの表示処理部２７４は、候補情報表示処理を実行する（ステップＳ１０９）。候補情報表示処理の詳細は後述する。なお、候補情報表示処理は、配信端末装置２ａのみが実行可能な処理に限らない。例えば、ユーザを示すキャラクタオブジェクトが利用可能な視聴端末装置２ｂの表示処理部２７４が、候補情報表示処理を実行してもよい。
Next, the
次に、配信端末装置２ａの生成部２７１及び表示処理部２７４は、追加生成処理を実行する（ステップＳ１１０）。追加生成処理の詳細は後述する。追加生成処理は、配信端末装置２ａのみが実行可能な処理に限らない。例えば、ユーザを示すキャラクタオブジェクトが利用可能な視聴端末装置２ｂの生成部２７１及び表示処理部２７４が、候補情報表示処理を実行してもよい。
Next, the
次に、配信端末装置２ａの送信部２７２は、配信ユーザによる入力装置２４の操作に応じて入力された入力情報を、端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する（ステップＳ１１１）。次に、サーバ装置３のサーバ送信部３３２は、サーバ受信部３３１によって入力情報が受信されるたびに、受信された入力情報を、サーバ通信Ｉ／Ｆ３１を介して視聴端末装置２ｂに配信する（ステップＳ１１２）。配信端末装置２ａの表示処理部２７４は、配信ユーザによる入力装置２４の操作に応じて入力された入力情報を表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に情報交換画面を表示する（ステップＳ１１３）。視聴端末装置２ｂの表示処理部２７４は、受信部２７３によって受信された入力情報を表示するための描画データを生成し、生成した描画データに基づいて表示装置２３に情報交換画面を表示する（ステップＳ１１４）。
Next, the
図１７は、候補情報表示処理の動作フローの一例を示す図である。図１７に示される候補情報表示処理は、図１７のステップＳ１１０において実行される。 Figure 17 is a diagram showing an example of the operation flow of the candidate information display process. The candidate information display process shown in Figure 17 is executed in step S110 of Figure 17.
まず、表示処理部２７４は、候補情報の表示指示が取得されたか否かを判定する（ステップＳ２０１）。候補情報の表示指示が取得されていない場合（ステップＳ２０１－Ｎｏ）、処理をステップＳ２０１に戻す（候補情報の表示指示が取得されるまで待機する。）。
First, the
表示処理部２７４は、候補情報の表示指示が取得された場合（ステップＳ２０１－Ｙｅｓ）、キャラクタ関連画像が過去に生成されて端末記憶装置２２に記憶されているか否かを判定する（ステップＳ２０２）。生成部２７１は、キャラクタ関連画像が記憶されていない場合（ステップＳ２０２－Ｎｏ）、キャラクタ関連画像を生成し（ステップＳ３０３）、処理をステップＳ２０４に進める。
When an instruction to display candidate information is acquired (step S201-Yes), the
表示処理部２７４は、キャラクタ関連画像が過去に生成されて端末記憶装置２２に記憶されている場合（ステップＳ２０２－Ｙｅｓ）、生成部２７１は、キャラクタ関連画像に対応する候補情報を生成して、表示処理部２７４は、生成された候補情報を表示し（ステップＳ２０４）、候補情報表示処理を終了する。
If a character-related image has been generated in the past and stored in the terminal storage device 22 (step S202-Yes), the
図１８は、追加生成処理の動作フローの一例を示す図である。図１８に示される追加生成処理は、図１６のステップＳ１１０において実行される。 Figure 18 is a diagram showing an example of the operation flow of the additional generation process. The additional generation process shown in Figure 18 is executed in step S110 of Figure 16.
まず、表示処理部２７４は、情報交換画面１１００に含まれる追加生成ボタン１１０２に対するユーザの選択に応じて追加生成処理が開始された場合、他オブジェクト選択画面１３００を表示装置２３に表示する（ステップＳ３０１）。次に、表示処理部２７４は、他オブジェクト選択画面１３００に含まれるユーザ選択指示ボタン１３０３に対するユーザの選択に応じてユーザ選択指示が入力されたか否かを判定する（ステップＳ３０２）。
First, when the additional generation process is started in response to the user's selection of the
ユーザ選択指示が入力されていないと判定された場合（ステップＳ３０２－Ｎｏ）、表示処理部２７４は、追加生成処理を終了する。ユーザ選択指示が入力されたと判定された場合（ステップＳ３０２－Ｙｅｓ）、表示処理部２７４は、ユーザ選択画面１３１０を表示装置２３に表示する（ステップＳ３０３）。
If it is determined that a user selection instruction has not been input (step S302-No), the
次に、表示処理部２７４は、ユーザ選択画面１３１０に含まれる追加生成指示ボタン１３１３に対するユーザの選択に応じて追加生成指示が入力されたか否かを判定する（ステップＳ３０４）。追加生成指示が入力されていないと判定された場合（ステップＳ３０４－Ｎｏ）、表示処理部２７４は、追加生成処理を終了する。追加生成指示が入力されたと判定された場合（ステップＳ３０４－Ｙｅｓ）、生成部２７１は、新たなキャラクタ関連画像を生成する（ステップＳ３０５）。そして、表示処理部２７４は、生成された新たなキャラクタ関連画像を表示し（ステップＳ３０６）、追加生成処理が終了する。
The
以上、詳述したとおり、本実施形態の情報処理システム１では、キャラクタ関連画像の生成又は追加を指示したユーザ以外の他ユーザを示すキャラクタオブジェクトに関する情報に基づいて、使用可能となるキャラクタ関連画像の種類を、増加させることができる。このように、本実施形態の情報処理システム１によって、ユーザに煩雑な操作を行わせることなく、他ユーザに提供される情報を決定するユーザインターフェースを向上させることが可能となる。また、本実施形態の情報処理システム１では、キャラクタ関連画像の生成又は追加を指示したユーザ以外の他ユーザを示すキャラクタオブジェクトに関する情報に基づいて、キャラクタ関連画像の種類を変更することができる。このように、本実施形態の情報処理システム１によって、ユーザに煩雑な操作を行わせることなく、ユーザによる、他ユーザに提供される情報を変化させてユーザの選択を飽きさせないようにすることが可能となる。
As described above in detail, in the
（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、情報交換画面において、スタンプ画像が、種類ごとに分類されて表示されてもよい。例えば、スタンプ画像には、「ＯＫ」を伝えるためのスタンプ画像、「ＮＯ」を伝えるためのスタンプ画像、「笑う」表情を有するスタンプ画像等が含まれる。また、スタンプ画像には、キャラクタ関連画像として生成されたスタンプ画像、新たなキャラクタ関連画像として生成されたスタンプ画像等が含まれてもよい。
(Variation 1)
The present invention is not limited to this embodiment. For example, on the information exchange screen, stamp images may be classified by type and displayed. For example, the stamp images include stamp images for conveying "OK", stamp images for conveying "NO", stamp images having a "laughing" expression, etc. In addition, the stamp images may include stamp images generated as character-related images, stamp images generated as new character-related images, etc.
図１９は、キャラクタ関連画像として生成されたスタンプ画像を含む情報交換画面１５００、１５１０の一例を示す図である。情報交換画面１５００、１５１０において、スタンプ画像の種類を選択するための種類選択ボタン１５０１が含まれる。ユーザによる入力装置２４の操作に応じて、いずれかの種類選択ボタン１５０１に対応する候補情報が選択された場合、選択された種類選択ボタン１５０１に対応する種類のスタンプ画像が、種類選択ボタン１５０１の下の表示領域に表示される。図１９では、スタンプ画像の種類を選択するためのウィジェットとしてボタンが例示されるが、スタンプ画像の種類を選択するためのウィジェットはタブでもよい。このように、情報交換画面１５００、１５１０において、複数のスタンプ画像のそれぞれが種類ごとに切り替えて表示される。
Figure 19 is a diagram showing an example of
図１９（ａ）は、キャラクタ関連画像として生成されたスタンプ画像に対応する種類選択ボタン１５０１が選択された場合の情報交換画面１５００の一例を示す図である。情報交換画面１５００では、キャラクタ関連画像として生成されたスタンプ画像に対応する候補情報１１０１が表示される。なお、「ＯＫ」を伝えるためのスタンプ画像に対応する種類選択ボタン１５０１が選択された場合、情報交換画面１５００には、「ＯＫ」を伝えるためのスタンプ画像に対応する候補情報が表示される。
Figure 19 (a) is a diagram showing an example of an
図１９（ｂ）は、新たなキャラクタ関連画像として生成されたスタンプ画像に対応する種類選択ボタン１５０１が選択された場合の情報交換画面１５１０の一例を示す図である。情報交換画面１５１０では、新たなキャラクタ関連画像として生成されたスタンプ画像に対応する種類選択ボタン１５０１が選択されて、この選択に応じて、新たなキャラクタ関連画像として生成されたスタンプ画像に対応する候補情報１５１１が表示される。図２１（ｂ）に示される例では、新たなキャラクタ関連画像として生成されたスタンプ画像に対応する種類選択ボタン１５０１は、「追加」と表記されたボタンオブジェクトである。
Figure 19 (b) is a diagram showing an example of an
このように、情報交換画面において、スタンプ画像が、種類ごとに分類されて表示されるように構成されることにより、ユーザインターフェースを向上させることが可能となる。このような情報交換画面により、端末装置２の表示画面のサイズに限りがあったとしても、複数のスタンプ画像の一覧性を向上させることが可能となる。また、このような情報交換画面１５００、１５１０により、ユーザは、使用を希望するスタンプ画像を直感的及び／又は容易に発見することが可能となる。また、このような情報交換画面１５００、１５１０により、ユーザは、新たなキャラクタ関連画像として生成されたスタンプ画像の有無を一見して把握することが可能となる。
In this way, the information exchange screen is configured to display stamp images categorized by type, thereby improving the user interface. Such an information exchange screen makes it possible to improve the visibility of multiple stamp images even if the size of the display screen of the
（変形例２）
端末装置２の端末処理装置２７により実現される機能の少なくとも一部は、端末装置２の端末処理装置２７以外のプロセッサにより実現されてもよい。端末処理装置２７により実現される機能の少なくとも一部は、例えば、サーバ装置３のサーバ処理装置３３により実現されてもよい。具体的には、生成部２７１と表示処理部２７４の機能の一部は、サーバ装置３において実行されてもよい。例えば、端末装置２は、連続的に取得した撮像データと音声データを、端末装置２を操作するユーザのユーザＩＤとともにサーバ装置３に送信する。そして、サーバ装置３は、生成部２７１及び表示処理部２７４の機能を用いて、キャラクタ動画データを生成し、全てのユーザの配信画像を含むコミュニケーション画面を表示装置２３に表示するための表示情報を生成する。そして、サーバ装置３は、表示情報を、音声情報（音声データ）とともに全てのユーザの各端末装置２に送信する。各端末装置２は、サーバ装置３から受信した各情報を出力する（所謂「サーバレンダリング」）。
(Variation 2)
At least a part of the functions realized by the
（変形例３）
端末装置２は、端末装置２に記憶された制御プログラムに含まれる各種命令を実行することにより、コミュニケーション画面等を表示する機能を有するが、端末装置２は、情報交換サービス及び／又は動画配信サービスを実現するために、ウェブアプリケーションに組み込まれたブラウザ機能を呼び出し、このブラウザ機能を用いて、サーバ装置からウェブページ（ＨＴＭＬ（Hyper Text Markup Language）等のマークアップ言語によって記述されたドキュメント）を受信し、このウェブページに組み込まれた制御プログラムを実行してもよい（所謂「ブラウザレンダリング」）。例えば、マークアップ言語として、ＨＴＭＬ ５が用いられることにより、端末装置２は、新規な情報処理を容易に実行することができる。端末装置２において情報交換サービス及び／又は動画配信サービスを実現させるためにこのようなウェブアプリケーションを採用することにより、プログラムの製作者は、サーバ装置により送信されるウェブページに新しいプログラムを組み込むだけで新しい情報処理をクライアントサイド（端末装置側）に提供することができ、新しいプログラムの製作工数を大幅に抑えることが可能となる。また、クライアントサイドでは、新しい制御プログラムをダウンロードせずにウェブページを受信するだけで、新しいサービスの提供を受けることができ、制御プログラムのダウンロードに比べ、通信ネットワークの負荷、通信コスト及び／又は通信時間の低減が可能となり且つユーザのインターフェースの簡素化を実現することが可能となる。
(Variation 3)
The
（変形例４）
ユーザＡの端末装置２の生成部２７１は、撮像データを用いずにフェイスモーションデータを含む出力情報を生成してもよい。例えば、端末装置２の端末記憶装置２２には、音声データに対応するフェイスモーションデータを記憶しており、生成部２７１は、取得したユーザＡの音声データに対応するフェイスモーションデータを端末記憶装置２２から抽出して、抽出したフェイスモーションデータと、音声データ及びユーザＡのユーザＩＤとを含む出力情報を生成してもよい。また、ユーザＡの端末装置２の生成部２７１は、フェイスモーションデータを含めずに、マイク２６から出力されたユーザＡの音声データと端末記憶装置２２に記憶されたユーザＩＤとを含む出力情報を生成してもよい。この場合、ユーザＢの端末装置２の表示処理部２７４は、サーバ装置３経由で受信したユーザＡの出力情報に含まれるユーザＡの音声データに対応するフェイスモーションデータを抽出して、ユーザＡのキャラクタオブジェクトのアニメーションを生成してもよい。なお、ユーザの音声データに対応するフェイスモーションデータの生成処理は、公知のリップシンクアルゴリズムを用いた処理であってもよい。
(Variation 4)
The generating
例えば、ユーザＡの端末装置２がＨＭＤを表示装置２３として用いるような場合では、ユーザＡの撮像データを取得することなしに、キャラクタオブジェクトを介したコミュニケーションをユーザＢと行うことが可能となる。
For example, if user A's
（変形例５）
各端末装置２に表示される配信画像６０２、６１２、８１２は、配信ユーザの動作に基づいて生成された３次元又は２次元のキャラクタオブジェクトのアニメーションが含まれる動画像又は静止画像に限られない。配信画像６０２、６１２、８１２には、配信ユーザの操作に応じて生成されたキャラクタオブジェクトのアニメーションが含まれてもよく、また、配信ユーザ本人の動画像又は静止画像が含まれてもよい。なお、動画配信サービス中において、各端末装置２は、これらキャラクタオブジェクトのアニメーション又は配信ユーザ本人の動画像又は静止画像を表示しなくてもよい。この場合、各端末装置２は、配信ユーザの音声のみをスピーカから音声出力してもよい。
(Variation 5)
The
このように、本実施形態に開示の「配信ユーザ」は、キャラクタ動画データをサーバ装置に送信するという端末装置の機能を少なくとも使用するユーザに限らず、各種配信画像を表示するための情報及び／又は音声データを送信する側のユーザでもよい。各種配信画像を表示するための情報は、例えば、キャラクタ動画データ、配信ユーザ本人を撮影した動画像データ等である。 In this way, the "broadcast user" disclosed in this embodiment is not limited to a user who at least uses the function of a terminal device to transmit character video data to a server device, but may also be a user who transmits information and/or audio data for displaying various broadcast images. Information for displaying various broadcast images is, for example, character video data, video data of the broadcast user himself, etc.
（変形例６）
また、本実施形態に開示の「配信ユーザ」は、単独での動画配信サービスを主催又は開催するユーザに限らない。「配信ユーザ」は、複数人が参加可能なコラボ配信サービス、複数人が参加及び／又は視聴可能なビデオチャットサービス又はボイスチャットサービスを主催又は開催するユーザでもよい。または、「配信ユーザ」は、複数人が参加及び／又は視聴可能な仮想空間上でのイベント（パーティなど）サービスを主催又は開催するユーザでもよい。このように、「配信ユーザ」は、これらのサービスをメインで実行するユーザでもよく、ホストユーザ、主催ユーザ、又は開催ユーザなどと言い換えられてもよい。
(Variation 6)
Furthermore, the "broadcast user" disclosed in this embodiment is not limited to a user who hosts or hosts a single video distribution service. The "broadcast user" may be a user who hosts or hosts a collaborative distribution service in which multiple people can participate, or a video chat service or voice chat service in which multiple people can participate and/or watch. Alternatively, the "broadcast user" may be a user who hosts or hosts an event (such as a party) service in a virtual space in which multiple people can participate and/or watch. In this way, the "broadcast user" may be a user who mainly performs these services, and may be rephrased as a host user, organizer user, or organizer user.
本実施形態に開示の「視聴ユーザ」は、配信端末装置からキャラクタ動画データを受信し且つ配信ユーザの配信画像を表示するという端末装置の機能を少なくとも使用するユーザに限らない。「視聴ユーザ」は、各種配信画像を表示するための情報及び／又は音声データを受信する側のユーザでもよい。 The "viewing user" disclosed in this embodiment is not limited to a user who at least uses the functions of the terminal device to receive character video data from the distribution terminal device and display the distribution image of the distribution user. The "viewing user" may also be a user who receives information and/or audio data for displaying various distribution images.
「視聴ユーザ」は、各種配信画像を表示するための情報及び／又は音声データを受信する側のユーザのみならず、リアクションすることも可能なユーザでもよい。例えば、「視聴ユーザ」は、動画配信サービス又はコラボ配信サービスを視聴するユーザ、若しくは、ビデオチャットサービス、ボイスチャットサービス、又はやイベントサービスに参加するユーザ及び／又はこれらサービスを視聴するユーザでもよい。そのため、本開示における「視聴ユーザ」は、ゲストユーザ、参加ユーザ、リスナー、観覧ユーザ、又は応援ユーザなどと言い換えられてもよい。 A "viewing user" may be not only a user who receives information and/or audio data for displaying various distributed images, but also a user who is capable of reacting. For example, a "viewing user" may be a user who watches a video distribution service or a collaboration distribution service, or a user who participates in a video chat service, a voice chat service, or an event service and/or a user who watches these services. Therefore, the "viewing user" in this disclosure may be rephrased as a guest user, a participating user, a listener, a viewing user, or a supporting user.
（変形例７）
また、本開示の実施形態における情報処理システム１は、複数の人が同時に参加してキャラクタオブジェクト（例えば、アバター等）を通じて、交流、仕事、及び／又は遊びなどを実社会に近いレベルの自由な活動ができるデジタル世界であって、現実と仮想の隔たりを超えて社会活動ができる、次のインターネット空間（メタバース）を提供してもよい。このような空間において、ユーザのアバターはワールド内を自由に歩き回り、互いにコミュニケーションをとることが可能である。
(Variation 7)
Furthermore, the
情報処理システム１は、かかる空間にいる複数のアバターの中の一のアバター（キャラクタオブジェクト）を、配信ユーザのキャラクタオブジェクトとして含む配信画像を配信してもよい。すなわち、多対多のメタバース空間において一対多の動画配信が行われてもよい。このような空間において、配信ユーザと視聴ユーザとは特に区別されないものとすることができる。
The
メタバース内に存在する、配信ユーザのキャラクタオブジェクトと視聴ユーザのキャラクタオブジェクトとの関係が、ユーザと他ユーザとの関係に関する選択条件を満たす他ユーザの判定処理に使用されてもよい。例えば、サーバ装置３は、配信ユーザのキャラクタオブジェクトのメタバース内の位置を示す位置情報と、視聴ユーザのキャラクタオブジェクトのメタバース内の位置を示す位置情報と、を所定時間間隔ごと（例えば１秒ごと）にサーバ記憶装置３２に記憶する。
The relationship between the broadcasting user's character object and the viewing user's character object that exists in the metaverse may be used in the process of determining other users who satisfy selection conditions regarding the relationship between the user and other users. For example, the
配信ユーザのユーザ空間がメタバース内に設定されている場合、サーバ装置３は、視聴ユーザのキャラクタオブジェクトが配信ユーザのユーザ空間内に進入するたびに、当該視聴ユーザを示すユーザＩＤを、進入ユーザＩＤとしてサーバ記憶装置に記憶する。進入ユーザＩＤは、配信ユーザを示すユーザＩＤ（配信ユーザＩＤ）に関連付けて記憶される。例えば、ユーザ空間は、配信ユーザのキャラクタオブジェクトのプライベートな部屋としてメタバース内に設定された空間である。また、ユーザ空間は、配信ユーザのキャラクタオブジェクトが動画配信を行うスタジオとしてメタバース内に設定された空間でもよい。ユーザ空間は、所定のイベントにおいて視聴ユーザが所属するグループの集合場所としてメタバース内に設定された空間でもよい。
When the user space of the broadcasting user is set in the metaverse, the
この場合において、まず、ユーザの端末装置２の送信部２７２は、当該ユーザのユーザ空間に進入した他ユーザの進入ユーザＩＤの送信要求を示す情報を、当該ユーザのユーザＩＤとともに端末通信Ｉ／Ｆ２１を介してサーバ装置３に送信する。サーバ装置３のサーバ受信部３３１は、サーバ通信Ｉ／Ｆ３１を介して、送信要求を示す情報及びユーザのユーザＩＤを受信すると、受信したユーザのユーザＩＤに関連付けられた進入ユーザＩＤを、サーバ記憶装置３２から抽出する。そして、サーバ装置３のサーバ送信部３３２は、抽出された進入ユーザＩＤを、サーバ通信Ｉ／Ｆ３１を介してユーザの端末装置２に送信する。
In this case, first, the transmitting
ユーザの端末装置２の受信部２７３は、受信した進入ユーザＩＤを端末記憶装置２２に記憶する。そして、生成部２７１は、記憶された進入ユーザＩＤによって示される他ユーザが情報交換グループの所属ユーザである場合、当該進入ユーザＩＤによって示される他ユーザを、選択条件を満たす他ユーザとして判定する。これにより、生成部２７１は、メタバース内に設定されたユーザのユーザ空間に進入した他ユーザのキャラクタオブジェクトを含むキャラクタ関連画像を自動的に生成することが可能となる。
The receiving
以上、本実施形態及びその変形例について詳述したが、本発明は特定の実施例に限定されるものではない。また、本発明の範囲から外れることなく、様々な変更、置換、及び修正を本発明に加えることが可能である。 Although the present embodiment and its modified examples have been described in detail above, the present invention is not limited to the specific examples. Furthermore, various changes, substitutions, and modifications can be made to the present invention without departing from the scope of the present invention.
１ 情報処理システム
２ 端末装置
２１ 端末通信Ｉ／Ｆ
２２ 端末記憶装置
２３ 表示装置
２４ 入力装置
２５ 撮像装置
２６ マイク
２７ 端末処理装置
２７１ 生成部
２７２ 送信部
２７３ 受信部
２７４ 表示処理部
２７５ 音声出力部
３ サーバ装置
３１ サーバ通信Ｉ／Ｆ
３２ サーバ記憶装置
３３ サーバ処理装置
３３１ サーバ受信部
３３２ サーバ送信部
４ 基地局
５ 移動体通信網
６ ゲートウェイ
７ インターネット
22
32
Claims (15)
前記一又は複数のコンピュータプロセッサが、
第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を、前記第１ユーザとは異なるユーザの端末装置に送信し、
前記第１ユーザ及び前記一又は複数の第２ユーザを含むユーザグループを設定し、
前記第１オブジェクトに関する関連画像を複数含むグループの中から前記第１ユーザによって選択された前記関連画像の表示に関する情報を、前記ユーザグループに含まれる前記第２ユーザの端末装置に送信すること、
を実行し、
前記一又は複数のコンピュータプロセッサが、
前記第１ユーザによる指示に応じて、前記第１ユーザを示す前記第１オブジェクトと、前記一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像を前記グループに含めること、
を実行することを特徴とする情報処理システム。 An information processing system including one or more computer processors,
the one or more computer processors:
Transmitting information related to display of a video including a first object representing a first user to a terminal device of a user other than the first user;
setting a user group including the first user and the one or more second users;
transmitting information regarding display of the related image selected by the first user from a group including a plurality of related images related to the first object to a terminal device of the second user included in the user group;
Run
the one or more computer processors:
In response to an instruction from the first user, including a new related image including the first object representing the first user and a second object representing at least one second user among the one or more second users into the group;
An information processing system comprising:
前記関連画像の表示に関する情報の送信において、前記一又は複数のコンピュータプロセッサが、前記少なくとも一の第２ユーザを含む前記関連画像は、前記少なくとも一の第２ユーザを含むユーザグループのみに送信すること、を実行する、請求項１に記載の情報処理システム。 In the setting of the user group, the one or more computer processors set a plurality of the user groups;
The information processing system of claim 1, wherein in transmitting information regarding the display of the related images, the one or more computer processors execute the step of transmitting the related images including the at least one second user only to a user group including the at least one second user.
前記新たな関連画像には、選択された前記一又は複数の前記第２ユーザを示す前記第２オブジェクトが含まれる、請求項１又は２に記載の情報処理システム。 selecting, by the one or more computer processors, one or more of the second users;
The information processing system according to claim 1 , wherein the new related image includes the second object indicating the selected one or more second users.
前記ユーザグループに含まれるユーザ間の情報交換に参加している前記第２ユーザの数が所定数に達したことに応じて、前記所定数の前記第２ユーザを選択し、
選択された前記所定数の前記第２ユーザを示す前記第２オブジェクトを含む前記新たな関連画像を生成すること、
を実行する、請求項１又は２に記載の情報処理システム。 the one or more computer processors:
selecting a predetermined number of the second users in response to a number of the second users participating in an information exchange between users included in the user group reaching a predetermined number;
generating the new related image including the second objects representing the selected number of the second users;
The information processing system according to claim 1 or 2, further comprising:
前記一又は複数のコンピュータプロセッサが、
第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を、前記第１ユーザとは異なるユーザの端末装置に送信し、
前記第１ユーザ及び前記一又は複数の第２ユーザを含むユーザグループを設定し、
前記第１オブジェクトに関する関連画像を複数含むグループの中から前記第１ユーザによって選択された前記関連画像の表示に関する情報を、前記ユーザグループに含まれる前記第２ユーザの端末装置に送信すること、
を含み、
前記一又は複数のコンピュータプロセッサが、
前記第１ユーザによる指示に応じて、前記第１ユーザを示す前記第１オブジェクトと、前記一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像を前記グループに含めること、
を含む制御方法。 A method for controlling an information processing system having one or more computer processors, comprising:
the one or more computer processors:
Transmitting information related to display of a video including a first object representing a first user to a terminal device of a user other than the first user;
setting a user group including the first user and the one or more second users;
transmitting information regarding display of the related image selected by the first user from a group including a plurality of related images related to the first object to a terminal device of the second user included in the user group;
Including,
the one or more computer processors:
In response to an instruction from the first user, including a new related image including the first object representing the first user and a second object representing at least one second user among the one or more second users into the group;
A control method comprising:
前記第１端末装置から送信された、前記第１ユーザを示す第１オブジェクトを含む動画の表示に関する情報を受信し、
前記第１端末装置から受信した前記動画の表示に関する情報を、前記第１ユーザとは異なるユーザの端末装置に送信し、
前記第１ユーザ及び前記一又は複数の第２ユーザを含むユーザグループを設定し、
前記第１端末装置から送信された、前記第１オブジェクトに関する関連画像を複数含むグループの中から前記第１ユーザによって選択された前記関連画像の表示に関する情報を受信し、
前記関連画像の表示に関する情報を前記第２端末装置に送信する、処理部
を備え、
前記第１ユーザによる指示に応じて、前記第１ユーザを示す前記第１オブジェクトと、前記一又は複数の第２ユーザのうちの少なくとも一の第２ユーザを示す第２オブジェクトとを含む新たな関連画像が前記グループに含まれる、
ことを特徴とするサーバ装置。
A server device that communicates with a first terminal device of a first user and one or more second terminal devices of a second user,
receiving information regarding a display of a video including a first object representing the first user, the information being transmitted from the first terminal device;
Transmitting information regarding the display of the video received from the first terminal device to a terminal device of a user different from the first user;
setting a user group including the first user and the one or more second users;
receiving information regarding display of the related image selected by the first user from a group including a plurality of related images related to the first object, the information being transmitted from the first terminal device;
a processing unit configured to transmit information regarding the display of the related image to the second terminal device;
In response to an instruction by the first user, a new related image including the first object representing the first user and a second object representing at least one second user among the one or more second users is included in the group.
A server device comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023129811A JP2024052539A (en) | 2022-09-30 | 2023-08-09 | Information processing system, control method, and server device |
| US18/373,835 US20240106778A1 (en) | 2022-09-27 | 2023-09-27 | Information processing system, control method, and server device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022158666A JP7335572B1 (en) | 2022-09-30 | 2022-09-30 | Information processing system, control method, and server device |
| JP2023129811A JP2024052539A (en) | 2022-09-30 | 2023-08-09 | Information processing system, control method, and server device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022158666A Division JP7335572B1 (en) | 2022-09-27 | 2022-09-30 | Information processing system, control method, and server device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024052539A true JP2024052539A (en) | 2024-04-11 |
Family
ID=90623385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023129811A Pending JP2024052539A (en) | 2022-09-27 | 2023-08-09 | Information processing system, control method, and server device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024052539A (en) |
-
2023
- 2023-08-09 JP JP2023129811A patent/JP2024052539A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10097492B2 (en) | Storage medium, communication terminal, and display method for enabling users to exchange messages | |
| WO2020138107A1 (en) | Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user | |
| US11750873B2 (en) | Video distribution device, video distribution method, and video distribution process | |
| US20160231878A1 (en) | Communication system, communication terminal, storage medium, and display method | |
| JP2021149407A (en) | Information process system, information processing method, and computer program | |
| US20220297006A1 (en) | Program, method, and terminal device | |
| US20240013502A1 (en) | Storage medium, method, and information processing apparatus | |
| JP7454164B2 (en) | Terminal device control program, terminal device control method, terminal device, server device control method, method executed by one or more processors, and distribution system | |
| JP7335572B1 (en) | Information processing system, control method, and server device | |
| JP7421762B1 (en) | Information processing system, control method, and server device | |
| JP7410525B1 (en) | Information processing system, control method, and server device | |
| JP2024052539A (en) | Information processing system, control method, and server device | |
| US20240106778A1 (en) | Information processing system, control method, and server device | |
| JP7312975B1 (en) | Terminal device control program, terminal device, terminal device control method, server device control program, server device, and server device control method | |
| JP7333529B1 (en) | Terminal device control program, terminal device, terminal device control method, server device control program, server device, and server device control method | |
| US20230298240A1 (en) | Control program for terminal device, terminal device, control method for terminal device, control program for server device, server device, and control method for server device | |
| JP7398069B2 (en) | Terminal device control program, terminal device, terminal device control method, server device control program, server device, and server device control method | |
| US20230298294A1 (en) | Control program of terminal device, terminal device, method of controlling terminal device, control program of server device, server device, and method of controlling server device | |
| JP6055151B1 (en) | System, method, and program for managing events | |
| JP7265085B1 (en) | Information processing system, information processing method, and program | |
| US20240152311A1 (en) | Information processing system, information processing method, and computer program | |
| JP2024016015A (en) | Program, information processing method, and information processing device | |
| WO2019095131A1 (en) | Call method, client, and storage medium |