JP6883678B2 - Video distribution system, video distribution method and video distribution program - Google Patents
Video distribution system, video distribution method and video distribution program Download PDFInfo
- Publication number
- JP6883678B2 JP6883678B2 JP2020025429A JP2020025429A JP6883678B2 JP 6883678 B2 JP6883678 B2 JP 6883678B2 JP 2020025429 A JP2020025429 A JP 2020025429A JP 2020025429 A JP2020025429 A JP 2020025429A JP 6883678 B2 JP6883678 B2 JP 6883678B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- starring
- distribution
- video
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 629
- 238000000034 method Methods 0.000 title claims description 73
- 238000011156 evaluation Methods 0.000 claims description 152
- 230000008569 process Effects 0.000 claims description 52
- 230000004044 response Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 27
- 230000008921 facial expression Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000012384 transportation and delivery Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Description
本明細書における開示は、動画配信システム、動画配信方法及び動画配信プログラムに関する。本明細書における開示は、より具体的には、ユーザの動きに基づいて生成されるキャラクタオブジェクトを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムに関する。 The disclosure in this specification relates to a video distribution system, a video distribution method, and a video distribution program. More specifically, the disclosure in the present specification relates to a video distribution system, a video distribution method, and a video distribution program for live distribution of a video including a character object generated based on a user's movement.
従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開2015−184689号公報(特許文献1)及び「長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74−79」(非特許文献1)に開示されている。 Conventionally, there has been known a video distribution system that generates an animation of a character object based on the movement of a distribution user and delivers a moving image including the animation of the character object live. Such a video distribution system is described in, for example, Japanese Patent Application Laid-Open No. 2015-184689 (Patent Document 1) and "Yusuke Hasegawa, the dawn of a new era of virtual idols PROJECT MariA, CG WORLD, Japan, Bone Digital Co., Ltd., November 2017. 10th, Vol. 231 pp. 74-79 ”(Non-Patent Document 1).
配信ユーザの動きに基づいて生成されたキャラクタオブジェクトを含む動画を配信する動画配信サービスが提供されている。このようなサービスとして、株式会社ドワンゴが提供する「バーチャルキャスト」が知られている。バーチャルキャストでは、ある配信ユーザが配信している動画に他のユーザのキャラクタオブジェクトが入り込み、二人の配信ユーザが各々のキャラクタオブジェクトを介して動画内で仮想的に共演することができる。 Distribution A video distribution service that distributes a video containing a character object generated based on the movement of a user is provided. As such a service, "Virtual Cast" provided by Dwango Co., Ltd. is known. In the virtual cast, a character object of another user enters a video distributed by a certain distribution user, and two distribution users can virtually co-star in the video via each character object.
配信動画のクオリティを保つために、どのような配信ユーザが共演相手であるかは、配信ユーザにとって重大な関心事である。しかしながら、現実世界で出演者がスタジオに集まって共演する場合と異なり、キャラクタオブジェクトを介して仮想的に共演する場合には、共演相手の配信ユーザのことを把握することが困難である。他のユーザから共演の申請があった場合に、その申請を自動的に受け入れたり、配信ユーザの決定に委ねたりすると、配信動画内で望ましくない振る舞いを行う共演相手が現れるおそれがある。動画内での共演がキャラクタオブジェクトを介して行われる場合には、共演相手に匿名性があるため、望ましくない行動を取ることに歯止めがかかりにくい。 In order to maintain the quality of the delivered video, what kind of delivery user is the co-starring partner is a serious concern for the delivery user. However, unlike the case where performers gather in a studio and co-star in the real world, it is difficult to grasp the distribution user of the co-star partner when virtually co-starring through a character object. When there is an application for co-starring from another user, if the application is automatically accepted or left to the decision of the distribution user, there is a risk that a co-starring partner who behaves undesirably in the distribution video will appear. When co-starring in a video is performed via a character object, it is difficult to stop taking undesired actions because the co-starring partner has anonymity.
このように、キャラクタオブジェクトを介して動画内で複数の配信ユーザが仮想的に共演する場合、配信動画のクオリティを確保するために、共演相手の選択を適切に行うことが望まれる。しかしながら、上記のように、現実世界での共演とは異なり、動画の配信前に共演相手が望ましい行動を取るか予測することが困難である。 In this way, when a plurality of distribution users virtually co-star in a moving image via a character object, it is desirable to appropriately select a co-starring partner in order to ensure the quality of the distributed moving image. However, as described above, unlike co-starring in the real world, it is difficult to predict whether the co-starring partner will take the desired action before the video is distributed.
本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、動画内で仮想的に共演する共演相手を選抜できる動画配信システム、動画配信方法及び動画配信プログラムを提供することである。 An object of the present disclosure is to provide technical improvements that solve or alleviate at least some of the problems of the prior art described above. One of the more specific purposes of the present disclosure is to provide a video distribution system, a video distribution method, and a video distribution program that can virtually select co-starring partners in a video.
本発明の一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備えている。一態様において、当該一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、前記共演動画を一又は複数の視聴ユーザに配信する。共演可否の判定は、前記第1ユーザに関する共演申請者情報に基づいて行われてもよい。 The video distribution system according to one aspect of the present invention includes one or more computer processors. In one aspect, the second user responds to the fact that the one or more computer processors have received a co-star application from the second user to apply for co-starring with the first user by executing a computer-readable instruction. Based on the co-starring applicant information regarding the above, it is determined whether or not the second user can co-star, and when the co-starring of the second user is permitted, a co-starring video in which the first user and the second user co-star is generated. , Distribute the co-starring video to one or more viewing users. The determination of whether or not co-starring is possible may be made based on the co-starring applicant information regarding the first user.
本発明の一態様においては、前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画である。本発明の他の態様において、前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画である。前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能であってもよい。 In one aspect of the present invention, the co-starring moving image includes a character co-starring including a first character object generated based on the movement of the first user and a second character object generated based on the movement of the second user. It is a video. In another aspect of the present invention, the co-starring moving image is a voice co-starring moving image including a first character object generated based on the movement of the first user and the voice of the second user. The character co-starring moving image and the voice co-starring moving image may be switched alternately.
本発明の一態様において、共演申請者情報は、前記第2ユーザに対する評価を示すユーザ評価情報を含む。 In one aspect of the present invention, the co-starring applicant information includes user evaluation information indicating the evaluation of the second user.
本発明の一態様において、共演申請者情報は、前記第2ユーザが配信した動画に対する評価を示す動画評価情報を含む。 In one aspect of the present invention, the co-starring applicant information includes moving image evaluation information indicating the evaluation of the moving image delivered by the second user.
本発明の一態様において、共演申請者情報は、前記第2ユーザの動画配信時間又は動画配信回数を含む。 In one aspect of the present invention, the co-starring applicant information includes the video distribution time or the number of times of video distribution of the second user.
本発明の一態様において、共演申請者情報は、前記第2ユーザが共演を禁止されているユーザを特定する共演禁止情報を含む。 In one aspect of the present invention, the co-starring applicant information includes co-starring prohibition information that identifies a user whose co-starring is prohibited by the second user.
本発明の一態様における動画配信システムは、前記第2ユーザの動きを示すモーションデータに基づいて前記共演動画において前記第2キャラクタオブジェクトがノンアクティブ状態にあると判定された場合に、前記共演動画から前記第2キャラクタオブジェクトを排除する。 The moving image distribution system according to one aspect of the present invention is based on the motion data indicating the movement of the second user, and when it is determined that the second character object is in the inactive state in the co-starring moving image, the co-starring moving image is used. The second character object is excluded.
本発明の一態様における動画配信システムは、前記共演動画の配信中における前記視聴ユーザから前記第2ユーザに対する評価を示す共演者評価情報に基づいて前記共演動画から前記第2キャラクタオブジェクトを排除する。 The moving image distribution system according to one aspect of the present invention excludes the second character object from the co-starring moving image based on the co-star evaluation information indicating the evaluation from the viewing user to the second user during the distribution of the co-starring moving image.
本発明の一態様における動画配信システムは、前記第1ユーザからの要求に基づいて前記共演動画から前記第2キャラクタオブジェクトを排除する。 The moving image distribution system according to one aspect of the present invention excludes the second character object from the co-starring moving image based on the request from the first user.
本発明の一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。当該動画配信方法は、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザ又は前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、前記共演動画を一又は複数の視聴ユーザに配信する工程と、を備える。 One aspect of the present invention relates to a video distribution method executed by one or more computer processors executing computer-readable instructions. The video distribution method receives a co-starring application for co-starring with the first user from the second user, and the second user's co-starring application information is based on the co-starring applicant information regarding the first user or the second user. A step of determining whether or not co-starring is possible, a step of generating a co-starring video in which the first user and the second user co-star when the co-starring of the second user is permitted, and one or more of the co-starring videos. It includes a process of delivering to a viewing user.
本発明の一態様は、動画配信プログラムに関する。当該動画配信プログラムは、一又は複数のコンピュータプロセッサに、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザ又は前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、前記共演動画を一又は複数の視聴ユーザに配信する工程と、を実行させる。 One aspect of the present invention relates to a moving image distribution program. The video distribution program receives a co-starring application from a second user to apply for co-starring with the first user to one or more computer processors, and responds to the co-starring applicant information regarding the first user or the second user. A step of determining whether or not the second user can co-star based on the above, and a step of generating a co-starring video in which the first user and the second user co-star when the co-starring of the second user is permitted. The step of distributing the co-starring moving image to one or more viewing users is executed.
本発明の実施形態によれば、動画内で仮想的に共演する共演相手を選抜することができる。 According to the embodiment of the present invention, it is possible to select a co-starring partner who virtually co-stars in the moving image.
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings as appropriate. The same or similar components are designated by the same reference numerals in a plurality of drawings.
図1及び図2を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で動画を配信するユーザUa,Ub及び当該ユーザUa,Ubが使用している配信ユーザ装置20a,20bを模式的に示す模式図である。配信ユーザ装置20aは、動画配信システム1において、ユーザUaの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有し、配信ユーザ装置20bは、動画配信システム1において、ユーザUbの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有する。詳しくは後述するように、動画配信システム1は、二人以上の配信ユーザのキャラクタオブジェクトを含む動画を生成し、当該動画を配信することができる。言い換えると、動画配信システム1においては、二人以上の配信ユーザが動画内で各々のキャラクタオブジェクトを介して仮想的に共演することができる。このように、二人以上の配信ユーザが各々のキャラクタオブジェクトを介して動画内で仮想的に共演している場合、その動画を共演動画と呼ぶ。例えば、ユーザUbの動きに基づいて生成されるキャラクタオブジェクトを含む動画が配信されているときに、ユーザUaがユーザUbとの共演を申請することができる。この共演申請が許可されると、ユーザUbのキャラクタオブジェクトとユーザUaのキャラクタオブジェクトとを含む共演動画が生成され、当該共演動画が配信される。配信ユーザ装置20a,20bは、動画配信システム1において配信される動画を視聴する機能を有していてもよい。
A video distribution system according to an embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a block diagram showing a video distribution system 1 according to an embodiment, and FIG. 2 is a distribution user device used by users Ua, Ub and the users Ua, Ub who distribute a video in the video distribution system 1. It is a schematic diagram which shows 20a, 20b schematically. The
動画配信システム1は、視聴ユーザ装置10と、配信ユーザ装置20a,20bと、サーバ装置60と、ストレージ70と、を備える。視聴ユーザ装置10と、配信ユーザ装置20と、サーバ装置60と、ストレージ70とは、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置60は、後述するように、配信ユーザUa及び配信ユーザUbのキャラクタオブジェクトのアニメーションを含む動画を配信するように構成される。サーバ装置60は、動画配信サービス以外にも、ユーザ同士が交流するためのソーシャルネットワーキングサービスまたは当該サービス用のプラットフォーム機能を提供してもよい。
The video distribution system 1 includes a
動画配信システム1において、動画は、サーバ装置60から視聴ユーザ装置10及び配信ユーザ装置20a,20bに配信される。配信された動画は、視聴ユーザ装置10のディスプレイに表示される。視聴ユーザ装置10のユーザである視聴ユーザは、配信された動画を視聴ユーザ装置10により視聴することができる。図面を簡潔するために図1には視聴ユーザ装置10が1台だけ示されているが、動画配信システム1は、複数の視聴ユーザ装置を備えていてもよい。配信ユーザUa,Ubは、配信された動画を視聴することにより、動画中の動画を確認しながらパフォーマンスを行うことができる。また、配信ユーザUa,Ubは、他のユーザのキャラクタオブジェクトを含む動画を配信ユーザ装置20a,20bにより視聴することができる。
In the video distribution system 1, the video is distributed from the server device 60 to the
図示の実施形態において、配信ユーザ装置20aは、コンピュータプロセッサ21aと、通信I/F22aと、ディスプレイ23aと、カメラ24aと、マイク25aと、を備えている。同様に、配信ユーザ装置20bは、コンピュータプロセッサ21bと、通信I/F22bと、ディスプレイ23bと、カメラ24bと、マイク25bと、を備えている。配信ユーザ装置20aと配信ユーザ装置20bとは同様の構成及び機能を有しているため、両者を特に区別する必要がない場合には、両者をまとめて配信ユーザ装置20と呼ぶことがあり、その構成要素もコンピュータプロセッサ21などと呼ぶことがある。
In the illustrated embodiment, the
コンピュータプロセッサ21は、ストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。 The computer processor 21 is an arithmetic unit that loads various programs that realize an operating system and various functions from the storage into a memory and executes instructions included in the loaded programs. The computer processor 21 is, for example, a CPU, an MPU, a DSP, a GPU, various arithmetic units other than these, or a combination thereof. The computer processor 21 may be realized by an integrated circuit such as an ASIC, PLD, FPGA, or MCU. Although the computer processor 21 is illustrated as a single component in FIG. 1, the computer processor 21 may be a set of a plurality of physically separate computer processors.
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。配信ユーザ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。 The communication I / F 22 is implemented as hardware, firmware, communication software such as a TCP / IP driver or PPP driver, or a combination thereof. The distribution user device 20 can transmit / receive data to / from another device via the communication I / F 22.
ディスプレイ23は、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。 The display 23 has a display panel and a touch panel. The touch panel is configured to be able to detect a player's touch operation (contact operation). The touch panel can detect various touch operations such as tapping, double tapping, and dragging of the player. The touch panel may include a capacitive proximity sensor and may be configured to be capable of detecting a player's non-contact operation.
カメラ24は、配信ユーザUa,Ubの顔を連続的に撮像し、配信ユーザUa,Ubの顔の撮像データを取得する。カメラ24により撮像された配信ユーザUa,Ubの顔の撮像データは、通信I/F22を介してサーバ装置60に送信される。カメラ24は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。 The camera 24 continuously images the faces of the distribution users Ua and Ub, and acquires the image data of the faces of the distribution users Ua and Ub. The captured data of the faces of the distribution users Ua and Ub captured by the camera 24 is transmitted to the server device 60 via the communication I / F 22. The camera 24 may be a 3D camera capable of detecting the depth of a person's face.
マイク25は、入力された音声を音声データに変換するように構成された集音装置である。マイク25は、配信ユーザUa,Ubの音声入力を取得することができるように構成され。マイク25により取得された配信ユーザUa,Ubの音声入力は音声データに変換され、この音声データが通信I/F22を介してサーバ装置60に送信される。 The microphone 25 is a sound collecting device configured to convert the input voice into voice data. The microphone 25 is configured to be able to acquire the voice input of the distribution users Ua and Ub. The voice inputs of the distribution users Ua and Ub acquired by the microphone 25 are converted into voice data, and this voice data is transmitted to the server device 60 via the communication I / F 22.
視聴ユーザ装置10は、配信ユーザ装置20と同様の構成要素を備えてもよい。例えば、視聴ユーザ装置10は、コンピュータプロセッサ、通信I/F、ディスプレイ、及びカメラを備えてもよい。視聴ユーザ装置10は、所定のアプリケーションソフトウェアをダウンロード及びインストールすることにより、配信ユーザ装置20と同様の機能を奏してもよい。
The
視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォンなどの情報処理装置である。視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。視聴ユーザ装置10及び配信ユーザ装置20の各々は、上記の構成要素以外に、ジャイロセンサ等の各種センサを備えるセンサユニット、及び各種情報を記憶するストレージを備えてもよい。
The
次に、サーバ装置60について説明する。図示の実施形態において、サーバ装置60は、コンピュータプロセッサ61と、通信I/F62と、ストレージ63と、を備えている。
Next, the server device 60 will be described. In the illustrated embodiment, the server device 60 includes a computer processor 61, a communication I / F 62, and a
コンピュータプロセッサ61は、ストレージ63又はその他のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ61は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ61は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ61が単一の構成要素として図示されているが、コンピュータプロセッサ61は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
The computer processor 61 is an arithmetic unit that loads various programs that realize an operating system and various functions from the
通信I/F62は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置60は、通信I/F62を介して、他の装置とデータを送受信することができる。 The communication I / F 62 is implemented as hardware, firmware, communication software such as a TCP / IP driver or PPP driver, or a combination thereof. The server device 60 can send and receive data to and from other devices via the communication I / F 62.
ストレージ63は、コンピュータプロセッサ61によりアクセスされる記憶装置である。ストレージ63は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ63には、様々なプログラムが記憶され得る。ストレージ63に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置60とは物理的に別体のストレージ(例えば、ストレージ70)に格納されてもよい。
The
本明細書において、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令はそれぞれ、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるプログラム又は当該プログラムに含まれる命令はそれぞれ、複数の仮想コンピュータプロセッサにより実行されてもよい。 In the present specification, the program described as being executed by the computer processor 21 or the computer processor 61 or the instructions contained in the program may be executed by a single computer processor or distributed by a plurality of computer processors. May be executed. Further, the program executed by the computer processor 21 or the computer processor 61 or the instructions included in the program may be executed by a plurality of virtual computer processors, respectively.
次に、ストレージ63に記憶されるデータについて説明する。図示の実施形態においては、ストレージ63には、モデルデータ63a、オブジェクトデータ63b、共演申請者情報63c、共演動画情報63d、及び前記以外の配信動画の生成及び配信に必要な様々なデータが記憶される。
Next, the data stored in the
モデルデータ63aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ63aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ63aは、例えば、キャラクタの顔及び顔以外の部分の骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ63aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。 The model data 63a is model data for generating a character animation. The model data 63a may be three-dimensional model data for generating a three-dimensional animation, or may be two-dimensional model data for generating two-dimensional model data. The model data 63a includes, for example, rig data (sometimes referred to as “skeleton data”) indicating the face of the character and the skeleton of a portion other than the face, and surface data indicating the shape and texture of the surface of the character. The model data 63a can include a plurality of model data different from each other. The plurality of model data may have different rig data from each other, or may have the same rig data. The plurality of model data may have different surface data from each other, or may have the same surface data.
オブジェクトデータ63bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ63bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ63bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。 The object data 63b includes asset data for constructing a virtual space constituting a moving image. The object data 63b is data for drawing the background of the virtual space constituting the moving image, data for drawing various objects displayed in the moving image, and various objects displayed in the moving image other than these. Contains data. The object data 63b may include object position information indicating the position of the object in the virtual space.
共演申請者情報63cの例が図3に示されている。図示のように、共演申請者情報63cとして、動画配信システム1を利用するユーザのアカウント情報と対応付けて、当該ユーザに関する様々なデータが記憶される。後述するように、共演申請者情報63cは、ユーザが他のユーザとの共演申請を行った場合に、当該申請を許可するか否かを判定するために参照され得る。あるユーザの共演申請者情報63cには、当該ユーザに対する評価を示すユーザ評価情報、当該ユーザが配信した動画した動画に対する評価示す動画評価情報、当該ユーザが配信した動画の配信時間を示す配信時間、当該ユーザが配信した動画の配信回数、及び当該ユーザとの共演が禁止されている共演禁止情報が含まれてもよい。共演申請者情報63cには、上記以外の情報が含まれてもよい。 An example of co-starring applicant information 63c is shown in FIG. As shown in the figure, various data related to the co-starring applicant information 63c are stored in association with the account information of the user who uses the video distribution system 1. As will be described later, the co-starring applicant information 63c can be referred to when a user makes a co-starring application with another user, in order to determine whether or not to approve the application. The co-starring applicant information 63c of a certain user includes user evaluation information indicating the evaluation of the user, video evaluation information indicating the evaluation of the video video distributed by the user, and distribution time indicating the distribution time of the video distributed by the user. The number of times the video delivered by the user is distributed and the co-starring prohibition information in which co-starring with the user is prohibited may be included. The co-starring applicant information 63c may include information other than the above.
ユーザのアカウント情報は、例えば、当該ユーザを識別するユーザ識別情報(ユーザID)である。ユーザIDは、ユーザが最初に動画配信システム1にサービスの利用登録をするときに、当該ユーザに対して割り当てられる。 The user account information is, for example, user identification information (user ID) that identifies the user. The user ID is assigned to the user when the user first registers the use of the service in the video distribution system 1.
ユーザのアカウント情報に対応付けられているユーザ評価情報は、当該ユーザに対する他のユーザからの評価を示す情報である。ユーザ評価情報は、例えば、自然数で表されるユーザ評価ポイントである。動画配信システム1のユーザは、自らのキャラクタオブジェクトを含む動画をサーバ装置60を介して配信することができる。あるユーザのユーザ評価ポイントは、当該ユーザが配信した動画に対する視聴ユーザからのフィードバックに基づいて更新されてもよい。例えば、視聴ユーザからのフィードバックには、視聴画面に表示される「いいね」ボタンの選択、否定的な評価を表す「ブー」ボタンの選択、視聴画面に表示されるアイテムのギフトのギフティング(ギフトを贈ること)、視聴画面からのコメントの送信、及びこれら以外の様々なフィードバックが含まれる。「いいね」ボタンは、視聴者が視聴動画や視聴動画を配信している配信ユーザに対して好感を持ったときに選択されることが想定されている。「いいね」ボタンは、視聴画面において、「いいね」や「Like」という好感を示す文字を含むアイコンとして示されてもよい。「ブー」ボタンは、視聴者が視聴動画や視聴動画を配信している配信ユーザに対して反感などのネガティブな印象を持ったときに選択されることが想定されている。「ブー」ボタンは、視聴画面において、「よくないね」や「disike」という反感を示す文字を含むアイコンとして示されてもよい。本明細書では、好感を示すためのボタン及びアイコンをそれぞれ「好感ボタン」及び「好感アイコン」と呼び、反感を示すためのボタン及びアイコンをそれぞれ「反感ボタン」及び「反感アイコン」と呼ぶことがある。評価ポイントには、好感ボタンの選択数、反感ボタンの選択数、ギフトのギフティング数(もしくはギフティング金額)、コメント数、又はこれら以外の視聴ユーザからのフィードバックに関連するパラメータが含まれ得る。例えば、視聴ユーザから肯定的なフィードバック又は否定的なフィードバックがなされた場合に、ユーザ評価ポイントを増加させてもよい。ユーザ評価ポイントは、視聴ユーザからの肯定的なフィードバックの数又は量をポイント数として評価するものであってもよいし、視聴ユーザからの否定的なフィードバックの数又は量をポイント数として評価するものであってもよい。さらに肯定的なフィードバックと否定的なフィードバックのそれぞれの数により、ユーザ評価ポイントが増減するようになっていてもよい。より具体的には、肯定的なフィードバックがなされた場合にユーザ評価ポイントを増加させ、否定的なフィードバックがなされた場合に減らす、もしくはその逆であってもよい。。あるユーザのユーザ評価ポイントは、当該ユーザが配信した動画に対するフィードバック以外の契機で更新されてもよい。たとえば、あるユーザが他のユーザとサーバ装置60が提供するソーシャルネットワーキングサービスを利用して交流する際に、当該ソーシャルネットワーキングサービスを利用した活動に基づいてユーザ評価ポイントが更新されてもよい。 The user evaluation information associated with the user's account information is information indicating the evaluation of the user by another user. The user evaluation information is, for example, a user evaluation point represented by a natural number. The user of the video distribution system 1 can distribute a video including his / her own character object via the server device 60. The user evaluation points of a user may be updated based on the feedback from the viewing user on the video delivered by the user. For example, feedback from viewers includes selecting a "Like" button that appears on the viewing screen, selecting a "Boo" button that represents a negative rating, and gifting gifts for items that appear on the viewing screen. Give a gift), send comments from the viewing screen, and various other feedbacks. It is assumed that the “Like” button is selected when the viewer likes the viewing video or the distribution user who distributes the viewing video. The “Like” button may be displayed as an icon on the viewing screen that includes characters indicating a favorable impression such as “Like” or “Like”. The "boo" button is supposed to be selected when the viewer has a negative impression such as an antipathy toward the viewing video or the distribution user who distributes the viewing video. The "boo" button may be shown as an icon on the viewing screen that includes characters that indicate "bad" or "disike". In the present specification, the buttons and icons for showing a favorable impression may be referred to as "favorable button" and "favorable icon", respectively, and the buttons and icons for indicating antipathy may be referred to as "antipathy button" and "antipathy icon", respectively. is there. The evaluation points may include parameters related to the number of selections of the favorable button, the number of selections of the negative button, the number of gift gifts (or gifting amount), the number of comments, or other feedback from the viewing user. For example, the user evaluation points may be increased when positive feedback or negative feedback is given from the viewing user. The user evaluation points may evaluate the number or amount of positive feedback from the viewing user as the number of points, or evaluate the number or amount of negative feedback from the viewing user as the number of points. It may be. Furthermore, the number of positive feedback and the number of negative feedback may increase or decrease the user evaluation points. More specifically, the user evaluation points may be increased when positive feedback is given, decreased when negative feedback is given, or vice versa. .. The user evaluation points of a user may be updated at an opportunity other than feedback on the video delivered by the user. For example, when a user interacts with another user using the social networking service provided by the server device 60, the user evaluation points may be updated based on the activity using the social networking service.
ユーザのアカウント情報に対応付けられている動画評価情報は、当該ユーザが配信した動画に対する他のユーザからの評価を示す情報である。動画評価情報は、例えば、自然数で表される動画評価ポイントである。あるユーザの動画評価ポイントは、当該ユーザが配信した動画に対する視聴ユーザからのフィードバックに基づいて更新されてもよい。あるユーザが配信した動画に対して、当該動画を視聴した視聴ユーザから肯定的なフィードバックがなされた場合又は否定的なフィードバックがなされた場合に、当該ユーザの動画評価ポイントを増加させてもよい。あるユーザが配信した動画に対してフィードバックがなされた場合には、ユーザ評価ポイント及び動画評価ポイントを両方とも更新してもよい。 The video evaluation information associated with the user's account information is information indicating the evaluation of the video distributed by the user from other users. The moving image evaluation information is, for example, a moving image evaluation point represented by a natural number. The video evaluation points of a user may be updated based on the feedback from the viewing user on the video delivered by the user. When a viewing user who has viewed the video gives positive feedback or negative feedback to the video delivered by a user, the video evaluation point of the user may be increased. When feedback is given to a video delivered by a user, both the user evaluation point and the video evaluation point may be updated.
ユーザのアカウント情報に対応付けられている配信時間は、当該ユーザが配信した動画の配信時間である。この配信時間は、動画配信システム1の利用開始からの総配信時間であってもよいし、ある一定の期間における配信時間であってもよい。ユーザのアカウント情報に対応付けられている配信回数は、当該ユーザが配信した動画の配信回数である。この配信回数は、動画配信システム1の利用開始からの総配信時間であってもよいし、ある一定の期間における配信回数であってもよい。 The delivery time associated with the user's account information is the delivery time of the video delivered by the user. This distribution time may be the total distribution time from the start of use of the video distribution system 1, or may be the distribution time in a certain period. The number of distributions associated with the user's account information is the number of distributions of the video distributed by the user. The number of distributions may be the total distribution time from the start of use of the video distribution system 1, or may be the number of distributions in a certain period.
ユーザのアカウント情報に対応付けられている共演禁止情報は、当該ユーザを共演禁止ユーザとして指定している他のユーザのユーザIDである。動画配信システム1において、あるユーザは、共演を行わない他のユーザを指定することができる。例えば、ユーザAは、自らが配信する動画において望ましくない行動をとると思われるユーザBを共演禁止ユーザとして指定することができる。この場合、ユーザBのユーザIDと対応付けて、ユーザAのユーザIDが共演禁止情報として記憶される。ユーザAがユーザBを共演禁止ユーザとして指定する場合、ユーザAのユーザIDと対応付けてユーザBのユーザIDを共演禁止情報として記憶してもよい。 The co-starring prohibition information associated with the user's account information is the user ID of another user who has designated the user as the co-starring prohibition user. In the video distribution system 1, one user can specify another user who does not perform co-starring. For example, the user A can designate the user B, who seems to take an undesired action in the video delivered by the user A, as a co-star prohibited user. In this case, the user ID of the user A is stored as the co-star prohibition information in association with the user ID of the user B. When the user A designates the user B as the co-star prohibition user, the user ID of the user B may be stored as the co-star prohibition information in association with the user ID of the user A.
共演動画情報の例が図4に示されている。図示のように、共演動画情報63dとして、共演動画を識別する共演動画識別情報と対応付けて、当該共演動画に関する様々なデータが記憶される。ある共演動画の共演動画情報63dには、当該共演動画における共演ユーザに対する評価を示す共演ユーザ評価情報、及び当該共演動画の共演開始からの経過時間を示す共演時間情報が含まれてもよい。 An example of co-starring video information is shown in FIG. As shown in the figure, various data related to the co-starring moving image are stored as the co-starring moving image information 63d in association with the co-starring moving image identification information for identifying the co-starring moving image. The co-starring video information 63d of a co-starring video may include co-starring user evaluation information indicating the evaluation of the co-starring user in the co-starring video, and co-starring time information indicating the elapsed time from the start of co-starring of the co-starring video.
あるユーザが他のユーザとの共演申請を行い当該共演申請が許可されて共演動画が配信される場合、その共演申請を行ったユーザを「共演ユーザ」と呼ぶことがある。また、元々動画の配信を行っており、共演申請を受けたユーザを「ホストユーザ」と呼ぶことがある。共演ユーザ情報は、ホストユーザではなく共演ユーザに対する評価を示す。ある共演ユーザの共演ユーザ評価情報は、例えば、自然数で表される共演ユーザ評価ポイントである。 When a user applies for co-starring with another user and the co-starring application is permitted and the co-starring video is distributed, the user who made the co-starring application may be referred to as a "co-starring user". In addition, the user who originally distributed the video and received the co-starring application may be called a "host user". The co-star user information indicates the evaluation for the co-star user, not the host user. The co-starring user evaluation information of a co-starring user is, for example, a co-starring user evaluation point represented by a natural number.
共演時間情報は、共演ユーザとホストユーザとの共演が始まってからの経過時間を示す。 The co-starring time information indicates the elapsed time from the start of co-starring between the co-starring user and the host user.
配信ユーザ装置20は、配信プログラム及び/又はそれ以外のプログラムをコンピュータプロセッサで実行することにより、フェイスモーションデータ生成部211a以外の機能を実現してもよい。例えば、配信ユーザ装置20は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよい。配信プログラムと視聴プログラムとは、一つのアプリケーションソフトウェアにパッケージングされていてもよいし、別個のアプリケーションソフトウェアとして提供されてもよい。 The distribution user device 20 may realize a function other than the face motion data generation unit 211a by executing the distribution program and / or other programs on the computer processor. For example, the distribution user device 20 may realize a function of playing back a received moving image by executing a viewing program for watching a moving image. The distribution program and the viewing program may be packaged in one application software, or may be provided as separate application software.
視聴ユーザ装置10は、配信ユーザ装置20と同様の機能を提供するように構成されてもよい。例えば、視聴ユーザ装置10は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよく、配信プログラムを実行することによりフェイスモーションデータ生成部211aの機能と同様の機能を実現してもよい。
The
次に、コンピュータプロセッサ21a,21bにより実現される機能についてより具体的に説明する。コンピュータプロセッサ21aは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部211aとして機能する。同様に、コンピュータプロセッサ21bは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部211bとして機能する。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21a,21b以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、例えば、サーバ装置60に搭載されているコンピュータプロセッサ61により実現されてもよい。 Next, the functions realized by the computer processors 21a and 21b will be described more specifically. The computer processor 21a functions as the face motion data generation unit 211a by executing a computer-readable instruction included in the distribution program. Similarly, the computer processor 21b functions as the face motion data generation unit 211b by executing a computer-readable instruction included in the distribution program. At least a part of the functions realized by the computer processors 21a and 21b may be realized by a computer processor other than the computer processors 21a and 21b of the moving image distribution system 1. At least a part of the functions realized by the computer processors 21a and 21b may be realized by, for example, the computer processor 61 mounted on the server device 60.
フェイスモーションデータ生成部211aは、カメラ24aの撮像データに基づいて、配信ユーザUaの顔の動きのデジタル表現であるフェイスモーションデータを生成する。同様に、フェイスモーションデータ生成部211bは、カメラ24bの撮像データに基づいて、配信ユーザUbの顔の動きのデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータ生成部211aにて生成されるフェイスモーションデータは、配信ユーザUaの顔の動き(表情の変化)を時系列的にデジタル表現することができ、フェイスモーションデータ生成部211bにて生成されるフェイスモーションデータは、配信ユーザUbの顔の動き(表情の変化)を時系列的にデジタル表現することができる。フェイスモーションデータ生成部211a,211bにて生成されたフェイスモーションデータは、通信I/F22a,22bを介してサーバ装置60に送信される。
The face motion data generation unit 211a generates face motion data, which is a digital representation of the face movement of the distribution user Ua, based on the image data of the
配信ユーザ装置20においては、フェイスモーションデータ生成部211aにて生成されるフェイスモーションデータに加えて、配信ユーザUa,Ubの体の顔以外の各部位の位置及び向きのデジタル表現であるボディモーションデータを生成してもよい。配信ユーザ装置20は、フェイスモーションデータに加えて、ボディモーションデータをサーバ装置60に送信してもよい。ボディモーションデータを生成するために、配信ユーザUa,Ubは、モーションセンサを装着してもよい。配信ユーザ装置20は、配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づいて、ボディモーションデータを生成することができるように構成されてもよい。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、配信ユーザUa,Ubの体の動きを時系列的にデジタルデータとして表現する。配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、多軸レーザーエミッターであってもよい。配信ユーザUa,Ubに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。撮影スタジオに備えられるベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。また、撮影スタジオと別室には、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポートコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置60は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータ(本明細書では「サポーター」ということがある。)は、配信ユーザUa,Ubを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージを撮影スタジオのディスプレイに表示することができる。 In the distribution user device 20, in addition to the face motion data generated by the face motion data generation unit 211a, body motion data which is a digital representation of the position and orientation of each part other than the face of the body of the distribution users Ua and Ub. May be generated. The distribution user device 20 may transmit body motion data to the server device 60 in addition to the face motion data. In order to generate body motion data, the distribution users Ua and Ub may be equipped with a motion sensor. The distribution user device 20 may be configured to be able to generate body motion data based on the detection information of the motion sensors attached to the distribution users Ua and Ub. Body motion data may be generated at predetermined sampling time intervals. In this way, the body motion data expresses the body movements of the distribution users Ua and Ub as digital data in chronological order. The generation of body motion data based on the detection information of the motion sensors attached to the distribution users Ua and Ub may be performed in, for example, a shooting studio. The shooting studio may be equipped with a base station, a tracking sensor, and a display. The base station may be a multi-axis laser emitter. The motion sensor mounted on the distribution users Ua and Ub may be, for example, a Vive Tracker provided by HTC CORPORATION. The base station provided in the shooting studio may be, for example, a base station provided by HTC CORPORATION. In addition, a supporter computer may be installed in a room separate from the shooting studio. The display in the shooting studio may be configured to display information received from the support computer. The server device 60 may be installed in the same room where the supporter computer is installed. The room where the supporter computer is installed and the shooting studio may be separated by a glass window. In this case, the operator of the supporter computer (sometimes referred to as "supporter" in the present specification) can visually recognize the distribution users Ua and Ub. The supporter computer may be configured so that the settings of various devices provided in the shooting studio can be changed according to the operation of the supporter. The supporter computer can, for example, set the scanning interval by the base station, set the tracking sensor, and change various settings of various other devices. The supporter can input a message to the supporter computer and display the input message on the display of the shooting studio.
次に、コンピュータプロセッサ61により実現される機能についてより具体的に説明する。コンピュータプロセッサ61は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、アニメーション生成部61a、動画生成部61b、動画配信部61c、共演申請判定部61d、共演申請処理部61e、及び共演終了処理部61fとして機能する。 Next, the functions realized by the computer processor 61 will be described more specifically. The computer processor 61 executes the computer-readable instructions included in the distribution program to execute the animation generation unit 61a, the video generation unit 61b, the video distribution unit 61c, the co-star application determination unit 61d, the co-star application processing unit 61e, and the co-star. It functions as the end processing unit 61f.
アニメーション生成部61aは、配信ユーザ装置20のフェイスモーションデータ生成部21aによって生成されたフェイスモーションデータを、モデルデータ63aに含まれる所定のモデルデータに適用することにより、キャラクタオブジェクトのアニメーションを生成するように構成される。アニメーション生成部61aは、キャラクタオブジェクトの表情が当該フェイスモーションデータに基づいて変化するように、当該キャラクタオブジェクトのアニメーションを生成することができる。具体的には、アニメーション生成部61aは、配信ユーザUaに関するフェイスモーションデータに基づいて、配信ユーザUaの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。同様に、アニメーション生成部61aは、配信ユーザUbに関するフェイスモーションデータに基づいて、配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。 The animation generation unit 61a generates an animation of the character object by applying the face motion data generated by the face motion data generation unit 21a of the distribution user device 20 to the predetermined model data included in the model data 63a. It is composed of. The animation generation unit 61a can generate an animation of the character object so that the facial expression of the character object changes based on the face motion data. Specifically, the animation generation unit 61a can generate an animation of a character object that moves in synchronization with the movement of the facial expression of the distribution user Ua based on the face motion data related to the distribution user Ua. Similarly, the animation generation unit 61a can generate an animation of a character object that moves in synchronization with the movement of the facial expression of the distribution user Ub based on the face motion data related to the distribution user Ub.
配信ユーザ装置20から配信ユーザUa,Ubに関するボディモーションデータが提供される場合には、アニメーション生成部61aは、配信ユーザUa,Ubに関するボディモーションデータ及びフェイスモーションデータに基づいて、配信ユーザUa,Ubの体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。 When the distribution user device 20 provides the body motion data related to the distribution users Ua and Ub, the animation generation unit 61a determines the distribution users Ua and Ub based on the body motion data and the face motion data related to the distribution users Ua and Ub. It is possible to generate an animation of a character object that moves in synchronization with the movement of the body and facial expression.
動画生成部61bは、配信ユーザUaの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUaに対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成することができる。動画生成部61bは、生成した動画に、配信ユーザ装置20aから受信した音声データに基づいて生成される配信ユーザUaの音声を合成することができる。同様に、動画生成部61bは、配信ユーザUbの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUbに対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成することができる。動画生成部61bは、生成した動画に、配信ユーザ装置20bから受信した音声データに基づいて生成される配信ユーザUbの音声を合成することができる。動画生成部61bによって生成される動画において、配信ユーザUa,Ubに対応するキャラクタオブジェクトは、背景画像に重畳して表示される。以上のようにして、動画生成部61bは、配信ユーザUa又は配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、このアニメーションに配信ユーザUa又は配信ユーザUbの音声が合成された配信用の動画を生成することができる。
When distributing the video of the distribution user Ua, the video generation unit 61b generates a background image showing the background using the object data 63b, and the background image, the animation of the character object corresponding to the distribution user Ua, and the animation of the character object corresponding to the distribution user Ua. It is possible to generate a video containing. The moving image generation unit 61b can synthesize the sound of the distribution user Ua generated based on the voice data received from the
動画配信部61cは、動画生成部61bにおいて生成された動画を配信する。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置に配信される。生成された動画は、配信ユーザ装置20a,20bにも配信される。受信された動画は、視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生される。動画配信部61cは、配信ユーザごとに、動画の配信時間及び配信回数の少なくとも一方をモニターしてもよい。動画配信部61cは、モニター結果に基づいて、共演申請者情報の配信時間及び配信回数を更新してもよい。
The moving image distribution unit 61c distributes the moving image generated by the moving image generation unit 61b. This moving image is distributed to the
動画配信部61cから配信された動画の表示例を図5及び図6a〜図6bに示す。これらの図では、配信ユーザUbが配信ユーザ装置20bを用いて、自らのキャラクタオブジェクトを含む動画を配信し、当該動画が視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生されていると想定している。図6aにおいては、配信ユーザUaは、動画配信を行っておらず、別の配信ユーザである配信ユーザUbによって配信されている動画を視聴している。このため、図5及び図6a〜図6bに関する説明においては、配信ユーザUaのことも視聴ユーザと呼ぶことがある。図5は、視聴ユーザ装置10において再生されている動画の表示例を示し、図6aは、配信ユーザ装置20aにおいて再生されている動画の表示例を示し、図6bは、配信ユーザ装置20bにおいて再生されている動画の表示例を示す。
A display example of the moving image distributed from the moving image distribution unit 61c is shown in FIGS. 5 and 6a to 6b. In these figures, it is assumed that the distribution user Ub distributes a moving image including its own character object using the
図5に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された動画の表示画像30が表示される。この視聴ユーザ装置10に表示されている表示画像30には、アニメーション生成部61aにより生成された配信ユーザUbのキャラクタオブジェクト31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。
As shown in FIG. 5, the display of the
図6aに示されているように、配信ユーザ装置20aのディスプレイには、サーバ装置60から配信された動画の表示画像130が表示される。この表示画像130には、表示画像30と同様に、配信ユーザUbのキャラクタオブジェクト31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。これに加えて、表示画像130には、配信ユーザUbが配信している動画において配信ユーザUbとの共演を申請するための共演申請ボタン36が含まれる。配信ユーザ装置20aは、例えば、視聴プログラムを含むアプリケーションソフトウェアを実行することにより、配信された動画の表示画像130を表示することができる。
As shown in FIG. 6a, the display of the
図3に示されているように、一実施形態において、視聴ユーザ装置10の表示画像30には共演申請ボタン36が含まれない。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされていない場合、及び、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されていない場合に、共演申請ボタン36が含まれないように視聴ユーザ装置10の表示画像30が生成される。他の実施形態では、視聴ユーザ装置10の表示画像30にも共演申請ボタン36を表示してもよい。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされている場合、または、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されている場合に、共演申請ボタン36が含まれるように視聴ユーザ装置10の表示画像30が生成される。
As shown in FIG. 3, in one embodiment, the
キャラクタオブジェクト31は、上記のように、配信ユーザUbのフェイスモーションデータをモデルデータ63aに含まれているモデルデータに適用することにより生成されているため、配信ユーザUbの表情の動きに同期してその表情が変化する。配信ユーザ装置20からボディモーションデータが提供される場合には、キャラクタオブジェクト31は、その顔以外の部位も、配信ユーザUbの体の動きに同期して変化するように制御され得る。
Since the
ギフトボタン32は、視聴ユーザ装置10への操作によって選択可能に表示画面30に表示されている。ギフトボタン32は、例えば、視聴ユーザ装置10のタッチパネルのうちギフトボタン32が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン32が選択されると、表示画面30に、視聴中の動画を配信している配信ユーザ(ここでは、配信ユーザUbである。)にギフティングするギフトを選択するためのウィンドウが表示される。当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入することができる。他の実施形態においては、ギフトボタン32が選択されたことに応じて、表示画面30に、購入済みのギフトの一覧を含むウィンドウが表示される。この場合、当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。視聴ユーザ装置10においてギフトボタン32が選択されると、ギフティング情報がサーバ装置60に送信されてもよい。このギフティング情報には、ギフティングするギフトを特定するギフト識別情報(ギフトID)が含まれてもよい。このように、動画を視聴している視聴ユーザは、ギフトボタン32の選択により、当該動画を配信している配信ユーザに対して所望のギフトを提供(ギフティング)することができる。
The
評価ボタン33は、視聴ユーザ装置10を使用する視聴ユーザによって選択可能に表示画面30に表示されている。評価ボタン33は、例えば、視聴ユーザ装置10のタッチパネルのうち評価ボタン33が表示されている領域へのタップ操作により選択され得る。動画を視聴中の視聴ユーザによって評価ボタン33が選択されると、当該動画を配信する配信ユーザ(図示の例においては、配信ユーザUb)への肯定的な評価又は配信されている動画への肯定的な評価がなされたことを示す評価更新情報がサーバ装置60に送信されてもよい。サーバ装置60では、視聴ユーザからの評価更新情報に基づいて、共演申請者情報を更新することができる。例えば、視聴ユーザからの評価更新情報に基づいて、共演申請者情報に含まれるユーザ評価情報及び動画評価情報のうちの少なくとも一方が更新されてもよい。例えば、図5に示されている表示画像30に含まれる評価ボタン33が視聴ユーザによって選択された場合、視聴ユーザ装置10に表示されている動画を配信している配信ユーザUbのユーザ評価情報及び動画評価情報の少なくとも一方が更新されてもよい。評価ボタン33の選択により、当該動画への否定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。動画への肯定的な評価を示す評価情報をポジティブ評価情報と呼び、動画への否定的な評価がなされたことを示す評価情報をネガティブ評価情報と呼んでもよい。サーバ装置60は、ポジティブ評価情報を受信した場合、ユーザ評価情報及び動画評価情報の少なくとも一方を増加させてもよい。サーバ装置60は、ネガティブ評価情報を受信した場合、ユーザ評価情報及び動画評価情報の少なくとも一方を減少させてもよい。
The
コメントボタン34は、ユーザによって選択可能に表示画面30に表示される。コメントボタン34が例えばタップ操作により選択されると、コメントを入力するためのコメント入力ウィンドウが表示画面30に表示される。視聴ユーザは、視聴ユーザ装置10又は配信ユーザ装置20aの入力機構を介してコメントを入力することができる。入力されたコメントは、視聴ユーザ装置10及び配信ユーザ装置20aからサーバ装置60に送信される。サーバ装置60は、視聴ユーザ装置10、配信ユーザ装置20a、及びこれら以外のユーザ装置からのコメントを受け付け、当該コメントを表示画像30内のコメント表示領域35に表示する。コメント表示領域35には、各ユーザから投稿されたコメントが、例えば時系列に表示される。コメント表示領域35は、表示画面30の一部の領域を占める。コメント表示領域35に表示可能なコメント数には上限がある。図示の例では、コメント表示領域35には3つまでコメントが表示され得る。コメント表示領域35に設定されている上限を超えたコメントの投稿がなされた場合には、投稿時間が古いコメントから順にコメント表示領域35から削除される。このため、受け付けるコメントの頻度が高くなるほどコメント領域35における各コメントの表示時間は短くなる。
The
図6bに示されているように、配信ユーザ装置20bのディスプレイには、サーバ装置60から配信された動画の表示画像40が表示される。この配信ユーザ装置20bに表示される表示画像40には、配信ユーザUbに対応するキャラクタオブジェクト31と、視聴ユーザから受け取ったギフトを動画中に表示するための表示指示ボタン42a〜42cと、コメント表示領域35と、が含まれている。配信ユーザ装置20bに表示される表示画像40には、表示画像30及び表示画像130と同じ背景画像、キャラクタオブジェクト画像、及びコメントが含まれている。他方、表示画像40は、ギフトボタン32、評価ボタン33、コメントボタン34、及び共演申請ボタン36を含んでおらず、表示指示ボタン42a〜42cを含んでいる点で表示画像30及び表示画像130と異なっている。
As shown in FIG. 6b, the display of the
共演申請判定部61dは、あるユーザからの共演申請を受け付けた場合に、当該ユーザの共演申請を許可するか否かを判定する。共演申請は、例えば、配信された動画の視聴中に共演申請ボタン36を選択することによりサーバ装置60に送信され、この送信された共演申請がサーバ装置60にて受け付けられる。共演申請を行うユーザを共演申請ユーザと呼び、共演申請を受けたユーザをオリジナルユーザと呼ぶことがある。例えば、画像を配信しているユーザAに対してユーザBが共演申請を行う場合には、ユーザAがオリジナルユーザであり、ユーザBが共演申請ユーザである。以下では、配信ユーザUbのキャラクタオブジェクト31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされたと想定して説明を行う。配信ユーザUaは、配信ユーザ装置20aにおいて共演申請ボタン36を選択することにより配信ユーザUbとの共演を申請するための共演申請を配信ユーザ装置20aからサーバ装置60に送信することができる。この例においては、配信ユーザUaが共演申請ユーザである。共演申請ボタン36が選択されたことに応じて、配信ユーザ装置20aにおいて配信プログラムを含むアプリケーションソフトウェアが起動されてもよい。サーバ装置は、配信ユーザUaからの共演申請だけでなく、様々な配信ユーザからの共演申請を受け付けることができる。
When the co-starring application determination unit 61d receives a co-starring application from a certain user, it determines whether or not to allow the co-starring application of the user. The co-starring application is transmitted to the server device 60 by selecting the
一実施形態において、配信ユーザUaから配信ユーザUbとの共演を申請する共演申請を受け付けると、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報の少なくとも一部に基づいて、配信ユーザUaと配信ユーザUbとの共演を許可するか否かを判定する。一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうちユーザ評価情報に基づいて、配信ユーザUaの共演可否を判定する。ユーザ評価情報がユーザ評価ポイントである場合には、ユーザ評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演が許可され、当該閾値以下の場合には配信ユーザUaの配信ユーザUbとの共演は拒否される。既述のとおり、ユーザ評価ポイントは、他のユーザからのフィードバックにより更新され得る。ユーザ評価情報は、ユーザ評価ポイント以外であってもよい。例えば、あるユーザのユーザ評価情報は、当該ユーザが受け取ったギフトの数量であってもよい。ギフトは、視聴ユーザから配信ユーザに対して贈られるものであるから、あるユーザに対して贈られたギフトの数量は、当該ユーザに対する評価を表すと考えられる。本発明に適用可能なユーザ評価情報は、本明細書に明示的に説明されたものには限定されない。配信ユーザUaのユーザ評価情報に基づいて当該配信ユーザUaの共演可否を判定することにより、他のユーザからの評価が高いユーザについてのみ共演を許可することができる。 In one embodiment, when a co-star application for co-starring with the distribution user Ub is received from the distribution user Ua, the co-star application determination unit 61d is based on at least a part of the co-star application information of the distribution user Ua who is the co-star application user. Then, it is determined whether or not the co-starring of the distribution user Ua and the distribution user Ub is permitted. In one embodiment, the co-starring application determination unit 61d determines whether or not the distribution user Ua can co-star based on the user evaluation information among the co-starring applicant information of the distribution user Ua who is the co-starring application user. When the user evaluation information is a user evaluation point, co-starring with the distribution user Ub of the distribution user Ua is permitted when the user evaluation point is larger than a predetermined threshold value, and when the user evaluation point is less than the threshold value, the distribution user Ua Co-starring with the distribution user Ub is refused. As mentioned above, the user evaluation points can be updated by feedback from other users. The user evaluation information may be other than the user evaluation points. For example, the user evaluation information of a user may be the quantity of gifts received by the user. Since the gift is given from the viewing user to the distribution user, the quantity of the gift given to the user is considered to represent the evaluation of the user. User evaluation information applicable to the present invention is not limited to that expressly described herein. By determining whether or not the distribution user Ua can co-star based on the user evaluation information of the distribution user Ua, co-starring can be permitted only for users who are highly evaluated by other users.
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち動画評価情報に基づいて、配信ユーザUaの共演可否を判定する。動画評価情報が動画評価ポイントである場合、共演申請判定部61dは、動画評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可し、当該閾値以下の場合に配信ユーザUaの配信ユーザUbとの共演を拒否してもよい。本発明に適用可能な動画評価情報は、本明細書に明示的に説明されたものには限定されない。配信ユーザUaが配信した動画に対する評価を示す動画評価情報に基づいて当該配信ユーザUaの共演可否を判定することにより、他のユーザからの評価が高い動画を配信したユーザについてのみ共演を許可することができる。 In one embodiment, the co-starring application determination unit 61d determines whether or not the co-starring user Ua can co-star based on the video evaluation information among the co-starring applicant information of the distribution user Ua who is the co-starring application user. When the video evaluation information is a video evaluation point, the co-starring application determination unit 61d permits co-starring with the distribution user Ub of the distribution user Ua when the video evaluation point is larger than a predetermined threshold value, and when the video evaluation point is equal to or less than the threshold value. The co-starring of the distribution user Ua with the distribution user Ub may be refused. The moving image evaluation information applicable to the present invention is not limited to that expressly described herein. By determining whether or not the distribution user Ua can co-star based on the video evaluation information indicating the evaluation of the video distributed by the distribution user Ua, only the user who has distributed the video highly evaluated by other users is allowed to co-star. Can be done.
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち配信時間及び配信回数の一方又は両方に基づいて、配信ユーザUaの共演可否を判定する。共演申請判定部61dは、配信時間及び配信回数の少なくとも一方がそれぞれについて定められた閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可してもよい。共演申請判定部61dは、配信時間及び配信回数の両方がそれぞれについて定められた閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可してもよい。配信ユーザUaが配信した動画の配信時間及び/又は配信回数に基づいて当該配信ユーザUaの共演可否を判定することにより、動画の配信に積極的なユーザについてのみ共演を許可することができる。 In one embodiment, the co-starring application determination unit 61d determines whether or not the co-starring user Ua can co-star based on one or both of the distribution time and the number of distributions in the co-starring applicant information of the distribution user Ua who is the co-starring application user. The co-starring application determination unit 61d may allow the co-starring of the distribution user Ua with the distribution user Ub when at least one of the distribution time and the number of distributions is larger than the threshold value set for each. The co-starring application determination unit 61d may allow the co-starring of the distribution user Ua with the distribution user Ub when both the distribution time and the number of distributions are larger than the threshold values set for each. By determining whether or not the distribution user Ua can co-star based on the distribution time and / or the number of distributions of the video distributed by the distribution user Ua, co-starring can be permitted only for the user who is active in the distribution of the video.
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち共演禁止情報に基づいて配信ユーザUaの共演可否を判定する。例えば、共演申請判定部61dは、配信ユーザUbのユーザIDが出演禁止情報に含まれている場合に配信ユーザUaの配信ユーザUbとの共演を拒否し、配信ユーザUbのユーザIDが出演禁止情報に含まれていない場合に配信ユーザUaの配信ユーザUbとの共演を許可する。共演禁止情報を参照することにより、共演の禁止が設定されているユーザとの共演を回避することができる。 In one embodiment, the co-starring application determination unit 61d determines whether or not the co-starring user Ua can co-star based on the co-starring prohibition information among the co-starring applicant information of the distribution user Ua who is the co-starring application user. For example, the co-starring application determination unit 61d refuses to co-star with the distribution user Ub of the distribution user Ua when the user ID of the distribution user Ub is included in the appearance prohibition information, and the user ID of the distribution user Ub is the appearance prohibition information. If it is not included in, the distribution user Ua is allowed to co-star with the distribution user Ub. By referring to the co-starring prohibition information, it is possible to avoid co-starring with a user for whom co-starring prohibition is set.
一実施形態において、配信ユーザUaから配信ユーザUbとの共演を申請する共演申請を受け付けると、共演申請判定部61dは、オリジナルユーザである配信ユーザUbの共演申請者情報の少なくとも一部に基づいて、配信ユーザUaと配信ユーザUbとの共演を許可するか否かを判定する。例えば、共演申請判定部61dは、配信ユーザUbの共演申請者情報においてユーザUaのユーザIDが出演禁止情報に含まれている場合に配信ユーザUaの配信ユーザUbとの共演を拒否し、配信ユーザUaのユーザIDが出演禁止情報に含まれていない場合に配信ユーザUaの配信ユーザUbとの共演を許可する。このように、オリジナルユーザの共演申請者情報に含まれる共演禁止情報を参照することによっても、共演の禁止が設定されているユーザとの共演を回避することができる。一実施形態において、共演申請判定部61dは、オリジナルユーザの共演申請者情報に代えて、またはこれに加えて、オリジナルユーザ以外の共演申請者情報に含まれる共演禁止情報を参照して共演申請ユーザとオリジナルユーザとの共演を許可するか否かを判定してもよい。例えば、配信ユーザUaから配信ユーザUbとの共演申請がなされた場合に、共演申請判定部61dは、配信ユーザUa及び配信ユーザUbのいずれとも異なる配信ユーザUcの共演申請者情報において配信ユーザUaのユーザIDが出演禁止情報に含まれている場合に、配信ユーザUaの配信ユーザUbとの共演を拒否してもよい。共演申請判定部61dは、共演申請ユーザ及びオリジナルユーザ以外の複数のユーザの共演申請者情報において、当該共演申請ユーザのユーザIDが出演禁止情報に含まれている場合に、当該共演申請ユーザとオリジナルユーザとの共演を拒否してもよい。 In one embodiment, when a co-starring application for co-starring with the distribution user Ub is received from the distribution user Ua, the co-starring application determination unit 61d is based on at least a part of the co-starring applicant information of the distribution user Ub which is the original user. , It is determined whether or not the co-starring of the distribution user Ua and the distribution user Ub is permitted. For example, the co-starring application determination unit 61d refuses to co-star with the distribution user Ub of the distribution user Ua when the user ID of the user Ua is included in the appearance prohibition information in the co-starring applicant information of the distribution user Ub, and the distribution user When the user ID of Ua is not included in the appearance prohibition information, the co-starring of the distribution user Ua with the distribution user Ub is permitted. In this way, by referring to the co-starring prohibition information included in the co-starring applicant information of the original user, it is possible to avoid co-starring with the user for whom co-starring prohibition is set. In one embodiment, the co-starring application determination unit 61d refers to the co-starring prohibition information included in the co-starring applicant information other than the original user in place of or in addition to the co-starring applicant information of the original user, and the co-starring application user. And whether or not to allow co-starring with the original user may be determined. For example, when a co-starring application with the distribution user Ub is made by the distribution user Ua, the co-starring application determination unit 61d determines that the distribution user Ua has the co-starring applicant information of the distribution user Uc different from both the distribution user Ua and the distribution user Ub. When the user ID is included in the appearance prohibition information, the co-starring of the distribution user Ua with the distribution user Ub may be refused. When the user ID of the co-starring application user is included in the appearance prohibition information in the co-starring applicant information of a plurality of users other than the co-starring application user and the original user, the co-starring application determination unit 61d is the co-starring application user and the original. You may refuse to co-star with the user.
共演申請判定部61dは、上記の判定条件を組み合わせて共演可否を判定してもよい。例えば、ユーザ評価情報に関する条件と配信時間に関する条件とを組み合わせることにより、他のユーザからの評価が高く且つ動画配信に積極的なユーザについてのみ共演を許可することができる。配信ユーザの人気が高まると、他のユーザからの共演申請が殺到する可能性がある。このような場合には、共演申請判定部61dでの判定に用いられる共演を許可するための許可条件を厳しくすることにより、多数の共演申請ユーザから望ましい共演相手を選抜することができる。共演申請判定部61dにおいて用いられる許可条件は、共演の申請を受けたユーザ(上記の例では、配信ユーザUb)の人気度に応じて変更されてもよい。例えば、共演の申請を受けたユーザの人気度に応じて、ユーザ評価ポイント、動画評価ポイント、配信時間、配信回数、及びこれら以外の共演申請者情報について設定される閾値を高くしてもよい。共演の申請を受けたユーザの人気度は、例えば、当該ユーザが配信している動画の視聴ユーザ数に基づいて定めることができる。 The co-star application determination unit 61d may determine whether or not co-starring is possible by combining the above determination conditions. For example, by combining the conditions related to user evaluation information and the conditions related to distribution time, co-starring can be permitted only for users who are highly evaluated by other users and who are active in video distribution. As the popularity of distribution users increases, there is a possibility of a flood of co-starring applications from other users. In such a case, a desirable co-star partner can be selected from a large number of co-star application users by tightening the permission conditions for permitting the co-star used for the determination by the co-star application determination unit 61d. The permission conditions used in the co-starring application determination unit 61d may be changed according to the popularity of the user who has received the co-starring application (in the above example, the distribution user Ub). For example, the threshold value set for the user evaluation point, the video evaluation point, the delivery time, the number of deliveries, and the co-starring applicant information other than these may be increased according to the popularity of the user who has received the application for co-starring. The popularity of a user who has received an application for co-starring can be determined, for example, based on the number of viewing users of the video distributed by the user.
一実施形態において、共演申請処理部61eは、共演申請判定部61dにおいて、共演申請が許可された場合に、当該共演申請に基づいて配信ユーザUaと配信ユーザUbとが共演する共演動画を生成する。共演動画の生成のために、共演申請処理部61eは、配信ユーザUaから、当該配信ユーザUaのフェイスモーションデータ及び音声データを取得する。配信ユーザUaのフェイスモーションデータは、共演申請とともに配信ユーザ装置20aからサーバ装置60に送信されてもよいし、共演申請が許可された後にサーバ装置60からの要求に応じて配信ユーザ装置20aからサーバ装置60に送信されてもよい。配信ユーザUaの体の動きもアニメーションとして表現される場合には、配信ユーザUaのフェイスモーションデータとともにボディモーションデータがサーバ装置60に提供されてもよい。共演申請処理部61eは、配信ユーザUaからフェイスモーションデータが取得できない場合には、配信ユーザUaから音声データのみを取得してもよい。例えば、配信ユーザUaが使用する配信ユーザ装置20aがフェイスモーションデータ生成部211aの機能またはこれ以外の動画配信のための機能を備えていない場合、当該機能がディスエーブルされている場合、及びこれら以外の場合には、共演申請処理部61eは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得してもよい。また、共演申請処理部61eは、共演申請判定部61dにおいて共演申請が許可された場合に、各配信ユーザの配信ユーザ装置に表示される表示画像に共演申請ボタン36を表示させない(共演申請ボタン36をディスエーブルする)ための処理を行ってもよい。これにより、共演が許可されたときに余分な共演申請がなされることを防止できる。
In one embodiment, the co-starring application processing unit 61e generates a co-starring video in which the distribution user Ua and the distribution user Ub co-star based on the co-starring application when the co-starring application is approved by the co-starring application determination unit 61d. .. In order to generate the co-starring moving image, the co-starring application processing unit 61e acquires the face motion data and the voice data of the distribution user Ua from the distribution user Ua. The face motion data of the distribution user Ua may be transmitted from the
一実施形態において、共演申請処理部61eは、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUbのキャラクタオブジェクト31を含む配信中の動画に、配信ユーザUaのキャラクタオブジェクトのアニメーションを追加することで、共演動画を生成する。配信ユーザUaのキャラクタオブジェクトのアニメーションは、アニメーション生成部61aにおいて、配信ユーザUaのフェイスモーションデータに基づいて生成されてもよい。配信ユーザUaのキャラクタオブジェクトのアニメーションは、配信ユーザUaのフェイスモーションデータをモデルデータ63aに含まれている配信ユーザUa用のモデルデータに適用することにより生成されてもよい。例えば、共演申請処理部61eは、配信ユーザUaのキャラクタオブジェクトのアニメーションを含むレイヤーを生成し、このレイヤーを配信ユーザUbのキャラクタオブジェクト31を含む動画に重畳することで、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することができる。配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することで、配信ユーザUaと配信ユーザUbとは互いに離れた地点から動画配信システム1を利用している場合であっても、当該共演動画内で仮想的に共演することができる。共演申請処理部61eは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得した場合には、配信ユーザUbのキャラクタオブジェクト31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタオブジェクト31と配信ユーザUaの音声とを含む共演動画を生成することができる。共演申請処理部61eは、モデルデータ63aとして配信ユーザUa用のモデルデータが設定されていない場合にも、配信ユーザUbのキャラクタオブジェクト31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタオブジェクト31と配信ユーザUaの音声とを含む共演動画を生成することができる。このように、配信ユーザUaは、自らの音声により配信ユーザUbと共演することができる。
In one embodiment, the co-star application processing unit 61e adds an animation of the character object of the distribution user Ua to the video being distributed including the
共演申請処理部61eは、配信ユーザUaからフェイスモーションデータを取得できない場合に配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画を配信し、その後配信ユーザUaからフェイスモーションデータを取得したタイミングで、配信ユーザUaのフェイスモーションデータに基づいて配信ユーザUaのキャラクタオブジェクトを生成することで、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することができる。このように、共演申請処理部61eは、配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画を、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画に切り替えることができる。これとは逆に、共演申請処理部61eは、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を、配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画に切り替えることができる。このように、音声による共演が行われている共演動画(「音声共演動画」と呼ぶことがある。)とキャラクタオブジェクトによる共演が行われている共演動画(「キャラクタ共演動画」と呼ぶことがある。)とは、交互に切り替え可能とされてもよい。
When the co-starring application processing unit 61e cannot acquire the face motion data from the distribution user Ua, the co-starring video including the voice of the distribution user Ua and the
生成された共演動画は、動画配信部61cにより配信される。共演動画は、配信ユーザ装置20aで作成されてもよい。共演動画が配信ユーザ装置20aで生成される場合には、当該共演動画が配信ユーザ装置20aからサーバ装置60に送信され、サーバ装置60の動画配信部61cにより配信される。
The generated co-starring moving image is distributed by the moving image distribution unit 61c. The co-starring moving image may be created by the
動画配信部61cから配信された共演動画の表示例を図7及び図8a〜図8bに示す。これらの図では、配信ユーザUaから配信ユーザUbに対するが共演申請が許可されたため、配信ユーザUaのキャラクタオブジェクト131及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画が配信されていることを想定している。
A display example of the co-starring moving image distributed from the moving image distribution unit 61c is shown in FIGS. 7 and 8a to 8b. In these figures, since the co-starring application is permitted from the distribution user Ua to the distribution user Ub, it is assumed that the co-starring video including the
図7に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された共演動画の表示画像230が表示される。この視聴ユーザ装置10に表示されている共演動画の表示画像230には、配信ユーザUbのキャラクタオブジェクト31に加えて、配信ユーザUaのキャラクタオブジェクト131が含まれている。配信ユーザUaのキャラクタオブジェクト131は、上記のように、アニメーション生成部61a又は共演申請処理部61eにおいて生成される。共演動画の表示画像230は、図5に示されている元の配信画像と同様に、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、を含んでいる。共演動画の表示画像230は、これらに加えて、ゲスト評価ボタン133a,133bを含んでいる。ゲスト評価ボタン133aは、ゲストユーザ(図示の例では、配信ユーザUaがゲストユーザである。)への肯定的な評価を示すポジティブ評価情報をサーバ装置60へ送信するためのボタンであり、ゲスト評価ボタン133bは、共演動画への否定的な評価を示すネガティブ評価情報をサーバ装置60へ送信するためのボタンである。
As shown in FIG. 7, the display of the
共演動画の配信画像230は、図示のとおり、横長の画像である。共演申請処理部61e又は動画配信部61cは、共演動画を横長の動画として配信する。これにより、視聴ユーザ装置10には、共演動画の配信画像230が横長の画像として表示される。一実施形態においては、元の動画(画像)が図4に示されているように縦長だとしても、共演動画は横長に変換されて配信される。共演動画は、二人の配信ユーザのキャラクタオブジェクトを含むため、横長の画像とすることにより、二人分のキャラクタオブジェクトを重複なく表示しやすくなる。例えば、共演動画においては、視聴ユーザの視点で向かって左半分を元の配信ユーザのキャラクタオブジェクトに割り当てられる領域とし、右半分を共演申請を行った配信ユーザのキャラクタオブジェクトに割り当てられる領域としてもよい。各配信ユーザへの領域の割り当ては、キャラクタオブジェクト同士が重複しないように任意に定められてもよい。
As shown in the figure, the
図8aに示されているように、配信ユーザUaの配信ユーザ装置20aのディスプレイには、サーバ装置60から配信された共演動画の表示画像330が表示される。この表示画像330には、表示画像230と同じ背景画像、キャラクタオブジェクト画像、及びコメントが含まれている。他方、表示画像330は、ギフトボタン32、評価ボタン33、コメントボタン34、及び共演申請ボタン36を含んでおらず、表示指示ボタン42a〜42cを含んでいる点で表示画像230と異なっている。
As shown in FIG. 8a, the
図8bに示されているように、配信ユーザ装置20bのディスプレイには、サーバ装置60から配信された共演動画の表示画像430が表示される。表示画像430には、共演相手の配信ユーザUaの配信ユーザ装置20aに表示されている画像330と同じ背景画像、キャラクタオブジェクト31,131、コメント35、及び表示指示ボタン42a〜42cが含まれている。他方、表示画像430には、共演を終了させるための共演終了ボタン45が表示されている。共演終了ボタン45は、共演申請を受けた配信ユーザUbの画面430には表示されるが、共演申請を行った配信ユーザUaの画面には表示されない。配信ユーザUb(ホストユーザ)の配信ユーザ装置20bにおいて共演終了ボタン45が選択されると、共演動画において配信ユーザUaとの共演を終了するための処理が行われる。例えば、共演終了ボタン45が選択されたことに応じて、配信ユーザ装置20bからサーバ装置60に対して共演終了指示が送信される。配信ユーザUbは、共演動画を再生している間に、共演者である配信ユーザUaを共演禁止ユーザとして設定することができる。例えば、共演動画内で配信ユーザUaが望ましくない行動や言動を行ったときに、配信ユーザUaを共演禁止ユーザとして設定することができる。配信ユーザUaの共演禁止ユーザとしての設定は、配信ユーザUaの共演申請者情報の出演禁止情報に配信ユーザUbのユーザIDを記録することにより行われてもよい。サーバ装置60は、例えば、配信ユーザ装置20bから共演終了指示を受け付けると、配信ユーザUbの共演申請者情報において配信ユーザUaを共演禁止ユーザとして自動的に登録することができる。配信ユーザUbは、共演動画の再生時以外に、配信ユーザUaを出願禁止ユーザとして設定してもよい。例えば、動画配信システム1が提供するメッセージングサービスにおいて配信ユーザUaによる望ましくないメッセージの投稿を確認したことに応じて、配信ユーザUaを出願禁止ユーザとして設定してもよい。
As shown in FIG. 8b, the display of the
ホストユーザである配信ユーザUbの表示画像430には、ゲストユーザに警告を与えるための警告ボタン(不図示)が表示されてもよい。この警告ボタンは、ホストユーザの表示画像430には表示されるが、ゲストユーザの表示画像には表示されない。警告ボタンは、共演終了ボタン45とは異なり、ただちに共演を終了させる程度には至らないが、ゲストユーザがホストユーザにとって望ましくない行動をとった場合にホストユーザによって選択されることが想定される。ホストユーザの配信ユーザ装置(例えば、配信ユーザUbの配信ユーザ装置20b)において警告ボタンが選択されると、配信ユーザ装置20bからサーバ装置60に対して警告指示が送信される。ホストユーザの配信ユーザ装置において警告ボタンが選択されると、ゲストユーザの配信ユーザ装置(例えば、配信ユーザUaの配信ユーザ装置20a)に表示される共演動画の表示画像330においてホストユーザから警告がなされたことを示す警告情報が表示されてもよい。警告情報を視聴ユーザの表示画像230に表示することにより、視聴ユーザに対してゲストユーザの望ましくない行動に対してホストユーザが対応していることを示すことができる。警告情報は、表示画像330に代えて又は表示画像330に加えて、視聴ユーザ装置10における表示画像230に表示されてもよい。警告情報を含む共演動画は、サーバ装置60において生成されてもよい。サーバ装置60は、あるホストユーザからあるゲストユーザに対して警告指示がなされた回数をカウントし、警告指示の回数が所定回数(例えば、3回)になったときに当該ホストユーザと当該ゲストユーザとの共演を終了するための処理を行ってもよい。この所定回数以上の警告指示に基づいて共演を終了させるための処理は、上述した共演終了指示に基づいて共演を終了させるための処理と同じ処理であってもよい。
A warning button (not shown) for giving a warning to the guest user may be displayed on the
共演申請処理部61eは、作成した共演動画を識別する動画IDを発行してもよい。この動画IDと対応付けて、当該共演動画に関する共演動画情報をストレージ63に記憶することができる。既述のように、配信されている共演動画の動画IDと対応付けて、当該共演動画の共演時間情報を更新してもよい。共演時間情報は、動画配信部61cにおいて共演動画の配信時間をモニターし、このモニター結果に基づいて更新されてもよい。
The co-star application processing unit 61e may issue a video ID that identifies the created co-star video. The co-starring moving image information related to the co-starring moving image can be stored in the
共演動画情報のうち共演ユーザ評価情報は、視聴ユーザ装置10からのゲストユーザである配信ユーザUaへの肯定的な評価示すポジティブ評価情報及び当該配信ユーザUaへの否定的な評価を示すネガティブ評価情報に基づいて更新されてもよい。例えば、サーバ装置60は、視聴ユーザ装置10から配信ユーザUaへの肯定的な評価示すポジティブ評価情報を受信した場合には共演ユーザ評価ポイントを増加させてもよく、配信ユーザUaへの否定的な評価示すネガティブ評価情報を受信した場合には共演ユーザ評価ポイントを減少させてもよい。視聴ユーザが共演動画の視聴を途中で止めた場合には、当該視聴ユーザが当該共演動画に満足していない可能性がある。よって、視聴ユーザが共演動画の視聴を途中で止めた場合に、ゲストユーザへのネガティブな評価があったものとして、当該ゲストユーザの共演ユーザ評価ポイントを減少させてもよい。ポジティブ評価情報及びネガティブ評価情報の少なくとも一方は、時間の経過とともに減少するように更新されてもよい。例えば、配信ユーザUaがある時刻において100ポイントのポジティブ評価情報を有していても、時間の経過に伴って当該ポジティブ評価情報はゼロに近づくように更新されてもよい。あるユーザについてのネガティブ評価情報が所定の値を超えると、当該ユーザについては他のユーザとの共演を禁止してもよい。例えば、ネガティブ評価情報が所定値を超えたユーザの配信ユーザ装置に表示される表示画像においては、共演申請ボタンを表示させない処理がなされてもよい。
Of the co-starring video information, the co-starring user evaluation information includes positive evaluation information indicating a positive evaluation to the distribution user Ua who is a guest user from the
共演終了処理部61fは、ゲストユーザである配信ユーザUaとホストユーザである配信ユーザUbとの共演を終了させるための共演終了条件が満たされるとゲストユーザである配信ユーザUaとホストユーザである配信ユーザUbとの共演を終了するための処理を行う。一実施形態において、共演終了処理部61fは、ホストユーザである配信ユーザUbの配信ユーザ装置20bから共演終了指示を受け付けると、共演終了条件が満たされたと判定し、共演動画の配信を終了するための処理を行う。例えば、共演終了処理部61fは、共演終了指示が受け付けられると、配信ユーザUaのキャラクタオブジェクト131のアニメーションの生成を中止し、配信ユーザUaのキャラクタオブジェクト131を含まず配信ユーザUbのキャラクタオブジェクト31を含む動画を生成する。言い換えると、配信する動画からゲストユーザである配信ユーザUaのキャラクタオブジェクト131を排除する。ゲストユーザである配信ユーザUaのキャラクタオブジェクト131が排除されることにより、配信ユーザUaと配信ユーザUbとの共演は終了する。共演が終了した後は、キャラクタオブジェクト131を含まずにキャラクタオブジェクト31を含む動画の配信が継続されてもよい。この共演終了後に配信される動画は、図4に示されているように、縦長の動画として生成されてもよい。つまり、共演が終了したことに応じて、動画の向きが変更されてもよい。一実施形態においては、共演が終了したことに応じて、動画の向きが横向きから縦向きに変更されてもよい。他の実施形態においては、共演が終了したことに応じて、ホストユーザである配信ユーザUbによる動画の配信を終了してもよい。一実施形態において、配信ユーザUbとの共演が終了したときに他のユーザからの共演申請を既に受信している場合、共演申請判定部61dは、当該共演申請に基づいて当該他のユーザの共演可否を判定してもよい。別の一実施形態において、共演終了処理部61fは、配信ユーザUbとの共演が終了したことに応じて、別のユーザからの共演申請を受け付けてもよい。例えば、各配信ユーザの配信ユーザ装置における表示画像において共演申請ボタン36を再度表示させる(共演申請ボタン36のディスエーブル状態を解除する)ための処理が行われてもよい。
When the co-starring end condition for terminating the co-starring between the guest user distribution user Ua and the host user distribution user Ub is satisfied, the co-starring end processing unit 61f is the guest user distribution user Ua and the host user distribution user Ua. Performs processing for ending the co-starring with the user Ub. In one embodiment, when the co-starring end processing unit 61f receives the co-starring end instruction from the
一実施形態において、共演終了処理部61fは、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かを判定し、ノンアクティブ状態にあると判定された場合に、共演終了条件が満たされたと判定する。一実施形態において、配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かは、配信ユーザUaの配信ユーザ装置20aから受け取るフェイスモーションデータ、ボディモーションデータ、及び音声データのうちの少なくとも一つに基づいて判定される。フェイスモーションデータ、ボディモーションデータ、及び音声データはいずれも配信ユーザの動きを示すデータであるため、本明細書では、これらを総称して「モーションデータ」と呼ぶことがある。配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かは、モーションデータに基づいて、すなわちフェイスモーションデータ、ボディモーションデータ、及び音声データのうちの少なくとも一つに基づいて判定される。例えば、配信ユーザUaの配信ユーザ装置20aからフェイスモーションデータの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131の表情が当該一定期間動かなくなるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。配信ユーザUaの配信ユーザ装置20aからボディモーションデータの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131の体の動きが当該一定期間動なくなるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。配信ユーザUaの配信ユーザ装置20aから音声データの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131が当該一定期間無言となるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。
In one embodiment, the co-starring end processing unit 61f determines whether or not the
一実施形態において、共演終了処理部61fは、配信されている共演動画の共演動画情報に応じて、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131を動画から排除することで共演を終了させる。例えば、共演終了処理部61fは、共演ユーザ評価情報が共演ユーザ評価ポイントである場合には、共演ユーザ評価ポイントが所定の閾値よりも小さくなった場合に配信ユーザUaのキャラクタオブジェクト131を動画から排除することで当該配信ユーザUaとの共演を終了させることができる。視聴ユーザからゲストユーザである配信ユーザUaに対するネガティブ評価情報を受けるほど共演ユーザ評価ポイントは小さくなる。よって、共演ユーザ評価ポイントに基づいて配信ユーザUaとの共演を終了するか否かを判定することにより、視聴ユーザからの評価が低いユーザと長期間共演することを回避できる。
In one embodiment, the co-starring end processing unit 61f ends the co-starring by excluding the
次に、図9を参照して、一態様による動画配信処理について説明する。図9は、一実施形態における動画配信処理の流れを示すフロー図である。図9を参照して説明される動画配信処理においては、配信ユーザUbが配信ユーザ装置20bを用いて取得したフェイスモーションデータに基づいて生成された動画が配信されることが想定されている。
Next, with reference to FIG. 9, a moving image distribution process according to one aspect will be described. FIG. 9 is a flow chart showing the flow of the moving image distribution process in one embodiment. In the moving image distribution process described with reference to FIG. 9, it is assumed that the moving image generated based on the face motion data acquired by the distribution user Ub using the
まず、ステップS11では、配信ユーザUbの顔の動き(表情)のデジタル表現であるフェイスモーションデータが生成される。フェイスモーションデータの生成は、例えば、配信ユーザ装置20bのフェイスモーションデータ生成部121bで行われる。配信ユーザ装置20bにおいては、配信ユーザUa,Ubからの音声入力に基づいて音声データが生成されてもよい。生成されたフェイスモーションデータ及び音声データは、サーバ装置60に送信される。
First, in step S11, face motion data, which is a digital representation of the facial movement (facial expression) of the distribution user Ub, is generated. The face motion data is generated, for example, by the face motion data generation unit 121b of the
次に、ステップS12において、配信ユーザ装置20bからのフェイスモーションデータが、配信ユーザUb用のモデルデータに適用されることにより、配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクト31のアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部61aで行われる。
Next, in step S12, the face motion data from the
次に、ステップS13において、配信ユーザUbのキャラクタオブジェクト31のアニメーションを含む動画が生成される。この動画には、配信ユーザUbの音声が合成されてもよい。キャラクタオブジェクト31のアニメーションは、背景画像に重畳して表示される。この動画の生成は、例えば、上記の動画生成部61bで行われる。
Next, in step S13, a moving image including the animation of the
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。配信された動画が視聴ユーザ装置10において再生される場合には、例えば、図4に示すような表示画面が視聴ユーザ装置10に表示される。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。この動画の配信は、例えば、上記の動画配信部61cで行われる。
Next, the process proceeds to step S14, and the moving image generated in step S13 is distributed. This moving image is distributed to the
次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、配信ユーザUbが配信ユーザ装置20bにおいて配信を終了するための操作を行ったこと、またはこれら以外の条件である。終了条件が成就していなければステップS11〜S14の処理が繰り返し実行され、配信ユーザUbの動きに同期したアニメーションを含む動画、又は、配信ユーザUaとの共演が継続している場合には共演動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
Next, the process proceeds to step S15, and it is determined whether or not the termination condition for terminating the distribution of the moving image is satisfied. The end condition is, for example, that the end time of the distribution has been reached, that the distribution user Ub has performed an operation for ending the distribution on the
次に、図10を参照して、一実施形態における共演動画の配信処理について説明する。図10は、一実施形態において共演動画を配信する処理の流れを示すフロー図である。図10を参照して説明される共演動画の配信処理においては、配信ユーザUbのキャラクタオブジェクトを含む動画を視聴している配信ユーザUaから配信ユーザUbに対して共演申請がなされることが想定されている。共演動画の配信処理は、図9に示されている動画の配信処理と並行して行われる。 Next, with reference to FIG. 10, the distribution process of the co-starring moving image in one embodiment will be described. FIG. 10 is a flow chart showing a flow of processing for distributing a co-starring moving image in one embodiment. In the distribution process of the co-starring video described with reference to FIG. 10, it is assumed that the distribution user Ua viewing the video including the character object of the distribution user Ub makes a co-starring application to the distribution user Ub. ing. The co-starring moving image distribution process is performed in parallel with the moving image distribution process shown in FIG.
まず、配信ユーザUbのキャラクタオブジェクトを含む動画の配信中に、ステップS21において、配信ユーザUb以外のユーザから共演申請がなされたか否かが判定される。共演申請は、例えば、配信ユーザUaからなされる。配信ユーザUaによって共演申請がなされた場合には、処理はステップS22に進む。 First, it is determined in step S21 whether or not a co-star application has been made by a user other than the distribution user Ub during distribution of the moving image including the character object of the distribution user Ub. The co-starring application is made, for example, by the distribution user Ua. When the co-starring application is made by the distribution user Ua, the process proceeds to step S22.
ステップS22では、共演を申請した配信ユーザUaの共演申請を許可するか否かが判定される。共演申請を許可するか否かは、配信ユーザUaの共演申請者情報の少なくとも一部に基づいて判定される。例えば、配信ユーザUaの共演申請者情報のうちユーザ評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演が許可され、当該閾値以下の場合には配信ユーザUaの配信ユーザUbとの共演は拒否される。この共演申請を許可するか否かの判定は、例えば、共演申請判定部61dにより行われる。 In step S22, it is determined whether or not to allow the co-starring application of the distribution user Ua who applied for co-starring. Whether or not to allow the co-starring application is determined based on at least a part of the co-starring applicant information of the distribution user Ua. For example, when the user evaluation point of the co-starring applicant information of the distribution user Ua is larger than a predetermined threshold value, co-starring with the distribution user Ub of the distribution user Ua is permitted, and when the user evaluation point is less than the threshold value, the distribution user Ua is distributed. Co-starring with user Ub is refused. For example, the co-starring application determination unit 61d determines whether or not to allow the co-starring application.
ステップS22において、共演申請を許可すると判定された場合には、処理はステップS23に進む。ステップS23では、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUaのキャラクタオブジェクト131のアニメーションが生成される。そして、配信中の動画(配信ユーザUbのキャラクタオブジェクト31を含む動画)に、配信ユーザUaのキャラクタオブジェクト131のアニメーションを追加することで、共演動画を生成する。ステップS16における処理は、例えば、上記の共演申請処理部61eで行われる。
If it is determined in step S22 that the application for co-starring is permitted, the process proceeds to step S23. In step S23, the animation of the
次に、処理は、ステップS24に移行する。ステップS24では、ステップS23にて生成された共演動画が配信される。この共演動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。共演動画には、例えば、図7及び図8a〜図8bに示されているように、配信ユーザUaのキャラクタオブジェクト131のアニメーション及び配信ユーザUbのキャラクタオブジェクト31のアニメーションが含まれる。
Next, the process proceeds to step S24. In step S24, the co-starring moving image generated in step S23 is delivered. This co-starring moving image is distributed to the
次に、処理は、ステップS25に移行する。ステップS25では、共演終了条件が満たされたか否かが判定される。例えば、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にある場合、共演ユーザ評価ポイントが所定の閾値以下になった場合、ホストユーザである配信ユーザUbから共演終了指示を受け付けた場合、又は共演動画の配信開始から所定時間以上が経過したことのいずれかの条件が満たされた場合に、共演終了条件が満たされたと判定される。共演終了条件が満たされた場合には、処理はステップS26に進む。
Next, the process proceeds to step S25. In step S25, it is determined whether or not the co-starring end condition is satisfied. For example, when the
ステップS26では、共演動画の配信を終了させるための処理が行われる。例えば、共演動画から、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131が排除されることで、配信ユーザUaと配信ユーザUbとの共演を終了させる。共演が終了した場合でも、動画は継続して配信されてもよい。共演が終了した後に配信される動画には、配信ユーザUaのキャラクタオブジェクト131が含まれない。上記の共演終了条件の判定及び共演の終了処理は、例えば、共演終了処理部61fにより行われる。
In step S26, a process for terminating the distribution of the co-starring moving image is performed. For example, the
上記の一実施形態によれば、配信ユーザUbとの共演を申請する共演申請を配信ユーザUaから受け付けたことに応じて、配信ユーザUbに関する共演申請者情報に基づいて配信ユーザUaの配信ユーザUbとの共演可否が判定される。この判定により、共演が許可された場合に共演動画が生成され、生成された共演動画が配信される。これにより、共演申請者情報に基づいて共演者を選抜することができる。 According to the above embodiment, in response to receiving the co-starring application for co-starring with the distribution user Ub from the distribution user Ua, the distribution user Ub of the distribution user Ua is based on the co-starring applicant information regarding the distribution user Ub. Whether or not to co-star with is judged. Based on this determination, when co-starring is permitted, a co-starring video is generated, and the generated co-starring video is distributed. As a result, co-stars can be selected based on the co-star applicant information.
上記の一実施形態において、共演申請者情報は、共演を申請した配信ユーザUaに対する評価を示すユーザ評価情報を含む。これにより、共演を申請するユーザに対する評価に基づいて共演者を選抜することができる。したがって、配信ユーザUaに対する他のユーザからの評価が高い場合にのみ共演を許可することが可能となる。 In one embodiment described above, the co-starring applicant information includes user evaluation information indicating an evaluation of the distribution user Ua who applied for co-starring. As a result, co-stars can be selected based on the evaluation of the users who apply for co-starring. Therefore, it is possible to allow co-starring only when the distribution user Ua is highly evaluated by other users.
上記の一実施形態において、共演申請者情報は、配信ユーザUaが配信した動画に対する動画評価情報を含む。これにより、共演を申請するユーザが配信した動画に対する評価に基づいて共演者を選抜することができる。したがって、配信ユーザUaが配信した動画について他のユーザからの評価が高い場合にのみ共演を許可することが可能となる。 In one of the above embodiments, the co-starring applicant information includes video evaluation information for the video distributed by the distribution user Ua. As a result, co-stars can be selected based on the evaluation of the video distributed by the user who applies for co-starring. Therefore, it is possible to allow co-starring only when the moving image distributed by the distribution user Ua is highly evaluated by other users.
上記の一実施形態において、共演申請者情報は、配信ユーザUaの動画配信時間又は動画配信回数を含む。これにより、共演を申請するユーザが配信した動画の配信時間又は配信回数に基づいて共演者を選抜することができる。したがって、配信ユーザUaが動画の配信に積極的な場合にのみ共演を許可することが可能となる。 In the above embodiment, the co-starring applicant information includes the video distribution time or the number of times of video distribution of the distribution user Ua. As a result, co-stars can be selected based on the distribution time or the number of distributions of the video distributed by the user who applies for co-starring. Therefore, it is possible to allow the co-starring only when the distribution user Ua is active in the distribution of the moving image.
上記の一実施形態において、共演申請者情報は、配信ユーザUaが共演を禁止されているユーザを特定する共演禁止情報を含む。これにより、配信ユーザUaが共演禁止ユーザとして登録されている場合には、配信ユーザUaとの共演を回避することができる。 In one embodiment described above, the co-starring applicant information includes co-starring prohibition information that identifies a user whose co-starring is prohibited by the distribution user Ua. As a result, when the distribution user Ua is registered as a co-star prohibition user, co-starring with the distribution user Ua can be avoided.
上記の一実施形態において、配信ユーザUaの動きを示すモーションデータに基づいて配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあると判定された場合に、共演動画からキャラクタオブジェクト131を排除することができる。これにより、ホストユーザである配信ユーザUbの動画から、動画のエンターティンメント性の向上に貢献しない共演者を排除することができる。
In the above embodiment, when it is determined that the
上記の一実施形態において、視聴ユーザから配信ユーザUaに対する評価を示す共演者評価情報に基づいて共演動画から配信ユーザUaのキャラクタオブジェクト131を排除する。これにより、ホストユーザである配信ユーザUbの動画から、視聴者からの評価が悪い共演者を排除することができる。
In the above embodiment, the
上記の一実施形態において、ホストユーザである配信ユーザUbからの要求に基づいて、配信ユーザUbの動画から配信ユーザUaのキャラクタオブジェクト131を排除することができる。これにより、ホストユーザである配信ユーザUbの判断に応じて、共演者を動画から排除することができる。
In the above embodiment, the
上記実施形態による動画配信システム1においては、配信ユーザUa,Ubは、スマートフォンなどのカメラを備えた配信ユーザ装置20により自らの表情に応じて動くキャラクタオブジェクトを含む動画を配信することができる。このように、動画配信システム1においては、配信ユーザUa,Ubが動画を配信するための設備が簡略化されているので、配信ユーザUa,Ubが参加しやすいプラットフォームが実現されている。 In the video distribution system 1 according to the above embodiment, the distribution users Ua and Ub can distribute a video including a character object that moves according to their facial expressions by a distribution user device 20 provided with a camera such as a smartphone. As described above, in the video distribution system 1, since the equipment for the distribution users Ua and Ub to distribute the video is simplified, a platform in which the distribution users Ua and Ub can easily participate is realized.
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。 In the processing procedure described in the present specification, particularly the processing procedure described using the flow chart, a part of the steps (steps) constituting the processing procedure is omitted, as a step constituting the processing procedure. It is possible to add steps that are not specified and / or to change the order of the steps, and the processing procedure in which such omissions, additions, and changes in order are made does not deviate from the gist of the present invention. It is included in the scope of the invention.
コンピュータプロセッサ61により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ61以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ61により実現される機能の少なくとも一部は、例えば、配信ユーザ装置20のコンピュータプロセッサ21により実現されてもよく、視聴ユーザ装置10のコンピュータプロセッサにより実現されてもよい。具体的には、アニメーション生成部61a及び動画生成部61bの機能の一部又は全部は、配信ユーザ装置20において実行されてもよい。例えば、配信ユーザ装置20において生成された動画がサーバ装置60に送信され、サーバ装置60から視聴ユーザ装置10に配信されてもよい。
At least a part of the functions realized by the computer processor 61 may be realized by a computer processor other than the computer processor 61 of the moving image distribution system 1. At least a part of the functions realized by the computer processor 61 may be realized by, for example, the computer processor 21 of the distribution user device 20 or the computer processor of the
配信ユーザUbのキャラクタオブジェクト31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされる場合には、共演申請を行った配信ユーザUaのキャラクタオブジェクト131のアニメーションは、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、又は視聴ユーザ装置10のいずれで生成されてもよい。また、生成された配信ユーザUaのキャラクタオブジェクト131と配信ユーザUbの配信動画とキャラクタオブジェクト31とを含む共演動画の生成は、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、又は視聴ユーザ装置10のいずれで行われてもよい。一つの例において、配信ユーザUaのキャラクタオブジェクト131のアニメーションが配信ユーザUbの配信ユーザ装置20bで生成される場合には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUbの配信ユーザ装置20bに対して、配信ユーザUaのフェイスモーションデータ及び音声データが送信される。配信ユーザ装置20bでは、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタオブジェクト131のアニメーションが生成される。この配信ユーザUa用のモデルデータは、サーバ装置60から配信ユーザ装置20aへ送信されてもよい。他の例において、配信ユーザUaのキャラクタオブジェクト131のアニメーションが視聴ユーザ装置10で生成される場合には、配信ユーザUaの配信ユーザ装置20aから視聴ユーザ装置10に対して配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから視聴ユーザ装置10に対して配信ユーザUbのフェイスモーションデータ及び音声データが送信される。視聴ユーザ装置10では、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタオブジェクト131のアニメーションが生成され、配信ユーザ装置20bから受信した配信ユーザUbのフェイスモーションデータ及び音声データを配信ユーザUb用のモデルデータに適用することでキャラクタオブジェクト31のアニメーションが生成されてもよい。このを配信ユーザUa用のモデルデータ及び配信ユーザUb用のモデルデータは、サーバ装置60から視聴ユーザ装置10へ送信されてもよい。このように、配信ユーザのキャラクタオブジェクトのアニメーションは、動画配信システム1に含まれる任意の装置で生成され得る。キャラクタオブジェクトのアニメーションは、図1に明示的に示されていない装置で生成されてもよい。キャラクタオブジェクトのアニメーションを生成する装置には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから配信ユーザUbのフェイスモーションデータ及び音声データが送信される。フェイスモーションに加えてボディモーションが送信されてもよい。
When the distribution user Ua who is watching the video including the
共演動画は、三人以上の配信ユーザのキャラクタオブジェクトを含んでもよい。つまり、三人以上の配信ユーザが、各々のキャラクタオブジェクトを利用して動画内で仮想的に共演してもよい。共演できる配信ユーザの数には上限が設定されていてもよい。共演できる配信ユーザの数が上限に達すると、配信ユーザが視聴している動画の表示画像(例えば、表示画像130)に共演申請ボタン36を表示させない処理、又は、配信ユーザが視聴している動画の表示画像において共演申請ボタン36を選択不能とする処理(ディスエーブル処理)がなされてもよい。
The co-starring video may include character objects of three or more distribution users. That is, three or more distribution users may virtually co-star in the moving image using each character object. An upper limit may be set for the number of distribution users who can co-star. When the number of distribution users who can co-star reaches the upper limit, the process of not displaying the
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザが配信した動画に対する評価を示す動画評価情報を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信する、
動画配信システム。
[2]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザの動画配信時間又は動画配信回数を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信する、
動画配信システム。
[3]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信し、
前記第2ユーザの動きを示すモーションデータに基づいて前記共演動画において前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトがノンアクティブ状態にあると判定された場合に、前記共演動画から前記第2キャラクタオブジェクトを排除する、
動画配信システム。
[4]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信し、
前記共演動画の配信中における前記視聴ユーザから前記第2ユーザに対する評価を示す共演者評価情報に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する、
動画配信システム。
[5]
前記共演申請者情報は、前記第2ユーザが共演を禁止されているユーザを特定する共演禁止情報を含む、
[1]から[4]のいずれか1項に記載の動画配信システム。
[6]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画である、
[1]から[5]のいずれか1項に記載の動画配信システム。
[7]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画である、
[1]から[6]のいずれか1項に記載の動画配信システム。
[8]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画又は前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画であり、
前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能である、
[1]から[6]のいずれか1項に記載の動画配信システム。
[9]
前記第1ユーザからの要求に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する、
[1]から[8]のいずれか1項に記載の動画配信システム。
[10]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザが配信した動画に対する評価を示す動画評価情報を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
を備える動画配信方法。
[11]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザの動画配信時間又は動画配信回数を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
を備える動画配信方法。
[12]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第2ユーザの動きを示すモーションデータに基づいて前記共演動画において前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトがノンアクティブ状態にあると判定された場合に、前記共演動画から前記第2キャラクタオブジェクトを排除する工程と、
を備える動画配信方法。
[13]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記共演動画の配信中における前記視聴ユーザから前記第2ユーザに対する評価を示す共演者評価情報に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する工程と、
を備える動画配信方法。
[14]
一又は複数のコンピュータプロセッサに、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザが配信した動画に対する評価を示す動画評価情報を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
を実行させる動画配信プログラム。
[15]
一又は複数のコンピュータプロセッサに、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザの動画配信時間又は動画配信回数を含む前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
を実行させる動画配信プログラム。
[16]
一又は複数のコンピュータプロセッサに、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第2ユーザの動きを示すモーションデータに基づいて前記共演動画において前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトがノンアクティブ状態にあると判定された場合に、前記共演動画から前記第2キャラクタオブジェクトを排除する工程と、
を実行させる動画配信プログラム。
[17]
一又は複数のコンピュータプロセッサに、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、
前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記共演動画の配信中における前記視聴ユーザから前記第2ユーザに対する評価を示す共演者評価情報に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する工程と、
を実行させる動画配信プログラム。
The inventions described in the claims at the time of filing the original application of the present application are added below.
[1]
Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
Applying for co-starring with the first user In response to the acceptance of the co-starring application from the second user, based on the co-starring applicant information regarding the second user including the video evaluation information indicating the evaluation of the video delivered by the second user. To determine whether or not the second user can co-star,
When the co-starring of the second user is permitted, a co-starring moving image in which the first user and the second user co-star is generated.
Distribute the co-starring video to one or more viewing users,
Video distribution system.
[2]
Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
In response to receiving a co-starring application from the second user to apply for co-starring with the first user, the first is based on the co-starring applicant information regarding the second user including the video distribution time or the number of times of video distribution of the second user. Judging whether or not two users can co-star,
When the co-starring of the second user is permitted, a co-starring moving image in which the first user and the second user co-star is generated.
Distribute the co-starring video to one or more viewing users,
Video distribution system.
[3]
Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
In response to receiving a co-starring application from the second user to apply for co-starring with the first user, it is determined whether or not the second user can co-star based on the co-starring applicant information regarding the second user.
When the co-starring of the second user is permitted, a co-starring moving image in which the first user and the second user co-star is generated.
Distribute the co-starring video to one or more viewing users
When it is determined in the co-starring video that the second character object generated based on the movement of the second user is in the inactive state based on the motion data showing the movement of the second user, the co-starring video is used. Exclude the second character object,
Video distribution system.
[4]
Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
In response to receiving a co-starring application from the second user to apply for co-starring with the first user, it is determined whether or not the second user can co-star based on the co-starring applicant information regarding the second user.
When the co-starring of the second user is permitted, a co-starring moving image in which the first user and the second user co-star is generated.
Distribute the co-starring video to one or more viewing users
The second character object generated based on the movement of the second user is excluded from the co-starring video based on the co-star evaluation information indicating the evaluation from the viewing user to the second user during the distribution of the co-starring video.
Video distribution system.
[5]
The co-starring applicant information includes co-starring prohibition information that identifies a user whose co-starring is prohibited by the second user.
The video distribution system according to any one of [1] to [4].
[6]
The co-starring moving image is a character co-starring moving image including a first character object generated based on the movement of the first user and a second character object generated based on the movement of the second user.
The video distribution system according to any one of [1] to [5].
[7]
The co-starring moving image is a voice co-starring moving image including a first character object generated based on the movement of the first user and the voice of the second user.
The video distribution system according to any one of [1] to [6].
[8]
The co-starring video is a character co-starring video including a first character object generated based on the movement of the first user and a second character object generated based on the movement of the second user, or the movement of the first user. It is a voice co-starring moving image including the voice of the first character object and the voice of the second user generated based on.
The character co-starring video and the voice co-starring video can be switched alternately.
The video distribution system according to any one of [1] to [6].
[9]
The second character object generated based on the movement of the second user is excluded from the co-starring moving image based on the request from the first user.
The video distribution system according to any one of [1] to [8].
[10]
A video distribution method executed by one or more computer processors executing computer-readable instructions.
Applying for co-starring with the first user In response to the acceptance of the co-starring application from the second user, based on the co-starring applicant information regarding the second user including the video evaluation information indicating the evaluation of the video distributed by the second user. The process of determining whether or not the second user can co-star, and
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
Video distribution method with.
[11]
A video distribution method executed by one or more computer processors executing computer-readable instructions.
Applying for co-starring with the first user In response to receiving a co-starring application from the second user, the second user is based on the co-starring applicant information regarding the second user including the video distribution time or the number of times of video distribution of the second user. The process of determining whether or not two users can co-star, and
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
Video distribution method with.
[12]
A video distribution method executed by one or more computer processors executing computer-readable instructions.
A process of determining whether or not the second user can co-star based on the co-starring applicant information regarding the second user in response to the reception of the co-starring application for co-starring with the first user from the second user.
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
When it is determined in the co-starring video that the second character object generated based on the movement of the second user is in the inactive state based on the motion data showing the movement of the second user, the co-starring video is used. The process of eliminating the second character object and
Video distribution method with.
[13]
A video distribution method executed by one or more computer processors executing computer-readable instructions.
A process of determining whether or not the second user can co-star based on the co-starring applicant information regarding the second user in response to the reception of the co-starring application for co-starring with the first user from the second user.
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
A step of excluding a second character object generated based on the movement of the second user from the co-starring video based on the co-star evaluation information indicating the evaluation from the viewing user to the second user during the distribution of the co-starring video. When,
Video distribution method with.
[14]
For one or more computer processors
Applying for co-starring with the first user In response to the acceptance of the co-starring application from the second user, based on the co-starring applicant information regarding the second user including the video evaluation information indicating the evaluation of the video distributed by the second user. The process of determining whether or not the second user can co-star, and
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
A video distribution program that executes.
[15]
For one or more computer processors
In response to the acceptance of the co-starring application from the second user to apply for co-starring with the first user, the second user is based on the co-starring applicant information regarding the second user including the video distribution time or the number of times of video distribution of the second user. The process of determining whether or not two users can co-star, and
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
A video distribution program that executes.
[16]
For one or more computer processors
A process of determining whether or not the second user can co-star based on the co-starring applicant information regarding the second user in response to the reception of the co-starring application for co-starring with the first user from the second user.
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
When it is determined in the co-starring video that the second character object generated based on the movement of the second user is in the inactive state based on the motion data showing the movement of the second user, the co-starring video is used. The process of eliminating the second character object and
A video distribution program that executes.
[17]
For one or more computer processors
A process of determining whether or not the second user can co-star based on the co-starring applicant information regarding the second user in response to the reception of the co-starring application for co-starring with the first user from the second user.
A step of generating a co-starring moving image in which the first user and the second user co-star when the co-starring of the second user is permitted, and
The process of distributing the co-starring video to one or more viewing users, and
A step of excluding a second character object generated based on the movement of the second user from the co-starring video based on the co-star evaluation information indicating the evaluation from the viewing user to the second user during the distribution of the co-starring video. When,
A video distribution program that executes.
1 動画配信システム 1 Video distribution system
Claims (14)
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信し、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において前記第2ユーザに対して警告を与えるための警告情報を表示する、
動画配信システム。 Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
Applying for co-starring with the first user In response to receiving a co-starring application from the second user, a co-starring video in which the first user and the second user co-star is generated.
Distribute the co-starring video to one or more viewing users
Display warning information for giving a warning to the second user in the co-starring moving image viewed by the second user based on the request from the first user.
Video distribution system.
請求項1に記載の動画配信システム。 The warning information is displayed in the co-starring moving image viewed by the one or more viewing users.
The video distribution system according to claim 1.
前記共演ユーザ評価情報に基づいて、前記第2ユーザによる前記共演申請を禁止する、
請求項1又は2に記載の動画配信システム。 Based on the evaluation information from the one or more viewing users, the co-starring user evaluation information indicating the evaluation for the second user is determined.
Based on the co-starring user evaluation information, the co-starring application by the second user is prohibited.
The video distribution system according to claim 1 or 2.
前記共演ユーザ評価情報に応じて、前記第2ユーザが視聴する前記第1動画へ前記共演申請ボタンを表示させない、
請求項3に記載の動画配信システム。 The co-starring application is performed by the second user selecting the co-starring application button displayed in the first video distributed by the first user.
According to the co-starring user evaluation information, the co-starring application button is not displayed on the first moving image viewed by the second user.
The video distribution system according to claim 3.
前記第2ユーザの共演が許可された場合に前記共演動画を生成する、
請求項1から4のいずれか1項に記載の動画配信システム。 In response to the acceptance of the co-starring application from the second user, it is determined whether or not the second user can co-star based on the co-starring applicant information regarding the second user.
When the co-starring of the second user is permitted, the co-starring moving image is generated.
The video distribution system according to any one of claims 1 to 4.
請求項5に記載の動画配信システム。 The co-starring applicant information includes co-starring prohibition information that identifies a user whose co-starring is prohibited by the second user.
The video distribution system according to claim 5.
請求項1から請求項6のいずれか1項に記載の動画配信システム。 The co-starring moving image is a character co-starring moving image including a first character object generated based on the movement of the first user and a second character object generated based on the movement of the second user.
The video distribution system according to any one of claims 1 to 6.
請求項1から請求項7のいずれか1項に記載の動画配信システム。 The co-starring moving image is a voice co-starring moving image including a first character object generated based on the movement of the first user and the voice of the second user.
The video distribution system according to any one of claims 1 to 7.
前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能である、
請求項1から請求項7のいずれか1項に記載の動画配信システム。 The co-starring video is a character co-starring video including a first character object generated based on the movement of the first user and a second character object generated based on the movement of the second user, or the movement of the first user. It is a voice co-starring moving image including the voice of the first character object and the voice of the second user generated based on.
The character co-starring video and the voice co-starring video can be switched alternately.
The video distribution system according to any one of claims 1 to 7.
請求項1から請求項9のいずれか1項に記載の動画配信システム。 The second character object generated based on the movement of the second user is excluded from the co-starring moving image based on the request from the first user.
The video distribution system according to any one of claims 1 to 9.
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において前記第2ユーザに対して警告を与えるための警告情報を表示する工程と、
を備える動画配信方法。 A video distribution method executed by one or more computer processors executing computer-readable instructions.
Applying for co-starring with the first user In response to receiving a co-starring application from the second user, a process of generating a co-starring video in which the first user and the second user co-star
The process of distributing the co-starring video to one or more viewing users, and
A step of displaying warning information for giving a warning to the second user in the co-starring video viewed by the second user based on a request from the first user, and a step of displaying warning information.
Video distribution method with.
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において前記第2ユーザに対して警告を与えるための警告情報を表示する工程と、
を実行させる動画配信プログラム。 For one or more computer processors
Applying for co-starring with the first user In response to receiving a co-starring application from the second user, a process of generating a co-starring video in which the first user and the second user co-star
The process of distributing the co-starring video to one or more viewing users, and
A step of displaying warning information for giving a warning to the second user in the co-starring video viewed by the second user based on a request from the first user, and a step of displaying warning information.
A video distribution program that executes.
請求項1から10のいずれか1項に記載の動画配信システム。 The request from the first user is made by selecting a warning button displayed on the co-starring moving image viewed by the first user.
The video distribution system according to any one of claims 1 to 10.
請求項1から10及び請求項13のいずれか1項に記載の動画配信システム。
When the number of times the request from the first user is made reaches a predetermined number of times, the co-starring of the first user and the second user is terminated.
The video distribution system according to any one of claims 1 to 10 and 13.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025429A JP6883678B2 (en) | 2020-02-18 | 2020-02-18 | Video distribution system, video distribution method and video distribution program |
JP2021079534A JP7134298B2 (en) | 2020-02-18 | 2021-05-10 | Video distribution system, video distribution method and video distribution program |
JP2022136413A JP2022184845A (en) | 2020-02-18 | 2022-08-30 | Moving image distribution system, moving image distribution method, and moving image distribution program |
JP2024036103A JP2024069368A (en) | 2020-02-18 | 2024-03-08 | Video distribution system, video distribution method, and video distribution program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025429A JP6883678B2 (en) | 2020-02-18 | 2020-02-18 | Video distribution system, video distribution method and video distribution program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122862A Division JP6664534B1 (en) | 2018-12-18 | 2019-07-01 | Video distribution system, video distribution method and video distribution program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021079534A Division JP7134298B2 (en) | 2020-02-18 | 2021-05-10 | Video distribution system, video distribution method and video distribution program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020099090A JP2020099090A (en) | 2020-06-25 |
JP6883678B2 true JP6883678B2 (en) | 2021-06-09 |
Family
ID=71106927
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025429A Active JP6883678B2 (en) | 2020-02-18 | 2020-02-18 | Video distribution system, video distribution method and video distribution program |
JP2021079534A Active JP7134298B2 (en) | 2020-02-18 | 2021-05-10 | Video distribution system, video distribution method and video distribution program |
JP2022136413A Pending JP2022184845A (en) | 2020-02-18 | 2022-08-30 | Moving image distribution system, moving image distribution method, and moving image distribution program |
JP2024036103A Pending JP2024069368A (en) | 2020-02-18 | 2024-03-08 | Video distribution system, video distribution method, and video distribution program |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021079534A Active JP7134298B2 (en) | 2020-02-18 | 2021-05-10 | Video distribution system, video distribution method and video distribution program |
JP2022136413A Pending JP2022184845A (en) | 2020-02-18 | 2022-08-30 | Moving image distribution system, moving image distribution method, and moving image distribution program |
JP2024036103A Pending JP2024069368A (en) | 2020-02-18 | 2024-03-08 | Video distribution system, video distribution method, and video distribution program |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP6883678B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6923735B1 (en) * | 2020-11-05 | 2021-08-25 | グリー株式会社 | Video distribution system, video distribution method and video distribution program |
JP7194239B2 (en) * | 2020-11-05 | 2022-12-21 | グリー株式会社 | Video distribution system, video distribution method and video distribution program |
JP7288990B2 (en) * | 2021-07-29 | 2023-06-08 | グリー株式会社 | Video distribution system, video distribution method and video distribution program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184689A (en) * | 2014-03-20 | 2015-10-22 | 株式会社Mugenup | Moving image generation device and program |
JP6313726B2 (en) * | 2015-08-28 | 2018-04-18 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus, event management server, event participation method, and event participation management method |
JP6420930B1 (en) * | 2018-08-01 | 2018-11-07 | グリー株式会社 | Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor |
-
2020
- 2020-02-18 JP JP2020025429A patent/JP6883678B2/en active Active
-
2021
- 2021-05-10 JP JP2021079534A patent/JP7134298B2/en active Active
-
2022
- 2022-08-30 JP JP2022136413A patent/JP2022184845A/en active Pending
-
2024
- 2024-03-08 JP JP2024036103A patent/JP2024069368A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7134298B2 (en) | 2022-09-09 |
JP2024069368A (en) | 2024-05-21 |
JP2020099090A (en) | 2020-06-25 |
JP2022184845A (en) | 2022-12-13 |
JP2021141591A (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6550522B1 (en) | Video distribution system, video distribution method and video distribution program | |
JP6543403B1 (en) | Video distribution system, video distribution method and video distribution program | |
JP6883678B2 (en) | Video distribution system, video distribution method and video distribution program | |
JP6550546B1 (en) | Video distribution system, video distribution method and video distribution program | |
US20210065421A1 (en) | Moving image distribution system, moving image distribution method, and moving image distribution program | |
JP6832997B1 (en) | Video distribution system, video distribution method and video distribution program | |
JP2020099096A (en) | Video distribution system, video distribution method, and video distribution program | |
JP2024041749A (en) | Moving image distribution system, moving image distribution method, and moving image distribution program | |
JP6664534B1 (en) | Video distribution system, video distribution method and video distribution program | |
WO2020121909A1 (en) | Video distribution system, video distribution method, and video distribution program | |
JP6671528B1 (en) | Video distribution system, video distribution method, and video distribution program | |
WO2020129448A1 (en) | Dynamic image distribution system, dynamic image distribution method, and dynamic image distribution program | |
JP7044923B6 (en) | Video distribution system, video distribution method and video distribution program | |
JP6713080B2 (en) | Video distribution system, video distribution method, and video distribution program for live distribution of videos including animation of character objects generated based on movements of distribution users | |
JP7442097B2 (en) | Video distribution system, video distribution method, and video distribution program | |
JP6923735B1 (en) | Video distribution system, video distribution method and video distribution program | |
JP6828106B1 (en) | Video distribution system, video distribution method and video distribution program | |
JP7288990B2 (en) | Video distribution system, video distribution method and video distribution program | |
JP7194239B2 (en) | Video distribution system, video distribution method and video distribution program | |
JP7104097B2 (en) | Distribution A video distribution system, video distribution method, and video distribution program that delivers live videos including animations of character objects generated based on user movements. | |
JP2023103424A (en) | Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on motion of distribution user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200219 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200219 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6883678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |