JP6473262B1 - Distribution server, distribution program, and terminal - Google Patents

Abstract

【課題】生配信用の映像データに演出を自動的に付加して体裁を整える。
【解決手段】本発明の一態様に係る配信サーバは、受信部と、判定部と、合成部と、配信部とを含む。受信部は、配信者端末から生配信用の映像データを受信する。判定部は、演出条件が満足しているか否かを判定する。合成部は、演出条件が満足している時に、映像データに対して演出データを合成し合成映像データを生成する。配信部は、合成映像データを配信者端末および観客端末へ配信する。
【選択図】 図２An effect is automatically added to video data for live distribution to arrange the appearance.
A distribution server according to an aspect of the present invention includes a reception unit, a determination unit, a synthesis unit, and a distribution unit. The receiving unit receives video data for live distribution from the distributor terminal. The determination unit determines whether or not the production conditions are satisfied. The composition unit synthesizes the effect data with the video data and generates the composite video data when the effect conditions are satisfied. The distribution unit distributes the composite video data to the distributor terminal and the audience terminal.
[Selection] Figure 2

Description

本発明は、動画共有システムにおける動画の生配信に関する。   The present invention relates to live distribution of moving images in a moving image sharing system.

近年、一部の動画共有システムでは、ユーザ（以降、単に配信者と呼ぶ）が撮影した動画を多数の観客へインターネット経由で生配信することが可能である。かかるインターネット経由で生配信される動画（以降、単に生番組と称する）でも、テレビ番組と同様に、配信者には利用可能な時間枠が割り当てられている。   In recent years, in some video sharing systems, a video taken by a user (hereinafter simply referred to as a distributor) can be distributed live to a large number of audiences via the Internet. Even in a moving image that is distributed live via the Internet (hereinafter simply referred to as a live program), an available time frame is assigned to the distributor as in the case of a television program.

テレビ番組は、通常の録画番組に限らず、生放送番組であっても、オープニング、エンディング、その他の中間演出を付けられることが多い。しかしながら、生番組の配信者が利用可能な技術および人的リソースは、通常、テレビ番組の制作会社と比べて限られているので、配信者が撮影した動画にオープニングやエンディングなどの演出を付加して生配信することは現実的に難しい。このため、生番組は、割り当てられた時間枠に合わせて生番組の本編が唐突に始まり、そして唐突に終わる、ということになりがちで、テレビ番組風の番組構成に慣れ親しんだ観客は違和感を覚えるかもしれない。   TV programs are not limited to ordinary recorded programs, and even live broadcast programs often have opening, ending and other intermediate effects. However, the technology and human resources available to live program distributors are usually limited compared to TV program production companies, so it is possible to add effects such as opening and ending to the videos shot by the distributors. It is practically difficult to deliver live. For this reason, the live program tends to start suddenly and end suddenly in accordance with the allocated time frame, and the audience familiar with the TV program-like program structure feels uncomfortable. It may be.

また、生配信の開始直後は配信者のフォロワーを中心とする限られた数の観客しか集まらないことも多い。配信者はなるべく多くの観客が集まってからメインの企画に入ることを望むので、しばらく手持ち無沙汰な状態で待っていたり、マイクテストを行ったり、場合によっては離席するなど、間延び感のあるシーンが続いてしまうことがある。観客は、このようなシーンに遭遇すると、退屈に感じて視聴をやめてしまうかもしれない。   In addition, immediately after the start of live distribution, there are many cases where only a limited number of spectators centering on the distributor's followers gather. The distributor wants to enter the main project after gathering as many spectators as possible, so there is a feeling of delay, such as waiting for a while and holding a microphone test, doing a microphone test, and sometimes leaving the seat The scene may continue. If the audience encounters such a scene, they may feel bored and stop viewing.

特許文献１では、個人向け番組配信システムにおいて、視聴者からの配信要求を受信すると（Ｓ１００）（［００２７］）、番組コンテンツデータベースに記憶される番組コンテンツを抽出し（Ｓ１０６）、個人向けの番組コンテンツを編成し（Ｓ１０８）（［００２８］）、視聴者端末に配信すること（［００３０］）が記載されている。また、編成された個人向け番組コンテンツはタイトルとエンディングを含むこと（［００２７］，［００２９］）が記載されている。   In Patent Literature 1, when a distribution request from a viewer is received in a personal program distribution system (S100) ([0027]), program content stored in a program content database is extracted (S106), and a program for personal use is extracted. It describes that the contents are organized (S108) ([0028]) and distributed to the viewer terminal ([0030]). Further, it is described that the organized program content for individuals includes a title and an ending ([0027], [0029]).

また、特許文献２（特に、［００２２］、［００５７］、［００５９］、要約書）には、撮影した動画データから背景部分を切り取り、予め準備しておいた背景画像または動画データと合成した合成動画データを作成し、さらに合成動画データを編集してオープニングタイトルおよびエンドロールのデータを含む統合動画データを生成し、統合動画データをネットワーク経由で共有する技術が開示されている。   Further, in Patent Document 2 (particularly, [0022], [0057], [0059], abstract), a background portion is cut out from captured moving image data and synthesized with a background image or moving image data prepared in advance. There is disclosed a technique for creating synthetic video data, further editing the synthetic video data to generate integrated video data including opening title and end roll data, and sharing the integrated video data via a network.

特開２００６−３３９７８０号公報JP 2006-339780 A 特開２０１６−１５４０２１号公報JP, 2006-154021, A

特許文献１には、リアルタイムコンテンツを随時盛り込んだ状態で番組コンテンツを配信することが記載されているものの、このリアルタイムコンテンツは、例えば、定時ニュース、全国ニュース、地域限定のローカルニュース、天気予報の情報等の一般的な時事情報を含み（［００２１］）、例えば、いくつかのニュース写真の画像およびナレーションにより構成されたコンテンツ８２４ａと取材動画によるコンテンツ８２６ａ等とがまとめられることで構成されている（［００２９］）。ここで、取材動画は一般に録画済みの動画を指すから、特許文献１に記載されたリアルタイムコンテンツは、生番組とは異なる。また、個人向け番組コンテンツ８００に含まれるタイトル８１０およびエンディング８５０は、リアルタイムコンテンツ８２０とは別個のコンテンツとして扱われている（図３、［００２９］）。   Although Patent Document 1 describes that program content is distributed in a state in which real-time content is included as needed, this real-time content includes, for example, information on regular news, national news, local news limited to the region, and weather forecast information. For example, content 824a composed of several news photo images and narration, content 826a based on a coverage video, and the like are collected (for example, [0021]). [0029]). Here, since a coverage video generally indicates a recorded video, the real-time content described in Patent Document 1 is different from a live program. Further, the title 810 and the ending 850 included in the program content 800 for personal use are handled as contents different from the real-time content 820 ([0029] in FIG. 3).

特許文献２に記載の技術は、全編撮影済みの動画をベースに統合動画データを生成して共有しており、生番組への適用は想定していない。また、オープニングタイトルおよびエンドロールは、合成動画とは独立したデータであり、両者を合成することまでは想定されていない。   The technique described in Patent Document 2 generates and shares integrated moving image data based on a moving image that has been taken in its entirety, and is not assumed to be applied to a live program. The opening title and the end roll are data independent of the synthesized moving image, and are not assumed to be synthesized.

従って、生番組の配信にこれらの技術を適用したとしても、生番組の本編とは独立したタイトル、オープニング、エンディング、エンドロールなどが付加されるに過ぎない。故に、ユーザ発信型の生番組に特有な、開始時および終了時の唐突感、開始直後の間延び感、利用可能な表現の幅が限られることによるメリハリ感のなさ、などを改善することは容易でない。   Therefore, even if these techniques are applied to the distribution of live programs, only titles, opening, endings, end rolls, and the like independent from the main part of the live programs are added. Therefore, it is easy to improve the abrupt feeling at the start and end, the feeling of extendedness immediately after the start, the lack of clarity due to the limited range of available expressions, etc., which are characteristic of user-originated live programs Not.

本発明は、生配信用の映像データに演出を自動的に付加して体裁を整えることを目的とする。   It is an object of the present invention to automatically add an effect to video data for live distribution and arrange the appearance.

本発明の第１の態様に係る配信サーバは、受信部と、判定部と、合成部と、配信部とを含む。受信部は、配信者端末から生配信用の映像データを受信する。判定部は、演出条件が満足しているか否かを判定する。合成部は、演出条件が満足している時に、映像データに対して演出データを合成し合成映像データを生成する。配信部は、合成映像データを配信者端末および観客端末へ配信する。   The distribution server according to the first aspect of the present invention includes a reception unit, a determination unit, a synthesis unit, and a distribution unit. The receiving unit receives video data for live distribution from the distributor terminal. The determination unit determines whether or not the production conditions are satisfied. The composition unit synthesizes the effect data with the video data and generates the composite video data when the effect conditions are satisfied. The distribution unit distributes the composite video data to the distributor terminal and the audience terminal.

本発明の第２の態様に係る配信サーバは、受信部と、判定部と、加工部と、配信部とを含む。受信部は、配信者端末から生配信用の映像データを受信する。判定部は、演出条件が満足しているか否かを判定する。加工部は、演出条件が満足している時に、映像データに対して既定の加工を行って加工済み映像データを生成する。配信部は、加工済み映像データを配信者端末および観客端末へ配信する。   The distribution server according to the second aspect of the present invention includes a reception unit, a determination unit, a processing unit, and a distribution unit. The receiving unit receives video data for live distribution from the distributor terminal. The determination unit determines whether or not the production conditions are satisfied. When the rendering condition is satisfied, the processing unit performs predetermined processing on the video data to generate processed video data. The distribution unit distributes the processed video data to the distributor terminal and the audience terminal.

本発明の第３の態様に係る配信サーバは、判定部と、受信部と、生成部と、配信部とを含む。判定部は、演出条件が満足しているか否かを判定する。受信部は、配信者端末から生配信用の映像データを受信し、演出条件が満足している場合にはさらに配信者端末および観客端末の少なくとも１つから配信者端末および観客端末の少なくとも１つにおいて映像データに合成される動的な演出データに対する操作要求を受信する。生成部は、操作要求に基づいて動的な演出データの操作データを生成する。配信部は、映像データおよび操作データを配信者端末および観客端末の少なくとも１つへ配信する。   The distribution server according to the third aspect of the present invention includes a determination unit, a reception unit, a generation unit, and a distribution unit. The determination unit determines whether or not the production conditions are satisfied. The receiving unit receives video data for live distribution from the distributor terminal, and when the production conditions are satisfied, the receiver further includes at least one of the distributor terminal and the audience terminal from at least one of the distributor terminal and the audience terminal. The operation request for the dynamic effect data synthesized with the video data is received. The generation unit generates operation data of dynamic effect data based on the operation request. The distribution unit distributes the video data and the operation data to at least one of the distributor terminal and the audience terminal.

本発明の第４の態様に係る端末は、判定部と、生成部と、送信部と、受信部と、制御部と、合成部とを含む。判定部は、演出条件が満足しているか否かを判定する。生成部は、演出条件が満足している時に、ユーザ入力に応じて動的な演出データに対する操作要求を生成する。送信部は、操作要求を配信サーバへ送信する。受信部は、演出条件が満足している時に、配信サーバから生配信用の映像データおよび操作要求に基づいて生成された動的な演出データの操作データを受信する。制御部は、操作要求に基づいて動的な演出データを制御する。合成部は、映像データに動的な演出データを合成する。   A terminal according to a fourth aspect of the present invention includes a determination unit, a generation unit, a transmission unit, a reception unit, a control unit, and a synthesis unit. The determination unit determines whether or not the production conditions are satisfied. A production | generation part produces | generates the operation request | requirement with respect to dynamic production data according to user input, when production conditions are satisfied. The transmission unit transmits the operation request to the distribution server. The receiving unit receives live distribution video data and operation data of dynamic effect data generated based on the operation request from the distribution server when the effect conditions are satisfied. The control unit controls dynamic effect data based on the operation request. The synthesizer synthesizes dynamic presentation data with the video data.

本発明によれば、生配信用の映像データに演出を自動的に付加して体裁を整えることができる。   According to the present invention, the presentation can be automatically added to the video data for live distribution to make the appearance.

第１の実施形態に係る動画の生配信システムを例示するブロック図。The block diagram which illustrates the live distribution system of the animation concerning a 1st embodiment. 第１の実施形態に係る配信サーバを例示するブロック図。The block diagram which illustrates the distribution server concerning a 1st embodiment. 映像データを例示する図。The figure which illustrates video data. 図３の映像データに演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined production data with the video data of FIG. 図３の映像データに演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined production data with the video data of FIG. 図３の映像データに演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined production data with the video data of FIG. 図３の映像データに演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined production data with the video data of FIG. 図２の配信サーバの動作を例示するフローチャート。The flowchart which illustrates operation | movement of the delivery server of FIG. 第２の実施形態に係る配信サーバを例示するブロック図。The block diagram which illustrates the distribution server concerning a 2nd embodiment. 第１の実施形態および第２の実施形態に係る端末の変形例を示すブロック図。The block diagram which shows the modification of the terminal which concerns on 1st Embodiment and 2nd Embodiment. 第３の実施形態に係る配信サーバを例示するブロック図。The block diagram which illustrates the distribution server concerning a 3rd embodiment. 映像データを例示する図。The figure which illustrates video data. 図１２の映像データを加工した加工済み映像データを例示する図。The figure which illustrates the processed video data which processed the video data of FIG. 図１２の映像データを加工した加工済み映像データを例示する図。The figure which illustrates the processed video data which processed the video data of FIG. 第３の実施形態に係る端末の変形例を示すブロック図。The block diagram which shows the modification of the terminal which concerns on 3rd Embodiment. 第４の実施形態に係る配信サーバを例示するブロック図。The block diagram which illustrates the distribution server concerning a 4th embodiment. 図３の映像データに動的な演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined dynamic production data with the video data of FIG. 図３の映像データに動的な演出データを合成した合成映像データを例示する図。The figure which illustrates the synthetic | combination video data which synthesize | combined dynamic production data with the video data of FIG. 第４の実施形態に係る端末を例示するブロック図。The block diagram which illustrates the terminal concerning a 4th embodiment. 図１６の変形例を示すブロック図。The block diagram which shows the modification of FIG.

以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。   Hereinafter, embodiments will be described with reference to the drawings. Hereinafter, elements that are the same as or similar to elements already described are denoted by the same or similar reference numerals, and redundant descriptions are basically omitted. For example, when there are a plurality of identical or similar elements, a common reference may be used to explain each element without distinction, and the common reference may be used to distinguish each element. In addition, branch numbers may be used.

（第１の実施形態）
第１の実施形態に係る配信サーバは、図１に例示される動画の生配信システムに組み込むことができる。この生配信システムは、配信者端末１００と、配信サーバ２００と、観客端末３００−１，３００−２，・・・とを含む。 (First embodiment)
The distribution server according to the first embodiment can be incorporated into the moving image live distribution system illustrated in FIG. This live distribution system includes a distributor terminal 100, a distribution server 200, and audience terminals 300-1, 300-2,.

配信サーバ２００は、配信者端末１００および観客端末３００とネットワーク経由で接続しており、データを互いに送受信できる。なお、図１において示される各装置の数は、例示に過ぎない。例えば、観客端末３００の数は、０となることがあり得るし、数百、数千となることもあり得る。また、図１に示されない、Ｗｅｂサーバまたはコメント配信サーバがさらに設けられてもよいし、これらの機能が配信サーバ２００に組み込まれてもよい。   The distribution server 200 is connected to the distributor terminal 100 and the audience terminal 300 via a network and can transmit and receive data to and from each other. In addition, the number of each apparatus shown in FIG. 1 is only an example. For example, the number of spectator terminals 300 may be zero, and may be hundreds or thousands. Further, a Web server or a comment distribution server not shown in FIG. 1 may be further provided, or these functions may be incorporated in the distribution server 200.

配信者端末１００は、例えばビデオカメラなどの動画ソースに接続されたコンピュータなどの電子デバイス、例えば、テレビ受像機（インターネットテレビを含む）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、モバイル端末（例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど）、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）端末、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)端末などであり得るが、これらに限られない。配信者端末１００は、動画ソースから出力されるエンコード済みの映像データを配信サーバ２００へ逐次送信する。   The distributor terminal 100 is an electronic device such as a computer connected to a moving image source such as a video camera, for example, a television receiver (including Internet television), a PC (Personal Computer), a mobile terminal (for example, a tablet, a smartphone, Laptops, feature phones, portable game machines, digital music players, electronic book readers, etc.), VR (Virtual Reality) terminals, AR (Augmented Reality) terminals, and the like, but are not limited thereto. The distributor terminal 100 sequentially transmits the encoded video data output from the video source to the distribution server 200.

配信サーバ２００は、映像データの生配信に割り当てられた時間枠に亘って、配信者端末１００から逐次送信される、エンコード済みの映像データを受信する。配信サーバ２００は、基本的には、この映像データをそのまま配信者端末１００および観客端末３００へ配信する。   The distribution server 200 receives encoded video data sequentially transmitted from the distributor terminal 100 over a time frame assigned to live distribution of video data. The distribution server 200 basically distributes the video data as it is to the distributor terminal 100 and the audience terminal 300.

ただし、後述される演出条件が満足されている時には、配信サーバ２００は、映像データに後述される演出データを合成し、合成された映像データ（以降、合成映像データと称する）を配信者端末１００および観客端末３００へ配信する。かかる演出条件の満足／不満足の判定、演出データの作成、および演出データの合成は、例えば配信サーバ２００がスクリプトを実行することで実現されてもよい。   However, when the production conditions described later are satisfied, the distribution server 200 synthesizes the production data described later with the video data, and the synthesized video data (hereinafter referred to as synthesized video data) is delivered to the distributor terminal 100. And distributed to the audience terminal 300. The determination of satisfaction / unsatisfaction of such effect conditions, creation of effect data, and composition of effect data may be realized, for example, by the distribution server 200 executing a script.

観客端末３００は、配信者端末１００と同様の電子デバイスであり得るが、配信者端末１００とは異なり動画ソースに接続される必要はない。   The audience terminal 300 may be an electronic device similar to the distributor terminal 100, but unlike the distributor terminal 100, it need not be connected to a moving image source.

配信サーバ２００がこのような演出データの自動合成を行うことで、例えば、オープニング演出、エンディング演出または中間演出を、配信者は手軽に利用することができる。かかる演出の付加は配信サーバ２００によって行われるので、配信者が高度な動画編集スキル、動画編集用のハードウェアまたはソフトウェアがない、演出家などのサポーターがいない場合であっても支障がない。故に、配信者は、テレビ番組風に体裁の整った動画を容易に生配信することができる。   When the distribution server 200 automatically synthesizes such effect data, for example, the distributor can easily use the opening effect, the ending effect, or the intermediate effect. Since the addition of such effects is performed by the distribution server 200, there is no problem even if the distributor does not have advanced moving image editing skills, moving image editing hardware or software, or there is no supporter such as a director. Therefore, the distributor can easily live-distribute a moving image that looks like a television program.

以下、図１中の配信サーバ２００の構成および動作について順に図面を用いて説明する。   Hereinafter, the configuration and operation of the distribution server 200 in FIG. 1 will be described in order with reference to the drawings.

配信サーバ２００は、コンピュータであって、配信者端末１００から受信する映像データの配信制御、演出条件の判定、演出データの作成、演出データの合成、配信者端末１００および観客端末３００から受信する種々の要求等の解釈とこれに対する応答の生成、などを行うプロセッサと、かかる処理を実現するために当該プロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータなどを一時的に格納するメモリとを含んでいる。   The distribution server 200 is a computer, and controls distribution of video data received from the distributor terminal 100, determination of effect conditions, creation of effect data, composition of effect data, and various types received from the distributor terminal 100 and the audience terminal 300. A processor that interprets the request and generates a response to the request, and a memory that temporarily stores a program executed by the processor and data used by the processor to realize the processing Contains.

配信サーバ２００は、さらに、ネットワークに接続するための通信装置と、大容量のデータを蓄積するための補助記憶装置とを利用可能である。通信装置および補助記憶装置は、配信サーバ２００に内蔵されてもよいし、配信サーバ２００に外付けされてもよい。   The distribution server 200 can further use a communication device for connecting to a network and an auxiliary storage device for storing a large amount of data. The communication device and the auxiliary storage device may be built in the distribution server 200 or may be externally attached to the distribution server 200.

通信装置は、ネットワーク経由で配信者端末１００および観客端末３００と通信をする。例えば、通信装置は、配信者端末１００から映像データを受信したり、観客端末３００からの配信要求に対する応答を送信したりする。   The communication device communicates with the distributor terminal 100 and the audience terminal 300 via the network. For example, the communication device receives video data from the distributor terminal 100 or transmits a response to the distribution request from the audience terminal 300.

補助記憶装置は、例えば、演出条件、演出データなどのデータを蓄積する。補助記憶装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性記憶媒体であることが好ましい。補助記憶装置は、配信サーバ２００にネットワーク経由で接続されたファイルサーバであり得る。   The auxiliary storage device accumulates data such as production conditions and production data, for example. The auxiliary storage device is preferably a non-volatile storage medium such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive). The auxiliary storage device may be a file server connected to the distribution server 200 via a network.

次に、図２を用いて配信サーバ２００の構成例の説明を続ける。図２の配信サーバ２００は、受信部２０１と、時計部２０２と、配信制御部２０３と、演出条件判定部２０４と、演出条件記憶部２０５と、演出データ作成部２０６と、演出データ合成部２０７と、映像配信部２０８とを含む。   Next, description of the configuration example of the distribution server 200 will be continued using FIG. 2 includes a receiving unit 201, a clock unit 202, a distribution control unit 203, an effect condition determination unit 204, an effect condition storage unit 205, an effect data creation unit 206, and an effect data composition unit 207. And a video distribution unit 208.

受信部２０１は、ネットワーク経由で種々のデータを受信する。受信部２０１は、前述の通信装置であってもよいし、当該通信装置とのインターフェースであってもよい。
具体的には、受信部２０１は、配信者端末１００から生配信用の映像データを受信する。受信部２０１は、この映像データを演出条件判定部２０４へ送る。また、受信部２０１は、観客端末３００からこの映像データの配信要求を受信する。受信部２０１は、配信要求を配信制御部２０３へ送る。 The receiving unit 201 receives various data via a network. The receiving unit 201 may be the communication device described above or an interface with the communication device.
Specifically, the receiving unit 201 receives video data for live distribution from the distributor terminal 100. The receiving unit 201 sends this video data to the effect condition determining unit 204. The receiving unit 201 also receives the video data distribution request from the spectator terminal 300. The receiving unit 201 sends a distribution request to the distribution control unit 203.

さらに、受信部２０１は、配信者端末１００または観客端末３００において所定のユーザ入力があったことを示す情報を受信し、これを演出条件判定部２０４へ送ってもよい。また、受信部２０１は、図１に示されないコメント配信サーバから上記映像データに対して投稿されたコメントを受信し、これを演出条件判定部２０４へ送ってもよい。なお、配信サーバ２００が、コメント配信サーバの機能を備える場合には、受信部２０１は配信者端末１００または観客端末３００から直接的にコメントを受信し、これを演出条件判定部２０４へ送り得る。   Further, the receiving unit 201 may receive information indicating that a predetermined user input has been made at the distributor terminal 100 or the spectator terminal 300, and may send this to the effect condition determining unit 204. The receiving unit 201 may receive a comment posted to the video data from a comment distribution server not shown in FIG. 1 and send the comment to the effect condition determining unit 204. When the distribution server 200 has the function of a comment distribution server, the reception unit 201 can directly receive a comment from the distributor terminal 100 or the audience terminal 300 and send it to the effect condition determination unit 204.

時計部２０２は、日時を指示する。時計部２０２は、例えば、固定周波数で振動する水晶発振器と、その出力を分周して１Ｈｚの信号を得る分周回路と、この信号をカウントして日時を示すシリアル値を得るカウンタとを含む。時計部２０２の指示する日時は、配信制御部２０３および演出条件判定部２０４によって参照され得る。   The clock unit 202 instructs the date and time. The clock unit 202 includes, for example, a crystal oscillator that vibrates at a fixed frequency, a frequency dividing circuit that divides the output to obtain a signal of 1 Hz, and a counter that counts this signal to obtain a serial value indicating the date and time. . The date and time indicated by the clock unit 202 can be referred to by the distribution control unit 203 and the effect condition determination unit 204.

配信制御部２０３は、映像データの生配信を制御する。配信制御部２０３は、前述のプロセッサおよびメモリであってよい。
具体的には、配信制御部２０３は、時計部２０２の指示する日時と、映像データの生配信に割り当てられた時間枠とを比較し、映像データの生配信の開始および終了を管理する。また、配信制御部２０３は、観客端末３００による配信要求を受信部２０１から受け取り、当該観客端末３００へ映像データが配信されるように映像配信部２０８を制御する。なお、配信制御部２０３は、受け取った配信要求に基づいて、観客数の管理を行ってもよい。配信制御部２０３の管理する時間枠、観客数などの情報は、演出条件判定部２０４または演出データ作成部２０６によって参照され得る。 The distribution control unit 203 controls live distribution of video data. The distribution control unit 203 may be the aforementioned processor and memory.
Specifically, the distribution control unit 203 compares the date and time indicated by the clock unit 202 with the time frame assigned to the video data live distribution, and manages the start and end of the video data live distribution. Also, the distribution control unit 203 receives a distribution request from the audience terminal 300 from the reception unit 201 and controls the video distribution unit 208 so that the video data is distributed to the audience terminal 300. The distribution control unit 203 may manage the number of spectators based on the received distribution request. Information such as the time frame and the number of spectators managed by the distribution control unit 203 can be referred to by the effect condition determination unit 204 or the effect data creation unit 206.

演出条件判定部２０４は、受信部２０１から映像データを受け取り、演出条件記憶部２０５から当該映像データについての演出条件を読み出し、演出条件が満足しているか否かを判定する。演出条件判定部２０４は、演出条件が満足していると判定した場合には映像データを演出データ合成部２０７へ送り、そうでなければ映像データを映像配信部２０８へ送る。演出条件判定部２０４は、前述のプロセッサおよびメモリであってよい。   The effect condition determination unit 204 receives the video data from the reception unit 201, reads the effect condition for the video data from the effect condition storage unit 205, and determines whether the effect condition is satisfied. The effect condition determination unit 204 sends the video data to the effect data composition unit 207 if it is determined that the effect conditions are satisfied, and sends the video data to the video distribution unit 208 otherwise. The effect condition determination unit 204 may be the aforementioned processor and memory.

演出条件判定部２０４は、演出条件が満足しているか否かを判定するために、必要に応じて、時計部２０２の指示する日時、配信制御部２０３の管理する時間枠、観客数、受信部２０１によって受信された、コメント、配信者端末１００または観客端末３００において所定のユーザ入力があったことを示す情報、映像データの再生映像または再生音声、などを参照し得る。   The production condition determination unit 204 determines the date and time indicated by the clock unit 202, the time frame managed by the distribution control unit 203, the number of spectators, and the reception unit as necessary in order to determine whether or not the production condition is satisfied. The comment received by 201, information indicating that a predetermined user input has been made at the distributor terminal 100 or the spectator terminal 300, reproduced video or reproduced audio of the video data, and the like can be referred to.

ここで、演出条件は、例えば、オープニング演出、エンディング演出、または中間演出を付加するか否か判定するための基準である。具体的には、オープニング演出を付加するための演出条件（オープニング演出条件）は、映像データに割り当てられた時間枠の始まりに、または、この始まりから所定時間後に設定された演出開始地点に、時計部２０２の指示する日時が到達してから、演出終了条件が満足するまでの間に満足するように定められてもよい。   Here, the production condition is, for example, a standard for determining whether to add an opening production, an ending production, or an intermediate production. Specifically, an effect condition (opening effect condition) for adding an opening effect is a clock at the start of a time frame assigned to video data or at an effect start point set after a predetermined time from the start. It may be determined so as to be satisfied after the date and time indicated by the unit 202 arrives and until the effect end condition is satisfied.

オープニング演出条件は、映像データの観客数が所定の条件を満足してから演出終了条件が満足するまでの間に満足するように定められてもよい。ここでの条件は、例えば、観客数が所定数に達したことなどであり得る。   The opening effect condition may be determined so as to be satisfied from when the audience number of the video data satisfies a predetermined condition until the effect end condition is satisfied. The condition here may be, for example, that the number of spectators has reached a predetermined number.

オープニング演出条件は、配信者端末１００または観客端末３００において所定のユーザ入力があってから演出終了条件が満足するまでの間に満足するように定められてもよい。所定のユーザ入力は、例えば、配信者端末１００に表示される、演出開始を指示するためのボタンなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品を選択することであり得る。   The opening effect condition may be determined so as to be satisfied after the predetermined user input at the distributor terminal 100 or the spectator terminal 300 until the effect end condition is satisfied. The predetermined user input can be, for example, selecting a GUI (Graphical User Interface) component, such as a button for instructing the start of presentation, displayed on the distributor terminal 100.

オープニング演出条件は、映像データに対して投稿されたコメントが所定の条件を満足してから演出終了条件が満足するまでの間に満足するように定められてもよい。ここでの条件は、例えば、コメント数が所定数に達したこと、特定のキーワードを含むコメント数が所定数に達したこと、レアワードを含むコメントがあったことなどであり得る。   The opening effect condition may be determined so that a comment posted to the video data satisfies a predetermined condition and satisfies an effect end condition. The condition here may be, for example, that the number of comments has reached a predetermined number, that the number of comments including a specific keyword has reached a predetermined number, or that there is a comment including a rare word.

オープニング演出条件は、映像データの再生映像または再生音声が所定の条件を満足してから演出終了条件が満足するまでの間に満足するように定められてもよい。ここでの条件は、再生映像から例えば配信者が所定のジェスチャまたは表情を採ったことが認識されたこと、再生音声から例えば配信者が所定のフレーズを発話したことが認識されたこと、などであり得る。   The opening effect condition may be determined so that the playback video or playback audio of the video data satisfies a predetermined condition until the effect end condition is satisfied. The condition here is that, for example, it is recognized from the reproduced video that the distributor has taken a predetermined gesture or facial expression, and from the reproduced voice, for example, it has been recognized that the distributor has uttered a predetermined phrase. possible.

オープニング演出の演出終了条件は、例えば、演出開始から所定時間が経過した時、観客数またはコメント数が必要数に達した時、または配信者端末１００若しくは観客端末３００に所定のユーザ入力があった時、映像データの再生映像から例えば配信者が所定のジェスチャまたは表情を採ったことが認識された時、再生音声から例えば配信者が所定のフレーズを発話したことが認識された時、などに満足するように定められてよい。   The opening end condition of the opening effect is, for example, when a predetermined time has elapsed since the start of the effect, when the number of spectators or comments reaches a required number, or when there is a predetermined user input on the distributor terminal 100 or the spectator terminal 300 Satisfied when, for example, it is recognized from the playback video of the video data that the distributor has taken a predetermined gesture or facial expression, for example, when it is recognized from the playback audio that the distributor has uttered a predetermined phrase, etc. It may be determined to do.

時間枠の始まりからずれた地点からオープニング演出を開始することにより、生配信の開始直後は映像データがそのまま配信され、観客がある程度集まった頃合いにオープニング演出が始まり、生番組の本編への観客の期待を高めて継続して視聴する動機付けをすることができる。他方、時間枠の始まりと一致またはこれに近い地点からオープニング演出を開始することにより、最初期の観客が、オープニング演出を待てず離れてしまうのを防ぐことができる。   By starting the opening production from a point deviated from the beginning of the time frame, the video data is delivered as it is immediately after the start of the live distribution, and the opening production starts when the audience gathers to some extent, and the audience to the main part of the live program It is possible to motivate viewers to continue watching after raising their expectations. On the other hand, by starting the opening effect at a point that coincides with or close to the start of the time frame, it is possible to prevent the initial audience from leaving without waiting for the opening effect.

また、エンディング演出を付加するための演出条件（エンディング演出条件）は、映像データに割り当てられた時間枠の終わりから所定時間前に設定された演出開始地点に、時計部２０２の指示する日時が到達してから、演出終了条件が満足するまでの間に満足するように定められてもよい。その他、エンディング演出条件は、前述したオープニング演出条件と同様に定められ得る。   In addition, as the effect condition for adding the ending effect (ending effect condition), the date and time indicated by the clock unit 202 reaches the effect start point set a predetermined time before the end of the time frame assigned to the video data. Then, it may be determined so as to be satisfied until the production end condition is satisfied. In addition, the ending effect condition can be determined in the same manner as the opening effect condition described above.

エンディング演出の演出終了条件は、オープニング演出の演出終了条件と同様であってもよいし、映像データに割り当てられた時間枠の終わりに時計部２０２の指示する日時が達した時に満足するように定められてもよい。   The production end condition of the ending effect may be the same as the production end condition of the opening effect, and is determined so as to be satisfied when the date and time indicated by the clock unit 202 reaches the end of the time frame assigned to the video data. May be.

中間演出は、例えば、映像データに割り当てられた時間枠の途中で、例えばファンファーレなどの演出映像、映像データにリプレイ映像またはスローモーション再生映像を合成することで実現されてもよい。リプレイ映像またはスローモーション再生映像は、直前の映像を対象としてもよいがこれに限られない。また、生番組がマルチカメラで撮影されている場合には、別視点の映像を合成し、或いは視点の切り替えを行ってもよい。   The intermediate effect may be realized, for example, by synthesizing a replay video or a slow-motion playback video with a video, such as an effect video such as a fanfare, in the middle of a time frame assigned to the video data. The replay video or the slow motion playback video may be the previous video, but is not limited thereto. In addition, when a live program is shot with a multi-camera, a video from another viewpoint may be synthesized or the viewpoint may be switched.

中間演出を付加するための演出条件（中間演出条件）は、映像データに割り当てられた時間枠の始まりから所定時間後に設定された演出開始地点に、時計部２０２の指示する日時が到達してから、演出終了条件が満足するまでの間に満足するように定められてもよい。また、中間演出条件は、生番組に付与された広告や商品紹介を配信者または観客がクリックした場合または、広告や商品紹介の対象となった商品を配信者または観客が購入した場合に、その購入の所定時間後から演出終了条件が満足するまでの間に満足するように定められてもよい。ここで、広告や商品紹介は、例えば配信者端末１００または観客端末３００において、生番組の表示ページ内、または当該表示ページから遷移可能なページで表示され得る。その他、中間演出条件は、前述したオープニング演出条件と同様に定められ得る。また、中間演出の演出終了条件は、オープニング演出の演出終了条件と同様であってもよい。   The effect condition for adding the intermediate effect (intermediate effect condition) is that the date and time indicated by the clock unit 202 has reached the effect start point set a predetermined time after the start of the time frame assigned to the video data. Alternatively, it may be determined so as to be satisfied before the production end condition is satisfied. In addition, the intermediate performance condition is determined when the distributor or audience clicks on the advertisement or product introduction given to the live program, or when the distributor or audience purchases the product targeted for the advertisement or product introduction. It may be determined so as to be satisfied after a predetermined time after purchase until the production end condition is satisfied. Here, the advertisement and the product introduction can be displayed, for example, on the distributor terminal 100 or the spectator terminal 300 in the display page of the live program or on a page that can transition from the display page. In addition, the intermediate performance conditions can be determined in the same manner as the opening performance conditions described above. Further, the production end condition for the intermediate effect may be the same as the production end condition for the opening effect.

例えば、映像データの観客数、または映像データに対して投稿されたコメント数が急上昇した時に、ファンファーレの映像を合成する中間演出が開始するようにしてもよい。また、例えば「リプレイ」、「スロー」、「もう１回」などの特定のキーワードを含むコメントが映像データに対して所定時間内に所定数以上投稿された時に、リプレイ映像またはスローモーション再生映像を合成する中間演出が開始するようにしてもよい。   For example, when the number of viewers of video data or the number of comments posted on the video data rises rapidly, an intermediate effect for synthesizing the fanfare video may be started. For example, when a predetermined number of comments including specific keywords such as “replay”, “slow”, and “one more time” are posted to video data within a predetermined time, a replay video or a slow motion playback video is displayed. An intermediate effect to be synthesized may be started.

演出条件記憶部２０５は、前述の種々の演出条件を格納する。演出条件記憶部２０５に格納された演出条件は、演出条件判定部２０４および演出データ作成部２０６によって必要に応じて読み出される。演出条件記憶部２０５は、前述の補助記憶装置であってもよいし、当該補助記憶装置とのインターフェースであってもよい。   The effect condition storage unit 205 stores the various effect conditions described above. The effect conditions stored in the effect condition storage unit 205 are read by the effect condition determination unit 204 and the effect data creation unit 206 as necessary. The effect condition storage unit 205 may be the above-described auxiliary storage device or an interface with the auxiliary storage device.

演出データ作成部２０６は、演出データを作成し、演出データ合成部２０７へ送る。演出データ作成部２０６は、前述のプロセッサおよびメモリであってよい。
演出データは、動的な演出データと静的な演出データとに大別することができる。静的な演出データは、映像データの内容に左右されない固定の動画データまたは静止画データであり得る。固定の動画データは、例えば、生配信対象の映像データの再生映像をはめ込むための領域を有する、様々なアニメーションまたは実写映像であってもよい。固定の静止画データは、例えば、映像データの再生映像の画面端を装飾する枠、映像データの再生映像の覆うオブジェクトなどであってもよい。なお、後述する動的な演出データを利用しない場合には、静的な演出データをプリセットしておくことにより、演出データ作成部２０６を省略することができる。 The effect data creation unit 206 creates effect data and sends it to the effect data composition unit 207. The effect data creation unit 206 may be the aforementioned processor and memory.
The production data can be broadly classified into dynamic production data and static production data. The static effect data may be fixed moving image data or still image data that is not affected by the content of the video data. The fixed moving image data may be, for example, various animations or live-action images having an area for fitting a playback video of video data to be distributed live. The fixed still image data may be, for example, a frame that decorates the screen edge of the playback video of the video data, an object that covers the playback video of the video data, or the like. In addition, when the dynamic production data described later is not used, the production data creation unit 206 can be omitted by presetting the static production data.

動的な演出データは、例えば、演出終了条件が満足するための必要条件を動的に示す情報を含む動画データまたは静止画データであってもよいし、映像データの生配信が開始された後に生じた事象に関する情報を含む動画データまたは静止画データであってもよいし、生配信の対象となる映像データのリプレイ映像またはスローモーション再生映像であってもよいし、別視点の映像であってもよいし、例えば動画タイトル、クレジットタイトル、配信者コメントまたは説明文などを含む動画データまたは静止画データであってもよい。かかる情報は、配信者、観客もしくはサービス運営者が生配信の開始前に入力した情報、または配信サーバ２００またはその他のサーバにより自動的に付与された情報から抽出され得る。例えば、演出データは、生番組に対して付与されたキーワードである動画タグ、または生番組に対して付与されたスポンサー名、などのメタデータから自動的に生成される情報、例えば、番組カテゴリ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、などを含む動画データまたは静止画データであってもよい。ここで、動画タグおよびスポンサー名は、配信者、観客またはサービス運営者により人力で付与されることもあり得るし、配信サーバ２００またはその他のサーバにより自動的に付与されることもあり得る。   The dynamic effect data may be, for example, moving image data or still image data including information that dynamically indicates a necessary condition for satisfying the effect end condition, or after live delivery of video data is started It may be video data or still image data that includes information about the event that occurred, or it may be a replay video or slow motion playback video of video data that is subject to live distribution, or a video from another viewpoint. Alternatively, it may be moving image data or still image data including, for example, a moving image title, a credit title, a distributor comment, or an explanatory text. Such information can be extracted from information input by the distributor, spectator or service operator before the start of live distribution, or information automatically provided by the distribution server 200 or other servers. For example, the production data is information automatically generated from metadata such as a video tag, which is a keyword assigned to a live program, or a sponsor name given to the live program, for example, a program category, It may be moving image data or still image data including a URL (Uniform Resource Locator). Here, the moving image tag and the sponsor name may be assigned manually by a distributor, a spectator, or a service operator, or may be automatically added by the distribution server 200 or another server.

さらに、動的な演出データは、生番組に関連するウェブページに表示される情報に基づいて自動的に生成されてもよい。例えば、動画像共有サービスのフロントページなどの番組紹介ページでは、現在公開中の多数の生番組のサムネイルが並べて表示されることがある。そして、かかる番組紹介ページでは、サムネイルの周辺に、例えば「人気上昇中」などの生番組に関する補足情報が表示されることがある。かかる補足情報が付与されたサムネイルに対応する生番組には、当該補足情報そのものまたは当該補足情報から抽出・加工された情報を含む演出データが適用されてもよいし、適用される演出データが当該補足情報に依存して切り替えられてもよい。例えば、補足情報から抽出された情報に基づいて自動的に編集された番組タイトル、補足情報から抽出されたスポンサー名、などが演出データに含まれてもよい。   Furthermore, dynamic presentation data may be automatically generated based on information displayed on a web page related to a live program. For example, on a program introduction page such as a front page of a moving image sharing service, thumbnails of many live programs that are currently open may be displayed side by side. In such a program introduction page, supplementary information related to a live program such as “being popular” may be displayed around the thumbnail. The live program corresponding to the thumbnail to which such supplementary information is given may be applied with the effect data including the supplementary information itself or information extracted / processed from the supplemental information. It may be switched depending on supplementary information. For example, the program data automatically edited based on the information extracted from the supplemental information, the sponsor name extracted from the supplemental information, and the like may be included in the effect data.

具体的には、演出データ作成部２０６は、演出終了条件が満足するための必要条件として、映像データの現在の観客数またはコメント数と必要数とのギャップを、例えばカウントダウン形式で示す情報、例えば「あと○○人」、「あと○○コメント」などのテキストを含む演出データを作成してもよい。映像データの現在の観客数またはコメント数の情報は、例えば配信制御部２０３から取得することができる。また、演出終了条件が満足するために必要な観客数またはコメント数の情報は、例えば演出条件記憶部２０５から取得することができる。かかる情報が表示されることで、観客は、生番組の本編開始までの目安時間を把握し、それまで待てるかどうか、また、離席してよいのかどうかの判断をすることができる。   Specifically, the production data creation unit 206, as a necessary condition for satisfying the production end condition, information indicating the gap between the current audience number or comment number of the video data and the necessary number, for example, in a countdown format, for example, Production data including text such as “Additional XX People” and “Additional XX Comment” may be created. Information about the current audience number or comment number of the video data can be acquired from, for example, the distribution control unit 203. Further, information on the number of spectators or comments necessary for satisfying the production end condition can be acquired from the production condition storage unit 205, for example. By displaying such information, the audience can grasp the estimated time until the main part of the live program starts, and can determine whether or not to wait until then and whether or not to leave.

また、演出データ作成部２０６は、映像データの生配信が開始された後に生じた事象に関する情報として、例えば映像データの観客数、映像データに対して投稿されたコメントの一部（例えばダイジェスト）、映像データに対して投稿されたコメント数、および映像データに対してコメントを投稿した観客名、生番組に付与された広告や商品紹介のクリック数、広告や商品紹介から購入された商品に関する情報（例えば商品の名称、購入数、購入総額、写真、購入者情報など）、などを示す情報を含む演出データを作成してもよい。かかる情報を例えばエンドロールとして用いることで、個々の映像データの生配信の態様にふさわしいエンディング演出が可能となる。   In addition, the production data creation unit 206 includes, for example, the number of spectators of the video data, a part of a comment posted on the video data (for example, a digest), as information about an event that has occurred after the live distribution of the video data is started. Number of comments posted on video data, name of audience who posted comments on video data, number of clicks on advertisements and product introductions given to live programs, information on products purchased from advertisements and product introductions ( For example, production data including information indicating the name of the product, the number of purchases, the total purchase amount, a photograph, purchaser information, and the like may be created. By using such information as an end roll, for example, an ending effect suitable for the mode of live distribution of individual video data can be achieved.

また、演出データ作成部２０６は、配信者端末１００または観客端末３００になされたユーザ入力、または配信者端末１００または観客端末３００によって投稿されたコメントに反応して変化する演出データを作成してもよい。例えば、演出データは、映像データの再生映像の画面を遮るオブジェクト（例えば、紙吹雪、拍手を意味する「８」のシンボル、花束、ハートマーク、雲、人垣、配信者の設定したアイコン、動画像共有サービスのマスコットキャラクターなど）を含んでいてもよい。   The effect data creation unit 206 also creates effect data that changes in response to user input made by the distributor terminal 100 or the audience terminal 300 or a comment posted by the distributor terminal 100 or the audience terminal 300. Good. For example, the production data is an object that blocks the screen of the playback video of the video data (for example, confetti, “8” symbol that means applause, bouquet, heart mark, cloud, sign, icon set by the distributor, moving image May include a mascot character for a shared service).

この場合に、演出データ作成部２０６は、演出開始時に、画面全体にかかるオブジェクトが敷き詰められた演出データを作成し、配信者端末１００または観客端末３００に所定のユーザ入力（例えばオブジェクト、またはボタンなどのＧＵＩの選択）またはコメント投稿がなされると、オブジェクトを消滅、移動、縮小させるなどして徐々に映像データの再生映像の画面が見えるようにしてもよい。逆に、演出データ作成部２０６は、演出開始時に、オブジェクトを零または少数含む演出データを作成し、配信者端末１００または観客端末３００に所定のユーザ入力（例えばオブジェクト、またはボタンなどのＧＵＩの選択）、またはコメント投稿がなされると、オブジェクトを出現、移動、拡大させるなどして徐々に映像データの再生映像の画面が見えなくなるようにしてもよい。   In this case, the effect data creation unit 206 creates effect data in which objects relating to the entire screen are spread at the start of the effect, and a predetermined user input (for example, an object or a button) is input to the distributor terminal 100 or the audience terminal 300. When a GUI is selected) or a comment is posted, the screen of the playback video of the video data may gradually be seen by deleting, moving, or reducing the object. Conversely, the effect data creation unit 206 creates effect data including zero or a small number of objects at the start of the effect, and selects a predetermined user input (for example, an object or a GUI such as a button) to the distributor terminal 100 or the audience terminal 300. ), Or when a comment is posted, the playback video screen of the video data may gradually disappear from view by causing an object to appear, move, or expand.

徐々に映像データの再生映像の画面が見えるようにする演出は、オープニングに適しているがこれに限定されるものではない。徐々に映像データの再生映像の画面が見えなくなる演出は、エンディングに適しているがこれに限定されるものではない。   The effect of gradually viewing the screen of the playback video of the video data is suitable for the opening, but is not limited to this. An effect in which the screen of the playback video of the video data gradually disappears is suitable for ending, but is not limited to this.

なお、オブジェクトの状態が全端末間で完全に同期していなかったとしても、生番組の本編の視聴体験には影響しないので、同期を行う頻度を減らしてサーバの負荷を軽減してもよい。   Note that even if the state of the object is not completely synchronized between all terminals, it does not affect the viewing experience of the main part of the live program, so the frequency of synchronization may be reduced to reduce the load on the server.

また、この例において、演出終了条件がオブジェクトの数、大きさ、位置などによって定められてもよい。この場合に、配信者および観客は、合成映像データの再生映像に含まれるオブジェクトの状態から演出終了条件が満足するための必要条件、例えばあとどれくらいオブジェクトを減らす必要があるのか、あとどれくらいオブジェクトを増やす必要があるのかを把握し得る。故に、かかるオブジェクトもまた、演出終了条件が満足するための必要条件を動的に示す情報の一例に相当する。   In this example, the production end condition may be determined by the number, size, position, etc. of the objects. In this case, the distributor and the spectator need to satisfy the rendering end condition from the state of the object included in the playback video of the composite video data, for example, how many more objects need to be reduced and how many more You can figure out what you need. Therefore, such an object also corresponds to an example of information that dynamically indicates a necessary condition for the production end condition to be satisfied.

演出データ合成部２０７は、演出条件判定部２０４から映像データを受け取り、演出データ作成部２０６から演出データを受け取る。演出データ合成部２０７は、映像データに演出データを合成し、合成映像データを生成する。演出データ合成部２０７は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、映像データに演出データを合成してもよい。演出データ合成部２０７は、合成映像データを映像配信部２０８へ送る。演出データ合成部２０７は、前述のプロセッサおよびメモリであってよい。なお、合成に用いられる演出データの種類は、所定のアルゴリズムにより自動的に決定されてもよいし、配信者および／または観客のユーザ入力情報により決定されてもよいし、両者の組み合わせにより決定されてもよい。例えば、生番組に付与された広告や商品紹介のクリック数、広告や商品紹介から購入された商品に関する情報、例えば商品の購入数、購入総額など、の情報により、エンディング演出に用いられる演出データが切り替えられてもよい。   The effect data composition unit 207 receives video data from the effect condition determination unit 204 and receives effect data from the effect data creation unit 206. The effect data synthesizing unit 207 combines the effect data with the video data to generate composite video data. The effect data synthesis unit 207 may synthesize the effect data with the video data using a known technique such as alpha blending or picture-in-picture, for example. The effect data composition unit 207 sends the composite video data to the video distribution unit 208. The effect data composition unit 207 may be the above-described processor and memory. The type of effect data used for composition may be automatically determined by a predetermined algorithm, may be determined by user input information of a distributor and / or audience, or determined by a combination of both. May be. For example, the production data used for the ending production is based on information such as the number of clicks for advertisements and product introductions given to live programs, information on products purchased from advertisements and product introductions, such as the number of purchases of products and the total purchase amount. It may be switched.

演出データ合成部２０７は、例えば、映像データの再生映像の画面の一部または全部をリサイズして、または画面の一部をトリミングして演出データと合成してもよいし、映像データの再生映像の画面の一部が露出し、残部が隠れるように映像データを演出データと合成してもよい。図３に映像データを例示し、図４乃至図７に合成映像データを例示する。   For example, the effect data composition unit 207 may resize part or all of the screen of the reproduction video of the video data, or trim the part of the screen and synthesize it with the effect data. The video data may be combined with the effect data so that a part of the screen is exposed and the rest is hidden. FIG. 3 illustrates video data, and FIGS. 4 to 7 illustrate composite video data.

演出データ合成部２０７は、図４に例示されるように、図３の映像データの再生映像の画面の一部（例えば、配信者の顔領域）および全部をそれぞれ小さくリサイズして、演出データとしての動画データまたは静止画データにはめ込んでもよい。また、図４の例では、クレジットタイトルとして、「出演 ○○○」のテキストが演出データに含まれている。このように、映像データの再生映像の画面の全部を小さくリサイズしてから演出データと合成することで、画面が演出データによってマスクされないようにすることができる。故に、配信者が観客に見せたい部分が演出データによって隠されてしまうハプニングを防ぐことができる。他方、映像データの再生映像の画面の全部ではなく一部を小さく、または大きくリサイズしてから演出データと合成すれば、配信者が観客に見せたい部分を過度に縮小しないように、或いはより強調することができる。画面の一部は、例えば画面の中心に近い領域など静的な領域であってもよいし、配信者の顔がある領域、動きの大きい領域など動的な領域であってもよい。動的な領域を抽出する場合には、例えば、公知の顔認識技術、動体検出技術などが利用されてよい。   As shown in FIG. 4, the effect data composition unit 207 resizes a part (for example, the distributor's face area) and the entire playback video screen of the video data in FIG. It may be embedded in the moving image data or still image data. In the example of FIG. 4, the text “Appearance XXX” is included in the effect data as the credit title. In this way, the entire screen of the reproduced video of the video data is reduced in size and then combined with the effect data, so that the screen is not masked by the effect data. Therefore, it is possible to prevent a happening in which a portion that the distributor wants to show to the audience is hidden by the effect data. On the other hand, if you resize and resize a part, not all, of the screen of the playback video of the video data and then combine it with the production data, the distributor wants to avoid over-reducing the part that the viewer wants to show to the audience, or more emphasis can do. A part of the screen may be a static area such as an area close to the center of the screen, or may be a dynamic area such as an area where the face of the distributor is present or an area where movement is large. In the case of extracting a dynamic region, for example, a known face recognition technique, moving object detection technique, or the like may be used.

このように、映像データの再生映像の画面のリサイズを行ってから演出データと合成することで、配信者および観客に、生番組の本編とは異なる特別な演出が付加されていることを意識させることができる。   In this way, by resizing the screen of the playback video of the video data and then combining it with the presentation data, the distributor and the audience are made aware that a special presentation different from the main part of the live program is added. be able to.

演出データ合成部２０７は、図５および図６に例示されるように、図３の映像データに演出データを合成し、映像データの再生映像の画面を遮るオブジェクトが合成された合成映像データを生成してもよい。図５の例では、演出開始時には、画面一杯にテレビをモチーフとするマスコットキャラクターのシルエットのオブジェクトが敷き詰められており、観客（および配信者）がこのオブジェクトを例えばタップしていくことで、オブジェクトが徐々に消え去り、演出が完了する。また、図６の例では、演出開始時には、画面下部に「８」のシンボルが少数積もった状態、または積もっていない状態であり、観客（および配信者）が例えば画面をタップ、または「８」のコメントを投稿することで、このオブジェクトが徐々に積もっていき、演出が完了する。なお、図５および図６の演出において、ユーザ入力が全くない場合にも時間経過に応じて、オブジェクトが自動的に消え去り、またはオブジェクトが自動的に積もるようにしてもよい。   As shown in FIGS. 5 and 6, the effect data synthesis unit 207 synthesizes the effect data with the video data in FIG. 3, and generates synthesized video data in which objects that block the screen of the playback video of the video data are synthesized. May be. In the example of FIG. 5, at the start of the production, a silhouette object of a mascot character with a TV motif is spread all over the screen, and when the audience (and distributor) taps this object, for example, the object becomes It disappears gradually and the production is completed. In the example of FIG. 6, at the start of the production, a small number of “8” symbols are accumulated or not accumulated at the bottom of the screen, and the audience (and distributor) taps the screen, for example, or “8”. By posting the comments of, this object gradually accumulates and the production is completed. In the effects shown in FIGS. 5 and 6, even when there is no user input, the objects may disappear automatically or the objects may be automatically stacked as time elapses.

演出データ合成部２０７は、図７に例示されるように、図３の映像データの再生映像の画面の全部を小さくリサイズしてから、エンドロールを表示するための領域を含む演出データを合成してもよい。図７の例では、図３の映像データの観客数、コメント投稿した観客名などの情報がエンドロールの一部として表示される。なお、図７の例は、エンディング演出に限られず、例えば生配信の前半部分を締めくくるための中間演出として適用されてもよい。   The effect data composition unit 207 synthesizes effect data including an area for displaying the end roll after resizing the entire playback video screen of the video data in FIG. 3 as illustrated in FIG. Also good. In the example of FIG. 7, information such as the number of viewers of the video data of FIG. 3 and the name of the viewer who posted the comment is displayed as part of the end roll. The example of FIG. 7 is not limited to the ending effect, and may be applied as an intermediate effect for closing the first half of live distribution, for example.

映像配信部２０８は、演出条件判定部２０４からの映像データ、または演出データ合成部２０７からの合成映像データを受け取り、これを配信者端末１００および観客端末３００へ配信する。映像配信部２０８は、例えば映像データの配信先などを配信制御部２０３によって制御される。映像配信部２０８は、前述の通信装置であってもよいし、当該通信装置とのインターフェースであってもよい。   The video distribution unit 208 receives the video data from the production condition determination unit 204 or the composite video data from the production data synthesis unit 207 and distributes it to the distributor terminal 100 and the audience terminal 300. In the video distribution unit 208, for example, the distribution control unit 203 controls the distribution destination of the video data. The video distribution unit 208 may be the communication device described above or an interface with the communication device.

なお、映像配信部２０８は、配信済みの映像データ（または合成映像データ）を直ちに破棄してもよいが、例えば前述のリプレイまたはスローモーション再生を伴う演出を可能とするために所定期間バッファリングしておき、演出データ作成部２０６による参照を許容してもよい。   The video distribution unit 208 may immediately discard the distributed video data (or composite video data). However, for example, the video distribution unit 208 performs buffering for a predetermined period to enable the above-described replay or slow motion playback. The reference by the effect data creation unit 206 may be allowed.

次に図８を用いて、配信サーバ２００の動作例を説明する。図８の動作は、例えば映像データに割り当てられた時間枠の始まりと共に開始する。図８の動作が開始すると、処理はステップＳ４０１へ進む。   Next, an operation example of the distribution server 200 will be described with reference to FIG. The operation of FIG. 8 starts with the start of a time frame assigned to video data, for example. When the operation of FIG. 8 starts, the process proceeds to step S401.

ステップＳ４０１において、受信部２０１は配信者端末１００から生配信用の映像データを受信する。演出条件判定部２０４は、ステップＳ４０１において受信された映像データについて予め定められた演出条件が満足するか否かを判定する（ステップＳ４０２）。演出条件が満足すれば処理はステップＳ４０３へ進み、そうでなければ処理はステップＳ４０５へ進む。   In step S <b> 401, the receiving unit 201 receives video data for live distribution from the distributor terminal 100. The effect condition determination unit 204 determines whether or not an effect condition predetermined for the video data received in step S401 is satisfied (step S402). If the performance conditions are satisfied, the process proceeds to step S403; otherwise, the process proceeds to step S405.

ステップＳ４０３において、演出データ合成部２０７は、ステップＳ４０１において受信された映像データを演出データと合成する。なお、演出データ合成部２０７は、映像データの再生映像のリサイズ、トリミングなどの加工を必要に応じて行ってから、演出データと合成してもよい。そして、映像配信部２０８は、ステップＳ４０３において生成された合成映像データを観客端末３００へ配信する（ステップＳ４０４）。他方、ステップＳ４０５において、映像配信部２０８は、ステップＳ４０１において受信された映像データを観客端末３００へ配信する。   In step S403, the effect data combining unit 207 combines the video data received in step S401 with the effect data. It should be noted that the effect data composition unit 207 may perform processing such as resize and trimming of the reproduced video of the video data as necessary, and then compose the effect data. Then, the video distribution unit 208 distributes the composite video data generated in step S403 to the audience terminal 300 (step S404). On the other hand, in step S405, the video distribution unit 208 distributes the video data received in step S401 to the audience terminal 300.

ステップＳ４０４またはステップＳ４０５の終了時に、時計部２０２の指示する日時が、生配信対象の映像データに割り当てられた時間枠の終わりに達していたならば図８の動作は終了し、そうでなければ処理はステップＳ４０１に戻る（ステップＳ４０６）。   At the end of step S404 or step S405, if the date and time indicated by the clock unit 202 has reached the end of the time frame assigned to the video data to be distributed live, the operation of FIG. The process returns to step S401 (step S406).

以上説明したように、第１の実施形態に係る配信サーバは、生配信用の映像データに対して演出データを条件付きで自動合成する。これにより、配信者は、高度な動画編集スキルやリソースを必要とすることなく、例えばオープニング演出、エンディング演出、中間演出などが付加されテレビ番組風に体裁の整った動画を容易に生配信することができる。   As described above, the distribution server according to the first embodiment automatically synthesizes effect data with video data for live distribution under certain conditions. As a result, the distributor can easily live-distribute a video that looks like a TV program with an opening effect, an ending effect, and an intermediate effect, for example, without requiring advanced video editing skills and resources. Can do.

特に、オープニング演出を付加することにより、配信者および観客に生番組の始まりを意識させ、配信者がマイクテスト、休憩を取るなどして準備を整えたり、生番組の本編に入る前にコメントを介して観客とコミュニケーションを取ったり、観客に間延び感をあまり感じさせずることなく生番組の本編の開始を待ってもらったりすることができる。   In particular, by adding an opening effect, the distributor and the audience are aware of the beginning of the live program, and the distributor makes preparations by taking a microphone test, taking a break, and commenting before entering the main part of the live program It is possible to wait for the start of the main part of the live program without having to communicate with the audience or let the audience feel too much.

また、エンディング演出を付加することにより、配信者および観客に生番組の終わりを意識させ、配信者がまとめに入ったり、次回予告を行ったり、観客とコメントを介してコミュニケーションを取ったりするなどの時間を取りやすくなる。   In addition, by adding an ending effect, the distributor and the audience are aware of the end of the live program, and the distributor enters the summary, makes a next notice, communicates with the audience through comments, etc. It becomes easy to take time.

さらに、中間演出として、盛り上がった場面でファンファーレなどの配信者を鼓舞する映像効果を加えたり、決定的瞬間のリプレイ、スローモーション再生を可能としたりすることで、生配信において利用可能な表現の幅を広げることができる。   In addition, as an intermediate production, a range of expressions that can be used in live distribution by adding video effects that inspire fanfare and other distributors in exciting scenes, and enabling replay and slow motion playback of decisive moments. Can be spread.

（第２の実施形態）
第２の実施形態に係る配信サーバは、生配信用の映像データおよび演出データをどのように合成するかを配信者および／または観客が指定することができる。具体的には、どのようなレイアウト（位置合わせ）で両者を合成するか、すなわち一方または両方をどれだけ平行移動させるかを指定したり、一方または両方に対する回転、反転、リサイズおよび／またはトリミングの設定を指定したりすることが可能である。 (Second Embodiment)
In the distribution server according to the second embodiment, the distributor and / or the audience can specify how to synthesize video data and production data for live distribution. Specifically, it is possible to specify the layout (alignment) in which both are combined, that is, how much one or both are translated, and rotation, flipping, resizing and / or trimming for one or both. It is possible to specify settings.

図９に第２の実施形態に係る配信サーバ５００が例示される。以降の説明では、配信サーバ５００と配信サーバ２００との相違点を中心に述べる。配信サーバ５００は、映像データの生配信に割り当てられた時間枠に亘って、配信者端末１００から逐次送信される、エンコード済みの映像データを受信する。配信サーバ５００は、演出条件が満足されている時には、映像データに演出データを配信者および／または観客の指定に従って合成し、合成映像データを配信者端末１００および観客端末３００へ配信する。ここで、演出条件は、第１の実施形態において説明した演出条件と同一または類似であり得る。   FIG. 9 illustrates a distribution server 500 according to the second embodiment. In the following description, differences between the distribution server 500 and the distribution server 200 will be mainly described. The distribution server 500 receives encoded video data sequentially transmitted from the distributor terminal 100 over a time frame assigned to live distribution of video data. When the production conditions are satisfied, distribution server 500 synthesizes the production data with the video data in accordance with the designation of the distributor and / or audience, and delivers the synthesized video data to distributor terminal 100 and audience terminal 300. Here, the production conditions may be the same as or similar to the production conditions described in the first embodiment.

配信サーバ５００がこのような演出データの自動合成を配信者および／または観客の指定に従って行うことで、第１の実施形態において説明した、オープニング演出、エンディング演出または中間演出の表現の幅をさらに広げることができる。例えば、映像データを演出データに対してはめ込み合成する場合に、より自然に見えるようにしたり、敢えて不自然に見えるようにしたりすることが可能となる。   The distribution server 500 performs such automatic composition of effect data according to the designation of the distributor and / or the audience, thereby further expanding the range of expression of the opening effect, the ending effect, or the intermediate effect described in the first embodiment. be able to. For example, when video data is embedded and combined with effect data, it can be made to look more natural, or it can be made to look unnatural.

以下、配信サーバ５００の機能的構成について図９を用いて説明する。なお、配信サーバ５００のハードウェア構成は、配信サーバ２００と同一または類似であり得るのでこれに関する説明を省略する。   Hereinafter, the functional configuration of the distribution server 500 will be described with reference to FIG. Note that the hardware configuration of the distribution server 500 may be the same as or similar to that of the distribution server 200, and a description thereof will be omitted.

配信サーバ５００は、受信部５０１と、時計部５０２と、配信制御部５０３と、演出条件判定部５０４と、演出条件記憶部５０５と、演出データ作成部５０６と、演出データ合成部５０７と、映像配信部５０８とを含む。このうち、時計部５０２、配信制御部５０３、演出条件記憶部５０５、演出データ作成部５０６および映像配信部５０８は、それぞれ配信サーバ２００における同名の要素と同一または類似であり得る。以下、その他の要素について、配信サーバ２００における同名の要素との相違点を中心に説明する。   The distribution server 500 includes a receiving unit 501, a clock unit 502, a distribution control unit 503, an effect condition determination unit 504, an effect condition storage unit 505, an effect data creation unit 506, an effect data composition unit 507, and an image. A distribution unit 508. Among these, the clock unit 502, the distribution control unit 503, the effect condition storage unit 505, the effect data creation unit 506, and the video distribution unit 508 can be the same as or similar to elements of the same name in the distribution server 200. Hereinafter, other elements will be described focusing on differences from the elements of the same name in the distribution server 200.

受信部５０１は、受信部２０１によって受信されるデータに加えて、配信者端末１００および／または観客端末３００から指定データを受信し得る。この指定データは、生配信用の映像データおよび演出データをどのように合成するかを指定する。具体的には、指定データは、映像データおよび演出データの合成位置、映像データの拡大／縮小率、演出データの拡大／縮小率、映像データの回転量、演出データの回転量、映像データにおける特定の領域、ならびに演出データにおける特定の領域、などを指定し得る。受信部５０１は、この指定データを演出条件判定部５０４へ送る。   The receiving unit 501 can receive specified data from the distributor terminal 100 and / or the audience terminal 300 in addition to the data received by the receiving unit 201. This designation data designates how to synthesize live delivery video data and presentation data. Specifically, the designation data is the combination position of the video data and the effect data, the enlargement / reduction ratio of the image data, the enlargement / reduction ratio of the effect data, the rotation amount of the image data, the rotation amount of the effect data, and the specification in the image data. And a specific area in the production data can be designated. The receiving unit 501 sends this designated data to the effect condition determining unit 504.

演出条件判定部５０４は、演出条件が満足している場合に、映像データに加えて指定データを演出データ合成部５０７へ送る。なお、配信者および観客が生配信用の映像データおよび演出データをどのように合成するかを特に指定しなければ、指定データが存在しないこともあり得る。   The effect condition determination unit 504 sends designation data to the effect data composition unit 507 in addition to the video data when the effect condition is satisfied. If the distributor and the audience do not particularly specify how to synthesize video data and production data for live distribution, the specified data may not exist.

演出データ合成部５０７は、演出条件判定部５０４から映像データおよび指定データを受け取り、演出データ作成部５０６から演出データを受け取る。演出データ合成部５０７は、指定データに従って映像データおよび／または演出データに前処理を行ってから両者を合成し、合成映像データを生成する。   The effect data composition unit 507 receives the video data and the designation data from the effect condition determination unit 504 and receives the effect data from the effect data creation unit 506. The effect data synthesizing unit 507 performs preprocessing on the video data and / or effect data according to the designated data, and then combines the two to generate synthesized video data.

具体的には、指定データが映像データおよび演出データの合成位置を指定する場合に、演出データ合成部５０７は、映像データおよび／または演出データを平行移動させて両者の合成位置を制御し得る。   Specifically, when the designation data designates the synthesis position of the video data and the presentation data, the presentation data synthesis unit 507 can control the synthesis position of both by moving the video data and / or the presentation data in parallel.

また、指定データが映像データの拡大／縮小率、および／または演出データの拡大／縮小率を指定する場合に、演出データ合成部５０７は、映像データおよび／または演出データをリサイズし得る。さらに、指定データが映像データの回転量、および／または演出データの回転量を指定する場合に、演出データ合成部５０７は映像データおよび／または演出データを回転し得る。ここで、回転は、画像平面上での２次元的な回転に限らず、上下反転および左右反転、ならびにこれら組み合わせを含む３次元的な回転を意味し得る。   Further, when the designation data designates the enlargement / reduction ratio of the video data and / or the enlargement / reduction ratio of the effect data, the effect data composition unit 507 can resize the video data and / or the effect data. Furthermore, when the designation data designates the rotation amount of the video data and / or the rotation amount of the effect data, the effect data composition unit 507 can rotate the video data and / or the effect data. Here, the rotation is not limited to a two-dimensional rotation on the image plane, but may mean a three-dimensional rotation including upside down, left / right inversion, and a combination thereof.

さらに、指定データが映像データにおける特定の領域、および／または演出データにおける特定の領域を指定する場合に、演出データ合成部５０７は、映像データおよび／または演出データにおいて指定された領域をトリミングし得る。   Further, when the designated data designates a specific area in the video data and / or a specific area in the effect data, the effect data composition unit 507 can trim the area specified in the video data and / or the effect data. .

演出データ合成部５０７が、以上のような前処理を行うことで、配信者および／観客の好みに合わせて、映像データおよび演出データを合成することが可能となる。一例として演出データが顔抜きフレームなどである場合に映像データの顔と顔抜きフレームのはめ込み部分とを自然に見えるように、または敢えて不自然に見えるように合成することが可能となる。   By performing the preprocessing as described above, the effect data combining unit 507 can combine the video data and the effect data in accordance with the preferences of the distributor and / or the audience. As an example, when the effect data is a faceless frame or the like, it is possible to combine the face of the video data and the inset portion of the faceless frame so that they look natural or unnaturally appear.

以上説明したように、第２の実施形態に係る配信サーバは、映像データおよび演出データをどのように合成するかを指定する指定データを配信者端末および／または観客端末から受信し、これに従って映像データおよび／または演出データに前処理を行ってから両者を合成する。故に、この配信サーバによれば、第１の実施形態において説明した、オープニング演出、エンディング演出または中間演出の表現の幅をさらに広げることが可能となる。   As described above, the distribution server according to the second embodiment receives the designation data designating how to synthesize the video data and the presentation data from the distributor terminal and / or the audience terminal, and the video according to this. Data and / or effect data are preprocessed and then combined. Therefore, according to this distribution server, it is possible to further expand the range of expression of the opening effect, the ending effect, or the intermediate effect described in the first embodiment.

（変形例）
ところで、前述の第１の実施形態および本実施形態では配信サーバが映像データおよび演出データを合成する。これにより、配信者および観客の視聴する合成映像データを同期させやすい、端末の処理負荷を減らすことができる、といったメリットがある。配信サーバから端末への通信量の削減というメリットもある。しかしながら、端末が映像データおよび演出データを合成することも可能である。以下、簡単に説明する。 (Modification)
By the way, in the above-described first embodiment and this embodiment, the distribution server combines the video data and the effect data. Thereby, there are merits that it is easy to synchronize the synthesized video data viewed by the distributor and the audience, and the processing load of the terminal can be reduced. There is also an advantage of reducing the amount of communication from the distribution server to the terminal. However, it is also possible for the terminal to synthesize video data and effect data. A brief description is given below.

この変形例に係る端末６００を図１０に例示する。なお、端末６００は、配信者端末および観客端末のどちらであってもよいので、配信者端末および観客端末それぞれに固有の部分については説明を省略する。   A terminal 600 according to this modification is illustrated in FIG. Note that since the terminal 600 may be either a distributor terminal or a spectator terminal, description of parts unique to the distributor terminal and the spectator terminal will be omitted.

端末６００は、配信者端末１００に関して説明した種々の電子デバイスであり得る。端末６００は、例えば、入出力制御、通信制御、演出条件の判定、演出データの作成、映像データおよび演出データの合成、などを行うプロセッサを含む。ここで、プロセッサは、典型的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であるが、マイコン、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、などであってもよい。また、端末６００は、かかる処理を実現するためにプロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータなどを一時的に格納するメモリを含んでいる。   Terminal 600 may be the various electronic devices described with respect to distributor terminal 100. The terminal 600 includes, for example, a processor that performs input / output control, communication control, determination of effect conditions, creation of effect data, synthesis of video data and effect data, and the like. Here, the processor is typically a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), but a microcomputer, an FPGA (Field Programmable Gate Array), or a DSP (Digital Signal Processor), or the like. May be. The terminal 600 also includes a memory that temporarily stores a program executed by the processor and data used by the processor in order to realize such processing.

なお、端末６００は、全てのデータをオンメモリの状態で扱ってもよいし、一部のデータが補助記憶装置に退避されていてもよい。補助記憶装置は、例えば、端末６００に内蔵または外付けされたＨＤＤ、ＳＳＤ、フラッシュメモリなどであってもよいし、端末６００からアクセス可能なデータベースサーバであってもよい。   Note that the terminal 600 may handle all data in an on-memory state, or some data may be saved in the auxiliary storage device. The auxiliary storage device may be, for example, an HDD, an SSD, a flash memory, or the like built in or externally attached to the terminal 600, or may be a database server accessible from the terminal 600.

また、端末６００は、複数の電子デバイスの組み合わせであってよい。例えば、端末６００における異なる機能部が別個の電子デバイスに分散して実装されてもよい。   The terminal 600 may be a combination of a plurality of electronic devices. For example, different functional units in the terminal 600 may be distributed and implemented in separate electronic devices.

端末６００は、さらに、ネットワークに接続するための通信Ｉ／Ｆ（インターフェース）、コンテンツを出力するための出力装置、などを利用可能である。通信Ｉ／Ｆおよび／または表示装置は、端末６００に内蔵されてもよいし、端末６００に外付けされてもよい。   The terminal 600 can further use a communication I / F (interface) for connecting to a network, an output device for outputting content, and the like. The communication I / F and / or display device may be built in the terminal 600 or may be externally attached to the terminal 600.

通信Ｉ／Ｆは、ネットワーク経由で、配信サーバ５００（もしくは配信サーバ２００）または図示されない他のサーバと通信をするためのモジュールであり得る。出力装置は、動画像、静止画像、テキストなどを表示するための表示装置および／または音声、楽曲などを出力するためのスピーカを含み得る。表示装置は、例えば、液晶ディスプレイ、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなどである。なお、表示装置は、タッチスクリーンのように入力装置の機能を備えていてもよい。   The communication I / F may be a module for communicating with the distribution server 500 (or the distribution server 200) or another server (not shown) via a network. The output device may include a display device for displaying moving images, still images, text, and / or a speaker for outputting sound, music, and the like. Examples of the display device include a liquid crystal display, an organic EL (electroluminescence) display, and a CRT (Cathode Ray Tube) display. Note that the display device may have a function of an input device like a touch screen.

端末６００は、受信部６０１と、演出条件判定部６０４と、演出条件記憶部６０５と、演出データ作成部６０６と、演出データ合成部６０７と、表示制御部６０８とを含む。   Terminal 600 includes a reception unit 601, an effect condition determination unit 604, an effect condition storage unit 605, an effect data creation unit 606, an effect data composition unit 607, and a display control unit 608.

受信部６０１は、ネットワーク経由で例えば配信サーバ５００から種々のデータを受信し、受信したデータを例えば演出条件判定部６０４へ送る。受信部６０１は、前述の通信Ｉ／Ｆであってもよい。   The receiving unit 601 receives various data from, for example, the distribution server 500 via the network, and sends the received data to, for example, the effect condition determining unit 604. The receiving unit 601 may be the communication I / F described above.

具体的には、受信部６０１は、生配信用の映像データを受信する。この映像データは、配信者端末１００から配信サーバ５００へ送信（アップロード）された映像データそのものであってもよいし、これに何らかの加工、例えば再エンコード、を施したものであってもよい。また、受信部６０１は、前述の指定データを受信することもあり得る。この指定データは、例えば配信サーバ５００により配信者端末１００および／または観客端末３００から収集され、各端末６００へ配信されたものであり得る。さらに、受信部６０１は、例えば第１の実施形態において説明した、演出条件の判定に必要なデータを受信し得る。   Specifically, the receiving unit 601 receives video data for live distribution. This video data may be the video data itself transmitted (uploaded) from the distributor terminal 100 to the distribution server 500, or may be obtained by performing some processing such as re-encoding. In addition, the receiving unit 601 may receive the above-described designation data. This designation data may be collected from the distributor terminal 100 and / or the audience terminal 300 by the distribution server 500 and distributed to each terminal 600, for example. Furthermore, the receiving unit 601 can receive data necessary for the determination of the rendering conditions described in the first embodiment, for example.

演出条件判定部６０４は、演出条件判定部５０４（または演出条件判定部２０４）と同一または類似であり得る。すなわち、演出条件判定部６０４は、受信部６０１から映像データ（および指定データ）を受け取り、演出条件記憶部６０５から演出条件を読み出し、演出条件が満足しているか否かを判定する。演出条件判定部６０４は、演出条件が満足していると判定した場合には映像データおよび指定データを演出データ合成部６０７へ送り、そうでなければ映像データを表示制御部６０８へ送る。演出条件判定部６０４は、前述のプロセッサおよびメモリであってよい。   The effect condition determination unit 604 may be the same as or similar to the effect condition determination unit 504 (or the effect condition determination unit 204). That is, the effect condition determination unit 604 receives the video data (and designated data) from the reception unit 601, reads the effect condition from the effect condition storage unit 605, and determines whether the effect condition is satisfied. When it is determined that the production condition is satisfied, the production condition determination unit 604 sends the video data and the designated data to the production data synthesis unit 607, and otherwise sends the video data to the display control unit 608. The effect condition determination unit 604 may be the aforementioned processor and memory.

演出データ作成部６０６は、演出データ作成部２０６と同一または類似であり得る。すなわち、演出データ作成部６０６は、演出データを作成し、演出データ合成部６０７へ送る。演出データ作成部２０６は、前述のプロセッサおよびメモリであってよい。   The effect data creation unit 606 may be the same as or similar to the effect data creation unit 206. That is, the effect data creation unit 606 creates effect data and sends it to the effect data composition unit 607. The effect data creation unit 206 may be the aforementioned processor and memory.

演出データ合成部６０７は、演出データ合成部５０７（または演出データ合成部２０７）と同一または類似であり得る。すなわち、演出データ合成部６０７は、演出条件判定部６０４から映像データおよび指定データを受け取り、演出データ作成部６０６から演出データを受け取る。演出データ合成部６０７は、指定データに従って映像データおよび／または演出データに前処理を行ってから両者を合成し、合成映像データを生成する。演出データ合成部６０７は、合成映像データを表示制御部６０８へ送る。演出データ合成部６０７は、前述のプロセッサおよびメモリであってよい。   The effect data composition unit 607 may be the same as or similar to the effect data composition unit 507 (or the effect data composition unit 207). That is, the effect data composition unit 607 receives video data and designation data from the effect condition determination unit 604 and receives effect data from the effect data creation unit 606. The effect data synthesizing unit 607 performs preprocessing on the video data and / or the effect data in accordance with the designated data, and then synthesizes both to generate synthesized video data. The effect data composition unit 607 sends the composite video data to the display control unit 608. The effect data composition unit 607 may be the aforementioned processor and memory.

表示制御部６０８は、前述の表示装置を制御し、映像データまたは合成映像データを当該表示装置の画面に表示する。表示制御部６０８は、例えば前述のプロセッサおよびメモリであってよい。   The display control unit 608 controls the display device described above and displays video data or synthesized video data on the screen of the display device. The display control unit 608 may be the above-described processor and memory, for example.

以上説明したように、この変形例に係る端末は、第１の実施形態および第２の実施形態において説明した、映像データおよび演出データの合成を行う。故に、この端末によれば、配信サーバがかかる機能を利用可能でない場合にも、第１の実施形態および第２の実施形態において説明した演出を生配信用の映像データに付加することが可能となる。なお、図１０の例では、端末が演出条件の判定を行っているが、配信サーバが演出条件の判定を行うようにさらに変形することも可能である。   As described above, the terminal according to this modification combines the video data and the effect data described in the first embodiment and the second embodiment. Therefore, according to this terminal, it is possible to add the effects described in the first embodiment and the second embodiment to video data for live distribution even when the distribution server cannot use such a function. Become. In addition, in the example of FIG. 10, although the terminal is determining the production conditions, it can be further modified so that the distribution server determines the production conditions.

（第３の実施形態）
前述の第１の実施形態および第２の実施形態では、映像データに演出データを合成することにより演出が実現される。第３の実施形態に係る配信サーバは、生配信用の映像データそのものを加工することで演出を実現する。 (Third embodiment)
In the first embodiment and the second embodiment described above, the effect is realized by combining the effect data with the video data. The distribution server according to the third embodiment realizes an effect by processing the video data itself for live distribution.

図１１に第３の実施形態に係る配信サーバ７００が例示される。以降の説明では、配信サーバ７００と配信サーバ２００または配信サーバ５００との相違点を中心に述べる。配信サーバ７００は、映像データの生配信に割り当てられた時間枠に亘って、配信者端末１００から逐次送信される、エンコード済みの映像データを受信する。配信サーバ７００は、演出条件が満足されている時には、映像データを加工し、加工済み映像データを配信者端末１００および観客端末３００へ配信する。ここで、演出条件は、第１の実施形態において説明した演出条件と同一または類似であり得る。   FIG. 11 illustrates a distribution server 700 according to the third embodiment. In the following description, differences between the distribution server 700 and the distribution server 200 or the distribution server 500 will be mainly described. The distribution server 700 receives encoded video data that is sequentially transmitted from the distributor terminal 100 over a time frame assigned to live distribution of video data. When the production conditions are satisfied, the distribution server 700 processes the video data and distributes the processed video data to the distributor terminal 100 and the audience terminal 300. Here, the production conditions may be the same as or similar to the production conditions described in the first embodiment.

配信サーバ７００がこのような映像データの加工を行うことで、第１の実施形態および第２の実施形態において説明した演出とは異なる表現の演出を利用することができる。例えば、映像データの特定の領域（例えば、顔領域）または全領域にフィルターをかける加工があり得る。フィルターは、例えば、モザイク、セピア、モノクロ、レトロ、ぼかし、暗視スコープ風エフェクト、歪み、漫画風エフェクト、などの様々な各種エフェクトを付加することで、映像データの視覚的な印象を変えることができる。さらに、映像データの特定の領域の複製を当該映像データに貼り付ける、という加工もあり得る。   When the distribution server 700 processes such video data, it is possible to use an effect of expression different from the effect described in the first embodiment and the second embodiment. For example, there may be processing for filtering a specific area (for example, a face area) or the entire area of video data. Filters can change the visual impression of video data by adding various effects such as mosaic, sepia, monochrome, retro, blur, night vision scope effect, distortion, cartoon effect, etc. it can. Furthermore, there may be a process of pasting a copy of a specific area of video data to the video data.

以下、配信サーバ７００の機能的構成について図１１を用いて説明する。なお、配信サーバ７００のハードウェア構成は、配信サーバ２００または配信サーバ５００と同一または類似であり得るのでこれに関する説明を省略する。   Hereinafter, the functional configuration of the distribution server 700 will be described with reference to FIG. Note that the hardware configuration of the distribution server 700 may be the same as or similar to the distribution server 200 or the distribution server 500, and a description thereof will be omitted.

配信サーバ７００は、受信部７０１と、時計部７０２と、配信制御部７０３と、演出条件判定部７０４と、演出条件記憶部７０５と、映像加工部７０７と、映像配信部７０８とを含む。このうち、映像加工部７０７以外の要素は、それぞれ配信サーバ２００または配信サーバ５００における同名の要素と同一または類似であり得る。故に、以下、映像加工部７０７を説明する。   Distribution server 700 includes a receiving unit 701, a clock unit 702, a distribution control unit 703, an effect condition determination unit 704, an effect condition storage unit 705, an image processing unit 707, and an image distribution unit 708. Among these elements, elements other than the video processing unit 707 may be the same as or similar to elements of the same name in the distribution server 200 or the distribution server 500, respectively. Therefore, the video processing unit 707 will be described below.

映像加工部７０７は、演出条件判定部７０４から映像データ（および指定データ）を受け取る。まず、映像加工部７０７は、指定データを受け取った場合には映像データに第２の実施形態において説明した前処理を行う。それから、映像加工部７０７は、演出条件判定部７０４からの映像データ、またはこれに前処理を行った映像データに対して、既定の加工を行って加工済み映像データを生成する。映像加工部７０７は、加工済み映像データを映像配信部７０８へ送る。映像加工部７０７は、前述のプロセッサおよびメモリであってよい。   The video processing unit 707 receives video data (and designated data) from the effect condition determination unit 704. First, when receiving the designated data, the video processing unit 707 performs the preprocessing described in the second embodiment on the video data. Then, the video processing unit 707 performs predetermined processing on the video data from the effect condition determination unit 704 or video data that has been pre-processed on the video data to generate processed video data. The video processing unit 707 sends the processed video data to the video distribution unit 708. The video processing unit 707 may be the aforementioned processor and memory.

具体的には、映像加工部７０７は、前述のフィルターのいずれかを映像データに対して適用してもよい。或いは、映像加工部７０７は、映像データの特定の領域の複製を当該映像データに貼り付けてもよい。例えば、図１２のような映像データに対して、映像加工部７０７は図１３または図１４に例示される加工を行ってもよい。   Specifically, the video processing unit 707 may apply any of the above-described filters to the video data. Alternatively, the video processing unit 707 may paste a copy of a specific area of the video data to the video data. For example, the video processing unit 707 may perform the processing illustrated in FIG. 13 or 14 on the video data as shown in FIG.

図１３の例では、破線で示す中心軸よりも左側の領域の複製を左右反転した映像が当該中心軸よりも右側に貼り付けられている。なお、反転の基準となる対象軸の数、それぞれの位置および角度は、自動的に決定されてもよいし、配信者および／または観客が例えば指定データを通じて指定可能としてもよい。   In the example of FIG. 13, an image obtained by horizontally inverting a copy of a region on the left side of the central axis indicated by a broken line is pasted on the right side of the central axis. It should be noted that the number of target axes that are the reference for reversal, their respective positions and angles may be automatically determined, or may be designated by the distributor and / or the audience through, for example, designated data.

図１４の例では、映像データ中の人物周辺の領域の複製そのもの、または当該複製に前処理を施した映像が、破線で示す領域に貼り付けられている。なお、映像データ中のいずれの領域を複製するか、複製に前処理を行うか否か、複製にどのような前処理を行うか、および貼り付けの位置および数、などは、自動的に決定されてもよいし、配信者および／または観客が例えば指定データを通じて指定可能としてもよい。   In the example of FIG. 14, a copy of an area around a person in video data or a video obtained by performing preprocessing on the copy is pasted in an area indicated by a broken line. In addition, which area in the video data is to be duplicated, whether to perform preprocessing for duplication, what kind of preprocessing for duplication, the position and number of pasting, etc. are automatically determined For example, the distributor and / or the audience may be designated through designated data.

以上説明したように、第３の実施形態に係る配信サーバは、映像データを加工することで演出を実現する。故に、この配信サーバによれば、第１の実施形態および第２の実施形態において説明した演出とは異なる表現の演出を利用することができる。   As described above, the distribution server according to the third embodiment realizes an effect by processing video data. Therefore, according to this distribution server, it is possible to use an effect of expression different from the effect described in the first embodiment and the second embodiment.

（変形例）
ところで、本実施形態では配信サーバが映像データを加工する。これにより、配信者および観客の視聴する合成映像データを同期させやすい、端末の処理負荷を減らすことができる、といったメリットがある。配信サーバから端末への通信量の削減というメリットもある。しかしながら、端末が映像データを加工することも可能である。以下、簡単に説明する。 (Modification)
By the way, in this embodiment, the distribution server processes the video data. Thereby, there are merits that it is easy to synchronize the synthesized video data viewed by the distributor and the audience, and the processing load of the terminal can be reduced. There is also an advantage of reducing the amount of communication from the distribution server to the terminal. However, the terminal can also process the video data. A brief description is given below.

この変形例に係る端末８００を図１５に例示する。なお、端末８００のハードウェア構成は、端末６００と同一または類似であり得るのでこれに関する説明を省略する。また、端末８００は、配信者端末および観客端末のどちらであってもよいので、配信者端末および観客端末それぞれに固有の部分については説明を省略する。   A terminal 800 according to this modification is illustrated in FIG. Note that the hardware configuration of the terminal 800 may be the same as or similar to that of the terminal 600, and thus a description thereof will be omitted. Further, since the terminal 800 may be either a distributor terminal or a spectator terminal, description of parts unique to the distributor terminal and the spectator terminal will be omitted.

端末８００は、受信部８０１と、演出条件判定部８０４と、演出条件記憶部８０５と、映像加工部８０７と、表示制御部８０８とを含む。このうち、映像加工部８０７以外の要素は、端末６００における同名の要素と同一または類似であり得る。故に、以下、映像加工部８０７を説明する。   Terminal 800 includes a receiving unit 801, an effect condition determination unit 804, an effect condition storage unit 805, an image processing unit 807, and a display control unit 808. Among these, elements other than the image processing unit 807 may be the same as or similar to the elements having the same names in the terminal 600. Therefore, the image processing unit 807 will be described below.

映像加工部８０７は、映像加工部７０７と同一または類似であり得る。すなわち、映像加工部８０７は、演出条件判定部８０４から映像データ（および指定データ）を受け取る。まず、映像加工部８０７は、指定データを受け取った場合には映像データに第２の実施形態において説明した前処理を行う。それから、映像加工部８０７は、演出条件判定部８０４からの映像データ、またはこれに前処理を行った映像データに対して、第３の実施形態において説明した既定の加工を行って加工済み映像データを生成する。映像加工部８０７は、加工済み映像データを映像配信部７０８へ送る。映像加工部８０７は、前述のプロセッサおよびメモリであってよい。   The video processing unit 807 may be the same as or similar to the video processing unit 707. That is, the video processing unit 807 receives video data (and designated data) from the effect condition determination unit 804. First, when receiving the designated data, the video processing unit 807 performs the preprocessing described in the second embodiment on the video data. Then, the video processing unit 807 performs the default processing described in the third embodiment on the video data from the effect condition determination unit 804 or the video data that has been pre-processed on the video data. Is generated. The video processing unit 807 sends the processed video data to the video distribution unit 708. The video processing unit 807 may be the aforementioned processor and memory.

以上説明したように、この変形例に係る端末は、第３の実施形態において説明した、映像データの加工を行う。故に、この端末によれば、配信サーバがかかる機能を利用可能でない場合にも、第３の実施形態において説明した演出を生配信用の映像データに付加することが可能となる。なお、図１５の例では、端末が演出条件の判定を行っているが、配信サーバが演出条件の判定を行うようにさらに変形することも可能である。   As described above, the terminal according to this modification processes the video data described in the third embodiment. Therefore, according to this terminal, even when the distribution server cannot use such a function, it is possible to add the effect described in the third embodiment to the video data for live distribution. In addition, in the example of FIG. 15, although the terminal is determining the production conditions, it can be further modified so that the distribution server determines the production conditions.

（第４の実施形態）
前述の第１の実施形態では、映像データに対して動的な演出データを合成して演出することが可能である。第４の実施形態では、この動的な演出データを配信者および／または観客からの操作要求に応じて制御することでインタラクティブ性の高い演出を実現する。 (Fourth embodiment)
In the first embodiment described above, it is possible to produce by combining dynamic presentation data with video data. In the fourth embodiment, a highly interactive effect is realized by controlling the dynamic effect data according to an operation request from the distributor and / or the audience.

図１６に第４の実施形態に係る配信サーバ９００が例示される。以降の説明では、配信サーバ９００と配信サーバ２００、配信サーバ５００または配信サーバ７００との相違点を中心に述べる。   FIG. 16 illustrates a distribution server 900 according to the fourth embodiment. In the following description, differences between the distribution server 900 and the distribution server 200, the distribution server 500, or the distribution server 700 will be mainly described.

配信サーバ９００は、映像データの生配信に割り当てられた時間枠に亘って、配信者端末１００から逐次送信される、エンコード済みの映像データを受信する。配信サーバ９００は、演出条件が満足されている時には、配信者端末１００および／または観客端末３００から映像データに合成される動的な演出データに対する操作要求を受信し、これに基づいて当該動的な演出データの操作データを生成する。そして、配信サーバ９００は、映像データに加えてこの操作データを配信者端末１００および観客端末３００へ送信する。配信者端末１００および観客端末３００は、それぞれ受信した操作データに基づいて動的な演出データを制御し、受信した映像データに合成して表示装置の画面に表示する。ここで、演出条件は、第１の実施形態において説明した演出条件と同一または類似であり得る。   The distribution server 900 receives encoded video data sequentially transmitted from the distributor terminal 100 over a time frame assigned to live distribution of video data. When the production conditions are satisfied, the distribution server 900 receives an operation request for dynamic production data combined with video data from the distributor terminal 100 and / or the audience terminal 300, and based on this, Operation data is generated. The distribution server 900 transmits this operation data to the distributor terminal 100 and the audience terminal 300 in addition to the video data. Distributor terminal 100 and spectator terminal 300 each control dynamic effect data based on the received operation data, and synthesizes the received video data to display on the screen of the display device. Here, the production conditions may be the same as or similar to the production conditions described in the first embodiment.

配信サーバ９００が操作要求に基づいてこのような動的な演出データの操作データを生成、配信し、配信者端末１００および観客端末３００が当該操作データに基づいて動的な演出データを制御して映像データに合成することで、インタラクティブ性の高い演出が可能となる。   The distribution server 900 generates and distributes operation data of such dynamic production data based on the operation request, and the distributor terminal 100 and the audience terminal 300 control the dynamic production data based on the operation data. By combining it with video data, a highly interactive performance is possible.

以下、配信サーバ９００の機能的構成について図１６を用いて説明する。なお、配信サーバ９００のハードウェア構成は、配信サーバ２００、配信サーバ５００または配信サーバ７００と同一または類似であり得るのでこれに関する説明を省略する。   Hereinafter, the functional configuration of the distribution server 900 will be described with reference to FIG. Note that the hardware configuration of the distribution server 900 may be the same as or similar to the distribution server 200, the distribution server 500, or the distribution server 700, and a description thereof will be omitted.

配信サーバ９００は、受信部９０１と、時計部９０２と、配信制御部９０３と、演出条件判定部９０４と、演出条件記憶部９０５と、映像配信部９０８と、操作データ生成部９０９とを含む。このうち、時計部９０２、配信制御部９０３、および演出条件記憶部９０５は、それぞれ配信サーバ２００、配信サーバ５００または配信サーバ７００における同名の要素と同一または類似であり得る。以下、その他の要素について、配信サーバ２００、配信サーバ５００または配信サーバ７００における同名の要素との相違点を中心に説明する。   Distribution server 900 includes a reception unit 901, a clock unit 902, a distribution control unit 903, an effect condition determination unit 904, an effect condition storage unit 905, a video distribution unit 908, and an operation data generation unit 909. Among these, the clock unit 902, the distribution control unit 903, and the effect condition storage unit 905 can be the same as or similar to the elements of the same name in the distribution server 200, the distribution server 500, or the distribution server 700, respectively. Hereinafter, other elements will be described focusing on differences from the elements of the same name in the distribution server 200, the distribution server 500, or the distribution server 700.

受信部９０１は、受信部２０１によって受信されるデータに加えて、配信者端末１００および／または観客端末３００から、動的な演出データに対する操作要求を受信し得る。この操作要求は、例えば動的な演出データを生成する種々のツール、例えば、お絵かきアプリ、手書き入力アプリ、ストップウォッチ、タイマー、カウンタ、サイコロ、トランプ、おみくじ、ビンゴゲーム、じゃんけんゲーム、静止画ビューワを含む生配信中に引用するコンテンツのプレイヤー、などを操作するために対応するプログラムに与えられる入力データ、例えばオブジェクトの選択など、に相当し得る。受信部９０１は、この操作要求を演出条件判定部９０４へ送る。   The receiving unit 901 can receive an operation request for dynamic effect data from the distributor terminal 100 and / or the audience terminal 300 in addition to the data received by the receiving unit 201. This operation request is, for example, various tools for generating dynamic performance data, such as a drawing application, a handwriting input application, a stopwatch, a timer, a counter, a dice, a playing card, a fortune ticket, a bingo game, a janken game, a still image viewer. It may correspond to input data given to a corresponding program for operating a player of content cited during live distribution including, for example, selection of an object. The receiving unit 901 sends this operation request to the effect condition determining unit 904.

演出条件判定部９０４は、演出条件の判定結果に関わらず、映像データを映像配信部９０８へ送る。さらに、演出条件判定部９０４は、演出条件が満足している場合に、操作要求を操作データ生成部９０９へ送る。なお、配信者および観客が操作要求を発行するための入力を行っていなければ、操作要求が存在しないこともあり得る。   The effect condition determination unit 904 sends the video data to the video distribution unit 908 regardless of the determination result of the effect condition. Furthermore, the production condition determination unit 904 sends an operation request to the operation data generation unit 909 when the production conditions are satisfied. Note that there may be no operation request if the distributor and the audience have not made an input for issuing the operation request.

操作データ生成部９０９は、演出条件判定部９０４から操作要求を受け取り、これに基づいて動的な演出データの操作データを生成する。操作データ生成部９０９は、操作データを映像配信部９０８へ送る。操作データ生成部９０９は、前述のプロセッサおよびメモリであってよい。なお、複数の端末が操作要求を略同時に送信すると、操作要求の衝突が生じ得る。すなわち、ある端末からの操作要求が、他の端末からの操作要求と矛盾することがあるが、操作データ生成部９０９はかかる衝突の調停を行ってから操作データを生成してもよい。   The operation data generation unit 909 receives an operation request from the effect condition determination unit 904 and generates operation data of dynamic effect data based on the request. The operation data generation unit 909 sends the operation data to the video distribution unit 908. The operation data generation unit 909 may be the aforementioned processor and memory. If a plurality of terminals transmit operation requests almost simultaneously, operation request collision may occur. That is, although an operation request from a certain terminal may conflict with an operation request from another terminal, the operation data generation unit 909 may generate operation data after arbitrating the collision.

また、多数の端末から操作要求を略同時に送信し、操作データ生成部９０９が当該操作要求を全て考慮して操作データを生成することは負荷が大きい。そこで、上記衝突の調停とも関連するが、操作データ生成部９０９は、操作要求の一部を破棄するフィルタリングを行い、残余の操作要求に基づいて操作データを生成してもよい。一例として、操作データ生成部９０９は、観客のうち課金をした者、配信者のチャンネル会員である者、特定の地域に居る者、抽選に当選した者、などからの操作要求を維持し、他の操作要求を破棄してもよい。   In addition, it is a heavy load to transmit operation requests from a large number of terminals almost simultaneously and the operation data generation unit 909 generates operation data in consideration of all the operation requests. Therefore, although related to the arbitration of the collision, the operation data generation unit 909 may perform filtering to discard a part of the operation request and generate operation data based on the remaining operation request. As an example, the operation data generation unit 909 maintains operation requests from those who have paid among the audience, those who are channel members of the distributor, those who are in a specific area, those who have won the lottery, etc. The operation request may be discarded.

本実施形態において動的な演出データは、少なくとも操作データに応じて画面遷移、すなわち外観的な変化を生じる映像データであり得る。具体的には、操作データに応じた画面遷移の例として、トランプの山札を選択する操作データに応じた手札の画像の更新、サイコロを選択する操作データに応じたサイコロの出目の更新、手書き入力に基づく操作データに応じたお絵かき画像の更新、などが挙げられる。また、操作データに加えて時間の経過に応じた画面遷移もあり得る。例えば、スタートのボタンを選択する操作データに応じて、ストップウォッチまたはタイマーの表示部の画像がカウントダウンまたはカウントアップするように変化し始める。以後の表示部の画像は、時間の経過に応じて更新されることになる。   In the present embodiment, the dynamic effect data may be video data that causes a screen transition, that is, an appearance change according to at least the operation data. Specifically, as an example of the screen transition according to the operation data, update of the image of the hand according to the operation data for selecting the deck of cards, update of the roll of the dice according to the operation data for selecting the dice, For example, a drawing image is updated according to operation data based on handwriting input. In addition to operation data, there may be screen transitions according to the passage of time. For example, in accordance with operation data for selecting a start button, the image on the display portion of the stopwatch or timer starts to change so as to count down or count up. Subsequent images on the display unit are updated as time passes.

画面遷移は、全端末共通であってもよいし、そうでなくてもよい。後者の例として、動的な演出データは、図１７および図１８に例示されるじゃんけんゲームの実行画面データであってもよい。この例では、当初、図１７に示されるように選択可能な手を表す画像が映像データに合成され、操作データ生成部９０９は、既定の締め切り時間まで配信者および／または観客からの操作要求を待ち受け、当該締め切り時間の終了後に操作データを生成する。締め切り時間の終了後、じゃんけんの結果を表す画像への画面遷移が生じる。この結果、配信者端末１００は、図１８に例示されるように、観客との勝負の結果、例えば配信者が選んだ手と、３つの手毎にその手を選んだ人数とを表す演出データを生成し、映像データに合成することができる。また、観客端末３００は、配信者との勝負の結果、例えば配信者が選んだ手と、当該観客端末３００を操作した観客が選んだ手とを表す演出データを生成し、映像データに合成することができる。或いは、配信者端末１００および／または観客端末３００は、勝者〜名、敗者〜名、あいこ〜名のように勝敗結果の集計を表す演出データを生成し、映像データに合成してもよい。   The screen transition may or may not be common to all terminals. As an example of the latter, the dynamic effect data may be execution screen data of the janken game exemplified in FIGS. 17 and 18. In this example, initially, as shown in FIG. 17, an image representing a selectable hand is combined with video data, and the operation data generation unit 909 receives an operation request from the distributor and / or audience until a predetermined deadline. Wait and generate operation data after the deadline is over. After the end of the deadline, a screen transition to an image representing the result of Janken occurs. As a result, as illustrated in FIG. 18, the distributor terminal 100 produces the result data representing the result of the game with the audience, for example, the hand selected by the distributor and the number of persons who selected the hand for every three hands. Can be generated and combined with video data. In addition, the spectator terminal 300 generates effect data representing, for example, the hand selected by the distributor and the hand selected by the spectator who operated the spectator terminal 300 as a result of the game with the distributor, and synthesizes the video data. be able to. Alternatively, the distributor terminal 100 and / or the spectator terminal 300 may generate effect data representing the total of the winning and losing results, such as winner-name, loser-name, and Aiko-name, and synthesize it with video data.

映像配信部９０８は、演出条件判定部９０４から映像データを受け取り、さらに操作データ生成部９０９から操作データを受け取ることもある。映像配信部９０８は、映像データ（および操作データ）を配信者端末１００および観客端末３００へ配信する。   The video distribution unit 908 may receive video data from the effect condition determination unit 904 and may further receive operation data from the operation data generation unit 909. The video distribution unit 908 distributes video data (and operation data) to the distributor terminal 100 and the audience terminal 300.

図１９に第４の実施形態に係る端末１０００が例示される。以降の説明では、端末６００または端末８００との相違点を中心に述べる。なお、端末１０００のハードウェア構成は、端末６００または端末８００と同一または類似であり得るのでこれに関する説明を省略する。また、端末１０００は、配信者端末および観客端末のどちらであってもよいので、配信者端末および観客端末それぞれに固有の部分については説明を省略する。   FIG. 19 illustrates a terminal 1000 according to the fourth embodiment. In the following description, differences from the terminal 600 or the terminal 800 will be mainly described. Note that the hardware configuration of the terminal 1000 may be the same as or similar to that of the terminal 600 or the terminal 800, and thus description thereof will be omitted. Further, since the terminal 1000 may be either a distributor terminal or a spectator terminal, description of parts unique to the distributor terminal and the spectator terminal will be omitted.

端末１０００は、受信部１００１と、演出条件判定部１００４と、演出条件記憶部１００５と、演出データ制御部１００６と、演出データ合成部１００７と、表示制御部１００８と、入力部１０１０と、操作要求生成部１０１１と、送信部１０１２とを含む。このうち、演出条件記憶部１００５、演出データ合成部１００７および表示制御部１００８は、それぞれ端末６００または端末８００における同名の要素と同一または類似であり得る。以下、その他の要素について、端末６００または端末８００における同名の要素との相違点を中心に説明する。   The terminal 1000 includes a receiving unit 1001, an effect condition determination unit 1004, an effect condition storage unit 1005, an effect data control unit 1006, an effect data composition unit 1007, a display control unit 1008, an input unit 1010, and an operation request. A generation unit 1011 and a transmission unit 1012 are included. Among these, the effect condition storage unit 1005, the effect data composition unit 1007, and the display control unit 1008 can be the same as or similar to the elements of the same name in the terminal 600 or the terminal 800, respectively. Hereinafter, other elements will be described focusing on differences from the elements of the same name in the terminal 600 or the terminal 800.

入力部１０１０は、ユーザ入力を受け取り、ユーザ入力データを生成する。入力部１０１０は、ユーザ入力データを演出条件判定部１００４へ送る。入力部１０１０は、端末１０００に内蔵され、または外付けされた入力装置であり得る。入力装置は、例えば、キーボード、マウス、テンキーなどであってもよいし、タッチスクリーンのように表示装置の機能を備えていてもよい。ユーザ入力は、典型的には、タップ、クリック、特定のキーの押下などであり、ユーザ入力データはこれらイベントの発生を表すデータであり得る。このほか、ユーザ入力データは、例えば、マイクロフォンによって捉えられる音声、生体センサによって検出される生体データ（例えば体温、表情など）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）または基地局情報によって識別される位置データ、加速度センサによって検出される加速度データに基づいて推定されるユーザのアクション（例えば、端末１０００を振り回した）などを含むこともできる。   The input unit 1010 receives user input and generates user input data. Input unit 1010 sends user input data to effect condition determination unit 1004. The input unit 1010 may be an input device built in the terminal 1000 or externally attached. The input device may be, for example, a keyboard, a mouse, a numeric keypad, or the like, or may have a display device function like a touch screen. The user input is typically a tap, a click, a specific key press, or the like, and the user input data may be data representing the occurrence of these events. In addition, user input data includes, for example, voice captured by a microphone, biological data detected by a biological sensor (eg, body temperature, facial expression, etc.), GPS (Global Positioning System) or position data identified by base station information, acceleration User actions estimated based on acceleration data detected by the sensor (for example, the terminal 1000 is swung) may be included.

演出条件判定部１００４は、演出条件が満足している場合に、ユーザ入力データを操作要求生成部１０１１へ送る。   The production condition determination unit 1004 sends user input data to the operation request generation unit 1011 when the production conditions are satisfied.

操作要求生成部１０１１は、演出条件判定部１００４からユーザ入力データを受け取り、これに応じて操作要求を生成する。操作要求生成部１０１１は、この操作要求を送信部１０１２へ送る。操作要求生成部１０１１は、前述のプロセッサおよびメモリであってよい。   The operation request generation unit 1011 receives user input data from the effect condition determination unit 1004 and generates an operation request in response thereto. The operation request generation unit 1011 sends this operation request to the transmission unit 1012. The operation request generation unit 1011 may be the aforementioned processor and memory.

送信部１０１２は、操作要求生成部１０１１から操作要求を受け取り、これを配信サーバ９００へ送信する。送信部１０１２は、前述の通信Ｉ／Ｆであってもよい。   The transmission unit 1012 receives an operation request from the operation request generation unit 1011 and transmits it to the distribution server 900. The transmission unit 1012 may be the communication I / F described above.

受信部１００１は、生配信用の映像データを受信する。この映像データは、配信者端末１００から配信サーバ９００へ送信（アップロード）された映像データそのものであってもよいし、これに何らかの加工を施したものであってもよい。また、受信部１００１は、演出条件が満足している時には、操作データを受信し得る。さらに、受信部１００１は、前述の指定データ、演出条件の判定に必要なデータ、などを受信することもあり得る。受信部１００１は、操作データを演出データ制御部１００６へ送り、映像データおよび指定データを演出データ合成部１００７へ送り、演出条件の判定に必要なデータを演出条件判定部１００４へ送る。   The receiving unit 1001 receives video data for live distribution. This video data may be the video data itself transmitted (uploaded) from the distributor terminal 100 to the distribution server 900, or may be obtained by performing some processing on the video data. The receiving unit 1001 can receive operation data when the production conditions are satisfied. Furthermore, the receiving unit 1001 may receive the above-described designation data, data necessary for determining the production conditions, and the like. The receiving unit 1001 sends operation data to the effect data control unit 1006, sends video data and designation data to the effect data composition unit 1007, and sends data necessary for the determination of the effect condition to the effect condition determination unit 1004.

演出データ制御部１００６は、受信部１００１から操作データを受け取り、当該操作データに基づいて動的な演出データを制御する。具体的には、演出データ制御部１００６は、前述の種々のツールに対応するプログラム（アプリケーション）を実行しており、当該プログラムに操作データを与える。なお、操作データは、時間データと当該時間データに対応する操作入力データとを含み得る。この場合に、演出データ制御部１００６は、時間データの示す時間に、当該時間データに対応する操作入力データをプログラムに与え得る。プログラムは、与えられた操作入力データに応じて画面遷移する映像を実行結果、すなわち動的な演出データとして生成し得る。演出データ制御部１００６は、動的な演出データを演出データ合成部１００７へ送る。演出データ制御部１００６は、前述のプロセッサおよびメモリであってよい。ここで、プログラムは、生配信用の映像データを再生するためのプレイヤーに組み込まれていてもよいし、当該プレイヤーから見て外部プログラムであってもよい。   The effect data control unit 1006 receives operation data from the receiving unit 1001 and controls dynamic effect data based on the operation data. Specifically, the effect data control unit 1006 executes programs (applications) corresponding to the various tools described above, and gives operation data to the programs. The operation data can include time data and operation input data corresponding to the time data. In this case, the effect data control unit 1006 can give operation input data corresponding to the time data to the program at the time indicated by the time data. The program can generate an image whose screen transitions according to the given operation input data as an execution result, that is, dynamic presentation data. The effect data control unit 1006 sends dynamic effect data to the effect data composition unit 1007. The effect data control unit 1006 may be the aforementioned processor and memory. Here, the program may be incorporated in a player for reproducing video data for live distribution, or may be an external program as viewed from the player.

以上説明したように、第４の実施形態に係る配信サーバは、動的な演出データに対する操作要求を配信者端末および／または観客端末から収集し、当該動的な演出データの操作データを生成、配信する。そして、本実施形態に係る端末は、この操作データに基づいて動的な演出データを制御し、生配信用の映像データに合成する。故に、この配信サーバおよび端末によれば、例えば配信者および観客がリアルタイムに一緒に遊ぶなどのインタラクティブ性の高い演出が可能となる。   As described above, the distribution server according to the fourth embodiment collects operation requests for dynamic presentation data from the distributor terminal and / or the audience terminal, and generates operation data for the dynamic presentation data. To deliver. And the terminal which concerns on this embodiment controls dynamic production data based on this operation data, and synthesize | combines it with the video data for live delivery. Therefore, according to this distribution server and terminal, it is possible to produce highly interactive performances such as a distributor and a spectator playing together in real time.

（変形例）
ところで、本実施形態では端末が動的な演出データの制御と、映像データおよび動的な演出データの合成とを行っている。しかしながら、配信サーバが、動的な演出データの制御を行い、映像データに合成されるべき演出データを端末に逐次送信することも可能であるし、第１の実施形態と同様に映像データと動的な演出データとの合成までも行ってもよい。これにより、配信者および観客の視聴する合成映像データを同期させやすい、端末の処理負荷を減らすことができる、といったメリットがある。配信サーバが、動的な演出データの制御と映像データおよび動的な演出データの合成とを行う例について簡単に説明する。 (Modification)
By the way, in this embodiment, the terminal performs control of dynamic presentation data and synthesis of video data and dynamic presentation data. However, it is also possible for the distribution server to control the dynamic presentation data and to sequentially transmit the presentation data to be combined with the video data to the terminal. Even synthesis with typical production data may be performed. Thereby, there are merits that it is easy to synchronize the synthesized video data viewed by the distributor and the audience, and the processing load of the terminal can be reduced. An example in which the distribution server performs control of dynamic presentation data and synthesis of video data and dynamic presentation data will be briefly described.

この変形例に係る配信サーバ１１００を図２０に例示する。なお、配信サーバ１１００のハードウェア構成は、配信サーバ２００、配信サーバ５００、配信サーバ７００または配信サーバ９００と同一または類似であり得るのでこれに関する説明を省略する。   A distribution server 1100 according to this modification is illustrated in FIG. Note that the hardware configuration of the distribution server 1100 may be the same as or similar to the distribution server 200, the distribution server 500, the distribution server 700, or the distribution server 900, and a description thereof will be omitted.

配信サーバ１１００は、受信部１１０１と、時計部１１０２と、配信制御部１１０３と、演出条件判定部１１０４と、演出条件記憶部１１０５と、演出データ制御部１１０６と、演出データ合成部１１０７と、映像配信部１１０８と、操作データ生成部１１０９とを含む。このうち、受信部１１０１、時計部１１０２、配信制御部１１０３、演出条件判定部１１０４、演出条件記憶部１１０５、演出データ合成部１１０７、映像配信部１１０８、および操作データ生成部１１０９は、配信サーバ２００、配信サーバ５００、配信サーバ７００または配信サーバ９００における同名の要素と同一または類似であり得る。故に、以下、演出データ制御部１１０６を説明する。   The distribution server 1100 includes a receiving unit 1101, a clock unit 1102, a distribution control unit 1103, an effect condition determination unit 1104, an effect condition storage unit 1105, an effect data control unit 1106, an effect data combining unit 1107, and an image. A distribution unit 1108 and an operation data generation unit 1109 are included. Among these, the receiving unit 1101, the clock unit 1102, the distribution control unit 1103, the production condition determination unit 1104, the production condition storage unit 1105, the production data composition unit 1107, the video distribution unit 1108, and the operation data generation unit 1109 are distributed by the distribution server 200. , May be the same as or similar to elements of the same name in distribution server 500, distribution server 700, or distribution server 900. Therefore, the effect data control unit 1106 will be described below.

演出データ制御部１１０６は、演出データ制御部１００６と同一または類似であり得る。すなわち、演出データ制御部１１０６は、操作データ生成部１１０９から操作データを受け取り、当該操作データに基づいて動的な演出データを制御する。演出データ制御部１１０６は、動的な演出データを演出データ合成部１１０７へ送る。演出データ制御部１１０６は、前述のプロセッサおよびメモリであってよい。   The effect data control unit 1106 may be the same as or similar to the effect data control unit 1006. That is, the effect data control unit 1106 receives operation data from the operation data generation unit 1109 and controls dynamic effect data based on the operation data. The effect data control unit 1106 sends dynamic effect data to the effect data composition unit 1107. The effect data control unit 1106 may be the aforementioned processor and memory.

以上説明したように、この変形例に係る配信サーバは、第４の実施形態において説明した演出を行い、合成映像データを配信者端末および観客端末へ配信する。故に、この配信サーバによれば、配信者および観客の視聴する合成映像データを同期させやすい、端末の処理負荷を減らすことができる、といったメリットがある。配信サーバから端末への通信量の削減というメリットもある。   As described above, the distribution server according to this modification performs the effects described in the fourth embodiment, and distributes the composite video data to the distributor terminal and the audience terminal. Therefore, according to this distribution server, there are merits that it is easy to synchronize the synthesized video data viewed by the distributor and the audience, and the processing load of the terminal can be reduced. There is also an advantage of reducing the amount of communication from the distribution server to the terminal.

なお、本実施形態では、端末および配信サーバの両方が演出条件の判定を行っているが、一方のみが行うようにしてもよい。例えば、端末のみが演出条件の判定を行い、演出条件が満足したことを配信サーバに通知してもよい。逆に、配信サーバのみが演出条件の判定を行い、演出条件が満足したことを端末に通知してもよい。   In the present embodiment, both the terminal and the distribution server determine the production conditions, but only one of them may perform the determination. For example, only the terminal may determine the production condition and notify the distribution server that the production condition is satisfied. Conversely, only the distribution server may determine the production condition and notify the terminal that the production condition is satisfied.

上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。   The above-described embodiments are merely specific examples for helping understanding of the concept of the present invention, and are not intended to limit the scope of the present invention. The embodiment can add, delete, or convert various components without departing from the gist of the present invention.

上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。   The various functional units described in the above embodiments may be realized by using a circuit. The circuit may be a dedicated circuit that realizes a specific function, or may be a general-purpose circuit such as a processor.

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。   At least a part of the processing of each of the above embodiments can also be realized by using a general-purpose computer as basic hardware. A program for realizing the above processing may be provided by being stored in a computer-readable recording medium. The program is stored in the recording medium as an installable file or an executable file. Examples of the recording medium include a magnetic disk, an optical disk (CD-ROM, CD-R, DVD, etc.), a magneto-optical disk (MO, etc.), and a semiconductor memory. The recording medium may be any recording medium as long as it can store the program and can be read by the computer. The program for realizing the above processing may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.

１００・・・配信者端末
２００，５００，７００，９００，１１００・・・配信サーバ
２０１，５０１，６０１，７０１，８０１，９０１，１００１，１１０１・・・受信部
２０２，５０２，７０２，９０２，１１０２・・・時計部
２０３，５０３，７０３，９０３，１１０３・・・配信制御部
２０４，５０４，６０４，７０４，８０４，９０４，１００４，１１０４・・・演出条件判定部
２０５，５０５，６０５，７０５，８０５，９０５，１００５，１１０５・・・演出条件記憶部
２０６，５０６，６０６・・・演出データ作成部
２０７，５０７，６０７，１００７，１１０７・・・演出データ合成部
２０８，５０８，７０８，９０８，１１０８・・・映像配信部
３００・・・観客端末
６００，８００，１０００・・・端末
６０８，８０８，１００８・・・表示制御部
７０７，８０７・・・映像加工部
９０９，１１０９・・・操作データ生成部
１００６，１１０６・・・演出データ制御部
１０１０・・・入力部
１０１１・・・操作要求生成部
１０１２・・・送信部 100: Distributor terminal 200, 500, 700, 900, 1100 ... Distribution server 201, 501, 601, 701, 801, 901, 1001, 1101 ... Receiving unit 202, 502, 702, 902, 1102 ... Clock part 203, 503, 703, 903, 1103 ... Distribution control part 204, 504, 604, 704, 804, 904, 1004, 1104 ... Production condition determination part 205, 505, 605, 705 805, 905, 1005, 1105 ... effect condition storage unit 206, 506, 606 ... effect data creation unit 207, 507, 607, 1007, 1107 ... effect data synthesis unit 208, 508, 708, 908, 1108: Video distribution unit 300 ... Spectator terminal 600, 800, 1000 ... Terminal 60 , 808, 1008 ... Display control unit 707, 807 ... Video processing unit 909, 1109 ... Operation data generation unit 1006, 1106 ... Production data control unit 1010 ... Input unit 1011 ... Operation Request generation unit 1012 ... transmission unit

Claims (16)

配信サーバであって、
配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して演出データを合成し合成映像データを生成する合成部と、
前記合成映像データを前記配信者端末および観客端末へ配信する配信部と
を具備し、
前記演出条件は、前記映像データの生配信のために割り当てられた時間枠内に設定された演出開始地点に前記配信サーバの参照する日時が達してから第１の演出終了条件が満足するまでの間に満足する、
配信サーバ。 A distribution server,
A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production condition is satisfied, a synthesis unit that synthesizes production data with the video data and generates synthesized video data;
A distribution unit for distributing the synthesized video data to the distributor terminal and the audience terminal ;
The production condition is that the first production end condition is satisfied after the date and time referred to by the delivery server reaches the production start point set within the time frame assigned for the live distribution of the video data. Satisfied in between,
Distribution server. 配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して演出データを合成し合成映像データを生成する合成部と、
前記合成映像データを前記配信者端末および観客端末へ配信する配信部と
を具備する、配信サーバであって
前記演出条件は、（１）前記映像データの生配信のために割り当てられた時間枠内に設定された演出開始地点に前記配信サーバの参照する日時が達してから第１の演出終了条件が満足するまで、（２）前記映像データの観客数が所定の条件を満足してから第２の演出終了条件が満足するまで、（３）前記配信者端末または前記観客端末へ所定のユーザ入力があってから第３の演出終了条件が満足するまで、（４）前記映像データに対して投稿されたコメントが所定の条件を満足してから第４の演出終了条件が満足するまで、および（５）前記映像データの再生映像または再生音声が所定の条件を満足してから第５の演出終了条件が満足するまで、のうち少なくとも１つの間に満足し、
前記配信サーバは、前記第１の演出終了条件、前記第２の演出終了条件、前記第３の演出終了条件、前記第４の演出終了条件および前記第５の演出終了条件のいずれかが満足するための必要条件を動的に示す情報を含む前記演出データを作成する作成部をさらに具備する、
配信サーバ。 A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production condition is satisfied, a synthesis unit that synthesizes production data with the video data and generates synthesized video data;
Comprising a delivering unit for delivering the synthesized image data to the distribution terminal and spectator terminal, a distribution server
The production conditions are as follows: (1) The first production end condition is satisfied after the date and time referred to by the distribution server reaches the production start point set within the time frame allocated for the live distribution of the video data. (2) until the second presentation end condition is satisfied after the number of viewers of the video data satisfies a predetermined condition, and (3) there is a predetermined user input to the distributor terminal or the spectator terminal. Until the third effect end condition is satisfied, (4) until a comment posted to the video data satisfies a predetermined condition, and until the fourth effect end condition is satisfied, and (5) The playback video or playback audio of the video data satisfies a predetermined condition until the fifth production end condition is satisfied, and is satisfied during at least one of them,
The distribution server satisfies any of the first effect end condition, the second effect end condition, the third effect end condition, the fourth effect end condition, and the fifth effect end condition. Further comprising a creating unit that creates the production data including information that dynamically indicates a necessary condition for
Distribution server . 前記作成部は、前記映像データの観客数またはコメント数と必要数とのギャップを示す情報を含む前記演出データを作成する、請求項２に記載の配信サーバ。 The distribution server according to claim 2 , wherein the creation unit creates the effect data including information indicating a gap between the number of spectators or comments of the video data and the required number. 配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して演出データを合成し合成映像データを生成する合成部と、
前記合成映像データを前記配信者端末および観客端末へ配信する配信部と、
前記映像データの生配信が開始された後に生じた事象に関する情報を含む前記演出データを作成する作成部と
を具備する、配信サーバ。 A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production condition is satisfied, a synthesis unit that synthesizes production data with the video data and generates synthesized video data;
A distribution unit for distributing the composite video data to the distributor terminal and the audience terminal ;
A distribution server comprising: a creation unit that creates the production data including information related to an event that has occurred after the live distribution of the video data is started . 前記作成部は、前記映像データの観客数、前記映像データに対して投稿されたコメントの一部、前記映像データに対して投稿されたコメント数、および前記映像データに対してコメントを投稿した観客名のうち少なくとも１つを示す情報を含む前記演出データを作成する、請求項４に記載の配信サーバ。 The creation unit includes the number of audiences of the video data, a part of comments posted to the video data, the number of comments posted to the video data, and the audience who posted comments to the video data. The distribution server according to claim 4 , wherein the effect data including information indicating at least one of names is created. 配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して演出データを合成し合成映像データを生成する合成部と、
前記合成映像データを前記配信者端末および観客端末へ配信する配信部と、
（１）前記配信者端末および前記観客端末の少なくとも一方になされたユーザ入力、ならびに（２）前記配信者端末および前記観客端末の少なくとも一方によって投稿されたコメント、のうち少なくとも一方に反応して変化する演出データを作成する作成部と
を具備する、配信サーバ。 A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production condition is satisfied, a synthesis unit that synthesizes production data with the video data and generates synthesized video data;
A distribution unit for distributing the composite video data to the distributor terminal and the audience terminal ;
Changes in response to at least one of (1) user input made to at least one of the distributor terminal and the audience terminal, and (2) comments posted by at least one of the distributor terminal and the audience terminal A distribution server comprising a creation unit that creates production data to be performed . 配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して演出データを合成し合成映像データを生成する合成部と、
前記合成映像データを前記配信者端末および観客端末へ配信する配信部と、
前記映像データに付与されたメタデータおよび前記映像データに関連するウェブページに表示される情報の少なくとも一方に基づいて生成された情報を含む前記演出データを作成する作成部と
を具備する、配信サーバ。 A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production condition is satisfied, a synthesis unit that synthesizes production data with the video data and generates synthesized video data;
A distribution unit for distributing the composite video data to the distributor terminal and the audience terminal ;
A distribution server, comprising: a creation unit that creates the production data including information generated based on at least one of metadata added to the video data and information displayed on a web page related to the video data . 前記合成部は、前記映像データの再生映像の画面の一部または全部をリサイズして前記演出データと合成し、前記合成映像データを生成する、請求項１乃至請求項６のいずれか１項に記載の配信サーバ。 The said synthetic | combination part resizes the part or all of the screen of the reproduction | regeneration video of the said video data, and synthesize | combines with the said production data, The said synthetic | combination video data is produced | generated in any one of Claim 1 thru | or 6. The delivery server described. 前記合成部は、前記映像データの再生映像の画面の一部が露出し、残部が隠れるように前記映像データを前記演出データと合成し、前記合成映像データを生成する、請求項１乃至請求項６のいずれか１項に記載の配信サーバ。 The combining unit, the exposed part of the screen of the reproduced video image data, the image data as the balance is hidden combined with the presentation data, to generate the synthetic image data, according to claim 1 to claim 7. The distribution server according to any one of items 6 . 前記受信部は、前記配信者端末および前記観客端末の少なくとも１つから前記映像データおよび前記演出データの合成位置、前記映像データの拡大／縮小率、前記演出データの拡大／縮小率、前記映像データの回転量、前記演出データの回転量、前記映像データにおける特定の領域、ならびに前記演出データにおける特定の領域の少なくとも１つを指定する指定データをさらに受信し、
前記合成部は、前記指定データに従って前記映像データおよび前記演出データの少なくとも一方に対して平行移動、リサイズ、回転、反転およびトリミングの少なくとも１つを行ってから前記映像データおよび前記演出データを合成し、前記合成映像データを生成する、
請求項１乃至請求項９のいずれか１項に記載の配信サーバ。 The receiving unit is configured to combine the video data and the effect data from at least one of the distributor terminal and the audience terminal, an enlargement / reduction rate of the video data, an enlargement / reduction rate of the effect data, and the video data. Further receiving designation data designating at least one of the rotation amount, the rotation amount of the effect data, the specific area in the video data, and the specific area in the effect data,
The synthesizing unit synthesizes the video data and the effect data after performing at least one of translation, resizing, rotation, inversion, and trimming on at least one of the video data and the effect data according to the designation data. Generating the composite video data;
The distribution server according to any one of claims 1 to 9 . 配信サーバであって、
配信者端末から生配信用の映像データを受信する受信部と、
演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、前記映像データに対して既定の加工を行って加工済み映像データを生成する加工部と、
前記加工済み映像データを前記配信者端末および観客端末へ配信する配信部と
を具備し、
前記演出条件は、前記映像データの生配信のために割り当てられた時間枠内に設定された演出開始地点に前記配信サーバの参照する日時が達してから第１の演出終了条件が満足するまでの間に満足する、
配信サーバ。 A distribution server,
A receiving unit that receives video data for live distribution from a distributor terminal;
A determination unit that determines whether or not the production conditions are satisfied;
When the production conditions are satisfied, a processing unit that performs predetermined processing on the video data to generate processed video data;
A distribution unit that distributes the processed video data to the distributor terminal and the audience terminal ;
The production condition is that the first production end condition is satisfied after the date and time referred to by the delivery server reaches the production start point set within the time frame assigned for the live distribution of the video data. Satisfied in between ,
Distribution server. 前記加工部は、前記演出条件が満足している時に、前記映像データにおける特定の領域の複製をそのまま、または回転、反転およびリサイズの少なくとも１つを行ってから、前記映像データに貼り付け、前記加工済み映像データを生成する、請求項１１に記載の配信サーバ。 When the production condition is satisfied, the processing unit pastes the specific area in the video data as it is or at least one of rotation, inversion, and resizing, and pastes the video data, The distribution server according to claim 11 , which generates processed video data. 演出条件が満足しているか否かを判定する判定部と、
配信者端末から生配信用の映像データを受信し、前記演出条件が満足している場合にはさらに前記配信者端末および観客端末の少なくとも１つから前記配信者端末および前記観客端末の少なくとも１つにおいて前記映像データに合成される動的な演出データに対する操作要求を受信する受信部と、
前記操作要求に基づいて前記動的な演出データの操作データを生成する生成部と、
前記映像データおよび前記操作データを前記配信者端末および観客端末の少なくとも１つへ配信する配信部と
を具備する、配信サーバ。 A determination unit that determines whether or not the production conditions are satisfied;
When video data for live distribution is received from a distributor terminal and the production condition is satisfied, at least one of the distributor terminal and the audience terminal is further selected from at least one of the distributor terminal and the audience terminal. A receiving unit that receives an operation request for dynamic presentation data combined with the video data at
A generating unit that generates operation data of the dynamic effect data based on the operation request;
A distribution server comprising: a distribution unit that distributes the video data and the operation data to at least one of the distributor terminal and the audience terminal. 前記動的な演出データは、前記操作データに応じて画面遷移する映像データである、請求項１３に記載の配信サーバ。 The distribution server according to claim 13 , wherein the dynamic effect data is video data whose screen transitions according to the operation data. 演出条件が満足しているか否かを判定する判定部と、
前記演出条件が満足している時に、ユーザ入力に応じて動的な演出データに対する操作要求を生成する生成部と、
前記操作要求を配信サーバへ送信する送信部と、
前記演出条件が満足している時に、前記配信サーバから生配信用の映像データおよび前記操作要求に基づいて生成された前記動的な演出データの操作データを受信する受信部と、
前記操作要求に基づいて前記動的な演出データを制御する制御部と、
前記映像データに前記動的な演出データを合成する合成部と、
を具備する、端末。 A determination unit that determines whether or not the production conditions are satisfied;
When the production conditions are satisfied, a generation unit that generates an operation request for dynamic production data according to user input;
A transmission unit for transmitting the operation request to a distribution server;
A receiving unit that receives video data for live distribution and operation data of the dynamic effect data generated based on the operation request from the distribution server when the effect condition is satisfied;
A control unit that controls the dynamic effect data based on the operation request;
A synthesizing unit that synthesizes the dynamic effect data with the video data;
Comprising a terminal. コンピュータを、請求項１乃至請求項１４のいずれか１項に記載の配信サーバとして機能させるための配信プログラム。15. A distribution program for causing a computer to function as the distribution server according to any one of claims 1 to 14.