JP2016051031A - Singing moving image editing device and singing moving image viewing system - Google Patents
Singing moving image editing device and singing moving image viewing system Download PDFInfo
- Publication number
- JP2016051031A JP2016051031A JP2014175826A JP2014175826A JP2016051031A JP 2016051031 A JP2016051031 A JP 2016051031A JP 2014175826 A JP2014175826 A JP 2014175826A JP 2014175826 A JP2014175826 A JP 2014175826A JP 2016051031 A JP2016051031 A JP 2016051031A
- Authority
- JP
- Japan
- Prior art keywords
- singing
- video
- videos
- song
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、楽曲を歌唱している歌唱者の映像及び音声が記録された複数の歌唱動画を編集する技術に関する。 The present invention relates to a technique for editing a plurality of singing videos in which video and audio of a singer singing a song are recorded.
近年、カラオケの楽曲を歌唱しているユーザの映像及び音声が記録された歌唱動画を視聴可能に公開するサービスが提供されている。この種のカラオケサービスとして、特許文献１に記載の視聴システムが知られている。
2. Description of the Related Art In recent years, services have been provided that allow a user to sing a song of karaoke music and singing a moving image in which a video and audio of the user are recorded. As this kind of karaoke service, a viewing system described in
特許文献１には、視聴回数や採点結果に基づいて複数の歌唱動画を抽出し、抽出された複数の歌唱動画を採点区間毎に割振り、割振られた当該歌唱動画における当該採点区間の部分を結合することによって編集した歌唱動画を公開する技術が記載されている。
In
しかしながら、特許文献１に記載の技術では、必ずしも、歌唱動画を視聴するユーザの関心に適合した歌唱動画が選択されて編集されるとは限らない。また、採点区間ごとに単独の歌唱動画をつなぎ合わせて編集するだけでは、ユーザに対して十分なエンターテイメント性を提供することができない。
However, with the technique described in
本発明は上記問題を解決するためになされたものである。その目的は、歌唱動画を視聴するユーザの関心やエンターテイメント性を考慮した態様にて、複数の歌唱動画を編集する技術を提供することである。 The present invention has been made to solve the above problems. The purpose is to provide a technique for editing a plurality of song videos in a manner that takes into account the interest and entertainment of the user who views the song videos.
本発明の歌唱動画編集装置は、記憶手段と、取得手段と、決定手段と、出力制御手段とを備える。記憶手段は、楽曲を歌唱している歌唱者の映像及び音声が記録された複数の歌唱動画と、歌唱評価情報とを対応付けて記憶する。この歌唱評価情報は、歌唱動画に記録されている歌唱が、所定期間ごとに所定の評価項目について評価された評価結果を表すものである。取得手段は、記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画の視聴を要求したユーザについて、評価項目に対する関心の度合を表すユーザパラメータを取得する。 The song moving image editing apparatus of the present invention includes a storage unit, an acquisition unit, a determination unit, and an output control unit. A memory | storage means matches and memorize | stores the some song moving image by which the video and audio | voice of the singer who is singing a music were recorded, and song evaluation information. This singing evaluation information represents an evaluation result in which a singing recorded in a singing video is evaluated for a predetermined evaluation item every predetermined period. An acquisition unit acquires a user parameter representing a degree of interest in an evaluation item for a user who has requested viewing of a song video corresponding to a specific song from among the song videos stored in the storage unit.
決定手段は、特定の楽曲に該当する複数の歌唱動画について、特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定する。また、決定手段は、複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果とユーザパラメータとの適合度合を判定する。そして、決定手段は、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを演奏区間ごとに決定する。 The determination means determines whether or not the melody of each song is synchronized between the plurality of song videos for each of the performance segments obtained by dividing the specific song into the plurality of performance segments for the plurality of song videos corresponding to the specific song. Determine whether. Moreover, a determination means determines the matching degree of the evaluation result of a song in each performance area of each of several song animation, and a user parameter. Then, the determining means determines for each performance section whether to output a single singing moving image or a plurality of singing moving images based on the determination results.
出力制御手段は、前記特定の楽曲に該当する複数の歌唱動画の中から、決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する。その際、出力制御手段は、決定手段より単独の歌唱動画を出力すると決定された場合、複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果とユーザパラメータで表される関心の度合との適合度合が最も高い単独の歌唱動画を出力対象に決定する。一方、出力制御手段は、決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定する。 The output control means switches the singing video to be output for each performance section from the plurality of singing videos corresponding to the specific music according to the output method determined by the determination means, and outputs the performance target for each performance section. By sequentially connecting and outputting the sections of the performance section in the singing moving image, a series of singing moving images for the entire performance section is output. At that time, if the output control means decides to output a single singing video from the deciding means, the singing evaluation result in a predetermined performance section and the degree of interest represented by the user parameter from the plurality of singing videos. A single singing movie with the highest degree of matching with is determined as an output target. On the other hand, when it is determined by the determining means to output a plurality of song videos, the output control means synthesizes a plurality of song videos in which the melody of the song in a predetermined performance section is synchronized, and the synthesized song videos Determine the output target.
本発明によれば、歌唱の評価に関する視聴者の嗜好に適合する歌唱動画を単独で提示したり、歌唱の旋律が互いに同調（ハーモナイズ）する複数の歌唱動画同士を合成した歌唱動画を提示したりといった具合に、演奏区間ごとに複数の歌唱動画を様々な態様にてつなぎ合わせて提示できる。このようにすることで、視聴者の嗜好に合った態様やエンターテイメント性の高い態様にて、より多くの歌唱動画を視聴者に対して提供できる。 According to the present invention, a singing video that suits the viewer's preference regarding the evaluation of the singing is presented alone, or a singing video obtained by synthesizing a plurality of singing videos in which the melody of the singing is harmonized with each other is presented. For example, a plurality of song videos can be connected and presented in various manners for each performance section. By doing in this way, more song animation can be provided with respect to a viewer in the mode suitable for a viewer's taste, and the mode with high entertainment nature.
ところで、近年、カラオケの採点機能においては、音高やリズム、歌唱技巧（テクニック）等といった複数の評価項目についてそれぞれ評価するものが普及している。そこで、請求項２に記載のように構成するとよい。すなわち、歌唱動画に対応付けて記憶されている歌唱評価情報は、当該歌唱動画に記録されている歌唱が複数種類の評価項目について評価された評価結果を表す。そして、取得手段は、複数の評価項目それぞれに対する関心の度合を表すユーザパラメータを取得する。このようにすることで、複数の評価項目に基づく評価結果が対応付けられた歌唱動画について、それぞれの評価項目に対する視聴者の嗜好を的確に反映した態様にて編集した歌唱動画を視聴者に提供できる。
By the way, in recent years, in the scoring function of karaoke, what evaluates each of a plurality of evaluation items such as pitch, rhythm, singing technique (technique) and the like has become widespread. Therefore, it is preferable to configure as described in
つぎに、請求項３に記載の歌唱動画視聴システムは、記憶手段と、受付手段と、決定手段と、出力制御手段と、受付手段と、再生手段とを備える。このうち、受付手段は、記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画に対する視聴要求と、評価項目に対する関心の度合を表すユーザパラメータを指定する指示とをユーザから受付ける。受信手段は、出力制御手段により出力された歌唱動画を受信する。再生手段は、受信手段により受信された歌唱動画を再生し、所定の表示手段及び音声出力手段に出力させる。本発明によれば、ユーザにより指定された特定の楽曲に関する歌唱動画及びユーザパラメータに基づいて、請求項１に記載の歌唱動画編集装置によって編集された歌唱動画を受信し、その歌唱動画を再生可能なシステムを実現できる。
Next, the singing moving image viewing system according to claim 3 includes a storage unit, a receiving unit, a determining unit, an output control unit, a receiving unit, and a reproducing unit. Among these, the reception means receives a viewing request for a song video corresponding to a specific song from the song videos stored in the storage means, and an instruction to specify a user parameter indicating the degree of interest in the evaluation item from the user. Accept. The receiving means receives the singing moving image output by the output control means. The reproduction means reproduces the singing moving image received by the reception means, and causes the predetermined display means and sound output means to output the song moving image. According to the present invention, a singing video edited by the singing video editing device according to
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケシステム１の構成の説明］
図１に示すように、カラオケシステム１は、配信サーバ２及びユーザ視聴端末３それぞれがインターネット１０に接続されており、互いに通信可能に構成されている。なお、図１においては、説明を簡潔にするためユーザ視聴端末３を１台のみ記載した。しかしながら、実際には、これらの機器が数多くの接続された態様で実施される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, this invention is not limited to the following embodiment, It is possible to implement in various aspects.
[Description of configuration of karaoke system 1]
As shown in FIG. 1, the
配信サーバ２は、コンピュータシステムによって構成されたサーバ装置であり、制御部２１、記憶部２２、通信部２３を備える。この配信サーバ２は、ユーザ視聴端末３からの要求に応じて、楽曲を歌唱している歌唱者の映像及び音声が記録された歌唱動画を、インターネット１０経由でユーザ視聴端末３に配信する。なお、配信サーバ２による歌唱動画の配信は、データをダウンロードしながら再生可能なストリーミング方式で行われる。
The
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を中心に構成された情報処理デバイスであり、装置全体の制御を司る。制御部２１は、所定のプログラムに従って処理を実行することにより、配信サーバ２各部に対する制御及び各種演算を実行する。記憶部２２は、プログラムや、各種データベース等を保存しておくための記憶装置である。通信部２３は、配信サーバ２をインターネット１０に接続してユーザ視聴端末とデータ通信を行うための通信インタフェースである。
The
配信サーバ２は、本システムが提供する歌唱動画配信サービスにおいて公開する複数の歌唱動画のデータを蓄積する歌唱動画データベースを記憶部２２に備える。この歌唱動画データベースには、インターネットを介してカラオケ演奏機器（例えば、ユーザ視聴端末３や他の業務用のカラオケ装置）からアップロードされた複数の歌唱動画及び分析採点結果のデータが蓄積されている。カラオケ演奏機器は、カラオケ演奏時に撮影した歌唱動画、及びそのときの歌唱音声を複数の項目（例えば、音程、リズム、安定感、熱唱度、テクニック等）で分析して評価した分析採点結果のデータを、楽曲の識別情報と対応付けて配信サーバ２にアップロードする。これにより、多くの歌唱者の歌唱動画及び分析採点結果のデータが配信サーバ２に蓄積される。歌唱動画には、カラオケ演奏機器を利用して楽曲を歌唱している歌唱者の映像及び歌唱音声が記録された動画情報が含まれている。また、個々の歌唱動画には、歌唱された楽曲を識別するための楽曲識別情報が対応付けられている。
The
分析採点結果のデータは、カラオケ演奏機器の備える分析採点機能によって、上述の歌唱動画に係る歌唱の巧拙度合が精密に分析された分析結果を表す情報である。この分析採点結果のデータは、採点対象の歌唱が記録されている歌唱動画に対応付けられている。分析採点結果のデータには、ユーザによる歌唱を「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」といった複数の評価項目それぞれについて、所定の演奏区間ごとに評価した結果を数値化した情報が含まれる。また、分析採点結果のデータには、「ビブラート」等の特定の歌唱技巧（テクニック）の出現回数を、所定の演奏区間ごとに検出した結果を数値化した情報も含まれる。なお、カラオケにおける分析採点の方法は周知の技術につき、詳しい説明については省略する。 The data of the analysis scoring result is information representing the analysis result in which the skill level of the song related to the above-mentioned singing movie is precisely analyzed by the analysis scoring function of the karaoke performance device. The data of this analysis scoring result is matched with the song moving image in which the singing target song is recorded. Analytical scoring result data is the result of evaluating the singing by the user for each of several performance items, such as “pitch”, “rhythm”, “stability”, “enthusiasm”, and “technique” Information that is digitized is included. The analysis scoring result data also includes information obtained by quantifying the result of detecting the number of appearances of a specific singing technique (technique) such as “vibrato” for each predetermined performance section. In addition, the analysis scoring method in karaoke is a well-known technique, and detailed description is omitted.
ユーザ視聴端末３は、配信サーバ２から歌唱動画のデータを取得して再生出力する機能を有する情報処理装置である。このユーザ視聴端末３は、例えば、カラオケ店舗に設置される業務用のカラオケ装置や、ユーザ個人が所有するスマートフォン等の高機能携帯電話端末、パーソナルコンピュータ等によって具現化される。ユーザ視聴端末３は、インターネット１０経由で配信サーバ２とデータ通信を行う。ユーザ視聴端末３は、ユーザから特定の楽曲に関する歌唱動画のリクエスト指示を受付ける。そして、リクエストに応じて配信サーバ２から取得した歌唱動画をストリーミング形式で再生し、再生した映像及び音声を出力する。
The user viewing terminal 3 is an information processing apparatus having a function of acquiring singing video data from the
［通信処理の手順］
配信サーバ２とユーザ視聴端末３との間で行われる通信処理の手順について、図２のフローチャートを参照しながら説明する。
[Communication processing procedure]
The procedure of communication processing performed between the
Ｓ１０では、ユーザ視聴端末３が、動画検索要求を配信サーバ２に送信する。この動画検索要求には、ユーザ視聴端末３がユーザからリクエストを受付けた楽曲の識別情報が含まれる。Ｓ１１では、配信サーバ２は、動画検索要求で表される楽曲に該当する歌唱動画を記憶部２２の歌唱動画データベースの中から検索し、該当する歌唱動画の識別情報を含む動画検索結果を、要求元のユーザ視聴端末３に返信する。
In S <b> 10, the user viewing terminal 3 transmits a moving image search request to the
Ｓ１２では、ユーザ視聴端末３は、複数の再生候補動画とユーザ関心パラメータとを指定する情報を送信する。再生候補動画は、ユーザ視聴端末３が配信サーバ２から受信した動画検索結果の中から、ユーザから視聴を希望する候補として指定を受付けた歌唱動画である。ユーザ関心パラメータは、歌唱動画の分析採点結果における評価項目についてユーザの関心の度合を表す数値である。ユーザ視聴端末３は、ユーザからユーザ関心パラメータの指定を受付け、受付けたユーザ関心パラメータの数値を配信サーバ２に通知する。
In S12, the user viewing terminal 3 transmits information specifying a plurality of reproduction candidate videos and user interest parameters. The reproduction candidate video is a singing video that has been designated as a candidate that the user wishes to view from the video search results received by the user viewing terminal 3 from the
ここで、ユーザ関心パラメータの指定方法について、図３を参照しながら説明する。ユーザ視聴端末３は、図３に例示されるグラフィカルユーザインタフェース（ＧＵＩ）をユーザに対して提示することで、ユーザ関心パラメータの指定をユーザから受付ける。このＧＵＩは、図３に例示されるとおり、採点項目に対する関心の度合を入力するためのレーダーチャート３１と、採点項目の１つであるテクニックについて、複数種類のビブラートに対する関心の有無を入力するためのチェックリスト３２からなる。
Here, a user interest parameter designation method will be described with reference to FIG. The user viewing terminal 3 accepts designation of the user interest parameter from the user by presenting the graphical user interface (GUI) illustrated in FIG. 3 to the user. As illustrated in FIG. 3, this GUI is used to input the presence / absence of interest in a plurality of types of vibrato for a
レーダーチャート３１は、歌唱動画の分析採点結果の評価項目と共通する「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」の５つの評価項目それぞれについて、ユーザが関心の度合を０〜３の４段階の数値で指定できるようになっている。ユーザ視聴端末３は、レーダーチャート３１を介してユーザから入力された各評価項目の数値の集合をベクトル化して、採点項目関心ベクトルＰ１{音程，リズム，安定感，熱唱度，テクニック}を得る。図３の事例では、Ｐ１＝{１，１，１，３，３}となる。
The
チェックリスト３２は、分析採点機能による検出対象であって発声方法が異なる８種類のビブラートＶ１〜Ｖ８それぞれについて、ユーザが関心の有無をチェックボックスで指定できるようになっている。ユーザ視聴端末３は、チェックリスト３２においてユーザからチェックが入れられたビブラートに「１」の値を付与し、チェックが入れられていないビブラートに「０」の値を付与する。そして、各ビブラートに対応する数値の集合をベクトル化して、ビブラート関心ベクトルＰ２{Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７，Ｖ８}を得る。図３の事例では、Ｐ２＝{０，１，０，０，０，０，１，０}となる。
In the
ユーザ視聴端末３は、レーダーチャート３１及びチェックリスト３２を介して得られた採点項目関心ベクトルＰ１及びビブラート関心ベクトルＰ２を、ユーザ関心パラメータとして配信サーバ２に送信する。図２のシーケンス図の説明に戻る。Ｓ１３では、配信サーバ２は、再生対象となる歌唱動画のストリーミングデータを時刻順にユーザ視聴端末３に送信する。
User viewing terminal 3 transmits the scoring items of interest vectors P 1 and vibrato interest vector P 2 obtained through the
このとき、配信サーバ２は、ユーザ視聴端末３から通知されたユーザ関心パラメータに基づいて、歌唱動画に対応する楽曲を構成するフレーズごとに、複数の再生候補動画の中から何れかの単独の歌唱動画を出力するか、何れかの複数の歌唱動画を合成して出力するかを決定する。そして、配信サーバ２は、決定した出力方法に従ってフレーズごとに出力対象となる歌唱動画を切替えて、各フレーズの出力対象の歌唱動画のデータを順次つなぎ合わせて配信することで、全演奏区間分の一連の歌唱動画として出力する。この一連の処理の詳細な内容については、後述する。
At this time, based on the user interest parameter notified from the user viewing terminal 3, the
その後、歌唱動画のストリーミング配信の途中で、ユーザ視聴端末３においてユーザ関心パラメータを再指定する操作が行われた場合、ユーザ視聴端末３は、新たに得られたユーザ関心パラメータを、配信サーバ２に送信する（Ｓ１４）。これに対し、Ｓ１５では、配信サーバ２は、以降の歌唱動画の出力方法を新たに通知されたユーザ関心パラメータに基づいて決定し、決定した出力方法に従ってストリーミングデータをユーザ視聴端末３に送信する。
Thereafter, when the user viewing terminal 3 performs an operation to re-specify the user interest parameter in the middle of the streaming distribution of the song video, the user viewing terminal 3 sends the newly obtained user interest parameter to the
［歌唱動画配信処理の説明］
配信サーバ２の制御部２１が実行する歌唱動画配信処理の手順について、図４，５のフローチャートに基づいて説明する。この処理は、ユーザ視聴端末３から動画検索要求（図２のＳ１０参照）が送信されたときに実行される処理である。
[Description of singing video delivery processing]
The procedure of the song moving image distribution process executed by the
Ｓ１００では、制御部２１は、ユーザ視聴端末３から動画検索要求を受信する。この動画検索要求には、ユーザが視聴を希望する楽曲の識別情報が含まれている。Ｓ１０２では、制御部２１は、受信した動画検索要求に含まれる楽曲の識別情報に該当する歌唱動画を記憶部２２の歌唱動画データベースの中から探索し、該当する複数の歌唱動画の一覧を要求元のユーザ視聴端末３に返信する。
In S <b> 100, the
Ｓ１０４では、制御部２１は、ユーザ視聴端末３から再生候補動画の識別情報と、ユーザ関心パラメータとを受信する。なお、ここでは、再生候補動画として複数の歌唱動画が指定されていることを前提とする。また、ユーザ関心パラメータには、採点項目関心ベクトルＰ１及びビブラート関心ベクトルＰ２の情報が含まれている。ここで受信した各情報は、制御部２１のメモリに記憶される。
In S <b> 104, the
Ｓ１０６では、制御部２１は、再生候補動画に対応する楽曲のフレーズの順序を表すフレーズ番号ｉのカウンタを初期化（ｉ＝１）する。なお、ここでいう「フレーズ」とは、楽曲のメロディを複数の演奏区間ごとに分けたひと区切りを表す単位である。メロディのどこからどこまでを１つのフレーズとするかは、楽曲ごとに予め定義されたフレーズ割りを表すメタデータに基づいて特定することが考えられる。
In S106, the
Ｓ１０８では、制御部２１は、全ての再生候補動画のｉ番目のフレーズに相当する区間の歌唱の旋律について、各歌唱動画同士の同調（ハーモナイズ）の状態を検査する。そして、Ｓ１１０では、制御部２１は、Ｓ１０８の検査の結果、再生候補動画の中に歌唱の旋律が同調する複数の歌唱動画が存在するか否かを判定する。歌唱の旋律が同調する複数の歌唱動画が存在する場合（Ｓ１１０：ＹＥＳ）、制御部２１はＳ１１６に進む。一方、歌唱の旋律が同調する複数の歌唱動画が存在しない場合（Ｓ１１０：ＮＯ）、制御部２１はＳ１１２に進む。
In S108, the
Ｓ１１２では、制御部２１は、全ての再生候補動画について、ｉ番目のフレーズに相当する区間の分析採点結果と、ユーザ関心パラメータとの類似度を計算する。具体的には、再生候補動画ごとに、次の２種類の類似度をそれぞれ算出する。
In S112, the
１つは、再生候補の歌唱動画Ｘのｉ番目のフレーズにおける平均採点結果Ｓ１-Xiと、採点項目関心ベクトルＰ１との類似度Ｓｉｍ1-Xiである。ここで、Ｓ１-Xiは、歌唱動画Ｘに対応する分析採点結果の「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」の各採点項目におけるｉ番目のフレーズに相当する区間の平均値の集合を、ベクトル{音程，リズム，安定感，熱唱度，テクニック}として表したものである。 One is a similarity Sim 1-Xi between the average scoring result S 1 -Xi in the i-th phrase of the song video X to be played and the scoring item interest vector P 1 . Here, S 1 -Xi is the i-th phrase in each of the scoring items “pitch”, “rhythm”, “stability”, “degree of enthusiasm”, and “technique” in the analysis scoring results corresponding to the song video X. The set of average values for the corresponding interval is represented as a vector {pitch, rhythm, stability, enthusiasm, technique}.
類似度Ｓｉｍ1-Xiは下記式１によって表される。なお、下記式１では、類似度Ｓｉｍ1-Xiは１以下の正数となる。
The similarity Sim 1-Xi is expressed by the following
類似度Ｓｉｍ２-Xiは下記式２によって表される。なお、下記式２では、類似度Ｓｉｍ２-Xiは１以下の正数となる。
The similarity Sim 2-Xi is expressed by the following
Ｓ１１６では、制御部２１は、該当する複数の歌唱動画のｉ番目のフレーズに該当する部分を合成した合成動画を作成する。具体的には、歌唱動画の表示領域全体を複数の部分領域に分割し、複数の部分領域それぞれに別々の歌唱動画の映像を割当てる。また、該当する複数の歌唱動画の音声を混合する。ここでは、制御部２１は、１つ前のフレーズ（ｉ−１番目）において単独の歌唱動画が出力された状態から次のフレーズで合成動画に推移する過程として、例えば、ワイプ処理、フェード処理、スプリット処理等の演出効果を合成動画の映像に付与する。
In S116, control
次のＳ１１８では、制御部２１は、Ｓ１１６で作成したｉ番目のフレーズに対応する合成動画のフレームデータを、要求元のユーザ視聴端末３に順次ストリーミング形式で配信する。Ｓ１２０では、制御部２１は、ｉ番目のフレーズに対応する合成動画の配信が終了したか否かを判定する。配信が終了していない場合（Ｓ１２０：ＮＯ）、制御部２１はＳ１１８に戻り、配信を継続する。一方、配信が終了した場合（Ｓ１２０：ＹＥＳ）、制御部２１はＳ１３４（図５）に進む。
In next S118, the
一方、Ｓ１１４において否定判定をした場合に進むＳ１２２では、制御部２１は、１つ前（ｉ−１番目）のフレーズにおいて出力した歌唱動画が合成動画であった否かを判定する。前のフレーズが合成動画であった場合（Ｓ１２２：ＹＥＳ）、制御部２１はＳ１２８に進む。一方、前のフレーズが合成動画でなかった場合（Ｓ１２２：ＮＯ）、制御部２１はＳ１３０に進む。
On the other hand, in S122 which proceeds when a negative determination is made in S114, the
Ｓ１２８では、制御部２１は、１つ前のフレーズにおいて複数の歌唱動画からなる合成動画が出力された状態から、次のフレーズで単独の歌唱動画に推移する過程として、例えば、ワイプ処理、フェード処理、スプリット処理等の演出効果を付与する。Ｓ１３０では、制御部２１は、Ｓ１１２で算出した類似度が最大となった単独の歌唱動画のｉ番目のフレーズに該当する部分のフレームデータを、要求元のユーザ視聴端末３に順次ストリーミング形式で配信する。
In S128, the
Ｓ１３２では、制御部２１は、ｉ番目のフレーズに対応する歌唱動画の配信が終了したか否かを判定する。配信が終了していない場合（Ｓ１３２：ＮＯ）、制御部２１はＳ１３０に戻り、配信を継続する。一方、配信が終了した場合（Ｓ１３２：ＹＥＳ）、制御部２１はＳ１３４（図５）に進む。
In S132, the
次のＳ１３４では、制御部２１は、フレーズ番号ｉのカウンタをインクリメントする。Ｓ１３６では、制御部２１は、要求元のユーザ視聴端末３から新たにユーザ関心パラメータを受信したか否かを判定する。ユーザ関心パラメータを受信した場合（Ｓ１３６：ＹＥＳ）、制御部２１はＳ１３８に進む。一方、ユーザ関心パラメータを受信していない場合（Ｓ１３６：ＮＯ）、制御部２１はＳ１４０に進む。
In next step S134, the
Ｓ１３８では、制御部２１は、メモリに記憶しているユーザ関心パラメータを、今回新たに受信したユーザ関心パラメータに更新する。Ｓ１４０では、制御部２１は、楽曲を構成する全てのフレーズについて、歌唱動画のデータの配信が完了したか否かを判定する。全てのフレーズについて配信が完了していない場合（Ｓ１４０：ＮＯ）、制御部２１はＳ１０８（図４）に戻る。一方、全てのフレーズについて配信が完了した場合（Ｓ１４０：ＥＳ）、制御部２１は本処理を終了する。
In S138, the
［歌唱動画の出力態様の推移］
上述の歌唱動画配信処理（図４，５参照）による歌唱動画の出力態様の一例について、図６を参照しながら説明する。図６（ａ）〜（ｆ）は、２つの歌唱動画Ａ，Ｂについて、楽曲のフレーズごとに出力態様が切替わる様子を時系列で表したものである。
[Transition of output mode of singing video]
An example of the output mode of the song moving image by the above-described song moving image distribution process (see FIGS. 4 and 5) will be described with reference to FIG. FIGS. 6A to 6F show, in chronological order, how the output mode is switched for each phrase of music for the two song videos A and B. FIG.
図６（ａ）は、動画Ａの１番目のフレーズに相当する区間が出力されている状態を表している。次の図６（ｂ）は、引き続き動画Ａの２番目のフレーズに相当する区間が単独で出力されている状態を表している。次の図６（ｃ）は、３番目のフレーズおいて、動画Ａ及び動画Ｂからなる合成動画に切替わる過程を表している。ここでは、２番目のフレーズから引き続いて動画Ａの映像が表示されているところに、新たに動画Ｂの映像がフレームインする演出効果が挿入される。 FIG. 6A shows a state in which a section corresponding to the first phrase of the moving image A is output. Next, FIG. 6B shows a state in which the section corresponding to the second phrase of the moving image A is continuously output. Next, FIG. 6C shows a process of switching to a composite video composed of video A and video B in the third phrase. Here, the effect that the video of video B is newly framed in is inserted where the video of video A is displayed following the second phrase.
次の図６（ｄ）は、演出効果の後で動画Ａ，Ｂの３番目のフレーズに相当する区間の合成動画出力されている状態を表している。この合成動画は、歌唱動画の表示領域全体を左右２つに分割し、それぞれの分割領域に歌唱動画Ａ，Ｂの映像が同時に表示されるものである。次の図６（ｅ）は、４番目のフレーズにおいて、動画Ｂが単独で出力される状態に切替わる過程を表している。ここでは、３番目のフレーズにおいて合成されて出力されていた動画Ａ，Ｂのうち、動画Ａの映像がフレームアウトする演出効果が挿入される。次の図６（ｆ）は、演出効果の後で単独の動画Ｂの４番目のフレーズに相当する区間が出力されている状態を表している。 Next, FIG. 6D shows a state in which the synthesized moving image is output in the section corresponding to the third phrase of the moving images A and B after the effect. In this synthesized moving image, the entire display area of the singing moving image is divided into left and right two parts, and the images of the singing moving images A and B are simultaneously displayed in the respective divided areas. FIG. 6E shows a process of switching to a state in which the moving image B is output alone in the fourth phrase. Here, an effect of inserting the video of the video A out of the videos A and B synthesized and output in the third phrase is inserted. FIG. 6F shows a state where a section corresponding to the fourth phrase of the single video B is output after the effect.
［効果］
実施形態のカラオケシステム１によれば、次の効果を奏する。
視聴者のユーザ関心パラメータとの類似度が高い歌唱動画を単独で提示したり、歌唱の旋律が互いに同調する複数の歌唱動画同士を合成した歌唱動画を提示したりといった具合に、楽曲のフレーズごとに複数の歌唱動画を様々な態様にてつなぎ合わせて提示できる。このようにすることで、エンターテイメント性の高い態様にて歌唱動画を視聴者に対して提供できる。例えば、歌唱の旋律が同調する複数の歌唱動画を同時に表示させることによって、演奏をより一層盛り上げることができる。
[effect]
The
For each phrase of a song, such as presenting a single singing video that has a high degree of similarity to the user interest parameter of the viewer, or presenting a singing video that combines multiple singing videos that synchronize the melody of the song. A plurality of song videos can be connected and presented in various ways. By doing in this way, a song animation can be provided with respect to a viewer in the aspect with high entertainment property. For example, the performance can be further enhanced by simultaneously displaying a plurality of singing moving images synchronized with the melody of the singing.
また、楽曲のフレーズごとに単独の歌唱動画と、複数の歌唱動画からなる合成動画とを切替える際に、所定の演出効果を挿入することで、歌唱動画のエンターテイメント性を高めることができる。また、カラオケの分析採点に適用されている複数の評価項目に対する関心の度合を、ユーザ関心パラメータとして指定することができるので、それぞれの評価項目に対する視聴者の嗜好を的確に反映した態様にて編集した歌唱動画を視聴者に提供できる。 Moreover, the entertainment property of a song moving image can be improved by inserting a predetermined production effect when switching between a single song moving image and a synthesized moving image composed of a plurality of song moving images for each phrase of a song. In addition, since the degree of interest in a plurality of evaluation items applied to karaoke analysis scoring can be specified as a user interest parameter, it is edited in a manner that accurately reflects the viewer's preference for each evaluation item. Can be provided to viewers.
［変形例］
上述の実施形態では、配信サーバ２からネットワークを介してユーザ視聴端末３に歌唱動画が配信される事例について説明した。これとは別に、単体のコンピュータシステムにおいて、ユーザ関心パラメータを取得し、それに基づいて複数の歌唱動画を編集して再生するといった具合に、配信サーバ２及びユーザ視聴端末３の機能を併せ持つ装置単体で構成されるものであってもよい。
[Modification]
In the above-described embodiment, the example in which the singing moving image is distributed from the
［特許請求の範囲に記載の構成との対応］
実施形態のカラオケシステム１の各構成と、特許請求に記載の構成との対応は次のとおりである。
[Correspondence with configuration described in claims]
The correspondence between each configuration of the
配信サーバ２の制御部２１が、取得手段、決定手段、出力制御手段に相当する。配信サーバ２の記憶部２２が、記憶手段に相当する。ユーザ視聴端末３が、受付手段、受信手段、再生手段に相当する。
The
１…カラオケシステム、２…配信サーバ、２１…制御部、２２…記憶部、２３…通信部、３…ユーザ視聴端末、１０…インターネット。
DESCRIPTION OF
Claims (3)
前記記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画の視聴を要求したユーザについて、前記評価項目に対する関心の度合を表すユーザパラメータを取得する取得手段と、
前記特定の楽曲に該当する複数の歌唱動画について、前記特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、前記複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定し、また、前記複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合を判定し、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを前記演奏区間ごとに決定する決定手段と、
前記特定の楽曲に該当する複数の歌唱動画の中から、前記決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する出力制御手段とを備え、
前記出力制御手段は、前記決定手段より単独の歌唱動画を出力すると決定された場合、前記複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合が最も高い単独の歌唱動画を出力対象に決定する一方、前記決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定すること、
を特徴とする歌唱動画編集装置。 A plurality of singing videos in which video and audio of a singer singing a song are recorded, and singing that represents an evaluation result in which the singing recorded in the singing video is evaluated for a predetermined evaluation item every predetermined period Storage means for storing evaluation information in association with each other;
An acquisition means for acquiring a user parameter indicating a degree of interest in the evaluation item for a user who has requested viewing of a song video corresponding to a specific song from among the song videos stored in the storage unit;
Whether or not the singing melody of each of the plurality of singing videos synchronizes with each other for each performance section obtained by dividing the specific music into a plurality of performance sections for the plurality of singing videos corresponding to the specific music And determining the degree of conformity between the singing evaluation results and the user parameters in each performance section of each of the plurality of singing videos, and outputting a single singing video based on the determination results, Determining means for determining for each performance section whether to output the singing video of
According to the output method determined by the determining means, among the plurality of song videos corresponding to the specific music, the song videos to be output for each performance section are switched, and the song videos to be output in each performance section The output control means for outputting as a series of singing videos for all performance sections by sequentially connecting and outputting the sections of the performance sections,
When the output control unit determines that the determination unit outputs a single singing video, the matching degree between the evaluation result of the singing in a predetermined performance section and the user parameter is the highest among the plurality of singing videos. While deciding to output a plurality of singing videos by the deciding means while deciding a high single singing video as an output target, a plurality of singing videos in which the melody of the singing in a predetermined performance section is synchronized are synthesized. , To determine the synthesized song video as the output target,
A singing video editing device characterized by this.
前記歌唱動画に対応付けて前記記憶手段に記憶されている歌唱評価情報は、前記歌唱動画に記録されている歌唱が複数種類の評価項目について評価された評価結果を表すものであり、
前記取得手段は、前記複数の評価項目それぞれに対する関心の度合を表すユーザパラメータを取得すること、
を特徴とする歌唱動画編集装置。 The singing video editing apparatus according to claim 1,
The singing evaluation information stored in the storage means in association with the singing video represents an evaluation result in which the singing recorded in the singing video is evaluated for a plurality of types of evaluation items.
The acquisition means acquires a user parameter representing a degree of interest in each of the plurality of evaluation items;
A singing video editing device characterized by this.
前記記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画に対する視聴要求と、前記評価項目に対する関心の度合を表すユーザパラメータを指定する指示とをユーザから受付ける受付手段と、
前記特定の楽曲に該当する複数の歌唱動画について、前記特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、前記複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定し、また、前記複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合を判定し、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを前記演奏区間ごとに決定する決定手段と、
前記特定の楽曲に該当する複数の歌唱動画の中から、前記決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する出力制御手段と、
前記出力制御手段により出力された歌唱動画を受信する受信手段と、
前記受信手段により受信された歌唱動画を再生し、所定の表示手段及び音声出力手段に出力させる再生手段とを備え、
前記出力制御手段は、前記決定手段より単独の歌唱動画を出力すると決定された場合、前記複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合が最も高い単独の歌唱動画を出力対象に決定する一方、前記決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定すること、
を特徴とする歌唱動画視聴システム。 A plurality of singing videos in which video and audio of a singer singing a song are recorded, and singing that represents an evaluation result in which the singing recorded in the singing video is evaluated for a predetermined evaluation item every predetermined period Storage means for storing evaluation information in association with each other;
A receiving unit that receives from the user a viewing request for a song video corresponding to a specific song from among the song videos stored in the storage unit, and an instruction that specifies a user parameter indicating the degree of interest in the evaluation item;
Whether or not the singing melody of each of the plurality of singing videos synchronizes with each other for each performance section obtained by dividing the specific music into a plurality of performance sections for the plurality of singing videos corresponding to the specific music And determining the degree of conformity between the singing evaluation results and the user parameters in each performance section of each of the plurality of singing videos, and outputting a single singing video based on the determination results, Determining means for determining for each performance section whether to output the singing video of
According to the output method determined by the determining means, among the plurality of song videos corresponding to the specific music, the song videos to be output for each performance section are switched, and the song videos to be output in each performance section Output control means for outputting a series of singing videos for all performance sections by sequentially connecting and outputting the parts of the performance sections;
Receiving means for receiving the singing video output by the output control means;
Reproducing means for reproducing the singing video received by the receiving means and outputting to a predetermined display means and audio output means,
When the output control unit determines that the determination unit outputs a single singing video, the matching degree between the evaluation result of the singing in a predetermined performance section and the user parameter is the highest among the plurality of singing videos. While deciding to output a plurality of singing videos by the deciding means while deciding a high single singing video as an output target, a plurality of singing videos in which the melody of the singing in a predetermined performance section is synchronized are synthesized. , To determine the synthesized song video as the output target,
Singing video viewing system characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014175826A JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014175826A JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016051031A true JP2016051031A (en) | 2016-04-11 |
| JP6299531B2 JP6299531B2 (en) | 2018-03-28 |
Family
ID=55658580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014175826A Active JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6299531B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013174712A (en) * | 2012-02-24 | 2013-09-05 | Brother Ind Ltd | Program for portable terminal device, information presenting method, and portable terminal device |
| JP2014109681A (en) * | 2012-11-30 | 2014-06-12 | Daiichikosho Co Ltd | Selection system for singing moving image corresponding to singing voice |
| JP2014150382A (en) * | 2013-01-31 | 2014-08-21 | Daiichikosho Co Ltd | Karaoke singing video reproduction system |
-
2014
- 2014-08-29 JP JP2014175826A patent/JP6299531B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013174712A (en) * | 2012-02-24 | 2013-09-05 | Brother Ind Ltd | Program for portable terminal device, information presenting method, and portable terminal device |
| JP2014109681A (en) * | 2012-11-30 | 2014-06-12 | Daiichikosho Co Ltd | Selection system for singing moving image corresponding to singing voice |
| JP2014150382A (en) * | 2013-01-31 | 2014-08-21 | Daiichikosho Co Ltd | Karaoke singing video reproduction system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6299531B2 (en) | 2018-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230185847A1 (en) | Audio Identification During Performance | |
| WO2020093883A1 (en) | Method and device for obtaining video clip, server, and storage medium | |
| JP6060155B2 (en) | Method and system for performing a comparison of received data and providing subsequent services based on the comparison | |
| KR101800193B1 (en) | Method and system for searching content creators | |
| US10560657B2 (en) | Systems and methods for intelligently synchronizing events in visual content with musical features in audio content | |
| JP2011135183A (en) | Information processing apparatus and method | |
| US10506268B2 (en) | Identifying media content for simultaneous playback | |
| KR20110033844A (en) | Device and method for providing a television sequence | |
| JP6535497B2 (en) | Music recommendation system, program and music recommendation method | |
| US20110179003A1 (en) | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same | |
| KR20130055748A (en) | System and method for recommending of contents | |
| US11188605B2 (en) | Systems and methods for recommending collaborative content | |
| US11971927B1 (en) | System and method for contextual data selection from electronic media content | |
| US20210035541A1 (en) | Systems and methods for recommending collaborative content | |
| CN105243093A (en) | Singer recommendation method and apparatus | |
| US20210034661A1 (en) | Systems and methods for recommending collaborative content | |
| WO2017056387A1 (en) | Information processing device, information processing method and program | |
| JP2003085207A (en) | Video information recommend system, method and device, video recommend program, and recording medium with its program recorded | |
| JP6065703B2 (en) | Reference data creation system and performance terminal device | |
| KR101713242B1 (en) | Apparatus for providing search service based musical score and method using the same | |
| KR101813704B1 (en) | Analyzing Device and Method for User's Voice Tone | |
| JP5344756B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6299531B2 (en) | Singing video editing device, singing video viewing system | |
| JP2006237879A (en) | Cm searching method and apparatus, cm searching result receiving method and apparatus, and cm video recording reservation system | |
| KR101624172B1 (en) | Appratus and method for management of contents information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6299531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |