JP5572499B2 - Music rising judgment device and music rising judgment program - Google Patents
Music rising judgment device and music rising judgment program Download PDFInfo
- Publication number
- JP5572499B2 JP5572499B2 JP2010212063A JP2010212063A JP5572499B2 JP 5572499 B2 JP5572499 B2 JP 5572499B2 JP 2010212063 A JP2010212063 A JP 2010212063A JP 2010212063 A JP2010212063 A JP 2010212063A JP 5572499 B2 JP5572499 B2 JP 5572499B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- climax
- user
- information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000630 rising effect Effects 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 16
- 230000008961 swelling Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000019577 caloric intake Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、カラオケ装置など楽曲演奏装置を利用した歌唱における盛上がり具合を指標化する楽曲盛上がり判定装置及び楽曲盛上がり判定プログラムに関するものである。 The present invention relates to a music climax determination device and a music climax determination program for indexing the degree of excitement in singing using a music performance device such as a karaoke device.
従来、カラオケ装置などの楽曲演奏装置では、歌唱音声とガイドメロディとを比較することによる採点が行われている。また、歌唱音声の音量を消費カロリーに換算し、１曲の歌唱でどれだけカロリーを消費したかをユーザーに対して表示するカラオケ装置もみられる。カラオケの採点では、ユーザーは自身の得点の記録更新、あるいは、他のユーザーの得点と競うことで歌唱意欲を高めることができる。このように、歌唱音声に基づく数値化は顧客を引きつけるための有効なサービスとなっている。 Conventionally, in musical performance devices such as karaoke devices, scoring is performed by comparing singing voices with guide melodies. There is also a karaoke device that converts the volume of the singing voice into calorie consumption and displays to the user how much calorie has been consumed by singing a song. In karaoke scoring, users can increase their motivation for singing by updating their own scores or competing with other users' scores. Thus, digitization based on singing voice is an effective service for attracting customers.
特許文献１には、外部からの音量を検出し、検出した音量に基づいて伴奏パターンを変更し、演奏や歌の盛上がりに応じて変化する自動伴奏を行うことができる自動伴奏装置が開示されている。
特許文献２には、マイクロホンから入力された入力音声に基づいて、カラオケ曲データにおけるサビや盛上がりのタイミングを設定するカラオケ装置が開示されている。このカラオケ装置によれば、設定されたタイミングを、撮影手段による撮影、歌唱者の入力音声にかけるエフェクト、あるいは、照明手段の駆動に利用することで、カラオケの場をさらに盛上げることが可能となる。
特許文献１、特許文献２に開示される装置は、検出した音量に基づいて自動伴奏を変化させたり、さびを検出するものであって、歌唱の場がどの程度盛上がっているかを指標化するものとはなっていない。本発明は、１楽曲の再生期間において歌唱がどの程度、盛上がったかを指標化することで、新たなサービスを提供することを目的とするものである。
The devices disclosed in
前記課題を解決するため、本発明に係る楽曲盛上がり判定装置は、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、前記盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、利用開始から設定された利用時間を経過する所定時間前に再生された楽曲を対象として、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理と、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行する制御手段と、を有することを特徴としている。
さらに、本発明に係る楽曲盛上がり判定装置において、
前記選択処理は、前記算出処理にて算出された盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から利用者に推奨する楽曲を選択し、利用者に提示することを特徴としている。
さらに、本発明に係る楽曲盛上がり判定装置において、
前記選択処理は、前記算出処理にて算出された盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から利用者に推奨する楽曲を選択し、前記楽曲再生手段に再生させることを特徴としている。
In order to solve the above-described problem, a music climax determination device according to the present invention includes a climax condition for determining a climax feature in video information or audio information, and a climax determination table having points associated with the climax condition. Storage means for storing, video information captured during the reproduction of one piece of music by means of the piece of music reproduction means for a piece of music reproduced a predetermined time before the use time set from the start of use, and 1 of the piece of music reproduction means One piece of music based on the detection process for detecting the climax feature, the climax determination table, and the feature of the climax detected by the detection process for at least one of the audio information collected during the music reproduction a calculating process of calculating a point swelling in, based on the swelling point is calculated by the calculation process, before It is characterized by having a control means for performing a selection process of selecting a piece of music from among pieces of music that target by the detection process.
Furthermore, in the music swell determination device according to the present invention,
The selection process is characterized in that the music recommended for the user is selected from the music targeted in the detection process based on the rising point calculated in the calculation process and presented to the user. Yes.
Furthermore, in the music swell determination device according to the present invention,
In the selection process, based on the climax point calculated in the calculation process, a music piece recommended for the user is selected from the music pieces targeted in the detection process, and the music reproduction unit reproduces the music. It is a feature.
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理にて算出された盛上がりポイントは、撮影時または収音時に前記楽曲再生手段にて再生した楽曲の識別子に対応付けて管理されることを特徴としている。 Further, in the music climax determination device according to the present invention, the climax point calculated in the calculation process is managed in association with an identifier of the music reproduced by the music reproduction means at the time of shooting or sound collection. It is a feature.
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記楽曲再生手段で再生した楽曲に応じて補正して前記盛上がりポイントを算出することを特徴としている。 Furthermore, in the music climax determination device according to the present invention, the calculation process is characterized in that the climax point is calculated with correction according to the music reproduced by the music reproduction means.
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記音声情報に基づいて算出された音声盛上がりポイントと、前記映像情報に基づいて算出された映像ポイントの少なくとも一方を算出することを特徴としている。 Furthermore, in the music swell determination device according to the present invention, the calculation processing calculates at least one of an audio climax point calculated based on the audio information and a video point calculated based on the video information. It is a feature.
さらに、本発明に係る楽曲盛上がり判定装置において、前記盛上がり条件における盛上がりの特徴は、前記映像情報にて検出される顔の方向、大きさ、数、動きのうちの少なくとも１つであることを特徴としている。 Furthermore, in the music climax determination device according to the present invention, the climax feature in the climax condition is at least one of the direction, size, number, and movement of the face detected in the video information. It is said.
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、楽曲の再生中に実行されるとともに、前記盛上がり条件にて規定された盛上がりの特徴検出に応じて、告知を行うことを特徴としている。 Furthermore, in the music climax determination device according to the present invention, the detection process is executed during the reproduction of the music, and notification is performed in accordance with the feature detection of the swell defined by the climax condition. Yes.
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、所定時間前に再生された楽曲を対象として実行されるとともに、前記制御手段は、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行することを特徴としている。 Furthermore, in the music climax determination device according to the present invention, the detection process is executed for a music played a predetermined time ago, and the control means is based on the climax point calculated by the calculation process. Then, a selection process for selecting a music piece from the music pieces targeted by the detection process is performed.
また、本発明に係る楽曲盛上がり判定プログラムは、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを有し、利用開始から設定された利用時間を経過する所定時間前に再生された楽曲を対象として、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理と、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理をコンピュータに実行させることを特徴としている。 Also, the music swelling determination program according to the present invention includes a swelling conditions for determining a characteristic of swelling in the video information or audio information, the buildup determination table has a point associated with the bulged condition, the use start For music played back a predetermined time before the set usage time, video information captured during playback of one piece of music by the music playback means, and audio collected during playback of one piece of music by the music playback means The climax in one piece of music is based on the detection process for detecting the climax feature defined by the climax condition for at least one of the information, the climax determination table, and the climax feature detected by the detection process. a calculation process of calculating the points, buildup on the basis of the point is calculated by the calculation process, the test It is characterized in that to execute the selection process of selecting a song to the computer from the music targeted at treatment.
本発明によれば、１楽曲再生中に収音された映像情報、もしくは、音声情報の少なくとも一方について盛上がり判定テーブルを参照し、盛上がりポイントを算出することで、歌唱時における新たな指標を提供するものである。また、この盛上がりポイントを楽曲選曲、盛上がりポイントを競うなど、新たなサービスを提供することも可能となる。 According to the present invention, a new index at the time of singing is provided by referring to a climax determination table for at least one of video information or audio information collected during playback of one music piece and calculating a climax point. Is. In addition, it becomes possible to provide new services such as music selection for the climax points and competition for the climax points.
さらに、本発明では撮影時または収音時に使用した楽曲に対応付けて盛上がりポイントを管理することで、どの楽曲が盛上がるかを判定する指標とすることが可能となる。 Furthermore, according to the present invention, by managing the climax points in association with the music used at the time of shooting or sound collection, it is possible to use it as an index for determining which music is swelled.
さらに、本発明では、再生した楽曲に応じて補正した盛上がりポイントを算出している。この構成によれば、楽曲間において異なる条件を揃えることで、楽曲間の公平性を図ったり、特定区間でポイントを増減させることで、遊興性の向上を図ることが可能となる。 Furthermore, in the present invention, the climax point corrected according to the reproduced music is calculated. According to this configuration, it is possible to improve playability by arranging different conditions between music pieces to achieve fairness between music pieces and increasing / decreasing points in specific sections.
さらに、本発明では、盛上がりポイントを、映像に関する映像盛上がりポイント、音声に関する音声盛上がりポイントの少なくとも一方を算出することで、映像、音声、それぞれに対する盛上がり度を指標化することができる。また、映像、音声どちらか一方にしか対応できない装置においても、映像、音声両方に対応できる装置にて算出された指標と比較することが可能となる。 Furthermore, according to the present invention, by calculating at least one of the video climax point related to video and the audio climax point related to audio as the climax point, the degree of climax for each of video and audio can be indexed. In addition, even an apparatus that can handle only one of video and audio can be compared with an index calculated by an apparatus that can handle both video and audio.
さらに、本発明では、顔認識技術を用い、映像情報から顔の方向、大きさ、数、動きのうち少なくとも１つを盛上がりの特徴として利用することで、映像情報に基づく盛上がりの状況を検出することが可能となる。 Furthermore, in the present invention, a face recognition technique is used, and a rising state based on video information is detected by using at least one of the face direction, size, number, and movement from the video information as a rising feature. It becomes possible.
さらに、本発明では、盛上がりの特徴検出に応じて、表示あるいは音声を用いた告知を行うこととしている。歌唱の場にいるユーザーに対し、盛上がりの状況を伝えることが可能となる。 Furthermore, according to the present invention, notification using display or sound is performed in response to the feature detection that is prosperous. It is possible to convey the exciting situation to the users who are singing.
さらに、本発明では、所定時間前に再生された楽曲を対象として盛上がりポイントを算出し、算出された盛上がりポイントに基づいて楽曲を選択することで、時間貸しのカラオケボックスなどにおいて、〆（最後）の一曲として、一番盛り上がった楽曲をユーザーに勧める、あるいは、自動で演奏させることが可能となる。 Furthermore, in the present invention, a climax point is calculated for a piece of music played a predetermined time ago, and a tune is selected based on the calculated climax point. As a song, it is possible to recommend the most exciting music to the user or to automatically play it.
また、本発明の楽曲盛上がり判定プログラムは、前述の楽曲盛上がり判定装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の楽曲演奏装置に対しても機能を付加することが可能となる。 In addition, the music climax determination program of the present invention can add a function to a computer device or an existing music performance device by providing the function of the music climax determination device described above in the program. .
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。
FIG. 1 is a diagram showing a network configuration of a karaoke system according to an embodiment of the present invention. In the figure, the main configuration as a karaoke system is configured by a karaoke host (server device), a
店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け
付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
The
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。 Furthermore, in the karaoke system of this embodiment, an Internet host is provided to provide various services to the user. The Internet host is connected to a user's personal computer and a portable information terminal (such as a mobile phone or a PDA), and can provide various services to users who use these devices. In addition, the Internet host can provide a coordinated service by sharing data with the karaoke host.
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
FIG. 2 is a diagram showing a configuration of the karaoke system installed in the store A according to the embodiment of the present invention. The karaoke system in the present embodiment is composed of a commander 2 (karaoke device) and a
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
The
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この選曲処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。
The music designation process is a process for selecting and reserving music based on designation from the user. In this embodiment, it is executed in cooperation with the
本実施形態のコマンダ２には、カメラ４３が接続可能となっており、接続されたカメラ４３から歌唱者や同伴客の様子を撮影することが可能となっている。カメラ４１の映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。カメラ４３にて撮影された映像情報は、コマンダ２あるいはコマンダに接続されるサーバ装置において、盛上がりポイント判定のために利用される。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで映像情報を取得することとしても構わない。
A
また、本実施形態のコマンダ２には、環境音収音マイク４４ｃが設けられている。このマイクは、歌唱が行われる場の環境音を収音するために設けられたものであり、同伴者の歓声、鳴り物などが含まれた音声情報を収音する。収音の際、この環境音収音マイク４４ｃにて収音した音声情報から、スピーカー４２から放音される音や、歌唱用マイク４４ａ、ｂにて収音された歌唱音を減算するとよい。精度の高い環境音を抽出することが可能となる。盛上がりポイント判定のためには、この環境音収音マイク４４ｃにて収音した音声
情報に限らず、歌唱用マイク４４ａ、ｂにて収音した音声情報を用いることとしてもよい。
In addition, the
このように、コマンダ２には、盛上がりポイント算出のために用いる映像情報、音声情報を取得するための、カメラ４３や各種マイク４４ａ〜ｃが設けられている。本実施形態では、映像情報、音声情報の両方に基づいて盛上がりポイントを算出することとしているが、映像情報、音声情報のどちらか一方にて算出することとしてもよい。
As described above, the
図３は、本発明の実施形態に係るトップメニューを示す図である。本実施形態では、リモコン装置１の表示部１１に表示させ、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして操作を行うタッチパネル等を採用することができる。
FIG. 3 is a diagram showing a top menu according to the embodiment of the present invention. In the present embodiment, various types of information are provided to the user who operates the
トップメニューには、楽曲選択のための各種方法（歌手名検索、曲名検索、盛上がり度検索）を指定可能の他、ユーザーのログインに関する情報が表示されている。 In the top menu, various methods for music selection (singer name search, song name search, excitement level search) can be specified, and information related to user login is displayed.
本実施形態のカラオケシステムは、複数のユーザーがログインすることが可能となっている。ユーザーのログインに関する情報は、画面上方に常時表示される。ログイン中のユーザーを示すアバターが表示される。図ではＡさん、Ｅさん、Ｃさん、３人のアバターが表示されているが、更なるユーザーをログインさせることも可能である。表示されている３人のアバター中、背景が褐色で表示されているユーザー（Ａさん）は操作ユーザーであることを示している。本実施形態では、操作ユーザーのユーザー名、並びに、操作ユーザーに対する各種メッセージも表示される。 In the karaoke system of this embodiment, a plurality of users can log in. Information related to user login is always displayed at the top of the screen. An avatar indicating the logged-in user is displayed. In the figure, Mr. A, Mr. E, Mr. C, and three avatars are displayed, but it is possible to log in additional users. A user (Mr. A) whose background is displayed in brown among the three avatars displayed is an operating user. In the present embodiment, the user name of the operating user and various messages for the operating user are also displayed.
操作ユーザーに対しては、当該ユーザーのユーザー情報に基づいて各種サービスを行うことが可能となっており、ユーザー情報に含まれる個人情報や操作履歴などを参照することで、それに基づくサービスを提供することが可能である。 Various services can be provided to the operating user based on the user information of the user, and services are provided based on the personal information and operation history included in the user information. It is possible.
操作ユーザーは、画面上方左側に表示されているユーザー切替を操作することで切り換えることができる。また、画面上方右側には、新たにユーザーをログインさせる新規ログイン、操作ユーザーをログアウトさせるログアウトが表示されており、これらを操作することで、ユーザーの追加、ログアウトを行うことができる。 The operating user can switch by operating user switching displayed on the upper left side of the screen. Also, on the upper right side of the screen, a new login for logging in a new user and a logout for logging out an operating user are displayed. By operating these, a user can be added and logged out.
図４は、各ユーザー毎に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、十八番テーブル、履歴テーブルなどを含んで構成される。個人情報には、ユーザーを識別するためのユーザーＩＤ、パスワード、そして、ユーザー名、性別、年齢等を含んで構成されている。これらの設定は、リモコン装置１、あるいは、ネットワークに接続されたパーソナルコンピュータ、携帯情報端末などにてログインすることでも設定することができる。
FIG. 4 is a diagram for explaining user information stored for each user. In the present embodiment, the user information includes personal information, an eighteenth table, a history table, and the like. The personal information includes a user ID for identifying the user, a password, and a user name, gender, age, and the like. These settings can also be set by logging in using the
十八番テーブルは、ユーザーによって事前に登録された楽曲を示すテーブルであって、少なくとも楽曲を識別するための楽曲識別子を含んで構成されている。この他にも各楽曲識別子に、歌唱した際に採点された最高点（採点情報）や、自分の歌唱音域に合わせるための音程情報を合わせて登録しておいてもよい。また、当該楽曲に関する盛上がりポイントの最高点を登録しておいてもよい。ユーザーは、この十八番テーブルを呼び出すことで、事前に登録した楽曲を容易に呼び出して選曲を行うことが可能となる。なお、採点情報、盛上がりポイントは、最高点に限らず平均点や最低点であってもよく、点数に限らずランクにて構成してもよい。 The eighteenth table is a table showing songs registered in advance by the user, and includes at least a song identifier for identifying the song. In addition to this, each music identifier may be registered together with the highest score (scoring information) scored at the time of singing and the pitch information for matching to the own singing range. In addition, the highest point of the climax points related to the music may be registered. By calling this 18th table, the user can easily call a previously registered music and select a music. Note that the scoring information and the climax point are not limited to the highest score, but may be an average score or a lowest score, and may be configured with a rank instead of the score.
履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗、採点情報、音程情報、盛上がりポイントなどを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報であり、音程情報は歌唱したときのピッチ変更を示す情報である。 The history table is a table in which the history of music selection by the user is described, and includes a music identifier, singing date and time, singing store, scoring information, pitch information, climax points, and the like. The scoring information is information indicating the result of the scoring means when singing, and the pitch information is information indicating the pitch change when singing.
本実施形態では、このようなユーザー情報を利用することで、ユーザーに対し様々なサービスを提供することができる。特に、本実施形態では、十八番テーブルや履歴テーブルに盛上がりポイントを記録しておくことで、自己の十八番の内、盛上がれる楽曲、すなわち、盛上がりポイントの高い楽曲を検索したり、これまで歌唱した楽曲における平均盛上がりポイントを参照するなど、盛上がりポイントを利用した各種サービスを行うことが可能となる。 In the present embodiment, by using such user information, various services can be provided to the user. In particular, in the present embodiment, by recording the climax points in the eighteenth table or the history table, the music that can be climaxed among the eighteenth self, that is, the tune that has been sung so far, is searched. Various services using the climax points can be performed, such as referring to the average climax points.
図５は、本発明の実施形態に係るメイン処理を示すフロー図である。本発明でいう楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、コマンダ２の各種構成、処理にて形成される。また、本実施形態では、コマンダ２にて楽曲再生中に随時、盛上がりの特徴を検出するものである。この実施形態では、ユーザーに対していつ盛上がりが判定されたかを迅速に伝えることが可能となる。盛上がりの特徴検出、また、盛上がりポイントの算出は、コマンダ２に限らず、コマンダ２に接続されるサーバ装置にて行うこととしてもよい。サーバ装置側で行う場合については後で他の実施形態を用いて説明を行う。
FIG. 5 is a flowchart showing main processing according to the embodiment of the present invention. The music climax determination device or the music climax determination program referred to in the present invention is formed by various configurations and processes of the
メイン処理がスタート（Ｓ１０１）すると、まず、Ｓ１０２にてユーザーによる選曲が実行される。この選曲は、図３に示すトップ画面にて選択された各種検索方法にて実行される。選曲、すなわち、楽曲が指定されるとＳ１０３にて、指定された楽曲に対応する楽曲情報を楽曲再生手段としてのＭＩＤＩ音源２６に再生させる。ここでは、Ｓ１０２による選曲の後、すぐに再生が開始されることとして説明しているが、予約されたものから順次再生されるものであってもよい。
When the main process starts (S101), first, the music selection by the user is executed in S102. This music selection is executed by various search methods selected on the top screen shown in FIG. When a song is selected, that is, when a song is designated, in S103, the music information corresponding to the designated song is reproduced by the
Ｓ１０４ａ〜Ｓ１０９ａは、カメラ４３にて撮影される映像情報を用いた盛上がりの特徴を検出する処理であり、Ｓ１０４ｂ〜Ｓ１０９ｂは、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴を検出する処理である。これら処理については、そのどちらか一方のみ行われるものであってもよい。
S104a to S109a are processes for detecting the swell feature using video information photographed by the
まず、映像情報を用いた盛上がりの特徴検出について説明する。楽曲再生開始（Ｓ１０３）に伴って、カメラ４３による撮影が開始される（Ｓ１０４ａ）、Ｓ１０５ａでは、近年、デジタルカメラなどにて用いられる画像認識技術を用いて、人物の顔、表示用、手や足などの体躯、また、その動きを認識する。Ｓ１０６ａでは、認識結果が盛上がり判定テーブルに記述された盛上がり条件に該当するか否かが判定される。
First, feature detection using the video information will be described. With the start of music reproduction (S103), shooting by the
図６には、本発明の実施形態に係る盛上がり判定テーブルが示されている。盛上がり判定テーブルには、映像、音声毎の盛上がり条件にポイントが対応付けられている。例えば、映像情報中に映った人数がｎ人である場合には、人数に応じたｎポイントが加算される（Ｓ１０７）。なお、このポイントは加算するのみならず減算してもよい。例えば、映っている顔、あるいは、視線が下向きである場合には、盛上がりと反する行為と判定してポイントを減算することとする。 FIG. 6 shows a rise determination table according to the embodiment of the present invention. In the climax determination table, points are associated with climax conditions for each video and audio. For example, when the number of people shown in the video information is n, n points corresponding to the number of people are added (S107). This point may be subtracted as well as added. For example, when the reflected face or the line of sight is facing downward, it is determined that the action is contrary to climax and points are subtracted.
さらに、本実施形態では、盛上がりの特徴が検出された場合に、モニタ４１に盛上がりが検出されたことを表示し、同席者に対して告知することとしている。図７は、本発明の実施形態に係る演奏時のモニタ画面である。この図では、歌詞や背景映像の表示を行うモニタ４１の画面上に、撮像映像ウィンドウを設け、カメラ４３にて撮影された映像情報を表示させている。同席者は、この撮像映像ウィンドウにて、撮像される様子をほぼリアル
タイムに確認することができる。なお、この撮像映像ウィンドウには、左右反転された映像情報を表示させることで、鏡に映っているように視認することができ、違和感を抑えることが可能となる。
Furthermore, in this embodiment, when the feature of the swell is detected, the
図８は、演奏時において盛上がりの特徴が検出されたときのモニタ画面の様子を示した図である。本実施形態では、盛上がりの特徴（鳴り物検出：この場合は音声における盛上がりの特徴）並びに、その特徴に対応したポイント（＋２ポイント）を文字で表示させている。このように、盛上がりの特徴やポイント数を同席者に対して告知することで、同席者は何をすれば盛上がりと判定されたか、あるいは、どのような行為が盛上がりポイントが高いなどを認識させることができる。本実施形態では、文字を表示することで盛上がりの特徴検出を告知することとしているが、図形やアイコンを表示することとしてもよいし、表示のみならず音声にて告知するものであってもよい。また、盛上がりの特徴検出を告知せず、ポイントのみを表示、あるいは、盛上がり行為があったことのみを告知する構成であってもよい。 FIG. 8 is a diagram showing a state of the monitor screen when a feature of swell is detected during performance. In the present embodiment, the feature of rising (sounding object detection: the feature of rising in the voice in this case) and the point corresponding to the feature (+2 points) are displayed as characters. In this way, by notifying the attendees of the features and points of the excitement, they can recognize what the attendee has determined to be prosperous, or what actions the excitement points are high, etc. Can do. In the present embodiment, the feature detection of the excitement is notified by displaying the character, but it may be possible to display a graphic or an icon, or may be notified by voice as well as the display. . Further, the configuration may be such that not only the feature detection of the swell is notified but only the point is displayed or only the swell action is notified.
カメラ４３にて撮影される映像情報については、Ｓ１０５ａ〜Ｓ１０８ａの処理を、楽曲再生が終了するまで繰り返し実行することで、映像情報に関するポイントが加算される。歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴検出については、映像情報と同様、図６の盛上がり判定テーブルを用いて実行される（Ｓ１０４ｂ〜Ｓ１０８ｂ）。なお、音声情報については、音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで、盛上がりの特徴が検出される。
For the video information photographed by the
再生終了が判定される（Ｓ１０９ａ、Ｓ１０９ｂ）と、Ｓ１１０ではユーザーによる再生中断か否か、すなわち、ユーザーの操作により再生が中止されたか否かが判定される。再生中断時における盛上がりポイント算出を許可した場合、後で説明するポイント補正処理を利用した不正行為が行われる場合がある。そのため本実施形態では、楽曲が最後まで再生されたことを条件として、最終的な盛上がりポイントを算出することとしている。なお、楽曲の所定の割合以上再生を行ったことを条件としてもよい。 When it is determined that the reproduction is finished (S109a, S109b), it is determined in S110 whether or not the reproduction is interrupted by the user, that is, whether or not the reproduction is stopped by the user's operation. When the calculation of the rising point at the time of reproduction interruption is permitted, an illegal act using a point correction process described later may be performed. Therefore, in this embodiment, the final climax point is calculated on the condition that the music has been played to the end. In addition, it is good also as conditions on having performed more than the predetermined ratio of the music.
Ｓ１１１では、盛上がりポイントの算出が行われる。簡易には、Ｓ１０７ａにて積算された映像ポイントと、Ｓ１０７ｂにて積算された音声ポイントの和を取ることで総合的な盛上がりポイントとして算出できる。本実施形態では、この盛上がりポイントの算出処理において、楽曲の時間長の差異を考慮した補正処理を行い、楽曲間において盛上がりポイント算出のための条件を揃えることとしている。 In S111, the rise point is calculated. In a simple manner, the sum of the video points accumulated in S107a and the audio points accumulated in S107b can be calculated as a total rise point. In the present embodiment, in the process for calculating the climax point, a correction process is performed in consideration of the difference in the time length of the music, and the conditions for calculating the climax point are arranged between the music.
前述したように、本実施形態では、映像情報または音声情報において盛上がりの特徴を検出する毎にポイントが加算される構成となっている。そのため、楽曲の再生時間が長いほど、ポイントを稼ぐ条件が有利なものとなる。図９（ａ）は、この楽曲時間長の差異に基づく条件を揃えるためのポイント補正処理を説明するための図である。例えば楽曲Ａが３分１４秒の時間長であるのに対し、楽曲Ｂが４分２３秒の時間長であった場合、ポイント獲得の機会は楽曲Ｂの方が有利となる。そのため、本実施形態では基準時間長Ｔ（例えば、３分３０秒）を設定し、積算されたポイントを基準時間長に規格化することで、楽曲時間長の差異による不公平を是正することとしている。例えば、楽曲Ａの時間長がＴ１、ポイントがＰ１である場合、補正後のポイントＰ２は、Ｐ１×Ｔ／Ｔ１となる。 As described above, the present embodiment is configured such that points are added each time a prominent feature is detected in video information or audio information. Therefore, the longer the music playback time, the more advantageous the conditions for earning points. FIG. 9A is a diagram for explaining a point correction process for aligning conditions based on the difference in music time length. For example, when the music A has a time length of 3 minutes and 14 seconds, but the music B has a time length of 4 minutes and 23 seconds, the music B has a more advantageous point acquisition opportunity. Therefore, in the present embodiment, by setting a reference time length T (for example, 3 minutes 30 seconds) and normalizing the accumulated points to the reference time length, the injustice due to the difference in the music time length is corrected. Yes. For example, when the time length of the music piece A is T1 and the point is P1, the corrected point P2 is P1 × T / T1.
時間長の補正は、この実施形態に限らず、所定時間以上のものは、所定ポイント減点するなど簡易な形態を採用することもできる。また、楽曲の時間長は、ユーザーがテンポを調整することでも変更される。この場合、テンポの度合いに応じてポイントを補正することとしてもよい。例えば、テンポがｎ倍の場合、盛上がりポイントをｎ倍とすることで、
テンポが遅い場合にはポイントを低く、テンポが速い場合にはポイントを高く補正することができる。
The correction of the time length is not limited to this embodiment, and a simple form such as a point deduction for a predetermined time or more can be adopted. Also, the time length of the music can be changed by the user adjusting the tempo. In this case, the points may be corrected according to the degree of tempo. For example, if the tempo is n times, by increasing the rising point n times,
The point can be corrected to be low when the tempo is slow, and the point can be corrected to be high when the tempo is fast.
図９（ｂ）は、他のポイント補正処理の例を示した図である。この補正処理では、サビ区間を判定し、サビ区間に検出された盛上がりの特徴については、所定の割合ポイントを増加させる、いわば、ボーナスポイントを与えることとしている。この例に限らず、楽曲のジャンルに応じた補正処理を行うなど様々な形態を取ることが考えられる。算出処理では、このように再生した楽曲に応じて補正処理を実行し、最終的な盛上がりポイントを算出することとしている。 FIG. 9B is a diagram showing an example of another point correction process. In this correction process, the rust section is determined, and for the climax feature detected in the rust section, a predetermined percentage point is increased, that is, a bonus point is given. Not only this example but various forms, such as performing the correction process according to the genre of music, can be considered. In the calculation process, the correction process is executed according to the music reproduced in this way, and the final climax point is calculated.
Ｓ１１２では、サーバ装置（図１のカラオケ用ホスト）と交信し、Ｓ１１１にて算出された盛上がりポイントに各種情報が付与された盛上がり情報として送信し、サーバ装置側で管理するユーザー情報などに登録する。図１０は、盛上がり情報のデータ構成例を示す図である。本実施形態では、歌唱ユーザーＩＤ、すなわち、楽曲指定時に操作ユーザーであったユーザーのユーザーＩＤの他、使用した楽曲を示す楽曲識別子、歌唱日時、カラオケ店舗やコマンダＩＤなどの位置情報、算出された盛上がりポイント、楽曲再生時にログインしていたユーザーのＩＤを示す同伴ユーザーＩＤなどを含んで構成される。 In S112, it communicates with the server device (the karaoke host in FIG. 1), transmits it as the climax information with various information added to the climax point calculated in S111, and registers it in the user information managed on the server device side. . FIG. 10 is a diagram illustrating a data configuration example of the climax information. In this embodiment, in addition to the singing user ID, that is, the user ID of the user who was the operation user at the time of specifying the music, the music identifier indicating the used music, the singing date and time, the location information such as the karaoke store and commander ID, and the like were calculated. It includes a climax point, a companion user ID indicating the ID of the user who has logged in at the time of music reproduction, and the like.
歌唱ユーザーＩＤを利用して集計することで、どのユーザーの歌唱が盛上がったかを指標化することができる。また、楽曲識別子を利用することで、どの楽曲が盛上がるかを指標化とすることができる。また、歌唱日時を利用することで、今週、盛上がった楽曲は何かといったように期間を指定して盛上がりを指標化することができる。歌唱位置を利用することで、店舗毎、地域毎の集計が可能となる。さらに、同伴ユーザーを利用して集計することで、どのユーザーが盛上げ上手かを集計することもできる。 By summing up using the singing user ID, it is possible to index which user's singing has risen. In addition, by using the music identifier, it can be used as an index which music is going up. In addition, by using the singing date and time, it is possible to designate the period so as to index the climax, such as what is the tune that has been swelled this week. By using the singing position, it is possible to tabulate each store and each region. Furthermore, by using the companion user and counting, it is possible to total which user is the best.
このように、算出された盛上がりポイントに、再生時における各種情報を付随させておくことで、様々な観点における指標化、集計を行うことが可能となる。図１１は、本発明の実施形態に係る演奏終了後の結果発表の画面を示す図であって、図５のフロー図のＳ１１３の処理に相当している。本実施形態では、総合的な盛上がりポイントの他、映像情報に基づく映像盛上がりポイント、音声情報に基づく音声盛上がりポイントが表示されている。また、Ｓ１１２においてサーバ装置との交信で取得した全国での順位、地域（この場合、東京）での順位、カラオケ店舗での順位も併せて表示されている。本実施形態では、このようにポイントを表示して、ユーザーに告知することとしたが、ポイントに基づくランクで表示してもよいし、結果を表示することなく他のサービスのために利用するものであってもよい。 In this way, by adding various information at the time of reproduction to the calculated climax point, it is possible to perform indexing and tabulation from various viewpoints. FIG. 11 is a view showing a result announcement screen after the performance according to the embodiment of the present invention, and corresponds to the process of S113 in the flowchart of FIG. In the present embodiment, in addition to a general climax point, a video climax point based on video information and an audio climax point based on audio information are displayed. In addition, the nationwide ranking, the ranking in the region (in this case, Tokyo), and the ranking at the karaoke store acquired through communication with the server device in S112 are also displayed. In this embodiment, the point is displayed and notified to the user in this way, but it may be displayed in a rank based on the point or used for other services without displaying the result. It may be.
次に図１２〜図１６を用い、映像情報を用いた盛上がりの特徴検出について説明を行う。図１２は、撮像された映像情報を示した図であって、本実施形態では、顔認識技術を利用することで、映像情報中に何人が映り込んでいるかを判定し、盛上がりの特徴検出に用いることとしている。通常、人が多く映り込むほど、高いポイントが設定される。 Next, with reference to FIGS. 12 to 16, the feature detection of the swell using the video information will be described. FIG. 12 is a diagram showing captured video information. In the present embodiment, by using face recognition technology, it is determined how many people are reflected in the video information, and is used for feature detection. I am going to use it. Usually, the higher the number of people, the higher the point.
図１３は、映像情報中に映り込む顔の大きさにて特徴検出を行う場合である。これは、カメラ４３に近づくほど盛上がっているという仮定に基づいたものであり、基準となる大きさＡよりも大きいか小さいかにて判定される。基準となる大きさを複数設け、多段階で判定するものとしてもよい。
FIG. 13 shows a case where feature detection is performed based on the size of the face reflected in the video information. This is based on the assumption that the closer to the
図１４は、画面に映り込んでいる顔の方向で特徴検出を行う場合を示したものである。図１４（ａ）のように、眼、口、鼻が所定の位置で映り込んでいる場合、正面を向いて歌唱の場に参加しているものと判定し、ポイントが高くなるようにしている。また、図１４（ｂ）、図１４（ｃ）のように横を向いている場合や、下を向いていると判定された場合
には、歌唱の場に参加していないと判定し、ポイントを加算しない、あるいは、ポイントを減算する。顔の方向に限らず、映り込んだ人の視線を検出し、特徴検出に考慮することとしてもよい。
FIG. 14 shows a case where feature detection is performed in the direction of the face reflected on the screen. As shown in FIG. 14 (a), when the eyes, mouth, and nose are reflected at predetermined positions, it is determined that they are facing the front and participating in the singing field, and the points are made higher. . In addition, when it is determined to face sideways as shown in FIGS. 14B and 14C, or when it is determined to face down, it is determined that it does not participate in the singing place, and points Do not add or subtract points. Not only the direction of the face but also the line of sight of the reflected person may be detected and considered for feature detection.
図１５は、画面に映り込んだ手の位置を判定することで特徴検出を行う場合を示したものである。ここでは、顔の基準位置Ｂに対する手の位置を判定することで、手を上げているか否かを判定している。手の位置が基準位置Ｂよりも上にあると判定することで、映っている人が手を上げて盛上がっている状況を判定することが可能となる。手の位置による判定では、この他、手の上げ下げの振幅、周期を検出して判定に用いてもよいし、左右の動きを判定することで拍手していることを検出してもよい。また、手の検出以外に足など手以外の体躯の位置、動きを特徴検出に用いてもよい。 FIG. 15 shows a case where feature detection is performed by determining the position of the hand reflected on the screen. Here, it is determined whether or not the hand is raised by determining the position of the hand with respect to the reference position B of the face. By determining that the position of the hand is above the reference position B, it is possible to determine a situation in which the person in the image is raised by raising his hand. In the determination based on the position of the hand, in addition to this, the amplitude and cycle of raising and lowering the hand may be detected and used for the determination, or applause may be detected by determining the left and right movements. In addition to hand detection, the position and movement of a body other than the hand, such as a foot, may be used for feature detection.
図１６は、画面に映り込んだ顔の位置の動きを判定することで特徴検出を行う場合を示したものである。左右の動きを検出することでリズムに乗っているか否かを判定することが可能となる。また、縦の動きを検出することで、ジャンプしている、あるいは、椅子に乗っているなどの状況を判定することも可能となる。 FIG. 16 shows a case where feature detection is performed by determining the movement of the position of the face reflected on the screen. It is possible to determine whether or not the vehicle is riding on the rhythm by detecting left and right movements. Further, by detecting the vertical movement, it is possible to determine a situation such as jumping or riding a chair.
以上、映像情報における盛上がりの特徴検出の例について説明したが、音声情報についても、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音された音声情報の音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで盛上がりの特徴を検出することが可能となる。音量を用いた場合には大きいほど盛上がり度が高いと判定することが可能である。音高を用いた場合には歓声が発生したことを判定することが可能となる。また、音種ではタンバリンなどの鳴り物が使用されたか否かを判定することが可能となる。また、歌唱者を認識することで、歌唱人数をカウントし、歌唱人数が多いほど盛上がっていると判定することが可能となる。
In the above, the example of the feature detection of the swell in the video information has been described, but the volume, pitch, and pitch of the voice information collected using the
次に、算出された盛上がりポイントを利用したサービスの一例について説明する。図１７は、本発明の実施形態に係る盛上がり楽曲推奨処理を示すフロー図であり、図１８は、本発明の実施形態に係る盛上がり楽曲推奨画面を示している。このサービスでは、時間制限のあるカラオケ店舗において、退出時間が近づいたときに〆の一曲として歌唱する楽曲を推奨を行う。 Next, an example of a service using the calculated climax point will be described. FIG. 17 is a flowchart showing a music composition recommendation process according to the embodiment of the present invention, and FIG. 18 shows a music composition recommendation screen according to the embodiment of the present invention. This service recommends music to be sung as a song when the exit time approaches in a karaoke store with a time limit.
図１７のフロー図中、Ｓ２０１にて処理が開始されると、まず、店舗の従業員、あるいは、ユーザーにより利用時間が設定される（Ｓ２０２）。この利用開始から利用するコマンダ２にて再生された楽曲の楽曲盛上がりポイントが記録される。Ｓ２０３、Ｓ２０４では、時刻と楽曲の再生状況を監視し、退出時間の１０分前であって、楽曲の曲間となった条件が判定される。
In the flowchart of FIG. 17, when the process is started in S201, first, the use time is set by an employee of the store or the user (S202). The music climax point of the music reproduced by the
この条件が満たされた場合、Ｓ２０５にて図１８の楽曲推奨画面をモニタ４１に表示させる。この楽曲推奨画面では、利用開始からこれまでに再生した楽曲において盛上がりポイントの上位３曲を推奨楽曲として提示する。利用者は、リモコン装置１の操作部１７などを利用して、この中からもう一度歌唱したい楽曲を〆の一曲として選曲することが可能となる。なお、図には上位３曲が選曲可能とされているが「もっとみる」を選択することで、さらに下位の曲を閲覧し、選曲することも可能となっている。
When this condition is satisfied, the music recommendation screen of FIG. 18 is displayed on the
Ｓ２０６では、楽曲推奨画面にて選曲されたか否かを判定し、選曲された場合にはＳ２０７にて優先予約を実行させる。通常、予約リストに順次登録された順に楽曲を再生させるが、この優先予約では、既に予約された楽曲に優先させて予約する、言い換えると、割り込み予約を行うものである。したがって、次に再生される楽曲が楽曲推奨画面にて選曲された楽曲となる。 In S206, it is determined whether or not the music is selected on the music recommendation screen. If the music is selected, priority reservation is executed in S207. Normally, songs are played in the order in which they are sequentially registered in the reservation list. In this priority reservation, reservations are made with priority over already reserved songs, in other words, interrupt reservations are made. Therefore, the music to be reproduced next is the music selected on the music recommendation screen.
以上、本実施形態では、入店してから再生した楽曲、すなわち、所定時間前に再生された楽曲の中から盛上がりポイントの高い楽曲を推奨することが可能となる。なお、図１８では盛上がった楽曲を表示してユーザーに選曲させることとしているが、盛上がった楽曲をもう一度利用するか否かだけをユーザーに問い、〆（最後）の一曲として再生することとしてもよく、どの楽曲が再生されるか分からない意外性を含んだサービスとなる。さらに、ユーザーに選曲、あるいは、再度の利用を問うことなく自動で〆の一曲を決定して再生することとしてもよい。その場合、再生時に「本日盛上がった楽曲」であることを告知することが好ましい。なお、本発明の趣旨と異なるが、本サービスを盛上がりポイント以外の他の指標を利用して行うこととしてもよい。他の指標としては、例えば、楽曲の採点情報、あるいは、歌唱音声に基づいて算出された楽曲毎の消費カロリー情報を利用して、楽曲を推奨、あるいは、自動で決定し、〆の一曲として再生することが考えられる。 As described above, in the present embodiment, it is possible to recommend music that has been played after entering the store, that is, music that has a high excitement point among music that has been played a predetermined time ago. In FIG. 18, the music that has been swelled is displayed and the user is allowed to select a song, but the user is asked only whether or not to use the smashed music again and is played as a song of the last song. It is a service that includes a surprise that does not know which music is played. Furthermore, a song may be automatically determined and played without asking the user to select a song or use it again. In that case, it is preferable to notify that it is a “music that was popular today” at the time of playback. Although different from the gist of the present invention, this service may be performed using an index other than the climax point. As another index, for example, using music scoring information or calorie consumption information for each song calculated based on the singing voice, recommending or automatically determining the song, It is possible to play.
以上説明した実施形態では、コマンダ２（カラオケ装置）にて盛上がりポイントを算出するものであったが、本発明における楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、サーバ装置の各種構成、処理にて形成されてもよい。この場合、盛上がりポイントの算出は、コマンダ２と通信回線を介して接続されるサーバ装置（図１のカラオケ用ホストなど）で実行される。コマンダ２側の処理負担を軽減すると共に、サーバ装置側の高い処理能力を利用して精度の高い盛上がりポイントを算出することが可能となる。また、現在、サーバ装置に対して楽曲再生時に録画、録音した映像情報、音声情報を送信し、公開するサービスが行われているが、このサービスの付加機能として利用することも可能となる。
In the embodiment described above, the climax point is calculated by the commander 2 (karaoke device). However, the music climax determination device or the music climax determination program in the present invention is used for various configurations and processes of the server device. May be formed. In this case, the calculation of the climax point is executed by a server device (such as a karaoke host in FIG. 1) connected to the
図１９は、本発明の他の実施形態に係るメイン処理を示すフロー図である。コマンダ２側で処理が開始されると、前述の実施形態と同様、指定された楽曲の再生が開始される（Ｓ３０３）。再生が開始されるとほぼ同時に、カメラ４３にて撮影された映像情報の録画、そして、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音される音声情報の録音が開始される（Ｓ３０４）。この録音、録画処理は、演奏が終了するまで継続される。演奏が終了したことを判定（Ｓ３０５）すると、録音、録画処理を終了させる（Ｓ３０６）。Ｓ３０７では、ユーザーによる再生中断か否かが判定され、再生中断と判定された場合には処理を終了する。
FIG. 19 is a flowchart showing main processing according to another embodiment of the present invention. When the process is started on the
一方、最後まで再生されたと判定された場合には、得られた映像情報、音声情報に、図１０にて盛上がりポイントに付帯させた各種情報を付与して録画・録音データを作成して、サーバ装置に送信する（Ｓ３０８）。サーバ装置では、受信した録画・録音データに基づいて盛上がりポイントの算出を実行する。ここでの処理は、前実施形態においてコマンダ２側で行った処理と同様である。Ｓ３１１では、他の盛上がりポイントなどと比較して、順位付けなどを行い、盛上がり度結果情報をコマンダ２に返信する。盛上がり度結果情報を受信したコマンダ２側では、図１１に示したような結果発表の画面を表示することで、ユーザに盛上がり度を告知する。
On the other hand, if it is determined that it has been played back to the end, the recorded video / audio data is created by adding various information attached to the climax point in FIG. The data is transmitted to the device (S308). In the server device, the climax point is calculated based on the received recording / recording data. The processing here is the same as the processing performed on the
図２０は、本発明の実施形態に係る楽曲選択画面を示す図である。この楽曲選択画面は、図３に示す「盛上がり度で探す」という検索項目を指定することで表示される。図の例では、コマンダ２にて再生可能とする全楽曲を対象に、盛上がりポイントの平均にてランキングを行っている。ユーザーはこの中から楽曲を指定して選曲することが可能である。このような例の他、盛上がりポイントのランキングを利用した選曲としては、ジャンル別、歌手別、地域別、店舗別にて行ってもよいし、ユーザー情報（個人情報）を利用することで、男女別、年齢別に集計を取ることが可能となる。
FIG. 20 is a diagram showing a music selection screen according to the embodiment of the present invention. This music selection screen is displayed by designating a search item “search by climax” shown in FIG. In the example of the figure, ranking is performed by the average of the climax points for all musical pieces that can be reproduced by the
また、本実施形態の盛上がりポイントは、選曲の指標のみならず、各ユーザー毎の最高
盛上がりポイント、平均盛上がりポイント、あるいは累計盛上がりポイントなどを利用して、ユーザーのランキングに利用し競わせることとしてもよい。また、歌唱ユーザー（操作ユーザーとして選曲したユーザー）のみならず、楽曲再生時に一緒にログインしていたユーザーについて集計し、盛上げ上手なユーザーを競わせることとしてもでよい。さらには、盛上がりポイントを積算することで、商品に交換するなどのポイントサービスに利用することも考えられる。
In addition, the climax point of the present embodiment is not only an index of music selection, but also the highest climax point, the average climax point, or the cumulative climax point for each user, etc. Good. Further, not only singing users (users selected as operation users) but also users who have logged in together at the time of music playback may be aggregated and competed by users who are good at excitement. Furthermore, it can also be used for point services such as exchanging for goods by accumulating points of excitement.
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。 Note that the present invention is not limited to these embodiments, and embodiments configured by appropriately combining the configurations of the respective embodiments also fall within the scope of the present invention.
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…環境音収音マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
DESCRIPTION OF
Claims (6)
利用開始から設定された利用時間を経過する所定時間前に再生された楽曲を対象として、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理と、
前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行する制御手段と、を有することを特徴とする 楽曲盛上がり判定装置。 Storage means for storing a rising condition for determining a rising feature in video information or audio information, and a rising determination table having points associated with the rising condition;
For music played back a predetermined time before the usage time set from the start of use , video information taken during playback of one piece of music by the music playback means, and sound collection during playback of one piece of music by the music playback means Detection processing for detecting the swell feature with respect to at least one of the audio information performed;
Based on the climax determination table and the feature of the climax detected by the detection process, a calculation process for calculating a climax point in one song ;
And a control means for executing a selection process for selecting a music piece from the music pieces targeted in the detection process based on the rising point calculated in the calculation process. .
請求項１に記載の楽曲盛上がり判定装置。The music rising determination apparatus according to claim 1.
請求項１に記載の楽曲盛上がり判定装置。 In the selection process, based on the climax point calculated in the calculation process, a music piece recommended for the user is selected from the music pieces targeted in the detection process, and the music reproduction unit reproduces the music. The music swell determination device according to claim 1.
請求項１から請求項３の何れか１項に記載の盛上がり判定装置。 Features of swelling in the swelling conditions, the direction of the face detected by the image information, size, number, any one of claims 1 to 3, characterized in that at least one of motion The rising determination apparatus according to item 1.
請求項１から請求項４の何れか１項に記載の楽曲盛上がり判定装置。 The detection process, while being executed during the reproduction of music, the swelling depending on has been swelling characteristics detection defined by conditions, claim 1, characterized in that making a notification of claims 4 1 The music swell determination device according to the item.
利用開始から設定された利用時間を経過する所定時間前に再生された楽曲を対象として、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理と、
前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理をコンピュータに実行させることを特徴とする
楽曲盛上がり判定プログラム。 A climax condition for determining features of climax in video information or audio information, and a climax determination table having points associated with the climax condition;
For music played back a predetermined time before the usage time set from the start of use , video information taken during playback of one piece of music by the music playback means, and sound collection during playback of one piece of music by the music playback means Detection processing for detecting a feature of swell defined in the swell condition for at least one of the voice information that has been performed;
Based on the climax determination table and the feature of the climax detected by the detection process, a calculation process for calculating a climax point in one song ;
A music climax determination program that causes a computer to execute a selection process for selecting a tune from among the tunes targeted by the detection process based on the climax point calculated by the calculation process .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010212063A JP5572499B2 (en) | 2010-09-22 | 2010-09-22 | Music rising judgment device and music rising judgment program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010212063A JP5572499B2 (en) | 2010-09-22 | 2010-09-22 | Music rising judgment device and music rising judgment program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012068373A JP2012068373A (en) | 2012-04-05 |
| JP5572499B2 true JP5572499B2 (en) | 2014-08-13 |
Family
ID=46165745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010212063A Expired - Fee Related JP5572499B2 (en) | 2010-09-22 | 2010-09-22 | Music rising judgment device and music rising judgment program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5572499B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6266234B2 (en) * | 2013-05-31 | 2018-01-24 | 株式会社第一興商 | Karaoke system |
| JP6358203B2 (en) * | 2015-09-04 | 2018-07-18 | ブラザー工業株式会社 | Operation evaluation apparatus and program |
| JP6647159B2 (en) * | 2016-07-01 | 2020-02-14 | 株式会社第一興商 | Karaoke equipment, karaoke system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05323863A (en) * | 1992-05-27 | 1993-12-07 | Asukomu:Kk | Singing ability grading device |
| JPH1173193A (en) * | 1997-08-29 | 1999-03-16 | Brother Ind Ltd | Karaoke singing device |
| JP2002041067A (en) * | 2000-07-25 | 2002-02-08 | Namco Ltd | Karaoke system and recording medium |
| JP2005266443A (en) * | 2004-03-19 | 2005-09-29 | Daiichikosho Co Ltd | Karaoke machine automatically selecting music from song book by individual |
| JP2007140165A (en) * | 2005-11-18 | 2007-06-07 | Yamaha Corp | Karaoke device and program for karaoke device |
| JP4655047B2 (en) * | 2007-01-11 | 2011-03-23 | ヤマハ株式会社 | Voice evaluation device and karaoke device |
| JP5036050B2 (en) * | 2007-09-28 | 2012-09-26 | 株式会社第一興商 | Karaoke device with a music group performance management system |
-
2010
- 2010-09-22 JP JP2010212063A patent/JP5572499B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012068373A (en) | 2012-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5615190B2 (en) | Karaoke device and karaoke program | |
| JP5618928B2 (en) | Karaoke device and karaoke program | |
| JP5572499B2 (en) | Music rising judgment device and music rising judgment program | |
| JP2009008861A (en) | Karaoke system which notifies singer of difficult phrase during performance | |
| JP5190950B2 (en) | Karaoke equipment | |
| JP5598685B2 (en) | Karaoke device and karaoke program | |
| JP6553918B2 (en) | Music recommendation system and program | |
| JP6561729B2 (en) | Karaoke system and karaoke device | |
| JP6531567B2 (en) | Karaoke apparatus and program for karaoke | |
| JP5615224B2 (en) | Karaoke device and karaoke program | |
| JP5137203B2 (en) | Karaoke equipment | |
| JP5823313B2 (en) | Karaoke equipment | |
| JP5263550B2 (en) | Karaoke song selection device and karaoke song selection program | |
| JP6736914B2 (en) | Music selection device, karaoke system, and music selection program | |
| JP6288451B2 (en) | Karaoke device and information processing device program | |
| JP6286206B2 (en) | A communication karaoke system characterized by the ability to encourage other users to sing songs that require karaoke games | |
| JP4447525B2 (en) | Karaoke device for scoring a game by randomly setting a target score | |
| JP6283296B2 (en) | Server system, communication terminal device, program, and karaoke network system | |
| JP5963199B2 (en) | Music evaluation apparatus and music evaluation program | |
| JP5436465B2 (en) | Music search system and music search program | |
| JP5246447B2 (en) | Karaoke song selection device and karaoke song selection program | |
| JP6624982B2 (en) | Karaoke system | |
| JP6292084B2 (en) | Karaoke device and information processing device program | |
| JP5665123B2 (en) | Karaoke device and karaoke program | |
| JP5949807B2 (en) | Information processing equipment, karaoke system, program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140114 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20140123 |
|
| TRDD | Decision of grant or rejection written | ||
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20140219 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20140528 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5572499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |