JP2012088521A - Amusement system - Google Patents
Amusement system Download PDFInfo
- Publication number
- JP2012088521A JP2012088521A JP2010235043A JP2010235043A JP2012088521A JP 2012088521 A JP2012088521 A JP 2012088521A JP 2010235043 A JP2010235043 A JP 2010235043A JP 2010235043 A JP2010235043 A JP 2010235043A JP 2012088521 A JP2012088521 A JP 2012088521A
- Authority
- JP
- Japan
- Prior art keywords
- user
- audience
- reaction
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、ユーザが再生される楽曲データに合わせて歌を歌うことができるアミューズメントシステムに関する。 The present invention relates to an amusement system in which a user can sing a song in accordance with music data to be reproduced.
カラオケでは、ユーザが選択した楽曲の演奏に合わせて歌を歌う形式が一般的である。カラオケ装置のモニタには、ユーザが選択した楽曲の歌詞が、楽曲の演奏の進行に合わせて表示される。これにより、ユーザは、選択した楽曲の歌詞を全て覚えていなくても、カラオケを楽しむことができる。モニタに表示される歌詞の背景には、歌を歌うキャラクタの映像や、楽曲のイメージに合わせた映像などが表示される。 In karaoke, a format in which a song is sung in accordance with the performance of the music selected by the user is common. On the monitor of the karaoke apparatus, the lyrics of the music selected by the user are displayed as the performance of the music progresses. Thereby, even if the user does not remember all the lyrics of the selected music, he can enjoy karaoke. On the background of the lyrics displayed on the monitor, a video of a character that sings a song, a video that matches the image of the music, and the like are displayed.
カラオケは、家族あるいは友人同士などの少人数のグループで楽しむことが多い。カラオケを盛り上げるために、歌を歌うユーザが好みのタイミングで効果音などを発生することができる装置が特許文献1に開示されている。 Karaoke is often enjoyed by small groups such as family members or friends. Japanese Patent Application Laid-Open No. 2004-151867 discloses an apparatus that can generate a sound effect or the like at a desired timing for a user who sings a song to excite karaoke.
下記特許文献1に係る電子パーカッション装置は、マラカスなど打楽器の形状をしており、加速度センサを備えている。電子パーカッション装置は、楽曲の間奏が演奏されているときなど、自装置を操作することができるタイミングを、LEDを点灯させることによりユーザに通知する。LEDの点灯期間内にユーザが電子パーカッション装置を振ることによって、パーカッション音が再生される。 An electronic percussion device according to the following Patent Document 1 has a percussion instrument shape such as maracas, and includes an acceleration sensor. The electronic percussion device notifies the user of the timing at which the device can be operated by turning on the LED, such as when an interlude is being played. When the user shakes the electronic percussion device during the lighting period of the LED, the percussion sound is reproduced.
上述したように、カラオケは、少人数のグループで楽しむことが多い。ユーザが歌う歌を聞く人は、カラオケに参加した家族あるいは友人等に限られる。つまり、カラオケでは、ライブのシンガーのように、多くの観客に自分の歌を聴いてもらうという体験をすることができない。 As described above, karaoke is often enjoyed by a small group. A person who listens to a song sung by the user is limited to a family member or a friend who participates in karaoke. In other words, in karaoke, you can't have many spectators listen to your song like a live singer.
そこで、本発明は、前記問題点に鑑み、臨場感の高いライブ演奏を疑似的に体験することができるアミューズメントシステムを提供することを目的とする。 Therefore, in view of the above problems, an object of the present invention is to provide an amusement system capable of experiencing a live performance with a high sense of presence in a pseudo manner.
上記課題を解決するため、請求項1記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記音声入力装置は、前記音声入力装置の動きを示す第1動き情報を出力する第1動き情報出力部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。 In order to solve the above-mentioned problem, an invention according to claim 1 is an amusement system, comprising a main unit, a voice input device held by a user and outputting a voice inputted by the user as voice data, and the voice data A speech recognition device that performs a speech recognition process on the device to generate phrase information indicating a phrase spoken by the user, and the speech input device outputs first motion information indicating a motion of the speech input device. A first movement information output unit, wherein the main unit reproduces music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded; A performance identifying unit that identifies a performance of the user based on at least one of the phrase information and the first motion information; From a plurality of the reaction data that indicates the reactions, select the reproduction reaction data corresponding to the specified performance, including a reaction instructing unit for instructing the reproduction of the reproduction reaction data to the reproduction unit.
請求項2記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記映像データを解析して前記ユーザの動きを示す第1動き情報を生成する映像解析部と、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
The invention according to
請求項3記載の発明は、請求項1または請求項2に記載のアミューズメントシステムにおいて、前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択する。 According to a third aspect of the present invention, in the amusement system according to the first or second aspect of the invention, the reaction instruction unit indicates a reaction level of the audience with respect to the specified performance, the phrase information, and the first movement information. And determining the reproduction reaction data based on the audience response level.
請求項4記載の発明は、請求項3に記載のアミューズメントシステムにおいて、前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示する。 According to a fourth aspect of the present invention, in the amusement system according to the third aspect, the reaction instruction unit determines a reproduction condition of the reproduction reaction data based on a reaction level of the audience, and the reproduction condition is reproduced as the reproduction condition. To the department.
請求項5記載の発明は、請求項3または請求項4に記載のアミューズメントシステムにおいて、前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定する。 According to a fifth aspect of the present invention, in the amusement system according to the third or fourth aspect, the reproduction unit reproduces audience situation data corresponding to the audience of the audience set by the user, and the reaction instruction unit Determines the audience response level based on the audience of the audience.
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第1動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択する。 According to a sixth aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit specifies a question format for the audience based on the phrase information. And when it is determined that the direction of the voice input device is reversed based on the first movement information, it is determined that the user has performed a performance of scolding the audience, and the reaction instruction unit includes: As the reproduction reaction data, reaction data in which video and audio in which the audience responds simultaneously to the specific phrase is selected is selected.
請求項7記載の発明は、請求項1ないし請求項5のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第1動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択する。 According to a seventh aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit requests the audience to chorus based on the phrase information. When calling a specific phrase and determining that the direction of the voice input device is reversed based on the first movement information, the user determines that the user has performed a performance requesting chorus, and the response The instructing unit selects reaction data in which video and audio sung by the audience are recorded as the reproduction reaction data.
請求項8記載の発明は、請求項1ないし請求項5のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択する。 The invention according to claim 8 is the amusement system according to any one of claims 1 to 5, wherein the performance specifying unit determines that the user is clapping based on the motion information. Then, it is determined that the user has performed a performance that leads the clapping, and the reaction instruction unit selects reaction data in which video and clapping sound recorded by the audience are recorded as the reproduction reaction data.
請求項9記載の発明は、請求項1ないし請求項5のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択する。 According to a ninth aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit performs an operation in which the user swings his / her arm based on the movement information. When the determination is made, it is determined that the user has performed a performance requesting an operation of waving both hands to the audience, and the reaction instruction unit is a reaction in which an image of the audience waving both hands is recorded as the reproduction reaction data. Select data.
請求項10記載の発明は、請求項1、請求項3ないし請求項9のいずれかに記載のアミューズメントシステムにおいて、さらに、前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、を備え、前記コントローラは、前記コントローラの動きを示す第2動き情報を出力する第2動き情報出力部、を含み、前記パフォーマンス特定部は、前記第2動き情報に基づいて、前記ユーザのパフォーマンスを特定する。 A tenth aspect of the present invention is the amusement system according to any one of the first, third, and ninth aspects, wherein the user holds the voice input device with a hand opposite to the hand that holds the voice input device. The controller includes a second motion information output unit that outputs second motion information indicating the motion of the controller, and the performance specifying unit is configured to perform the performance of the user based on the second motion information. Is identified.
請求項11記載の発明は、請求項3ないし請求項10のいずれかに記載のアミューズメントシステムにおいて、前記反応指示部は、前記楽曲データの第1パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第2パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点する。
The invention according to claim 11 is the amusement system according to any one of
請求項12記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持する音声入力装置と、を備え、前記音声入力装置は、前記本体装置と無線通信を行う無線通信部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。 The invention according to claim 12 is an amusement system comprising a main unit and a voice input device held by a user, and the voice input device includes a radio communication unit that performs radio communication with the main unit. The main unit is configured to reproduce a piece of music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded, and radio transmitted from the audio input device. Based on the presence / absence of a signal, a performance specifying unit that specifies the performance of the user, and reproduction reaction data corresponding to the specified performance among a plurality of reaction data recorded with audio or video indicating the audience's reaction And a reaction instruction unit that instructs the reproduction unit to reproduce the reproduction reaction data.
請求項13記載の発明は、請求項12に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定する。 According to a thirteenth aspect of the present invention, in the amusement system according to the twelfth aspect, when the performance specifying unit detects the radio signal after the reproduction of the music data is started, the user performs a virtual live operation. It is determined that you have entered the venue.
請求項14記載の発明は、請求項12または請求項13に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定する。 According to a fourteenth aspect of the present invention, in the amusement system according to the twelfth or thirteenth aspect, when the performance specifying unit cannot detect the radio signal after the reproduction of the music data is started, It is determined that the user has left the virtual live venue.
請求項15記載の発明は、請求項1ないし請求項14のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置である。 A fifteenth aspect of the invention is a voice input device used in the amusement system according to any one of the first to fourteenth aspects.
請求項16記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第1動き情報を出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to a sixteenth aspect of the present invention, there is provided a voice input device that outputs voice data that is held by a user and input by the user as voice data and outputs first motion information indicating a motion of the device itself, and voice recognition for the voice data. A voice recognition device that performs processing to generate phrase information indicating a phrase spoken by the user, a computer mounted on a communicable main body device, music data selected by the user, and an image showing the situation of the audience And a playback unit that plays back at least one of audio and audience status data, a performance specifying unit that specifies the performance of the user based on at least one of the phrase information and the first motion information, and reaction of the audience Playback reaction data corresponding to the specified performance is selected from the multiple reaction data indicating And a program for operating the reproduction of the reproduction reaction data as a reaction instruction unit, to instruct the playback unit.
請求項17記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記映像データを解析して前記ユーザの動きを示す第1動き情報を生成する映像解析部、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to a seventeenth aspect of the present invention, there is provided an audio input device that is held by a user and outputs audio input by the user as audio data, an imaging device that captures the user and outputs video data, and audio for the audio data A speech recognition device that generates a phrase information indicating a phrase spoken by the user by performing a recognition process, and a computer installed in a communicable main body device, music data selected by the user, and an audience situation A reproduction unit that reproduces audience status data in which at least one of video and audio is recorded, a video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user, the phrase information, and the first A performance specifying unit for specifying the performance of the user based on at least one of the movement information; a compound indicating a reaction of the audience; From the reaction data of a program for functioning to select the reproduction reaction data corresponding to the specified performance, the reproduction of the reproduction reaction data as a reaction instruction unit, to instruct the playback unit.
請求項18記載の発明は、ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to an eighteenth aspect of the present invention, at least one of music data selected by the user and video and audio indicating the situation of the audience is installed in a main body device capable of wireless communication with a voice input device held by the user A reproduction unit that reproduces the audience status data recorded, a performance identification unit that identifies the performance of the user based on the presence / absence of a radio signal transmitted from the voice input device, and a plurality of reactions indicating the reaction of the audience This is a program for selecting reproduction reaction data corresponding to a specified performance from the data and functioning as a reaction instruction unit for instructing the reproduction unit to reproduce the reproduction reaction data.
本発明において、本体装置は、ライブの聴衆の状況を示す聴衆状況データを再生して、モニタなどに表示する。本体装置は、ユーザがマイクに入力したフレーズを示すフレーズ情報や、ユーザの動きを示す動き情報に基づいて、ユーザが行うライブパフォーマンスを特定し、ライブパフォーマンスに対する聴衆の反応を示すリアクションデータを再生する。これにより、ユーザは、表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながら、カラオケを楽しむことができるとともに、臨場感の高いライブ演奏を疑似的に体験することができる。 In the present invention, the main device reproduces the audience status data indicating the status of the live audience and displays it on a monitor or the like. The main device identifies the live performance performed by the user based on the phrase information indicating the phrase input to the microphone by the user and the movement information indicating the user's movement, and reproduces reaction data indicating the audience's reaction to the live performance. . Accordingly, the user can enjoy karaoke while acting as a singer that provides a live performance to the displayed audience, and can experience a live performance with a high sense of reality in a pseudo manner.
以下、図面を参照しつつ、本発明の実施の形態について説明する。本実施の形態では、アミューズメントシステムの一例として、カラオケシステムについて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In this embodiment, a karaoke system will be described as an example of an amusement system.
{1.カラオケシステム1の全体構成}
図1は、カラオケシステム1の全体図である。カラオケシステム1は、本体装置2と、モニタ3と、マイク4と、コントローラ5とを備える。
{1. Overall configuration of karaoke system 1}
FIG. 1 is an overall view of the karaoke system 1. The karaoke system 1 includes a
本体装置2は、カラオケシステム1の全体制御を行う処理装置であり、ユーザが選択した楽曲に対応する楽曲データ及び映像データを再生する。ユーザは、図示しないリモコンを用いて、カラオケで歌う楽曲を選択する。
The
モニタ3は、液晶ディスプレイなどであり、本体装置2から出力される映像を表示する。モニタ3は、図示しないスピーカを備えており、本体装置2により再生される楽曲データを音声として出力する。
The
マイク4は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク4は、自装置の動きを検出する動き検出機能を有し、ユーザの動きを示す動き情報を本体装置2に送信する。
The
コントローラ5は、自装置の動きを検出する動き検出機能を有しており、動き情報を本体装置2に送信する。ユーザは、一方の手にマイク4を持ち、他方の手にコントローラ5を持って歌を歌う。図1に示すように、コントローラ5は、直方体状の形状であるが、リストバンドのように、ユーザの腕にはめることができる形状であってもよい。この場合、ユーザがコントローラ5を誤って落とすことを防止できる。
The
本体装置2は、ユーザが選択した楽曲の演奏音を出力するとともに、大勢の観客が入場したライブ会場の様子が記録された映像をモニタ3に表示させる。つまり、モニタ3には、ライブ会場のステージに立つシンガー(ユーザ)を見ている大勢の観客の映像が表示される。
The
ユーザは、選択した楽曲の歌を歌うだけでなく、マイク4を通して画面3a内の観客に呼び掛けたり、マイク4を観客に向けたりすることにより、観客に対して様々なライブパフォーマンスを行う。本体装置2は、マイク4及びコントローラ5から送信される動き情報に基づいて、ユーザの両手の動きを検出する。本体装置2は、マイク4に入力された音声や、マイク4及びコントローラ5の動き情報に基づいて、ユーザのライブパフォーマンスを特定する。特定されたライブパフォーマンスに対する観客の反応を示す映像が、モニタ3に表示される。このように、ユーザは、カラオケシステム1を利用することにより、実際にライブ会場でライブを行うシンガーのように振る舞うことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。
The user not only sings the song of the selected music piece, but also performs various live performances for the audience by calling the audience in the
次に、本体装置2の構成について説明する。図2は、本体装置2の機能的構成を示すブロック図である。本体装置2は、無線通信部21と、データ取得部22と、再生部23と、音声認識部24と、パフォーマンス特定部25と、反応指示部26と、記憶部27と、出力部28とを備える。
Next, the configuration of the
無線通信部21は、マイク4及びコントローラ5と無線通信を行い、マイク4及びコントローラ5から動き情報42A,51Aを取得する。無線通信には、Bluetooth(登録商標)、無線LAN、赤外線通信などを利用することができる。
The
データ取得部22は、ユーザが選択した楽曲に対応する楽曲データ61、観客映像データ62、複数のリアクションデータ63,63・・・を、インターネット等を介して楽曲サーバから取得する。楽曲データ61は、ユーザが選択した楽曲の演奏音を記録したデータである。観客映像データ62は、ライブ会場に入場した大勢の観客(聴衆)の状況を示す聴衆状況データであり、観客の映像及び音声を記録したデータである。ここで、聴衆とは、ユーザが楽曲に合わせて歌う歌をライブ会場で鑑賞する人々を指し、観客を含む概念である。リアクションデータ63は、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである。リアクションデータ63は、複数のライブパフォーマンスのうちいずれか一つに対応するとともに、観客の反応レベルのいずれか一つに対応する。反応レベルの詳細については、後述する。
The
本実施の形態では、大勢の観客の状況を示す聴衆状況データとして、観客映像データ62を用いる例を説明する。しかし、大勢の観客(聴衆)の状況を示す音声データを用いてもよい。具体的には、観客映像データ62に代えて、観客(聴衆)の歓声などが記録された音声データなどを用いることができる。
In the present embodiment, an example will be described in which
再生部23は、データ取得部22が取得した楽曲データ61及び観客映像データ62を再生する。音声認識部24は、マイク4から送信された音声データ4Aに対し音声認識処理を行い、ユーザがマイク4に入力したフレーズを検出する。音声認識部24は、検出したフレーズを示すフレーズ情報24Aを出力する。
The
パフォーマンス特定部25は、フレーズ情報24Aと、動き情報42A,51Aとに基づいて、ユーザが行ったライブパフォーマンスを特定する。パフォーマンス特定部25は、フレーズ情報24Aが特定のフレーズ(シンガーが観客に呼び掛けるフレーズ)を含み、かつ、ユーザが特定のフレーズに対応した動作を行ったと判断した場合、ユーザがライブパフォーマンスを行ったと判断する。
The
反応指示部26は、特定されたライブパフォーマンスに対する観客の反応レベルを決定する。特定されたライブパフォーマンスと観客の反応レベルとに基づいて、観客のリアクションを示すリアクションデータ63が選択される。反応指示部26は、観客の反応レベルに基づいて、選択されたリアクションデータ63の再生条件を決定する。再生条件とは、選択したリアクションデータ63の再生時の音量などである。反応指示部26は、選択したリアクションデータ63を、決定した再生条件で再生することを再生部23に指示する。
The
記憶部27は、ハードディスク装置などであり、データ取得部22が取得した楽曲データ61、映像データ62及びリアクションデータ63,63,・・・を格納する。出力部28は、再生部23により生成された音声及び映像を、モニタ3に出力する。
The
次に、マイク4の構成について説明する。図3は、マイク4の機能的構成を示すブロック図である。マイク4は、音声入力部41と、センサ部42と、無線通信部43とを備える。
Next, the configuration of the
音声入力部41は、ユーザが発する音声を入力して電気信号に変換し、音声データ4Aを出力する。センサ部42は、マイク4の動きの変化を検出する加速度センサを備えており、マイク4の動きを示す動き情報42Aを出力する。センサ部42は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。無線通信部43は、本体装置2と無線通信を行い、音声データ4A及び動き情報42Aを本体装置2に送信する。
The voice input unit 41 inputs a voice uttered by the user, converts it into an electrical signal, and outputs voice
次に、コントローラ5の構成について説明する。図4は、コントローラ5の機能的構成を示すブロック図である。コントローラ5は、センサ部51と、無線通信部52とを備える。センサ部51は、マイク4のセンサ部42と同様に加速度センサを備えており、コントローラ5の動きを示す動き情報51Aを出力する。無線通信部52は、本体装置2と無線通信を行い、動き情報51Aを本体装置2に送信する。
Next, the configuration of the
なお、カラオケシステム1は、ユーザの動きを撮影するカメラを備えていてもよい。この場合、本体装置2は、映像データを解析してユーザの動きを検出する画像解析部を備える。カメラは、たとえば、モニタ3の上に設置され、ユーザを撮影した映像データをリアルタイムに本体装置2に出力する。ユーザがモニタ3及びカメラの前でライブパフォーマンスを行うことにより、画像処理部は、ユーザの動きを示す動き情報を生成して出力する。パフォーマンス特定部25は、フレーズ情報24Aと、画像解析部から出力される動き情報とに基づいて、ユーザが行ったライブパフォーマンスを特定する。この場合、カラオケシステム1は、コントローラ5を備える必要はなく、マイク4にセンサ部42を設けなくてもよい。
The karaoke system 1 may include a camera that captures a user's movement. In this case, the
{2.本体装置2の動作}
以下、ユーザのライブパフォーマンスに応じて、モニタ3から出力される観客の映像及び音声が変更される処理について、本体装置2の動作を中心に説明する。以下の説明では、マイク4及びコントローラ5から送信される動き情報42A,51Aを用いる例について説明する。カメラを用いてユーザの動きを検出する場合であっても、同様の処理が行われる。
{2. Operation of main device 2}
Hereinafter, the process of changing the video and audio of the spectator output from the
図5は、本体装置2の動作の流れを示すフローチャートである。最初に、ユーザは、図示しないリモコンを操作して、カラオケで歌いたい楽曲を選択する。データ取得部22は、ユーザにより選択された楽曲に対応する楽曲データ61と、観客映像データ62と、リアクションデータ63,63,・・・とを楽曲サーバから取得して、記憶部27に格納する(ステップS1)。
FIG. 5 is a flowchart showing an operation flow of the
再生部23は、楽曲データ61及び観客映像データ62の再生を開始する(ステップS2)。これにより、ユーザが選択した楽曲の演奏音と、ライブ会場でライブを楽しむ観客の映像及び歓声とが、モニタ3から出力される。
The reproducing
図6は、多くの観客の映像が表示されたモニタ3を示す図である。ユーザは、画面3aに多くの観客の映像が表示されたモニタ3の前に立つことにより、画面3a内の多くの観客と向かい合う。すなわち、ユーザは、モニタ3に映し出された観客に対してライブを行うシンガーとして、楽曲の演奏音に合わせて歌う。ユーザは、ライブを行うシンガーとして、歌を歌いながら、様々なライブパフォーマンスを行うことができる。
FIG. 6 is a diagram showing the
本体装置2は、楽曲データ61の再生が終了するまで(ステップS3においてYes)、ステップS4〜ステップS9の処理を繰り返し実行する。
The
マイク4は、音声入力部41に入力された音声フレーズを、音声データ4Aとしてリアルタイムに本体装置2に送信している。本体装置2が音声データ4Aを受信した場合(ステップS4においてYes)、音声認識部24は、音声データ4Aに対する音声認識処理を実行する(ステップS5)。音声認識部24は、ユーザの発した音声フレーズを記録したフレーズ情報24Aを出力する。パフォーマンス特定部25は、フレーズ情報24Aに基づいて、ユーザが画面3a内の観客に対して特定のフレーズを呼び掛けた否かを判定する(ステップS6)。
The
フレーズ情報24Aが特定のフレーズを含まない場合(ステップS6においてNo)、マイク4に入力された音声は、ユーザの歌声であると判定される。本体装置2は、ステップS3の処理に戻る。一方、フレーズ情報24Aが特定のフレーズを含む場合(ステップS6においてYes)、パフォーマンス特定部25は、ユーザが観客に特定のフレーズを呼び掛けたと判断する。そして、パフォーマンス特定部25は、特定のフレーズに応じた動きをしたか否かを、動き情報42A,51Aに基づいて確認する。
When the
マイク4は、センサ部42が出力する動き情報42Aを本体装置2にリアルタイムに送信する。同様に、コントローラ5は、センサ部51が出力する動き情報51Aを本体装置2にリアルタイムに送信する。パフォーマンス特定部25は、動き情報42A,51Aに基づいて、特定のフレーズに応じた動きをユーザが行ったか否かを判定する(ステップS7)。
The
特定のフレーズに応じた動きが検出されなかった場合(ステップS7においてNo)、本体装置2は、ステップS3の処理に戻る。
If no movement corresponding to the specific phrase is detected (No in step S7),
特定のフレーズに応じた動きが検出された場合(ステップS7においてYes)、パフォーマンス特定部25は、ユーザが画面3a内の観客に対してライブパフォーマンスを行ったと判定する。ユーザが行うライブパフォーマンスとして、観客煽り、観客の合唱の先導、手拍子の先導などが挙げられる。
When the movement according to the specific phrase is detected (Yes in step S7), the
反応指示部26は、フレーズ情報24A及び動き情報42A,51Aを用いて、ユーザのライブパフォーマンスに対する観客の反応レベルを決定する(ステップS8)。反応指示部26は、ユーザが行ったライブパフォーマンスと、反応レベルとに基づいて、リアクションデータ63を選択する。たとえば、反応レベルが高い場合、反応指示部26は、ユーザのライブパフォーマンスに対して全観客が反応する映像が記録されたリアクションデータ63を選択する。
The
反応指示部26は、選択されたリアクションデータ63の再生を、再生部23に対して指示する。再生部23は、指示されたリアクションデータ63を、再生中の楽曲データ61とともに再生する(ステップS9)。この結果、ユーザのライブパフォーマンスに対する観客のリアクションが画面3aに表示されるとともに、楽曲の演奏音と、観客の歓声とが重なってモニタ3から出力される。
The
反応指示部26は、リアクションデータ63の再生条件を反応レベルに応じて変更してもよい。たとえば、反応レベルが高ければ、観客の歓声の音量を大きくしてもよい。反応レベルが低ければ、観客の歓声の音量を小さくしたり、観客の歓声が記録されたデータの再生速度を遅くしたりしてもよい。
The
図5に示すフローチャートでは、音声データ4Aから特定のフレーズを検出した後に、検出した特定のフレーズに応じた動きが行われたか否かを判定している。しかし、ライブパフォーマンスの種別に応じて、ステップS4〜S6の処理と、動き検出(ステップS7)の処理の順序とを入れ替えてもよい。また、特定のフレーズ及びユーザの動きのいずれか一方に基づいて、ユーザのライブパフォーマンスを特定してもよい。
In the flowchart shown in FIG. 5, after detecting a specific phrase from the
本実施の形態では、観客映像データ62と、リアクションデータ63とが異なるデータである例を説明しているが、これに限られない。たとえば、観客映像データ62の各観客をオブジェクト化してもよい。この場合、本体装置2は、特定されたライブフォーマンと反応レベルとに基づいて、各観客オブジェクトの動きを変更する。たとえば、本体装置2は、特定されたライブパフォーマンスに対する観客の反応として、各観客オブジェクトの動作や歓声を変更することができる。また、反応指示部26は、反応レベルに応じて、ユーザのライブパフォーマンスに対して反応する観客オブジェクトの割合を変化させることができる。
In the present embodiment, an example is described in which the
{3.ライブパフォーマンスの具体例}
以下、本体装置2が検出することができるライブパフォーマンスの具体例について説明する。
{3. Specific example of live performance}
Hereinafter, a specific example of live performance that can be detected by the
{3.1.観客煽り}
図7A及び図7Bは、ユーザが画面3a内の観客31に対して観客煽りを行う手順を示す図である。図7A及び図7Bでは、画面3a内の観客31の動きを分かりやすく説明するために、画面3a内に一人の観客31のみを表示している。実際には、再生部23が観客映像データ62を再生することにより、ライブ会場と、ライブ会場に来ている多数の観客31とが画面3aに表示される。図7A、図7Bにおいて、本体装置2及びコントローラ5の表示を省略している。
{3.1. Spend the audience}
FIG. 7A and FIG. 7B are diagrams illustrating a procedure in which the user strikes the
観客煽りとは、ライブ中のシンガーが質問形式のフレーズを観客に対して呼びかけ、観客がシンガーに対して一斉に返事をするというライブパフォーマンスである。ユーザは、楽曲の前奏あるいは間奏が再生されているときなどに、観客煽りを行うことができる。 Audience resentment is a live performance in which a live singer calls a question-type phrase to the audience and the audience responds to the singer all at once. The user can perform audience enthusiasm when a prelude or interlude of music is being played.
本体装置2は、ライブパフォーマンスとして観客煽りを特定する場合、マイク4から送信される音声データ4A及び動き情報42Aを使用し、コントローラ5から送信される動き情報51Aを使用しない。
When the
本体装置2は、ライブパフォーマンスとして観客煽りを特定する場合、特定のフレーズの検出を先に行う。図7Aに示すように、ユーザは、最初に、マイク4をユーザ自身に向けながら、たとえば、「のってるかーい?」という質問形式の特定のフレーズ(以下、「煽りフレーズ」と呼ぶ。)をマイク4に入力する。マイク4は、煽りフレーズを音声データ4Aとして本体装置2に送信する。
The
音声認識部24は、受信した音声データ41Aに対して音声認識処理を行って(ステップS5)、フレーズ情報24Aを生成する。パフォーマンス特定部25には、シンガーがライブパフォーマンスの際に観客に呼び掛ける様々なフレーズが設定されている。パフォーマンス特定部25は、フレーズ情報24Aと、設定された様々なフレーズとを比較することにより、ユーザが煽りフレーズを観客に呼び掛けたと判断する(ステップS6においてYes)。
The
ユーザは、ユーザ自身に向けたマイク4に煽りフレーズを入力した後に、マイク4をユーザ自身の方向から画面3aの方向に向ける。つまり、ユーザは、矢印45(図7A参照)に示すように、マイク4の向きを反転させる。マイク4のセンサ部42は、ユーザの動きに応じた動き情報42Aを生成する。パフォーマンス特定部25は、マイク4から送信された動き情報42Aに基づいて、マイク4の向きが反転されたと判定する。パフォーマンス特定部25は、煽りフレーズがマイク4に入力され、かつ、マイク4の向きが反転されたことから、ユーザがライブパフォーマンスとして観客煽りを行ったと判定する(ステップS7においてYes)。
The user turns the
反応指示部26は、ユーザが行った観客煽りに対する観客の反応レベルを決定する(ステップS8)。反応指示部26は、煽りフレーズが入力された音声入力タイミングと、マイクの反転が検出された動き検出タイミングとの時間差(検出時間差)に基づいて、反応レベルを決定する。音声入力タイミングは、フレーズ情報24Aに含まれている。動き検出タイミングは、動き情報42Aに含まれている。
The
反応指示部26には、反応レベルが最大となる、音声検出タイミングと動き検出タイミングとの時間差(理想時間差)が設定されている。反応指示部26は、理想時間差と、検出時間差とのずれの大きさに基づいて反応レベルを決定する。たとえば、ずれが小さい場合、反応指示部26は、観客煽りがスムーズに行われたと判断して、反応レベルを高くする。一方、マイクを反転させるタイミングが遅い場合など、ずれが大きい場合、煽りフレーズに対する観客の反応がばらつくと考えられる。この場合、反応レベルは低下する。また、反応指示部26は、ユーザが観客煽りを、楽曲データ61のどの再生位置で行ったかを考慮して、反応レベルを決定してもよい。
In the
反応指示部26は、観客煽りに対するリアクションデータ63を、決定した反応レベルに基づいて、記憶部27に格納されたリアクションデータ63,63,・・・の中から選択する。反応レベルが高ければ、観客全員が観客煽りに対して反応する映像が記録されたリアクションデータ63が選択される。反応レベルが低ければ、観客煽りに対して反応する観客の数が少ない映像が記録されたリアクションデータ63が選択される。
The
反応指示部26は、選択したリアクションデータ63の再生を、再生部23に指示する。このとき、選択されたリアクションデータ63の再生条件も、再生部23に通知される。再生条件は、観客煽りに対する反応レベルに基づいて決定される。たとえば、反応レベルが高ければ、リアクションデータ63の再生時の音量が大きくなる。反応レベルが低ければ、リアクションデータ63の再生時の音量を小さくしたり、観客の歓声の再生速度を小さくしたりすることができる。
The
再生部23は、再生中の楽曲データに合わせて、反応指示部26に指示されたリアクションデータ63を再生する(ステップS9)。この結果、図7Bに示すように、観客煽りに対する観客の反応として、画面3a内の観客31が右手を挙げるようすが画面3aに表示されるとともに、「イェーイ!」という観客の歓声が再生される。実際には、画面3aには、多くの観客が一斉に観客煽りに対して反応する様子が表示されるため、ユーザは、ライブ会場でのライブパフォーマンスを疑似的に体験することができる。観客煽りのやり方によっては、ライブ会場内の観客31の反応が大きく変化するため、ユーザは、実際にライブを行うシンガーと同様の緊張感を楽しむことが可能となる。
The
{3.2.合唱の先導}
ユーザは、ライブパフォーマンスとして、画面3a内の観客に対して、ユーザが歌っている楽曲の合唱を先導することができる。図8A及び図8Bは、ユーザが観客の合唱を先導する手順を示す図である。
{3.2. Leading chorus}
As a live performance, the user can lead the chorus of the music sung by the user to the audience in the
図8A及び図8Bは、図7Aと同様に、画面3a内の観客の動きを分かりやすく説明するために、二人の観客31,31のみを表示している。図8A、図8Bにおいて、本体装置2及びコントローラ5の表示を省略している。
8A and 8B show only two
本体装置2は、合唱を先導するライブパフォーマンスが行われたと判定する場合には、マイク4から送信される音声データ4A及び動き情報42Aを使用する。コントローラ5から送信される動き情報51Aは、合唱の先導の判定に用いられない。
When determining that the live performance leading the chorus has been performed, the
図8Aに示すように、楽曲データ61が再生されている間、画面3aには、ライブ会場の観客の映像と、再生されている楽曲の歌詞32とが表示されている。再生されている楽曲の中で観客の合唱が可能な部分(たとえば、楽曲のサビの部分)に対応する歌詞32が、図8Aに示すように、四角い枠で囲まれて表示される。これにより、ユーザは、合唱を先導するタイミングを知ることができる。
As shown in FIG. 8A, while the
本体装置2は、ライブパフォーマンスとして合唱の先導を特定する場合、ユーザが合唱を観客に呼び掛ける音声フレーズ(以下、「合唱フレーズ」と呼ぶ。)を先に検出する。ユーザは、マイク4をユーザ自身に向けながら、たとえば、「一緒に歌おう!」という合唱フレーズをマイク4に入力する。マイク4は、入力された合唱フレーズを音声データ4Aとして本体装置2に送信する。上記と同様の手順で、パフォーマンス特定部25は、ユーザが合唱フレーズを呼び掛けたと判定する。
When the
ユーザは、合唱フレーズをマイク4に入力した後に、マイク4を画面3aの方向(矢印45の方向)へ反転させる。パフォーマンス特定部25は、マイク4から送信された動き情報42Aに基づいて、マイク4の向きが反転されたと判定する。パフォーマンス特定部25は、合唱フレーズがマイク4に入力され、かつ、マイク4の向きが反転されたことから、ユーザがライブパフォーマンスとして合唱を先導していると判定する。
After inputting the choral phrase into the
反応指示部26は、ユーザが行った合唱の先導に対する反応レベルを決定する。反応レベルの決定手順については、上記と同様であるため、その説明を省略する。
The
反応指示部26は、観客が合唱をするリアクションデータ63,63,・・・のうち、決定した反応レベルに対応するリアクションデータ63の再生を指示する。リアクションデータ63の再生条件も再生部23に通知される。これにより、合唱する観客の数や合唱の音量は、反応レベルに応じて変化する。図8Bに示すように、ユーザが行った合唱の要求に対する反応として、画面3a内の観客31,31が肩を組んで合唱する様子が表示される。また、ユーザが合唱を先導した歌詞に対応する観客の歌声が、モニタ3から出力される。実際には、画面3aには、多くの観客が一斉に合唱をする様子が表示されるため、ユーザは、ライブ会場で、観客と一緒に歌を歌うというライブパフォーマンスを疑似的に体験することができる。
The
観客の合唱は、ユーザがマイク4を動かさない限り継続される。ユーザは、観客の合唱を停止させる場合、マイク4を画面3aの方向からユーザ自身の方向へ反転させる。パフォーマンス特定部25は、リアクションデータ63の再生中にマイク4の向きが反転した場合、合唱を先導が終了したと判定する。これにより、楽曲データ61及び観客映像データ62の再生が再開される。
The audience's chorus is continued unless the user moves the
{3.3.手拍子の先導}
ユーザは、ライブパフォーマンスとして、画面3a内の観客31に対して手拍子を先導する動作を行うことができる。図9A及び図9Bは、ユーザが画面3a内の観客31,31に対して手拍子を先導する手順を示す図である。
{3.3. Leading hand clapping}
As a live performance, the user can perform an operation of leading clapping to the
図9A及び図9Bは、図7Aと同様に、画面3a内の観客31の動きを分かりやすく説明するために、二人の観客31,31のみを表示している。図9A、図9Bにおいて、本体装置2の表示を省略している。本体装置2は、手拍子の先導を検出する場合、マイク4から送信される音声データ4A、動き情報42Aと、コントローラ5から送信される動き情報51Aを使用する。
9A and 9B show only two
図9Aに示すように、楽曲データ61が再生されている間、ユーザは、ライブパフォーマンスとして手拍子を先導することができる。本体装置2は、手拍子の先導を検出する場合、手拍子を先導する音声フレーズ(以下、「手拍子フレーズ」と呼ぶ。)を先に検出する(ステップS6においてYes)。
As shown in FIG. 9A, while the
具体的には、ユーザは、マイク4に手拍子フレーズを入力する。手拍子フレーズは、たとえば、「みんな、手拍子よろしく!!」などである。マイク4は、入力された手拍子フレーズを音声データ4Aとして本体装置2に送信する。上記と同様の手順で、パフォーマンス特定部25は、ユーザが画面3a内の観客に対して、手拍子フレーズを呼び掛けたと判定する。
Specifically, the user inputs a clapping phrase into the
ユーザは、手拍子フレーズをマイク4に入力した後に、手拍子を先導する動作を行う。図9Bに示すように、ユーザは、楽曲の演奏音(再生される楽曲データ61)のリズムに合わせて手拍子をする。ユーザが右手にマイク4を、左手にコントローラ5を持っているため、マイク4及びコントローラ5は、手拍子の動きを示す動き情報42A,51Aを本体装置2に送信する。
The user performs an operation of leading the clapping after inputting the clapping phrase to the
パフォーマンス特定部25は、受信した動き情報42A,51Aに基づいて、ユーザの両手の動きを検出する。たとえば、マイク4及びコントローラ5が左右に繰り返し動き、かつ、マイク4が動く方向とコントローラ5が動く方向とが反対方向である場合、パフォーマンス特定部25は、ユーザが手拍子の動作をしていると判断することができる(ステップS7においてYes)。つまり、パフォーマンス特定部25が、手拍子フレーズと、手拍子の動作とを検出することにより、ユーザが手拍子を先導していると判断する。
The
反応指示部26は、手拍子フレーズを検出したタイミングと、手拍子の動きを検出したタイミングとに基づいて、観客の反応レベルを決定する(ステップS8)。反応レベルの決定手順は、基本的には、観客煽りの反応レベルの決定と同様である。また、反応指示部26は、動き情報42A,51Aを用いて、ユーザの手拍子のリズムを算出し、算出したリズムに基づいて、反応レベルを決定してもよい。たとえば、反応指示部26は、楽曲の演奏音のリズムとユーザの手拍子のリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
The
反応指示部26は、観客が手拍子をするリアクションデータ63,63・・・のうち、決定した反応レベルに対応するリアクションデータ63の再生を指示する。リアクションデータ63の再生条件も、再生部23に通知される。これにより、楽曲データ61とともに、観客が手拍子をするリアクションデータ63が再生されることにより(ステップS9)、図9Bに示すように、画面3a内の観客31,31が頭上で手拍子をする映像が表示される。画面3aに表示する観客のうち、手拍子をする観客の割合は、反応レベルによって変化する。また、手拍子の音量も、反応レベルに基づいて決められた再生条件によって変化する。
The
このように、ユーザが手拍子をする動きに合わせて、画面3a内の観客31,31が手拍子をする映像が表示されるため、ユーザは、ライブ会場で、観客と一体となって手拍子をするというライブパフォーマンスを疑似的に体験することができる。
In this way, the video of the
{3.4.ウェーブ(両手を大きく振る動作)の先導}
ユーザは、ライブパフォーマンスとして、画面3a内の観客に対してウェーブを先導する動作を行うことができる。ウェーブとは、ライブ会場の観客が、ライブ中の楽曲に合わせて両手を左右に大きく振る動作である。図10A及び図10Bは、ユーザがウェーブを先導する手順を示す図である。
{3.4. Leading wave (motion of shaking both hands)}
As a live performance, the user can perform an operation of leading the wave to the audience in the
図10A及び図10Bは、図9Aと同様に、画面3a内の観客の動きを分かりやすく説明するために、二人の観客31,31のみを表示している。図10A、図10Bにおいて、本体装置2の表示を省略している。本体装置2は、ウェーブの先導を検出する場合、マイク4から送信される音声データ4A,動き情報42Aと、コントローラ5から送信される動き情報51Aを使用する。
10A and 10B show only two
図10Aに示すように、楽曲データ61が再生されている間、ユーザは、ライブパフォーマンスとしてウェーブを先導することができる。本体装置2は、ウェーブの先導を検出する場合、ウェーブを呼び掛ける音声フレーズ(以下、「ウェーブフレーズ」と呼ぶ。)を先に検出する。
As shown in FIG. 10A, while the
具体的には、ユーザは、ウェーブフレーズをマイク4に入力する。ウェーブフレーズは、たとえば、「みんな、両手を大きく振って!!」である。マイク4は、入力されたウェーブフレーズを音声データ4Aとして本体装置2に送信する。上記と同様の手順で、パフォーマンス特定部25は、ユーザが画面3a内の観客に対してウェーブフレーズを呼び掛けたと判定する(ステップS6においてYes)。
Specifically, the user inputs a wave phrase to the
ユーザは、ウェーブフレーズをマイク4に入力した後に、ウェーブの動作を行う。図10Bに示すように、ユーザは、楽曲の演奏音(再生される楽曲データ61)のリズムに合わせて、頭上で両手を大きく振る。ユーザが右手にマイク4を、左手にコントローラ5を持っているため、マイク4及びコントローラ5は、ウェーブの動きを示す動き情報42A,51Aを本体装置2に送信する。
The user performs a wave operation after inputting the wave phrase to the
パフォーマンス特定部25は、受信した動き情報42A,51Aに基づいて、ユーザの両手の動きを検出する。たとえば、パフォーマンス特定部25が、マイク4及びコントローラ5が左右に繰り返し大きく動く動作を検出し、かつ、マイク4が動く方向と、コントローラ5が動く方向と一致する場合、ユーザがウェーブの動作をしていると判断する。
The
反応指示部26は、ユーザがウェーブの先導をしていると判定した場合(ステップS7においてYes)、観客の反応レベルを決定する(ステップS8)。ユーザが両手を振るリズムに基づいて、反応レベルが決定される。たとえば、反応指示部26は、楽曲の演奏音のリズムと、ユーザのウェーブのリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
When it is determined that the user is leading the wave (Yes in step S7), the
反応指示部26は、観客がウェーブをするリアクションデータ63,63,・・・のうち、決定した反応レベルに対応するリアクションデータ63の再生を指示する。これにより、再生される楽曲データ61とともに、観客がウェーブをするリアクションデータ63が再生されることにより(ステップS9)、図10Bに示すように、画面3a内の観客31,31が頭上でウェーブをする映像が表示される。画面3aに表示する観客のうち、ウェーブをする観客の割合は、反応レベルによって変化する。
The
ユーザは、ライブパフォーマンスとして手拍子またはウェーブを先導する場合、手拍子フレーズまたはウェーブフレーズを画面3a内の観客に対して呼びかけなくてもよい。たとえば、本体装置2は、手拍子フレーズを検出せず、ユーザが手拍子をする動作のみを検出した場合であっても、観客が手拍子をするリアクションデータ63を再生してもよい。
When a user leads a hand beat or wave as a live performance, the user does not have to call the hand beat phrase or wave phrase to the audience in the
ユーザは、コントローラ5を用いず、マイク4のみを用いて、手拍子またはウェーブを先導してもよい。パフォーマンス特定部25は、マイク4が繰り返し左右に動いている場合に、ユーザが手拍子またはウェーブを先導していると判定すればよい。このとき、手拍子とウェーブとの違いは、ユーザがマイク4を左右に動かす大きさに区別すればよい。
The user may lead the clapping or wave using only the
{3.5.入場及び退場}
ユーザは、ライブパフォーマンスとして、画面3aに表示されているライブ会場に疑似的に入場したり、退場したりすることができる。
{3.5. Admission and Exit}
As a live performance, the user can enter or leave the live venue displayed on the
最初に、ユーザがライブ会場に疑似的に入場するケースについて説明する。図11は、ユーザがライブ会場に疑似的に入場する手順を示す図である。パフォーマンス特定部25は、動き情報42A,51Aに代えて、マイク4からの無線信号の有無に基づいてユーザの動きを検出する。
First, a case where a user enters a live venue in a pseudo manner will be described. FIG. 11 is a diagram showing a procedure for a user to pseudo-enter a live venue. The
ユーザは、楽曲データ61の再生が開始される前に、本体装置2が設置された部屋から出て待機する。このとき、本体装置2の無線通信部21は、マイク4から送信される無線信号を検出することができない。
The user goes out of the room where the
楽曲データ61の再生が開始された後に、ユーザは、マイク4を持って、カラオケシステム1が設置された部屋へ入る。無線通信部21は、ユーザが入室した場合、マイク4からの無線信号を検出することができる。パフォーマンス特定部25は、楽曲データ61の再生が開始された後に、マイク4からの無線信号を検出した場合、ユーザがライブ会場に入場したと判定する。
After the reproduction of the
ユーザがライブ会場に入場したと判定された場合、反応指示部26は、観客の反応レベルを決定する。反応指示部26は、マイク4からの無線信号を検出したタイミングに基づいて、観客の反応レベルを決定する。
When it is determined that the user has entered the live venue, the
反応指示部26は、シンガーの入場時の観客の反応を示すリアクションデータ63の再生を、再生部23に指示する。このとき、リアクションデータ63の再生条件も、再生部23に指示される。再生部23は、ユーザの入場に合わせて、観客が大きく盛り上がる映像と、観客の歓声とが記録されたリアクションデータ63を再生する。観客の歓声の音量は、再生条件に応じて変更される。
The
次に、ユーザのライブ会場からの退場について説明する。ユーザは、ライブ会場から疑似的に退場する場合、マイク4を持って部屋から退出する。無線通信部21がマイク4からの無線信号を検出することができなった場合、パフォーマンス特定部25は、ユーザがライブ会場から退出したと判定する。
Next, the user leaving the live venue will be described. When the user leaves the live venue in a pseudo manner, the user leaves the room with the
反応指示部26は、ユーザがライブ会場から退場したと判定された場合、観客の反応レベルを決定する。反応指示部26は、ユーザがライブ会場から退場したタイミングや、ユーザが退場するまでに行われたライブパフォーマンスの反応レベルに基づいて、退場時の反応レベルを決定する。反応レベルが高ければ、反応指示部26は、観客がアンコールを要求するリアクションデータ63の再生を再生部23に指示する。一方、反応レベルが低ければ、反応指示部26は、観客の歓声の音量を小さくするように再生部23に指示したり、観客がブーイングをするリアクションデータ63の再生を再生部23に指示したりすることができる。
When it is determined that the user has left the live venue, the
また、マイク4に、ユーザが入場及び退場したことを通知するスイッチを設けてもよい。この場合、入場スイッチが押された場合、マイク4は、入場信号を本体装置2に送信する。退場スイッチが押された場合、マイク4は、退場信号を本体装置2に送信する。本体装置2は、入場信号及び退場信号の受信に応じて、観客の反応を変化させる。これにより、ユーザは、本体装置2が設置された部屋から出入りしなくてもよい。
The
このように、ユーザは、歌を歌い出す前、あるいは、歌を歌い終わった後であっても、ライブの臨場感を疑似的に体験することが可能となる。 In this way, the user can experience a live presence in a pseudo manner even before starting to sing a song or after singing a song.
{3.6.その他のライブパフォーマンス}
ユーザは、上述したライブパフォーマンスの他に、様々なライブパフォーマンスを行うことができる。
{3.6. Other live performances}
The user can perform various live performances in addition to the live performance described above.
たとえば、ユーザは、コントローラ5を持つ左手を大きく回しながら、右手にマイク4を持って歌ってもよい。この場合、コントローラ5は、コントローラ5が回転する動きを示す動き情報51Aを、本体装置2に送信する。パフォーマンス特定部25は、動き情報51Aに基づいて、ユーザの左手の動きを特定する。この場合、ユーザの動きに合わせて観客が左手を回す映像が記録されたリアクションデータが、楽曲データ61とともに再生される。
For example, the user may sing with the
ユーザは、上述のライブパフォーマンスを組み合わせたパフォーマンスを行ってもよい。たとえば、ユーザは、ライブパフォーマンスとして、合唱の先導とウェーブの先導とを同時に行ってもよい。ユーザは、合唱フレーズをマイク4に入力した後に、図10Bに示すウェーブの動作を行う。パフォーマンス特定部25は、検出した合唱フレーズに基づいて、ユーザが合唱を先導していると判定し、検出したユーザの両手の動きに基づいてウェーブを先導していると判定する。この結果、画面3aには、観客がウェーブをする映像が表示される。また、再生中の楽曲の演奏音と、観客が合唱する歌声とが、同時にモニタ3から出力される。
The user may perform a performance combining the above-described live performance. For example, the user may simultaneously perform chorus lead and wave lead as a live performance. The user performs the wave operation shown in FIG. 10B after inputting the choral phrase into the
{4.ライブパフォーマンス以外の機能}
{4.1.観客指定機能}
ユーザは、カラオケシステム1を用いてカラオケをする場合、ライブ会場の観客の客層を指定することができる。ユーザは、設定した客層に応じたライブパフォーマンスを行う必要がある。
{4. Functions other than live performance}
{4.1. Audience designation function}
When karaoke is performed using the karaoke system 1, the user can specify the audience of the audience at the live venue. The user needs to perform live performance according to the set customer segment.
図12は、ライブの客層を設定する設定画面を示す図である。ユーザは、図示しないリモコンを操作して、観客の客層を性別、年齢に基づいて設定する。性別設定では、ユーザは、男性主体、女性主体、及び中間のいずれかを指定する。男性主体は、観客の男性の比率が、80%に設定されることを示す。女性主体は、観客の女性の比率が、80%に設定されることを示す。中間とは、観客の男性の比率と女性との比率が50%ずつであることを示す。年齢設定では、ユーザは、15〜25歳、25〜45歳、及び45歳以上のいずれかから選択する。年齢設定により、ユーザが選択した年齢層の観客の比率が、70%に設定される。この結果、楽曲データ61とともに、設定された客層に応じた観客映像データ62が再生される。
FIG. 12 is a diagram showing a setting screen for setting a live customer segment. The user operates a remote controller (not shown) to set the audience audience based on gender and age. In the gender setting, the user designates a male subject, a female subject, or an intermediate. The male subject indicates that the ratio of male spectators is set to 80%. The female subject indicates that the ratio of female audience members is set to 80%. The intermediate means that the ratio of males to females is 50%. In the age setting, the user selects from 15 to 25 years old, 25 to 45 years old, and 45 years old or older. By the age setting, the ratio of the audience in the age group selected by the user is set to 70%. As a result, together with the
客層が設定された場合、観客の反応レベルは、ユーザが選択した楽曲や、ユーザが行うライブパフォーマンスに応じて変化する。このため、ユーザは、観客の客層を意識して、ライブパフォーマンスを行う必要がある。たとえば、ユーザは、45歳以上で女性主体の客層を指定した場合、比較的ゆっくりとしたテンポの楽曲を選択し、観客に対して激しい動きを要求しないライブパフォーマンス(ウェーブ先導など)を行うことによって、反応レベルを上げることができる。一方、同様の客層でハードロック系の楽曲を先導し、ライブパフォーマンスとして観客煽りを繰り返し行った場合、観客の反応レベルは低くなる。このように、観客の客層を設定することにより、ユーザは、様々な観客を対象にしたライブを疑似的に経験することができる。 When the audience is set, the audience reaction level changes according to the music selected by the user and the live performance performed by the user. For this reason, the user needs to perform a live performance in consideration of the audience of the audience. For example, when a user designates a female-centered audience who is over 45 years old, by selecting a relatively slow tempo music and performing a live performance (such as wave guidance) that does not require intense movement for the audience , Can increase the reaction level. On the other hand, when a hard rock music is led by the same audience and the audience is repeatedly struck as a live performance, the audience's reaction level becomes low. In this way, by setting the audience layer of the audience, the user can experience a simulated live performance for various audiences.
{4.2.対戦モード}
カラオケシステム1は、複数のユーザがライブパフォーマンスの出来を競い合う対戦モードを実行することができる。以下、対戦モードの実行時における、本体装置2の動作について説明する。
{4.2. Battle mode}
The karaoke system 1 can execute a battle mode in which a plurality of users compete for live performance. Hereinafter, the operation of the
対戦モードでは、二人のユーザが交互にライブパフォーマンスを行う。ここでは、歌詞が3番まである楽曲を用いて、対戦が行われるケースを説明する。最初に、第1のユーザが、ライブパフォーマンスを行いながら、楽曲の1番を歌う。次に、第2のユーザがライブパフォーマンスを行いながら、楽曲の2番を歌う。このとき、第1のユーザ及び第2のユーザは、マイク4及びコントローラ5を共用する。しかし、複数のマイク4及びコントローラ5を、対戦モードを行う人数分用意してもよい。
In the battle mode, two users perform live performance alternately. Here, the case where a battle | competition is performed using the music which has the lyrics to the 3rd is demonstrated. First, the first user sings song 1 while performing a live performance. Next, the second user sings the second piece of music while performing a live performance. At this time, the first user and the second user share the
各ユーザが行うライブパフォーマンスは、本体装置2により採点される。第1のユーザ及び第2のユーザのうち、得点の高いユーザが、演奏中の楽曲の3番を歌うことができる。
The live performance performed by each user is scored by the
ライブパフォーマンスの採点方法について説明する。上述したように、本体装置2は、ユーザが行ったライブパフォーマンスを行うたびに反応レベルを決定している。本体装置2は、第1のユーザがライブパフォーマンスを行うたびに、決定した反応レベルに基づいて各パフォーマンスを採点する。第1ユーザが行ったライブパフォーマンスごとの点数の総和が、第1ユーザの得点として算出される。第2ユーザの得点も、同様に算出される。
Explain how to score live performances. As described above, the
第2のユーザがライブパフォーマンスを終了した後に、各ユーザの得点が画面3aに表示される。勝者となったユーザが、楽曲の3番でライブパフォーマンスを行うことができる。このように、対戦モードを設けることにより、複数のユーザがライブパフォーマンスを競い合うという新たなカラオケシステムを提供することができる。
After the second user finishes the live performance, the score of each user is displayed on the
{変形例}
マイク4及びコントローラ5は、バイブレーション機能を備えていてもよい。たとえば、本体装置2の反応指示部26は、観客の反応レベルが一定のレベルを超えた場合、マイク4及びコントローラ5に振動指示信号を送信する。マイク4及びコントローラ5は、振動指示信号を受信した場合、一定の時間(3秒程度)、自装置を振動させる。これにより、ユーザは、画面3a内の観客の映像だけでなく、マイク4及びコントローラ5を介して観客の反応を知ることができる。
{Modifications}
The
本体装置2は、ライブ会場の選択機能を設けてもよい。この場合、ユーザは、図示しないリモコンを操作することにより、アリーナ、野球場、及びコンサートホールなどをライブ会場として選択することができる。本体装置2は、選択された会場に応じた観客映像データを再生する。これにより、ユーザは、ライブのシンガーとして、様々なライブ会場でのライブパフォーマンスを疑似的に経験することができる。
The
図2に示すように、本体装置2が音声認識部24を備える例を説明したが、マイク4が音声認識部24を備えていてもよい。マイク4は、フレーズ情報24Aが音声認識部24により生成されるたびに、生成されたフレーズ情報24をリアルタイムに本体装置2に送信する。
As illustrated in FIG. 2, the example in which the
リアクションデータ63が、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである例を説明した。しかし、リアクションデータ63は、聴衆の反応を示す音声のみが記録されたデータであってもよい。たとえば、観客煽りに対する観客の歓声や、手拍子の先導に対する手拍子、聴衆のブーイングなどが記録されたデータを、リアクションデータ63として用いることができる。
The example in which the
リアクションデータ63は、上述のような、ライブパフォーマンスに対する観客の動作を具体的に示すデータでなく、観客の反応を象徴的に示すデータであってもよい。たとえば、リアクションデータ63として、ライブ会場から複数の打ち上げ花火が上がる映像が記録されたデータを用いることができる。反応指示部26が反応レベルに応じて打ち上げ花火の数を変更することにより、ユーザは、ライブパフォーマンスに対する観客の反応を知ることができる。あるいは、反応指示部26は、反応レベルが低いときのリアクションデータ63として、観客のいないライブ会場の映像が記録されたデータや、荒れ狂う海が記録されたデータを選択してもよい。
The
1 カラオケシステム
2 本体装置
3 モニタ
3a 画面
4 マイク
5 コントローラ
21,43,52 無線通信部
22 データ取得部
23 再生部
24 音声認識部
25 パフォーマンス特定部
26 反応指示部
42、51 センサ部
DESCRIPTION OF SYMBOLS 1
Claims (18)
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記音声入力装置は、
前記音声入力装置の動きを示す第1動き情報を出力する第1動き情報出力部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device that is held by a user and outputs voice input by the user as voice data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
With
The voice input device includes:
A first motion information output unit that outputs first motion information indicating the motion of the voice input device;
Including
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Amusement system including.
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記映像データを解析して前記ユーザの動きを示す第1動き情報を生成する映像解析部と、
前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device that is held by a user and outputs voice input by the user as voice data;
An imaging device that images the user and outputs video data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
With
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Amusement system including.
前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択するアミューズメントシステム。 In the amusement system according to claim 1 or 2,
The reaction instruction unit determines a response level of the audience with respect to the specified performance based on at least one of the phrase information and the first motion information, and based on the response level of the audience, the reproduction reaction data Choose an amusement system.
前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示するアミューズメントシステム。 In the amusement system according to claim 3,
An amusement system in which the reaction instruction unit determines a reproduction condition of the reproduction reaction data based on a reaction level of the audience, and instructs the reproduction unit of the reproduction condition.
前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、
前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定するアミューズメントシステム。 In the amusement system according to claim 3 or claim 4,
The playback unit plays back the audience status data according to the audience of the audience set by the user,
The said reaction instruction | indication part is an amusement system which determines the reaction level of the said audience based on the audience of the said audience.
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第1動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit calls the user a specific phrase in a question format based on the phrase information, and the direction of the voice input device is reversed based on the first movement information. If it is determined that the user has performed a performance of scolding the audience,
The reaction instruction unit is an amusement system that selects, as the reproduction reaction data, reaction data in which video and audio in which an audience responds to the specific phrase all at once are recorded.
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第1動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit calls a specific phrase for the user to request chorus based on the phrase information, and the direction of the voice input device is reversed based on the first movement information. If it is determined that the user has performed a performance requesting chorus from the audience,
The reaction instruction unit is an amusement system that selects reaction data in which video and audio sung by the audience are recorded as the reproduction reaction data.
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
When the performance identifying unit determines that the user is clapping based on the motion information, the performance identifying unit determines that the user has performed a performance that leads the clapping,
An amusement system in which the reaction instruction unit selects reaction data in which video and clapping sounds recorded by the audience are recorded as the reproduction reaction data.
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit determines that the user has performed a performance requesting an operation of waving both hands to the audience when it is determined that the user is performing an operation of waving an arm based on the movement information. ,
The reaction instruction unit is an amusement system that selects reaction data in which a video of the audience shaking hands is recorded as the reproduction reaction data.
前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、
を備え、
前記コントローラは、
前記コントローラの動きを示す第2動き情報を出力する第2動き情報出力部、
を含み、
前記パフォーマンス特定部は、前記第2動き情報に基づいて、前記ユーザのパフォーマンスを特定するアミューズメントシステム。 The amusement system according to any one of claims 1 and 3 to 9, further comprising:
A controller that the user holds with the hand opposite to the hand holding the voice input device;
With
The controller is
A second motion information output unit for outputting second motion information indicating the motion of the controller;
Including
The performance specifying unit is an amusement system that specifies the performance of the user based on the second motion information.
前記反応指示部は、前記楽曲データの第1パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第2パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点するアミューズメントシステム。 In the amusement system according to any one of claims 3 to 10,
The reaction instruction unit scores all performances performed in the first part of the music data based on the audience's response level for each performance, and performs all performances performed in the second part of the music data. An amusement system for scoring a game based on the audience's level of response to each performance.
ユーザが保持する音声入力装置と、
を備え、
前記音声入力装置は、
前記本体装置と無線通信を行う無線通信部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device held by the user;
With
The voice input device includes:
A wireless communication unit for performing wireless communication with the main device,
Including
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on the presence or absence of a radio signal transmitted from the voice input device;
A reaction instruction that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data in which audio or video indicating the reaction of the audience is recorded, and instructs the reproduction unit to reproduce the reproduction reaction data And
Amusement system including.
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定するアミューズメントシステム。 The amusement system according to claim 12,
An amusement system in which the performance specifying unit determines that the user has entered a virtual live venue when the wireless signal is detected after the reproduction of the music data is started.
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定するアミューズメントシステム。 The amusement system according to claim 12 or claim 13,
The performance specifying unit determines that the user has left the virtual live venue when the wireless signal cannot be detected after the music data has started to be reproduced.
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。 A voice input device that is held by a user, outputs voice input by the user as voice data, and outputs first motion information indicating the movement of the device;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
A computer installed in a communicable main unit
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記映像データを解析して前記ユーザの動きを示す第1動き情報を生成する映像解析部、
前記フレーズ情報及び前記第1動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。 A voice input device that is held by a user and outputs voice input by the user as voice data;
An imaging device that images the user and outputs video data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
A computer installed in a communicable main unit
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
A computer installed in the main unit capable of wireless communication with the voice input device held by the user,
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on the presence or absence of a radio signal transmitted from the voice input device;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010235043A JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
PCT/JP2011/073131 WO2012053371A1 (en) | 2010-10-20 | 2011-10-06 | Amusement system |
US13/877,029 US9601118B2 (en) | 2010-10-20 | 2011-10-06 | Amusement system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010235043A JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012088521A true JP2012088521A (en) | 2012-05-10 |
JP5553446B2 JP5553446B2 (en) | 2014-07-16 |
Family
ID=46260201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010235043A Expired - Fee Related JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5553446B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057357A (en) * | 2014-09-05 | 2016-04-21 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
JP2016161930A (en) * | 2015-03-05 | 2016-09-05 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
JP2016166928A (en) * | 2015-03-09 | 2016-09-15 | 高橋 勝治 | Performance device, performance method, program, and amusement system |
JP2016183989A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Information processing device and program |
JP2017181661A (en) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | Support device |
KR101809617B1 (en) * | 2016-05-20 | 2017-12-15 | 박건웅 | My-concert system |
KR20190074017A (en) * | 2017-12-19 | 2019-06-27 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
CN110047346A (en) * | 2019-04-29 | 2019-07-23 | 惠州城市职业学院 | The emulation mode and simulated teaching experience system of virtual emulation practice teaching platform |
JP2019126416A (en) * | 2018-01-22 | 2019-08-01 | 株式会社カプコン | Game program and game machine |
JP2020017868A (en) * | 2018-07-25 | 2020-01-30 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
JP2020134901A (en) * | 2019-02-26 | 2020-08-31 | 株式会社第一興商 | Karaoke system |
JP2020166141A (en) * | 2019-03-29 | 2020-10-08 | 株式会社第一興商 | Karaoke device |
JP2020181082A (en) * | 2019-04-25 | 2020-11-05 | 株式会社第一興商 | Karaoke system |
JP2022121431A (en) * | 2018-07-25 | 2022-08-19 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029480A (en) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | Musical tone reproducing device |
JP2011053276A (en) * | 2009-08-31 | 2011-03-17 | Daiichikosho Co Ltd | Karaoke system including background image variable display function |
JP2011154289A (en) * | 2010-01-28 | 2011-08-11 | Daiichikosho Co Ltd | Karaoke machine for enjoying mood for urging audience to sing in chorus |
-
2010
- 2010-10-20 JP JP2010235043A patent/JP5553446B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029480A (en) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | Musical tone reproducing device |
JP2011053276A (en) * | 2009-08-31 | 2011-03-17 | Daiichikosho Co Ltd | Karaoke system including background image variable display function |
JP2011154289A (en) * | 2010-01-28 | 2011-08-11 | Daiichikosho Co Ltd | Karaoke machine for enjoying mood for urging audience to sing in chorus |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057357A (en) * | 2014-09-05 | 2016-04-21 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
JP2016161930A (en) * | 2015-03-05 | 2016-09-05 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
JP2016166928A (en) * | 2015-03-09 | 2016-09-15 | 高橋 勝治 | Performance device, performance method, program, and amusement system |
JP2016183989A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Information processing device and program |
JP2017181661A (en) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | Support device |
KR101809617B1 (en) * | 2016-05-20 | 2017-12-15 | 박건웅 | My-concert system |
KR20190074017A (en) * | 2017-12-19 | 2019-06-27 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
KR102030541B1 (en) * | 2017-12-19 | 2019-10-10 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
JP2019126416A (en) * | 2018-01-22 | 2019-08-01 | 株式会社カプコン | Game program and game machine |
JP2020017868A (en) * | 2018-07-25 | 2020-01-30 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
JP7093006B2 (en) | 2018-07-25 | 2022-06-29 | 株式会社ミクシィ | Information processing equipment, video distribution method and video distribution program |
JP2022121431A (en) * | 2018-07-25 | 2022-08-19 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
JP7311815B2 (en) | 2018-07-25 | 2023-07-20 | 株式会社Mixi | Information processing device, video distribution method, and video distribution program |
JP2020134901A (en) * | 2019-02-26 | 2020-08-31 | 株式会社第一興商 | Karaoke system |
JP2020166141A (en) * | 2019-03-29 | 2020-10-08 | 株式会社第一興商 | Karaoke device |
JP7158331B2 (en) | 2019-03-29 | 2022-10-21 | 株式会社第一興商 | karaoke device |
JP2020181082A (en) * | 2019-04-25 | 2020-11-05 | 株式会社第一興商 | Karaoke system |
JP7249859B2 (en) | 2019-04-25 | 2023-03-31 | 株式会社第一興商 | karaoke system |
CN110047346A (en) * | 2019-04-29 | 2019-07-23 | 惠州城市职业学院 | The emulation mode and simulated teaching experience system of virtual emulation practice teaching platform |
Also Published As
Publication number | Publication date |
---|---|
JP5553446B2 (en) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5553446B2 (en) | Amusement system | |
JP4307193B2 (en) | Program, information storage medium, and game system | |
JP4327578B2 (en) | Program, information storage medium, and game system | |
TW200951764A (en) | Gesture-related feedback in electronic entertainment system | |
JP6515057B2 (en) | Simulation system, simulation apparatus and program | |
WO2012053371A1 (en) | Amusement system | |
JP6419932B1 (en) | Program for supporting performance of musical instrument in virtual space, method executed by computer to support selection of musical instrument, and information processing apparatus | |
KR20080003738A (en) | System for playing video and audio data bidirectionally and method therefor | |
EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
JP2015025934A (en) | Music performance device and music performance program | |
JP2006346284A (en) | After-recording experience device and after-recording experience program | |
WO2018008434A1 (en) | Musical performance presentation device | |
JP6065225B2 (en) | Karaoke equipment | |
JP4516944B2 (en) | Karaoke singing assistance system | |
JP6196839B2 (en) | A communication karaoke system characterized by voice switching processing during communication duets | |
JP2014123085A (en) | Device, method, and program for further effectively performing and providing body motion and so on to be performed by viewer according to singing in karaoke | |
JP6603734B2 (en) | GAME PROGRAM AND GAME DEVICE | |
WO2023084933A1 (en) | Information processing device, information processing method, and program | |
JP5486467B2 (en) | Amusement system | |
JP2019101413A (en) | Program for assisting in performing musical instrument in virtual space, computer-implemented method for assisting in selecting musical instrument, and information processor | |
JP6065224B2 (en) | Karaoke equipment | |
JP2005087716A (en) | Program, information storage medium and game system | |
JP2020052891A (en) | Program, image generating method, and game apparatus | |
WO2023281820A1 (en) | Information processing device, information processing method, and storage medium | |
JP6867543B1 (en) | Information processing equipment, information processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5553446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |