JP2012088521A - Amusement system - Google Patents
Amusement system Download PDFInfo
- Publication number
- JP2012088521A JP2012088521A JP2010235043A JP2010235043A JP2012088521A JP 2012088521 A JP2012088521 A JP 2012088521A JP 2010235043 A JP2010235043 A JP 2010235043A JP 2010235043 A JP2010235043 A JP 2010235043A JP 2012088521 A JP2012088521 A JP 2012088521A
- Authority
- JP
- Japan
- Prior art keywords
- user
- audience
- reaction
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、ユーザが再生される楽曲データに合わせて歌を歌うことができるアミューズメントシステムに関する。 The present invention relates to an amusement system in which a user can sing a song in accordance with music data to be reproduced.
カラオケでは、ユーザが選択した楽曲の演奏に合わせて歌を歌う形式が一般的である。カラオケ装置のモニタには、ユーザが選択した楽曲の歌詞が、楽曲の演奏の進行に合わせて表示される。これにより、ユーザは、選択した楽曲の歌詞を全て覚えていなくても、カラオケを楽しむことができる。モニタに表示される歌詞の背景には、歌を歌うキャラクタの映像や、楽曲のイメージに合わせた映像などが表示される。 In karaoke, a format in which a song is sung in accordance with the performance of the music selected by the user is common. On the monitor of the karaoke apparatus, the lyrics of the music selected by the user are displayed as the performance of the music progresses. Thereby, even if the user does not remember all the lyrics of the selected music, he can enjoy karaoke. On the background of the lyrics displayed on the monitor, a video of a character that sings a song, a video that matches the image of the music, and the like are displayed.
カラオケは、家族あるいは友人同士などの少人数のグループで楽しむことが多い。カラオケを盛り上げるために、歌を歌うユーザが好みのタイミングで効果音などを発生することができる装置が特許文献１に開示されている。 Karaoke is often enjoyed by small groups such as family members or friends. Japanese Patent Application Laid-Open No. 2004-151867 discloses an apparatus that can generate a sound effect or the like at a desired timing for a user who sings a song to excite karaoke.
下記特許文献１に係る電子パーカッション装置は、マラカスなど打楽器の形状をしており、加速度センサを備えている。電子パーカッション装置は、楽曲の間奏が演奏されているときなど、自装置を操作することができるタイミングを、ＬＥＤを点灯させることによりユーザに通知する。ＬＥＤの点灯期間内にユーザが電子パーカッション装置を振ることによって、パーカッション音が再生される。 An electronic percussion device according to the following Patent Document 1 has a percussion instrument shape such as maracas, and includes an acceleration sensor. The electronic percussion device notifies the user of the timing at which the device can be operated by turning on the LED, such as when an interlude is being played. When the user shakes the electronic percussion device during the lighting period of the LED, the percussion sound is reproduced.
上述したように、カラオケは、少人数のグループで楽しむことが多い。ユーザが歌う歌を聞く人は、カラオケに参加した家族あるいは友人等に限られる。つまり、カラオケでは、ライブのシンガーのように、多くの観客に自分の歌を聴いてもらうという体験をすることができない。 As described above, karaoke is often enjoyed by a small group. A person who listens to a song sung by the user is limited to a family member or a friend who participates in karaoke. In other words, in karaoke, you can't have many spectators listen to your song like a live singer.
そこで、本発明は、前記問題点に鑑み、臨場感の高いライブ演奏を疑似的に体験することができるアミューズメントシステムを提供することを目的とする。 Therefore, in view of the above problems, an object of the present invention is to provide an amusement system capable of experiencing a live performance with a high sense of presence in a pseudo manner.
上記課題を解決するため、請求項１記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記音声入力装置は、前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。 In order to solve the above-mentioned problem, an invention according to claim 1 is an amusement system, comprising a main unit, a voice input device held by a user and outputting a voice inputted by the user as voice data, and the voice data A speech recognition device that performs a speech recognition process on the device to generate phrase information indicating a phrase spoken by the user, and the speech input device outputs first motion information indicating a motion of the speech input device. A first movement information output unit, wherein the main unit reproduces music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded; A performance identifying unit that identifies a performance of the user based on at least one of the phrase information and the first motion information; From a plurality of the reaction data that indicates the reactions, select the reproduction reaction data corresponding to the specified performance, including a reaction instructing unit for instructing the reproduction of the reproduction reaction data to the reproduction unit.
請求項２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
The invention according to
請求項３記載の発明は、請求項１または請求項２に記載のアミューズメントシステムにおいて、前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択する。 According to a third aspect of the present invention, in the amusement system according to the first or second aspect of the invention, the reaction instruction unit indicates a reaction level of the audience with respect to the specified performance, the phrase information, and the first movement information. And determining the reproduction reaction data based on the audience response level.
請求項４記載の発明は、請求項３に記載のアミューズメントシステムにおいて、前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示する。 According to a fourth aspect of the present invention, in the amusement system according to the third aspect, the reaction instruction unit determines a reproduction condition of the reproduction reaction data based on a reaction level of the audience, and the reproduction condition is reproduced as the reproduction condition. To the department.
請求項５記載の発明は、請求項３または請求項４に記載のアミューズメントシステムにおいて、前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定する。 According to a fifth aspect of the present invention, in the amusement system according to the third or fourth aspect, the reproduction unit reproduces audience situation data corresponding to the audience of the audience set by the user, and the reaction instruction unit Determines the audience response level based on the audience of the audience.
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択する。 According to a sixth aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit specifies a question format for the audience based on the phrase information. And when it is determined that the direction of the voice input device is reversed based on the first movement information, it is determined that the user has performed a performance of scolding the audience, and the reaction instruction unit includes: As the reproduction reaction data, reaction data in which video and audio in which the audience responds simultaneously to the specific phrase is selected is selected.
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択する。 According to a seventh aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit requests the audience to chorus based on the phrase information. When calling a specific phrase and determining that the direction of the voice input device is reversed based on the first movement information, the user determines that the user has performed a performance requesting chorus, and the response The instructing unit selects reaction data in which video and audio sung by the audience are recorded as the reproduction reaction data.
請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択する。 The invention according to claim 8 is the amusement system according to any one of claims 1 to 5, wherein the performance specifying unit determines that the user is clapping based on the motion information. Then, it is determined that the user has performed a performance that leads the clapping, and the reaction instruction unit selects reaction data in which video and clapping sound recorded by the audience are recorded as the reproduction reaction data.
請求項９記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択する。 According to a ninth aspect of the present invention, in the amusement system according to any one of the first to fifth aspects, the performance specifying unit performs an operation in which the user swings his / her arm based on the movement information. When the determination is made, it is determined that the user has performed a performance requesting an operation of waving both hands to the audience, and the reaction instruction unit is a reaction in which an image of the audience waving both hands is recorded as the reproduction reaction data. Select data.
請求項１０記載の発明は、請求項１、請求項３ないし請求項９のいずれかに記載のアミューズメントシステムにおいて、さらに、前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、を備え、前記コントローラは、前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、を含み、前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定する。 A tenth aspect of the present invention is the amusement system according to any one of the first, third, and ninth aspects, wherein the user holds the voice input device with a hand opposite to the hand that holds the voice input device. The controller includes a second motion information output unit that outputs second motion information indicating the motion of the controller, and the performance specifying unit is configured to perform the performance of the user based on the second motion information. Is identified.
請求項１１記載の発明は、請求項３ないし請求項１０のいずれかに記載のアミューズメントシステムにおいて、前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点する。
The invention according to claim 11 is the amusement system according to any one of
請求項１２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持する音声入力装置と、を備え、前記音声入力装置は、前記本体装置と無線通信を行う無線通信部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。 The invention according to claim 12 is an amusement system comprising a main unit and a voice input device held by a user, and the voice input device includes a radio communication unit that performs radio communication with the main unit. The main unit is configured to reproduce a piece of music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded, and radio transmitted from the audio input device. Based on the presence / absence of a signal, a performance specifying unit that specifies the performance of the user, and reproduction reaction data corresponding to the specified performance among a plurality of reaction data recorded with audio or video indicating the audience's reaction And a reaction instruction unit that instructs the reproduction unit to reproduce the reproduction reaction data.
請求項１３記載の発明は、請求項１２に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定する。 According to a thirteenth aspect of the present invention, in the amusement system according to the twelfth aspect, when the performance specifying unit detects the radio signal after the reproduction of the music data is started, the user performs a virtual live operation. It is determined that you have entered the venue.
請求項１４記載の発明は、請求項１２または請求項１３に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定する。 According to a fourteenth aspect of the present invention, in the amusement system according to the twelfth or thirteenth aspect, when the performance specifying unit cannot detect the radio signal after the reproduction of the music data is started, It is determined that the user has left the virtual live venue.
請求項１５記載の発明は、請求項１ないし請求項１４のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置である。 A fifteenth aspect of the invention is a voice input device used in the amusement system according to any one of the first to fourteenth aspects.
請求項１６記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to a sixteenth aspect of the present invention, there is provided a voice input device that outputs voice data that is held by a user and input by the user as voice data and outputs first motion information indicating a motion of the device itself, and voice recognition for the voice data. A voice recognition device that performs processing to generate phrase information indicating a phrase spoken by the user, a computer mounted on a communicable main body device, music data selected by the user, and an image showing the situation of the audience And a playback unit that plays back at least one of audio and audience status data, a performance specifying unit that specifies the performance of the user based on at least one of the phrase information and the first motion information, and reaction of the audience Playback reaction data corresponding to the specified performance is selected from the multiple reaction data indicating And a program for operating the reproduction of the reproduction reaction data as a reaction instruction unit, to instruct the playback unit.
請求項１７記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to a seventeenth aspect of the present invention, there is provided an audio input device that is held by a user and outputs audio input by the user as audio data, an imaging device that captures the user and outputs video data, and audio for the audio data A speech recognition device that generates a phrase information indicating a phrase spoken by the user by performing a recognition process, and a computer installed in a communicable main body device, music data selected by the user, and an audience situation A reproduction unit that reproduces audience status data in which at least one of video and audio is recorded, a video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user, the phrase information, and the first A performance specifying unit for specifying the performance of the user based on at least one of the movement information; a compound indicating a reaction of the audience; From the reaction data of a program for functioning to select the reproduction reaction data corresponding to the specified performance, the reproduction of the reproduction reaction data as a reaction instruction unit, to instruct the playback unit.
請求項１８記載の発明は、ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。 According to an eighteenth aspect of the present invention, at least one of music data selected by the user and video and audio indicating the situation of the audience is installed in a main body device capable of wireless communication with a voice input device held by the user A reproduction unit that reproduces the audience status data recorded, a performance identification unit that identifies the performance of the user based on the presence / absence of a radio signal transmitted from the voice input device, and a plurality of reactions indicating the reaction of the audience This is a program for selecting reproduction reaction data corresponding to a specified performance from the data and functioning as a reaction instruction unit for instructing the reproduction unit to reproduce the reproduction reaction data.
本発明において、本体装置は、ライブの聴衆の状況を示す聴衆状況データを再生して、モニタなどに表示する。本体装置は、ユーザがマイクに入力したフレーズを示すフレーズ情報や、ユーザの動きを示す動き情報に基づいて、ユーザが行うライブパフォーマンスを特定し、ライブパフォーマンスに対する聴衆の反応を示すリアクションデータを再生する。これにより、ユーザは、表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながら、カラオケを楽しむことができるとともに、臨場感の高いライブ演奏を疑似的に体験することができる。 In the present invention, the main device reproduces the audience status data indicating the status of the live audience and displays it on a monitor or the like. The main device identifies the live performance performed by the user based on the phrase information indicating the phrase input to the microphone by the user and the movement information indicating the user's movement, and reproduces reaction data indicating the audience's reaction to the live performance. . Accordingly, the user can enjoy karaoke while acting as a singer that provides a live performance to the displayed audience, and can experience a live performance with a high sense of reality in a pseudo manner.
以下、図面を参照しつつ、本発明の実施の形態について説明する。本実施の形態では、アミューズメントシステムの一例として、カラオケシステムについて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In this embodiment, a karaoke system will be described as an example of an amusement system.
｛１．カラオケシステム１の全体構成｝
図１は、カラオケシステム１の全体図である。カラオケシステム１は、本体装置２と、モニタ３と、マイク４と、コントローラ５とを備える。
{1. Overall configuration of karaoke system 1}
FIG. 1 is an overall view of the karaoke system 1. The karaoke system 1 includes a
本体装置２は、カラオケシステム１の全体制御を行う処理装置であり、ユーザが選択した楽曲に対応する楽曲データ及び映像データを再生する。ユーザは、図示しないリモコンを用いて、カラオケで歌う楽曲を選択する。
The
モニタ３は、液晶ディスプレイなどであり、本体装置２から出力される映像を表示する。モニタ３は、図示しないスピーカを備えており、本体装置２により再生される楽曲データを音声として出力する。
The
マイク４は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク４は、自装置の動きを検出する動き検出機能を有し、ユーザの動きを示す動き情報を本体装置２に送信する。
The
コントローラ５は、自装置の動きを検出する動き検出機能を有しており、動き情報を本体装置２に送信する。ユーザは、一方の手にマイク４を持ち、他方の手にコントローラ５を持って歌を歌う。図１に示すように、コントローラ５は、直方体状の形状であるが、リストバンドのように、ユーザの腕にはめることができる形状であってもよい。この場合、ユーザがコントローラ５を誤って落とすことを防止できる。
The
本体装置２は、ユーザが選択した楽曲の演奏音を出力するとともに、大勢の観客が入場したライブ会場の様子が記録された映像をモニタ３に表示させる。つまり、モニタ３には、ライブ会場のステージに立つシンガー（ユーザ）を見ている大勢の観客の映像が表示される。
The
ユーザは、選択した楽曲の歌を歌うだけでなく、マイク４を通して画面３ａ内の観客に呼び掛けたり、マイク４を観客に向けたりすることにより、観客に対して様々なライブパフォーマンスを行う。本体装置２は、マイク４及びコントローラ５から送信される動き情報に基づいて、ユーザの両手の動きを検出する。本体装置２は、マイク４に入力された音声や、マイク４及びコントローラ５の動き情報に基づいて、ユーザのライブパフォーマンスを特定する。特定されたライブパフォーマンスに対する観客の反応を示す映像が、モニタ３に表示される。このように、ユーザは、カラオケシステム１を利用することにより、実際にライブ会場でライブを行うシンガーのように振る舞うことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。
The user not only sings the song of the selected music piece, but also performs various live performances for the audience by calling the audience in the
次に、本体装置２の構成について説明する。図２は、本体装置２の機能的構成を示すブロック図である。本体装置２は、無線通信部２１と、データ取得部２２と、再生部２３と、音声認識部２４と、パフォーマンス特定部２５と、反応指示部２６と、記憶部２７と、出力部２８とを備える。
Next, the configuration of the
無線通信部２１は、マイク４及びコントローラ５と無線通信を行い、マイク４及びコントローラ５から動き情報４２Ａ，５１Ａを取得する。無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信などを利用することができる。
The
データ取得部２２は、ユーザが選択した楽曲に対応する楽曲データ６１、観客映像データ６２、複数のリアクションデータ６３，６３・・・を、インターネット等を介して楽曲サーバから取得する。楽曲データ６１は、ユーザが選択した楽曲の演奏音を記録したデータである。観客映像データ６２は、ライブ会場に入場した大勢の観客（聴衆）の状況を示す聴衆状況データであり、観客の映像及び音声を記録したデータである。ここで、聴衆とは、ユーザが楽曲に合わせて歌う歌をライブ会場で鑑賞する人々を指し、観客を含む概念である。リアクションデータ６３は、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである。リアクションデータ６３は、複数のライブパフォーマンスのうちいずれか一つに対応するとともに、観客の反応レベルのいずれか一つに対応する。反応レベルの詳細については、後述する。
The
本実施の形態では、大勢の観客の状況を示す聴衆状況データとして、観客映像データ６２を用いる例を説明する。しかし、大勢の観客（聴衆）の状況を示す音声データを用いてもよい。具体的には、観客映像データ６２に代えて、観客（聴衆）の歓声などが記録された音声データなどを用いることができる。
In the present embodiment, an example will be described in which
再生部２３は、データ取得部２２が取得した楽曲データ６１及び観客映像データ６２を再生する。音声認識部２４は、マイク４から送信された音声データ４Ａに対し音声認識処理を行い、ユーザがマイク４に入力したフレーズを検出する。音声認識部２４は、検出したフレーズを示すフレーズ情報２４Ａを出力する。
The
パフォーマンス特定部２５は、フレーズ情報２４Ａと、動き情報４２Ａ，５１Ａとに基づいて、ユーザが行ったライブパフォーマンスを特定する。パフォーマンス特定部２５は、フレーズ情報２４Ａが特定のフレーズ（シンガーが観客に呼び掛けるフレーズ）を含み、かつ、ユーザが特定のフレーズに対応した動作を行ったと判断した場合、ユーザがライブパフォーマンスを行ったと判断する。
The
反応指示部２６は、特定されたライブパフォーマンスに対する観客の反応レベルを決定する。特定されたライブパフォーマンスと観客の反応レベルとに基づいて、観客のリアクションを示すリアクションデータ６３が選択される。反応指示部２６は、観客の反応レベルに基づいて、選択されたリアクションデータ６３の再生条件を決定する。再生条件とは、選択したリアクションデータ６３の再生時の音量などである。反応指示部２６は、選択したリアクションデータ６３を、決定した再生条件で再生することを再生部２３に指示する。
The
記憶部２７は、ハードディスク装置などであり、データ取得部２２が取得した楽曲データ６１、映像データ６２及びリアクションデータ６３，６３，・・・を格納する。出力部２８は、再生部２３により生成された音声及び映像を、モニタ３に出力する。
The
次に、マイク４の構成について説明する。図３は、マイク４の機能的構成を示すブロック図である。マイク４は、音声入力部４１と、センサ部４２と、無線通信部４３とを備える。
Next, the configuration of the
音声入力部４１は、ユーザが発する音声を入力して電気信号に変換し、音声データ４Ａを出力する。センサ部４２は、マイク４の動きの変化を検出する加速度センサを備えており、マイク４の動きを示す動き情報４２Ａを出力する。センサ部４２は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。無線通信部４３は、本体装置２と無線通信を行い、音声データ４Ａ及び動き情報４２Ａを本体装置２に送信する。
The voice input unit 41 inputs a voice uttered by the user, converts it into an electrical signal, and outputs voice
次に、コントローラ５の構成について説明する。図４は、コントローラ５の機能的構成を示すブロック図である。コントローラ５は、センサ部５１と、無線通信部５２とを備える。センサ部５１は、マイク４のセンサ部４２と同様に加速度センサを備えており、コントローラ５の動きを示す動き情報５１Ａを出力する。無線通信部５２は、本体装置２と無線通信を行い、動き情報５１Ａを本体装置２に送信する。
Next, the configuration of the
なお、カラオケシステム１は、ユーザの動きを撮影するカメラを備えていてもよい。この場合、本体装置２は、映像データを解析してユーザの動きを検出する画像解析部を備える。カメラは、たとえば、モニタ３の上に設置され、ユーザを撮影した映像データをリアルタイムに本体装置２に出力する。ユーザがモニタ３及びカメラの前でライブパフォーマンスを行うことにより、画像処理部は、ユーザの動きを示す動き情報を生成して出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａと、画像解析部から出力される動き情報とに基づいて、ユーザが行ったライブパフォーマンスを特定する。この場合、カラオケシステム１は、コントローラ５を備える必要はなく、マイク４にセンサ部４２を設けなくてもよい。
The karaoke system 1 may include a camera that captures a user's movement. In this case, the
｛２．本体装置２の動作｝
以下、ユーザのライブパフォーマンスに応じて、モニタ３から出力される観客の映像及び音声が変更される処理について、本体装置２の動作を中心に説明する。以下の説明では、マイク４及びコントローラ５から送信される動き情報４２Ａ，５１Ａを用いる例について説明する。カメラを用いてユーザの動きを検出する場合であっても、同様の処理が行われる。
{2. Operation of main device 2}
Hereinafter, the process of changing the video and audio of the spectator output from the
図５は、本体装置２の動作の流れを示すフローチャートである。最初に、ユーザは、図示しないリモコンを操作して、カラオケで歌いたい楽曲を選択する。データ取得部２２は、ユーザにより選択された楽曲に対応する楽曲データ６１と、観客映像データ６２と、リアクションデータ６３，６３，・・・とを楽曲サーバから取得して、記憶部２７に格納する（ステップＳ１）。
FIG. 5 is a flowchart showing an operation flow of the
再生部２３は、楽曲データ６１及び観客映像データ６２の再生を開始する（ステップＳ２）。これにより、ユーザが選択した楽曲の演奏音と、ライブ会場でライブを楽しむ観客の映像及び歓声とが、モニタ３から出力される。
The reproducing
図６は、多くの観客の映像が表示されたモニタ３を示す図である。ユーザは、画面３ａに多くの観客の映像が表示されたモニタ３の前に立つことにより、画面３ａ内の多くの観客と向かい合う。すなわち、ユーザは、モニタ３に映し出された観客に対してライブを行うシンガーとして、楽曲の演奏音に合わせて歌う。ユーザは、ライブを行うシンガーとして、歌を歌いながら、様々なライブパフォーマンスを行うことができる。
FIG. 6 is a diagram showing the
本体装置２は、楽曲データ６１の再生が終了するまで（ステップＳ３においてＹｅｓ）、ステップＳ４〜ステップＳ９の処理を繰り返し実行する。
The
マイク４は、音声入力部４１に入力された音声フレーズを、音声データ４Ａとしてリアルタイムに本体装置２に送信している。本体装置２が音声データ４Ａを受信した場合（ステップＳ４においてＹｅｓ）、音声認識部２４は、音声データ４Ａに対する音声認識処理を実行する（ステップＳ５）。音声認識部２４は、ユーザの発した音声フレーズを記録したフレーズ情報２４Ａを出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａに基づいて、ユーザが画面３ａ内の観客に対して特定のフレーズを呼び掛けた否かを判定する（ステップＳ６）。
The
フレーズ情報２４Ａが特定のフレーズを含まない場合（ステップＳ６においてＮｏ）、マイク４に入力された音声は、ユーザの歌声であると判定される。本体装置２は、ステップＳ３の処理に戻る。一方、フレーズ情報２４Ａが特定のフレーズを含む場合（ステップＳ６においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが観客に特定のフレーズを呼び掛けたと判断する。そして、パフォーマンス特定部２５は、特定のフレーズに応じた動きをしたか否かを、動き情報４２Ａ，５１Ａに基づいて確認する。
When the
マイク４は、センサ部４２が出力する動き情報４２Ａを本体装置２にリアルタイムに送信する。同様に、コントローラ５は、センサ部５１が出力する動き情報５１Ａを本体装置２にリアルタイムに送信する。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに基づいて、特定のフレーズに応じた動きをユーザが行ったか否かを判定する（ステップＳ７）。
The
特定のフレーズに応じた動きが検出されなかった場合（ステップＳ７においてＮｏ）、本体装置２は、ステップＳ３の処理に戻る。
If no movement corresponding to the specific phrase is detected (No in step S7),
特定のフレーズに応じた動きが検出された場合（ステップＳ７においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してライブパフォーマンスを行ったと判定する。ユーザが行うライブパフォーマンスとして、観客煽り、観客の合唱の先導、手拍子の先導などが挙げられる。
When the movement according to the specific phrase is detected (Yes in step S7), the
反応指示部２６は、フレーズ情報２４Ａ及び動き情報４２Ａ，５１Ａを用いて、ユーザのライブパフォーマンスに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、ユーザが行ったライブパフォーマンスと、反応レベルとに基づいて、リアクションデータ６３を選択する。たとえば、反応レベルが高い場合、反応指示部２６は、ユーザのライブパフォーマンスに対して全観客が反応する映像が記録されたリアクションデータ６３を選択する。
The
反応指示部２６は、選択されたリアクションデータ６３の再生を、再生部２３に対して指示する。再生部２３は、指示されたリアクションデータ６３を、再生中の楽曲データ６１とともに再生する（ステップＳ９）。この結果、ユーザのライブパフォーマンスに対する観客のリアクションが画面３ａに表示されるとともに、楽曲の演奏音と、観客の歓声とが重なってモニタ３から出力される。
The
反応指示部２６は、リアクションデータ６３の再生条件を反応レベルに応じて変更してもよい。たとえば、反応レベルが高ければ、観客の歓声の音量を大きくしてもよい。反応レベルが低ければ、観客の歓声の音量を小さくしたり、観客の歓声が記録されたデータの再生速度を遅くしたりしてもよい。
The
図５に示すフローチャートでは、音声データ４Ａから特定のフレーズを検出した後に、検出した特定のフレーズに応じた動きが行われたか否かを判定している。しかし、ライブパフォーマンスの種別に応じて、ステップＳ４〜Ｓ６の処理と、動き検出（ステップＳ７）の処理の順序とを入れ替えてもよい。また、特定のフレーズ及びユーザの動きのいずれか一方に基づいて、ユーザのライブパフォーマンスを特定してもよい。
In the flowchart shown in FIG. 5, after detecting a specific phrase from the
本実施の形態では、観客映像データ６２と、リアクションデータ６３とが異なるデータである例を説明しているが、これに限られない。たとえば、観客映像データ６２の各観客をオブジェクト化してもよい。この場合、本体装置２は、特定されたライブフォーマンと反応レベルとに基づいて、各観客オブジェクトの動きを変更する。たとえば、本体装置２は、特定されたライブパフォーマンスに対する観客の反応として、各観客オブジェクトの動作や歓声を変更することができる。また、反応指示部２６は、反応レベルに応じて、ユーザのライブパフォーマンスに対して反応する観客オブジェクトの割合を変化させることができる。
In the present embodiment, an example is described in which the
｛３．ライブパフォーマンスの具体例｝
以下、本体装置２が検出することができるライブパフォーマンスの具体例について説明する。
{3. Specific example of live performance}
Hereinafter, a specific example of live performance that can be detected by the
｛３．１．観客煽り｝
図７Ａ及び図７Ｂは、ユーザが画面３ａ内の観客３１に対して観客煽りを行う手順を示す図である。図７Ａ及び図７Ｂでは、画面３ａ内の観客３１の動きを分かりやすく説明するために、画面３ａ内に一人の観客３１のみを表示している。実際には、再生部２３が観客映像データ６２を再生することにより、ライブ会場と、ライブ会場に来ている多数の観客３１とが画面３ａに表示される。図７Ａ、図７Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
{3.1. Spend the audience}
FIG. 7A and FIG. 7B are diagrams illustrating a procedure in which the user strikes the
観客煽りとは、ライブ中のシンガーが質問形式のフレーズを観客に対して呼びかけ、観客がシンガーに対して一斉に返事をするというライブパフォーマンスである。ユーザは、楽曲の前奏あるいは間奏が再生されているときなどに、観客煽りを行うことができる。 Audience resentment is a live performance in which a live singer calls a question-type phrase to the audience and the audience responds to the singer all at once. The user can perform audience enthusiasm when a prelude or interlude of music is being played.
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用し、コントローラ５から送信される動き情報５１Ａを使用しない。
When the
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、特定のフレーズの検出を先に行う。図７Ａに示すように、ユーザは、最初に、マイク４をユーザ自身に向けながら、たとえば、「のってるかーい？」という質問形式の特定のフレーズ（以下、「煽りフレーズ」と呼ぶ。）をマイク４に入力する。マイク４は、煽りフレーズを音声データ４Ａとして本体装置２に送信する。
The
音声認識部２４は、受信した音声データ４１Ａに対して音声認識処理を行って（ステップＳ５）、フレーズ情報２４Ａを生成する。パフォーマンス特定部２５には、シンガーがライブパフォーマンスの際に観客に呼び掛ける様々なフレーズが設定されている。パフォーマンス特定部２５は、フレーズ情報２４Ａと、設定された様々なフレーズとを比較することにより、ユーザが煽りフレーズを観客に呼び掛けたと判断する（ステップＳ６においてＹｅｓ）。
The
ユーザは、ユーザ自身に向けたマイク４に煽りフレーズを入力した後に、マイク４をユーザ自身の方向から画面３ａの方向に向ける。つまり、ユーザは、矢印４５（図７Ａ参照）に示すように、マイク４の向きを反転させる。マイク４のセンサ部４２は、ユーザの動きに応じた動き情報４２Ａを生成する。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、煽りフレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして観客煽りを行ったと判定する（ステップＳ７においてＹｅｓ）。
The user turns the
反応指示部２６は、ユーザが行った観客煽りに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、煽りフレーズが入力された音声入力タイミングと、マイクの反転が検出された動き検出タイミングとの時間差（検出時間差）に基づいて、反応レベルを決定する。音声入力タイミングは、フレーズ情報２４Ａに含まれている。動き検出タイミングは、動き情報４２Ａに含まれている。
The
反応指示部２６には、反応レベルが最大となる、音声検出タイミングと動き検出タイミングとの時間差（理想時間差）が設定されている。反応指示部２６は、理想時間差と、検出時間差とのずれの大きさに基づいて反応レベルを決定する。たとえば、ずれが小さい場合、反応指示部２６は、観客煽りがスムーズに行われたと判断して、反応レベルを高くする。一方、マイクを反転させるタイミングが遅い場合など、ずれが大きい場合、煽りフレーズに対する観客の反応がばらつくと考えられる。この場合、反応レベルは低下する。また、反応指示部２６は、ユーザが観客煽りを、楽曲データ６１のどの再生位置で行ったかを考慮して、反応レベルを決定してもよい。
In the
反応指示部２６は、観客煽りに対するリアクションデータ６３を、決定した反応レベルに基づいて、記憶部２７に格納されたリアクションデータ６３，６３，・・・の中から選択する。反応レベルが高ければ、観客全員が観客煽りに対して反応する映像が記録されたリアクションデータ６３が選択される。反応レベルが低ければ、観客煽りに対して反応する観客の数が少ない映像が記録されたリアクションデータ６３が選択される。
The
反応指示部２６は、選択したリアクションデータ６３の再生を、再生部２３に指示する。このとき、選択されたリアクションデータ６３の再生条件も、再生部２３に通知される。再生条件は、観客煽りに対する反応レベルに基づいて決定される。たとえば、反応レベルが高ければ、リアクションデータ６３の再生時の音量が大きくなる。反応レベルが低ければ、リアクションデータ６３の再生時の音量を小さくしたり、観客の歓声の再生速度を小さくしたりすることができる。
The
再生部２３は、再生中の楽曲データに合わせて、反応指示部２６に指示されたリアクションデータ６３を再生する（ステップＳ９）。この結果、図７Ｂに示すように、観客煽りに対する観客の反応として、画面３ａ内の観客３１が右手を挙げるようすが画面３ａに表示されるとともに、「イェーイ！」という観客の歓声が再生される。実際には、画面３ａには、多くの観客が一斉に観客煽りに対して反応する様子が表示されるため、ユーザは、ライブ会場でのライブパフォーマンスを疑似的に体験することができる。観客煽りのやり方によっては、ライブ会場内の観客３１の反応が大きく変化するため、ユーザは、実際にライブを行うシンガーと同様の緊張感を楽しむことが可能となる。
The
｛３．２．合唱の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対して、ユーザが歌っている楽曲の合唱を先導することができる。図８Ａ及び図８Ｂは、ユーザが観客の合唱を先導する手順を示す図である。
{3.2. Leading chorus}
As a live performance, the user can lead the chorus of the music sung by the user to the audience in the
図８Ａ及び図８Ｂは、図７Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図８Ａ、図８Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
8A and 8B show only two
本体装置２は、合唱を先導するライブパフォーマンスが行われたと判定する場合には、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用する。コントローラ５から送信される動き情報５１Ａは、合唱の先導の判定に用いられない。
When determining that the live performance leading the chorus has been performed, the
図８Ａに示すように、楽曲データ６１が再生されている間、画面３ａには、ライブ会場の観客の映像と、再生されている楽曲の歌詞３２とが表示されている。再生されている楽曲の中で観客の合唱が可能な部分（たとえば、楽曲のサビの部分）に対応する歌詞３２が、図８Ａに示すように、四角い枠で囲まれて表示される。これにより、ユーザは、合唱を先導するタイミングを知ることができる。
As shown in FIG. 8A, while the
本体装置２は、ライブパフォーマンスとして合唱の先導を特定する場合、ユーザが合唱を観客に呼び掛ける音声フレーズ（以下、「合唱フレーズ」と呼ぶ。）を先に検出する。ユーザは、マイク４をユーザ自身に向けながら、たとえば、「一緒に歌おう！」という合唱フレーズをマイク４に入力する。マイク４は、入力された合唱フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが合唱フレーズを呼び掛けたと判定する。
When the
ユーザは、合唱フレーズをマイク４に入力した後に、マイク４を画面３ａの方向（矢印４５の方向）へ反転させる。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、合唱フレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして合唱を先導していると判定する。
After inputting the choral phrase into the
反応指示部２６は、ユーザが行った合唱の先導に対する反応レベルを決定する。反応レベルの決定手順については、上記と同様であるため、その説明を省略する。
The
反応指示部２６は、観客が合唱をするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も再生部２３に通知される。これにより、合唱する観客の数や合唱の音量は、反応レベルに応じて変化する。図８Ｂに示すように、ユーザが行った合唱の要求に対する反応として、画面３ａ内の観客３１，３１が肩を組んで合唱する様子が表示される。また、ユーザが合唱を先導した歌詞に対応する観客の歌声が、モニタ３から出力される。実際には、画面３ａには、多くの観客が一斉に合唱をする様子が表示されるため、ユーザは、ライブ会場で、観客と一緒に歌を歌うというライブパフォーマンスを疑似的に体験することができる。
The
観客の合唱は、ユーザがマイク４を動かさない限り継続される。ユーザは、観客の合唱を停止させる場合、マイク４を画面３ａの方向からユーザ自身の方向へ反転させる。パフォーマンス特定部２５は、リアクションデータ６３の再生中にマイク４の向きが反転した場合、合唱を先導が終了したと判定する。これにより、楽曲データ６１及び観客映像データ６２の再生が再開される。
The audience's chorus is continued unless the user moves the
｛３．３．手拍子の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客３１に対して手拍子を先導する動作を行うことができる。図９Ａ及び図９Ｂは、ユーザが画面３ａ内の観客３１，３１に対して手拍子を先導する手順を示す図である。
{3.3. Leading hand clapping}
As a live performance, the user can perform an operation of leading clapping to the
図９Ａ及び図９Ｂは、図７Ａと同様に、画面３ａ内の観客３１の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図９Ａ、図９Ｂにおいて、本体装置２の表示を省略している。本体装置２は、手拍子の先導を検出する場合、マイク４から送信される音声データ４Ａ、動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
9A and 9B show only two
図９Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとして手拍子を先導することができる。本体装置２は、手拍子の先導を検出する場合、手拍子を先導する音声フレーズ（以下、「手拍子フレーズ」と呼ぶ。）を先に検出する（ステップＳ６においてＹｅｓ）。
As shown in FIG. 9A, while the
具体的には、ユーザは、マイク４に手拍子フレーズを入力する。手拍子フレーズは、たとえば、「みんな、手拍子よろしく！！」などである。マイク４は、入力された手拍子フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対して、手拍子フレーズを呼び掛けたと判定する。
Specifically, the user inputs a clapping phrase into the
ユーザは、手拍子フレーズをマイク４に入力した後に、手拍子を先導する動作を行う。図９Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて手拍子をする。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、手拍子の動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
The user performs an operation of leading the clapping after inputting the clapping phrase to the
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、マイク４及びコントローラ５が左右に繰り返し動き、かつ、マイク４が動く方向とコントローラ５が動く方向とが反対方向である場合、パフォーマンス特定部２５は、ユーザが手拍子の動作をしていると判断することができる（ステップＳ７においてＹｅｓ）。つまり、パフォーマンス特定部２５が、手拍子フレーズと、手拍子の動作とを検出することにより、ユーザが手拍子を先導していると判断する。
The
反応指示部２６は、手拍子フレーズを検出したタイミングと、手拍子の動きを検出したタイミングとに基づいて、観客の反応レベルを決定する（ステップＳ８）。反応レベルの決定手順は、基本的には、観客煽りの反応レベルの決定と同様である。また、反応指示部２６は、動き情報４２Ａ，５１Ａを用いて、ユーザの手拍子のリズムを算出し、算出したリズムに基づいて、反応レベルを決定してもよい。たとえば、反応指示部２６は、楽曲の演奏音のリズムとユーザの手拍子のリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
The
反応指示部２６は、観客が手拍子をするリアクションデータ６３，６３・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も、再生部２３に通知される。これにより、楽曲データ６１とともに、観客が手拍子をするリアクションデータ６３が再生されることにより（ステップＳ９）、図９Ｂに示すように、画面３ａ内の観客３１，３１が頭上で手拍子をする映像が表示される。画面３ａに表示する観客のうち、手拍子をする観客の割合は、反応レベルによって変化する。また、手拍子の音量も、反応レベルに基づいて決められた再生条件によって変化する。
The
このように、ユーザが手拍子をする動きに合わせて、画面３ａ内の観客３１，３１が手拍子をする映像が表示されるため、ユーザは、ライブ会場で、観客と一体となって手拍子をするというライブパフォーマンスを疑似的に体験することができる。
In this way, the video of the
｛３．４．ウェーブ（両手を大きく振る動作）の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対してウェーブを先導する動作を行うことができる。ウェーブとは、ライブ会場の観客が、ライブ中の楽曲に合わせて両手を左右に大きく振る動作である。図１０Ａ及び図１０Ｂは、ユーザがウェーブを先導する手順を示す図である。
{3.4. Leading wave (motion of shaking both hands)}
As a live performance, the user can perform an operation of leading the wave to the audience in the
図１０Ａ及び図１０Ｂは、図９Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図１０Ａ、図１０Ｂにおいて、本体装置２の表示を省略している。本体装置２は、ウェーブの先導を検出する場合、マイク４から送信される音声データ４Ａ，動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
10A and 10B show only two
図１０Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとしてウェーブを先導することができる。本体装置２は、ウェーブの先導を検出する場合、ウェーブを呼び掛ける音声フレーズ（以下、「ウェーブフレーズ」と呼ぶ。）を先に検出する。
As shown in FIG. 10A, while the
具体的には、ユーザは、ウェーブフレーズをマイク４に入力する。ウェーブフレーズは、たとえば、「みんな、両手を大きく振って！！」である。マイク４は、入力されたウェーブフレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してウェーブフレーズを呼び掛けたと判定する（ステップＳ６においてＹｅｓ）。
Specifically, the user inputs a wave phrase to the
ユーザは、ウェーブフレーズをマイク４に入力した後に、ウェーブの動作を行う。図１０Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて、頭上で両手を大きく振る。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、ウェーブの動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
The user performs a wave operation after inputting the wave phrase to the
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、パフォーマンス特定部２５が、マイク４及びコントローラ５が左右に繰り返し大きく動く動作を検出し、かつ、マイク４が動く方向と、コントローラ５が動く方向と一致する場合、ユーザがウェーブの動作をしていると判断する。
The
反応指示部２６は、ユーザがウェーブの先導をしていると判定した場合（ステップＳ７においてＹｅｓ）、観客の反応レベルを決定する（ステップＳ８）。ユーザが両手を振るリズムに基づいて、反応レベルが決定される。たとえば、反応指示部２６は、楽曲の演奏音のリズムと、ユーザのウェーブのリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
When it is determined that the user is leading the wave (Yes in step S7), the
反応指示部２６は、観客がウェーブをするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。これにより、再生される楽曲データ６１とともに、観客がウェーブをするリアクションデータ６３が再生されることにより（ステップＳ９）、図１０Ｂに示すように、画面３ａ内の観客３１，３１が頭上でウェーブをする映像が表示される。画面３ａに表示する観客のうち、ウェーブをする観客の割合は、反応レベルによって変化する。
The
ユーザは、ライブパフォーマンスとして手拍子またはウェーブを先導する場合、手拍子フレーズまたはウェーブフレーズを画面３ａ内の観客に対して呼びかけなくてもよい。たとえば、本体装置２は、手拍子フレーズを検出せず、ユーザが手拍子をする動作のみを検出した場合であっても、観客が手拍子をするリアクションデータ６３を再生してもよい。
When a user leads a hand beat or wave as a live performance, the user does not have to call the hand beat phrase or wave phrase to the audience in the
ユーザは、コントローラ５を用いず、マイク４のみを用いて、手拍子またはウェーブを先導してもよい。パフォーマンス特定部２５は、マイク４が繰り返し左右に動いている場合に、ユーザが手拍子またはウェーブを先導していると判定すればよい。このとき、手拍子とウェーブとの違いは、ユーザがマイク４を左右に動かす大きさに区別すればよい。
The user may lead the clapping or wave using only the
｛３．５．入場及び退場｝
ユーザは、ライブパフォーマンスとして、画面３ａに表示されているライブ会場に疑似的に入場したり、退場したりすることができる。
{3.5. Admission and Exit}
As a live performance, the user can enter or leave the live venue displayed on the
最初に、ユーザがライブ会場に疑似的に入場するケースについて説明する。図１１は、ユーザがライブ会場に疑似的に入場する手順を示す図である。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに代えて、マイク４からの無線信号の有無に基づいてユーザの動きを検出する。
First, a case where a user enters a live venue in a pseudo manner will be described. FIG. 11 is a diagram showing a procedure for a user to pseudo-enter a live venue. The
ユーザは、楽曲データ６１の再生が開始される前に、本体装置２が設置された部屋から出て待機する。このとき、本体装置２の無線通信部２１は、マイク４から送信される無線信号を検出することができない。
The user goes out of the room where the
楽曲データ６１の再生が開始された後に、ユーザは、マイク４を持って、カラオケシステム１が設置された部屋へ入る。無線通信部２１は、ユーザが入室した場合、マイク４からの無線信号を検出することができる。パフォーマンス特定部２５は、楽曲データ６１の再生が開始された後に、マイク４からの無線信号を検出した場合、ユーザがライブ会場に入場したと判定する。
After the reproduction of the
ユーザがライブ会場に入場したと判定された場合、反応指示部２６は、観客の反応レベルを決定する。反応指示部２６は、マイク４からの無線信号を検出したタイミングに基づいて、観客の反応レベルを決定する。
When it is determined that the user has entered the live venue, the
反応指示部２６は、シンガーの入場時の観客の反応を示すリアクションデータ６３の再生を、再生部２３に指示する。このとき、リアクションデータ６３の再生条件も、再生部２３に指示される。再生部２３は、ユーザの入場に合わせて、観客が大きく盛り上がる映像と、観客の歓声とが記録されたリアクションデータ６３を再生する。観客の歓声の音量は、再生条件に応じて変更される。
The
次に、ユーザのライブ会場からの退場について説明する。ユーザは、ライブ会場から疑似的に退場する場合、マイク４を持って部屋から退出する。無線通信部２１がマイク４からの無線信号を検出することができなった場合、パフォーマンス特定部２５は、ユーザがライブ会場から退出したと判定する。
Next, the user leaving the live venue will be described. When the user leaves the live venue in a pseudo manner, the user leaves the room with the
反応指示部２６は、ユーザがライブ会場から退場したと判定された場合、観客の反応レベルを決定する。反応指示部２６は、ユーザがライブ会場から退場したタイミングや、ユーザが退場するまでに行われたライブパフォーマンスの反応レベルに基づいて、退場時の反応レベルを決定する。反応レベルが高ければ、反応指示部２６は、観客がアンコールを要求するリアクションデータ６３の再生を再生部２３に指示する。一方、反応レベルが低ければ、反応指示部２６は、観客の歓声の音量を小さくするように再生部２３に指示したり、観客がブーイングをするリアクションデータ６３の再生を再生部２３に指示したりすることができる。
When it is determined that the user has left the live venue, the
また、マイク４に、ユーザが入場及び退場したことを通知するスイッチを設けてもよい。この場合、入場スイッチが押された場合、マイク４は、入場信号を本体装置２に送信する。退場スイッチが押された場合、マイク４は、退場信号を本体装置２に送信する。本体装置２は、入場信号及び退場信号の受信に応じて、観客の反応を変化させる。これにより、ユーザは、本体装置２が設置された部屋から出入りしなくてもよい。
The
このように、ユーザは、歌を歌い出す前、あるいは、歌を歌い終わった後であっても、ライブの臨場感を疑似的に体験することが可能となる。 In this way, the user can experience a live presence in a pseudo manner even before starting to sing a song or after singing a song.
｛３．６．その他のライブパフォーマンス｝
ユーザは、上述したライブパフォーマンスの他に、様々なライブパフォーマンスを行うことができる。
{3.6. Other live performances}
The user can perform various live performances in addition to the live performance described above.
たとえば、ユーザは、コントローラ５を持つ左手を大きく回しながら、右手にマイク４を持って歌ってもよい。この場合、コントローラ５は、コントローラ５が回転する動きを示す動き情報５１Ａを、本体装置２に送信する。パフォーマンス特定部２５は、動き情報５１Ａに基づいて、ユーザの左手の動きを特定する。この場合、ユーザの動きに合わせて観客が左手を回す映像が記録されたリアクションデータが、楽曲データ６１とともに再生される。
For example, the user may sing with the
ユーザは、上述のライブパフォーマンスを組み合わせたパフォーマンスを行ってもよい。たとえば、ユーザは、ライブパフォーマンスとして、合唱の先導とウェーブの先導とを同時に行ってもよい。ユーザは、合唱フレーズをマイク４に入力した後に、図１０Ｂに示すウェーブの動作を行う。パフォーマンス特定部２５は、検出した合唱フレーズに基づいて、ユーザが合唱を先導していると判定し、検出したユーザの両手の動きに基づいてウェーブを先導していると判定する。この結果、画面３ａには、観客がウェーブをする映像が表示される。また、再生中の楽曲の演奏音と、観客が合唱する歌声とが、同時にモニタ３から出力される。
The user may perform a performance combining the above-described live performance. For example, the user may simultaneously perform chorus lead and wave lead as a live performance. The user performs the wave operation shown in FIG. 10B after inputting the choral phrase into the
｛４．ライブパフォーマンス以外の機能｝
｛４．１．観客指定機能｝
ユーザは、カラオケシステム１を用いてカラオケをする場合、ライブ会場の観客の客層を指定することができる。ユーザは、設定した客層に応じたライブパフォーマンスを行う必要がある。
{4. Functions other than live performance}
{4.1. Audience designation function}
When karaoke is performed using the karaoke system 1, the user can specify the audience of the audience at the live venue. The user needs to perform live performance according to the set customer segment.
図１２は、ライブの客層を設定する設定画面を示す図である。ユーザは、図示しないリモコンを操作して、観客の客層を性別、年齢に基づいて設定する。性別設定では、ユーザは、男性主体、女性主体、及び中間のいずれかを指定する。男性主体は、観客の男性の比率が、８０％に設定されることを示す。女性主体は、観客の女性の比率が、８０％に設定されることを示す。中間とは、観客の男性の比率と女性との比率が５０％ずつであることを示す。年齢設定では、ユーザは、１５〜２５歳、２５〜４５歳、及び４５歳以上のいずれかから選択する。年齢設定により、ユーザが選択した年齢層の観客の比率が、７０％に設定される。この結果、楽曲データ６１とともに、設定された客層に応じた観客映像データ６２が再生される。
FIG. 12 is a diagram showing a setting screen for setting a live customer segment. The user operates a remote controller (not shown) to set the audience audience based on gender and age. In the gender setting, the user designates a male subject, a female subject, or an intermediate. The male subject indicates that the ratio of male spectators is set to 80%. The female subject indicates that the ratio of female audience members is set to 80%. The intermediate means that the ratio of males to females is 50%. In the age setting, the user selects from 15 to 25 years old, 25 to 45 years old, and 45 years old or older. By the age setting, the ratio of the audience in the age group selected by the user is set to 70%. As a result, together with the
客層が設定された場合、観客の反応レベルは、ユーザが選択した楽曲や、ユーザが行うライブパフォーマンスに応じて変化する。このため、ユーザは、観客の客層を意識して、ライブパフォーマンスを行う必要がある。たとえば、ユーザは、４５歳以上で女性主体の客層を指定した場合、比較的ゆっくりとしたテンポの楽曲を選択し、観客に対して激しい動きを要求しないライブパフォーマンス（ウェーブ先導など）を行うことによって、反応レベルを上げることができる。一方、同様の客層でハードロック系の楽曲を先導し、ライブパフォーマンスとして観客煽りを繰り返し行った場合、観客の反応レベルは低くなる。このように、観客の客層を設定することにより、ユーザは、様々な観客を対象にしたライブを疑似的に経験することができる。 When the audience is set, the audience reaction level changes according to the music selected by the user and the live performance performed by the user. For this reason, the user needs to perform a live performance in consideration of the audience of the audience. For example, when a user designates a female-centered audience who is over 45 years old, by selecting a relatively slow tempo music and performing a live performance (such as wave guidance) that does not require intense movement for the audience , Can increase the reaction level. On the other hand, when a hard rock music is led by the same audience and the audience is repeatedly struck as a live performance, the audience's reaction level becomes low. In this way, by setting the audience layer of the audience, the user can experience a simulated live performance for various audiences.
｛４．２．対戦モード｝
カラオケシステム１は、複数のユーザがライブパフォーマンスの出来を競い合う対戦モードを実行することができる。以下、対戦モードの実行時における、本体装置２の動作について説明する。
{4.2. Battle mode}
The karaoke system 1 can execute a battle mode in which a plurality of users compete for live performance. Hereinafter, the operation of the
対戦モードでは、二人のユーザが交互にライブパフォーマンスを行う。ここでは、歌詞が３番まである楽曲を用いて、対戦が行われるケースを説明する。最初に、第１のユーザが、ライブパフォーマンスを行いながら、楽曲の１番を歌う。次に、第２のユーザがライブパフォーマンスを行いながら、楽曲の２番を歌う。このとき、第１のユーザ及び第２のユーザは、マイク４及びコントローラ５を共用する。しかし、複数のマイク４及びコントローラ５を、対戦モードを行う人数分用意してもよい。
In the battle mode, two users perform live performance alternately. Here, the case where a battle | competition is performed using the music which has the lyrics to the 3rd is demonstrated. First, the first user sings song 1 while performing a live performance. Next, the second user sings the second piece of music while performing a live performance. At this time, the first user and the second user share the
各ユーザが行うライブパフォーマンスは、本体装置２により採点される。第１のユーザ及び第２のユーザのうち、得点の高いユーザが、演奏中の楽曲の３番を歌うことができる。
The live performance performed by each user is scored by the
ライブパフォーマンスの採点方法について説明する。上述したように、本体装置２は、ユーザが行ったライブパフォーマンスを行うたびに反応レベルを決定している。本体装置２は、第１のユーザがライブパフォーマンスを行うたびに、決定した反応レベルに基づいて各パフォーマンスを採点する。第１ユーザが行ったライブパフォーマンスごとの点数の総和が、第１ユーザの得点として算出される。第２ユーザの得点も、同様に算出される。
Explain how to score live performances. As described above, the
第２のユーザがライブパフォーマンスを終了した後に、各ユーザの得点が画面３ａに表示される。勝者となったユーザが、楽曲の３番でライブパフォーマンスを行うことができる。このように、対戦モードを設けることにより、複数のユーザがライブパフォーマンスを競い合うという新たなカラオケシステムを提供することができる。
After the second user finishes the live performance, the score of each user is displayed on the
｛変形例｝
マイク４及びコントローラ５は、バイブレーション機能を備えていてもよい。たとえば、本体装置２の反応指示部２６は、観客の反応レベルが一定のレベルを超えた場合、マイク４及びコントローラ５に振動指示信号を送信する。マイク４及びコントローラ５は、振動指示信号を受信した場合、一定の時間（３秒程度）、自装置を振動させる。これにより、ユーザは、画面３ａ内の観客の映像だけでなく、マイク４及びコントローラ５を介して観客の反応を知ることができる。
{Modifications}
The
本体装置２は、ライブ会場の選択機能を設けてもよい。この場合、ユーザは、図示しないリモコンを操作することにより、アリーナ、野球場、及びコンサートホールなどをライブ会場として選択することができる。本体装置２は、選択された会場に応じた観客映像データを再生する。これにより、ユーザは、ライブのシンガーとして、様々なライブ会場でのライブパフォーマンスを疑似的に経験することができる。
The
図２に示すように、本体装置２が音声認識部２４を備える例を説明したが、マイク４が音声認識部２４を備えていてもよい。マイク４は、フレーズ情報２４Ａが音声認識部２４により生成されるたびに、生成されたフレーズ情報２４をリアルタイムに本体装置２に送信する。
As illustrated in FIG. 2, the example in which the
リアクションデータ６３が、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである例を説明した。しかし、リアクションデータ６３は、聴衆の反応を示す音声のみが記録されたデータであってもよい。たとえば、観客煽りに対する観客の歓声や、手拍子の先導に対する手拍子、聴衆のブーイングなどが記録されたデータを、リアクションデータ６３として用いることができる。
The example in which the
リアクションデータ６３は、上述のような、ライブパフォーマンスに対する観客の動作を具体的に示すデータでなく、観客の反応を象徴的に示すデータであってもよい。たとえば、リアクションデータ６３として、ライブ会場から複数の打ち上げ花火が上がる映像が記録されたデータを用いることができる。反応指示部２６が反応レベルに応じて打ち上げ花火の数を変更することにより、ユーザは、ライブパフォーマンスに対する観客の反応を知ることができる。あるいは、反応指示部２６は、反応レベルが低いときのリアクションデータ６３として、観客のいないライブ会場の映像が記録されたデータや、荒れ狂う海が記録されたデータを選択してもよい。
The
１ カラオケシステム
２ 本体装置
３ モニタ
３ａ 画面
４ マイク
５ コントローラ
２１，４３，５２ 無線通信部
２２ データ取得部
２３ 再生部
２４ 音声認識部
２５ パフォーマンス特定部
２６ 反応指示部
４２、５１ センサ部
DESCRIPTION OF SYMBOLS 1
Claims (18)
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記音声入力装置は、
前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device that is held by a user and outputs voice input by the user as voice data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
With
The voice input device includes:
A first motion information output unit that outputs first motion information indicating the motion of the voice input device;
Including
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Amusement system including.
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device that is held by a user and outputs voice input by the user as voice data;
An imaging device that images the user and outputs video data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
With
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Amusement system including.
前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択するアミューズメントシステム。 In the amusement system according to claim 1 or 2,
The reaction instruction unit determines a response level of the audience with respect to the specified performance based on at least one of the phrase information and the first motion information, and based on the response level of the audience, the reproduction reaction data Choose an amusement system.
前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示するアミューズメントシステム。 In the amusement system according to claim 3,
An amusement system in which the reaction instruction unit determines a reproduction condition of the reproduction reaction data based on a reaction level of the audience, and instructs the reproduction unit of the reproduction condition.
前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、
前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定するアミューズメントシステム。 In the amusement system according to claim 3 or claim 4,
The playback unit plays back the audience status data according to the audience of the audience set by the user,
The said reaction instruction | indication part is an amusement system which determines the reaction level of the said audience based on the audience of the said audience.
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit calls the user a specific phrase in a question format based on the phrase information, and the direction of the voice input device is reversed based on the first movement information. If it is determined that the user has performed a performance of scolding the audience,
The reaction instruction unit is an amusement system that selects, as the reproduction reaction data, reaction data in which video and audio in which an audience responds to the specific phrase all at once are recorded.
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit calls a specific phrase for the user to request chorus based on the phrase information, and the direction of the voice input device is reversed based on the first movement information. If it is determined that the user has performed a performance requesting chorus from the audience,
The reaction instruction unit is an amusement system that selects reaction data in which video and audio sung by the audience are recorded as the reproduction reaction data.
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
When the performance identifying unit determines that the user is clapping based on the motion information, the performance identifying unit determines that the user has performed a performance that leads the clapping,
An amusement system in which the reaction instruction unit selects reaction data in which video and clapping sounds recorded by the audience are recorded as the reproduction reaction data.
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択するアミューズメントシステム。 In the amusement system according to any one of claims 1 to 5,
The performance specifying unit determines that the user has performed a performance requesting an operation of waving both hands to the audience when it is determined that the user is performing an operation of waving an arm based on the movement information. ,
The reaction instruction unit is an amusement system that selects reaction data in which a video of the audience shaking hands is recorded as the reproduction reaction data.
前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、
を備え、
前記コントローラは、
前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、
を含み、
前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定するアミューズメントシステム。 The amusement system according to any one of claims 1 and 3 to 9, further comprising:
A controller that the user holds with the hand opposite to the hand holding the voice input device;
With
The controller is
A second motion information output unit for outputting second motion information indicating the motion of the controller;
Including
The performance specifying unit is an amusement system that specifies the performance of the user based on the second motion information.
前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点するアミューズメントシステム。 In the amusement system according to any one of claims 3 to 10,
The reaction instruction unit scores all performances performed in the first part of the music data based on the audience's response level for each performance, and performs all performances performed in the second part of the music data. An amusement system for scoring a game based on the audience's level of response to each performance.
ユーザが保持する音声入力装置と、
を備え、
前記音声入力装置は、
前記本体装置と無線通信を行う無線通信部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。 A main unit,
A voice input device held by the user;
With
The voice input device includes:
A wireless communication unit for performing wireless communication with the main device,
Including
The main unit is
A playback unit that plays back the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on the presence or absence of a radio signal transmitted from the voice input device;
A reaction instruction that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data in which audio or video indicating the reaction of the audience is recorded, and instructs the reproduction unit to reproduce the reproduction reaction data And
Amusement system including.
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定するアミューズメントシステム。 The amusement system according to claim 12,
An amusement system in which the performance specifying unit determines that the user has entered a virtual live venue when the wireless signal is detected after the reproduction of the music data is started.
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定するアミューズメントシステム。 The amusement system according to claim 12 or claim 13,
The performance specifying unit determines that the user has left the virtual live venue when the wireless signal cannot be detected after the music data has started to be reproduced.
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。 A voice input device that is held by a user, outputs voice input by the user as voice data, and outputs first motion information indicating the movement of the device;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
A computer installed in a communicable main unit
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。 A voice input device that is held by a user and outputs voice input by the user as voice data;
An imaging device that images the user and outputs video data;
A speech recognition device that performs speech recognition processing on the speech data and generates phrase information indicating a phrase spoken by the user;
A computer installed in a communicable main unit
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A video analysis unit that analyzes the video data and generates first motion information indicating the movement of the user;
A performance identifying unit that identifies the performance of the user based on at least one of the phrase information and the first motion information;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
A computer installed in the main unit capable of wireless communication with the voice input device held by the user,
A reproducing unit that reproduces the music data selected by the user and audience status data in which at least one of video and audio indicating the status of the audience is recorded;
A performance identifying unit that identifies the performance of the user based on the presence or absence of a radio signal transmitted from the voice input device;
A reaction instruction unit that selects reproduction reaction data corresponding to the specified performance from a plurality of reaction data indicating the reaction of the audience, and instructs the reproduction unit to reproduce the reproduction reaction data;
Program to function as.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010235043A JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
| PCT/JP2011/073131 WO2012053371A1 (en) | 2010-10-20 | 2011-10-06 | Amusement system |
| US13/877,029 US9601118B2 (en) | 2010-10-20 | 2011-10-06 | Amusement system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010235043A JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012088521A true JP2012088521A (en) | 2012-05-10 |
| JP5553446B2 JP5553446B2 (en) | 2014-07-16 |
Family
ID=46260201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010235043A Expired - Fee Related JP5553446B2 (en) | 2010-10-20 | 2010-10-20 | Amusement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5553446B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016057357A (en) * | 2014-09-05 | 2016-04-21 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
| JP2016161930A (en) * | 2015-03-05 | 2016-09-05 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
| JP2016166928A (en) * | 2015-03-09 | 2016-09-15 | 高橋 勝治 | Performance device, performance method, program, and amusement system |
| JP2016183989A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Information processing device and program |
| JP2017181661A (en) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | Support device |
| KR101809617B1 (en) * | 2016-05-20 | 2017-12-15 | 박건웅 | My-concert system |
| KR20190074017A (en) * | 2017-12-19 | 2019-06-27 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
| CN110047346A (en) * | 2019-04-29 | 2019-07-23 | 惠州城市职业学院 | The emulation mode and simulated teaching experience system of virtual emulation practice teaching platform |
| JP2019126416A (en) * | 2018-01-22 | 2019-08-01 | 株式会社カプコン | Game program and game machine |
| JP2020017868A (en) * | 2018-07-25 | 2020-01-30 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
| JP2020134901A (en) * | 2019-02-26 | 2020-08-31 | 株式会社第一興商 | Karaoke system |
| JP2020166141A (en) * | 2019-03-29 | 2020-10-08 | 株式会社第一興商 | Karaoke device |
| JP2020181082A (en) * | 2019-04-25 | 2020-11-05 | 株式会社第一興商 | Karaoke system |
| JP2022121431A (en) * | 2018-07-25 | 2022-08-19 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029480A (en) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | Musical tone reproducing device |
| JP2011053276A (en) * | 2009-08-31 | 2011-03-17 | Daiichikosho Co Ltd | Karaoke system including background image variable display function |
| JP2011154289A (en) * | 2010-01-28 | 2011-08-11 | Daiichikosho Co Ltd | Karaoke machine for enjoying mood for urging audience to sing in chorus |
-
2010
- 2010-10-20 JP JP2010235043A patent/JP5553446B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029480A (en) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | Musical tone reproducing device |
| JP2011053276A (en) * | 2009-08-31 | 2011-03-17 | Daiichikosho Co Ltd | Karaoke system including background image variable display function |
| JP2011154289A (en) * | 2010-01-28 | 2011-08-11 | Daiichikosho Co Ltd | Karaoke machine for enjoying mood for urging audience to sing in chorus |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016057357A (en) * | 2014-09-05 | 2016-04-21 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
| JP2016161930A (en) * | 2015-03-05 | 2016-09-05 | ブラザー工業株式会社 | Reproduction control device, program, and reproduction system |
| JP2016166928A (en) * | 2015-03-09 | 2016-09-15 | 高橋 勝治 | Performance device, performance method, program, and amusement system |
| JP2016183989A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Information processing device and program |
| JP2017181661A (en) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | Support device |
| KR101809617B1 (en) * | 2016-05-20 | 2017-12-15 | 박건웅 | My-concert system |
| KR20190074017A (en) * | 2017-12-19 | 2019-06-27 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
| KR102030541B1 (en) * | 2017-12-19 | 2019-10-10 | 주식회사 한글과컴퓨터 | Hmd device for enabling vr-based presentation exercises and operating method thereof |
| JP2019126416A (en) * | 2018-01-22 | 2019-08-01 | 株式会社カプコン | Game program and game machine |
| JP2020017868A (en) * | 2018-07-25 | 2020-01-30 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
| JP7093006B2 (en) | 2018-07-25 | 2022-06-29 | 株式会社ミクシィ | Information processing equipment, video distribution method and video distribution program |
| JP2022121431A (en) * | 2018-07-25 | 2022-08-19 | 株式会社ミクシィ | Information processing apparatus, moving image distribution method, and moving image distribution program |
| JP7311815B2 (en) | 2018-07-25 | 2023-07-20 | 株式会社Mixi | Information processing device, video distribution method, and video distribution program |
| JP2020134901A (en) * | 2019-02-26 | 2020-08-31 | 株式会社第一興商 | Karaoke system |
| JP2020166141A (en) * | 2019-03-29 | 2020-10-08 | 株式会社第一興商 | Karaoke device |
| JP7158331B2 (en) | 2019-03-29 | 2022-10-21 | 株式会社第一興商 | karaoke device |
| JP2020181082A (en) * | 2019-04-25 | 2020-11-05 | 株式会社第一興商 | Karaoke system |
| JP7249859B2 (en) | 2019-04-25 | 2023-03-31 | 株式会社第一興商 | karaoke system |
| CN110047346A (en) * | 2019-04-29 | 2019-07-23 | 惠州城市职业学院 | The emulation mode and simulated teaching experience system of virtual emulation practice teaching platform |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5553446B2 (en) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5553446B2 (en) | Amusement system | |
| JP4307193B2 (en) | Program, information storage medium, and game system | |
| JP4327578B2 (en) | Program, information storage medium, and game system | |
| TW200951764A (en) | Gesture-related feedback in electronic entertainment system | |
| JP6515057B2 (en) | Simulation system, simulation apparatus and program | |
| WO2012053371A1 (en) | Amusement system | |
| JP6419932B1 (en) | Program for supporting performance of musical instrument in virtual space, method executed by computer to support selection of musical instrument, and information processing apparatus | |
| KR20080003738A (en) | System for playing video and audio data bidirectionally and method therefor | |
| EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| JP2015025934A (en) | Music performance device and music performance program | |
| JP2006346284A (en) | After-recording experience device and after-recording experience program | |
| WO2018008434A1 (en) | Musical performance presentation device | |
| JP6065225B2 (en) | Karaoke equipment | |
| JP4516944B2 (en) | Karaoke singing assistance system | |
| JP6196839B2 (en) | A communication karaoke system characterized by voice switching processing during communication duets | |
| JP2014123085A (en) | Device, method, and program for further effectively performing and providing body motion and so on to be performed by viewer according to singing in karaoke | |
| JP6603734B2 (en) | GAME PROGRAM AND GAME DEVICE | |
| WO2023084933A1 (en) | Information processing device, information processing method, and program | |
| JP5486467B2 (en) | Amusement system | |
| JP2019101413A (en) | Program for assisting in performing musical instrument in virtual space, computer-implemented method for assisting in selecting musical instrument, and information processor | |
| JP6065224B2 (en) | Karaoke equipment | |
| JP2005087716A (en) | Program, information storage medium and game system | |
| JP2020052891A (en) | Program, image generating method, and game apparatus | |
| WO2023281820A1 (en) | Information processing device, information processing method, and storage medium | |
| JP6867543B1 (en) | Information processing equipment, information processing methods and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5553446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |