JP2023050570A - Effect sound mixing device - Google Patents

Abstract

To add more natural effect sound of a listener to a music piece.SOLUTION: An effect sound mixing device acquires a feature amount of a music piece including clarity of beats of the music piece, and determines whether or not effect sound is mixed into the music piece on the basis of the clarity of the beats of the music piece.SELECTED DRAWING: Figure 4

Description

本発明は、効果音混合装置に関する。 The present invention relates to a sound effect mixer.

楽曲に効果音を付与し、ライブ会場の雰囲気を味わえるようにする技術が知られている。例えば、特許文献１には、カラオケ効果音システムが開示されており、このカラオケ効果音設定システムでは、楽曲のジャンルに応じて効果音の種別が設定され、選択されたライブ会場の規模に応じて効果音の出力態様（手拍子や歓声を発する人数）が設定されている。 A technique is known for adding sound effects to music so that the audience can enjoy the atmosphere of a live venue. For example, Patent Document 1 discloses a karaoke sound effect system. In this karaoke sound effect setting system, the type of sound effect is set according to the genre of the song, and according to the scale of the selected live venue. The output mode of sound effects (number of people clapping or cheering) is set.

特開２０１６－７０９９９号公報JP 2016-70999 A

ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。特許文献１では、すべての曲に手拍子を入れており、特許文献１には、このような課題を解決するための技術が開示されていない。 At a live venue, the audience sometimes catches the rhythm by clapping their hands or stamping their feet in time with the music. However, the audience does not take rhythm by clapping their hands or the like to all the songs that are played. In Patent Document 1, all songs are clapped, and Patent Document 1 does not disclose a technique for solving such a problem.

本発明が解決しようとする課題としては、聴者にとってより自然な効果音を楽曲に付与することが一例として挙げられる。 One example of the problem to be solved by the present invention is to add sound effects to music that are more natural for listeners.

上記課題を解決するために、請求項１に記載の発明は、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。 In order to solve the above problems, the invention according to claim 1 provides a music feature amount acquisition unit that acquires a feature amount of a song including the articulation of the beat of the song, and , and an output determination unit that determines whether or not to mix sound effects with the music.

請求項３に記載の発明は、楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。 The invention according to claim 3 is characterized by: a music feature amount acquiring unit for acquiring the feature amount of the song including the number of beats per unit time of the song and the uniformity of the volume level at the position of the beat of the song; and an output determination unit that determines whether or not to mix sound effects with the music based on the number of beats per unit time of the music and the uniformity of the sound volume levels at the positions of the beats of the music.

請求項６に記載の発明は、楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。 The invention according to claim 6 is characterized by: a music feature amount obtaining unit for obtaining a music feature amount including the number of beats per unit time of the music; and an output determination unit that determines whether or not to mix sound effects with the music.

請求項６に記載の発明は、コンピュータにより実行される効果音混合方法であって、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。 A sixth aspect of the invention is a sound effect mixing method executed by a computer, comprising: and an output determination step of determining whether or not to mix sound effects with the music based on the intelligibility.

請求項７に記載の発明は、請求項６に記載の効果音混合方法を、コンピュータに実行させる。 According to a seventh aspect of the invention, a computer executes the sound effect mixing method according to the sixth aspect.

請求項８に記載の発明は、請求項７に記載の効果音混合プログラムを記憶している。 According to an eighth aspect of the invention, the sound effect mixing program according to the seventh aspect is stored.

本発明の一実施例に係る効果音混合装置１００である。1 is a sound effect mixer 100 according to an embodiment of the present invention; 楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。4A and 4B are diagrams showing examples of music output by a music output unit 120 and sound effect output by a sound effect output unit 130. FIG. 効果音混合装置１００における処理動作の一例を示す図である。FIG. 5 is a diagram showing an example of processing operations in the sound effect mixing device 100; 効果音混合装置１００における処理動作の一例を示す図である。FIG. 5 is a diagram showing an example of processing operations in the sound effect mixing device 100;

本発明の一実施形態に係る効果音出力装置は、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。 A sound effect output device according to an embodiment of the present invention includes: a music feature amount acquiring unit that acquires a feature amount of a song including the articulation of beats of the song; and an output determination unit that determines whether or not to mix the sound effect into the output. Therefore, in the present embodiment, it is possible to add sound effects only to songs that have a good rhythm. As a result, it is possible to add more natural sound effects to the music for listeners, and to make the listeners feel the atmosphere of being in a live venue.

前記楽曲の特徴量は、前記楽曲の単位時間あたりの拍の数を含み、前記出力決定部は、前記楽曲の拍の明瞭度および前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、拍が明瞭なノリのいい曲にのみに、効果音を付与することが可能になる。 The feature amount of the music includes the number of beats per unit time of the music, and the output determination unit determines the number of beats per unit time of the music based on the clarity of beats of the music and the number of beats per unit time of the music. It may be determined whether or not to mix the sound effect with the sound. By doing so, it is possible to add sound effects only to songs with clear beats and good rhythm.

本発明の一実施形態に係る効果音出力装置は、楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能であり、かつ、テンポが速すぎる「４つ打ち」の曲には、効果音を混合しないようにすることが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。 A sound effect output device according to an embodiment of the present invention acquires a feature amount of a song including the number of beats per unit time of the song and the uniformity of the volume level at the position of the beat of the song. an acquisition unit, an output determination unit that determines whether or not to mix a sound effect with the music based on the number of beats per unit time of the music and the uniformity of the volume level at the position of the beat of the music; have For this reason, in the present embodiment, it is possible to add sound effects only to songs that have a good groove, and to avoid adding sound effects to "4-on-the-floor" songs that are too fast in tempo. It is possible to As a result, it is possible to add more natural sound effects to the music for listeners, and to make the listeners feel the atmosphere of being in a live venue.

前記楽曲の特徴量は、楽曲の拍の明瞭度を含み、前記出力決定部は、前記楽曲の拍の明瞭度、前記楽曲の単位時間あたりの拍の数、および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、拍が明瞭なノリのいい曲にのみに、効果音を付与することが可能になる。 The feature quantity of the music includes the clarity of the beat of the music, and the output determination unit determines the clarity of the beat of the music, the number of beats per unit time of the music, and the volume at the position of the beat of the music. Whether or not to mix sound effects with the music may be determined based on the level uniformity. By doing so, it is possible to add sound effects only to songs with clear beats and good rhythm.

前記出力決定部は、前記楽曲の音量レベルが曲の始まりから所定の時間が経過するまで所定の音量レベルより小さいままであるならば、前記楽曲に効果音を混合しないと決定するようにしても良い。このようにすることで、イントロが長いなどの特殊な曲には、効果音を混合しないようにすることが可能になる。 The output determining unit may determine not to mix sound effects with the music if the volume level of the music remains below a predetermined volume level until a predetermined time has elapsed from the beginning of the music. good. By doing so, it is possible not to mix sound effects with special songs such as long intros.

本発明の一実施形態に係る効果音出力装置は、楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。 A sound effect output device according to an embodiment of the present invention includes a music feature amount acquisition unit that acquires a music feature amount including the number of beats per unit time of the music, and the number of beats per unit time of the music. and an output determining unit that determines whether or not to mix a sound effect with the music based on the above. Therefore, in the present embodiment, it is possible to add sound effects only to songs that have a good rhythm. As a result, it is possible to add more natural sound effects to the music for listeners, and to make the listeners feel the atmosphere of being in a live venue.

前記出力決定部は、前記楽曲の単位時間あたりの拍の数が所定の範囲内にないならば、前記楽曲に効果音を混合しないと決定するようにしても良い。このようにすることで、テンポが速すぎ、手拍子等でリズムが取るのが難しい曲に、効果音を混合しないようにすることが可能になる。 The output determination unit may determine not to mix sound effects with the music if the number of beats per unit time of the music is not within a predetermined range. By doing so, it is possible to prevent sound effects from being mixed with a piece of music that is too fast in tempo and difficult to catch the rhythm by hand clapping or the like.

また、本発明の一実施形態にかかる効果音出力方法は、コンピュータにより実行される効果音混合方法であって、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。 Further, a sound effect output method according to an embodiment of the present invention is a sound effect mixing method executed by a computer, and includes a music feature amount acquiring step of acquiring the feature amount of the music including the clarity of the beat of the music. and an output determination step of determining whether or not to mix sound effects with the music based on the clarity of beats of the music. Therefore, in the present embodiment, it is possible to add sound effects only to songs that have a good rhythm. As a result, it is possible to add more natural sound effects to the music for listeners, and to make the listeners feel the atmosphere of being in a live venue.

また、本発明の一実施形態に係る効果音出力プログラムは、上記の効果音出力方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 A sound effect output program according to an embodiment of the present invention causes a computer to execute the above sound effect output method. By doing so, it is possible to make the listeners feel more the atmosphere of being in a live venue by using a computer.

また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の効果音出力プログラムを記憶している。このようにすることで、上記の効果音出力プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。 A computer-readable storage medium according to an embodiment of the present invention stores the above sound effect output program. By doing so, the above-mentioned sound effect output program can be distributed as a single unit instead of being incorporated into a device, and it becomes possible to easily upgrade the program.

＜効果音混合装置１００＞
図１は、本発明の一実施例に係る効果音混合装置１００である。効果音混合装置１００は、聴者がライブ会場で楽曲を聴いているような雰囲気を味わえるようにするために、楽曲に効果音を混合（付与）して出力する。そこで、効果音混合装置１００は、楽曲のデータや効果音用の音源データなどを記憶する記憶部１１０と、楽曲を出力する楽曲出力部１２０と、効果音を出力する効果音出力部１３０と、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する混合部１４０と、を有する。混合部１４０により効果音が混合された楽曲の音は、スピーカなどの音出力装置から出力される。 <Sound effect mixer 100>
FIG. 1 shows a sound effect mixer 100 according to one embodiment of the present invention. The sound effect mixing device 100 mixes (appends) sound effects to music and outputs them so that listeners can enjoy the atmosphere of listening to music at a live venue. Therefore, the sound effect mixing device 100 includes a storage unit 110 that stores music data and sound source data for sound effects, a music output unit 120 that outputs music, a sound effect output unit 130 that outputs sound effects, and a mixing unit 140 for mixing the music output from the music output unit 120 with the sound effect output from the sound effect output unit 130 . The sound of the music with the sound effects mixed by the mixing unit 140 is output from a sound output device such as a speaker.

記憶部１１０は、楽曲のデータや効果音用の音源データを記憶する。記憶部１１０は、ハードディスクやフラッシュメモリなどの記憶装置である。 The storage unit 110 stores music data and sound source data for sound effects. The storage unit 110 is a storage device such as a hard disk or flash memory.

楽曲出力部１２０は、楽曲を出力する。楽曲出力部１２０は、例えば、記憶部１１０やＣＤ（Ｃｏｍｐｃｔ Ｄｉｓｃ）、クラウド上などに記憶された楽曲のデータを取得し、この取得したデータから楽曲の信号を生成し、生成された楽曲の信号を出力する。 The music output unit 120 outputs music. The music output unit 120 acquires music data stored in, for example, the storage unit 110, a CD (Compact Disc), the cloud, or the like, generates a music signal from the acquired data, and outputs the generated music signal. to output

効果音出力部１３０は、効果音を出力する。効果音出力部１３０は、例えば、記憶部１１０に記憶された効果音用の音源データを取得し、この取得した音源データから効果音の信号を生成し、生成された効果音の信号を出力する。 The sound effect output unit 130 outputs sound effects. The sound effect output unit 130, for example, acquires the sound source data for the sound effect stored in the storage unit 110, generates a sound effect signal from the acquired sound source data, and outputs the generated sound effect signal. .

効果音としては、ライブ会場において楽曲に始まりや終わりに生じる歓声や拍手などの第１の効果音、ライブ会場において常時発生している環境音（ざわつき）などの第２の効果音、ライブ会場において楽曲のリズムや拍に合わせて行われる手拍子などの第３の効果音がある。 As sound effects, there are primary sound effects such as cheers and applause that occur at the beginning and end of songs at live venues, secondary sound effects such as environmental sounds that are always occurring at live venues, and sound effects at live venues. There is a third sound effect such as hand clapping performed in time with the rhythm and beat of the music.

図２は、楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。図２に示した例では、第１の効果音（歓声や拍手など）は、楽曲中や、楽曲の始まりの部分と終わりの部分に付与される。第２の効果音（環境音）は、楽曲の出力が始まる前から出力され、楽曲が再生されている間はずっと出される。第３の効果音（手拍子など）は、下記で詳述するように、楽曲が出力されている間に、楽曲の拍やテンポに同期して出力される。 FIG. 2 is a diagram showing an example of music output by the music output unit 120 and sound effect output by the sound effect output unit 130 . In the example shown in FIG. 2, the first sound effects (cheers, applause, etc.) are added during the music or at the beginning and end of the music. The second sound effect (environmental sound) is output before the output of the music starts, and is output while the music is being played. The third sound effect (such as hand clapping) is output in synchronization with the beat and tempo of the music while the music is being output, as will be described in detail below.

第３の効果音は、楽曲の拍のすべてに同期して出力されるようにしても良いし、楽曲の拍のの一部に同期して出力されるようにしても良い。例えば、ライブ会場において、観客は、ノリのいい曲に対して、いわゆる裏打ちをする。つまり、観客は、４分の４拍子の曲であれば、各小節において２拍目の位置と４拍目の位置に手拍子を入れる。そこで、楽曲が４分の４拍子である場合は、小節ごとに、２拍目の位置と４拍目の位置に、第３の効果音が出力されるようにしても良い。また、パターン化した手拍子を入れるようにしても良い。 The third sound effect may be output in synchronization with all the beats of the music, or may be output in synchronization with some of the beats of the music. For example, at a live venue, the audience backs up a song with a good vibe. In other words, if the music is in 4/4 time, the audience will clap their hands at the second and fourth beats in each measure. Therefore, if the music is in 4/4 time, the third sound effect may be output at the positions of the 2nd and 4th beats of each measure. Also, a clapping pattern may be inserted.

混合部１４０は、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合し、効果音が混合された楽曲を出力する。混合部１４０は、例えば、複数の信号を加算して、加算された信号を出力する装置であり、楽曲出力部１２０から出力された楽曲の信号と効果音出力部１３０から出力された効果音の信号とを加算し、加算された信号を出力する。 The mixing unit 140 mixes the sound effects output from the sound effect output unit 130 with the music output from the music output unit 120, and outputs the music with the sound effects mixed. The mixing unit 140 is, for example, a device that adds a plurality of signals and outputs the added signal. and output the added signal.

さらに、効果音混合装置１００は、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する制御部１５０を有する。制御部１５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを有するコンピュータにより構成される。 Furthermore, the sound effect mixing apparatus 100 has a control section 150 that controls the output of music from the music output section 120 and the output of sound effects from the sound effect output section 130 . The control unit 150 is configured by a computer including, for example, a CPU (Central Processing Unit).

制御部１５０は、例えば、楽曲の特徴量を取得する楽曲特徴量取得部１５１と、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択するモード選択部１５２と、楽曲特徴量取得部１５１により取得された楽曲の特徴量やモード選択部１５２により選択されたモードに基づいて、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する出力制御部１５３と、を有する。 The control unit 150 includes, for example, a music feature amount acquisition unit 151 that acquires the feature amount of a song, and a mode selection unit 152 that selects one mode from a plurality of modes related to the tone and genre of the song, the scale of the live venue, and the like. Then, based on the music feature amount acquired by the music feature amount acquisition unit 151 and the mode selected by the mode selection unit 152, the music output unit 120 outputs music and the sound effect output unit 130 outputs sound effects. and an output control unit 153 that controls the output.

楽曲特徴量取得部１５１は、楽曲の特徴量を取得する。楽曲の特徴量は、例えば、楽曲の音量、楽曲の拍の位置、単位時間あたりの拍の数（例えば、ＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ））、楽曲の拍子、楽曲の拍の明瞭度、楽曲の拍の位置における音量レベルの均等度、楽曲に使用される和音の種類の数、単位時間あたりの和音の数、和音の明瞭度、各帯域のパワー、楽曲のサビの位置などである。 The music feature amount acquisition unit 151 acquires a music feature amount. The feature values of a song are, for example, the volume of the song, the position of the beat of the song, the number of beats per unit time (e.g., BPM (Beats Per Minute)), the beat of the song, the clarity of the beat of the song, and the beat of the song. , the number of types of chords used in the music, the number of chords per unit time, the clarity of the chords, the power of each band, the position of the chorus of the music, and the like.

楽曲特徴量取得部１５１は、楽曲を解析することで、楽曲の特徴量を取得するようにしても良いし、事前の解析で得られていた楽曲の特徴量が記憶部１１０やクラウド上に記憶されるようにし、楽曲特徴量取得部１５１は、記憶部１１０やクラウド上に記憶された楽曲の特徴量を取得するようにしても良い。また、楽曲特徴量取得部１５１は、記憶部１１０やＣＤなどに記憶された楽曲のデータに付与されたタグ情報から、楽曲の特徴量を取得するようにしても良い。 The music feature quantity acquisition unit 151 may acquire the feature quantity of the music by analyzing the music, or the feature quantity of the music obtained by prior analysis is stored in the storage unit 110 or the cloud. , and the music feature amount acquisition unit 151 may acquire the feature amounts of songs stored in the storage unit 110 or on the cloud. Further, the music feature amount acquisition unit 151 may acquire the music feature amount from the tag information attached to the music data stored in the storage unit 110, CD, or the like.

例えば、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の音量に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。このようにすることで、楽曲の音量に比べて、混合された効果音の音量が大きくなりすぎることや、小さくなりすぎることを防ぐことが可能になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。 For example, the output control unit 153 may control the volume of the sound effect output from the sound effect output unit 130 based on the volume of the music acquired by the music feature amount acquisition unit 151 . By doing so, it is possible to prevent the volume of the mixed sound effects from becoming too loud or too small compared to the volume of the music, so that more natural sound effects for the listener can be added to the music. It becomes possible to give it, and it becomes possible to make the listeners feel the atmosphere of being in a live venue. Further, the output control unit 153 detects the tone of the music based on the feature amount of the music acquired by the music feature amount acquiring unit 151, and outputs the sound effect output unit 130 based on the detected tone. It is good to control the volume of the sound effects that appear.

また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲のレベルや曲調を検出し、この検出されたレベルや曲調に基づいて、効果音出力部１３０からの効果音の出力を制御するようにしても良い。このとき、例えば、記憶部１１０が、楽曲のレベルや曲調ごとに効果音を記憶するようにし、出力制御部１５３は、検出されたレベルや曲調に基づいて、効果音を出力するようにしても良い。また、例えば、記憶部１１０が、スタジアムや野外フェス、アリーナなどの大規模会場用の効果音や、ホールや中大規模のライブハウスなどの中規模会場用の効果音、小規模のライブハウスや音楽バーなどの小規模会場用の効果音を記憶するようにし、出力制御部１５３は、検出された曲調に基づいて、効果音出力部１３０から出力される効果音を、大規模会場用の効果音、中規模会場用の効果音、小規模会場用の効果音のいずれにするかを決定するようにしても良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 In addition, the output control unit 153 detects the level and tone of the music based on the feature amount of the music acquired by the music feature amount acquisition unit 151, and based on the detected level and tone, the output control unit 153 outputs sound effects. The output of sound effects from 130 may be controlled. At this time, for example, the storage unit 110 may store sound effects for each level and tune of music, and the output control unit 153 may output the sound effects based on the detected level and tune. good. Further, for example, the storage unit 110 stores sound effects for large-scale venues such as stadiums, outdoor festivals, and arenas, sound effects for medium-scale venues such as halls and medium-to-large-scale live houses, and small-scale live houses. Sound effects for a small-scale venue such as a music bar are stored, and the output control unit 153 converts the sound effects output from the sound effect output unit 130 to those for a large-scale venue based on the detected melody. You may decide whether to use sound, sound effects for medium-sized venues, or sound effects for small-sized venues. By doing so, sound effects matching the music are added, and it becomes possible to output more natural sound effects according to the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

モード選択部１５２は、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択する。このとき、モード選択部１５２は、ユーザの入力に基づいてモードを選択するようにしても良いし、楽曲の特徴量や楽曲のタグ情報などに基づいてモードを選択するようにしても良い。 The mode selection unit 152 selects one mode from among a plurality of modes related to the melody and genre of music, the size of the live venue, and the like. At this time, the mode selection unit 152 may select the mode based on the user's input, or may select the mode based on the feature amount of the music, the tag information of the music, and the like.

例えば、複数のモードには、ライブ会場の規模ごとに用意されたモードを含むようにすると良い。例えば、大規模会場用のモードや、中規模会場用のモード、小規模会場用のモードを用意すると良い。そして、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、例えば、大規模用のモードが選択された場合は、出力される効果音として、大規模用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 For example, the plurality of modes may include modes prepared for each scale of the live venue. For example, it is better to prepare a mode for large-scale venues, a mode for medium-scale venues, and a mode for small-scale venues. Then, the output control unit 153 determines the sound effect to be output from the sound effect output unit 130 based on the mode selected by the mode selection unit 152 (that is, for example, when the large-scale mode is selected). is determined as the sound effect to be output), and control is performed so that the determined sound effect is output from the sound effect output unit 130 . By doing so, sound effects matching the music are added, and it becomes possible to output more natural sound effects according to the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

例えば、複数のモードには、曲調やジャンルごとに用意されたモードを含むようにすると良い。例えば、ノリのいい曲用のモードや、落ち着いた曲用のモード、クラシック用のモード、ジャズ用のモードなどを用意すると良い。そして、記憶部１１０が、各モード用の効果音を記憶するようにし、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、ノリのいい曲用のモードが選択された場合は、出力される効果音として、ノリのいい曲用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 For example, the plurality of modes may include modes prepared for each tune or genre. For example, it is good to prepare a mode for upbeat tunes, a mode for calm tunes, a mode for classical music, a mode for jazz, and the like. Then, the storage unit 110 stores the sound effect for each mode, and the output control unit 153 selects the sound effect output from the sound effect output unit 130 based on the mode selected by the mode selection unit 152. (that is, when the mode for a good tune is selected, the sound effect for a good tune is determined as the sound effect to be output), and the determined effect is output from the sound effect output unit 130. It is good to control so that sound is output. By doing so, sound effects matching the music are added, and it becomes possible to output more natural sound effects according to the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

＜効果音混合装置１００における処理動作＞
図３は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲特徴量１５１が楽曲の特徴量を取得する、または、モード選択部１５２がモードを選択する（ステップＳ３０１）。出力制御部１５３は、取得した特徴量または選択されたモードに基づいて、楽曲出力部１２０により楽曲を出力し、効果音出力部１３０により効果音の出力する（ステップＳ３０２）。混合部１４０が、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する（ステップＳ３０３）。 <Processing operation in sound effect mixing device 100>
FIG. 3 is a diagram showing an example of the processing operation in the sound effect mixing device 100 according to this embodiment. The music feature amount 151 acquires a music feature amount, or the mode selection unit 152 selects a mode (step S301). The output control unit 153 causes the music output unit 120 to output music and the sound effect output unit 130 to output sound effects based on the acquired feature amount or the selected mode (step S302). The mixing unit 140 mixes the music output from the music output unit 120 with the sound effect output from the sound effect output unit 130 (step S303).

＜第３の効果音（手拍子など）の混合判定＞
ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。観客は、例えば、ノリのいい曲に対しては、手拍子などでリズムを取る。 <Mixing determination of the third sound effect (clapping, etc.)>
At a live venue, the audience sometimes catches the rhythm by clapping their hands or stamping their feet in time with the music. However, the audience does not take rhythm by clapping their hands or the like to all the songs that are played. The audience catches the rhythm by, for example, clapping their hands to a song that has a good rhythm.

そこで、本発明の一実施例に係る効果音混合装置１００では、出力制御部１５３が、楽曲の特徴量に基づいて、楽曲に第３の効果音（手拍子など）を混合（付与）するのか否かを決定する。このようにすることで、例えば、出力制御部１５３が、楽曲の特徴量に基づき、楽曲がノリのいい曲であるのか否かを判断し、ノリのいい曲のみに、手拍子などの第３の効果音を付与することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 Therefore, in the sound effect mixing apparatus 100 according to one embodiment of the present invention, the output control unit 153 determines whether or not to mix (apply) the third sound effect (such as clapping) to the music based on the feature amount of the music. determine whether By doing so, for example, the output control unit 153 judges whether or not the music has a good vibe based on the characteristic amount of the music, and only the music having a good vibe has a third effect such as clapping. It is possible to add sound effects, and as a result, it is possible to add sound effects that are more natural for listeners to music, and it is possible for listeners to enjoy the atmosphere of being in a live venue.

テンポが速い楽曲は、リズムを取りたくなるような、ノリのいい曲である可能性が高い。一方で、ノリがいい曲であっても、テンポが速すぎると、手拍子等でリズムが取るのが難しく、手拍子が生じにくい。そこで、楽曲のテンポが所定の範囲内にあるときに、第３の効果音を楽曲に混合するようにすると良い。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、ＢＰＭなどの単位時間あたりの拍の数を取得するようにすると良い。そして、出力制御部１５３は、この単位時間あたりの拍の数が所定の範囲内にあるのか否か（第１の閾値より大きく、かつ第２の閾値以下であるのか否か）を判断し、単位時間あたりの拍の数が所定の範囲内にない（第１の閾値以下である、または第２の閾値より大きい）ときは、楽曲に第３の効果音を混合しないと決定し、単位時間あたりの拍の数が所定の範囲内にある（第１の閾値より大きく、かつ第２の閾値以下である）ときは、楽曲に第３の効果音を混合すると決定するようにすると良い。 A song with a fast tempo is likely to be a good song that makes you want to take the rhythm. On the other hand, even if the song has a good rhythm, if the tempo is too fast, it will be difficult to catch the rhythm with clapping or the like, and clapping will hardly occur. Therefore, it is preferable to mix the third sound effect with the music when the tempo of the music is within a predetermined range. Therefore, for example, the music feature quantity acquisition unit 151 may acquire the number of beats per unit time, such as BPM, as the music feature quantity. Then, the output control unit 153 determines whether the number of beats per unit time is within a predetermined range (whether it is greater than the first threshold and less than or equal to the second threshold), When the number of beats per unit time is not within a predetermined range (less than or equal to the first threshold or greater than the second threshold), it is determined not to mix the third sound effect with the music, and the unit time If the number of beats per beat is within a predetermined range (greater than the first threshold and less than or equal to the second threshold), it may be determined to mix the third sound effect with the music.

ビートがはっきりしていない曲は、ノリのいい曲でない可能性が高い。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、楽曲の拍の明瞭度を取得するようにすると良い。そして、出力制御部１５３は、楽曲の拍の明瞭度に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにすると良い。このとき、例えば、出力制御部１５３は、楽曲の拍が明瞭でないならば、楽曲に第３の効果音を混合しないと決定し、楽曲の拍が明瞭であるならば、楽曲に第３の効果音を混合すると決定するようにすると良い。 A song without a clear beat is likely not a good song. Therefore, for example, the music feature amount acquisition unit 151 preferably acquires the clarity of beats of music as the music feature amount. Then, the output control unit 153 may determine whether or not to mix the third sound effect with the music based on the clarity of the beat of the music. At this time, for example, if the beat of the music is unclear, the output control unit 153 decides not to mix the third sound effect with the music, and if the beat of the music is clear, the output control unit 153 adds the third sound effect to the music. It is better to decide to mix the sounds.

このようにすることで、ノリのいい曲にのみに、手拍子などの第３の効果音を付与することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 By doing so, it is possible to add the third sound effect such as clapping only to songs that have a good rhythm. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

楽曲の拍の明瞭度を指標として、例えば、楽曲の拍の周期、または楽曲の拍の２倍の周期で繰り返されるリズムの振幅を用いると良い。ノリのいい曲では、楽曲の拍の周期や楽曲の拍の２倍の周期で、バスドラムやスネアドラムなどによりビートが刻まれている可能性が高い。楽曲の拍の周期、または楽曲の拍の２倍の周期で繰り返されるリズムの振幅は、例えば、楽曲の波形のエンベロープ（包絡線）を周波数分解処理（例えば、ＦＦＴ（高速フーリエ変換）処理）を行うことで検出することが可能である（例えば、国際公開２００９／１２５４８９号参照）。例えば、出力制御部１５３は、楽曲の波形のエンベロープにおいて、楽曲の拍の周波数近辺の成分の振幅、楽曲の拍の２倍の周波数近辺の成分の振幅が所定の値より大きいならば、楽曲の拍が明瞭であると判断し、楽曲の拍の周波数近辺の成分の振幅、楽曲の拍の２倍の周波数近辺の成分の振幅が所定の値より大きくないならば、楽曲の拍が明瞭でないと判断するようにすると良い。 Using the clarity of beats of music as an index, for example, it is preferable to use the cycle of beats of music, or the amplitude of a rhythm that repeats twice the cycle of beats of music. In a song with a good groove, there is a high possibility that beats are carved by a bass drum, a snare drum, or the like at a cycle of the beat of the song or a cycle twice as long as the beat of the song. The amplitude of the rhythm that repeats at the cycle of the beat of the song or the cycle that is twice the beat of the song can be obtained, for example, by subjecting the envelope of the waveform of the song to frequency decomposition processing (for example, FFT (Fast Fourier Transform) processing). (See, for example, International Publication No. WO 2009/125489). For example, in the envelope of the music waveform, if the amplitude of the component near the frequency of the beat of the music and the amplitude of the component near the double frequency of the beat of the music are greater than a predetermined value, the output control unit 153 If it is determined that the beat is clear, and if the amplitude of the component near the frequency of the beat of the music and the amplitude of the component near the double frequency of the beat of the music are not greater than a predetermined value, then the beat of the music is not clear. It is better to make judgments.

一般に、すべての拍においてバスドラムなどでリズムが取られる曲、いわゆる「４つ打ち」の曲は、ノリのいい曲である。「４つ打ち」の曲の場合、通常、すべての拍に手拍子が入ることになるが、テンポが速すぎる曲において、すべての拍に手拍子が入ると、せわしくなってしまう。そこで、テンポが速すぎる「４つ打ち」の曲には、第３の効果音を混合しないようにすると良い。例えば、「４つ打ち」の曲は、一般に、拍の位置における音量レベルの比較的均等である。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、楽曲の拍の位置における音量レベルの均等度と、ＢＰＭなどの単位時間あたりの拍の数と、を取得するようにすると良い。そして、出力制御部１５３は、楽曲の拍の位置における音量レベルの均等度と、ＢＰＭなどの単位時間あたりの拍の数と、に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにすると良い。このとき、例えば、出力制御部１５３は、楽曲の拍の位置における音量レベルが均等であり、単位時間あたりの拍の数が第３の閾値より大きいならば、単位時間あたりの拍の数が上記の所定の範囲内にあったとしても、楽曲に第３の効果音を混合しないと決定する。 In general, a so-called "4-on-the-floor" song, in which the rhythm is taken with a bass drum or the like on every beat, is a good song. In the case of a "four-on-the-floor" song, all beats are usually clapped, but in a song with a too fast tempo, if all the beats are clapped, it becomes a rush. Therefore, it is preferable not to mix the third sound effect with the "four-on-the-floor" music whose tempo is too fast. For example, "four-on-the-floor" songs generally have relatively even volume levels at beat locations. Therefore, for example, the music feature amount acquisition unit 151 may acquire, as the music feature amounts, the evenness of the volume level at the position of the beat of the music and the number of beats per unit time such as BPM. . Then, the output control unit 153 determines whether or not to mix the third sound effect with the music based on the evenness of the volume level at the position of the beat of the music and the number of beats per unit time such as BPM. should be determined. At this time, for example, the output control unit 153 determines that, if the sound volume levels at the positions of the beats of the music are uniform and the number of beats per unit time is greater than the third threshold, the number of beats per unit time is the above is within a predetermined range, it is determined not to mix the third sound effect with the music.

このようにすることで、テンポが速すぎる「４つ打ち」の曲には、第３の効果音が付与されないことになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 By doing so, the third sound effect is not added to the "four-on-the-floor" song with a too fast tempo. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

楽曲の拍の位置における音量レベルの均等度は、例えば、楽曲が４分の４拍子の曲であれば、例えば、４Ｎ－３（Ｎ＝１、２、・・・）拍目の音量レベルの総和、４Ｎ－２拍目の音量レベルの総和、４Ｎ－１拍目の音量レベルの総和、４Ｎ拍目の音量レベルの総和を用いて求めると良い。例えば、出力制御部１５３は、上記の４つの音量レベルの総和のうちの最大値Ｂ１から２番目に大きい値Ｂ２を引いた値を２番目に大きい値Ｂ２で割った値（（Ｂ１－Ｂ２）／Ｂ２）が所定の値より小さいならば、楽曲の拍の位置における音量レベルが均等であると判断し、（Ｂ１－Ｂ２）／Ｂ２が所定の値以上であるならば、楽曲の拍の位置における音量レベルが均等でないと判断するようにすると良い。 For example, if the music is a 4/4 time signature, the uniformity of the volume level at the position of the beat of the music is, for example, the volume level of the 4N−3 (N=1, 2, . . . ) beats. It is preferable to use the total sum, the sum of the volume levels of the 4N-2nd beat, the sum of the volume levels of the 4N-1st beat, and the sum of the volume levels of the 4Nth beat. For example, the output control unit 153 divides the value obtained by subtracting the second largest value B2 from the maximum value B1 of the sum of the four volume levels by the second largest value B2 ((B1-B2) /B2) is smaller than a predetermined value, it is determined that the volume level at the position of the beat of the song is uniform, and if (B1-B2)/B2 is greater than or equal to the predetermined value, the position of the beat of the song is determined. It is better to judge that the volume levels in

曲の始まりにおいて、長い時間、楽曲の音量レベルが小さいままである楽曲は、イントロが長いなどの特殊な曲である可能性が高い。ライブ会場において、観客は、一般に、このような特殊な曲の演奏中に手拍子などでリズムを取らない。そこで、このような特殊な曲には、第３の効果音を混合しないようにすると良い。そこで、例えば、出力制御部１５３は、楽曲の音量レベルが曲の始まりから所定の時間（第１の時間）が経過するまで所定の音量レベル（第１の音量レベル）より小さいままであるならば、楽曲に第３の効果音を混合しないと決定する。このようにすることで、イントロが長いなどの特殊な楽曲には、第３の効果音が付与されないことになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。 A song whose volume level remains low for a long time at the beginning of the song is likely to be a special song with a long intro. At a live venue, the audience generally does not clap their hands to catch the rhythm during the performance of such a special piece of music. Therefore, it is preferable not to mix the third sound effect with such a special piece of music. Therefore, for example, if the volume level of the music remains below a predetermined volume level (first volume level) until a predetermined time (first time) elapses from the beginning of the music, the output control unit 153 , decides not to mix the third sound effect with the music. By doing so, the third sound effect is not added to a special piece of music such as a long intro. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.

なお、上記では、楽曲の特徴量に基づいて楽曲に混合されるのか否かを決定される効果音は、第３の効果音（手拍子）であるが、上記の混合されるのか否かを決定される効果音は、第１の効果音（歓声、拍手など）や第２の効果音（環境音）であっても良い。つまり、曲中や、楽曲の始まりや終わりの部分に第１の効果音に付与するのか否かや、楽曲の再生中に第２の効果音を付与するのか否かを、楽曲の特徴量に基づいて決定するようにしても良い。 Note that in the above description, the third sound effect (hand clapping) is the sound effect for which it is determined whether or not to be mixed with the music based on the characteristic amount of the music. The sound effect to be played may be a first sound effect (cheers, applause, etc.) or a second sound effect (environmental sound). In other words, whether or not to add the first sound effect during the song or at the beginning or end of the song, or whether or not to add the second sound effect during playback of the song, is determined by the feature quantity of the song. You may make it determine based on.

図４は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。出力制御部１５３は、単位時間あたりの拍の数が第１の閾値より大きく、かつ第２の閾値以下であるのか否かを確認する（ステップＳ４０１）。 FIG. 4 is a diagram showing an example of processing operations in the sound effect mixing apparatus 100 according to this embodiment. The output control unit 153 checks whether the number of beats per unit time is greater than the first threshold and less than or equal to the second threshold (step S401).

単位時間あたりの拍の数が第１の閾値以下である、または第２の閾値より大きいならば（ステップＳ４０１、ＮＯ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、単位時間あたりの拍の数が第１の閾値より大きく、かつ第２の閾値以下であるならば（ステップＳ４０１、ＹＥＳ）、出力制御部１５３は、楽曲の拍が明瞭であるのか否かを確認する（ステップＳ４０３）。 If the number of beats per unit time is equal to or less than the first threshold or greater than the second threshold (step S401, NO), the output control unit 153 determines not to mix the third sound effect with the music. (step S402), and if the number of beats per unit time is greater than the first threshold and equal to or less than the second threshold (step S401, YES), the output control unit 153 determines that the beats of the music are clear. It is checked whether or not there is (step S403).

楽曲の拍が明瞭でないならば（ステップＳ４０３、ＮＯ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、楽曲の拍が明瞭であるならば（ステップＳ４０３、ＹＥＳ）、出力制御部１５３は、楽曲の拍の位置における音量レベルが均等であるのか否かを確認する（ステップＳ４０４）。 If the beat of the music is not clear (step S403, NO), the output control unit 153 determines not to mix the third sound effect with the music (step S402), and if the beat of the music is clear (step S403, YES), the output control unit 153 confirms whether or not the volume levels at the beat positions of the music are uniform (step S404).

楽曲の拍の位置における音量レベルが均等であるならば（ステップＳ４０４、ＹＥＳ）、出力制御部１５３は、単位時間あたりの拍の数が第３の閾値（例えば、第１の閾値＜第３の閾値＜第２の閾値）より大きいのか否かを確認する（ステップＳ４０５）。単位時間あたりの拍の数が第３の閾値より大きいならば（ステップＳ４０５、ＹＥＳ）、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、単位時間あたりの拍の数が第３の閾値より大きくないならば（ステップＳ４０５、ＮＯ）、楽曲の音量レベルが曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるのか否かを確認する（ステップＳ４０６）。 If the sound volume levels at the positions of the beats of the music are uniform (step S404, YES), the output control unit 153 sets the number of beats per unit time to a third threshold value (for example, the first threshold value<the third threshold value). It is checked whether or not the value is larger than the threshold value<the second threshold value (step S405). If the number of beats per unit time is greater than the third threshold (step S405, YES), it is determined not to mix the third sound effect with the music (step S402), and the number of beats per unit time reaches the third threshold. 3 threshold (step S405, NO), then it is checked whether the volume level of the song remains below the first volume level until a first time elapses from the beginning of the song (step S406).

楽曲の拍の位置における音量レベルが均等でないならば（ステップＳ４０４、ＮＯ）、出力制御部１５３は、楽曲の音量レベルが楽曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるのか否かを確認する（ステップＳ４０６）。 If the volume levels at the beat positions of the music are not uniform (step S404, NO), the output control unit 153 controls the volume level of the music to be lower than the first volume level until the first time elapses from the beginning of the music. It is checked whether or not it remains (step S406).

楽曲の音量レベルが曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるならば（ステップＳ４０６、ＹＥＳ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、楽曲の音量レベルが曲の始まりから第１の時間が経過するまでに第１の音量レベル以上になるならば（ステップＳ４０６、ＮＯ）、楽曲に第３の効果音を混合すると決定し、効果音出力部１３０により、第３の効果音を出力する（ステップＳ４０７）。 If the volume level of the music remains smaller than the first volume level until the first time elapses from the beginning of the music (step S406, YES), the output control unit 153 adds the third sound effect to the music. It is determined not to mix (step S402), and if the volume level of the song is greater than or equal to the first volume level within the first time from the beginning of the song (step S406, NO), the song is added to the third volume level. It is decided to mix the sound effects, and the sound effect output unit 130 outputs the third sound effect (step S407).

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。 The present invention has been described above with reference to the preferred embodiments of the present invention. Although the present invention has been described with reference to particular embodiments, various modifications and changes can be made to these embodiments without departing from the spirit and scope of the invention as set forth in the claims.

１００ 効果音混合装置
１１０ 記憶部
１２０ 楽曲出力部
１３０ 効果音出力部
１４０ 混合部
１５０ 制御部
１５１ 音楽特徴量取得部
１５２ モード選択部
１５３ 出力制御部 REFERENCE SIGNS LIST 100 sound effect mixing device 110 storage unit 120 music output unit 130 sound effect output unit 140 mixing unit 150 control unit 151 music feature amount acquisition unit 152 mode selection unit 153 output control unit

Claims (10)

楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。 a music feature amount acquisition unit that acquires a feature amount of the music including the clarity of beats of the music;
and an output determining unit that determines whether or not to mix a sound effect with the music based on the clarity of the beat of the music. 前記楽曲の特徴量は、前記楽曲の単位時間あたりの拍の数を含み、
前記出力決定部は、前記楽曲の拍の明瞭度および前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する、請求項１に記載の効果音混合装置。 The feature amount of the song includes the number of beats per unit time of the song,
The effect according to claim 1, wherein the output determining unit determines whether or not to mix sound effects with the music based on the clarity of the beats of the music and the number of beats per unit time of the music. sound mixer. 楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。 a music feature amount acquiring unit that acquires the feature amount of the song, including the number of beats per unit time of the song and the uniformity of the volume level at the position of the beat of the song;
and an output determination unit that determines whether or not to mix sound effects with the music based on the number of beats per unit time of the music and the uniformity of the volume level at the position of the beat of the music. sound mixer. 前記楽曲の特徴量は、楽曲の拍の明瞭度を含み、
前記出力決定部は、前記楽曲の拍の明瞭度、前記楽曲の単位時間あたりの拍の数、および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する、請求項３に記載の効果音混合装置。 The feature amount of the song includes the clarity of the beat of the song,
The output determination unit mixes sound effects with the music based on the clarity of the beats of the music, the number of beats per unit time of the music, and the evenness of volume levels at beat positions of the music. 4. The sound effect mixing device according to claim 3, which determines whether or not. 前記出力決定部は、前記楽曲の音量レベルが曲の始まりから所定の時間が経過するまで所定の音量レベルより小さいままであるならば、前記楽曲に効果音を混合しないと決定する、請求項１から４のいずれか一項に記載の効果音混合装置。 2. The output determining unit determines not to mix sound effects with the music if the volume level of the music remains below a predetermined volume level until a predetermined time has elapsed since the beginning of the music. 5. The sound effect mixing device according to any one of 4 to 4. 楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。 a music feature amount acquiring unit that acquires the feature amount of the song including the number of beats per unit time of the song;
a sound effect mixing device, comprising: an output determination unit that determines whether or not to mix a sound effect with the music based on the number of beats per unit time of the music. 前記出力決定部は、前記楽曲の単位時間あたりの拍の数が所定の範囲内にないならば、前記楽曲に効果音を混合しないと決定する、請求項６に記載の効果音混合装置。 7. The sound effect mixing apparatus according to claim 6, wherein said output determination unit determines not to mix sound effects with said music if the number of beats per unit time of said music is not within a predetermined range. コンピュータにより実行される効果音混合方法であって、
楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、
前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する、効果音混合方法。 A computer implemented sound effect mixing method comprising:
A music feature amount acquiring step of acquiring the feature amount of the music including the clarity of the beat of the music;
and an output determination step of determining whether or not to mix a sound effect with the music based on the clarity of the beat of the music. 請求項８に記載の効果音混合方法を、コンピュータに実行させる効果音混合プログラム。 A sound effect mixing program for causing a computer to execute the sound effect mixing method according to claim 8. 請求項９に記載の効果音混合プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing the sound effect mixing program according to claim 9.

Images