JP5217275B2 - Apparatus and program for producing music - Google Patents

Apparatus and program for producing music Download PDF

Info

Publication number
JP5217275B2
JP5217275B2 JP2007185914A JP2007185914A JP5217275B2 JP 5217275 B2 JP5217275 B2 JP 5217275B2 JP 2007185914 A JP2007185914 A JP 2007185914A JP 2007185914 A JP2007185914 A JP 2007185914A JP 5217275 B2 JP5217275 B2 JP 5217275B2
Authority
JP
Japan
Prior art keywords
music
data
piece
song
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007185914A
Other languages
Japanese (ja)
Other versions
JP2009025386A (en
Inventor
琢哉 藤島
尚明 小島
清久 杉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2007185914A priority Critical patent/JP5217275B2/en
Publication of JP2009025386A publication Critical patent/JP2009025386A/en
Application granted granted Critical
Publication of JP5217275B2 publication Critical patent/JP5217275B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

この発明は、楽曲を制作するための装置およびプログラムに関する。   The present invention relates to an apparatus and a program for producing music.

楽曲制作の分野では、MIDIデータやオーディオデータを取り扱うことが可能な各種の楽曲制作プログラムがよく用いられる。ユーザは、この種の楽曲制作プログラムを例えばパーソナルコンピュータにインストールして実行させることにより、パーソナルコンピュータに外部から曲の素材として取り込んだMIDIデータやオーディオデータを時間軸上の所望の位置に配置して楽曲データを合成することができる。なお、この種の楽曲制作プログラムに関する文献として、例えば非特許文献1がある。また、曲の素材となるものを生成する技術としては、例えばMIDIデータやオーディオデータを拍単位に分割する技術がある。
特開2001−222289号公報 “イチからはじめる!!Cubase・SE3 インストールから応用テクニックまで” 目黒真二、有限会社スタイルノート、2005年12月1日発行 Bee Suan Ong, Emilia Gomez, Sebastian Streich、“Automatic Extraction of Musical Structure Using Pitch ClassDistribution Features”、[online]、Learning the Semantics of Audio Signals (LSAS) 2006、[平成19年3月2日検索]、インターネット<URL:http://irgroup.cs.uni-magdeburg.de/lsas2006/proceedings/LSAS06_053_065.pdf>
In the field of music production, various music production programs that can handle MIDI data and audio data are often used. The user installs this kind of music production program on a personal computer, for example, and executes the program to arrange MIDI data and audio data imported into the personal computer as material of the music from a desired position on the time axis. Music data can be synthesized. For example, Non-Patent Document 1 is a document related to this type of music production program. In addition, as a technique for generating a material for music, for example, there is a technique for dividing MIDI data and audio data into beats.
JP 2001-222289 A “Starting from the beginning! From Cubase / SE3 installation to application techniques” Shinji Meguro, Style Note Co., Ltd., issued December 1, 2005 Bee Suan Ong, Emilia Gomez, Sebastian Streich, “Automatic Extraction of Musical Structure Using Pitch ClassDistribution Features”, [online], Learning the Semantics of Audio Signals (LSAS) 2006, [Search March 2, 2007], Internet < URL: http://irgroup.cs.uni-magdeburg.de/lsas2006/proceedings/LSAS06_053_065.pdf>

ところで、表現力豊かな楽曲データを得るためには、曲の素材となるものを予め多数用意しておき、それらの中の適切なものを選択して繋ぎ合わせる必要がある。しかし、膨大な素材の中から所望の素材を探し出す作業は大変である。また、拍単位のオーディオデータやMIDIデータは、曲の素材としては時間的に短すぎ、例えば試行錯誤的な楽曲制作を効率的に繰り返す、といった用途には不向きである。   By the way, in order to obtain music data with rich expressive power, it is necessary to prepare a large number of music materials in advance and select and connect appropriate ones of them. However, it is difficult to find a desired material from among a huge amount of materials. Also, beat-based audio data and MIDI data are too short in time as material for music, and are not suitable for applications such as efficiently repeating trial and error music production.

この発明は、以上説明した事情に鑑みてなされたものであり、曲の素材として所望のものを迅速に選択し、効率的に楽曲制作を行うことができる楽曲制作装置およびプログラムを提供することを目的としている。   The present invention has been made in view of the above-described circumstances, and provides a music production device and a program that can quickly select a desired material as a music material and perform music production efficiently. It is aimed.

この発明は、操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段と、前記楽曲データから得られた各曲断片データを示すメニューを各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段とを具備することを特徴とする楽曲制作装置およびコンピュータを上記各手段として機能させるコンピュータプログラムを提供する。
ここで、音の態様に関する大小表現可能なパラメータとしては、例えば曲断片における音数、曲断片のスペクトログラムの変化の激しさを示す数値、曲断片の時間領域での波形の複雑さを示す数値、曲断片に含まれる低域エネルギーの割合、曲断片における低域のオンセット密度など、一小節という長さを持った曲断片の特徴をアナログ的に把握するのに役立ち、各曲断片間の比較に役立つパラメータが好ましい。
かかる発明によれば、楽曲の素材として、楽曲データを小節線タイミングにおいて分割して得られる複数の曲断片データを示すメニューが表示手段に表示される。その際、各曲断片データについて、音の態様に関する大小表現可能なパラメータの評価が行われ、各曲断片デーータのメニューは、評価により得られたパラメータに応じた順に表示される。従って、ユーザは、所望の曲断片データを容易に見つけ出すことができ、効率的に楽曲データを制作することができる。
The present invention relates to a dividing means for analyzing music data to be processed by operating the operating means to detect bar line timing, and dividing the music data at the bar line timing to generate a plurality of music piece data. And an evaluation unit that evaluates a parameter that can be expressed in a large and small manner with respect to a sound mode for the music piece indicated by the music piece data, and outputs an evaluation result, and a menu that indicates each piece of music data obtained from the music data Display control means for displaying on the display means in the order corresponding to each parameter obtained from the song piece data, operation of the operation means for selecting the song piece data displayed as a menu on the display means, and on the time axis of the song piece data The operation of the operation means for indicating the position of the music piece is detected, and the music piece data selected by the operation of the operation means is indicated by the operation of the operation means. The music piece creation apparatus and a computer, characterized by comprising synthesizing means for synthesizing the music data located at the position of the time axis provides a computer program to function as the respective means.
Here, the parameters that can be expressed in terms of the size of the sound include, for example, the number of sounds in a song fragment, a numerical value indicating the intensity of change in the spectrogram of the musical fragment, a numerical value indicating the complexity of the waveform in the time domain of the musical fragment, This is useful for analogizing the characteristics of music pieces with a length of one measure, such as the proportion of low-frequency energy contained in the music pieces and the low-frequency onset density of the music pieces. Parameters that help are preferred.
According to this invention, as the material of the music, a menu showing a plurality of music piece data obtained by dividing the music data at the bar line timing is displayed on the display means. At that time, for each piece of music piece data, a parameter that can be expressed in terms of the size of the sound is evaluated, and a menu of each piece of music piece data is displayed in the order corresponding to the parameter obtained by the evaluation. Therefore, the user can easily find the desired music piece data, and can efficiently produce the music data.

以下、図面を参照し、この発明の実施の形態を説明する。
図1はこの発明の一実施形態である楽曲制作装置の構成を示すブロック図である。この楽曲制作装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明の一実施形態である楽曲制作プログラムをインストールしたものである。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of a music production apparatus according to an embodiment of the present invention. This music production apparatus is obtained by installing a music production program according to an embodiment of the present invention on a computer such as a personal computer.

図1において、CPU1は、この楽曲制作装置の各部を制御する制御中枢である。ROM2は、ローダなど、この楽曲制作装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。   In FIG. 1, a CPU 1 is a control center that controls each unit of the music production apparatus. The ROM 2 is a read-only memory that stores a control program for controlling the basic operation of the music production apparatus, such as a loader.

表示部3は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶デスプレイパネルとその駆動回路により構成されている。操作部4は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部4は、キーボードと、マウスなどのポインティングデバイスを含む。   The display unit 3 is a device for displaying an operation state of the device, input data, a message for an operator, and the like, and is configured by, for example, a liquid crystal display panel and a drive circuit thereof. The operation unit 4 is a means for receiving commands and various types of information from the user, and includes various types of operators. In a preferred embodiment, the operation unit 4 includes a keyboard and a pointing device such as a mouse.

インタフェース群5は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやCD−ROMなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。   The interface group 5 includes a network interface for performing data communication with other devices via a network, a driver for transmitting / receiving data to / from an external storage medium such as a magnetic disk or a CD-ROM, and the like. It is comprised by.

HDD(ハードディスク装置)6は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。RAM7は、CPU1によってワークエリアとして使用される揮発性メモリである。CPU1は、操作部4を介して与えられる指令に従い、HDD6内のプログラムをRAM7にロードして実行する。   The HDD (hard disk device) 6 is a non-volatile storage device for storing information such as various programs and databases. The RAM 7 is a volatile memory used as a work area by the CPU 1. The CPU 1 loads a program in the HDD 6 into the RAM 7 and executes it in accordance with a command given via the operation unit 4.

サウンドシステム8は、この楽曲制作装置において制作された楽曲または制作途中の楽曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するD/A変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。本実施形態において、このサウンドシステム8と、上述した表示部3および操作部4は、楽曲の制作に関連した情報をユーザに提供するとともに、楽曲の制作に関する指示をユーザから受け取るユーザインタフェースとしての役割を果たす。MIDI音源9は、CPU1を介して与えられたMIDIデータに従ってデジタル音声信号を形成する音源である。このMIDI音源9により形成されたデジタル音声信号はサウンドシステム8により音として出力される。   The sound system 8 is means for outputting the music produced by the music production device or the music in the middle of production as sound, and a D / A converter for converting a digital audio signal, which is sample data of the sound, into an analog audio signal; The amplifier includes an amplifier that amplifies the analog audio signal and a speaker that outputs the output signal of the amplifier as sound. In the present embodiment, the sound system 8, the display unit 3 and the operation unit 4 described above serve as a user interface that provides information related to music production to the user and receives instructions related to music production from the user. Fulfill. The MIDI sound source 9 is a sound source that forms a digital audio signal in accordance with MIDI data given via the CPU 1. The digital audio signal formed by the MIDI sound source 9 is output as sound by the sound system 8.

HDD6に記憶される情報として、楽曲制作プログラム61と、1または複数の楽曲データファイル62とがある。   Information stored in the HDD 6 includes a music production program 61 and one or a plurality of music data files 62.

楽曲データファイル62は、楽曲における演奏音やボーカル音のオーディオ波形をサンプリングしたオーディオデータを楽曲データとして含むファイルであってもよいし、SMF(Standard MIDI File)等のMIDIデータを楽曲データとして含むファイルであってもよい。好ましい態様において、楽曲制作プログラム61や楽曲データファイル62は、例えばインターネット内のサイトからインタフェース群5の中の適当なものを介してダウンロードされ、HDD6にインストールされる。また、他の態様において、楽曲制作プログラム61や楽曲データファイル62は、CD−ROM、MDなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群5の中の適当なものを介して記憶媒体から楽曲制作プログラム61や楽曲データファイル62が読み出され、HDD6にインストールされる。   The music data file 62 may be a file including audio data obtained by sampling the audio waveform of performance sound or vocal sound in music as music data, or a file including MIDI data such as SMF (Standard MIDI File) as music data. It may be. In a preferred embodiment, the music production program 61 and the music data file 62 are downloaded from, for example, a site in the Internet via an appropriate one in the interface group 5 and installed in the HDD 6. In another aspect, the music production program 61 and the music data file 62 are traded in a state stored in a computer-readable storage medium such as a CD-ROM or MD. In this aspect, the music production program 61 and the music data file 62 are read from the storage medium via an appropriate one in the interface group 5 and installed in the HDD 6.

楽曲制作プログラム61は、大別して、分割部101と、音数評価部102と、表示制御部103と、合成部104とにより構成されている。分割部101は、操作部4の操作により、新規な楽曲データを製作する際の元となる楽曲データファイル62が処理対象として指定された場合に、その楽曲データファイル62内の楽曲データをRAM7にロードし、楽曲データの構造分析を行うことにより小節線タイミングを求め、楽曲データを小節線タイミングにおいて分割して、複数の曲断片データを生成し、RAM7に格納するルーチンである。また、音数評価部102は、曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段としての役割を果たすものである。本実施形態において、評価手段たる音数評価部102は、RAM7内の各曲断片データを解析し、音の態様に関する大小表現可能なパラメータとして、音の複雑さを示す数値、より具体的には各曲断片データが示す曲断片の音数を求め、音数を示すデータを含むヘッダを各曲断片データに付加する。表示制御部103は、RAM7の各曲断片データのヘッダを参照し、各曲断片データを示すメニューを音数の少ないものから順に並べて表示部3に表示させるルーチンである。合成部104は、表示部3にメニュー表示された曲断片データを選択する操作部4の操作と曲断片データの時間軸上の位置を指示する操作部4の操作を検知し、操作部4の操作により選択された曲断片データが操作部4の操作により指示された時間軸上の位置に配置された楽曲データを合成するルーチンである。   The music production program 61 is roughly divided into a dividing unit 101, a sound number evaluation unit 102, a display control unit 103, and a synthesis unit 104. When the music data file 62 that is a source for producing new music data is designated as a processing target by the operation of the operation unit 4, the dividing unit 101 stores the music data in the music data file 62 in the RAM 7. This is a routine for obtaining bar line timing by loading and analyzing the structure of music data, dividing music data at bar line timing, generating a plurality of music piece data, and storing them in the RAM 7. In addition, the sound number evaluation unit 102 serves as an evaluation unit that evaluates a parameter that can be expressed in a large or small size with respect to the sound mode for the music piece indicated by the music piece data and outputs an evaluation result. In the present embodiment, the sound number evaluation unit 102 as an evaluation unit analyzes each piece of music piece data in the RAM 7 and, as a parameter that can be expressed in terms of the size of the sound, a numerical value indicating the complexity of the sound, more specifically, The number of sounds of the music piece indicated by each piece of music piece data is obtained, and a header including data indicating the number of sounds is added to each piece of music piece data. The display control unit 103 is a routine that refers to the header of each piece of music piece data in the RAM 7 and displays a menu showing each piece of music piece data on the display unit 3 in order from the one with the smallest number of sounds. The synthesizing unit 104 detects the operation of the operation unit 4 that selects the music piece data displayed in the menu on the display unit 3 and the operation of the operation unit 4 that indicates the position of the music piece data on the time axis. This is a routine for synthesizing music piece data in which music piece data selected by operation is arranged at a position on the time axis designated by operation of the operation unit 4.

本実施形態では、操作部4の操作により、処理対象として、複数曲の楽曲データファイル62を指定することも可能である。この場合、分割部101は、各曲の楽曲データを曲断片データに分割し、音数評価部102は、複数曲の楽曲データの各々から得られた各曲断片データについて音数を求める。そして、表示制御部103は、複数曲の楽曲データから得られた各曲断片データのメニューを曲毎に並べ、かつ、1つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データの音数の順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを表示部3に2次元表示させる。   In the present embodiment, it is possible to designate a music data file 62 of a plurality of songs as a processing target by operating the operation unit 4. In this case, the dividing unit 101 divides the music data of each song into music piece data, and the sound number evaluation unit 102 obtains the number of sounds for each piece of music data obtained from each of the music data of a plurality of songs. Then, the display control unit 103 arranges each song fragment data menu obtained from the song data of a plurality of songs for each song, and each song fragment data menu obtained from the song data of one song represents each song. A menu of each piece of music piece data obtained from the music data of a plurality of pieces of music is displayed two-dimensionally on the display unit 3 so that the pieces of music are arranged in the order of the number of sounds of the piece data.

図2は、本実施形態における分割部101、音数評価部102および表示制御部103の処理内容を示す図である。また、図3は、本実施形態における合成部104の処理内容を示す図である。以下、主として図2および図3を参照し、また、必要に応じて他の図を参照し、本実施形態の動作を説明する。   FIG. 2 is a diagram illustrating processing contents of the dividing unit 101, the sound number evaluating unit 102, and the display control unit 103 in the present embodiment. FIG. 3 is a diagram showing the processing contents of the synthesis unit 104 in the present embodiment. Hereinafter, the operation of this embodiment will be described mainly with reference to FIGS. 2 and 3 and with reference to other drawings as necessary.

ユーザは、楽曲データの制作を行う場合、操作部4の操作により、楽曲制作プログラム61の起動を指令する。これによりCPU1は、楽曲制作プログラム61をRAM7内にロードして実行する。そして、ユーザが操作部4の操作により、楽曲データの製作の元となる1または複数の楽曲データファイル62を指定すると、図2に示すように、楽曲制作プログラム61の分割部101は、指定された各楽曲データファイル62内の各楽曲データをRAM7内にロードして各々解析し、各楽曲データにおける小節線タイミングを検出し、その小節線タイミングにおいて各楽曲データを分割して、複数の曲断片データを生成する。   When the music data is produced, the user instructs the activation of the music production program 61 by the operation of the operation unit 4. Thereby, the CPU 1 loads the music production program 61 into the RAM 7 and executes it. Then, when the user designates one or a plurality of music data files 62 from which the music data is produced by operating the operation unit 4, as shown in FIG. 2, the dividing unit 101 of the music production program 61 is designated. Each piece of music data in each piece of music data file 62 is loaded into the RAM 7 and analyzed, and the bar timing in each piece of music data is detected, each piece of music data is divided at the bar line timing, and a plurality of pieces of music are divided. Generate data.

小節線タイミングの検出方法には各種の態様がある。楽曲データがオーディオデータ(オーディオ波形の時系列サンプルデータ)である場合、例えば楽曲データから楽曲のコードシーケンスを求め、コードの切り換わり点を小節線タイミングとしてもよい。コードシーケンスを求めるための方法としては、例えば次のような方法が考えられる。   There are various modes for detecting the bar line timing. When the song data is audio data (time-series sample data of an audio waveform), for example, a chord sequence of the song is obtained from the song data, and the chord change point may be set as the bar line timing. As a method for obtaining the code sequence, for example, the following method can be considered.

まず、楽曲データの拍点を抽出する。ここで、拍点は、例えば楽曲データが示すオーディオ波形からドラム等のリズム音が現れやすい帯域の成分を抽出し、この成分のエネルギーが急激に高まるタイミングを拍点とする、といった方法により抽出可能である。そして、各拍点のタイミングにおいて楽曲データから例えばHPCP(Harmonic Pitch Class Profile)情報等の音のハーモニー感を示すハーモニー情報を抽出し、ハーモニー情報列H(k)(k=0〜n−1)とする。ここで、kは楽曲の先頭からの時間に相当するインデックスであり、0は曲の先頭位置、n−1は曲の終了位置に相当する。そして、このn個のハーモニー情報H(k)(k=0〜n−1)の中から任意の2個のハーモニー情報H(i)およびH(j)を取り出して、両者間の類似度L(i,j)を算出する。この操作をi=0〜n−1およびj=0〜n−1の範囲内の全てのi,jの組み合わせについて実施し、図4(a)に示すようにn行n列の類似度マトリックスL(i,j)(i=0〜n−1、j=0〜n−1)を作成する。   First, beat points of music data are extracted. Here, beat points can be extracted by, for example, extracting a component in a band in which rhythm sounds such as drums easily appear from the audio waveform indicated by the music data, and using the timing at which the energy of this component rapidly increases as a beat point. It is. Then, at the timing of each beat point, harmony information indicating a sense of harmony of sound such as HPCP (Harmonic Pitch Class Profile) information is extracted from the music data, and a harmony information string H (k) (k = 0 to n−1). And Here, k is an index corresponding to the time from the beginning of the song, 0 is the beginning position of the song, and n-1 is the end position of the song. Then, any two pieces of harmony information H (i) and H (j) are extracted from the n pieces of harmony information H (k) (k = 0 to n−1), and the similarity L between the two pieces is obtained. (I, j) is calculated. This operation is performed for all i, j combinations within the range of i = 0 to n−1 and j = 0 to n−1, and an n-by-n similarity matrix as shown in FIG. L (i, j) (i = 0 to n−1, j = 0 to n−1) is created.

次にこの類似度マトリックスL(i,j)(i=0〜n−1、j=0〜n−1)の一部である三角マトリックスL(i,j)(i=0〜n−1、j≧i)において、類似度L(i,j)が閾値以上である連続した領域を求める。図4(b)において、黒い太線で示した領域はこの操作により得られた類似度の高い連続領域(以下、便宜上、高類似度連続領域という)を例示するものである。本実施形態では、このような高類似度連続領域が複数得られた場合に、i軸上における高類似度連続領域の占有範囲の重複関係に基づいて、ハーモニー情報列H(k)(k=0〜n−1)において繰り返し現れるハーモニー情報のパターンを見つける。   Next, a triangular matrix L (i, j) (i = 0 to n−1) which is a part of the similarity matrix L (i, j) (i = 0 to n−1, j = 0 to n−1). , J ≧ i), a continuous region where the similarity L (i, j) is equal to or greater than a threshold value is obtained. In FIG. 4B, a region indicated by a thick black line exemplifies a continuous region with high similarity obtained by this operation (hereinafter referred to as a high similarity continuous region for convenience). In the present embodiment, when a plurality of such high similarity continuous regions are obtained, the harmony information sequence H (k) (k = Find patterns of harmony information that appear repeatedly in 0-n-1).

例えば図4(b)に示す例において、類似度マトリックスL(i,j)(i=0〜n−1、j=0〜n−1)は、同じハーモニー情報間の類似度の集まりである高類似度連続領域L0の他に、高類似度連続領域L1およびL2を含む。ここで、高類似度連続領域L1は、曲の途中の区間のハーモニー情報列H(j)(j=k2〜k4−1)が曲の先頭から始まる区間のハーモニー情報列H(i)(i=0〜k2−1)と類似していることを示している。また、高類似度連続領域L2は、曲において高類似度連続領域L1に対応した区間の直後の区間のハーモニー情報列H(j)(j=k4〜k5−1)が曲の先頭から始まる区間のハーモニー情報列H(i)(i=0〜k1)と類似していることを示している。   For example, in the example shown in FIG. 4B, the similarity matrix L (i, j) (i = 0 to n−1, j = 0 to n−1) is a collection of similarities between the same harmony information. In addition to the high similarity continuous region L0, the high similarity continuous regions L1 and L2 are included. Here, the high similarity continuous region L1 is a harmony information sequence H (i) (i) in which the harmony information sequence H (j) (j = k2 to k4-1) in the middle of the song starts from the beginning of the song. = 0 to k2-1). The high similarity continuous area L2 is a section where the harmony information string H (j) (j = k4 to k5-1) of the section immediately after the section corresponding to the high similarity continuous area L1 in the music starts from the beginning of the music. This is similar to the harmony information string H (i) (i = 0 to k1).

これらの高類似度連続領域L1、L2のi軸上での占有範囲の重複関係に着目すると、次のことが分かる。まず、高類似度連続領域L1に対応した区間のハーモニー情報列H(j)(j=k2〜k4−1)は、曲の先頭から始まる区間のハーモニー情報列H(i)(i=0〜k2−1)と類似しているが、その一部の区間のハーモニー情報列H(i)(i=0〜k1−1)は高類似度連続領域L2に対応した区間のハーモニー情報列H(j)(j=k4〜k5−1)とも類似している。すなわち、曲の先頭から始まるハーモニー情報列H(i)(i=0〜k2−1)の出所である区間は、前半区間Aおよび後半区間Bに分かれており、高類似度連続領域L1に対応した区間では、区間AおよびBと同じコードが繰り返され、高類似度連続領域L2では区間Aと同じコードが繰り返されていると推定される。   Focusing on the overlapping relationship of the occupation ranges on the i-axis of these high similarity continuous regions L1 and L2, the following can be understood. First, the harmony information string H (j) (j = k2 to k4-1) of the section corresponding to the high similarity continuous region L1 is the harmony information string H (i) (i = 0 to 0) of the section starting from the beginning of the song. k2-1), but the harmony information string H (i) (i = 0 to k1-1) of a part of the section is a harmony information string H () of the section corresponding to the high similarity continuous region L2. j) (j = k4 to k5-1) is also similar. That is, the section from which the harmony information sequence H (i) (i = 0 to k2-1) starting from the beginning of the song is divided into a first half section A and a second half section B, and corresponds to the high similarity continuous region L1. It is estimated that the same code as the sections A and B is repeated in the section, and the same code as the section A is repeated in the high similarity continuous region L2.

次に高類似度連続領域L2に対応した区間の後のハーモニー情報列H(j)(j=k5〜n−1)は、先行するハーモニー情報列H(i)(i=0〜k5−1)のうちいずれの区間のものとも類似していない。そこで、ハーモニー情報列H(j)(j=k5〜n−1)を新たな区間Cと判定する。   Next, the harmony information sequence H (j) (j = k5 to n−1) after the section corresponding to the high similarity continuous region L2 is the preceding harmony information sequence H (i) (i = 0 to k5-1). ) Is not similar to any of the sections. Therefore, the harmony information string H (j) (j = k5 to n−1) is determined as a new section C.

分割部101は、以上のような処理により、ハーモニー情報列H(k)(k=0〜n−1)を各種のコードに対応した区間(図4(b)に示す例では、区間A、B、A、B、A、C)に区切り、各区間の境界線を小節線タイミングと判定する。なお、このようなハーモニー情報に基づくコードシーケンスの検出方法は例えば非特許文献2に開示されている。   The dividing unit 101 performs the above-described processing, the sections corresponding to the various codes of the harmony information string H (k) (k = 0 to n−1) (in the example illustrated in FIG. 4B, the section A, B, A, B, A, C), and the boundary line of each section is determined as the bar line timing. A method for detecting a code sequence based on such harmony information is disclosed in Non-Patent Document 2, for example.

小節線タイミングの検出方法に関しては、他の態様も考えられる。例えば楽曲データが示すオーディオ波形からリズム音の発生パターンを求める。そして、このリズム音の発生パターンについて、上述したようなn行n列の類似度マトリックスL(i,j)(i=0〜n−1、j=0〜n−1)を作成し、n行n列の類似度マトリックスL(i,j)(i=0〜n−1、j=0〜n−1)に現れる周期性を求めることにより、小節線タイミングを求めるのである。   Other modes are also conceivable regarding the bar line timing detection method. For example, the generation pattern of the rhythm sound is obtained from the audio waveform indicated by the music data. Then, an n-row n-column similarity matrix L (i, j) (i = 0 to n−1, j = 0 to n−1) as described above is created for this rhythm sound generation pattern, and n By determining the periodicity appearing in the similarity matrix L (i, j) (i = 0 to n−1, j = 0 to n−1) in the row n column, the bar line timing is determined.

楽曲データがMIDIデータである場合には、例えばリズム音のトラックに属するMIDIデータに基づいて、リズム音の発生パターンを求め、上述と同様な類似度マトリックスを用いた方法により、小節線タイミングを決定すればよい。   When the music data is MIDI data, for example, the rhythm sound generation pattern is obtained based on the MIDI data belonging to the rhythm sound track, and the bar line timing is determined by the method using the similarity matrix similar to the above. do it.

以上のように、楽曲データの構造分析を行うことにより小節線タイミングを自動的に求める他、例えば楽曲データが示すオーディオ波形や音符を表示部3に表示させ、ユーザにポインティングデバイスの操作により小節線タイミングを指定させてもよい。あるいは、楽曲データの構造分析により求めた小節線タイミングを楽曲のオーディオ波形や音符とともに表示部3に表示させ、小節線タイミングの追加、削除、修正をユーザに行わせるようにしてもよい。   As described above, the bar line timing is automatically obtained by performing the structure analysis of the music data. For example, the audio waveform and the musical note indicated by the music data are displayed on the display unit 3, and the user operates the pointing device to operate the bar line. Timing may be specified. Alternatively, the bar timing obtained by the structural analysis of the music data may be displayed on the display unit 3 together with the audio waveform and the musical note of the music so that the user can add, delete, and correct bar line timing.

図2において、音数評価部102は、以上のような分割部101の処理により得られたRAM7内の各曲断片データについて、各曲断片データが示す曲断片に現れる音の数を求め、音数を示すデータを含むヘッダを各曲断片データに付加する。この場合の音数を求める方法としては、例えば曲断片データがオーディオデータである場合には、曲断片データが示すオーディオ波形における中低域の成分を抽出し、その成分のエネルギーが急激に高まる回数をカウントする方法が考えられる。曲断片データがMIDIデータである場合には、曲断片データに含まれるノートオンイベントデータの数を音数とすればよい。   In FIG. 2, the sound number evaluation unit 102 obtains the number of sounds appearing in the music piece indicated by each piece of music piece data for each piece of music piece data in the RAM 7 obtained by the processing of the dividing unit 101 as described above, A header including data indicating the number is added to each piece of music piece data. As a method for obtaining the number of sounds in this case, for example, when the song fragment data is audio data, the number of components in the audio waveform indicated by the song fragment data is extracted, and the number of times the energy of the component increases rapidly. It is conceivable to count these. When the music piece data is MIDI data, the number of note-on event data included in the music piece data may be the number of sounds.

次に表示制御部103は、RAM7内の各曲断片データを示すメニューを表示部3に表示させる。ここで、分割部101の処理対象となった楽曲データが複数ある場合、表示制御部103は、1つの楽曲データから得られた各曲断片データのメニューを水平方向に並べ、かつ、各曲の曲断片データのメニューを上下方向に並べて表示させる。その際、表示制御部103は、1つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データの音数の小さいものから順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを2次元表示させる。曲断片データを示すメニューは、矩形などの単純な形状のマークでもよいが、曲断片データが示す曲の断片について、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の特徴量を評価し、その特徴量を示す形状や色を持ったマークを曲断片データのメニューとして表示部3に表示させてもよい。   Next, the display control unit 103 causes the display unit 3 to display a menu indicating each piece of music piece data in the RAM 7. Here, when there are a plurality of pieces of music data to be processed by the dividing unit 101, the display control unit 103 arranges a menu of pieces of music piece data obtained from one piece of music data in the horizontal direction, and each piece of music data Display the song data menu side by side in the vertical direction. At that time, the display control unit 103 is obtained from the music data of a plurality of songs so that the menu of each piece of music piece data obtained from the music data of one song is arranged in order from the smallest number of sounds of each piece of music piece data. The menu of each piece of music piece data is displayed two-dimensionally. The menu indicating the song fragment data may be a simple mark such as a rectangle, but the song fragment indicated by the song fragment data is a spectral centroid that represents the pitch of the sound, a loudness that represents the volume, and a sense of sound. It is also possible to evaluate feature quantities such as Brightness representing brightness and Noisiness indicating a gritty feel, and to display a mark having a shape or color indicating the feature quantity on the display unit 3 as a menu of music piece data. .

好ましい態様では、表示部3の表示画面は、図3に示すように、下側の曲断片表示エリア31と、上側の楽曲表示エリア32とに二分される。表示制御部103は、下側の曲断片表示エリア31に曲断片データのメニューを表示させる。下側の曲断片表示エリア31内の表示内容は操作部4の操作により上下方向および左右方向にスクロール可能である。上側の楽曲表示エリア32は、RAM7内の楽曲トラックの格納内容を示すエリアであり、水平方向が時間軸となっている。楽曲表示エリア32内の表示内容は操作部4の操作により左右方向にスクロール可能である。   In a preferred mode, the display screen of the display unit 3 is divided into a lower music piece display area 31 and an upper music display area 32 as shown in FIG. The display control unit 103 displays a music piece data menu in the lower music piece display area 31. The display content in the lower music piece display area 31 can be scrolled up and down and left and right by operating the operation unit 4. The upper music display area 32 is an area showing the stored contents of the music tracks in the RAM 7, and the horizontal direction is the time axis. The display content in the music display area 32 can be scrolled in the left-right direction by operating the operation unit 4.

図3に示すように、曲断片表示エリア31と楽曲表示エリア32が表示部3に表示された状態において、合成部104は、操作部4の操作に応じて、RAM7内の楽曲トラックに曲断片データを格納し、新たな楽曲データを合成する。さらに詳述すると、合成部104は、この楽曲トラックの時間軸の目盛りを示すグリッドを楽曲表示エリア32内に表示させる(図示略)。そして、合成部104は、操作部4(具体的にはポインティングデバイス)の操作により曲断片表示エリア31内に表示された1つの曲断片データのメニューが選択されると、そのメニューに対応した曲断片データをRAM7から読み出す。また、操作部4の操作により楽曲表示エリア32内の1つのグリッドが指示されると、RAM7内の楽曲トラックにおいて、この指示されたグリッドに対応したアドレスから始まる連続したエリアに、曲断片データのヘッダ以外の部分を格納する。   As shown in FIG. 3, in a state where the music piece display area 31 and the music piece display area 32 are displayed on the display unit 3, the synthesizing unit 104 adds the music piece to the music track in the RAM 7 in accordance with the operation of the operation unit 4. Store data and synthesize new music data. More specifically, the synthesizing unit 104 displays a grid indicating the time scale of the music track in the music display area 32 (not shown). When the menu of one piece of music piece data displayed in the piece of music piece display area 31 is selected by the operation of the operation unit 4 (specifically, a pointing device), the composition unit 104 selects a piece of music corresponding to the menu. The fragment data is read from the RAM 7. Further, when one grid in the music display area 32 is instructed by the operation of the operation unit 4, in the music track in the RAM 7, the music piece data is stored in a continuous area starting from the address corresponding to the instructed grid. Store the part other than the header.

また、合成部104は、この楽曲トラックに格納した曲断片データを示す図形を楽曲表示エリア32において指示されたグリッドの位置に表示させる。この曲断片データを示す図形は、曲断片データがオーディオデータである場合にはそのオーディオデータが示すオーディオ波形であってもよいし、曲断片データがMIDIデータである場合にはそのMIDIデータが示す1または複数の音符であってもよい。あるいは、曲断片データが示す曲断片について、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の特徴量が評価されている場合には、その特徴量を示す形状や色を持ったマークを楽曲表示エリア32に表示させてもよい。その際、マークの長さは、曲断片データが示す曲断片の長さ(通常はその曲の1小節の長さ)に合わせるのが好ましい。   The synthesizing unit 104 displays a graphic indicating the music piece data stored in the music track at the grid position designated in the music display area 32. The graphic indicating the song fragment data may be an audio waveform indicated by the audio data when the song fragment data is audio data, or may be indicated by the MIDI data when the song fragment data is MIDI data. It may be one or more notes. Or, for the song fragment indicated by the song fragment data, there are features such as Spectral Centroid that expresses the pitch of the sound, Loudness that expresses the volume, Brightness that expresses the brightness of the sound, and Noisiness that expresses the sense of roughness. If it is evaluated, a mark having a shape or color indicating the feature amount may be displayed in the music display area 32. At this time, the length of the mark is preferably matched with the length of the music piece indicated by the music piece data (usually the length of one measure of the music piece).

合成部104は、このような処理を操作部4の操作に従って繰り返し、各種の曲断片データを繋ぎ合わせた新規な楽曲データをRAM7内の楽曲トラック内に生成する。   The synthesizing unit 104 repeats such processing in accordance with the operation of the operation unit 4 to generate new music data in the music track in the RAM 7 by connecting various pieces of music piece data.

好ましい態様では、ユーザが操作部4の操作により、オーディオデータである1つの曲断片データを選択したとき、合成部104は、その曲断片データをRAM7から読み出してサウンドシステム8に送り、音として出力させる。また、ユーザが操作部4の操作により、MIDIデータである1つの曲断片データを選択したときには、合成部104は、その曲断片データをRAM7から読み出してMIDI音源9に送る。これによりMIDI音源9がMIDIデータに従ってデジタル楽音信号を形成し、これがサウンドシステム8から音として出力される。ユーザは、このようにしてサウンドシステム8から出力される音を聴くことにより、所望の曲断片データを選択したか否かの確認を行うことができる。   In a preferred embodiment, when the user selects one piece of music piece data that is audio data by operating the operation unit 4, the synthesis unit 104 reads the piece of music piece data from the RAM 7, sends it to the sound system 8, and outputs it as sound. Let When the user selects one piece of music piece data as MIDI data by operating the operation unit 4, the synthesis unit 104 reads the piece of music piece data from the RAM 7 and sends it to the MIDI sound source 9. As a result, the MIDI sound source 9 forms a digital musical tone signal according to the MIDI data, and this is output as a sound from the sound system 8. By listening to the sound output from the sound system 8 in this manner, the user can confirm whether or not the desired music piece data has been selected.

ところで、ユーザがテンポの異なった複数の楽曲データから得られる曲断片データを繋ぎ合わせて楽曲データを合成するような場合がある。この場合、本実施形態では、各楽曲データのうちの1つの楽曲データの拍のタイミングに各曲断片データの拍のタイミングを合わせるタイミング調整を行い、合成部104は、このタイミング調整後の曲断片データを用いて曲データの合成を行う。このようなタイミング調整をスムーズに行うためには、分割部101が楽曲データの構造分析のために拍抽出を行う際に、楽曲データのテンポを求めることが好ましい。   By the way, there is a case where a user combines music piece data obtained from a plurality of music data having different tempos to synthesize music data. In this case, in the present embodiment, timing adjustment is performed to match the beat timing of each piece of music piece data with the beat timing of one piece of music data out of each piece of music data. The music data is synthesized using the data. In order to perform such timing adjustment smoothly, it is preferable that the division unit 101 obtains the tempo of music data when extracting beats for the structure analysis of the music data.

図5は、本実施形態における曲断片データのタイミング調整の一例を示すものである。図5に示すように、ユーザによって例えば曲KおよびLの曲断片データが選択され、曲Kのテンポが曲Lのテンポよりも遅い場合、合成部104は、テンポの遅い曲Kの曲断片データのタイミング調整を行う。すなわち、曲断片データがオーディオデータである場合には、曲Kの曲断片データにおいて各拍のタイミングから始まる一拍分の長さのオーディオデータの先頭位置を、曲Lの曲断片データにおける対応する拍のタイミングに合わせる。この場合において、曲Kの曲断片データにおける1拍分のオーディオデータは、曲Lの曲断片データの1拍分の期間内に収まらない。そこで、曲Kの曲断片データにおける各拍のオーディオデータのうち曲Lの曲断片データの1拍分の期間内に収まり切らない後方部分を削除する。   FIG. 5 shows an example of timing adjustment of music piece data in the present embodiment. As shown in FIG. 5, for example, when song pieces data of songs K and L are selected by the user, and the tempo of song K is slower than the tempo of song L, the synthesizing unit 104 sends song piece data of song K having a slow tempo. Adjust the timing. That is, when the music piece data is audio data, the start position of one beat of audio data starting from the timing of each beat in the music piece data of music K corresponds to the music piece data of music L. Match the beat timing. In this case, the audio data for one beat in the song piece data of the song K does not fit within the period of one beat of the song piece data of the song L. Therefore, the rear portion that does not fit within the period of one beat of the music piece data of the music piece L in the audio data of each beat in the music piece data of the music piece K is deleted.

ユーザがテンポの異なった3種類以上の楽曲データから得られる曲断片データを繋ぎ合わせて楽曲データを合成する場合も同様である。この場合も、最もテンポの速い曲断片データの拍のタイミングに他の曲断片データの拍のタイミングを合わせるタイミング調整を行えばよい。   The same applies when the user combines music piece data obtained from three or more kinds of music data having different tempos to synthesize music data. Also in this case, the timing adjustment may be performed so that the beat timing of the music piece data having the fastest tempo is synchronized with the beat timing of the other music piece data.

曲断片データがMIDIデータである場合も、以上と基本的に同様であり、最もテンポの速い曲断片データの拍のタイミングに他の曲断片データの拍のタイミングを合わせるように、当該他の曲断片データにおけるノートオンイベントデータとノートオフイベントデータのタイミング調整を行えばよい。   When the music piece data is MIDI data, the above is basically the same as described above, and the other music piece data is matched with the timing of the beat of the music piece data having the fastest tempo. The timing adjustment of note-on event data and note-off event data in the fragment data may be performed.

如何なる局面において、楽曲制作プログラム61のどのルーチンが曲断片データのタイミング調整を行うかに関しては、2通りの態様がある。第1の態様では、分割部101が楽曲データの制作に用いる複数の楽曲データの全てについて曲断片データを生成した後、分割部101が曲断片データのタイミング調整を行う。この場合、分割部101は、処理対象とされた複数の楽曲データのうち最もテンポの速いものを基準楽曲データとし、他の楽曲データから得られた曲断片データの拍のタイミングをこの基準楽曲データの拍のタイミングに合わせるタイミング調整を行う。この態様は、処理が簡単であるという利点がある。   In any aspect, there are two modes regarding which routine of the music production program 61 adjusts the timing of music piece data. In the first mode, after the dividing unit 101 generates music piece data for all of a plurality of pieces of music data used for production of music data, the dividing unit 101 adjusts the timing of the music piece data. In this case, the dividing unit 101 sets the fastest tempo of a plurality of pieces of music data to be processed as reference music data, and sets the beat timing of the music piece data obtained from the other music data as the reference music data. Adjust the timing to match the timing of the beat. This aspect has the advantage that the processing is simple.

第2の態様では、ユーザが楽曲データの合成に用いる曲断片データを選択するのをトリガとして、合成部104が曲断片データのタイミング調整を行う。すなわち、ユーザが曲断片データを選択する都度、選択した曲断片データの帰属先である楽曲データのテンポ(第1のテンポという)と、既に楽曲データの合成に使用した曲断面データまたはタイミング調整済みの曲断面データのテンポ(第2のテンポという)とを比較し、この比較結果に基づき、次の処理を行う。
a.第1のテンポが第2のテンポより遅い場合、合成部104は、選択した曲断片データの拍のタイミングを第2のテンポに対応したタイミングに調整する。この場合、第2のテンポは変わらない。
b.第1のテンポが第2のテンポより速い場合、合成部104は、楽曲トラックに格納した全ての曲断片データを読み出し、これらの曲断片データの拍のタイミングを第1のテンポに対応したタイミングに調整し、楽曲トラックに戻す。ユーザが選択した曲断片データは、タイミング調整を行うことなく、楽曲トラックにおける最後尾の曲断片データの後に配置する。そして、第2のテンポの内容を第1のテンポにする。
In the second mode, the synthesizing unit 104 adjusts the timing of music piece data, triggered by the user selecting music piece data used for composition of music data. That is, every time the user selects song fragment data, the tempo of the song data to which the selected song fragment data belongs (referred to as the first tempo) and the song cross-section data already used for the composition of the song data or the timing adjusted. Is compared with the tempo (referred to as the second tempo) of the song cross section data, and the following processing is performed based on the comparison result.
a. When the first tempo is slower than the second tempo, the synthesizer 104 adjusts the beat timing of the selected music piece data to a timing corresponding to the second tempo. In this case, the second tempo does not change.
b. When the first tempo is faster than the second tempo, the synthesizing unit 104 reads all the song fragment data stored in the song track, and sets the timing of the beats of these song fragment data to the timing corresponding to the first tempo. Adjust and return to the music track. The music piece data selected by the user is arranged after the last music piece data in the music track without adjusting timing. Then, the content of the second tempo is set to the first tempo.

第2の態様は、第1の態様に比べて処理が複雑になるが、ユーザが楽曲データの制作のために多数の楽曲データを選択し、そのうちの一部の楽曲データの曲断片データしか新規な楽曲データの合成に使用しなかった場合に、曲断片データについて不要なタイミング調整を行わなくて済むという利点がある。   The second mode is more complicated than the first mode, but the user selects a large number of song data for production of song data, and only the song fragment data of some of the song data is new. There is an advantage that unnecessary timing adjustment is not necessary for the music piece data when it is not used for synthesizing the music data.

以上のような処理を経て、楽曲データが楽曲トラック内に得られた状態において、ユーザが操作部4の操作により再生指示を与えると、合成部104は、楽曲トラックから楽曲データを読み出してサウンドシステム8またはMIDI音源9に送る。これによりユーザは、所望の楽曲を制作することができたか否かを確認することができる。そして、ユーザが操作部4の操作により格納指示を与えると、合成部104は、楽曲トラック内の楽曲データを楽曲データファイル62としてHDD6内に格納する。   When the user gives a reproduction instruction by operating the operation unit 4 in a state where the music data is obtained in the music track through the above processing, the synthesizing unit 104 reads the music data from the music track and reads the sound system. 8 or MIDI sound source 9. As a result, the user can confirm whether or not the desired music piece has been produced. When the user gives a storage instruction by operating the operation unit 4, the synthesis unit 104 stores the music data in the music track in the HDD 6 as the music data file 62.

以上説明したように、本実施形態によれば、楽曲データを小節線タイミングにおいて分割することにより複数の曲断片データが生成され、楽曲制作の素材としての各曲断片データを示すメニューが表示部3に表示される。その際、各曲断片データを示すメニューは、曲断片データの音数が少ないものから順に(すなわち、音楽的に簡単なものから順に)表示部3に表示される。また、本実施形態によれば、複数曲の楽曲データが処理対象とされた場合には、各曲毎に、1曲分の曲断片データのメニューが並べて表示される。従って、ユーザは、メニューとして表示された各曲断片データの中から所望のものを迅速に見つけ出すことができ、効率的に楽曲制作を行うことができる。   As described above, according to the present embodiment, a plurality of pieces of music piece data are generated by dividing the music data at the bar line timing, and the menu indicating each piece of music piece data as a material for music production is displayed on the display unit 3. Is displayed. At that time, the menu showing each piece of music piece data is displayed on the display unit 3 in order from the piece piece data having the smallest number of sounds (that is, in order from the musically simple one). Further, according to the present embodiment, when music data of a plurality of songs is to be processed, a menu of song piece data for one song is displayed side by side for each song. Therefore, the user can quickly find a desired one from each piece of music piece data displayed as a menu, and can perform music production efficiently.

以上、この発明の一実施形態について説明したが、この発明には、他にも実施形態が考えられる。例えば次の通りである。   Although one embodiment of the present invention has been described above, other embodiments are conceivable for the present invention. For example:

(1)楽曲制作プログラム61は、その一部または全部のプログラムを電子回路に置き換えてもよい。 (1) The music production program 61 may replace some or all of the programs with electronic circuits.

(2)曲断片表示エリア31にメニュー表示された音断片データのうちユーザが選んだ複数の曲断片データを繰り返してサウンドシステム8またはMIDI音源9に送るループ再生機能を合成部104に設けてもよい。 (2) The synthesizing unit 104 may be provided with a loop playback function for repeatedly sending a plurality of song piece data selected by the user from the sound piece data displayed in the menu in the song piece display area 31 to the sound system 8 or the MIDI sound source 9. Good.

図6および図7はその動作例を示すものである。図6に示す例では、図6(a)に示すように、ある曲Mの曲断片データAおよびBがユーザによって選択されている。この場合、合成部104は、操作部4の操作によりループ再生の指示が与えられることにより、図6(b)に示すように、曲断片データA、B、A、B、…という具合にRAM7内の曲断片データAおよびBを交互にサウンドシステム8またはMIDI音源9に送る。これによりユーザは、曲断片データAおよびBのループ再生を行ったときの効果を聴覚により確認することができる。また、図7に示す例では、図7(a)に示すように、ある曲Kの曲断片データAおよびBと、別の曲Lの曲断片データC、DおよびEがユーザによって選択されている。この場合、合成部104は、操作部4の操作によりループ再生の指示が与えられることにより、図7(b)に示すように、曲Kの曲断片データAおよびBをサウンドシステム8またはMIDI音源9に繰り返し送る一方、これと並行し、曲Lの曲断片データC、DおよびEをサウンドシステム8またはMIDI音源9に繰り返し送る。これによりユーザは、曲断片データAおよびBのループ再生と曲断片データC、DおよびEのループ再生を同時進行させたときの効果を聴覚により確認することができる。   6 and 7 show an example of the operation. In the example shown in FIG. 6, as shown in FIG. 6A, music piece data A and B of a certain music M are selected by the user. In this case, the synthesizing unit 104 is instructed to play the loop by operating the operation unit 4, and as shown in FIG. 6B, the music piece data A, B, A, B,. The music piece data A and B are sent to the sound system 8 or the MIDI sound source 9 alternately. Thereby, the user can confirm the effect when performing the loop reproduction of the music piece data A and B by hearing. Further, in the example shown in FIG. 7, as shown in FIG. 7A, music piece data A and B of a certain music K and music piece data C, D and E of another music L are selected by the user. Yes. In this case, the synthesizing unit 104 receives the instruction of the loop reproduction by the operation of the operation unit 4, so that the music piece data A and B of the music K are converted into the sound system 8 or the MIDI sound source as shown in FIG. At the same time, the music piece data C, D and E of the music piece L are repeatedly sent to the sound system 8 or the MIDI sound source 9. As a result, the user can visually confirm the effect when the loop reproduction of the music piece data A and B and the loop reproduction of the music piece data C, D, and E are simultaneously performed.

(3)ユーザが選択した複数の曲断片データにループ再生の制御情報を付加して楽曲トラックに格納する機能を合成部104に追加してもよい。前掲図6の例の場合、ユーザが曲断片データAおよびBの楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部4の操作により与えた場合、合成部104は、曲断片データAおよびBを楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データBの再生後は指定された回数だけ曲断片データAに戻って再生を行うべき旨の制御情報を楽曲トラック内の曲断片データBに付加する。 (3) A function of adding loop reproduction control information to a plurality of pieces of music piece data selected by the user and storing them in a music track may be added to the synthesis unit 104. In the case of the example shown in FIG. 6, when the user gives an instruction to store the song piece data A and B in the song track and an instruction to play a loop including designation of the number of loops by operating the operation unit 4, 104 indicates that the music piece data A and B are arranged after the last music piece data in the music track, and after the music piece data B is reproduced, the music piece data A and B should be returned to the music piece data A for the designated number of times and reproduced. The control information is added to the music piece data B in the music track.

前掲図7の例のように曲KおよびLから取り出した各曲断片についての同時進行的なループ再生を行うための楽曲データを合成することも可能である。この場合、合成部104は2つの楽曲トラックを使用して楽曲データの合成を行う。まず、ユーザが曲断片データAおよびBの第1の楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部4の操作により与えた場合、合成部104は、曲断片データAおよびBを第1の楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データBの再生後は指定された回数だけ曲断片データAに戻って再生を行うべき旨の制御情報を第1の楽曲トラック内の曲断片データBに付加する。また、ユーザが曲断片データC、DおよびEの第2の楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部4の操作により与えた場合、合成部104は、曲断片データC、DおよびEを第2の楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データEの再生後は指定された回数だけ曲断片データCに戻って再生を行うべき旨の制御情報を第2の楽曲トラック内の曲断片データEに付加するのである。このようにして第1および第2の楽曲トラック内に得られた各楽曲データをマルチチャネルの再生機能を有する楽曲再生装置に与える。これにより、楽曲再生装置において、前掲図7(b)に示すような2系統のループ再生を同時進行させることができる。   As shown in the example of FIG. 7, it is also possible to synthesize music data for simultaneous loop reproduction of music pieces extracted from music K and L. In this case, the synthesizing unit 104 synthesizes music data using two music tracks. First, when the user gives an instruction to store the song piece data A and B in the first song track and an instruction to play a loop including designation of the number of loops by operating the operation unit 4, the combining unit 104 The music piece data A and B are arranged after the last music piece data in the first music track, and after reproduction of the music piece data B, the music piece data A should be returned to the music piece data A for the designated number of times and reproduced. The control information is added to the music piece data B in the first music track. Further, when the user gives an instruction for storing the song piece data C, D, and E to the second song track and an instruction for loop reproduction including designation of the number of loops by operating the operation unit 4, the synthesis unit 104 Arranges the music piece data C, D and E after the last music piece data in the second music track, and after reproducing the music piece data E, it returns to the music piece data C for the designated number of times for reproduction. Control information indicating that it should be performed is added to the music piece data E in the second music track. In this way, each piece of music data obtained in the first and second music tracks is given to a music playback device having a multi-channel playback function. Thereby, in the music reproducing apparatus, two systems of loop reproduction as shown in FIG.

(4)オーディオデータである曲断片データとMIDIデータである曲断片データの両方を用いて楽曲データの合成を行うための機能を合成部104に追加してもよい。例えば、ユーザがオーディオデータである曲断片データを選択した場合にはその曲断片データをそのまま楽曲トラックに格納し、ユーザがMIDIデータである曲断片データを選択した場合にはその曲断片データをMIDI音源9に送ってオーディオデータに変換させ、このオーディオデータを楽曲トラックに格納する、という態様が考えられる。 (4) A function for synthesizing music data using both music piece data that is audio data and music piece data that is MIDI data may be added to the synthesis unit 104. For example, when the user selects music piece data that is audio data, the music piece data is stored in the music track as it is, and when the user selects music piece data that is MIDI data, the music piece data is stored in MIDI. It can be considered that the audio data is sent to the sound source 9 to be converted into audio data, and this audio data is stored in a music track.

(5)上記実施形態では、音の態様に関する大小表現可能なパラメータとして、曲断片の音数を採用した。しかし、これ以外のパラメータを採用してもよい。例えば、時々刻々と変化する曲断片のスペクトルを、横軸を時間軸、縦軸を周波数軸とする2次元座標系にマッピングしてスペクトログラムを生成し、このスペクトログラムのテキスチャとしての変化の激しさを評価し、その程度を示す数値を求める。そして、この数値を「音の態様に関する大小表現可能なパラメータ」とするのである。また、曲断片の時間領域での波形の複雑さの程度を示す数値を求め、「音の態様に関する大小表現可能なパラメータ」とすることが考えられる。これらのパラメータは、曲断片の音数と同様に、音の複雑さの程度を大小表現するものである。従って、これらのパラメータを各曲断片データについて求め、各曲断片データのメニューをこれらのパラメータの順に表示させた場合には、上記実施形態と同様、ユーザは所望の曲断片データを容易に探し出すことができる。 (5) In the above-described embodiment, the number of music pieces is used as a parameter that can express the size of the sound. However, other parameters may be adopted. For example, the spectrum of a piece of music that changes from moment to moment is mapped to a two-dimensional coordinate system in which the horizontal axis is the time axis and the vertical axis is the frequency axis to generate a spectrogram, and the intensity of the change as the texture of the spectrogram is expressed. Evaluate and obtain a numerical value indicating the degree. This numerical value is set as “a parameter that can be expressed in terms of the size of the sound”. Further, it is conceivable to obtain a numerical value indicating the degree of complexity of the waveform in the time domain of the music fragment and to set it as “a parameter that can be expressed in terms of the magnitude of the sound mode”. These parameters express the magnitude of the complexity of the sound in the same way as the number of sounds of the music piece. Therefore, when these parameters are obtained for each piece of music piece data and the menu of each piece of music piece data is displayed in the order of these parameters, the user can easily find out the desired piece of music piece data as in the above embodiment. Can do.

(6)音の態様に関する大小表現可能なパラメータとして、曲断片における低域エネルギーの割合を採用してもよい。ここで、低域のエネルギーの割合としては、曲断片における概ね400Hz以下の成分のパワーを求め、これを曲断片の全周波数帯域に亙るパワーで除したものを用いると、聴感によく合う結果が得られて好ましい。この態様によれば、低域のエネルギーの割合の少ない軽い印象の曲断片から低域の豊かな重い印象の曲断片へという順に曲断片データを示すメニューが表示される。従って、ユーザは、所望の軽重を持った曲断片データを選択することができ、軽重を対比させた興趣に富んだ楽曲データを合成することが可能となる。 (6) As a parameter that can express the magnitude of the sound mode, the ratio of the low-frequency energy in the music piece may be adopted. Here, as the ratio of the low-frequency energy, the power of the component of approximately 400 Hz or less in the music piece is obtained, and when this is divided by the power over the entire frequency band of the music piece, the result that fits well with the audibility is obtained. Obtained and preferred. According to this aspect, the menu showing the music piece data is displayed in the order of the light music piece with a low proportion of low-frequency energy to the heavy music piece with a rich low-frequency content. Therefore, the user can select music piece data having a desired light weight, and it is possible to synthesize music data rich in interest that compares light weight.

(7)音の態様に関する大小表現可能なパラメータとして、曲断片に含まれる低域のオンセットの密度を採用してもよい。この場合、バスドラム音のスペクトルが属する概ね400Hz以下の低域成分を曲断片から抽出し、曲断片を通じて、この低域成分中のスペクトルピークのオンセット(立ち上がり)回数を計数し、オンセットの密度を求めるのが好ましい。そして、このオンセットの密度の低い順に曲断片データのメニューを表示する。この態様によれば、バスドラムがまったくない曲断片から連打されている曲断片の順に曲断片データのメニューが表示されることになる。従って、ユーザは、メニュー表示された曲断片データの静かさと激しさを直感的に把握することができ、所望の静けさまたは激しさを持った曲断片データを選択して、静けさと激しさの変化に富んだ楽曲データを合成することが可能となる。なお、オンセット検出のための手段としては、例えば特許文献1に開示されている方法等の公知の手法を適用可能である。 (7) The low-frequency onset density included in the music piece may be adopted as a parameter that can express the magnitude of the sound. In this case, a low frequency component of approximately 400 Hz or less to which the spectrum of the bass drum sound belongs is extracted from the musical piece, and the number of onsets (rises) of the spectral peak in the low frequency component is counted through the musical piece, It is preferable to determine the density. Then, a menu of music piece data is displayed in ascending order of onset density. According to this aspect, the menu of music piece data is displayed in the order of music pieces that are continuously hit from music pieces that have no bass drum. Therefore, the user can intuitively grasp the quietness and intensity of the song fragment data displayed on the menu, select the song fragment data having the desired silence or intensity, and change the silence and the intensity. It is possible to synthesize rich music data. As a means for onset detection, for example, a known method such as the method disclosed in Patent Document 1 can be applied.

この発明の一実施形態である楽曲制作装置の構成を示すブロック図である。It is a block diagram which shows the structure of the music production apparatus which is one Embodiment of this invention. 同実施形態における分割部101、音数評価部102および表示制御部103の処理内容を示す図である。It is a figure which shows the processing content of the division part 101, the sound number evaluation part 102, and the display control part 103 in the embodiment. 同実施形態における合成部104の処理内容を示す図である。It is a figure which shows the processing content of the synthetic | combination part 104 in the embodiment. 同実施形態において小節線タイミングを決定するために利用するコードシーケンスの解析方法を示す図である。It is a figure which shows the analysis method of the code sequence utilized in order to determine bar line timing in the embodiment. 同実施形態において行われる曲断片データの拍タイミングの調整を示す図である。It is a figure which shows adjustment of the beat timing of the music piece data performed in the embodiment. 他の実施形態において行われる曲断片データのループ再生を示す図である。It is a figure which shows the loop reproduction | regeneration of the music fragment data performed in other embodiment. 他の実施形態において行われる曲断片データのループ再生を示す図である。It is a figure which shows the loop reproduction | regeneration of the music fragment data performed in other embodiment.

符号の説明Explanation of symbols

1……CPU、2……ROM、3……表示部、4……操作部、5……インタフェース群、6……HDD、7……RAM、8……サウンドシステム、9……MIDI音源、61……楽曲制作プログラム、62……楽曲データ、101……分割部、102……音数評価部、103……表示制御部、104……合成部。 1 ... CPU, 2 ... ROM, 3 ... display unit, 4 ... operation unit, 5 ... interface group, 6 ... HDD, 7 ... RAM, 8 ... sound system, 9 ... MIDI sound source, 61... Music production program, 62... Music data, 101... Dividing unit, 102.

Claims (4)

操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、
前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果であるパラメータを出力する評価手段と、
前記楽曲データから得られた各曲断片データを示すメニューを前記評価手段による評価により各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、
前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
を具備することを特徴とする楽曲制作装置。
Dividing means for analyzing music data to be processed by operation of the operation means to detect bar line timing, dividing the music data at the bar line timing to generate a plurality of music piece data;
An evaluation unit that evaluates a parameter that can be expressed in terms of the size of a sound fragment for the song fragment indicated by the song fragment data, and outputs a parameter that is an evaluation result;
Display control means for displaying a menu showing each piece of music data obtained from the music data on the display means in order according to each parameter obtained from each piece of music data by the evaluation by the evaluation means ;
The operation means for selecting the music piece data displayed as a menu on the display means and the operation means for indicating the position of the music piece data on the time axis are detected, and the music selected by the operation means is detected. A music composition apparatus comprising: composition means for composing music data arranged at a position on a time axis in which fragment data is instructed by operation of the operation means.
前記操作手段の操作により複数曲の楽曲データが処理対象とされた場合に、前記表示制御手段は、複数曲の楽曲データから得られた各曲断片データのメニューを曲毎に並べ、かつ、1つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データから得られた各パラメータに応じた順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを2次元表示させることを特徴とする請求項1に記載の楽曲制作装置。   When multiple pieces of music data are processed by the operation of the operation means, the display control means arranges a menu of pieces of music piece data obtained from multiple pieces of music data for each piece of music, and 1 The menu of each piece of music data obtained from the music data of multiple songs is arranged so that the menu of each piece of music data obtained from the music data of one song is arranged in the order corresponding to each parameter obtained from each piece of music piece data. The music production apparatus according to claim 1, wherein two-dimensional display is performed. テンポの異なった複数の楽曲データから得られた各曲断片データについて、あるテンポを持った曲断片データの拍のタイミングに他のテンポを持った曲断片データの拍のタイミングを合わせるタイミング調整手段を具備し、前記合成手段は、前記タイミング調整手段の処理を経た曲断片データを用いて楽曲データを合成することを特徴とする請求項1または2に記載の楽曲制作装置。   For each piece of music piece data obtained from a plurality of pieces of music data having different tempos, there is a timing adjusting means for matching the timing of the beat of the piece of music piece data having a different tempo with the timing of the beat of the piece of music piece data having a certain tempo. 3. The music composition apparatus according to claim 1, wherein the synthesizing unit synthesizes the music data using the music piece data that has been processed by the timing adjustment unit. コンピュータを、
操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、
前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果であるパラメータを出力する評価手段と、
前記楽曲データから得られた各曲断片データを示すメニューを前記評価手段による評価により各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、
前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
して機能させることを特徴とするコンピュータプログラム。
Computer
Dividing means for analyzing music data to be processed by operation of the operation means to detect bar line timing, dividing the music data at the bar line timing to generate a plurality of music piece data;
An evaluation unit that evaluates a parameter that can be expressed in terms of the size of a sound fragment for the song fragment indicated by the song fragment data, and outputs a parameter that is an evaluation result;
Display control means for displaying a menu showing each piece of music data obtained from the music data on the display means in order according to each parameter obtained from each piece of music data by the evaluation by the evaluation means ;
The operation means for selecting the music piece data displayed as a menu on the display means and the operation means for indicating the position of the music piece data on the time axis are detected, and the music selected by the operation means is detected. A computer program that causes fragment data to function as a synthesizing unit that synthesizes music data arranged at a position on a time axis designated by operation of the operation unit.
JP2007185914A 2007-07-17 2007-07-17 Apparatus and program for producing music Expired - Fee Related JP5217275B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007185914A JP5217275B2 (en) 2007-07-17 2007-07-17 Apparatus and program for producing music

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007185914A JP5217275B2 (en) 2007-07-17 2007-07-17 Apparatus and program for producing music

Publications (2)

Publication Number Publication Date
JP2009025386A JP2009025386A (en) 2009-02-05
JP5217275B2 true JP5217275B2 (en) 2013-06-19

Family

ID=40397272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185914A Expired - Fee Related JP5217275B2 (en) 2007-07-17 2007-07-17 Apparatus and program for producing music

Country Status (1)

Country Link
JP (1) JP5217275B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625235B2 (en) * 2008-11-21 2014-11-19 ソニー株式会社 Information processing apparatus, voice analysis method, and program
WO2011155062A1 (en) * 2010-06-11 2011-12-15 パイオニア株式会社 Performance generation system
JP2016029499A (en) * 2015-10-26 2016-03-03 パイオニア株式会社 Musical composition support device, musical composition support method, musical composition support program, and recording medium having musical composition support program stored therein

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3242028B2 (en) * 1997-05-22 2001-12-25 ヤマハ株式会社 Data transmission / reception method and system
JP3597735B2 (en) * 1999-10-12 2004-12-08 日本電信電話株式会社 Music search device, music search method, and recording medium recording music search program
JP2001167100A (en) * 1999-12-07 2001-06-22 Alpine Electronics Inc Retrieved result output method for music retrieval system
JP2001162031A (en) * 1999-12-10 2001-06-19 Namco Ltd Music game device
JP3807380B2 (en) * 2003-02-27 2006-08-09 ヤマハ株式会社 Score data editing device, score data display device, and program
JP4257246B2 (en) * 2004-03-29 2009-04-22 株式会社第一興商 Karaoke medley generation system for each user to promote high calorie consumption
JP4364838B2 (en) * 2005-06-06 2009-11-18 Kddi株式会社 Music reproducing apparatus capable of remixing music, and method and program for remixing music
JP2007071903A (en) * 2005-09-02 2007-03-22 Yamaha Corp Musical piece creation support device

Also Published As

Publication number Publication date
JP2009025386A (en) 2009-02-05

Similar Documents

Publication Publication Date Title
US7728212B2 (en) Music piece creation apparatus and method
JP5949544B2 (en) Retrieval of musical sound data based on rhythm pattern similarity
US6140565A (en) Method of visualizing music system by combination of scenery picture and player icons
US8710343B2 (en) Music composition automation including song structure
US8035020B2 (en) Collaborative music creation
JP5982980B2 (en) Apparatus, method, and storage medium for searching performance data using query indicating musical tone generation pattern
JP4207902B2 (en) Speech synthesis apparatus and program
JP6565530B2 (en) Automatic accompaniment data generation device and program
JP5228432B2 (en) Segment search apparatus and program
US20060230910A1 (en) Music composing device
JP5970934B2 (en) Apparatus, method, and recording medium for searching performance data using query indicating musical tone generation pattern
CN1750116A (en) Automatic rendition style determining apparatus and method
US20080190270A1 (en) System and method for online composition, and computer-readable recording medium therefor
JP2806351B2 (en) Performance information analyzer and automatic arrangement device using the same
JP5217275B2 (en) Apparatus and program for producing music
JP6175812B2 (en) Musical sound information processing apparatus and program
JP5879996B2 (en) Sound signal generating apparatus and program
JP3603599B2 (en) Method for visual display of performance system and computer-readable recording medium on which visual display program for performance system is recorded
JP4480650B2 (en) Pitch control device and pitch control program
JP6693596B2 (en) Automatic accompaniment data generation method and device
KR102269591B1 (en) Apparatus and method for automatically composing music
JP2006113487A (en) Method and device for producing musical sound data
JP4305315B2 (en) Automatic performance data characteristic changing device and program thereof
JP2007093795A (en) Method and device for generating musical sound data
Özer et al. libsoni: A Python Toolbox for Sonifying Music Annotations and Feature Representations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5217275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees