JP2005181646A - System and method to output music and picture and music data generating server device - Google Patents
System and method to output music and picture and music data generating server device Download PDFInfo
- Publication number
- JP2005181646A JP2005181646A JP2003421830A JP2003421830A JP2005181646A JP 2005181646 A JP2005181646 A JP 2005181646A JP 2003421830 A JP2003421830 A JP 2003421830A JP 2003421830 A JP2003421830 A JP 2003421830A JP 2005181646 A JP2005181646 A JP 2005181646A
- Authority
- JP
- Japan
- Prior art keywords
- music
- image
- musical instrument
- output
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Controls And Circuits For Display Device (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、音楽とともに画像を出力するシステムなどに関するものであり、より詳しくは、生成されたオリジナルの音楽に対しても、その音楽の雰囲気に適合した画像をリアルタイムに表示させることができるようにしたシステムなどに関するものである。 The present invention relates to a system for outputting an image together with music. More specifically, the present invention can display an image suitable for the atmosphere of the generated original music in real time. Related to the system.
一般に、カラオケ装置などのように音楽出力装置では、その音楽とともに風景画やアニメーションや音楽の演奏状態などを表示するようにしたものが多い。このような装置などとしてはカラオケ装置のほか、パーソナルコンピュータ、携帯電話などが存在するが、これらは一般的にあらかじめ音楽に対応した映像や画像を記憶しておき、その音楽が選択された場合に、この音楽に対応した画像を記憶手段から読み出して表示させるようにしたものである。また、このような画像を表示するシステムに関する文献としては下記の特許文献１に記載されるようなものが存在する。
In general, music output devices such as karaoke devices often display landscape images, animations, music performances, etc. along with the music. Such devices include karaoke devices, personal computers, mobile phones, etc., but these generally store images and images corresponding to music in advance, and when the music is selected. The image corresponding to this music is read from the storage means and displayed. Further, there is a document related to a system for displaying such an image as described in
この特許文献１に記載されたシステムは、カラオケ装置に関するものであり、リクエストされた音楽のジャンルに適合した画像をサーバの記憶手段から読み出して音楽とともに表示できるようにしたものであり、具体的には、音楽ジャンルや歌手の性別毎に基本画像をあらかじめサーバの入力者などが入力しておき、音の高さ、音量、伸ばし音などに基づいてその入力された基本画像中の雪粒の大きさを大きくさせるなどの変化を持たせるようにしたものである。
ところで、これらの装置は、いずれも既に作曲された音楽に対する画像を表示させるものであり、ある程度時間的余裕を持ってサーバ側の入力者がその音楽に適合した画像を入力しておくものである。従って、このようなものでは、ユーザが独自に作曲したオリジナルの音楽に対し、それに適合した画像をリアルタイムに表示させることができなかった。 By the way, all of these apparatuses display an image of music that has already been composed, and an input person on the server side inputs an image suitable for the music with some time allowance. . Therefore, in such a thing, it was not possible to display an image suitable for the original music composed by the user in real time.
一方、音楽とともに画像をリアルタイムに出力するシステムでは、その端末装置に記憶された画像をランダムに読み出して表示させることが多く、例えば、悲しい音楽を出力するにも拘わらず明るいイメージをもった画像を表示してしまったり、もしくは、多数の楽器で構成された音楽を出力するにも拘わらずその構成楽器とは無関係の楽器で演奏されているような表示をしてしまったりする場合があった。 On the other hand, in a system that outputs an image together with music in real time, the image stored in the terminal device is often read out and displayed at random. For example, an image having a bright image is output despite sad music being output. In some cases, it may be displayed, or even though music composed of a large number of musical instruments is output, it may be displayed as if the musical instrument is not related to the musical instrument.
そこで、本発明は上記課題に着目してなされたものであり、出力される音楽の雰囲気に適合した画像をリアルタイムに読み出し、音楽とともにその音楽に適合した画像を表示させるシステムなどを提供することを目的とするものである。 Therefore, the present invention has been made paying attention to the above problems, and provides a system that reads in real time an image suitable for the atmosphere of the music to be output, and displays an image suitable for the music together with the music. It is the purpose.
すなわち、本発明は上記課題を解決すべく、まず、音楽の構成要素に対応した複数の画像を記憶しておき、所定の画像を音楽とともに出力する際、出力される音楽の構成要素を抽出してこの構成要素に対応した画像を読み出して前記音楽とともに出力するようにしたものである。 That is, in order to solve the above problems, the present invention first stores a plurality of images corresponding to music components, and extracts the music components to be output when outputting a predetermined image together with music. An image corresponding to the lever component is read out and output together with the music.
このように構成すれば、あらかじめサーバ側の入力者がその音楽に適合した画像を調べて入力する必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。 With this configuration, it is not necessary for an input person on the server side to check and input an image suitable for the music beforehand, and an image suitable for the music can be displayed in real time.
また、この音楽の構成要素の一態様としては、その音楽の構成楽器の種類に関する情報を用いる。 Further, as one aspect of this music component, information on the type of musical instrument is used.
このようにすれば、例えば、その音楽の演奏状態を表示させる場合に、その音楽の構成楽器と無関係の楽器による演奏状態を表示させてしまうようなことがなくなり、その音楽のイメージにより適合させた画像を表示させることができるようになる。 In this way, for example, when the performance state of the music is displayed, the performance state by an instrument irrelevant to the musical instrument constituting the music is not displayed, and is adapted to the image of the music. An image can be displayed.
また、この音楽の別の構成要素の態様としては、長調や短調などの旋法などに関する情報を用いる。 In addition, as an aspect of another component of the music, information related to a melody method such as a major or minor key is used.
このようにすれば、例えば、明るいイメージを持つ長調の音楽に対し、悲しいイメージを持った画像を表示させてしまうような不具合を防止することができ、また、逆に、暗いイメージを持つ短調の音楽に対し明るい雰囲気を持った画像を表示させてしまうような不具合を防止することができるようになる。 In this way, for example, it is possible to prevent a problem that a sad image is displayed for a major music having a bright image, and conversely, a minor image having a dark image is displayed. It is possible to prevent a problem that an image having a bright atmosphere is displayed with respect to music.
さらに、構成楽器の演奏状態を表示させる場合、音楽の出力中における構成楽器の演奏の有無を示す情報に基づいて、その構成楽器による演奏状態の画像を出力する。 Further, when displaying the performance state of the constituent instrument, an image of the performance state of the constituent instrument is output based on information indicating whether or not the constituent instrument is performing during the output of music.
このように構成すれば、例えば、複数種類の構成楽器から成る演奏においてソロ演奏に進行した場合であっても、まだ全体で合奏している状態を示すことなく、その出力に適合させたソロ演奏の構成楽器のみを表示させることができる。 With this configuration, for example, even when the performance is composed of a plurality of types of constituent instruments, the solo performance adapted to the output without showing the overall ensemble state even if the performance progresses to the solo performance. Only the constituent instruments can be displayed.
加えて、端末装置と音楽データ生成サーバ装置によってシステムを構築する場合、端末装置側に、音楽の構成要素に対応した複数の画像を記憶する記憶手段と、出力される音楽の構成要素を抽出してこの構成要素に対応した画像を前記記憶手段から読み出す画像読出手段と、この画像読出手段によって読み出された画像を前記音楽とともに出力する出力手段とを設けるようにする。 In addition, when a system is constructed by the terminal device and the music data generation server device, the storage device for storing a plurality of images corresponding to the music components and the music components to be output are extracted on the terminal device side. Image reading means for reading an image corresponding to the lever component from the storage means and output means for outputting the image read by the image reading means together with the music are provided.
このように構成すれば、音楽の出力時に音楽データ生成サーバ装置から端末装置に大量の画像データを送信する必要がなくなり、瞬時に音楽に関するデータをサーバ装置から送信することができるようになる。 With this configuration, it is not necessary to transmit a large amount of image data from the music data generation server device to the terminal device when outputting music, and data related to music can be transmitted from the server device instantaneously.
また、可能ならば、このような音楽として、入力されたテキストに基づいて生成するものを用いることが望ましい。 If possible, it is desirable to use music generated based on input text as such music.
このように構成すれば、オリジナルのテキストに基づいてオリジナルの音楽を生成することができ、また、このオリジナルの音楽に適合した画像も表示させることができるので、より趣向性の高いシステムを構築することができる。 With this configuration, it is possible to generate original music based on the original text, and to display an image suitable for the original music, so that a more interesting system is constructed. be able to.
本発明では、まず、あらかじめ音楽の構成要素に対応した複数の画像を記憶しておき、音楽とともに所定の画像を出力する際、出力される音楽の構成要素に対応した画像を読み出すとともに、この読み出された画像を前記音楽とともに出力するようにしたので、サーバ側の入力者がその音楽に適合した画像を調べてあらかじめ入力しておく必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。 In the present invention, first, a plurality of images corresponding to music components are stored in advance, and when a predetermined image is output together with music, the image corresponding to the music component to be output is read and read. Since the output image is output together with the music, there is no need for the input person on the server side to check and input the image suitable for the music in advance, and the image suitable for the music is displayed in real time. Will be able to.
＜第一の実施の形態＞
以下、本発明の第一の実施の形態について説明する。本実施形態における音楽画像出力システム１は、図１に示すように、端末装置２ａ、２ｂと、音楽データ生成サーバ装置３と、インターネットなどのネットワーク４などを具備して成るもので、端末装置２から音楽データ生成サーバ装置３を介して第三者の端末装置２ｂにメールを送信する際、入力したメッセージを基に音楽データ生成サーバ装置３でオリジナルの音楽を生成する。そして、その生成された音楽の構成要素である旋法や構成楽器などに基づいて相手方の端末装置２ｂにその音楽に適合した画像を表示させるようにしたものである。具体的には、音楽データ生成サーバ装置３で生成されたオリジナルの音楽が長調である場合は、明るいイメージを有する画像を端末装置２ｂに表示させ、また、生成されたオリジナルの音楽が短調である場合は、暗いイメージを有する画像を表示させる。また、その音楽がピアノ、ドラム、ベースなどの楽器で構成されている場合は、その構成楽器による実際の演奏状態を表示させるようにしたものである。以下、本実施形態における音楽画像出力システム１の具体的構成を図２のブロック図などを用いて説明する。
<First embodiment>
Hereinafter, a first embodiment of the present invention will be described. As shown in FIG. 1, the music
端末装置２ａ、２ｂは、例えば、携帯電話やパーソナルコンピュータ（図１では携帯電話のみを図示する）などによって構成されるもので、歌詞となるべきメッセージの入力などを受け付け、その受け付けたデータを音楽データ生成サーバ装置３に送信する。そして、その歌詞などに基づいて音楽データ生成サーバ装置３で生成されたオリジナルの音楽やその音楽に適合した画像を表示させるようにしたものである。そして、これらの機能を実現するため、端末装置２ａ、２ｂは以下の各手段を備える。
The
入力手段２０は、操作キーおよびメッセージ入力を許容するためのアプリケーションなどによって構成されもので、例えば、この端末装置２ａ、２ｂが携帯電話などで構成される場合は、テンキーなどによって構成される。そして、この入力手段２０によって、相手方に送信するメッセージのみならず、相手方の端末装置２ｂに送信する音楽のジャンルや、歌詞の表示方法などを入力する。この歌詞の表示方法としては、図１０に示すように表示させるメッセージの色を音楽の進行に合わせて変化させる方法や、表示させるメッセージの各文字をその文字に対応する音符の音高に合わせた５線譜上に表示する方法、単にメッセージをメッセージボックスなどに表示する方法などがある。また、この入力手段２０では、メッセージを送信する相手方の端末装置２ｂのメールアドレスなどを入力する。
The input means 20 is configured by an operation key and an application for allowing message input. For example, when the
送受信手段２１は、インターネットなどのネットワーク４を介して音楽データ生成サーバ装置３にメッセージや音楽のジャンル、歌詞の表示方法などを送信し、また、音楽データ生成サーバ装置３から送信されてきた音楽付きメッセージや表示データなどを受信する。
The transmission / reception means 21 transmits a message, music genre, lyrics display method and the like to the music data
記憶手段２２は、端末装置２ａ、２ｂを動作させるために必要なプログラムや各種データなどを記憶するもので、例えば、この端末装置２ａ、２ｂが携帯電話で構成される場合は、その携帯電話を機能させるための実行プログラムなどの他、音楽データ生成サーバ装置３から受け取った音楽付きメッセージなどのデータや画像データなどを記憶する。この画像は、あらかじめ音楽データ生成サーバ装置３に記憶された画像をダウンロードして記憶しておくもので、その画像に対応した画像識別データを割り当てて記憶しておく。
The storage means 22 stores programs and various data necessary for operating the
画像読出手段２３は、音楽データ生成サーバ装置３から送信されてきたデータのうち、画像識別データを抽出し、このデータに基づいてその画像識別データに対応する画像を記憶手段２２から読み出す。
The image reading means 23 extracts image identification data from the data transmitted from the music data
出力手段２４は、ディスプレイなどの表示出力手段およびスピーカなどの音声出力手段を具備してなるもので、メッセージや画像などを表示するとともに、その音楽データ生成サーバ装置３で生成された音楽を音声出力手段で音声出力する。
The
一方、音楽データ生成サーバ装置３は、端末装置２ａで入力されたメッセージを形態素解析して読み変換し、その文字数に対応した音符列を有するテンプレートを当てはめて独自のメロディを生成する。そして、この生成されたメロディに対応してコード付けを行うとともに、音楽ジャンルに対応した伴奏楽器による伴奏データを付与するものである。具体的にこの音楽データ生成サーバ装置３は、以下の各手段を具備する。
On the other hand, the music data
まず、受信手段３０ａは、端末装置２ａから送信されてきたメッセージや生成すべき音楽のジャンル、歌詞の表示方法などに関する情報を受信する他、この音楽付きメッセージの送信先の電子メールアドレスなどを受信する。
First, the receiving unit 30a receives information on a message transmitted from the
解析手段３１は、送信されてきたメッセージを形態素解析するものであり、例えば、図３に示すように、端末装置２ａで「この手法を適用すると、今までより自然だ」なるメッセージが入力された場合、これを平仮名変換して「この」「しゅほう」「を」「てきおう」「すると」「いままで」「より」「しぜん」「だ」などのように分解する。なお、この形態素解析については、平仮名変換により分解する方法の他に、分かち書きにより「この」「手法」「を」「適応」「すると」「今まで」「より」「自然」「だ」と分解する方法や、ローマ字変換により「kono」「shuhou」「wo」「tekiou」「suruto」「imamade」「yori」「shizen」「da」と分解するようにしても良い。
The
キーワード抽出手段３２は、この解析手段３１によって解析された文字構成要素の中におけるポジティブなキーワードやネガティブなキーワードの数をカウントする。例えば、あらかじめポジティブな要素の文字列として、例えば、明るいイメージを有する「嬉、うれし、楽、たのし、好、明、良、軽、南、白、上、・・・」などを登録しておき、また、ネガティブな要素の文字列として、悲しいイメージを有する「悲、かなし、嫌、暗、悪、苦、重、北、黒、下、・・・」などを登録しておく。そして、形態素解析された文字構成要素の中に、ポジティブな要素の文字列やネガティブな要素の文字列がいくつ含まれているかをカウントする。
The
旋法・調判定手段３３は、このポジティブな要素の文字列の数とネガティブな要素の文字列の数とを比較し、ポジティブな要素の文字列が多い場合や同数である場合は、音楽を長調で構成する。また、これとは逆にネガティブな要素の文字列の数の方が多かった場合は、音楽を短調で構成する。また、どの音を主音とするかの調については、例えば、ハ音（Ｃ）を主音とする。 The melody / key determination means 33 compares the number of character strings of the positive elements with the number of character strings of the negative elements, and if there are many or the same number of character strings of the positive elements, the music is played in the major key. Consists of. Conversely, if the number of negative element character strings is larger, the music is composed in minor. In addition, for the key of which sound is the main sound, for example, the sound (C) is the main sound.
音符列生成手段３４は、形態素解析された文字構成要素の文字数をカウントし、そのカウント数に応じてあらかじめ用意された音符列を有するテンプレートを当てはめてメロディを生成する。具体的には、まず１音、２音、３音、４音、５音で構成されるＣ ｍａｊｏｒおよびｃ minorのテンプレートを複数種類用意しておき、形態素解析された文字構成要素に対して、１文字を「１」とカウントし、図３に示すようにこのカウント数に対応した音数のテンプレート（ＰＴn(n=１、２、・・・））を当てはめる。この際、長調であれば長調のテンプレート群の中から抽出し、短調であれば短調のテンプレート群の中から抽出する。但し、文字構成要素のカウント数が「５」を超える場合は、文字構成要素のカウント数を「５」以下の任意のカウント数に分解してその分解されたカウント数に対応したテンプレートを抽出して当てはめる。 The note string generation means 34 counts the number of characters of the character component subjected to morphological analysis, and generates a melody by applying a template having a note string prepared in advance according to the count number. Specifically, first, a plurality of C major and c minor templates composed of one sound, two sounds, three sounds, four sounds, and five sounds are prepared, and the character components subjected to morphological analysis are prepared. One character is counted as “1”, and a template (PTn (n = 1, 2,...)) Of the number of sounds corresponding to the counted number is applied as shown in FIG. At this time, the major key is extracted from the major template group, and the minor key is extracted from the minor template group. However, if the count number of the character component exceeds “5”, the count number of the character component is decomposed into an arbitrary count number of “5” or less, and a template corresponding to the decomposed count number is extracted. Apply.
このテンプレートの当てはめ処理は、具体的に次のようにして行われる。すなわち、テンプレートをランダムに前方から当てはめたのでは、メロディの最終音が主音以外の音になるなど中途半端な終わり方をしてしまう可能性がある。また、Ａメロディ・Ｂメロディ・サビ・エンディングなどのような一般的な曲構造に従わないメロディになってしまう。そこで、これらの課題を解決すべく、まず、最後の文字列のカウント数を「１」とするように分割し、その部分に終止音としての主音を設定する。これにより、その音楽の終止感を持たせるようにする。そして、そこから順次前方へ向けて隣接するテンプレートの音高が自然につながるように隠れマルコフモデルを応用してテンプレートを当てはめていく。そして、最後に、このように生成されたメロディを音楽的な曲構造をもったものにすべく、あらかじめ設定されたＡメロディ・Ｂメロディ・サビ・エンディングなどといった曲構造を持ったものへの修正処理を行う。図４にこの処理の一例を述べる。 The template fitting process is specifically performed as follows. That is, if the template is randomly applied from the front, the final sound of the melody may become a sound other than the main sound, which may cause a halfway end. Moreover, it becomes a melody which does not follow a general music structure, such as A melody, B melody, chorus, and ending. Therefore, in order to solve these problems, first, the count number of the last character string is divided to “1”, and a main sound as a stop sound is set in that portion. This will give the music a sense of end. From there, the template is applied by applying a hidden Markov model so that the pitches of adjacent templates are naturally connected forward. Finally, in order to make the melody generated in this way have a musical musical structure, it has been modified to have a musical structure such as preset A melody, B melody, chorus, ending, etc. Process. An example of this process is described in FIG.
図４は、図３と同様に「この手法を適用すると、今までより自然だ」というメッセージが入力された場合のメロディの生成処理を示しており、このメッセージによって生成されたメロディをＡメロディ・Ｂメロディ・サビ・エンディングといった曲構造へ対応した修正するための処理を示したものである。この図において、曲構造中のＡからＪはメロディの音符列の集合を意味し、「’」が付与されたものは、それが付与されていない記号のメロディに類似したメロディを有するものを示している。すなわち、図４における曲構造のＢメロディでは、「Ｄ」と「Ｄ’」が存在しているため、Ｂメロディの部分では類似のメロディが繰り返し演奏されることになる。 FIG. 4 shows a melody generation process when a message “It is more natural if this method is applied than before” is input as in FIG. 3. The process for correcting corresponding to the music structure such as B melody, chorus and ending is shown. In this figure, A to J in the music structure means a set of note strings of melody, and those given “'” indicate those having a melody similar to a melody of a symbol not given. ing. That is, in the B melody having the music structure in FIG. 4, since “D” and “D ′” exist, a similar melody is repeatedly played in the B melody portion.
この処理において、テンプレートの当てはめによって生成されたメロディのうち、まず、終止音をエンディングに割り当てるとともに、順に前方に向かって各テンプレートをサビ・Ｂメロディ・Ａメロディの部分に割り当てていく。なお、図４の例においては、終止音の部分については既に文字数が「１」となっているため、終止音を割り当てる分割処理は行われない。そして、Ａメロディ・Ｂメロディ・サビ内における繰り返しが存在する部分を有するテンプレートの種類を検出する。図４では、サビにおけるＧとＧ’が類似のメロディの繰り返しであるので、Ｇ’側の先頭に割り当てられたテンプレートＰＴ７と、Ｇ側の先頭に割り当てられたテンプレートＰＴ９とを検出し、それぞれの繰り返しの部分の先頭のテンプレートを同様の音符列に置き換える。図４における処理では、Ｇ’側の先頭に割り当てられたテンプレートＰＴ７をＧ側の先頭に割り当てられたテンプレートＰＴ９と同様の音符列に置き換えている。そして、これらの修正処理を行った後、最後に各小節の余った部分に休符を埋め、全体としてその曲構造に沿った自然なメロディにする。 In this process, among the melody generated by the template fitting, first, a stop sound is assigned to the ending, and each template is assigned to the chorus, B melody, and A melody portions in order toward the front. In the example of FIG. 4, since the number of characters has already been “1” for the stop sound portion, the division process for assigning the stop sound is not performed. Then, the type of template having a portion in which repetitions exist in A melody, B melody, and chorus is detected. In FIG. 4, since G and G ′ in the chorus are similar melody repetitions, the template PT7 assigned to the head on the G ′ side and the template PT9 assigned to the head on the G side are detected, Replace the template at the beginning of the repeated part with the same note sequence. In the processing in FIG. 4, the template PT7 assigned to the head on the G ′ side is replaced with a note sequence similar to the template PT9 assigned to the head on the G side. Then, after performing these correction processes, a rest is filled in the last part of each measure, and a natural melody is formed along the music structure as a whole.
コード生成手段３５は、生成されたメロディに付与するコードを生成する。このコードの生成においては、まず、与えられたメロディについて三和音進行に従って許容される和音進行のすべてを列挙する。この和音進行は、基本的に１小節単位で行い、長調および短調でそれぞれ利用するコードネームを定義する。このコードネームは、図５に示すように、トニック（Ｔ）、サブドミナント（ＳＤ）、ドミナント（Ｄ）毎に長調・短調のコードを分類して定義しておく。さらに、この定義されたコードから遷移可能なコードへの推奨度を示したテーブルを図６（ａ）（ｂ）のように作成しておく。この図６において、図６（ａ）は長調におけるコードの遷移表、図６（ｂ）は短調におけるコードの遷移表を示しており、縦軸は遷移前のコード、横軸は遷移後のコードを示している。また、各表内において「ＳＲ」は遷移を「強く推奨」、「Ｒ」は「推奨」、「Ａ」は「接続可」、「Ｎ」は「接続不可」とする場合を示している。そして、このように生成されたコード遷移表に基づきコード進行を生成する場合、まず、生成されたメロディに関する情報を取得して、そのメロディのシンコペーションやアプローチノートなどの判定を行う。具体的には、シンコペーションの判定に際しては、
（１）最初の音が小節内の一番最後の音符であること、
（２）２つの小節を跨いだ音符が存在していること、
（３）最初の小節４拍目以降の音でスタートしていること、
などの条件を満たした場合に、その音符をシンコペーションであると判定する。
The code generation means 35 generates a code to be given to the generated melody. In the generation of this chord, first, all of the chord progressions allowed according to the triad progression for a given melody are listed. This chord progression is basically performed in units of one measure, and the chord names used in major and minor keys are defined. As shown in FIG. 5, the chord names are defined by classifying major and minor chords for each tonic (T), subdominant (SD), and dominant (D). Further, a table showing the recommended degree from the defined code to the code that can be transitioned is created as shown in FIGS. In FIG. 6, FIG. 6 (a) shows a chord transition table in major, FIG. 6 (b) shows a chord transition table in minor, the vertical axis represents the code before transition, and the horizontal axis represents the code after transition. Is shown. Also, in each table, “SR” indicates a case where transition is “strongly recommended”, “R” is “recommended”, “A” is “connectable”, and “N” is “not connectable”. When a chord progression is generated based on the chord transition table generated in this way, first, information on the generated melody is acquired, and the syncopation and approach note of the melody are determined. Specifically, when determining syncopation,
(1) The first note is the last note in the measure,
(2) There is a note that straddles two measures,
(3) Start with the sound after the 4th beat of the first measure,
If the above condition is satisfied, it is determined that the note is a syncopation.
また、アプローチノートのうち（Ａ）経過音の判定については、
（Ａ−１）対象音符の並びが常に上昇もしくは下降している状態であること、
（Ａ−２）対応音符に関し隣り合う音高が２半音以内であること、
（Ａ−３）３音の場合は、最後の音の開始時間から真ん中の開始時間の差や、真ん中の開始時間から最初の開始時間の差が規定の値（例えば、８分音符が３つ）以下であること、
（Ａ―４）対象音符の前後の音が同じ音高の場合や３半音以上離れていること、
などの条件を満たした場合に、３和音の場合は真ん中の音を経過音と判定し、また、５音の場合は２番目・４番目の音符を経過音であると判定する。
Moreover, (A) About the judgment of the elapsed sound among the approach notes,
(A-1) The target note sequence is constantly rising or falling;
(A-2) The adjacent pitches for the corresponding note are within two semitones,
(A-3) In the case of three notes, the difference between the start time of the last sound from the start time of the middle and the difference of the start time from the start time of the middle is a specified value (for example, three eighth notes )
(A-4) If the notes before and after the target note have the same pitch, or are more than 3 semitones apart,
In the case of 3 chords, the middle sound is determined as the elapsed sound, and in the case of 5 sounds, the second and fourth notes are determined as the elapsed sound.
さらに、アプローチノートのうち（Ｂ）刺繍音の判定については、
（Ｂ−１）最初と最後の音が同じ音高であること、
（Ｂ−２）真ん中の音は２半音以下の音高でかつ同じ音高でないこと、
（Ｂ−３）最後の音の開始時間から真ん中の開始時間の差や、真ん中の開始時間から最初の開始時間の差が規定の値（例えば、８分音符が１つ）以下であること、
（Ｂ−４）対象音符の前後の音が同じ音高の場合もしくは３半音以上離れている場合、
などの条件を満たしている場合に、３音の真ん中の音を刺繍音と判定する。
Furthermore, of the approach notes, (B) For determining the embroidery sound,
(B-1) The first and last sounds have the same pitch,
(B-2) The middle sound must be less than 2 semitones and not the same pitch,
(B-3) The difference between the start time of the last sound and the middle start time, or the difference between the middle start time and the first start time is not more than a specified value (for example, one eighth note),
(B-4) If the sounds before and after the target note are the same pitch or are separated by more than 3 semitones,
If the above conditions are satisfied, the middle sound of the three sounds is determined as the embroidery sound.
また、同様に、他のアプローチノートとして先行音の判定処理なども行う。 Similarly, a preceding sound determination process is performed as another approach note.
そして、このように判定されたシンコペーションを考慮してコード付けを行うブロックを決定するとともに、アプローチノートを無視した音符に基づいて、図６（ａ）（ｂ）に示されたコード遷移表の推奨度の高い和音を当てはめていく。これにより、上記生成されたメロディに対してコード付けを行う。 Then, the block to be coded is determined in consideration of the syncopation determined in this way, and the chord transition table recommendation shown in FIGS. 6A and 6B is recommended based on the notes ignoring the approach note. Apply high chords. Thus, the generated melody is coded.
伴奏データ生成手段３６は、ユーザによって選択された音楽ジャンルに対応する構成楽器の伴奏付けを行う。この伴奏付けは、あらかじめ音楽ジャンル毎に複数の構成楽器を割り当てておき、ユーザによって選択された音楽のジャンルに対応する構成楽器の伴奏付けを行う。例えば、ユーザによって「ジャズ」の音楽ジャンルが選択された場合は、構成楽器の音としてピアノ、ドラム、ベースを抽出し、そのうち、ピアノをメロディ音に割り当てるとともに、ドラムについては、あらかじめ用意された数種類の演奏パターンの中から任意に抽出してメロディに当てはめる。また、ベースについては、前記コード付けされた構成音を主とした音符列による伴奏付けを行うようにする。そして、これら伴奏される各構成楽器については、その伴奏データを生成する際に、図７に示すように、小節毎にそれらの構成楽器の出力音の有無を記録し、例えば、１小節内にその構成楽器の出力音が含まれている場合は、その構成楽器におけるその小節にフラグ「１」を記録し、また、１小節内にその構成楽器の出力音が含まれていない場合は、その構成楽器におけるその小節にフラグ「０」を記録する。 The accompaniment data generation means 36 performs accompaniment of constituent musical instruments corresponding to the music genre selected by the user. In this accompaniment, a plurality of constituent instruments are assigned in advance for each music genre, and the constituent instruments corresponding to the genre of music selected by the user are accompanied. For example, when the user selects the “jazz” music genre, piano, drums, and bass are extracted as the sounds of the constituent instruments, of which pianos are assigned to melody sounds, and several types of drums are prepared in advance. Any of the performance patterns can be extracted and applied to the melody. In addition, for the bass, accompaniment is performed by means of a musical note string mainly composed of the coded constituent sounds. As shown in FIG. 7, when generating the accompaniment data, the presence or absence of the output sound of these constituent instruments is recorded for each measure for each component instrument to be accompanied. When the output sound of the constituent instrument is included, the flag “1” is recorded in the measure of the constituent instrument, and when the output sound of the constituent instrument is not included in one measure, A flag “0” is recorded in the bar of the constituent instrument.
画像データ生成手段３７は、生成されたオリジナルの音楽の構成要素に基づいてその音楽に適合する画像に関するデータを生成する。このデータの生成に際しては、あらかじめ記憶手段に、画像データとその画像を識別するための画像識別データを記憶しておく。また、図８に示すように、ジャンル毎、旋法毎に各２種類の画像識別データ（画像ＩＤ１・画像ＩＤ２）を記憶しておく。この２種類の画像識別データとは、例えば、ピアノの鍵盤を押している状態の画像と、鍵盤から手を離している状態の画像などのようなものが記憶され、それぞれの画像を微少時間で入れ替えることによって動的な演奏状態を表示できるようにする。そして、画像識別データを生成する際は、生成された音楽のジャンルおよび旋法、各小節毎のフラグの状態を検出し、小節毎にフラグ「１」が記録されている構成楽器、すなわち、その小節内で実際に演奏されている構成楽器のみを含む画像識別データを抽出する。さらに、その生成された音楽が長調である場合は、その画像の色を白や赤などの明るい色に設定し、短調であれば、黒、茶色などの暗い色に設定するための色データを生成する。 The image data generation means 37 generates data relating to an image that matches the music based on the generated original music components. When generating this data, image data and image identification data for identifying the image are stored in advance in the storage means. Also, as shown in FIG. 8, two types of image identification data (image ID1 and image ID2) are stored for each genre and each melody. The two types of image identification data include, for example, an image in a state where a piano keyboard is pressed and an image in a state where a hand is released from the keyboard. The dynamic performance state can be displayed. When generating the image identification data, the genre and melody of the generated music and the flag state for each measure are detected, and the constituent instrument in which the flag “1” is recorded for each measure, that is, the measure. The image identification data including only the constituent musical instruments that are actually played are extracted. Furthermore, if the generated music is in a major key, the color of the image is set to a bright color such as white or red, and if it is a minor key, color data for setting a dark color such as black or brown is set. Generate.
歌詞画像生成手段３８は、送信すべきメッセージを表示させるためのデータを生成するもので、例えば、音楽の進行に伴ってそのメッセージを歌詞の色を変化させるための表示データや、その歌詞の文字をその音高に対応した５線譜に表示するためのデータ、単にメッセージをメッセージボックスなどに表示するためのデータなどを生成する。 The lyric image generation means 38 generates data for displaying a message to be transmitted. For example, the lyric image generating means 38 displays data for changing the color of the lyrics of the message as the music progresses, and the characters of the lyrics. For displaying a message on a five-line score corresponding to the pitch, or simply for displaying a message in a message box or the like.
メディアデータ生成手段３９は、このように生成されたメロディ、コード、伴奏データ、画像識別データ、色データ、歌詞の表示データなどを統合し、端末装置２ａ、２ｂへ送信可能なデータに変換する。この生成される音楽データのファイルは、端末装置２ａ、２ｂが携帯電話である場合は、その携帯電話で出力可能なファイルとして、ＳＭＡＦ（Synthetic music Mobile Application Format）、ＣＭＩＤＩ（Compact MIDI）、ＭＦｉ（Melody Format for iMode）などのファイル形式に変換される。なお、このファイルの変換作業において、受信する側の出力形式が不明な場合は、例えば、音楽データ生成サーバ装置３から受信側の端末装置２ａ、２ｂにその出力可能なファイル形式を問い合わせ、この返信を受けることによってその端末装置２ａ、２ｂに対応したフォーマットに変換するようにしても良い。
The media
送信手段３０ｂは、このように生成された音楽データおよび表示データなどをネットワーク４を介して端末装置２ａ、２ｂに送信する。
The transmission means 30b transmits the music data and display data generated in this way to the
次に、このように構成された音楽画像出力システム１を用いて、メッセージの入力から端末装置２ａ、２ｂ側で音楽付きメッセージなどを出力するまでのフローチャートを図９を用いて説明する。
Next, a flowchart from inputting a message to outputting a message with music on the
まず、携帯電話などの端末装置２ａを用いて他人に音楽付きメッセージを送信する場合、そのメッセージ送信用のアプリケーションを起動させて、メッセージ送信先のアドレス、メッセージの入力を受け付ける（Ｓ１）。また、その際、このように入力されたメッセージを基に生成される音楽の希望の音楽ジャンル、歌詞の表現方法、および、音楽付きメッセージを送信する相手先のメールアドレスなどの入力を受け付ける。そして、送信ボタンの入力を受け付けることによって（Ｓ２）、これら入力されたデータを音楽データ生成サーバ装置３に送信する（Ｓ３）。
First, when a message with music is transmitted to another person using the
これらのデータを受信した音楽データ生成サーバ装置３では（Ｔ１）、まず、受信したデータのうち、メッセージとして入力されたテキストの情報を抽出し（Ｔ２）、このテキストを形態素解析で平仮名変換し、分かち書きをした後（Ｔ３）、文節毎のテキストの文字数をカウントする（Ｔ４）。また、このテキストの中からあらかじめ設定されたポジティブな文字列およびネガティブな文字列がいくつ含まれているかをカウントし（Ｔ４）、ポジティブな文字列の方がネガティブな文字列よりも多い場合もしくは同等である場合、これから生成する音楽の旋法を長調と設定する。また、逆にネガティブな文字列の方が多い場合は、短調と設定する（Ｔ６）。そして、このようにして設定された旋法に基づき、長調・短調毎のテンプレートの当てはめ処理を行う（Ｔ７）。そして、最後の文字列のカウント数が「１」となるように文字数を分割し、その位置に終止音である主音を設定する。そして、そこから順次前方に向かって隠れマルコフモデルを応用してテンプレートの終止音と開始音とが自然となるようなテンプレートを当てはめ、最後に開始音としてあらかじめ設定された音を有するテンプレートを当てはめる。次に、このようにして当てはめられたテンプレートを曲構造の有するものに修正すべく、あらかじめ設定された曲構造と比較して、繰り返し処理や休符の割り当て処理などを行う（Ｔ８）。そして、このようにメロディ生成処理が終わると、次に、このメロディに対応したコード付け処理（Ｔ９）を行うとともに、ユーザによって指定された音楽ジャンルに対応する構成楽器の伴奏付けを行う（Ｔ１０）。そして、このように生成された音楽に対し、その音楽の旋法や構成楽器に関する情報に基づいてこれに適合した画像識別データや色データを生成する（Ｔ１１）。また、ユーザによって指定された歌詞の表現方法に従って歌詞の表示データを生成し（Ｔ１２）、これらメロディ、コード、伴奏データ、画像識別データ、色データ、歌詞の表示データなどを統合し、端末装置２でこれらを出力できるフォーマットに変換した後（Ｔ１３）、視聴用として一旦送信元の端末装置２ａに送信する（Ｔ１４）。そして、その端末装置２ａがこれらのデータを受信して（Ｓ４）視聴用に出力（Ｓ５）した後、そのユーザによる送信許可（Ｓ６）の信号が送られてきたことを条件に（Ｓ７、Ｔ１５）、この生成した音楽付きメッセージや画像識別データ、色データ、歌詞の表示データなどをその相手先の端末装置２ｂに送信する（Ｔ１６）。
In the music data
これらのデータを受信した端末装置２ｂ側では（Ｓ１０）、一旦、送信されてきたデータを記憶手段２２に記憶する（Ｓ１１）とともに、音楽付きメッセージの出力指示がなされることを条件に（Ｓ１２）、送信されてきた音楽を音声出力する。その際、音楽の進行に同期して画像識別データに基づいて記憶手段２２から画像データを読み出し、受信した色データに基づいた色彩変更をした後、その音楽に対応した画像を表示する（Ｓ１３）。そして、その画像の下方側に、音楽データ生成サーバ装置３から送信されてきた歌詞の表現データに基づいて図１０に示すような歌詞を表示し、音楽の進行に従った歌詞の表示を行う。
On the
＜第二の実施の形態＞
次に、本発明における第二の実施の形態について説明する。この第二の実施の形態は、上記第一の実施の形態において相手方の端末装置２ｂに音楽付きメッセージを送信していたものを送信元の端末装置２ａにのみ送信するようにしたものである。すなわち、相手方の端末装置２ｂに歌詞としてのメールを送信するのではなく、自分自身で作成した歌詞に基づいて音楽を生成し、その音楽を自分で楽しめるようにしたものである。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. In the second embodiment, the message with music transmitted to the
この第二の実施の形態においては、基本的に第一の実施の形態の構成と同じ構成を用いて実現することができる。すなわち、端末装置２ａには、第一の実施の形態と同様に入力手段２０、送受信手段２１、記憶手段２２、画像読出手段２３、出力手段２４を有し、音楽データ生成サーバ装置３についても同様に、受信手段３０ａ、解析手段３１、キーワード抽出手段３２、旋法・調判定手段３３、音符列生成手段３４、コード生成手段３５、伴奏データ生成手段３６、画像データ生成手段３７、歌詞画像生成手段３８、メディアデータ生成手段３９、送信手段３０ｂを有する。そして、第一の実施の形態で説明した図９のフローチャートに対して第二の実施の形態では図１１のフローチャートに基づく処理を行い、音楽データ生成サーバ装置３で生成された音楽をステップＴ１４で送信し、これを送信元の端末装置２ａで受信することによってその端末装置２ａで音楽と画像を同期出力できるようにする。この図１１において、図９のフローチャートと同じ符号を示したものは図９と同じ処理を示しており、説明に際しては音楽データ生成処理などの重複した説明を省略する。
The second embodiment can be realized basically using the same configuration as that of the first embodiment. That is, the
図１１の音楽データ生成サーバ装置３のステップＴ１４において、音楽データ生成サーバ装置３から送信された音楽データなどを端末装置２ａで受信した場合（Ｓ４）、その受信した音楽データなどを端末装置２ａ側で視聴可能に出力する（Ｓ５）。そして、この視聴に基づき、この生成された音楽をダウンロードするか否かの入力を受け付け（Ｓ６）、その結果を音楽データ生成サーバ装置３に送信する（Ｓ７）。そして、音楽データ生成サーバ装置３側では、端末装置２から「ＯＫ」の信号が送信されてきた場合（Ｔ１５：ＯＫ）、その音楽データ生成サーバ装置３で生成した音楽データなどを端末装置２ａに送信し（Ｔ１６）、一方、端末装置２ａから「ＮＧ」の信号が送信されてきた場合は（Ｔ１５：ＮＧ）、ステップＴ７に戻ってテンプレートの当てはめからの処理を行い、端末装置２ａから「ＯＫ」の信号が送信されてくるまでこの処理を繰り返す（Ｔ７〜Ｔ１６）。そして、「ＯＫ」の信号に基づいて音楽データ生成サーバ装置３から端末装置２ａに音楽データなどが送信された場合（Ｔ１６、Ｓ１４）、その受信した音楽データなどを記憶手段２２に記憶させ（Ｓ１５）、端末装置２ａの入力手段２０を用いて出力の指示がなされることを条件に（Ｓ１６）、記憶手段２２に記憶された情報を読み出してその音楽データを画像とともに同期して出力させる（Ｓ１７）。
When music data transmitted from the music data
このように本実施の形態によれば、出力される音楽の構成要素を抽出し、この構成要素に対応した画像データを読み出して音楽とともに出力させるようにしたので、従来のように、サーバ側の入力者がその音楽を視聴してその音楽に適用した画像を入力する必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。 As described above, according to the present embodiment, the constituent elements of the music to be output are extracted, and the image data corresponding to the constituent elements is read out and output together with the music. It is not necessary for the input person to view the music and input an image applied to the music, and an image suitable for the music can be displayed in real time.
また、上記実施の形態では、音楽の構成要素として、その音楽の構成楽器の種類に関する情報を用い、その構成楽器の演奏状態を示す画像を表示させるようにしたので、実際に演奏されている楽器と全く関係のない楽器による演奏状態を表示させるなどの不具合を防止することができるようになる。 In the above-described embodiment, the information about the type of musical instrument is used as a component of music, and an image showing the performance state of the musical instrument is displayed. This makes it possible to prevent problems such as displaying the performance status of an instrument that has nothing to do with it.
更に、音楽の構成要素として、音楽の旋法を抽出し、その旋法に基づいて画像を明るい色や暗い色などに表示させるようにしたので、悲しい音楽を送信したにも拘わらず明るいイメージの色を表示してしまうなどの不具合を防止することができる。 In addition, music melody was extracted as a component of music, and images were displayed in light or dark colors based on that melody, so the color of a bright image could be achieved despite the transmission of sad music. Problems such as display can be prevented.
加えて、構成楽器による演奏状態を表示させるに際して、小節毎に各構成楽器の演奏状態を示すフラグを検出し、このフラグの情報によって小節毎における各楽器の演奏状態を切り替えるようにしたので、例えば、ピアノのソロ演奏が開始された場合に他の構成楽器が動的に表示されたままになるなどの不具合を防止することができるようになる。 In addition, when displaying the performance status of the constituent instruments, a flag indicating the performance status of each constituent instrument is detected for each measure, and the performance status of each instrument in each measure is switched based on the information of the flag. When the solo performance of the piano is started, it is possible to prevent problems such as other constituent instruments being dynamically displayed.
また、上記実施の形態では、端末装置２ａ、２ｂに、あらかじめ表示対象となる画像のデータを記憶する記憶手段２２を設けておき、音楽データ生成サーバ装置３から送信されてきた画像識別データに基づいてこの記憶手段２２から画像データを読み出して表示するようにしたので、音楽データ生成サーバ装置３から音楽データを送信する際におけるデータ量を少なくすることができ、迅速に音楽付きメッセージを送信することができるようになる。
In the above embodiment, the
また、上記実施の形態では、入力されたメッセージであるテキストに基づいてオリジナルの音楽を作成し、その音楽に基づいてこれに適合する画像を表示させるようにしたので、より趣向性の高いサービスを提供することができるようになる。 In the above embodiment, the original music is created based on the text that is the input message, and an image suitable for the music is displayed based on the music. Will be able to provide.
なお、本発明は上記実施の形態に限定されることなく種々の形態で実施することができる。 In addition, this invention can be implemented with a various form, without being limited to the said embodiment.
例えば、上記実施の形態では、音楽の構成要素として、音楽の旋法やその構成楽器などに関する情報を例に挙げて説明したが、音楽の他の構成要素を用いてその音楽に適合した画像を表示させることもできる。例えば、その他の構成要素として、音楽のテンポ、メロディの平均音高などを用いた場合は、早いテンポの音楽に対応して、早い動きをイメージさせる画像を表示させるようにしても良い。また、高い平均音高を有する音楽に対応して、例えば、金属色などのような冷たさをイメージさせる画像を表示させるようにしても良い。 For example, in the above-described embodiment, the information about the music melody and the musical instrument is described as an example of the music component, but an image suitable for the music is displayed using other components of music. It can also be made. For example, when the tempo of music, the average pitch of melody, or the like is used as other components, an image that makes an image of fast movement may be displayed corresponding to music with a fast tempo. Further, for example, an image that gives an image of coldness such as a metal color may be displayed in correspondence with music having a high average pitch.
また、上記実施の形態では、あらかじめ音楽ジャンル毎に構成楽器を設定しておき、指定された音楽ジャンルに対応する構成楽器の画像識別データを抽出して端末装置２ａ、２ｂに表示させるようにしているが、例えば、生成された音楽の周波数帯域毎の出力波形などから構成楽器を推測し、その推測された構成楽器による演奏状態を端末装置２に表示させるようにしても良い。
In the above embodiment, constituent musical instruments are set in advance for each music genre, and image identification data of the constituent musical instrument corresponding to the designated music genre is extracted and displayed on the
さらに、上記実施の形態では、旋法に基づいて画像の色を変える場合について説明したが、これに限らず、旋法が短調である場合は、悲しいイメージを有する画像を表示させるようにすることもでき、また、長調である場合は、明るいイメージを有する画像を表示させるようにすることもできる。 Furthermore, in the above-described embodiment, the case where the color of the image is changed based on the melody has been described. However, the present invention is not limited to this, and an image having a sad image can be displayed when the melody is in minor. In the case of a major key, an image having a bright image can be displayed.
加えて、上記実施の形態では、音楽画像出力システム１として、端末装置２ａ、２ｂと音楽データ生成サーバ装置３で構成したが、これに限らず、これらの機能を集約した１台の装置で構成することもできる。この場合、本発明との関係において、その１台に集約された装置が音楽画像出力システムとなる。
In addition, in the above-described embodiment, the music
また、上記実施の形態では、あらかじめその端末装置２ａ、２ｂに画像データを記憶させておき、音楽データ生成サーバ装置３から送信されてきた画像識別データに基づいてその画像を表示させるようにしたが、これに限らず、瞬時に大量のデータの送信が可能な場合は、直接音楽データ生成サーバ装置３から端末装置２ａ、２ｂに画像を送信するようにしても良い。
In the above embodiment, the image data is stored in advance in the
１・・・音楽画像出力システム
２ａ、２ｂ・・・端末装置
３・・・音楽データ生成サーバ装置
２２・・・端末装置の記憶手段
２３・・・画像読出手段
２４・・・出力手段
３０ｂ・・・送信手段
３３・・・旋法・調判定手段
３６・・・伴奏データ生成手段
３７・・・画像データ生成手段
DESCRIPTION OF
Claims (16)
音楽の構成要素に対応した複数の画像を記憶する記憶手段と、
前記出力される音楽の構成要素を抽出し、この抽出された音楽の構成要素に対応した画像を前記記憶手段から読み出す画像読出手段と、
この画像読出手段によって読み出された画像を前記音楽とともに出力する出力手段と、
を備えたことを特徴とする音楽画像出力システム。 In a music image output system that outputs a predetermined image together with music,
Storage means for storing a plurality of images corresponding to music components;
Image reading means for extracting the constituent elements of the output music and reading out the image corresponding to the extracted music constituent elements from the storage means;
Output means for outputting the image read by the image reading means together with the music;
A music image output system comprising:
前記出力される音楽の構成要素を抽出するステップと、
この抽出された音楽の構成要素に対応した画像を読み出すステップと、
この読み出された画像を前記音楽とともに出力するステップと、
を備えたことを特徴とする音楽画像出力方法。 In a music output method used in a music image output system for storing a plurality of images corresponding to music components and outputting the images together with music,
Extracting the constituent elements of the output music;
Reading an image corresponding to the extracted music component;
Outputting the read image together with the music;
A music image output method comprising:
音楽の構成要素に対応した複数の画像に関する情報を記憶する記憶手段と、
前記出力される音楽の構成要素を抽出し、この抽出された音楽の構成要素に対応した画像に関する情報を前記記憶手段から読み出す画像読出手段と、
この画像読出手段によって読み出された画像に関する情報を前記音楽に関する情報とともに前記端末装置側へ送信する送信手段と、
を備えたことを特徴とする音楽データ生成サーバ装置。 In a music data generation server device connected to a terminal device and transmitting information related to a predetermined image together with music to the terminal device,
Storage means for storing information about a plurality of images corresponding to music components;
Image reading means for extracting the component of the music to be output and reading out information relating to the image corresponding to the extracted music component from the storage means;
Transmitting means for transmitting information relating to the image read by the image reading means to the terminal device side together with information relating to the music;
A music data generation server device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003421830A JP4174028B2 (en) | 2003-12-19 | 2003-12-19 | Music image output system and music image output method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003421830A JP4174028B2 (en) | 2003-12-19 | 2003-12-19 | Music image output system and music image output method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005181646A true JP2005181646A (en) | 2005-07-07 |
| JP4174028B2 JP4174028B2 (en) | 2008-10-29 |
Family
ID=34782890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003421830A Expired - Fee Related JP4174028B2 (en) | 2003-12-19 | 2003-12-19 | Music image output system and music image output method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4174028B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007025411A (en) * | 2005-07-20 | 2007-02-01 | Casio Comput Co Ltd | Musical score display device and musical score display program |
| US8229935B2 (en) | 2006-11-13 | 2012-07-24 | Samsung Electronics Co., Ltd. | Photo recommendation method using mood of music and system thereof |
| JP2020144346A (en) * | 2019-03-08 | 2020-09-10 | カシオ計算機株式会社 | Information processing apparatus, information processing method, performance data display system, and program |
| WO2021057740A1 (en) * | 2019-09-26 | 2021-04-01 | 北京字节跳动网络技术有限公司 | Video generation method and apparatus, electronic device, and computer readable medium |
-
2003
- 2003-12-19 JP JP2003421830A patent/JP4174028B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007025411A (en) * | 2005-07-20 | 2007-02-01 | Casio Comput Co Ltd | Musical score display device and musical score display program |
| US8229935B2 (en) | 2006-11-13 | 2012-07-24 | Samsung Electronics Co., Ltd. | Photo recommendation method using mood of music and system thereof |
| JP2020144346A (en) * | 2019-03-08 | 2020-09-10 | カシオ計算機株式会社 | Information processing apparatus, information processing method, performance data display system, and program |
| WO2021057740A1 (en) * | 2019-09-26 | 2021-04-01 | 北京字节跳动网络技术有限公司 | Video generation method and apparatus, electronic device, and computer readable medium |
| US11710510B2 (en) | 2019-09-26 | 2023-07-25 | Beijing Bytedance Network Technology Co., Ltd. | Video generation method and apparatus, electronic device, and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4174028B2 (en) | 2008-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100658869B1 (en) | Music generating device and operating method thereof | |
| US6297439B1 (en) | System and method for automatic music generation using a neural network architecture | |
| US6395970B2 (en) | Automatic music composing apparatus that composes melody reflecting motif | |
| US20060230910A1 (en) | Music composing device | |
| JP2000194360A (en) | Method and device for electronically generating sound | |
| CN107430849B (en) | Sound control device, sound control method, and computer-readable recording medium storing sound control program | |
| CN1750116A (en) | Automatic rendition style determining apparatus and method | |
| CN1770258B (en) | Rendition style determination apparatus and method | |
| JP2005173632A (en) | Performance data generating apparatus | |
| JP2007219139A (en) | Melody generation system | |
| JP4174028B2 (en) | Music image output system and music image output method | |
| JP3239897B1 (en) | Songwriting device and program | |
| JP2006178104A (en) | Method, apparatus and system for musical piece generation | |
| JP6315677B2 (en) | Performance device and program | |
| JP2008209535A (en) | System and method for generating music information | |
| JP4180548B2 (en) | Karaoke device with vocal range notification function | |
| Abram | TIMBRE-BASED COMPOSITION, MULTIPLE PERSPECTIVES AND AMBIGUITY IN REBECCA SAUNDERS’COMPOSITIONAL STYLE | |
| Ballard Jr | Extended Harmonic Techniques: Acoustic Principles for Composition and Musicianship | |
| JP2014066937A (en) | Piano roll type musical score display device, piano roll type musical score display program, and piano roll type musical score display method | |
| JP6582517B2 (en) | Control device and program | |
| JP2002032079A (en) | Device and method for automatic music composition and recording medium | |
| JP3694698B2 (en) | Music data generation system, music data generation server device | |
| JP3775249B2 (en) | Automatic composer and automatic composition program | |
| JP3547394B2 (en) | Karaoke device with scat input ensemble system | |
| KR100775285B1 (en) | System and method for producing melody |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060630 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080815 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |