JP2004118010A - 楽曲印象値自動付与装置 - Google Patents
楽曲印象値自動付与装置 Download PDFInfo
- Publication number
- JP2004118010A JP2004118010A JP2002283389A JP2002283389A JP2004118010A JP 2004118010 A JP2004118010 A JP 2004118010A JP 2002283389 A JP2002283389 A JP 2002283389A JP 2002283389 A JP2002283389 A JP 2002283389A JP 2004118010 A JP2004118010 A JP 2004118010A
- Authority
- JP
- Japan
- Prior art keywords
- music
- impression
- gram
- impression value
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】コンピュータ処理可能な楽曲データ7を楽曲データ入力部9から入力し、物理的特徴量を抽出する楽曲基本特徴量抽出部10、そのNグラムを生成するNグラム生成部11、さらにNグラム特徴量を生成するNグラム特徴量生成部12による各処理を行う。Nグラム特徴量から楽曲特徴量を抽出し、楽曲印象値演算部13で楽曲印象値を算出する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、楽曲データの処理装置に関するものであり、特に楽曲データから該楽曲の印象値を自動的に付与する装置に関わる。
【0002】
【従来の技術】
音楽などの芸術作品に対する評価、例えばその作品に対する印象を決定することは、従来コンピュータなどの処理にはなじまないと考えられていた。そのため、例えば楽曲の印象によって作品の印象を分類するとしても、分類作業自体は人間が行うものであった。従って、まったく新しい楽曲に対して新しい印象値をコンピュータによって付与することが課題となっている。
【0003】
本件出願人らをはじめとして、従来までの研究によると、コンピュータにおいて楽曲印象値を自動的に付与するということは、コンピュータが処理可能な楽曲データから、どのような楽曲特徴量を抽出し、どのような計算式を用いて、どのような楽曲印象値を出力するのか、という問題を中心に議論が進められている。
ここで、楽曲印象値とは、楽曲印象を数値化したものであり、楽曲特徴量とは、楽曲データから抽出し、楽曲印象値を計算するために用いられる物理的特徴量を指している。
【0004】
従って、上記の課題は楽曲印象値の設計、楽曲特徴量の設計、楽曲印象値計算式の設計についての技術的課題と言うことができ、いくつかの研究が行われてきたが、いずれも断片的なものにとどまり、未だに全体的な設計が行われて的確な楽曲印象値を自動的に付与する装置は提供されていない。
【0005】
例えば、楽曲印象値の設計において、非特許文献1によれば、SD(Semantic Differential)法に基づく主観評価実験データに対する因子分析の結果から、音楽感性空間と呼ばれる5次元の因子空間を構成し、ユーザが入力する印象と楽曲が有する印象とをこの空間内の座標値として表している。
【0006】
しかしながら、因子軸の意味の解釈は人手によるので個人差があり、楽曲に付与された座標値が実際にどのような印象を表しているのかを端的に示すことは難しい。また、楽曲の印象を1つの点で表しているため、すべての印象尺度(非特許文献1のシステムでは8個)に何らかの値を入力しなければならず、印象尺度に対する評価として「どちらでもない(楽曲印象値が不定な状態)」を認めていない。
そのため、明るい楽曲を検索するつもりで、明るさに関する印象尺度の評価を「明るい」にしても、実際には明るさ以外の印象尺度に対して「どちらとも言えない」に相当する値(1点〜7点の7段階評価では4点)を持つ楽曲が検索されることになる。
【0007】
【非特許文献1】池添剛、梶川嘉延、野村康雄:「音楽感性空間を用いた感性語による音楽データベース検索システム」 情処学論,42,12,pp.3201−3212(2001)
【0008】
また、楽曲特徴量の設計においては、非特許文献1〜3に発表された研究などがある。これらの研究をはじめとする従来の楽曲データを対象とする楽曲検索研究では、楽曲特徴量として、音の高さや強さ、長さ、リズムやテンポ、拍子、調性(短調/長調)等の音楽構成要素に対する平均や分散、時間的割合といった静的な特徴量を用いていることが多い。
しかしながら、本来時系列データである楽曲を静的な特徴量だけで表現するのは本質的に限界があるものと考えられる。
【0009】
【非特許文献2】佐藤聡、菊地幸平、北上始:「音楽データを対象としたイメージ検索のための感情価の自動生成」、情処研報,データベースシステム118−8,情報学基礎54−8,pp.57−64(1999)
【非特許文献3】佐藤聡、小川潤、堀野義博、北上始:「感情に基づく音楽作品検索システムの実現に向けての検討」、信学技報(音声),SP2000−137,pp.51−56(2001)
【0010】
従来研究(非特許文献2〜4)でも、このような音の時間的推移を考慮した特徴量として、連続する3音の音の高さや長さの推移をパターン化したものなどが提案されているが、連続する音の数が一定であり、限定的な時間推移しか取り扱えなかった。
【0011】
【非特許文献4】辻康博、星守、大森匡:「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」、信学技報(音声),SP96−124,pp.17−24(1997)
【0012】
【発明が解決しようとする課題】
本発明は上記従来の技術が有する問題に鑑みて創出されたものであって、楽曲データを用いて楽曲印象値を自動的に付与する楽曲印象値自動付与装置を提供することを課題とし、特に高精度な楽曲印象値の付与技術の提供を目的とする。
【0013】
【課題を解決するための手段】
本発明は上記課題の解決を図るため、次のような手段を創出した。
すなわち、少なくともコンピュータ処理が可能な所定のデータ規格に基づく楽曲データに対して、当該楽曲が有する印象を自動的に数値化し、付与する楽曲印象値自動付与装置を提供する。
本装置は、楽曲データを入力する入力手段と、楽曲データにおける、楽曲印象に係る物理的特徴量である楽曲基本特徴量を抽出する楽曲基本特徴量抽出手段を備える。そして、楽曲基本特徴量から、Nグラムを生成するNグラム生成手段と、異なりNグラムを用いてNグラム特徴量を生成するNグラム特徴量生成手段と、Nグラム特徴量を用い、所定の楽曲印象値計算式による演算を行う楽曲印象値演算手段と、楽曲印象値を出力する出力手段とを備える。
【0014】
ここで、前記Nグラム特徴量生成手段が、前記異なりNグラムの相対出現頻度と、所定の重み値を乗じてNグラム特徴量を生成してもよい。
【0015】
前記楽曲印象値計算式が、重回帰式であってもよい。
【0016】
楽曲印象値自動付与装置が、複数の印象尺度についての印象値を付与する構成において、Nグラム特徴量生成手段が、印象尺度毎にNグラム特徴量を生成すると共に、楽曲印象値演算手段とが、該印象尺度毎に、該Nグラム特徴量を用いて演算を行う構成でもよい。
【0017】
前記データ規格が、MIDI(musical instrument digital interface)規格であってもよい。
【0018】
本発明の楽曲印象値自動付与装置は、入力手段から楽曲データを入力し、楽曲データが含む複数のトラックチャンク及び/又はチャネルを分割し、各トラックチャンク及び/又はチャネル毎に楽曲基本特徴量抽出手段に出力するストリーム分割手段を備えてもよい。
【0019】
楽曲基本特徴量が、音の高さ、音の強さ、音の長さ、音色情報とすることができる。
【0020】
前記Nグラム特徴量生成手段において、複数のN値についてNグラム特徴量を生成する構成でもよい。
【0021】
印象尺度に、「静かな」・「落ち着いた」・「爽やかな」・「明るい」・「荘厳な」・「ゆったりとした」・「綺麗な」・「楽しい」・「気持ちが落ち着く」・「心が癒される」の少なくともいずれかの文言、又はその同意語、又はその反意語としてもよい。
【0022】
【発明の実施の形態】
本発明の実施形態を図面に示した実施例に基づいて説明する。なお、実施形態は、本発明の主旨から逸脱しないかぎり適宜変更可能なものである。
図1には本発明による楽曲印象値自動付与装置(以下、本装置と呼ぶ。)の構成図を示すと共に、図2に該装置における処理のフローチャートを示す。
【0023】
本装置(1)は、主に演算等の処理を司る中核であるCPU(2)と、ユーザーに対して処理内容や結果を示す表示装置であるモニタ(3)、ユーザーが本装置(1)の操作を行うキーボード(4)、及びCPUと連動して作用するメモリ(5)や、データを記憶可能な外部記憶装置(6)から構成される。
このような構成の装置として公知のパーソナルコンピュータがあり、本装置(1)はパーソナルコンピュータ上に実装することが可能である。
【0024】
このような本装置(1)を用い、本発明では標準MIDIファイルを入力し、自動的に楽曲印象値を付与し、それを出力する技術を創出した。各処理は図2に示す通りであり、標準MIDIファイル(20)から楽曲の印象に係る物理的特徴量である楽曲基本特徴量を抽出(21)し、それを用いて連続する楽曲基本特徴量の組み合わせからNグラムを生成した後、必要に応じ、重みや出現頻度を用いてNグラム特徴量を生成する。(22)
楽曲の特徴を表すのに有効なものを選択して楽曲特徴量の抽出(23)を行い、楽曲印象値計算式に用いる。この演算処理を行うことで、本発明が目的とする楽曲印象値(25)が算出される。
本実施例において、実数値で各印象尺度毎に1個の楽曲印象値が出力される。
次に各処理について詳述する。
【0025】
標準MIDIファイル(20)は、本装置(1)に備えた外部記憶手段に楽曲MIDIデータ(7)として記録されている。図1においては別体としているが、同じく外部記憶手段であるハードディスク(6)内に記録してもよいし、ネットワーク接続された別のコンピュータにおける外部記憶手段に記録してもよい。
CPU(2)は楽曲データ入力部(9)の処理によって楽曲MIDIデータ(7)を読み出し、楽曲基本特徴量抽出部(10)に送る。
【0026】
楽曲基本特徴量抽出部(10)において、標準MIDIファイル形式(フォーマット0または1)のデータ(7)から各トラックチャンク及び各チャネル毎に楽曲基本特徴量を抽出するストリーム分割機能を有する。標準MIDIデータ(7)の場合には、トラックチャンク及びチャネルが並列的に記載されているため、各ストリームを別個に切り分けて抽出し、それぞれを1つのストリームデータとする。
【0027】
例えば、1トラックチャンク・3チャネルの楽曲からは3つのストリームデータが生成される。本実施例において、抽出される楽曲基本特徴量は、音の高さ、音の強さ、音の長さ、音色情報の4種類であり、それぞれノートナンバー値、オンベロシティ値、ノートオンメッセージからノートオフメッセージが到着するまでの時間(ミリ秒)、GM(General MIDI)規格に基づく音色番号に対応している。
【0028】
ここで、楽曲基本特徴量の抽出例としてストリームデータの一例を図3に示す。ストリームデータ(30)において、各行の第1列が音の長さ(31)、第2列が音の高さ(32)、第3列が音の強さ(33)、第4列が音色情報(34)に対応している。
また、同一トラックチャンク同一チャネルにおいて、2音以上が同時に発音している場合を「和音」と定義し、和音がある場合は、2音目以降の楽曲基本特徴量(音の長さを除く)を第5列以降(35)(36)(37)に繰り返し記述する。
各チャネルにおいて、そのチャネル(例えば38)の無音状態を休符と定義し、音の長さを0、音の長さ以外を記号「s」で表す。
このように楽曲基本特徴量抽出部(10)で抽出されたデータは、ハードディスク(6)に記録される。
【0029】
Nグラム特徴量の生成(22)は、Nグラム生成部(11)及びNグラム特徴量生成部(12)において処理する。Nグラム特徴量は、後処理で用いる楽曲特徴量の候補となる特徴量であり、以下の手順で楽曲基本特徴量から生成される。
まず、Nグラム生成部(11)では、ハードディスク(6)上の楽曲基本特徴量データを用い、各ストリ−ムデータから4種類の楽曲基本特徴量を分離し、音色情報からはunigram(1グラム、N=1)を、それ以外の特徴量からはNグラム(N=1,2,3,4,5)を生成する。
【0030】
例えば、図3に示されたストリームデータ(30)の音の高さからは図4のようなNグラム(40)(41)(42)(43)(44)が生成される。なお、和音(39a)(39b)(39c)は、値の大きい順に並べ替えられ、リスト形式の入れ子(45)として記述される。
生成された結果はハードディスク(6)などに記録する。
【0031】
次に、Nグラム特徴量生成部(12)において、音色情報以外の楽曲基本特徴量から生成されたNグラムの各要素(x1x2・・xN)を表1、表2の抽象化ルールに基づいて置換する。
【0032】
【表1】
【0033】
【表2】
【0034】
表1のルールは、各Nグラムの第1要素x1に適用され、楽曲基本特徴量の種類に応じてその要素を置換する。このとき、リスト形式の入れ子を1つの記号(例えば79−71−62(45))で記述するとともに、楽曲基本特徴量の種類を示すためのタグとして、音の高さならh、音の強さならv、音の長さならd) を付加する(例えばh79−71−62)。
【0035】
一方、表2のルールは、各Nグラムの第2要素以降xi(i=2,3,・・・,N)に適用され、その直前の要素xi−1との比較結果に応じてxiを対応する記号で置換する。
このとき、xi−1とxiの比較は、それぞれの最大値同士、最小値同士で行われるが、和音以外では最大値=最小値として扱われる。
以上の処理の結果、例えば、図4のNグラムは抽象化され、図5のようになる。
【0036】
以上のようにして抽象化されたNグラムの異なりNグラムを、本稿では「Nグラム特徴量」と呼ぶ。そして、それぞれのNグラム特徴量は、その相対出現頻度に重みwを掛けたものを値として持つ。
但し、相対出現頻度は、楽曲基本特徴量の種類毎、Nグラム統計量のN値毎に計算され、小数点第4位で四捨五入される。例えば、図5のbigram(50)からは4つのNグラム特徴量が生成され、(hs sx)(51)(52)の相対出現頻度は0.400、それ以外(53)(54)(55)の相対出現頻度は0.200となる。
【0037】
一方、重みwには表3に示すような3種類の重み付け方法を用意した。
本発明では以上のNグラム生成部(11)及びNグラム特徴量生成部(12)における処理によって、Nグラム特徴量を生成し、ハードディスク(6)に記録する。もっとも、本発明のNグラム特徴量生成プロセスは、上記の構成による相対出現頻度や重みを用いることに限定されるものではなく、公知のNグラム統計量の算出方法から逸脱しない範囲で任意に設定することができる。
【0038】
【表3】
【0039】
ここで、本発明の楽曲印象値自動付与装置(1)は、前記した楽曲特徴量及び楽曲印象値計算式を決めるため、具体的には、図6に示した設計手順に従って設計している。図に明らかなように、本設計手順は、本装置(1)を使用する際と極めて近い工程を含んでいる。以下、この流れに沿って、各手順を説明する。
楽曲が有する印象を数値化する際の基準となるデータを得るために、SD法に基づく主観評価実験(65)として、以下のような印象評価実験を行った。
【0040】
被験者は、男性39名、女性61名の計100名であり、プロレベル(演奏家としての収入があるような人)1名、セミプロレベル(音楽大学などで専門的に勉強したような人)7名、アマチュアレベル(バンドやオーケストラ、合唱団などに入っているような人)20名、趣味レベル(以上の条件には該当しないけれども一応演奏できるような人)46名、未経験者(ほとんど演奏できないような人)26名と音楽経験が豊かでない人も多数含まれている。
【0041】
印象に基づく楽曲検索は、音楽経験の豊富な人というよりも、そうでない人に対して特に有効な検索手段であり、そういう人の音楽感性を反映したデータを利用することは本装置(1)を設計する上で重要なことと言える。
また、実験で用いた楽曲(60)は標準MIDIファイル形式のクラシック80曲であり、インターネット上で公開されていたものを採用している。但し、実験時間の都合により、楽曲聴取に要する平均試聴時間が1分前後となるよう楽曲の長さを調整する。被験者は、各楽曲を2回まで試聴することができ、その間にすべての印象尺度に対し7段階評価もしくは「どちらでもない」の評価を行うことが求められる。
【0042】
本装置(1)で用いる印象尺度は、任意に設定することができるが、例えば本件出願人が特願2002−203694号において開示した印象尺度の設計方法に基づいて設計することができ、表4に示す10個の印象尺度を用いる。
【0043】
【表4】
【0044】
ここで、各印象尺度の7段階評価結果に対し点数を割り振った。例えば、明るさに関する印象尺度では、「とても明るい」を7点、「明るい」を6点、「少し明るい」を5点、「どちらとも言えない」を4点、「少し暗い」を3点、「暗い」を2点、「とても暗い」を1点とし、「どちらでもない」は無得点とした。
これにより、各印象尺度において楽曲印象値がどのような印象を表現しているのか明確になるし、ユーザが入力する「どちらでもない」という評価結果をその印象尺度に関しては点がない状態だと考えれば、「どちらでもない(無得点)」と「どちらとも言えない(4点)」の区別が可能となる。
以上の結果得られた80000個(100人×80曲×10印象尺度)のデータから各楽曲毎の平均を求め、印象値データ(800個=80曲×10印象尺度)(66)とした。但し、無得点のデータは事前に除外し、計算には用いなかった。
【0045】
一方、80曲の楽曲データ(60)は本装置(1)の楽曲データ入力部(9)から入力され、上記の処理により楽曲基本特徴量抽出部(10)において、楽曲基本特徴量の抽出(61)が行われる。
同様に、上記処理によりNグラム生成部(11)及びNグラム特徴量生成部(12)において、Nグラム特徴量の生成(62)を行う。
【0046】
ここで、Nグラム特徴量生成部(12)において、上記のように表1、表2の抽象化ルールに基づいて置換するが、表5には抽象化処理による異なりNグラム数の変化を音の高さの場合を例に示す。
【0047】
【表5】
【0048】
表5に示したように、抽象化により異なりNグラム(すなわちNグラム特徴量)の数は約半分に減少しているが、それでもまだ1,000のオーダーである。
本発明の設計で用いる重回帰分析の性質上、説明変数となるNグラム特徴量の数は、目的変数である印象値データのサンプル数(ここでは楽曲データ数80である。)よりも2個以上(3個以上が推奨されている)少なくなければならない。(非特許文献5参照。)
【0049】
【非特許文献5】菅民郎:「多変量統計分析」、現代数学社、京都(2000)
【0050】
そこで本実施例においてはNグラム特徴量生成部(12)で、Nグラム特徴量の数が多くても77個を超えないよう、以下のような方法でNグラム特徴量の選択処理(63)を行う。
まず、各楽曲におけるNグラム特徴量の相対出現頻度がいずれの楽曲においても0.010未満であったNグラム特徴量を除外した。この操作により、Nグラム特徴量の数は表6のように変化した。但し、この操作は音色情報に対しては行っていない。
【0051】
【表6】
【0052】
次に、Nグラム特徴量と印象値データとの相関係数を求め、その絶対値が大きかった特徴量(最大77個)を重回帰分析のための説明変数として選択(64)した。このとき、Nグラム特徴量のN値の組み合わせとして、unigramのみ、bigramのみ、bigramとtrigram、bigramから4−gramまで、bigramから5−gramまでの5通りを用意したので、この5グループのそれぞれにおいてNグラム特徴量の選択(64)を行った。
【0053】
楽曲特徴量及び楽曲印象値計算式を決定するために、上記で選択されたNグラム特徴量(64)を説明変数、印象尺度m(m=1,2,・・・、10)における楽曲印象値データ(SD法に基づく印象評価実験の結果)(66)を目的変数とする重回帰分析(変数増加法)(67)を行う。
このとき、説明変数に用いるNグラム特徴量のN値の組み合わせは、5通りあり、重みタイプには上記のw1,w2,w3の3種類を用いるので、結局、各印象尺度毎に15回の重回帰分析(67)を行う。
【0054】
ここで、各印象尺度毎に15回の重回帰分析を行うが、その中で自由度修正済み決定係数R2‘が最も大きかった重回帰式を楽曲印象値計算式として採用し(68)、その重回帰式を構成する説明変数(Nグラム特徴量)を楽曲特徴量(69)と定義する。
【0055】
自由度修正済み決定係数について簡単に説明すると、サンプル数と説明変数の数との差が小さい(すなわち自由度が低い)と、決定係数が大きくなる傾向がある。この不具合を修正したのが自由度修正済み決定係数であり、次の式で計算される。
【数式1】
ただし、Se:残差平方和、Syy:偏差平方和、n:サンプル数、q:説明変数の数
なお、自由度修正済み決定係数については、非特許文献5に記載されている。
【0056】
本設計方法において、各印象尺度において R2‘が最大となるN値の組み合わせ及び重みタイプを、そのときのR2‘とともに表7に示す。なお、表7は、N=5のNグラム特徴量(5−gram)が用いられなかったことを示しており、Nグラム特徴量におけるN値としては4までで十分なことを示唆している。
【0057】
【表7】
【0058】
ここで、印象尺度1の場合を例に、設計された楽曲特徴量と楽曲印象値計算式(69)の偏回帰係数及び定数項を表8に示す。印象尺度1の場合の重みタイプは表7よりw1なので、楽曲から抽出される楽曲特徴量の相対出現頻度に重み1(表3参照)を掛けた値が楽曲印象値計算式(重回帰式)に代入され、その楽曲の印象尺度1における楽曲印象値が算出される。
【0059】
【表8】
【0060】
以上の繰り返しにより、各印象尺度毎の楽曲特徴量、楽曲印象値計算式(69)が定義され、本装置(1)の設計が完了する。定義された印象尺度ごとの楽曲特徴量、楽曲印象値計算式は、外部記憶手段である印象値データベース(8)に記録され、本装置(1)の楽曲印象値演算部(13)から随時呼び出し可能とする。
印象値データベースは、ハードディスク(6)上に設けてもよい。
【0061】
以下、再び本装置(1)のフローチャート(図2)に基づいて説述する。
Nグラム特徴量生成部(12)において生成(22)され、ハードディスク(6)に記録されたNグラム特徴量を用いて、次の楽曲印象値演算部(13)において、楽曲印象値の演算を行う。
【0062】
楽曲印象値演算部(13)においては、まずNグラム特徴量から各印象尺度毎の楽曲特徴量を印象値データベース(8)を参照して抽出(23)し、同データベース(8)内の楽曲印象値計算式に代入し演算処理(24)する。
該演算の結果は、実数値で各印象尺度毎に1個の楽曲印象値(25)が楽曲印象値出力部(14)から出力される。
【0063】
図7には本発明で開発した楽曲印象値自動付与装置(1)のモニタ(3)に表示される画面(70)の一例を示す。
楽曲MIDIデータ(7)は楽曲1曲分のファイルを指定するときにはボタン(71)を、複数の楽曲を収容したフォルダごと指定するときはボタン(72)をキーボード(4)やマウス(図示しない)などで指示する。
【0064】
「印象値の自動付与」ボタン(73)を指示することにより、上記で指定されていれば当該楽曲MIDIデータ(7)を、指定されていなければ、デフォルトで定義されたフォルダ内の楽曲MIDIデータ(7)を、以上に説述したCPU(2)における各処理により処理し、最終的に楽曲印象値出力部(14)が、規定のファイルmidi.iwtとしてハードディスク(6)に保存する。
【0065】
ここで、midi.iwtは、csv(カンマ区切り)形式のファイルであり、1行1楽曲で、各行の第1要素に標準MIDIファイル名(拡張子は含まない)、第m+1要素に印象尺度mに対する楽曲印象値という並びで登録される。
なお、本装置(1)の出力は、ハードディスク(6)への記録に限らず、任意の外部記憶装置、モニタ(3)などへの表示により行うこともできる。
また、本装置(1)は単独で用いるだけでなく、他の任意の装置、例えばジュークボックスや楽曲を検索する装置などに付属させてもよい。また、本装置にネットワークアダプタを備えてネットワーク上に設け、他の端末からアクセスできるようにしてもよい。
【0066】
【発明の効果】
本発明は上記の構成を備えるので、次の効果を奏する。
本発明によれば、標準MIDIデータなど、コンピュータで処理可能な楽曲データから楽曲基本特徴量を抽出し、Nグラムを生成すると共に、Nグラムのうち、異なりNグラムを用いてNグラム特徴量を生成することにより、コンピュータ処理に適した形態で当該楽曲の楽曲特徴を抽出することができる。
そして、該楽曲特徴量から所定の楽曲印象値計算式による演算を行うため、高精度な楽曲印象値の算出を行うことができる。
これにより、簡便・高速な処理が可能な楽曲印象値自動付与装置を提供することができる。
【図面の簡単な説明】
【図1】本発明による楽曲印象値自動付与装置の一実施例の構成図である。
【図2】本発明における一実施例の処理のフローチャートである。
【図3】楽曲基本特徴量の抽出例である。
【図4】生成されたNグラムの一例である。
【図5】抽象化されたNグラムの一例である。
【図6】本発明による楽曲印象値自動付与装置の設計方法のフローチャートである。
【図7】本発明による楽曲印象値自動付与装置の表示画面の一例である。
【符号の説明】
1 楽曲印象値自動付与装置
2 CPU
3 モニタ
4 キーボード
5 メモリ
6 外部記憶手段(ハードディスク)
7 楽曲MIDIデータ
8 印象値データベース
9 楽曲データ入力部
10 楽曲基本特徴量抽出部
11 Nグラム生成部
12 Nグラム特徴量生成部
13 楽曲印象値演算部
14 楽曲印象値出力部
Claims (9)
- 少なくともコンピュータ処理が可能な所定のデータ規格に基づく楽曲データに対して、当該楽曲が有する印象を自動的に数値化し、付与する楽曲印象値自動付与装置であって、該装置が、
楽曲データを入力する入力手段と、
該楽曲データにおける、楽曲印象に係る物理的特徴量である楽曲基本特徴量を抽出する楽曲基本特徴量抽出手段と、
該楽曲基本特徴量から、Nグラムを生成するNグラム生成手段と、
該Nグラムのうち、異なりNグラムを用いてNグラム特徴量を生成するNグラム特徴量生成手段と、
該Nグラム特徴量を用い、所定の楽曲印象値計算式による演算を行う楽曲印象値演算手段と、
楽曲印象値を出力する出力手段と
を備えることを特徴とする楽曲印象値自動付与装置。 - 前記Nグラム特徴量生成手段が、
前記異なりNグラムの相対出現頻度と、所定の重み値を乗じてNグラム特徴量を生成する
請求項1に記載の楽曲印象値自動付与装置。 - 前記楽曲印象値計算式が、
重回帰式である
請求項1又は2に記載の楽曲印象値自動付与装置。 - 前記楽曲印象値自動付与装置が、複数の印象尺度についての印象値を付与する構成において、
前記Nグラム特徴量生成手段が、該印象尺度毎にNグラム特徴量を生成すると共に、
前記楽曲印象値演算手段とが、該印象尺度毎に、該Nグラム特徴量を用いて演算を行う
請求項1ないし3に記載の楽曲印象値自動付与装置。 - 前記データ規格が、MIDI(musical instrument digital interface)規格である
請求項1ないし4に記載の楽曲印象値自動付与装置。 - 前記楽曲印象値自動付与装置において、
入力手段から楽曲データを入力し、楽曲データが含む複数のトラックチャンク及び/又はチャネルを分割し、各トラックチャンク及び/又はチャネル毎に楽曲基本特徴量抽出手段に出力する
ストリーム分割手段を備えた
請求項1ないし5に記載の楽曲印象値自動付与装置。 - 前記楽曲基本特徴量が、音の高さ、音の強さ、音の長さ、音色情報である
請求項1ないし6に記載の楽曲印象値自動付与装置。 - 前記Nグラム生成手段において、
複数のN値についてNグラムを生成する
請求項1ないし7に記載の楽曲印象値自動付与装置。 - 前記印象尺度が、
「静かな」・「落ち着いた」・「爽やかな」・「明るい」・「荘厳な」・「ゆったりとした」・「綺麗な」・「楽しい」・「気持ちが落ち着く」・「心が癒される」
の少なくともいずれかの文言、又はその同意語、又はその反意語である
請求項1ないし8に記載の楽曲印象値自動付与装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002283389A JP3697515B2 (ja) | 2002-09-27 | 2002-09-27 | 楽曲印象尺度評価値自動付与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002283389A JP3697515B2 (ja) | 2002-09-27 | 2002-09-27 | 楽曲印象尺度評価値自動付与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004118010A true JP2004118010A (ja) | 2004-04-15 |
JP3697515B2 JP3697515B2 (ja) | 2005-09-21 |
Family
ID=32277266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002283389A Expired - Lifetime JP3697515B2 (ja) | 2002-09-27 | 2002-09-27 | 楽曲印象尺度評価値自動付与装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3697515B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006106631A1 (ja) * | 2005-03-31 | 2008-09-11 | パイオニア株式会社 | 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法 |
JP2009042553A (ja) * | 2007-08-09 | 2009-02-26 | Toshiba Corp | 感性評価装置及び方法 |
JP2009251469A (ja) * | 2008-04-09 | 2009-10-29 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
JP2001306580A (ja) * | 2000-04-27 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 音楽データベース検索装置 |
JP2002123287A (ja) * | 2000-10-13 | 2002-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体 |
JP2002183152A (ja) * | 2000-12-18 | 2002-06-28 | Jinyama Shunichi | 音楽検索装置及び方法並びに音楽検索用ソフトウェアを記録した記録媒体 |
EP1244093A2 (en) * | 2001-03-22 | 2002-09-25 | Matsushita Electric Industrial Co., Ltd. | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same |
JP2002278547A (ja) * | 2001-03-22 | 2002-09-27 | Matsushita Electric Ind Co Ltd | 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置 |
-
2002
- 2002-09-27 JP JP2002283389A patent/JP3697515B2/ja not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
JP2001306580A (ja) * | 2000-04-27 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 音楽データベース検索装置 |
JP2002123287A (ja) * | 2000-10-13 | 2002-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体 |
JP2002183152A (ja) * | 2000-12-18 | 2002-06-28 | Jinyama Shunichi | 音楽検索装置及び方法並びに音楽検索用ソフトウェアを記録した記録媒体 |
EP1244093A2 (en) * | 2001-03-22 | 2002-09-25 | Matsushita Electric Industrial Co., Ltd. | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same |
JP2002278547A (ja) * | 2001-03-22 | 2002-09-27 | Matsushita Electric Ind Co Ltd | 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006106631A1 (ja) * | 2005-03-31 | 2008-09-11 | パイオニア株式会社 | 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法 |
JP4616337B2 (ja) * | 2005-03-31 | 2011-01-19 | パイオニア株式会社 | 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法 |
JP2009042553A (ja) * | 2007-08-09 | 2009-02-26 | Toshiba Corp | 感性評価装置及び方法 |
JP2009251469A (ja) * | 2008-04-09 | 2009-10-29 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3697515B2 (ja) | 2005-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Simonton | Thematic fame and melodic originality in classical music: A multivariate computer‐content analysis 1 | |
US20210335333A1 (en) | Computing orders of modeled expectation across features of media | |
Lima et al. | A survey of music visualization techniques | |
Gunjawate et al. | Acoustic analysis of voice in singers: a systematic review | |
Aljanaki et al. | A data-driven approach to mid-level perceptual musical feature modeling | |
Frieler et al. | Midlevel analysis of monophonic jazz solos: A new approach to the study of improvisation | |
JPH09293083A (ja) | 楽曲検索装置および検索方法 | |
Kosta et al. | Mazurkabl: score-aligned loudness, beat, expressive markings data for 2000 chopin mazurka recordings | |
Gilbers et al. | Regional variation in West and East Coast African-American English prosody and rap flows | |
Yang et al. | Examining emotion perception agreement in live music performance | |
Cella | Orchidea: a comprehensive framework for target-based computer-assisted dynamic orchestration | |
Micallef Grimaud et al. | Emotional expression through musical cues: A comparison of production and perception approaches | |
JP2007140165A (ja) | カラオケ装置およびカラオケ装置用プログラム | |
JP2004118010A (ja) | 楽曲印象値自動付与装置 | |
Holder et al. | Musiplectics: computational assessment of the complexity of music scores | |
Politis et al. | Determining the chromatic index of music | |
JP4218066B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
Albrecht | Expressive Meaning and the Empirical Analysis of Musical Gesture: The Progressive Exposure Method and the Second Movement of Beethoven's Pathetique Sonata | |
Poudrier et al. | Modeling rhythmic complexity in a corpus of polyrhythm examples from Europe and America, 1900-1950 | |
Hartmann et al. | Multi-scale modelling of segmentation: effect of music training and experimental task | |
Ornoy et al. | Analysis of contemporary violin recordings of 19th century repertoire: Identifying trends and impacts | |
Kanato et al. | An automatic singing impression estimation method using factor analysis and multiple regression | |
Politis et al. | Modeling musical chromaticism: the algebra of cross-cultural music perception | |
JP4218064B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
Razali et al. | Intercultural Creativity and Exploration through Gamelanistic Elements in Marzelan Salleh’s Puteri Gunung Ledang and John Cage’s Dream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3697515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |