JP4668039B2 - 楽曲分析装置及び楽曲検索装置 - Google Patents

Description

この発明は、大量の楽曲データの中から所望の楽曲を検索・選択する楽曲検索装置及びこの検索に必要な楽曲の分析を高精度化するための楽曲分析装置に関する。

従来の楽曲検索装置としては例えば、特開2002-278547号公報（特許文献１）に記載のものがある。ここでは、楽曲検索等に用いるための特徴量を求める楽曲分析装置は、音楽のジャンル等の書誌データによらず、固定の分析方法を使用していた。
また、楽曲をマップ上に配置しマップ上の座標位置で検索を行なう場合、各位置指定毎に検索結果の曲数を指定する方法が提案されている。

特開2002-278547号公報

従来の楽曲分析装置では、分析対象となる楽曲のジャンルなどを問わず同じ分析手法を用いて分析を行なっていたため、各ジャンルに特有の音響的な特徴を使用せずに分析をしており、精度が落ちるという問題点があった。
また楽曲を検索で複数箇所の範囲を指定する場合、複数箇所の指定範囲全体の楽曲数や容量を指定して検索を行なえないため、携帯音楽再生装置等へ転送する際にユーザが指定範囲毎に曲数や容量を指定する必要があった。
また楽曲の再生順番もあらかじめ指定されたソート方法以外にユーザが曲調を基にソートすることが難しいという問題点があった。

この発明は上記のような問題点を解決するためになされたもので、ジャンルなどにより、分析手法を切り替えることにより分析精度を向上させる。また携帯音楽再生装置等に転送する時等、検索したい曲の容量や、楽曲数が制限されている場合に、指定範囲全体に対して制限をかけて、自動的に各指定条件に対する楽曲数・容量を変更するため、簡単に検索、転送を行なえる。さらにマップ上に表示した楽曲データに対してカーソル移動により楽曲の再生順序を簡単に指定できるようにする。

この発明に係る楽曲分析装置は、
ロック、ジャズ、ポップ等の楽曲のジャンル、楽曲のタイトル、アーティスト名からなる楽曲の書誌データをあらかじめ複数記憶している書誌データベースと
入力された楽曲に対するロック、ジャズ、ポップ等の楽曲のジャンル、楽曲のタイトル、アーティスト名の書誌データを前記書誌データベースから取得する書誌データ取得手段と、
楽曲のジャンルに適した分析手法による分析手段を前記書誌データベースに記憶された異なる楽曲のジャンルの数分複数有し、入力された楽曲に対する特徴量を分析する分析部と、
入力された楽曲のジャンルに適した分析手法の分析手段を複数の分析手段から選択する分析手段選択手段と、
選択された分析手段による入力された楽曲の分析部の分析結果を入力された楽曲と対応付けて保存する分析結果データベースとを備える。

この発明に係る楽曲検索装置は、
入力された楽曲に対する書誌データを書誌データベースから取得し、楽曲のジャンルに適した分析手法による分析手段で入力された楽曲の特徴量を分析され、この特徴量を楽曲と対応付けて記憶する方法により作成された分析結果データベースと、書誌データとを有し楽曲を空間上に表示するための音楽データベースと、
前記分析結果データベースの特徴量を用いて音楽データベースの楽曲を２次元の平面上に配置しユーザに提示する情報提示手段と、
楽曲を検索するためのキーとして２次元の平面上の座標の指定を行なう検索条件入力手段と、
前記検索条件入力手段により指定された座標に近い楽曲を検索し検索結果を取得する検索結果取得手段と、
検索結果取得手段により取得した検索結果をユーザに提示する検索結果提示手段とを備え、
検索条件入力手段により検索条件を指定し検索結果提示手段による検索結果の提示までの処理を２次元の平面上の異なる座標の指定により繰り返し行った場合、
検索結果取得手段は入力した各検索条件に対する検索結果の候補数が検索条件入力手段であらかじめ指定したサイズになるように、各検索条件に対する候補数を削減する構成にされる。

また、前記検索条件入力手段が検索キーとして入力する空間上の座標を、マウス等のポインティングデバイスのドラッグ操作により自由な形状で指定した軌跡とする構成にされる。

また、情報提示手段が空間上に楽曲を表示する際に、あらかじめ多量の楽曲データから楽曲の軸に対する分布を求めて、その分布に応じて表示用の軸への写像関数を求め、この写像関数により楽曲の分布が一定になるように写像して表示する構成にされる。

この発明に係る楽曲分析装置は、異なる分析手法により複数の分析手段を有し、書誌データの内容を用いて入力された楽曲に適した分析手段を分析手段選択手段で選択し特徴量を分析するようにしているので、精度の高い楽曲分析を行なうことができる。また、書誌データの内容により分析結果として出力される特徴量の範囲を決めることができる場合には、さらに精度の高い結果を得ることができる。

この発明に係る楽曲検索装置は、楽曲を検索するための検索条件入力にカーソル移動の軌跡により範囲を選択することができ、より自由に曲を選択することが可能となる。
また、検索条件の入力を連続して行い、検索結果の範囲を連続して選択した場合、複数範囲全体に対して曲数、曲容量などを指定することができるため、携帯音楽再生装置などへの転送などで、転送サイズの制限がある場合などの選択が容易になる。
また、再生順をマップ上で指定できる構成とすることで、ユーザが簡単に所望の順番で曲を表示、再生することが可能となる。
また、前記情報提示手段が空間上に楽曲を表示する際に、分布頻度に応じて表示軸を変換し、分布を一定にすることにより、曲の選択を容易にすることができる。

実施の形態１．
図１はこの発明の楽曲分析装置を示す構成図である。
図１において、書誌データベース101は楽曲の書誌データを記憶しているデータベース、書誌データ取得手段102は入力された分析対象の楽曲に対応する書誌データを書誌データベース101から取得する手段、分析手段選択手段103は書誌データ取得手段102で取得した書誌データにより使用する分析手段を選択する手段、分析手段104は入力された楽曲に対して必要な特徴量の分析を行なう手段、分析結果出力手段105は分析手段104で分析した結果を出力する手段、分析結果データベース106は分析結果出力手段105で出力された分析結果を記憶するデータベースである。

次に動作について説明する。
まず書誌データベース101は楽曲のタイトル、アーティスト名、ジャンル（ロック、ジャズ、ポップ等）等をあらかじめ記憶しているものとする。
分析を行なう楽曲データを入力すると、書誌データ取得手段102では書誌データベース101から楽曲に対応する書誌データを取得する。ここで、書誌データベース101は装置内に組み込まれていても、またインターネット経由など通信を行なう構成でも構わない。
分析手段選択手段103では、書誌データ取得手段102で取得した書誌データにより、各書誌データに適した分析手法を選択し、分析手段104で選択した分析手法を用いて分析を行なう。

例えば、分析の切り替えに使用する書誌データとしてジャンルを用いてテンポの分析を行なう場合を例にとると、ジャンルがロックやポップの場合はビートを用いて検出するため、打楽器の周波数帯域のパワーの立ち上がり位置を調べ、その立ち上がり強度、周期、パターンからテンポを求める分析手段A(104a)を使用する。一方、ジャズの場合は周波数特性（音階）が変化する周期をもとにテンポを求める分析手段B (104b)を、交響曲では伴奏部分の周波数帯域の周波数特性が変化する周期を用いてテンポを求める分析手段C(104c)を使用する。また、アカペラや本（朗読）などでは、ディクテーションや音節タイプライタ等の音声認識を用い、単位時間当たりの音節数でテンポを計測する分析手段D(104d)を使用する。

また、書誌データにより分析結果の範囲をあらかじめ定めて行なうことも可能である。例えば、ユーロビートの場合BPM（Beat Per Minute：曲の速さ）が140〜160程度、ハッピーハードコアの場合BPMが 170〜200程度とする。また、分析結果として主観を出力するような場合でも例えば、ロックの場合は主観の結果が「中間」から「激しい」、バラードの場合は「穏やか」から「中間」として、出力結果がその間に収まるように出力することも可能である。
分析結果出力手段105では、分析手段104で分析された分析結果（特徴量）を入力された楽曲と対応付けて分析結果データベース106に出力する。

分析手段選択手段103で複数の分析手法を選択することも可能である。この場合、分析結果出力手段105では複数の分析結果から得られた分析結果の平均値や最頻値を出力結果として出力する。また、分析手段104で分析結果と共に分析結果の信頼度を出力し、分析結果出力手段105では信頼度が一番高かった分析手法による分析結果や、信頼度による重み付けを用いた平均値を出力してもよい。

以上の実施の形態1では、書誌データの内容を用いて入力された楽曲に適した分析手段を選択し分析するようにしているので、精度の高い分析を行なうことができる。また、書誌データの内容により分析結果として出力される特徴量の範囲を決めることができる場合には、さらに精度の高い結果を得ることができる。

実施の形態２．
図２はこの発明の実施の形態２の楽曲検索装置を示す構成図である。
図２において、201は楽曲データ、書誌データを記憶している書誌データベース及び実施の形態１による楽曲分析結果を記憶している分析結果データベースを有する音楽データベース、202は検索対象となる楽曲をユーザに提示する情報提示手段、203は楽曲を検索するための条件を入力する検索条件入力手段、204は検索条件入力手段203で指定された入力条件により検索した結果を取得する検索結果取得手段、205は検索結果取得手段204で取得された検索結果をユーザに提示する検索結果提示手段である。

次に動作について説明する。
ここで、この実施の形態では、音楽データベース201に分析結果として、テンポと、曲の調性を示す度合い（曲の短調・長調らしさ）を含んでいるものとし、この２つの特徴量を用いて検索を行なう場合について説明する。なお、テンポの単位としてはBPM(Beat Per Minute)を使用する。

情報提示手段202は、音楽データベース201に含まれている楽曲から検索対象となる楽曲を選択しユーザに提示する。提示する際には、検索キーとして用いるテンポと曲の調性を示す度合いを軸として２次元平面上に音楽マップとして表示する。この例を図3に示す。図3の音楽マップ301において上下がテンポを表す軸、左右が調性に関する軸であり、上に配置された楽曲ほどテンポが速く、右に配置された楽曲ほど長調の度合いが高いことを示している。
また、座標軸に使用しない情報に対しても、音楽マップ上に情報として提示しても良い。例えば図１１に示すように、音楽のジャンルにより楽曲のシンボルを変更することにより、各楽曲のジャンルを示しても良い。

検索条件入力手段203では検索したい条件を楽曲が表示された音楽マップ301上の位置を指定することで指定する。図3で302がユーザの検索条件指定位置である。
検索結果取得手段204では、検索条件入力手段203で指定された検索条件と、あらかじめ指定されている検索範囲から楽曲を検索する。ここで検索範囲としては楽曲数、楽曲の総データサイズなどである。検索範囲として楽曲数10曲と指定されていた場合は、検索条件として指定された位置302に近い楽曲順に10曲選択する。この場合選択された範囲は303となる。検索結果提示手段205では検索結果取得手段204で取得された結果を音楽マップ301上で強調表示することにより、ユーザに対し検査結果を表示する。この時合わせて検索範囲303を表示してもよい。

つづけて検索条件入力手段203にて検索条件を指定することができる。図４に示す402の位置を検索条件として指定した場合、検索結果取得手段204では検索条件として指定された位置402から近い楽曲を選択する。楽曲の近さとしては、座標上にマップされた平面上でのユークリッド距離値を使用する。ここで座標軸上の数値は画面に表示した際の距離値のほかに、元の特徴量の値や、各特徴量をその特徴量の分布等で正規化した値を使用しても良い。ここで、検索条件として以前指定した位置が１箇所既に存在しており、合計２箇所の範囲を指定することになる。従って、各検索位置で選択する楽曲数は、検索範囲として指定されている楽曲数を検索条件指定位置数で割った曲数とする。ここでは各５曲となる。従って、検索結果取得手段204では新たに指定した位置402から近い５曲及び、以前指定した位置302から近い楽曲５曲を検索結果として出力する。

検索結果提示手段205では検索結果取得手段204で取得された結果を音楽マップ301上で改めて強調表示し、ユーザに対し検査結果を提示する。この例を図４に示す。図４では、以前指定した位置で検索した楽曲の範囲が303から401に小さくなっており、新たに範囲403に含まれる曲を検索結果として提示している。
また、検索条件入力手段203で検索位置を入力する際に、図５の302から502までをマウスやタッチパネルなどによりカーソル移動（ドラッグ）をさせた軌跡501を入力とし、その軌跡501を検索条件とすることも可能である。この時、検索結果取得手段204では、軌跡501に近い範囲503で楽曲を選択する。

なお、以上の検索結果提示手段205では、音楽マップ301上に表示するだけではなく、別途リスト表示や、順次再生を行なうことで提示しても良い。もちろんこれらの複数の提示方法を同時に使用しても構わない。また、検索結果を別の再生装置に転送するなどを行なっても良い。
また、リスト表示や再生表示する場合の順序は、曲タイトル順やアーティスト名順などの他に、検索指定した範囲の順に、各検索指定条件位置から近い順に提示する。
また、マップ上でカーソル移動により楽曲の再生順を指定しても良い。例えば図６に示すように、音楽マップ301上の検索結果範囲601に対して再生順を指定する場合、602に示すようにカーソル移動を行ない、カーソルの移動軌跡順にリスト提示、再生を行なう。

また、前記情報提示部において空間上に楽曲を表示する際に、空間に配置するために用いた特徴量（テンポと調性）とは別の楽曲のデータベースの内容（他の特徴量、書誌データ）により、表示色や形状などの表示方法を変得て表示（例えば表示軸は曲の明暗とテンポとした場合、再生回数、発売年代、データ登録日時、ジャンル等により表示方法を変える）することもできる。

分析結果データベースは実施の形態１により作成したものでなくても、同様な内容を記憶するデータベースであれば同様の効果を奏する。

以上の実施の形態２では、カーソル移動の軌跡により範囲を選択することにより、より自由に曲を選択することが可能となる。また、範囲を連続して選択した場合、複数範囲全体に対して曲数、曲容量などを指定することができるため、携帯音楽再生装置などへの転送などで、転送サイズの制限がある場合などの選択が容易になる。また、再生順をマップ上で指定できる構成とすることで、ユーザが簡単に所望の順番で曲を表示、再生することが可能となる。

実施の形態３．
以上の実施の形態２では、分析結果をそのまま軸として表示に使用していたが、この実施の形態では、分析結果の値の分布から分析結果をマッピング用の座標軸に変換して使用するための写像関数を求める方法を示す。図７はこの写像関数を求める方法を実施する装置の構成図である。
図７において、学習用音楽データ701は分析結果の分布を調べるための楽曲データ、分析手段702は分布を調べる対象となる特徴量を分析する手段、分布演算手段703は分析手段702で分析された特徴量の分布を求める手段、写像関数設定手段704は特徴量を座標軸に変換するための写像関数を求める手段、写像関数記憶手段705は写像関数設定手段704で求めた写像関数を記憶する手段である。

次に動作について説明する。
学習用音楽データ701は分析結果である特徴量の分布を調べるための楽曲データであり、検索対象となる楽曲の分野を広くカバーする大量の楽曲データである。なお、検索対象が特定のジャンルの場合は、そのジャンルの楽曲データのみの使用でも構わない。分析手段702は学習用音楽データ701に含まれる各楽曲に対して分析を行ない、各楽曲の特徴量を求める。分布演算手段703では分析手段702で分析された特徴量の値とその分布を求める。求めた分布の例を図８に示す。図８において横軸は特徴量、縦軸は楽曲数を示している。写像関数設定手段704では分布演算手段703で求めた分布から、座標軸に対する分布が一定になるように写像関数を求める。図９に座標軸を写像後のパラメータに変換後の分布を、図10に写像関数 f の算出方法を示す。ここで求められた写像関数 f を写像関数記憶手段705に記憶する。
楽曲の検索時には、実施の形態２における図２中の情報提示手段202で、音楽データベース201から取得した分析結果に対して写像関数記憶手段705に記憶されている写像関数 f を使用して座標軸に変換し、変換後の座標軸を使用してマップ上に表示する。

以上の実施の形態３では、頻度に応じて軸を変換し、分布を一定にすることにより、曲の選択を容易にすることができる。
また、一定割合以上の軸の移動を禁止することにより、全体の分布のどの部分に自分の楽曲が分布されているかわかると同時に、所持している楽曲が多い部分をより詳細に表示することができ、選択が容易になる。

この発明は、大量の音楽コンテンツの中から所望の楽曲を精度よく選択する技術で、音楽再生機器適用される。さらには音楽再生機能付き携帯電話機、カーナビゲータ、情報家電機器への適用が可能である。

この発明の実施の形態１における楽曲分析装置を示す構成図である。 この発明の実施の形態２における楽曲検索装置を示す構成図である。 情報提示手段が提示する音楽マップの説明図である。 情報検索入力及び情報結果提示をつづけて行う例の音楽マップ説明図である。 音楽マップ上でのカーソル移動の軌跡による情報検索入力例及び情報結果提示の例を示す図である。 ２次元平面上の音楽マップ上でのカーソル移動の軌跡による音楽のソート順指定例を示す図である。 実施の形態３における座標変換方法実施装置の構成図である。 音楽データの特徴量とその分布例を示す図である。 写像関数による座標軸変換後の音楽の特徴量の分布例を示す図である。 写像関数の算出方法を示す図である。 ジャンル別に楽曲のシンボルを変更した音楽マップの説明図である

符号の説明

101：書誌データベース、102：書誌データ取得手段、103：分析手段選択手段、104：分析手段、105：分析結果出力手段、106：分析結果データベース、201：音楽データベース、202：情報提示手段、203：検索条件入力手段、204：検索結果取得手段、205：検索結果提示手段、701：学習用音楽データ、702：分析手段、703：分布演算手段、704：写像関数設定手段、705：写像関数記憶手段。

Claims (7)

1. ロック、ジャズ、ポップ等の楽曲のジャンル、楽曲のタイトル、アーティスト名からなる楽曲の書誌データをあらかじめ複数記憶している書誌データベースと
   入力された楽曲に対するロック、ジャズ、ポップ等の楽曲のジャンル、楽曲のタイトル、アーティスト名の書誌データを前記書誌データベースから取得する書誌データ取得手段と、
   楽曲のジャンルに適した分析手法による分析手段を前記書誌データベースに記憶された異なる楽曲のジャンルの数分複数有し、入力された楽曲に対する特徴量を分析する分析部と、
   入力された楽曲のジャンルに適した分析手法の分析手段を複数の分析手段から選択する分析手段選択手段と、
   選択された分析手段による入力された楽曲の分析部の分析結果を入力された楽曲と対応付けて保存する分析結果データベースと
   を備えることを特徴とする楽曲分析装置。
2. 入力された楽曲に対する書誌データを書誌データベースから取得し、楽曲のジャンルに適した分析手法による分析手段で入力された楽曲の特徴量を分析され、この特徴量を楽曲と対応付けて記憶する方法により作成された分析結果データベースと、書誌データとを有し楽曲を空間上に表示するための音楽データベースと、
   前記分析結果データベースの特徴量を用いて音楽データベースの楽曲を２次元の平面上に配置しユーザに提示する情報提示手段と、
   楽曲を検索するためのキーとして２次元の平面上の座標の指定を行なう検索条件入力手段と、
   前記検索条件入力手段により指定された座標に近い楽曲を検索し検索結果を取得する検索結果取得手段と、
   検索結果取得手段により取得した検索結果をユーザに提示する検索結果提示手段とを備え、
   検索条件入力手段により検索条件を指定し検索結果提示手段による検索結果の提示までの処理を２次元の平面上の異なる座標の指定により繰り返し行った場合、
   検索結果取得手段は入力した各検索条件に対する検索結果の候補数が検索条件入力手段であらかじめ指定したサイズになるように、各検索条件に対する候補数を削減する構成にされた
   ことを特徴とする楽曲検索装置。
3. 入力された楽曲に対する書誌データを書誌データベースから取得し、楽曲のジャンルに適した分析手法による分析手段で入力された楽曲の特徴量を分析され、この特徴量を楽曲と対応付けて記憶する方法により作成された分析結果データベースと、書誌データとを有し楽曲を空間上に表示するための音楽データベースと、
   前記分析結果データベースの特徴量を用いて音楽データベースの楽曲を２次元の平面上に配置しユーザに提示する情報提示手段と、
   楽曲を検索するためのキーとして２次元の平面上の座標の指定を行なう検索条件入力手段と、
   前記検索条件入力手段により指定された座標に近い楽曲を検索し検索結果を取得する検索結果取得手段と、
   検索結果取得手段により取得した検索結果をユーザに提示する検索結果提示手段とを備え、
   前記検索条件入力手段は検索キーとして入力する２次元の平面上の座標を、マウス等のポインティングデバイスのドラッグ操作により自由な形状で指定した軌跡とする構成にされたことを特徴とする楽曲検索装置。
4. 入力された楽曲に対する書誌データを書誌データベースから取得し、楽曲のジャンルに適した分析手法による分析手段で入力された楽曲の特徴量を分析され、この特徴量を楽曲と対応付けて記憶する方法により作成された分析結果データベースと、書誌データとを有し楽曲を空間上に表示するための音楽データベースと、
   前記特徴量を用いて音楽データベースの楽曲を２次元の平面上に配置しユーザに提示する情報提示手段と、楽曲を検索するためのキーとして２次元の平面上の座標の指定を行なう検索条件入力手段と、前記検索条件入力手段により指定された座標に近い楽曲を検索し検索結果を取得する検索結果取得手段と、検索結果取得手段により取得した検索結果をユーザに提示する検索結果提示手段とを備え、
   前記情報提示手段は２次元の平面上に楽曲を表示する際に、あらかじめ多量の楽曲データから楽曲の軸に対する分布を求めて、その分布に応じて表示用の軸への写像関数を求め、この写像関数により楽曲の分布が一定になるように写像して表示することを特徴とする楽曲検索装置。
5. 前記情報提示手段で２次元の平面上に楽曲を配置し表示する形式は、
   表示軸にテンポと調性を用いたものである
   ことを特徴とする請求項２乃至４の何れかに記載の楽曲検索装置。
6. 前記情報提示手段で２次元の平面上に楽曲を配置し表示する形式は、
   表示軸にテンポと調性を用いた２次元平面上に配置した楽曲を所定の分類に従って分類されたグループ毎に色相や形状などの表示方法を変えて提示するものである
   ことを特徴とする請求項５に記載の楽曲検索装置。
7. 前記検索結果提示手段は、
   前記情報提示手段で表示した２次元平面上に楽曲を配置したものに検索結果を追記してユーザに提示し、ユーザが提示されたものに対して、当該空間上でマウス等のポインティングデバイスのドラッグ操作により自由な形状で指定した軌跡順により再生順序を指定する構成にされた
   ことを特徴とする請求項５または請求項６に記載の楽曲検索装置。

Images