JP2005056021A

JP2005056021A - Information retrieval apparatus and method, and computer program

Info

Publication number: JP2005056021A
Application number: JP2003206772A
Authority: JP
Inventors: Keiichiro Hoashi; 啓一郎帆足; Masaru Sugano; 勝菅野; Kazunori Matsumoto; 一則松本; Naoki Inoue; 直己井ノ上
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-08-08
Filing date: 2003-08-08
Publication date: 2005-03-03

Abstract

<P>PROBLEM TO BE SOLVED: To improve the accuracy of an information retrieval processing, and to quicken the processing. <P>SOLUTION: As the pre-processing of the generation of a user profile constructed on the basis of evaluation input information for the tastes of a user and retrieval results, a feature extracting part 12 predefines featured sections for each of predetermined units of information to be retrieved, and extracts the featured sections to construct a database(music catchy information 22 of music information DB2). A user profile generating part 13 constructs the user profile on the basis of the tastes of a user in the fetched featured sections prior to retrieval, and starts an information retrieving part 14. The information retrieving part 14 outputs retrieval results on the basis of the retrieval target information having the vectorized featured sections and the similarity of the user profile by using a tree for vector quantization generated by the featured sections. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、検索対象情報の中からユーザの嗜好に適合した情報を検索する、情報検索装置および方法ならびにコンピュータプログラムに関する。
【０００２】
【従来の技術】
カラオケなどで所望の楽曲を探す際に、ユーザが曲を歌い、その音声データに基づいて該当曲を検索するための音楽情報検索技術が検討されている。この技術によれば、曲名やアーティスト名等の楽曲に関する情報が不明であっても検索することができるため便利である。
【０００３】
しかしながら上記した音楽情報検索システムでは、ユーザの「好きな」曲を検索することはできない。このため、音楽情報の自動分類技術を応用し、ユーザの嗜好に基づいて音楽データの分類を行うシステムが提案されている。この自動分類技術の一つとして、ツリーベクトル量子化技術に基づく音楽情報の自動分類方法に関する技術が照会されている（例えば、非特許文献１参照）。
【０００４】
【非特許文献１】
「Ｆｏｏｔｅ，“Ｃｏｎｔｅｎｔ−ｂａｓｅｄｒｅｔｒｉｅｖａｌｏｆｍｕｓｉｃａｎｄａｕｄｉｏ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＰＩＥ，Ｖｏｌ．３２２９，ｐｐ．１３６−１４７，１９９７」
【０００５】
図４、図５に、この自動分類方法を用いた従来の情報検索処理の流れおよびその概念が示されている。
まず、図４のステップＳ４１において、カテゴリ（集合Ｃｇ）に予め分類された複数の音楽データＭｇ１，Ｍｇ２，・・・，Ｍｇｎと、カテゴリ（集合Ｃｂ）に予め分類された複数の音楽データＭｂ１，Ｍｂ２，・・・，Ｍｂｐと、検索対象の音楽データＸ１，Ｘ２，・・・，Ｘｋとがデータ入力される。集合Ｃｇ，Ｃｂの音楽データは学習用のデータである。そして、集合Ｃｂの音楽データは集合Ｃｇのカテゴリには含まれない音楽データである。
【０００６】
次に、ステップＳ４２では、図５に示す手法により、先ず、学習データである集合Ｃｇ，Ｃｂの音楽データを使用して、音楽データ毎にＭＦＣＣ（ｍｅｌ−ｆｒｅｑｕｅｎｃｙｃｅｐｓｔｒａｌｃｏｅｆｆｉｃｉｅｎｔｓ）と音量を、ＭＦＣＣフレーム区間をずらしながら算出する（図５のＳ５１，Ｓ５２）。ＭＦＣＣは１２種類のパラメータからなる。これによりＭＦＣＣフレームは、１２個のＭＦＣＣと音量とを要素に持つ１３次元ベクトルとして表される。そして、各音楽データＭｇ１，Ｍｇ２，・・・，Ｍｇｎは、それぞれにＭＦＣＣフレーム群として表される（Ｓ５３）。
そして、集合Ｃｇ，Ｃｂの各音楽データについてそれぞれに、各ＭＦＣＣフレームの１３次元ベクトルを分類し、ベクトル量子化のためのツリーＴｇを生成する。この生成したツリーＴｇに対して、集合Ｃｇの各音楽データについての各ＭＦＣＣフレームの１３次元ベクトルを入力し、ツリーＴｇの末端の枝毎に蓄積されるデータ度数のヒストグラムを作成する。このヒストグラムが集合Ｃｇを表すカテゴリベクトルＶｇとなる（Ｓ５４、Ｓ５５）。
【０００７】
説明を図４に戻す。ステップＳ４３，Ｓ４４において、検索対象となる個々の音楽データＸ１，Ｘ２，・・・，Ｘｋについても、同様に、上記ツリーＴｇによりベクトル化する。そして、この検索対象データのベクトルと、カテゴリベクトルＶｇとの類似度Ｓｉｍ（Ｘｉ，Ｖｇ）を算出する。
そして、この類似度Ｓｉｍ（Ｘｉ，Ｖｇ）の大きい順に、検索対象データＸ１，Ｘ２，・・・，Ｘｋを並べ替えし、上位Ｎ件の検索対象データを検索結果としてユーザに提示する（Ｓ４５）。
【０００８】
上記した従来の情報検索方法によれば、ベクトル量子化のためのツリーを生成するために大量の学習データ（数百曲のデータ）が必要であり、実用的でないという問題がある。また、少ない学習データによりツリーを生成すると検索の精度が悪くなってしまい、誤った楽曲を出力する可能性が高い。
【０００９】
このため本出願人は、ユーザの音楽嗜好を表すユーザプロファイルを構築し、検索前にユーザからその嗜好を示す情報として、数曲の楽曲に対する評価を入力として得、システム側では、その入力情報を学習データとして利用してユーザプロファイルを構築し、ユーザの音楽嗜好に適合した検索結果が得られる情報検索方法およびその装置、コンピュータプログラムを出願済みである（特願２００２−１０６７１９号）。
また、この出願によれば、ユーザプロファイルを精緻化するためにそのプロファイルを利用した検索結果に対して適合フィードバック情報を与え、システム側ではこの不適合フィードバック情報に基づきユーザプロファイルを更新し、以降の検索精度の向上をはかっている。
【００１０】
【発明が解決しようとする課題】
上記した出願によれば、ユーザの嗜好についての学習プロセス、ならびに音楽情報検索プロセスへの入力データとして音楽情報の全てを利用している。しかしながら、ある楽曲に対しユーザが評価を与える場合、必ずしもその音楽情報の全てを聴いたうえで評価しているわけではなく、例えば、「サビ」と称される部分など、楽曲の特徴的な部分のみに基づいて評価を行っている可能性が高い。
この場合、上記した学習、あるいは検索のプロセスで音楽情報の全てを利用すれば不要な部分が多く含まれるため、音楽情報検索処理が劣化する可能性がある。また、学習プロセスなどにおいて不要な部分も含めて処理を行うため、処理時間にも悪影響を及ぼすといった欠点があった。
【００１１】
このために本発明は、ユーザ嗜好学習プロセス、あるいは音楽情報検索プロセスへの入力データとして、例えば、音楽の「サビ」部分など特徴的な部分を自動抽出した結果を利用することにより、音楽情報検索処理の精度向上ならびに処理時間の高速化をはかった、情報検索装置および方法ならびにコンピュータプログラムを提供することを目的とする。
また、上記した自動抽出した部分を利用し、事前に分類されたジャンル毎の検索対象情報により構築されるジャンルプロファイルをユーザの嗜好に適応させることにより、情報検索処理の一層の高精度化をはかった、音楽情報検索装置および方法ならびにコンピュータプログラムを提供することも目的とする。
【００１２】
【課題を解決するための手段】
上記した課題を解決するために本発明は、検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置であって、前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部分を抽出する特徴抽出部と、ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成するユーザプロファイル生成部と、前記ユーザプロファイルを利用して前記検索対象情報の検索を行う情報検索部と、を備えたことを特徴とする。
【００１３】
また、本発明において、前記特徴抽出部は、前記検索対象情報が符号化された音楽情報の場合、個々の音楽情報に関し、所定の周波数帯域毎のパワーが最大となる部分を中心に前後Ｎ（任意）秒相当部分を特徴部分として定義し、抽出することを特徴とする。
【００１４】
また、本発明において、前記情報検索部は、前記特徴部分により生成されるベクトル量子化のためのツリーを用いてベクトル化された前記特徴部分を有する検索対象情報ならびに前記ユーザプロファイルの類似度に基づいて検索結果を出力することを特徴とする。
【００１５】
また、本発明において、前記検索結果に対するユーザの評価を取り込み、当該評価を前記ユーザプロファイルに反映させて前記ユーザプロファイルのベクトルを更新するユーザプロファイル更新部、を備えたことを特徴とする。
【００１６】
本発明によれば、ユーザの嗜好ならびに検索結果に対する評価入力情報に基づき構築されるユーザプロファイル生成の前処理として、特徴抽出部が、検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し当該特徴部分を抽出してデータベースを構築しておく。特徴抽出部は、例えば、検索対象が音楽情報の場合、音楽情報の周波数成分に基づき「サビ」やイントロ部分に相当する特徴部分を抽出して音楽情報ＤＢに蓄積する。
ユーザプロファイル生成部は、検索に先立ち、ユーザ嗜好入力取込み部を介して取り込まれる上記した特徴部分に対するユーザの嗜好に基づきユーザプロファイルを構築して情報検索部を起動する。情報検索部は、特徴部分により生成されるベクトル量子化のためのツリーを用いてベクトル化された特徴部分を有する検索対象情報ならびにユーザプロファイルの類似度に基づいて検索結果を出力する。
このことにより、音楽情報検索処理の精度向上ならびに処理時間の高速化をはかった情報検索装置を提供することができる。
【００１７】
また、特徴部分に基づき構築されたユーザプロファイルは、特定の楽曲に対するユーザ評価が反映されていない分、ユーザの嗜好を的確に表現するための情報が不足している可能性がある。そこで、検索結果に対するユーザの評価入力の結果を取り込み、入力された評価結果をユーザプロファイルに反映させ、ユーザプロファイルのベクトルを更新することによってユーザプロファイルを精緻化し、高精度な音楽情報検索を実現することができる。
なお、ユーザの評価入力の結果取り込み、およびユーザプロファイルへの反映は、それぞれ、評価入力取込み部、ユーザプロファイル更新部が行う。
【００１８】
上記した課題を解決するために本発明は、検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索方法であって、前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部部を抽出する工程と、ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成する工程と、前記ユーザプロファイルを利用して前記検索対象情報の検索を行う工程と、を備えたことを特徴とする。
【００１９】
上記した課題を解決するために本発明は、検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置に用いられるコンピュータプログラムであって、前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部部を抽出する処理と、ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成する処理と、前記ユーザプロファイルを利用して前記検索対象情報の検索を行う処理と、をコンピュータに実行させることを特徴とする。
【００２０】
【発明の実施の形態】
図１は、本発明における情報検索装置の実施形態の一例を示す図であり、ここでは音楽配信システムへの適用例が示されている。
図１において、音楽配信サーバ１は、音楽情報ＤＢ（データベース）２に格納されている音楽情報の中から個々のユーザの嗜好情報に基づいて検索し、配信する、本発明の情報検索装置として機能する。また、音楽配信サーバ１は、インターネット４に接続され、このインターネット４を介し希望する音楽情報をユーザが所有する端末３に配信する。
音楽情報ＤＢ２には、配信対象音楽情報２１として、ポップス、ロック、クラシック、演歌など多ジャンルの楽曲の音楽情報が蓄積されており、音楽配信サーバ１からアクセス可能である。端末３は、音楽情報ＤＢ２を、インターネット４を介してアクセス可能であり、音楽配信サーバ１から音楽情報の配信を受けて音楽を再生することができる。
【００２１】
図２は、図１に示す音楽配信サーバの内部構成を機能展開して示したブロック図である。
図２に示されるように、音楽配信サーバ１は、ユーザ嗜好入力取り込み部１１と、特徴抽出部１２と、ユーザプロファイル生成部１３と、情報検索部１４と、検索結果出力部１５と、評価入力取り込み部１６と、ユーザプロファイル更新部１７で構成される。
【００２２】
ユーザ嗜好入力取り込み部１１は、ユーザに対し検索対象となる音楽情報の「サビ」に相当する部分など、特徴部分に関するユーザ嗜好の入力を促し、その入力を取り込む機能を持つ。
また、特徴抽出部１２は、検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部分を抽出する機能を持つ。具体的に、検索対象情報が符号化された音楽情報の場合、個々の音楽情報に関し、所定の周波数帯域毎のパワーが最大となる部分を中心に、前後Ｎ（任意）秒相当部分を特徴部分として抽出し、例えば、音楽情報ＤＢ２へ音楽サビ情報２２として蓄積する。
【００２３】
ユーザプロファイル生成部１３は、音楽サビ情報ならびにユーザ嗜好入力取込み部１１を介して取り込まれたユーザの嗜好情報に基づき、音楽サビ情報に対するユーザの嗜好を示すユーザプロファイルを生成する機能を持つ。
情報検索部１４は、ユーザプロファイルを利用して検索対象音楽情報２１の検索を行う機能を持ち、検索結果出力部１５を介してその検索結果を要求のあったユーザの端末３へ出力する。ここで、情報検索部１４は、ベクトル量子化のためのツリーを用いてベクトル化された検索対象音楽情報２１ならびにユーザプロファイルの類似度に基づいて検索結果を出力する。
【００２４】
一方、評価入力取り込み部１６は、検索結果に対するユーザの評価入力の結果を取り込んでユーザプロファイル更新部１７へ供給し、ユーザプロファイル更新部１７は、入力された評価結果をユーザプロファイル生成部１３によって作成されたユーザプロファイルに反映させ、ユーザプロファイルのベクトルを更新する機能を持つ。
なお、音楽情報ＤＢ２は、検索対象音楽情報２１と音楽サビ情報２２で構成され、前者は、検索対象となる多ジャンルの音楽情報であり、後者は、事前に特徴抽出部１２によって自動抽出された対象音楽情報のサビに相当する部分情報である。なお、後者は、サビに相当する部分に限らず、イントロ部分等、サビに変わる音楽情報の特徴部分であればよい。
【００２５】
図３は、本発明実施形態の動作を説明するために引用したフローチャートであり、具体的には本発明のコンピュータプログラムの処理手順を示す。
以下、図３に示すフローチャートを参照しながら図１、図２に示す本発明実施形態の動作について詳細に説明する。
【００２６】
ここでは、事前に特徴抽出部１２により、あらかじめ検索対象となる楽曲毎特徴部分が定義されており、抽出された特徴部分、ここではサビに相当する部分が音楽情報ＤＢ２へ音楽サビ情報２２として蓄積されている（Ｓ３１）。
具体的に、検索対象音楽情報２１が音楽情報ＤＢ２にＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）データとして蓄積されていた場合、特徴抽出部１２は、当該ＭＰＥＧデータのサブバンド毎の振幅値に基づき、以下に示す（１）式を用い、個々の楽曲のフレーム毎にサブバンドエネルギー値ＳＢＥ（Ｓｕｂｂａｎｄ−ｂａｓｅｄｗｅｉｇｈｔｅｄＳｕｂｂａｎｄＥｅｎｅｒｇｙ）を演算する。
そして、特徴抽出部１２は、検索対象音楽情報２１のサビ部分は、このＳＢＥ値が最大となる部分を中心に発生するものとして認識し、この最大となる部分を含めた周辺をサビ部分として抽出する。例えば、ＳＢＥ値の最大部分を中心に前後Ｎ秒相当部分をサビ情報として抽出し、楽曲毎、音楽サビ情報２２として音楽情報ＤＢ２に構築しておく。
【００２７】
【数１】

【００２８】
音楽情報の検索に先立ち、本発明の情報検索装置によれば、まず、音楽サビ情報に対する嗜好入力の取り込みが行われる。ユーザ嗜好情報の取り込みは、ユーザプロファイル生成部１３による監視の下でユーザ嗜好入力取り込み部１１によって行われる。
具体的に、ユーザ嗜好入力取り込み部１１は、ユーザの端末３に対して音楽情報ＤＢ２に蓄積された楽曲毎の音楽サビ情報２２を提供し、これに対し、ユーザは、端末３を操作することによって好き嫌いを入力する（Ｓ３２）。そして、ジャンル嗜好入力取込み部１１は、ここで入力されたユーザ嗜好情報を取込んでユーザプロファイル生成部１３へ提供する。
【００２９】
ユーザプロファイル生成部１３では、取り込まれたユーザ嗜好入力情報に基づきユーザプロファイルを生成して情報検索部１４を起動する（Ｓ３３）。
なお、ユーザプロファイル生成部１３は、ユーザ嗜好入力取り込み部１１を介し、最初に音楽に関する好きなジャンルをユーザに問合せ、ユーザのジャンル嗜好入力を取込み、続いてこのジャンル嗜好に基づいて生成されるジャンルプロファイルに従い該当する楽曲のサビ部分を提供し、それに対する評価入力を取り込んでもよい。このことにより、ユーザプロファイル生成部１３は、取り込まれたジャンル嗜好情報、ならびにジャンルプロファイルに基づき、各ジャンルのユーザの嗜好を表すユーザプロファイルを生成することができ、一層効果的な学習データの生成が可能になる。
【００３０】
情報検索部１４は、ユーザプロファイル生成部１３によって生成されるユーザプロファイルを利用して音楽情報検索を行い（Ｓ３４）、検索結果出力部１５を介して要求のあったユーザの端末３へインターネット４経由で配信する（Ｓ３５）。
具体的に、情報検索部１４は、図４および図５を用いて説明したように、あらかじめ作成された音楽サビ情報（学習データ）により生成されるベクトル量子化のためのツリーを用いてベクトル化された検索対象情報２２ならびにユーザプロファイルの類似度に基づき、類似度の大きい順に検索対象音楽情報２１を並べ替えし、上位Ｎ件の検索対象音楽情報２１を検索結果として出力し、ユーザに対してその検索結果の評価入力を促す。
上記したように、ユーザ嗜好学習プロセス、あるいは音楽情報検索プロセスへの入力データとして、例えば、音楽の「サビ」部分など特徴的な部分を自動抽出した結果を利用することにより、音楽情報検索処理の精度向上ならびに処理時間の高速化をはかることができる。
【００３１】
ところで、ユーザプロファイル生成部１３によって生成されるユーザプロファイルは、特定の楽曲に対するユーザ評価が反映されていない分、ユーザの嗜好を的確に表現するための情報が不足している可能性がある。
このため、ユーザは、端末３により、受信した音楽サビ情報の再生がなされると、その楽曲の評価を行い、その評価値を適合フィードバック情報として音楽配信サーバ１へ送信する。
なお、楽曲の評価方法としては、例えば、配信された楽曲について、好みに合う度合いを５段階式、あるいは○×式で評価する方法がある。後者の場合には、ユーザが、聴きたくない楽曲については端末３の音楽再生機能を用いて早送り再生を行い、この操作情報を×の評価値として利用する。
【００３２】
そこで、音楽情報サーバ１の評価入力取込み部１６は、ユーザの評価入力の結果を取り込み（Ｓ３６：適合フィードバックあり）、ユーザプロファイル更新部１７を起動し、ユーザプロファイル更新部１７が、入力された評価結果をユーザプロファイルに反映させる。例えば、ユーザプロファイル更新部１７は、ユーザプロファイルとしてその評価値をジャンル毎に分類して記録し、その評価値に基づいて類似度算出のためのスコアを計算してユーザプロファイルのベクトルを更新する（Ｓ３７）。
このことによりユーザプロファイルを精緻化することができ、情報検索部１４は、ステップＳ３４以降の処理を繰り返すことによって高精度な音楽情報検索を実現することができる（Ｓ３８）。
【００３３】
なお、上記した本発明実施形態によれば、インターネット等のデータ通信ネットワークを利用して端末に３に音楽情報を配信する音楽情報配信システムに適用した例についてのみ説明したが、この例に限らず、スタンドアロン構成による音楽情報検索装置にも適用が可能である。また、検索対象として音楽情報についてのみ例示したが、画像等、他の検索対象メディアでも同様に応用が可能である。また、図２に示されるユーザ嗜好入力取り込み部１１と、特徴抽出部１２と、ユーザプロファイル生成部１３と、情報検索部１４と、検索結果出力部１５と、評価入力取り込み部１６と、ユーザプロファイル更新部１７のそれぞれで実行される手順をコンピュータ読取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の情報検索装置が実現されるものとする。ここでいうコンピュータシステムとは、ＯＳや周辺機器等のハードウェアを含むものである。
【００３４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３５】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００３６】
【発明の効果】
以上説明のように本発明によれば、検索対象情報の特徴部分のみが自動抽出され、ユーザプロファイルの学習、あるいは情報検索プロセスに適用されるため、音楽情報の全体を学習あるいは情報検索プロセス適用の対象としていた従来手法に比べ情報検索処理の高精度化、ならびに処理の高速化がはかれる。
また、適合フィードバック情報を取り込んでユーザプロファイルに反映させ、ユーザプロファイルのベクトルを更新することによってユーザプロファイルを精緻化することができるため、一層高精度な情報検索を実現することができる。
【図面の簡単な説明】
【図１】本発明における情報検索装置の実施形態の一例を示す図である。
【図２】図１に示す音楽配信サーバの内部構成を機能展開して示したブロック図である。
【図３】本発明実施形態の動作を説明するために引用したフローチャートである。
【図４】従来の自動分類方法に基づく情報検索処理の流れをフローチャートで示した図である。
【図５】従来の自動分類方法に基づく情報検索処理を模式的に示した概念図である。
【符号の説明】
１…音楽情報配信サーバ、２…音楽情報ＤＢ、３…端末、４…インターネット、１１…ユーザ嗜好入力取り込み部、１２…特徴抽出部、１３…ユーザプロファイル生成部、１４…情報検索部、１５…検索結果出力部、１６…評価入力取り込み部、１７…ユーザプロファイル更新部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information search apparatus and method, and a computer program for searching information suitable for a user's preference from search target information.
[0002]
[Prior art]
When searching for a desired music piece in karaoke or the like, a music information search technique for a user to sing a music piece and search for the corresponding music piece based on the voice data has been studied. This technique is convenient because it is possible to search even if information on music such as a music title or artist name is unknown.
[0003]
However, the above-described music information search system cannot search for a user's “favorite” song. For this reason, a system for applying music information automatic classification technology and classifying music data based on user preferences has been proposed. As one of the automatic classification techniques, a technique related to an automatic classification method of music information based on a tree vector quantization technique is inquired (for example, see Non-Patent Document 1).
[0004]
[Non-Patent Document 1]
“Foote,“ Content-based retrievable of music and audio ”, Processeds of SPIE, Vol. 3229, pp. 136-147, 1997”.
[0005]
FIG. 4 and FIG. 5 show the flow and concept of a conventional information search process using this automatic classification method.
First, in step S41 of FIG. 4, a plurality of music data Mg1, Mg2,..., Mgn previously classified into a category (set Cg) and a plurality of music data Mb1, previously classified into a category (set Cb). Mb2,..., Mbp and music data X1, X2,. The music data of the sets Cg and Cb is learning data. The music data of the set Cb is music data not included in the category of the set Cg.
[0006]
Next, in step S42, by using the music data of the sets Cg and Cb as learning data, the MFCC frame and the volume of MFCC (Mel-Frequency Coefficients) are set for each music data by using the method shown in FIG. Calculation is performed while shifting the section (S51, S52 in FIG. 5). The MFCC consists of 12 types of parameters. Thus, the MFCC frame is represented as a 13-dimensional vector having 12 MFCCs and sound volume as elements. The music data Mg1, Mg2,..., Mgn are each represented as a MFCC frame group (S53).
Then, a 13-dimensional vector of each MFCC frame is classified for each music data of the sets Cg and Cb, and a tree Tg for vector quantization is generated. A 13-dimensional vector of each MFCC frame for each piece of music data in the set Cg is input to the generated tree Tg, and a histogram of the data frequency accumulated for each end branch of the tree Tg is created. This histogram becomes a category vector Vg representing the set Cg (S54, S55).
[0007]
Returning to FIG. In steps S43 and S44, the individual music data X1, X2,..., Xk to be searched are similarly vectorized by the tree Tg. Then, a similarity Sim (Xi, Vg) between the vector of the search target data and the category vector Vg is calculated.
Then, the search target data X1, X2,..., Xk are rearranged in the descending order of the similarity Sim (Xi, Vg), and the top N search target data are presented to the user as search results (S45). .
[0008]
According to the conventional information search method described above, a large amount of learning data (several hundred pieces of data) is required to generate a tree for vector quantization, which is not practical. In addition, if a tree is generated with a small amount of learning data, the accuracy of the search deteriorates, and there is a high possibility that an incorrect music piece is output.
[0009]
For this reason, the present applicant constructs a user profile representing the user's music preference, obtains an evaluation of several songs as input from the user as information indicating the preference before the search, and the system side inputs the input information. An application has been filed for an information search method, an apparatus, and a computer program that can be used as learning data to construct a user profile and obtain a search result suitable for the user's music preference (Japanese Patent Application No. 2002-106719).
Further, according to this application, in order to refine the user profile, conformity feedback information is given to the search result using the profile, and the system updates the user profile based on this nonconformity feedback information, and performs subsequent searches. We are trying to improve accuracy.
[0010]
[Problems to be solved by the invention]
According to the above-mentioned application, all of the music information is used as input data to the learning process of the user's preference and the music information search process. However, when a user gives an evaluation to a certain piece of music, the evaluation is not necessarily made after listening to all of the music information. For example, a characteristic part of the music, such as a part called “rust” There is a high possibility that the evaluation is based only on this.
In this case, if all of the music information is used in the learning or search process described above, a lot of unnecessary parts are included, so that the music information search process may be deteriorated. In addition, since processing is performed including unnecessary portions in the learning process, the processing time is adversely affected.
[0011]
To this end, the present invention uses a result of automatically extracting a characteristic part such as a “rust” part of music as input data to a user preference learning process or a music information search process. An object of the present invention is to provide an information search apparatus and method, and a computer program that improve processing accuracy and speed up processing time.
In addition, by using the above-mentioned automatically extracted portion and adapting the genre profile constructed by the search target information for each genre classified in advance to the user's preference, the accuracy of the information search process is further improved. Another object of the present invention is to provide a music information retrieval apparatus and method, and a computer program.
[0012]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention is an information search device for searching for information suitable for a user's preference from search target information, wherein a characteristic portion is defined in advance for each predetermined unit of the search target information A feature extraction unit for extracting the feature portion, and a user profile that provides the user with the extracted feature portion, prompts the user to input a preference regarding the feature portion, and captures the input information to indicate the user's preference. A user profile generation unit for generating the search target information, and an information search unit for searching for the search target information using the user profile.
[0013]
In the present invention, when the search target information is encoded music information, the feature extraction unit is configured to perform forward and backward N (centering on a portion where the power for each predetermined frequency band is maximum with respect to individual music information. (Optional) Characteristic is that a second equivalent part is defined as a characteristic part and extracted.
[0014]
Further, in the present invention, the information search unit is based on search target information having the feature portion vectorized using a tree for vector quantization generated by the feature portion and similarity of the user profile. And the search result is output.
[0015]
Further, the present invention is characterized in that a user profile update unit is provided, which takes in a user's evaluation for the search result and updates the user profile vector by reflecting the evaluation in the user profile.
[0016]
According to the present invention, as a preprocessing of user profile generation that is constructed based on user preference and evaluation input information on search results, the feature extraction unit defines a feature portion in advance for each predetermined unit of search target information. A database is constructed by extracting features. For example, when the search target is music information, the feature extraction unit extracts a feature portion corresponding to “rust” or an intro portion based on the frequency component of the music information and stores it in the music information DB.
Prior to the search, the user profile generation unit constructs a user profile based on the user's preference with respect to the above-described feature portion captured via the user preference input capture unit, and activates the information search unit. The information search unit outputs a search result based on search target information having a feature part vectorized using a tree for vector quantization generated by the feature part and the similarity of the user profile.
As a result, it is possible to provide an information search apparatus that improves the accuracy of the music information search process and speeds up the processing time.
[0017]
In addition, the user profile constructed based on the characteristic portion may lack information for accurately expressing the user's preference because the user evaluation for the specific music is not reflected. Therefore, the result of the user's evaluation input with respect to the search result is captured, the input evaluation result is reflected in the user profile, and the user profile is refined by updating the user profile vector, thereby realizing highly accurate music information search. be able to.
Note that the evaluation input capturing unit and the user profile updating unit respectively capture the result of the user's evaluation input and reflect it in the user profile.
[0018]
In order to solve the above-described problem, the present invention provides an information search method for searching for information suitable for a user's preference from search target information, wherein a characteristic portion is defined in advance for each predetermined unit of the search target information A step of extracting the feature portion, providing the user with the extracted feature portion, prompting the user to input a preference regarding the feature portion, and taking in the input information to indicate the user's preference A generating step; and a step of searching for the search target information using the user profile.
[0019]
In order to solve the above-described problem, the present invention is a computer program used for an information search device for searching information suitable for a user's preference from search target information, and for each predetermined unit of the search target information. A process of defining a feature portion in advance and extracting the feature portion, providing the extracted feature portion to the user, prompting the user to input a preference regarding the feature portion, and capturing the input information to obtain the user's preference And a process for searching for the search target information using the user profile.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing an example of an embodiment of an information search apparatus according to the present invention. Here, an example of application to a music distribution system is shown.
In FIG. 1, a music distribution server 1 functions as an information search apparatus of the present invention that searches and distributes music information stored in a music information DB (database) 2 based on preference information of individual users. To do. The music distribution server 1 is connected to the Internet 4 and distributes desired music information to the terminal 3 owned by the user via the Internet 4.
The music information DB 2 stores music information of various genres such as pops, rock, classical music, and enka as the distribution target music information 21 and is accessible from the music distribution server 1. The terminal 3 can access the music information DB 2 via the Internet 4 and can receive music information from the music distribution server 1 and reproduce music.
[0021]
FIG. 2 is a block diagram showing an expanded function of the internal configuration of the music distribution server shown in FIG.
As shown in FIG. 2, the music distribution server 1 includes a user preference input capturing unit 11, a feature extraction unit 12, a user profile generation unit 13, an information search unit 14, a search result output unit 15, and an evaluation input. It is composed of a capturing unit 16 and a user profile updating unit 17.
[0022]
The user preference input capturing unit 11 has a function of prompting the user to input user preferences regarding a characteristic portion such as a portion corresponding to “rust” of music information to be searched, and capturing the input.
The feature extraction unit 12 has a function of defining a feature portion in advance for each predetermined unit of search target information and extracting the feature portion. Specifically, in the case where the search target information is encoded music information, the portion corresponding to N (arbitrary) seconds before and after the portion where the power for each predetermined frequency band is maximized with respect to individual music information is a characteristic portion. For example, and stored in the music information DB 2 as the music chorus information 22.
[0023]
The user profile generation unit 13 has a function of generating a user profile indicating the user's preference with respect to the music chorus information based on the music chorus information and the user preference information taken in via the user preference input fetching unit 11.
The information search unit 14 has a function of searching for the search target music information 21 using a user profile, and outputs the search result to the terminal 3 of the user who requested it via the search result output unit 15. Here, the information search unit 14 outputs a search result based on the search target music information 21 vectorized using the tree for vector quantization and the similarity of the user profile.
[0024]
On the other hand, the evaluation input capturing unit 16 captures the result of the user's evaluation input with respect to the search result and supplies the result to the user profile update unit 17. The user profile update unit 17 creates the input evaluation result by the user profile generation unit 13. It has a function of updating the user profile vector by reflecting it in the user profile.
The music information DB 2 is composed of search target music information 21 and music chorus information 22. The former is multi-genre music information to be searched, and the latter is automatically extracted by the feature extraction unit 12 in advance. This is partial information corresponding to rust of the target music information. The latter is not limited to the portion corresponding to rust, but may be a feature portion of music information that changes to rust, such as an intro portion.
[0025]
FIG. 3 is a flowchart cited for explaining the operation of the embodiment of the present invention, and specifically shows the processing procedure of the computer program of the present invention.
The operation of the embodiment of the present invention shown in FIGS. 1 and 2 will be described in detail below with reference to the flowchart shown in FIG.
[0026]
Here, a feature portion for each piece of music to be searched is defined in advance by the feature extraction unit 12, and the extracted feature portion, here, a portion corresponding to rust is stored as music rust information 22 in the music information DB 2. (S31).
Specifically, when the search target music information 21 is stored as MPEG (Moving Picture Experts Group) data in the music information DB 2, the feature extraction unit 12 performs the following based on the amplitude value for each subband of the MPEG data. The subband energy value SBE (Subband-based weighted Subband Energy) is calculated for each frame of each musical piece using the equation (1) shown.
Then, the feature extraction unit 12 recognizes that the rust portion of the search target music information 21 is generated around the portion having the maximum SBE value, and extracts the periphery including the maximum portion as the rust portion. To do. For example, a portion corresponding to N seconds before and after the maximum portion of the SBE value is extracted as chorus information, and each piece of music is constructed in the music information DB 2 as music chorus information 22.
[0027]
[Expression 1]

[0028]
Prior to the search for music information, according to the information search apparatus of the present invention, first, preference input for music chorus information is captured. The user preference information is captured by the user preference input capturing unit 11 under monitoring by the user profile generation unit 13.
Specifically, the user preference input capturing unit 11 provides the music chorus information 22 for each piece of music stored in the music information DB 2 to the user terminal 3, while the user operates the terminal 3. To like and dislike (S32). Then, the genre preference input capturing unit 11 captures the user preference information input here and provides it to the user profile generation unit 13.
[0029]
The user profile generation unit 13 generates a user profile based on the captured user preference input information and activates the information search unit 14 (S33).
Note that the user profile generation unit 13 first asks the user for a favorite genre related to music via the user preference input capturing unit 11, takes in the user's genre preference input, and subsequently generates a genre based on the genre preference. A rust portion of the corresponding music may be provided according to the profile, and an evaluation input for it may be captured. As a result, the user profile generation unit 13 can generate a user profile representing the user's preference of each genre based on the captured genre preference information and the genre profile, so that more effective learning data can be generated. It becomes possible.
[0030]
The information search unit 14 performs music information search using the user profile generated by the user profile generation unit 13 (S34), and sends the request to the user terminal 3 via the search result output unit 15 via the Internet 4. (S35).
Specifically, as described with reference to FIGS. 4 and 5, the information search unit 14 performs vectorization using a tree for vector quantization generated by music rust information (learning data) created in advance. Based on the search target information 22 and the similarity of the user profile, the search target music information 21 is rearranged in descending order of the similarity, and the top N search target music information 21 is output as a search result. Prompt for evaluation input of the search results.
As described above, as input data to the user preference learning process or the music information search process, for example, by using a result of automatically extracting a characteristic part such as a “rust” part of music, the music information search process The accuracy can be improved and the processing time can be increased.
[0031]
By the way, the user profile generated by the user profile generation unit 13 may lack information for accurately expressing the user's preference because the user evaluation for the specific music is not reflected.
For this reason, when the received music chorus information is reproduced by the terminal 3, the user evaluates the music piece and transmits the evaluation value to the music distribution server 1 as the relevant feedback information.
In addition, as a method for evaluating music, for example, there is a method for evaluating the degree of preference for a distributed music by a five-stage method or a ◯ × method. In the latter case, the user performs fast-forward playback of music that the user does not want to listen to using the music playback function of the terminal 3, and uses this operation information as an evaluation value of x.
[0032]
Therefore, the evaluation input capturing unit 16 of the music information server 1 captures the result of the user's evaluation input (S36: with conformity feedback), starts the user profile updating unit 17, and the user profile updating unit 17 inputs the input evaluation. Reflect the result in the user profile. For example, the user profile update unit 17 classifies and records the evaluation values for each genre as a user profile, calculates a score for calculating similarity based on the evaluation values, and updates the user profile vector ( S37).
As a result, the user profile can be refined, and the information search unit 14 can realize a highly accurate music information search by repeating the processing from step S34 onward (S38).
[0033]
In addition, according to the above-described embodiment of the present invention, only the example applied to the music information distribution system that distributes the music information to the terminals 3 using the data communication network such as the Internet has been described. However, the present invention is not limited to this example. The present invention can also be applied to a music information retrieval apparatus having a stand-alone configuration. Further, only the music information is illustrated as the search target, but the present invention can be similarly applied to other search target media such as images. Further, the user preference input capturing unit 11, the feature extraction unit 12, the user profile generation unit 13, the information search unit 14, the search result output unit 15, the evaluation input capture unit 16, and the user profile shown in FIG. The information search device of the present invention is realized by recording the procedure executed by each of the update unit 17 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. Shall. The computer system here includes an OS and hardware such as peripheral devices.
[0034]
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
[0035]
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within the scope not departing from the gist of the present invention.
[0036]
【The invention's effect】
As described above, according to the present invention, only the characteristic part of the search target information is automatically extracted and applied to the learning of the user profile or the information search process. Therefore, the entire music information is learned or applied to the information search process. Compared to the conventional method that was the subject, the accuracy of the information retrieval process and the speed of the process can be improved.
In addition, since the user profile can be refined by capturing the adaptive feedback information, reflecting it in the user profile, and updating the vector of the user profile, it is possible to realize more accurate information retrieval.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of an embodiment of an information search apparatus according to the present invention.
FIG. 2 is a block diagram showing an expanded function of the internal configuration of the music distribution server shown in FIG.
FIG. 3 is a flowchart cited for explaining the operation of the embodiment of the present invention;
FIG. 4 is a flowchart showing the flow of information search processing based on a conventional automatic classification method.
FIG. 5 is a conceptual diagram schematically showing information search processing based on a conventional automatic classification method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Music information delivery server, 2 ... Music information DB, 3 ... Terminal, 4 ... Internet, 11 ... User preference input acquisition part, 12 ... Feature extraction part, 13 ... User profile production | generation part, 14 ... Information search part, 15 ... Search result output unit, 16 ... evaluation input import unit, 17 ... user profile update unit

Claims

検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置であって、
前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部部を抽出する特徴抽出部と、
ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成するユーザプロファイル生成部と、
前記ユーザプロファイルを用いて前記検索対象情報の検索を行う情報検索部と、を備えたことを特徴とする情報検索装置。An information search device for searching for information that matches user preferences from search target information,
Defining a characteristic part in advance for each predetermined unit of the search target information, and extracting a characteristic part;
A user profile generation unit that provides the extracted feature portion to the user, prompts the user to input a preference regarding the feature portion, and takes in the input information to generate a user profile indicating the user preference;
An information search device comprising: an information search unit that searches for the search target information using the user profile.

前記特徴抽出部は、
前記検索対象情報が符号化された音楽情報の場合、個々の音楽情報に関し、所定の周波数帯域毎のパワーが最大となる部分を中心に前後Ｎ秒相当部分を特徴部分として定義し、抽出することを特徴とする請求項１に記載の情報検索装置。The feature extraction unit includes:
When the search target information is encoded music information, for each piece of music information, a portion corresponding to N seconds before and after the portion where the power for each predetermined frequency band is maximized is defined as a characteristic portion and extracted. The information search device according to claim 1.

前記情報検索部は、
前記特徴部分により生成されるベクトル量子化のためのツリーを用いてベクトル化された前記特徴部分を有する検索対象情報ならびに前記ユーザプロファイルの類似度に基づいて検索結果を出力することを特徴とする請求項１に記載の情報検索装置。The information search unit
The search result is output based on search target information having the feature portion vectorized using a tree for vector quantization generated by the feature portion and similarity of the user profile. Item 2. The information search device according to Item 1.

前記検索結果に対するユーザの評価を取り込み、当該評価を前記ユーザプロファイルに反映させて前記ユーザプロファイルのベクトルを更新するユーザプロファイル更新部、を備えたことを特徴とする請求項１〜３のいずれか１項に記載の情報検索装置。The user profile update part which takes in the user's evaluation with respect to the said search result, and reflects the said evaluation on the said user profile, and updates the vector of the said user profile, The any one of Claims 1-3 characterized by the above-mentioned. The information search device according to item.

検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索方法であって、
前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部部を抽出する工程と、
ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成する工程と、
前記ユーザプロファイルを用いて前記検索対象情報の検索を行う工程と、を備えたことを特徴とする情報検索方法。An information search method for searching information suitable for a user's preference from search target information,
Defining a feature portion in advance for each predetermined unit of the search target information, and extracting the feature portion;
Providing the user with the extracted feature portion, prompting the user to input a preference regarding the feature portion, capturing the input information, and generating a user profile indicating the user's preference;
And a step of searching for the search target information using the user profile.

検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置に用いられるコンピュータプログラムであって、
前記検索対象情報の所定の単位毎にあらかじめ特徴部分を定義し、当該特徴部部を抽出する処理と、
ユーザに対し前記抽出された特徴部分を提供し、その特徴部分に関する嗜好の入力を促し、当該入力情報を取り込んで前記ユーザの嗜好を示すユーザプロファイルを生成する処理と、
前記ユーザプロファイルを用いて前記検索対象情報の検索を行う処理と、をコンピュータに実行させるコンピュータプログラム。A computer program used in an information search device for searching information suitable for a user's preference from search target information,
Defining a characteristic part in advance for each predetermined unit of the search target information, and extracting the characteristic part;
Processing for providing the extracted feature portion to the user, prompting the user to input a preference regarding the feature portion, capturing the input information, and generating a user profile indicating the user's preference;
The computer program which makes a computer perform the process which searches the said search object information using the said user profile.