JP2009266005A - 画像検索方法、画像検索プログラム、楽曲再生装置、および楽曲検索用物品 - Google Patents

Abstract

【課題】複数の楽曲のなかからユーザの感情や気分または状況等に適した楽曲を検索する。
【解決手段】所定の楽曲データベースのなかから楽曲を検索する楽曲検索方法であって、画像を取得する画像取得ステップと、取得された画像に基づき該画像の特徴を示す画像特徴情報を計算する画像特徴情報計算ステップと、計算された画像特徴情報に基づき楽曲データベースのなかから楽曲を検索する楽曲検索ステップとを実行する楽曲検索方法を提供する。
【選択図】図２

Description

この発明は、楽曲データベースのなかから楽曲を検索する楽曲検索方法、楽曲検索プログラム、および楽曲再生装置に関連し、詳しくは、撮影またはスキャンされた画像に基づき楽曲を検索する楽曲検索方法、楽曲検索プログラム、および楽曲再生装置に関する。また、該楽曲再生装置における楽曲検索に適した情報が付された楽曲検索用物品に関する。

近年、楽曲データをＭＰ３（MPEG-1 Audio Layer-3）等の高圧縮率の音声圧縮コーデックを用いて圧縮して大容量のＨＤＤ（Hard Disk Drive）に記憶するオーディオ装置が普及している。このようなオーディオ装置においては、数千曲から数万曲といった膨大な数の楽曲を記憶することができる。したがって、ユーザは、ＨＤＤの残容量に注意を払うことなく所望の楽曲をオーディオ装置に次々と記憶させることができる。しかし、このようにＨＤＤに多数の楽曲を記憶できる反面、そのなかから聴きたい楽曲を速やかに探し出すことが難くなるといった問題が生じている。

上記問題を解消すべく、膨大な数の楽曲のなかから所望の楽曲を検索するのに好適な楽曲検索技術が種々提案されている。その一例が特許文献１に開示されている。特許文献１によれば、楽曲は、ＣＤ（Compact Disc）等からリッピングされて楽曲データベースに格納される。このとき楽曲は、複数の評価項目によって評価されて、該評価結果と関連付けられる。このようにして楽曲データベースに格納された各楽曲（より正確には、球体で表示された楽曲へのリンク）は、該評価結果にしたがって、各評価項目に対応する３軸で表現された仮想的な三次元空間に配置される。該三次元空間は、各楽曲へのリンクに加えてさらに、各評価項目に対応した楽曲のイメージを表す印象標語が該空間の端部付近に重畳されてディスプレイに表示される。ユーザは、ディスプレイに表示された三次元空間内の各リンクの位置を視認して各楽曲のイメージを視覚的に捉えることにより、聴取したい楽曲を感覚的に選び出すことができる。
特開２００７−１１９１３号公報

ところで、ユーザにはその時々の感情や気分または状況等に適した楽曲を聴取したい要望がある。しかし、特許文献１に例示される楽曲検索機能を利用する場合、ユーザにとって、自身の感情や気分または状況等を客観的に判断することは難しく、必ずしも現在の自らの感情に合致した楽曲を選択できるとは限らない。このため、たとえＨＤＤ等に多種多様の楽曲が記憶された場合でも、そのなかからユーザの感情や気分または状況等に適した楽曲が有効に検索されないことが多い。

本発明はこのような事情に鑑みてなされたものであり、その目的とするところは、客観的な判断に基づき複数の楽曲のなかからユーザの感情や気分または状況等に適した楽曲を検索するのに好適な楽曲検索方法、楽曲検索プログラム、および楽曲再生装置を提供することにある。また、このような楽曲再生装置における楽曲検索に適した情報が付された楽曲検索用物品を提供することにある。

上記の課題を解決する本発明の一形態に係る楽曲検索方法は、所定の楽曲データベースのなかから楽曲を検索する楽曲検索方法であって、画像を取得する画像取得ステップと、取得された画像に基づき該画像の特徴を示す画像特徴情報を計算する画像特徴情報計算ステップと、計算された画像特徴情報に基づき楽曲データベースのなかから楽曲を検索する楽曲検索ステップとを実行することを特徴としている。

このように取得された画像に応じた楽曲を検索する方法によれば、ユーザに感情や気分または状況等を自らの主観によって判断させること無く、客観的な判断に基づきユーザの気分等に適した楽曲を検索することができる。例えば笑顔が撮影された場合には該笑顔を示す画像特徴情報が計算されて、該計算結果に基づき該笑顔（楽しい感情や気分等）に適した楽曲が検索される。

本発明に係る楽曲検索方法によれば、各楽曲は楽曲データベースにおいて該楽曲の特徴を示す楽曲特徴情報に関連付けられて管理されており、この場合に、楽曲検索ステップにおいて、画像特徴情報と各楽曲の楽曲特徴情報とを比較した結果、所定の条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力するようにしてもよい。ここで画像特徴情報と楽曲特徴情報は、例えば画像または楽曲の特徴が同一の評価項目に基づき数値化されて表された情報である。

また、本発明に係る楽曲検索方法は、検索結果に応じて所定の条件を変更する条件変更ステップをさらに実行する方法としてもよい。この場合、楽曲検索ステップにおいては、変更された条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力することになる。

本発明に係る楽曲検索方法は、さらに、検索された楽曲のプレイリストを作成するプレイリスト作成ステップと、作成されたプレイリスト中の楽曲を、該プレイリストの曲順で、またはランダムに、あるいはリピートで再生する楽曲再生ステップと実行する方法としてもよい。また、作成されたプレイリストを所定のディスプレイに表示するプレイリスト表示ステップをさらに実行し、ディスプレイがタッチパネルである場合に、プレイリスト中のタッチされた楽曲を再生するようにしてもよい。

上記画像取得ステップにおいては、撮影またはスキャンされた画像を取得するようにしてもよい。

また、上記の課題を解決する本発明の一形態に係る楽曲検索プログラムは、上記何れかに記載された楽曲検索方法をコンピュータに実行させるためのプログラムである。

また、上記の課題を解決する本発明の一形態に係る楽曲再生装置は、所定の楽曲データベースのなかから楽曲を検索して再生する装置であって、画像を取得する画像取得手段と、取得された画像に基づき該画像の特徴を示す画像特徴情報を計算する画像特徴情報計算手段と、計算された画像特徴情報に基づき楽曲データベースのなかから楽曲を検索する楽曲検索手段とを有することを特徴としている。

このように取得された画像に応じた楽曲を検索する構成によれば、ユーザに感情や気分または状況等を自らの主観によって判断させること無く、客観的な判断に基づきユーザの気分等に適した楽曲を検索することができる。例えば被写体として笑顔を撮影した場合には該笑顔を示す画像特徴情報を計算し、該計算結果に基づき楽曲データベースのなかから笑顔（楽しい感情や気分等）に適した楽曲を検索することができる。

楽曲データベースは、各楽曲をその特徴を示す楽曲特徴情報に関連付けて管理する構成としてもよい。この場合、楽曲検索手段は、画像特徴情報と各楽曲の楽曲特徴情報とを比較した結果、所定の条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力する。ここでいう画像特徴情報と楽曲特徴情報は、例えば画像または楽曲の特徴が同一の評価項目に基づき数値化されて表された情報である。

また、本発明に係る楽曲再生装置は、検索結果に応じて所定の条件を変更する条件変更手段をさらに有する構成としてもよい。この場合、楽曲検索手段は、変更された条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力する。

本発明に係る楽曲再生装置は、さらに、検索された楽曲のプレイリストを作成するプレイリスト作成手段を有し、作成されたプレイリスト中の楽曲を、該プレイリストの曲順で、またはランダムに、あるいはリピートで再生する構成としてもよい。また、作成されたプレイリストを所定のディスプレイに表示するプレイリスト表示手段をさらに有し、ディスプレイがタッチパネルである場合に、プレイリスト中のタッチされた楽曲を再生するようにしてもよい。

ここで、画像取得手段は、ユーザ操作がなされた時、または電源投入直後、あるいは所定時間経過する毎に画像を取得する構成としてもよい。

さらに、画像取得手段は、被写体を撮影する、または画像をスキャンする手段としてもよい。

また、上記の課題を解決する本発明の一形態に係る楽曲検索用物品は、上記楽曲再生装置が有する画像特徴情報計算手段により計算される画像特徴情報が埋め込まれた、該楽曲再生装置が有する画像取得手段により撮影またはスキャンされる所定のコードパターンが付されたことを特徴とする物品である。該楽曲検索用物品の例として、画像特徴情報が埋め込まれたＱＲコード（登録商標）やバーコードが印刷された雑誌が挙げられる。

本発明に係る画像検索方法、画像検索プログラム、および楽曲再生装置によれば、取得された画像に基づき、ユーザに感情や気分または状況等を自らの主観によって判断させること無く、客観的な判断に基づきユーザの気分等に適した楽曲を検索することができる。また、本発明に係る楽曲検索用物品によれば、該楽曲再生装置における楽曲検索の実行に適した情報が提供される。

以下、図面を参照して、本発明に係る楽曲を検索する楽曲検索処理を実行するカーナビゲーション装置について説明する。

図１は、本発明の実施形態のカーナビゲーション装置１００の構成を示すブロック図である。図１に示されるように、カーナビゲーション装置１００の各ブロックは、システムバス１０を介して互いに接続されている。各ブロックは、カーナビゲーション装置１００の電源投入後、システムバス１０を介して必要なハードウェアにアクセスする。

例えばカーナビゲーション装置１００の電源投入直後は、ＣＰＵ（Central Processing Unit）２０がＲＯＭ（Read-Only Memory）２２にアクセスする。ＣＰＵ２０は、ＲＯＭ２２に格納されたファームウェアを呼び出してＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２４のワークエリアに展開し、カーナビゲーション装置１００のシステムを起動する。これにより、各ブロックがＣＰＵ２０による制御下で必要に応じて連係動作して処理を実行し、例えばユーザを目的地に案内するナビゲーション処理が行われたり、ユーザ操作等により選択された楽曲が再生されたりする。

ユーザ操作を受け付けるデバイスとして、操作キー（ハードウェアキー）２６がカーナビゲーション装置１００のフロントパネルに設けられている。該フロントパネルには、例えば目的地へのナビゲーション情報や再生中の楽曲情報等を表示する液晶ディスプレイ２８も設けられている。液晶ディスプレイ２８はタッチパネル構造を有し、入力装置としての機能も兼ね備えている。ユーザは、操作キー２６に対するキー入力や、液晶ディスプレイ２８に表示されるＧＵＩ（Graphical User Interface）に対するフィンガータッチやペンタッチを行うことにより、カーナビゲーション装置１００を操作することができる。また、図示省略されたリモコンによってもカーナビゲーション装置１００を操作することができる。

カーナビゲーション装置１００には、ナビゲーション処理を実行するため、ＧＰＳ（Global Positioning System）レシーバ５０およびセンサ５２が備えられる。ＧＰＳレシーバ５０は、複数のＧＰＳ衛星が発信するＧＰＳ信号を捕捉、追尾して現在位置等を計算する周知の機器である。センサ５２は、ジャイロセンサや車速センサ等の周知のＤＲ（dead reckoning）センサ類である。ＧＰＳレシーバ５０による計算結果およびセンサ５２からのセンサ出力は、ＣＰＵ２０に転送されて、ＣＰＵ２０がこれらのデータに基づいて位置推定を行う。

ＣＰＵ２０は、ＲＯＭ２２に格納されている地図データベースのなかから、計算された位置周辺の地図データを読み出して液晶ディスプレイ２８に表示させるとともにマップマッチングを行い、表示中の地図に自車位置マークを重畳表示する。このときユーザ操作により目的地が設定されていれば、ＣＰＵ２０はその目的地に向けたナビゲーション処理も行う。

上記ナビゲーション処理実行時を含むカーナビゲーション装置１００の動作中に楽曲再生のユーザ操作が行われると、前回使用時に最後に再生された楽曲（以下、「ラストワン」と記す。）がスピーカ３０により再生される。このときカーナビゲーション装置１００の各ブロックで実行される処理を以下に説明する。

まず、上記ユーザ操作に応じた操作信号が生成されてＣＰＵ２０に入力される。ＣＰＵ２０は、該操作信号に応答してＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）３２にアクセスする。ここで、新たに楽曲が再生される毎に、次に説明される楽曲データベース３４ａから該楽曲の情報（例えば楽曲名）が読み出されてＥＥＰＲＯＭ３２に上書き保存される。つまり、ＥＥＰＲＯＭ３２は、ラストワンの情報を常に保持した状態にある。

ＣＰＵ２０は、ＥＥＰＲＯＭ３２からラストワンの情報を読み出すと、該情報を検索キーとして内蔵ストレージ３４に記憶された楽曲データベース３４ａにアクセスする。内蔵ストレージ３４は、容量を優先させる設計であれば例えばＨＤＤが、アクセス速度を優先させる設計であれば例えばフラッシュメモリが、それぞれ採用される。

内蔵ストレージ３４に記憶された楽曲データベース３４ａには、例えばＣＤ等からリッピングされた楽曲データが蓄積されている。ここで、カーナビゲーション装置１００で実行されるリッピング処理について説明する。

リッピング処理は、メディアドライブ３６とＤＳＰ（Digital Signal Processor）３８との連係動作により実行される。メディアドライブ３６は、ＣＤやＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等の記録メディアを再生するドライブである。ＤＳＰ３８は、オーディオデータに対するコーデック処理や、該コーデック処理により伸張されたデジタルオーディオデータのアナログ変換処理等を行う信号処理回路である。

メディアドライブ３６のスロットに例えば音楽ＣＤが挿入されると、メディアドライブ３６は、各トラックの楽曲データ（ＰＣＭ（pulse code modulation）形式）を読み込んでＤＳＰ３８に出力する。ＤＳＰ３８は、メディアドライブ３６からのＰＣＭ形式の楽曲データをＭＰ３やＡＡＣ（Advanced Audio Coding）等の音声圧縮コーデックにより圧縮する。圧縮された楽曲データは、ＣＰＵ２０の制御の下、内蔵ストレージ３４の楽曲データベース３４ａに格納される。このようにして楽曲データがリッピングされる。なお、ＤＳＰ３８において実行される音声圧縮コーデックの形式はＭＰ３やＡＡＣに限らない。カーナビゲーション装置１００の仕様に応じて他の非可逆圧縮コーデックや可逆圧縮コーデック等が採用されることもある。

内蔵ストレージ３４には、さらに、楽曲データベース３４ａの各楽曲データを管理するための楽曲管理レコード群が記憶されている。各楽曲管理レコードは、各楽曲データに関連付けられたデータであり、「楽曲名」、「アーティスト名」、「アルバム名」、「ジャンル」、「特徴（後述）」等の各フィールドにエントリされたデータで構成されている。ユーザは、ユーザ操作により各フィールドにテキストデータをエントリさせることができる。

また、カーナビゲーション装置１００は、図示省略された通信モデムによりインターネットにアクセスすることができる。例えばリッピング時にＣＤのＴＯＣ（Table of contents）情報が読み込まれると、ＣＰＵ２０は、該通信モデムを介してインターネット上のＣＤＤＢ（CD DataBase）にアクセスして、該ＴＯＣ情報に該当する楽曲名等のメタ情報をダウンロードする。次いで、リッピング中のＣＤの楽曲データに対応する楽曲管理レコードを作成する。そして、作成された楽曲管理レコードの各フィールドに、ダウンロードされたメタ情報の各テキストデータをエントリする。この場合、ユーザは、楽曲名等を手入力する必要がない。

なお、カーナビゲーション装置１００においては、ＵＳＢ（Universal Serial Bus）メモリやメモリカードなどの外付けストレージ４０に格納された楽曲データも楽曲データベース３４ａに格納することができる。詳しくは、カーナビゲーション装置１００は、図示省略されたＵＳＢやＩＥＥＥ １３９４（Institute of Electrical and Electronic Engineers 1394）規格に準拠したポートやＰＣカードスロット等を有し、外付けストレージ４０を接続できる構成を有する。例えば該ポートに外付けストレージ４０が接続されると、ＣＰＵ２０は、ＰｎＰ（Plug and Play）により外付けストレージ４０を認識してリソースの割当てやデバイスドライバの導入等を行う。これにより、ＣＰＵ２０は、外付けストレージ４０に記憶されたデータにアクセスできるようになる。このため、外付けストレージ４０に記憶された楽曲データをカーナビゲーション装置１００に保存するようにユーザ操作がなされると、ＣＰＵ２０は、外付けストレージ４０の楽曲データを内蔵ストレージ３４にコピーする。該楽曲データに楽曲名等のメタ情報が付帯する場合には、該楽曲データに対応する楽曲管理レコードを作成後、メタ情報の各テキストデータを該当するフィールドにエントリする。このように楽曲データベース３４ａには、ＣＤ等からのリッピング以外によっても楽曲データが格納される。

このようにして多数の楽曲データが蓄積された楽曲データベース３４ａのなかから、ＣＰＵ２０により生成された検索キーに対応する楽曲データが抽出されてＤＳＰ３８に出力される。ＤＳＰ３８は、入力された楽曲データを伸張し、さらに、伸張された楽曲データをアナログ形式の楽曲データに変換して音声増幅回路４２に出力する。音声増幅回路４２は、ボリュームに応じた増幅率によりアナログ形式の楽曲データをゲイン調整してスピーカ３０に出力する。これにより、ラストワン、つまり、前回使用時に最後に再生された楽曲がスピーカ３０により再生される。

なお、上記においては、メディアドライブ３６のスロットに音楽ＣＤが挿入されたときにＤＳＰ３８等によりリッピング処理が行われることを説明した。このときＤＳＰ３８は、さらに、タイムシフト再生処理も実行する。すなわち、ＤＳＰ３８は、メディアドライブ３６により読み取られたＰＣＭ形式の楽曲データをＭＰ３データ等に圧縮変換しつつ、該圧縮変換された楽曲データを例えばＤＳＰ３８に内蔵されたリングバッファにバッファリングする。リングバッファは、所定再生時間分の楽曲データをバッファリングして順次掃き出す。掃き出された楽曲データは、アナログ形式の楽曲データに変換されて音声増幅回路４２に出力され、スピーカ３０により再生される。つまり、ＤＳＰ３８は、楽曲データのリッピングと再生を並行して実行する。このため、カーナビゲーション装置１００においては、楽曲データのリッピング中に長い時間無音状態になることが有効に避けられ、ユーザにストレスを感じさせない。

次に、楽曲データベース３４ａのなかから所望の楽曲を検索する楽曲検索について説明する。所定のユーザ操作が行われると、楽曲検索をするための楽曲検索画面が液晶ディスプレイ２８に表示される。該楽曲検索画面において楽曲名やアーティスト名等を入力または指定する操作が行われると、ＣＰＵ２０は、該操作にしたがって楽曲データベース３４ａを検索し、検索条件にマッチする楽曲を再生する。

しかし、楽曲名等を入力または指定する検索方式の場合、ユーザにとって、曲調等を容易に想起できる特定の楽曲名等を除けば、その時々の感情や気分または状況等に適した楽曲を検索することは難しい。このため、実際にはユーザの気分等に適した楽曲が楽曲データベース３４ａのなかに記憶されている場合でも、そのような楽曲が有効に検索されないことが多い。一方、上記特許文献１（特開２００７−１１９１３号公報）のような感覚的な楽曲検索を可能とさせる検索方式の場合には、ユーザの感情や気分または状況等に適した楽曲を容易に検索できるように思われる。ところが、ユーザは、上述したように自身の感情や気分または状況等を客観的に判断できない限り、自身の嗜好に合った楽曲を無意識のうちに選択する傾向にある。このため結局のところ、ユーザの感情や気分または状況等に適した楽曲が検索されないことが多い。

そこで、ユーザの感情や気分または状況等に適した楽曲検索をより高度に実現する楽曲検索方法やプログラム、装置等の提供が望まれている。このような要望に応えるべく、本発明に係るカーナビゲーション装置１００は、画像取得デバイス６０を有する。また、画像取得デバイス６０により取得された画像データを用いて、図２のフローチャートに示される楽曲検索処理を実行する。画像取得デバイス６０には、例えば車内に設置された車室内カメラや、持ち運び可能なコンパクト型ＤＳＣ（Digital Still Camera）、液晶パネル２８に実装されたスキャナデバイス等が想定される。車室内カメラは、例えば運転手や同乗者の顔を撮影できる位置に固定されたＤＳＣである。車室内カメラやコンパクト型ＤＳＣ等は、カーナビゲーション装置１００のＵＳＢポート等に接続される。

ユーザにより画像取得デバイス６０を使用した撮影やスキャン操作が行われると、該画像取得デバイス６０により取得された画像データがＤＳＰ３８に入力される（ステップ１、以下、本明細書および図面においてステップを「Ｓ」と略記する。）。撮影される対象には例えば車室内や、車窓から見える森林、海、山、ビル街等の風景が、スキャンされる対象には例えば雑誌や写真等が想定される。ここでは車室内カメラにより運転手の顔（例えば笑顔）が撮影された場合を例に説明する。なお、上記撮影等のタイミングは、ユーザが画像取得デバイス６０を操作したタイミングに限らない。画像取得デバイス６０による撮影等は、例えば自動車のエンジンが駆けられた時（カーナビゲーション装置１００の電源投入直後）や、所定時間経過する毎に自動的に行われるようにしてもよい。

ＤＳＰ３８は、画像取得デバイス６０からの画像データを解析して該画像の画像特徴データを算出する（Ｓ２）。算出された画像特徴データは、ＣＰＵ２０に転送される。ここで画像特徴データは、画像の特徴点を所定の評価項目毎に数値化して表したデータである。画像特徴データを構成する評価項目には、例えば「喜」、「怒」、「哀」、「楽」等の感情に関する項目や、「森林」、「都会」、「海」、「山」等の風景に関する項目がある。それ以外にも「元気」、「癒し」、「クール」、「ホット」、「テンポ」、「明るさ」等の様々な項目が想定される。ここでは説明の便宜上、画像特徴データは、「テンポ」と「明るさ」の２項目で構成され、各項目について画像を０〜９９の１００段階で評価したデータとする。なお、画像認識された風景や人の顔、表情等を評価してその特徴を数値化する技術の詳細は、例えば特開２００７−３２８６７５号公報等に開示されている。

Ｓ３の処理においてＣＰＵ２０は、Ｓ２の処理で転送された画像特徴データを検索キーとして楽曲データベース３４ａにアクセスする。次いで、該画像特徴データと、各楽曲管理レコードの「特徴」フィールドにエントリされた楽曲特徴データとを比較してその一致度（％）を計算する。そして、一致度の高い上位所定数の楽曲特徴データに関連付けられた楽曲データを検索結果として得る。

ここで楽曲特徴データは、ＤＳＰ３８による楽曲解析処理により楽曲の特徴を所定の評価項目毎に数値化して表したデータである。すなわち、ＤＳＰ３８は、音楽ＣＤ等に記録された楽曲データをリッピングする際、楽曲データの予め定められたデータ解析開始点から一定のフレーム長に対してＦＦＴ（Fast Fourier Transform）処理を行い、パワースペクトルを算出する。次いで、算出されたパワースペクトルに基づき楽曲特徴データを算出する。算出された各楽曲特徴データは、対応する楽曲管理レコードの「特徴」フィールドにエントリされる。なお、楽曲解析処理においては、上記画像解析処理と同じく、楽曲データは「テンポ」と「明るさ」の２項目で評価され、その特徴が各項目について０〜９９の１００段階で数値化される。このような楽曲解析処理の詳細は、例えば特許文献１（特開２００７−１１９１３号公報）等に開示されている。

図３に、Ｓ３の処理を説明するためのグラフを示す。図３の縦軸は評価項目「テンポ」に、横軸は評価項目「明るさ」に対応する。図３においては、楽曲データベース３４ａに蓄積された各楽曲データ（図３中●印）が、各評価項目を軸とする仮想的な二次元座標領域上に楽曲特徴データにしたがって配置されている。また、Ｓ２の処理で算出された画像特徴データ（図３中印Ａ）が、該二次元座標領域上に画像特徴データにしたがって配置されている。Ｓ２の処理においては、Ｓ１の処理で笑顔が撮影されたことに基づき、評価項目「テンポ」、「明るさ」がともに高い画像特徴データが算出されている。該二次元座標領域上において印Ａに近い●印ほど、Ｓ２の処理で算出された画像特徴データと一致度の高い楽曲データであることを示している。したがって、Ｓ３の処理においては、該二次元座標領域上において印Ａにより近い上位所定数の●印の楽曲データが検索結果として得られる。

ＣＰＵ２０は次いで、Ｓ３の処理で得られた検索結果に基づきプレイリストを作成する（Ｓ４）。次いで、作成されたプレイリストを液晶ディスプレイ２８の最前面に割込表示させて（Ｓ５）、図２の楽曲検索処理を終了する。なお、プレイリストには、Ｓ３の処理で検索された楽曲が一致度の高い順にリストされる。プレイリスト表示後は、楽曲再生が該プレイリストの曲順にしたがって自動的に、またはユーザ操作を受け付けた段階で開始される。プレイリスト中の楽曲がフィンガータッチまたはペンタッチにより選択された場合には、再生される楽曲が変更される。ユーザ操作によりランダム再生機能やリピート再生機能が設定されている場合には、プレイリスト内の楽曲がランダムに再生されたりリピートで再生されたりする。

上記においては、運転手が笑顔（楽しい感情や気分等）であることが画像解析処理によりカーナビゲーション装置１００側で判断された上で、評価項目「テンポ」、「明るさ」がともに高い、楽しい感情や気分等に適した楽曲が検索される。すなわち、本発明の特徴的処理たる楽曲検索処理によれば、運転手の感情や気分等が表情を通じて客観的に判断された上で、該判断結果にしたがった、つまり運転手の感情や気分等に適した楽曲が検索される。

また、画像取得デバイス６０によって撮影される対象が風景である場合を考える。例えば山道を走行中に森が撮影された場合には、該撮影された森の画像に基づき、森の特徴点を数値化した（例えば評価項目「テンポ」、「明るさ」がともに低い）画像特徴データが算出される。この結果、評価項目「テンポ」、「明るさ」がともに低い、森のイメージに適した楽曲が検索される。すなわち、本発明の特徴的処理たる楽曲検索処理によれば、走行場所の状況等が風景画像に基づき判断された上で、該判断結果にしたがった、つまり走行場所の状況等に即した楽曲が検索される。

このようにカーナビゲーション装置１００は、ユーザに感情や気分または状況等を自らの主観によって判断させること無く、客観的な判断に基づきユーザの気分等に適した楽曲を速やかに検索することができる。また、本発明に係る楽曲検索処理においては、ユーザの感情や気分または状況等がその時々で変わるため、検索される楽曲が一部のジャンルに偏らない等のメリットがある。様々な楽曲を聴取するうちに、ユーザにとって嗜好に合う新たな楽曲が発見されることもある。

本発明は上記実施形態に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば本発明に係る楽曲検索処理を実行する装置には種々のタイプの装置が想定される。その一例として、カーナビゲーション装置と同じく移動体に装備される車載型オーディオ機器や、家庭内に設置される据置型のオーディオセットコンポ、業務用カラオケ装置、持ち運びを想定したポータブル音楽プレイヤー等が挙げられる。

画像取得デバイス６０によって撮影またはスキャンされる対象には運転手の表情や風景等以外にさらに、雑誌等に印刷されたＱＲコード（登録商標）やバーコード等が想定される。この場合、ＱＲコード（登録商標）やバーコード等に、画像特徴データの代替として評価項目「テンポ」、「明るさ」に対応する数値データが埋め込まれている。なお、このようなコードパターンは、より多次元のパターンであってもよい。

また、図２のＳ３の処理で実行される検索方法は、上記方法に限らず他にも様々な方法が想定される。例えば一致度の高い上位所定数の楽曲特徴データに代えて、所定の一致度以上の楽曲特徴データに関連付けられた全ての楽曲データが検索結果として得られるようにしてもよい。なお、検索条件を満たす楽曲データが一曲の場合には、プレイリストを液晶ディスプレイ２８に表示させる有効性に乏しい。したがってこの場合には、プレイリスト作成処理および表示処理を実行しなくてもよい。また、検索条件を満たす楽曲データが一曲も存在しないまたは所定数に達しない場合には、検索条件を緩和した上で図２のＳ３の検索処理を再度実行するようにしてもよい。このように検索条件は検索結果に応じて自動的に変更されるようにしてもよく、あるいは、ユーザ操作により任意に設定できるようにしてもよい。

なお、ユーザ操作により検索条件を無くす設定を行った場合には、図２の楽曲検索処理により、楽曲データベース３４ａ中の全ての楽曲を一致度の高い順にリストしたプレイリストが作成される。

本発明の実施形態のカーナビゲーション装置の構成を示すブロック図である。 本発明の実施形態の楽曲検索処理のフローチャート図である。 図２のＳ３の処理を説明するためのグラフである。

符号の説明

１０ システムバス
２０ ＣＰＵ
２２ ＲＯＭ
２４ ＲＡＭ
２６ 操作キー
２８ 液晶ディスプレイ
３０ スピーカ
３２ ＥＥＰＲＯＭ
３４ 内蔵ストレージ
３４ａ 楽曲データベース
３６ メディアドライブ
３８ ＤＳＰ
４２ 音声増幅回路
４４ 画像処理回路
５０ ＧＰＳレシーバ
５２ センサ
６０ 画像取得デバイス
１００ カーナビゲーション装置

Claims (17)

1. 所定の楽曲データベースのなかから楽曲を検索する楽曲検索方法において、
   画像を取得する画像取得ステップと、
   前記取得された画像に基づき該画像の特徴を示す画像特徴情報を計算する画像特徴情報計算ステップと、
   前記計算された画像特徴情報に基づき前記楽曲データベースのなかから楽曲を検索する楽曲検索ステップと、
   を実行することを特徴とする楽曲検索方法。
2. 各楽曲は前記楽曲データベースにおいて該楽曲の特徴を示す楽曲特徴情報に関連付けられて管理されており、
   前記楽曲検索ステップにおいて、前記画像特徴情報と各楽曲の前記楽曲特徴情報とを比較した結果、所定の条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力することを特徴とする、請求項１に記載の楽曲検索方法。
3. 前記画像特徴情報と前記楽曲特徴情報は、前記画像または前記楽曲の特徴が同一の評価項目に基づき数値化されて表された情報であることを特徴とする、請求項２に記載の楽曲検索方法。
4. 前記検索結果に応じて前記所定の条件を変更する条件変更ステップをさらに実行し、
   前記楽曲検索ステップにおいて、前記変更された条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力することを特徴とする、請求項２または請求項３の何れかに記載の楽曲検索方法。
5. 前記検索された楽曲のプレイリストを作成するプレイリスト作成ステップと、
   前記作成されたプレイリスト中の楽曲を、該プレイリストの曲順で、またはランダムに、あるいはリピートで再生する楽曲再生ステップと、
   をさらに実行することを特徴とする、請求項１から請求項４の何れかに記載の楽曲検索方法。
6. 前記作成されたプレイリストを所定のディスプレイに表示するプレイリスト表示ステップをさらに実行し、
   前記ディスプレイがタッチパネルである場合に、前記プレイリスト中のタッチされた楽曲を再生することを特徴とする、請求項５に記載の楽曲検索方法。
7. 前記画像取得ステップにおいて、撮影またはスキャンされた画像を取得することを特徴とする、請求項１から請求項６のいずれかに記載の楽曲検索方法。
8. 請求項１から請求項７の何れかに記載された楽曲検索方法をコンピュータに実行させるための楽曲検索プログラム。
9. 所定の楽曲データベースのなかから楽曲を検索して再生する楽曲再生装置において、
   画像を取得する画像取得手段と、
   前記取得された画像に基づき該画像の特徴を示す画像特徴情報を計算する画像特徴情報計算手段と、
   前記計算された画像特徴情報に基づき前記楽曲データベースのなかから楽曲を検索する楽曲検索手段と、
   を有することを特徴とする楽曲再生装置。
10. 前記楽曲データベースは、各楽曲をその特徴を示す楽曲特徴情報に関連付けて管理し、
    前記楽曲検索手段は、前記画像特徴情報と各楽曲の前記楽曲特徴情報とを比較した結果、所定の条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力することを特徴とする、請求項９に記載の楽曲再生装置。
11. 前記画像特徴情報と前記楽曲特徴情報は、前記画像または前記楽曲の特徴が同一の評価項目に基づき数値化されて表された情報であることを特徴とする、請求項１０に記載の楽曲再生装置。
12. 前記検索結果に応じて前記所定の条件を変更する条件変更手段をさらに有し、
    前記楽曲検索手段は、前記変更された条件を満たすと判定された該楽曲特徴情報に関連付けられた楽曲を検索結果として出力することを特徴とする、請求項１０または請求項１１の何れかに記載の楽曲再生装置。
13. 前記検索された楽曲のプレイリストを作成するプレイリスト作成手段をさらに有し、
    前記作成されたプレイリスト中の楽曲を、該プレイリストの曲順で、またはランダムに、あるいはリピートで再生することを特徴とする、請求項９から請求項１２の何れかに記載の楽曲再生装置。
14. 前記作成されたプレイリストを所定のディスプレイに表示するプレイリスト表示手段をさらに有し、
    前記ディスプレイがタッチパネルである場合に、前記プレイリスト中のタッチされた楽曲を再生することを特徴とする、請求項１３に記載の楽曲再生装置。
15. 前記画像取得手段は、ユーザ操作がなされた時、または電源投入直後、あるいは所定時間経過する毎に画像を取得することを特徴とする、請求項９から請求項１４の何れかに記載の楽曲再生装置。
16. 前記画像取得手段は、被写体を撮影する、または画像をスキャンする手段であることを特徴とする、請求項９から請求項１５の何れかに記載の楽曲再生装置。
17. 請求項１６に記載の楽曲再生装置が有する前記画像特徴情報計算手段により計算される前記画像特徴情報が埋め込まれた、該楽曲再生装置が有する前記画像取得手段により撮影またはスキャンされる所定のコードパターンが付されたことを特徴とする楽曲検索用物品。

Images