JP4692596B2 - 情報処理装置、プログラム、および情報処理方法 - Google Patents

Description

本発明は、情報処理装置、プログラム、および情報処理方法に関する。

近日、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や携帯型音楽再生装置などの音楽再生機能を有する情報処理装置が広く普及している。このような情報処理装置は、記憶している複数の音楽データの一覧画面を表示し、当該一覧画面においてユーザにより選択された音楽データを再生する。

また、一覧画面には、一般的に、名称やアーティスト名などの情報が音楽データごとに表示される。さらに、音楽データの内容を可視化して一覧画面に表示すれば、音楽データの選択に関する利便性の向上が期待される。このような観点から、音楽データの可視化についての研究が行なわれている。

例えば、特許文献１には、音楽データの周波数成分の分布を一覧画面に表示する情報処理装置が記載されている。また、特許文献２には、コンテンツのイメージを表象する静止画を選択して表示する表示装置が記載されている。また、同様に、特許文献３には、楽曲の特徴量に応じてサムネイル用静止画を生成する装置が記載されている。
特開２０００−２０７４１７号公報 特開２００６−３３１１５５号公報 特開２００３−２４２１６４号公報

しかし、従来の可視化は、音楽データを一覧画面において静止画として表現するに過ぎなかった。このため、可視化した静止画によりユーザに提供できる情報量には限りがあった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コンテンツデータの特性を動画で表現することが可能な、新規かつ改良された情報処理装置、プログラム、および情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数のコンテンツデータ、および前記複数のコンテンツデータの特性データを記憶している記憶部と、前記複数のコンテンツデータの各々の特性データに応じた動きを有する動画を生成し、前記複数のコンテンツデータごとの前記動画を含む前記複数のコンテンツデータの一覧画面を生成する生成部と、を備える情報処理装置が提供される。

前記特性データは、前記複数のコンテンツデータの各々のテンポ情報を含み、前記生成部は、前記複数のコンテンツデータの各々のテンポが速いほど、動きの大きい動画を生成してもよい。

前記一覧画面は、前記複数のコンテンツデータの各々に対応する点滅領域をさらに含み、前記特性データは、前記複数のコンテンツデータの各々の周波数領域ごとの強度情報を含み、前記情報処理装置は、前記周波数領域ごとの強度情報に基づいて各コンテンツデータのビートを検出する検出部をさらに備え、前記生成部は、前記検出部により検出された各コンテンツデータのビートに従って前記点滅領域内の画像を点滅させてもよい。

前記コンテンツデータは音楽データであり、前記周波数領域ごとの強度情報は、当該音楽データのうちのサビ区間の周波数領域ごとの強度を示してもよい。

前記コンテンツデータのジャンルごとに１または２以上の色が割当てられており、前記動画の各々は、対応するコンテンツデータのジャンルに割当てられている前記１または２以上の色のうちの少なくともいずれかの色からなってもよい。

前記動画の各々は、対応するコンテンツデータに含まれる信号的なピーク数が多いほど、前記１または２以上の色のうちの多くの色からなってもよい。

前記情報処理装置は、前記複数のコンテンツデータの各々を解析し、前記複数のコンテンツデータの各々の特性データを取得する解析部をさらに備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数のコンテンツデータ、および前記複数のコンテンツデータの特性データを記憶している記憶部と、前記複数のコンテンツデータの各々の特性データに応じた動きを有する動画を生成し、前記複数のコンテンツデータごとの前記動画を含む前記複数のコンテンツデータの一覧画面を生成する生成部と、として機能させるためのプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、複数のコンテンツデータ、および前記複数のコンテンツデータの各々の特性データを記憶媒体に記録するステップと、前記複数のコンテンツデータの各々に対応し、前記複数のコンテンツデータの各々の特性データに応じた動きを有する動画を生成するステップと、前記複数のコンテンツデータの各々に対応する前記動画を含む前記複数のコンテンツデータの一覧画面を生成するステップと、を含む情報処理方法が提供される。

以上説明したように本発明にかかる情報処理装置、プログラム、および情報処理方法によれば、コンテンツデータの特性を動画で表現することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
１．本実施形態にかかる情報処理システムの全体構成
２．本実施形態に至る経緯
３．ＰＣの構成
４．携帯機器の構成
５．本実施形態にかかる情報処理システムの動作
６．まとめ、および補足

＜１．本実施形態にかかる情報処理システムの全体構成＞
[用語の整理]
まず、本実施形態にかかる情報処理システム１の全体構成を説明するに先立ち、本明細書において用いる用語を以下に整理する。なお、以下の内容は、各用語の意義の一例に過ぎず、各用語は他の意義を含んでもよい。

・コンテンツデータ
音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウェアなどの任意のデータを含む概念である。
・テンポ
音楽における拍の速さ、間隔である。テンポ情報は、四分音符＝６０など、具体的なテンポを示す情報である。
・ビート
音楽におけるリズム、またはリズムの打点である。
・サビ
音楽は例えばＡメロ、Ｂメロ、サビ、エンディングなどの構成要素からなり、サビは、これら構成要素のうちで音楽の盛り上がり部分に該当する。
・ジャンル
音楽の様式または形式である。ジャンルとしては、例えば、ハウス系、アンビエント系、テクノ系、ジャズ系、中間、ポップス系、メロウ／演歌系、カフェ系、ボサノヴァ系などがあげられる。

[情報処理システムの全体構成]
図１は、本実施形態にかかる情報処理システム１の全体構成を示した説明図である。図１に示したように、情報処理システム１は、携帯機器１０と、通信網１２と、ＰＣ２０と、コンテンツサーバ３０と、を備える。

通信網１２は、通信網１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでもよい。また、通信網１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

コンテンツサーバ３０は、多用なコンテンツデータを記憶している。また、コンテンツサーバ３０は、通信網１２を介して携帯機器１０やＰＣ２０と接続されており、例えば携帯機器１０やＰＣ２０からの要求に応じてコンテンツデータを送信する。なお、本実施形態においては、コンテンツデータが音楽データである例に重きをおいて説明する。

ＰＣ２０は、任意の方法により取得した音楽データを携帯機器１０へ送信する。ＰＣ２０は、例えば、通信網１２を介して接続されているコンテンツサーバ３０またはＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）などの記憶媒体から音楽データを取得することができる。また、ＰＣ２０は、取得した音楽データの一覧画面を生成し、当該一覧画面においてユーザにより選択された音楽データを再生することも可能である。

携帯機器１０は、通信網１２を介して接続されているコンテンツサーバ３０またはＰＣ２０などから音楽データを取得し、取得した音楽データの一覧画面を生成し、表示部１６に当該一覧画面を表示する。また、携帯機器１０は、当該一覧画面において操作部１８を介してユーザにより選択された音楽データを再生する。

なお、図１においては、情報処理装置の一例として携帯機器１０およびＰＣ２０を示しているに過ぎず、情報処理装置はかかる例に限定されない。例えば、情報処理装置は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器であってもよい。また、情報処理装置は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器であってもよい。

＜２．本実施形態に至る経緯＞
上述したように、本実施形態にかかる携帯機器１０は音楽データの一覧画面を生成する。一覧画面には、一般的に、音楽データごとの名称やアーティスト名などの情報が含まれる。さらに、音楽データの内容を可視化して一覧画面に表示すれば、音楽データの選択に関する利便性の向上が期待される。このような観点から、音楽データの可視化について、例えば以下に示す研究が行なわれている。

（１）複数の音楽を分類した結果をグラフ上にマッピングする。
（２）音楽に対して音源が未知の場合は音源同定を行い、楽器やボーカルを画像で表現する。
（３）音楽のリズムやコード進行パターンなどを解析し、対応するジャンルを画像で表現する。
（４）音楽の信号的な特徴量を算出し、特徴量に合った既存の写真や画像を対応付ける。
（５）音楽の信号的な特徴量を算出し、特徴量に合った画像を生成する。
（６）再生中の音楽の信号情報を元に可視化する（一般的なビジュアライザ）。

しかし、上記（１）では、２次元平面上に複数の音楽をマッピングするため、表現できる特徴量が２次元に制限される。また、仮に、色や形などを使用しても４次元程度までしか表現できない。このため、上記（１）では、ある特徴量では類似していても、他の特徴量では全く違う、あるいは近い特徴量でも「どれくらい差があるか」という表現が困難である。

また、上記（２）および（３）では、ユーザが曲調を絵からイメージするのは困難であるため、複数の音楽の差が伝わり難い場合があった。

また、上記（４）では、「既存の写真や画像」の中に、任意の音楽にイメージの近いものが存在しない場合があるという点で問題である。また、音楽のイメージにいずれの画像が近いかはユーザの主観に依存するため、ユーザごとに音楽と画像の特徴量の「類似性」を関連付ける必要があった。

また、上記（５）では、音楽に合った画像が生成されるため、上記（４）と比べて「曲とイメージの対応付けのよさ」は期待できる。しかし、音楽の再生時間は、３分以下（例えば、ポップス）から１時間以上（例えば、クラッシック）に至り、ばらつきのある時系列情報であるため、これを限られたサイズの静止画で表現することは困難であった。また、上記（６）では、「音楽の現在の再生箇所を可視化する」ため、音楽を再生する前段階の「選曲作業」に適用できない。

そこで、上記事情を一着眼点にして本実施形態にかかるＰＣ２０および携帯機器１０を創作するに至った。本実施形態にかかるＰＣ２０および携帯機器１０によれば、音楽データの特性を一覧画面において動画で表現することが可能である。以下、このようなＰＣ２０および携帯機器１０について詳細に説明する。

＜３．ＰＣの構成＞
まず、図２を参照し、本実施形態にかかるＰＣ２０のハードウェア構成を説明する。図２は、ＰＣ２０のハードウェア構成を示したブロック図である。ＰＣ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ＰＣ２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってＰＣ２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ＰＣ２０のユーザは、該入力装置２０８を操作することにより、ＰＣ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかるＰＣ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。また、このストレージ装置２１１には、後述の、音楽データ、セグメントデータ、およびエンベローブデータが記録される。

ドライブ２１２は、記憶媒体用リーダライタであり、ＰＣ２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。

通信装置２１５は、例えば、通信網１２および携帯機器１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置２１５は、コンテンツサーバ３０との間で、通信網１２を介して音楽データなどの各種データを送受信する。

なお、上記では図２を参照してＰＣ２０のハードウェア構成について説明したが、携帯機器１０のハードウェアはＰＣ２０と実質的に同一に構成することが可能であるため、説明を省略する。

図３は、本実施形態にかかるＰＣ２０の構成を示した機能ブロック図である。図３に示したように、ＰＣ２０は、通信部２１６と、データ取得部２２０と、記憶部２２４と、解析部２２８と、操作入力部２３２と、携帯機器管理部２３６と、を備える。

通信部２１６は、図２に示した通信装置２１５に対応し、コンテンツサーバ３０および携帯機器１０との間で各種データを送受信する送信部および受信部としての機能を有する。

データ取得部２２０は、任意の方法で音楽データを取得する。例えば、データ取得部２２０は、コンテンツサーバ３０に対して音楽データを要求し、当該要求に応じてコンテンツサーバ３０から送信された音楽データを取得してもよい。または、データ取得部２２０は、音楽データが記録されている記憶媒体から音楽データを読み出してもよい。

記憶部２２４は、各種データを記憶する記憶媒体である。例えば、記憶部２２４は、データ取得部２２０により取得された音楽データを記憶する。また、記憶部２２４は、解析部２２８による音楽データの解析結果（セグメントデータ、エンベローブデータ）を記憶する。

なお、このような記憶部２２４は、図２に示したストレージ装置２１１に対応し、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

解析部２２８は、データ取得部２２０により取得された音楽データを解析し、セグメントデータやエンベローブデータなどの音楽データの特性データを取得する。例えば、解析部２２８は、ある音楽データを複数のセグメントに分割し、各セグメントの特性データ（音楽特徴量）を取得する。以下、音楽データのセグメンテーション、セグメントデータおよびエンベローブデータについて説明する。

図４は、音楽データのセグメンテーションについて示した説明図である。まず、解析部２２８は、図４上図に示したように時間領域の音楽信号として表現される音楽データを、図４中図に示したように複数の意味のあるセグメントに分割する。かかる分割は、例えばＭＡＴＲＡＢ ＭＩＲ Ｔｏｏｌ Ｋｉｔを利用して行なうことができる。

続いて、解析部２２８は、各セグメントを解析し、解析したセグメントのうちから図４下図に示したようにサビ区間を検出する。例えば、解析部２２８は、以下の３つの仮定の少なくともいずれかに基づいてサビ区間を検出してもよい。

・仮定１
サビ区間には、許容される適切な長さの範囲（例えば、７．７秒〜４０秒）がある。
・仮定２
長い区間の繰り返し（例えば、Ａメロ、Ｂメロ、サビ、の繰り返し）がある場合、この長い区間の末尾がサビ区間である可能性が高い。
・仮定３
ある区間が、当該区間の半分程度の区間の繰り返しである場合、当該区間がサビ区間である可能性が高い。

なお、サビ区間の検出は、〔後藤真考「ＳｍａｒｔＭｕｓｉｃＫＩＯＳＫ：サビ出し機能付き音楽試聴機」情報処理学会インタラクション２００３ 論文集，ｐｐ．９−１６，Ｆｅｂｒｕａｌｙ ２００３．〕に記載の方法により行なうことも可能である。

そして、解析部２２８は、検出したサビ区間（または音楽データ全体）のセグメントデータおよびエンベローブデータを抽出する。セグメントデータおよびエンベローブデータの具体例を図５に示す。

図５は、セグメントデータおよびエンベローブデータの具体例を示した説明図である。図５に示したように、音楽データ名が「ＴｒａｃｋＡ」である場合、当該音楽データのセグメントデータは「Ｄａｔａ￥ｓｅｇｍｅｎｔ２￥＿ＴｒａｃｋＡ．ｃｓｖ」と表現される。また、当該音楽データの各セグメントのエンベローブデータは「Ｄａｔａ￥ｅｎｖｅｌｏｐｅ２￥＿ＴｒａｃｋＡ＿１．ｃｓｖ」と表現される。

また、セグメントデータは、図５に示したように以下のデータを含む。
・セグメントＩＤ（ＳｅｇｍｅｎｔＩＤ）
・セグメントの開始時間（Ｔｉｍｅ＿ｂｅｇｉｎ）
・セグメントの終了時間（Ｔｉｍｅ＿ｅｎｄ）
・再生時間（Ｌｅｎｇｔｈ）
・サビ度（Ｒｅｆｒａｉｎ）
サビらしさを示すパラメータ。Ｍａｘ＝１．０。
・キー（Ｋｅｙ）
Ｃ＝１、Ｃ＃＝２、Ｄ＝３、Ｄ＃＝４、Ｅ＝５、Ｆ＝６、Ｆ＃＝７、Ｇ＝８、Ｇ＃＝９、Ａ＝１０、Ａ＃＝１１、Ｂ＝１２。
・メジャー／マイナー（Ｍｏｄｅ）
メジャー＝１、マイナー＝２。
・テンポ（Ｔｅｍｐｏ）
・オンセット数（Ｏｎｓｅｔｓ）
セグメント内の信号的なピーク数。
・バンク数（Ｂａｎｋ）
セグメント内の信号が周波数領域において分割される数。
・エンベローブデータ数（Ｅｎｖ）
セグメント内のエンベローブデータ数。
・最大レベル（Ｍａｘ Ｌｅｖｅｌ）

また、エンベローブデータは、図５に示したようにバンクごとの信号強度が時系列に従って記述されたデータである。なお、図５においては、各セグメントを１０のバンク（周波数領域）に分割した例を示している。また、バンク１（Ｂａｎｋ＿１）が最も低い周波数帯域であり、バンク１０（Ｂａｎｋ＿１０）が最も高い周波数帯域である。また、信号強度の最高値は「１」と表現される。

ここで図３を参照してＰＣ２０の構成の説明に戻ると、操作入力部２３２は、ユーザ操作に基づく指示や入力を受け付ける。例えば、操作入力部２３２は、マウスまたはキーボードなどを含んでもよい。

携帯機器管理部２３６は、携帯機器１０に記憶させる音楽データを管理する。例えば、携帯機器管理部２３６は、ユーザからのある音楽データの転送指示が操作入力部２３２により受け付けられると、当該音楽データを携帯機器１０へ転送する。また、携帯機器管理部２３６は、通信部２１６と携帯機器１０が接続されると、記憶部２２４に記憶されている音楽データを自動的（かつ選択的に）に携帯機器１０へ転送してもよい。ここで、携帯機器管理部２３６は、音楽データの転送と併せて、当該音楽データのセグメントデータおよびエンベローブデータも携帯機器１０へ転送する。

＜４．携帯機器の構成＞
続いて、図６〜図１４を参照し、本実施形態にかかる携帯機器１０の構成について説明する。

図６は、本実施形態にかかる携帯機器１０の構成を示した機能ブロック図である。図６に示したように、携帯機器１０は、通信部１１６と、データ管理部１２０と、記憶部１２４と、表示生成部１２８と、ビート検出部１３２と、再生部１３６と、表示部１６と、操作部１８と、を備える。

通信部１１６は、ＰＣ２０とのインターフェースであって、ＰＣ２０から音楽データ、セグメントデータおよびエンベローブデータなどを受信する。データ管理部１２０は、通信部１１６により受信された音楽データ、セグメントデータおよびエンベローブデータを記憶部１２４へ記録する。なお、携帯機器１０は、コンテンツサーバ３０から直接的に音楽データを取得してもよい。また、本実施形態においてはＰＣ２０が音楽データを解析してセグメントデータおよびエンベローブデータを取得する例に重きをおいて説明するが、本発明はかかる例に限定されない。例えば、携帯機器１０がＰＣ２０から受信した音楽データを解析してセグメントデータおよびエンベローブデータを取得してもよい。また、ＰＣ２０または携帯機器１０に、ＰＣ２０および携帯機器１０の双方の機能を実装することも可能である。

記憶部１２４は、音楽データ、セグメントデータおよびエンベローブデータを記憶する。この記憶部１２４は、ＰＣ２０の記憶部２２４と同様に、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯディスクなどの記憶媒体であってもよい。

表示生成部１２８は、表示部１６に表示させるための各種一覧画面を生成する生成部としての機能を有する。一覧画面としては、通常リスト画面、アイコンリスト画面、ジャケットグリッド画面、アイコングリッド画面などがあげられる。以下、このような一覧画面の一例を図７〜図１０に示す。

図７は、通常リスト画面の一例を示した説明図である。図７に示したように、通常リスト画面は、再生中の音楽データのトラック名、アーティスト名、再生／一時停止ボタンを含むインジケータ領域４２、ジャケット写真４４、アルバム情報４６、およびトラック情報４７Ａ〜４７Ｃを含む。携帯機器１０の再生部１３６は、トラック情報４７Ａ〜４７Ｃのいずれかがユーザにより選択されると、選択されたトラック情報４７Ａ〜４７Ｃに対応する音楽データに再生対象を切替える。

また、通常リスト画面は、表示切替アイコン５２、５４、５６、および５８を含む。表示生成部１２８は、表示切替アイコン５４が選択されるとアイコンリスト画面に表示を切替え、表示切替アイコン５６が選択されるとジャケットグリッド画面に表示を切替え、表示切替アイコン５８が選択されるとアイコングリッド画面に表示を切替える。

図８は、アイコンリスト画面の一例を示した説明図である。図８に示したように、アイコンリスト画面は、インジケータ領域４２、ジャケット写真４４、アルバム情報４６、およびトラック情報４７Ａ〜４７Ｃに加え、動画アイコン４８Ａ〜４８Ｃおよび点滅領域４９Ａおよび４９Ｂを含む。

動画アイコン４８Ａ〜４８Ｃの各々は１の音楽データに対応しており、対応する音楽データの特性に応じた動きを有する。また、点滅領域４９Ａおよび４９Ｂにおいては画像の点滅が繰り返される。なお、図８に示した時点おいては、動画アイコン４８Ｃと対になる点滅領域内の画像が消えていることを示している。また、動画アイコン４８および点滅領域４９の詳細については後述する。

また、携帯機器１０の再生部１３６は、アイコンリスト画面においてトラック情報４７Ａ〜４７Ｃまたは動画アイコン４８Ａ〜４８Ｃのいずれかがユーザにより選択されると、対応する音楽データに再生対象を切替える。また、表示生成部１２８は、表示切替アイコン５２が選択されると通常リスト画面に表示を切替え、表示切替アイコン５６が選択されるとジャケットグリッド画面に表示を切替え、表示切替アイコン５８が選択されるとアイコングリッド画面に表示を切替える。

図９は、ジャケットグリッド画面の一例を示した説明図である。図９に示したように、ジャケットグリッド画面は、インジケータ領域４２、およびジャケット写真４４Ａ〜４４Ｉを含む。ジャケット写真４４Ａ〜４４Ｉの各々は、音楽データの属するアルバムのジャケット写真である。

また、携帯機器１０の再生部１３６は、ジャケットグリッド画面においてジャケット写真４４Ａ〜４４Ｉのいずれかがユーザにより選択されると、選択されたジャケット写真４４Ａ〜４４Ｉに対応する音楽データに再生対象を切替える。また、表示生成部１２８は、表示切替アイコン５２が選択されると通常リスト画面に表示を切替え、表示切替アイコン５４が選択されるとアイコンリスト画面に表示を切替え、表示切替アイコン５８が選択されるとアイコングリッド画面に表示を切替える。

図１０は、アイコングリッド画面の一例を示した説明図である。図１０に示したように、アイコングリッド画面は、インジケータ領域４２、動画アイコン４８Ａ〜４８Ｉ、および動画アイコン４８Ａ〜４８Ｉと対になる点滅領域４９を含む。

携帯機器１０の再生部１３６は、アイコングリッド画面において動画アイコン４８Ａ〜４８Ｉのいずれかがユーザにより選択されると、対応する音楽データに再生対象を切替える。また、表示生成部１２８は、表示切替アイコン５２が選択されると通常リスト画面に表示を切替え、表示切替アイコン５４が選択されるとアイコンリスト画面に表示を切替え、表示切替アイコン５６が選択されるとジャケットグリッド画面に表示を切替える。

続いて、動画アイコン４８および点滅領域４９について詳細に説明する。

（点滅領域）
携帯機器１０のビート検出部１３２は、記憶部１２４に記憶されているエンベローブデータに基づき、各音楽データのビートを検出する。ここで、ビートは低周波数帯に現れる傾向にあるため、ビート検出部１３２は、低周波数帯のエンベローブデータ（例えば、バンク１）の信号強度が所定値を上回るタイミングをビートとして検出してもよい。

そして、表示生成部１２８は、ビート検出部１３２により検出されたビートに従って点滅領域４９内の画像を点滅させる。すなわち、表示生成部１２８は、ビート検出部１３２により検出されたビートのあるタイミングに点滅領域４９内の画像を点滅させる。さらに、表示生成部１２８は、点滅領域４９内の画像を点滅させる際、画像の明るさでビートの強さ（低周波数帯の信号強度）を表現してもよい。なお、図面においては点滅領域４９内の画像が矩形である例を示しているが、点滅領域４９内の画像の形状および色は任意であり、例えば以下の動画アイコンの配色または音楽データのクラスタに対応させてもよい。

（動画アイコン）
動画アイコンの生成に際し、表示生成部１２８は、各音楽データを図１１に示す９つのクラスタ（ジャンル）のいずれかに分類する。

図１１は、クラスタおよび音楽データの特性の関係を示した説明図である。図１１において、横軸は音楽データ中のマイナーキーの割合を示し、縦軸は音楽データのテンポに音量を考慮したパラメータを示す。また、図１１に含まれる各矩形の配色を図１２に示している。図１２おいて、「０」がハウス系に該当し、「１」がアンビエント系に該当し、「２」がテクノ系に該当する。同様に、「３」がジャズ系に該当し、「４」が中間に該当し、「５」がポップス系に該当し、「６」がメロウ／演歌系に該当し、「７」がカフェ系に該当し、「８」がボサノヴァ系に該当する。また、各クラスタ内の矩形は、左列から順次にａ〜ｊに対応するものとする。このように、各矩形の配色は異なるが、図１１においては図面の明瞭性の観点から、ハウス系に含まれる矩形のみ色を区別して示している。

ここで、テンポに音量を考慮したパラメータｍｉｘは、以下のように算出する。
ｌｅｖｅｌ＝１．０−（（セグメントの小音量時間）／セグメントの再生時間）
ｍｉｘ＝音楽データの平均テンポ×ｌｅｖｅｌ

したがって、速くて音量があり、さらに、マイナーキーの割合が低い明るい音楽データはテクノ系に分類され、マイナーキーの割合が高い暗い音楽データはハウス系に分類され、マイナーキーの割合が高くも低くもない音楽データはアンビエント系に分類される。なお、マイナーキーの割合の高低を評価するための閾値、およびパラメータｍｉｘを評価するための閾値は事前に設定されていてもよい。また、マイナーキーの割合はセグメントデータに含まれるメジャー／マイナー（Ｍｏｄｅ）に基づいて特定可能である。

また、遅くて音量がなく、さらに、マイナーキーの割合が低い明るい音楽データはボサノヴァ系に分類され、マイナーキーの割合が高い暗い音楽データはメロウ／演歌系に分類され、マイナーキーの割合が高くも低くもない音楽データはカフェ系に分類される。

また、パラメータｍｉｘが中間的であり、さらに、マイナーキーの割合が低い明るい音楽データはポップス系に分類され、マイナーキーの割合が高い暗い音楽データはジャズ系に分類され、マイナーキーの割合が高くも低くもない音楽データは中間系に分類される。

そして、携帯機器１０は、分類したクラスタの行のうち、音楽データを構成する各セグメントデータのオンセット数の総和が多いほど下の行に含まれる色を選択する。したがって、オンセット数の総和が多いほど、多くの色が選択される。

さらに、表示生成部１２８は、上述のようにして選択された色からなる矩形を、各セグメントのテンポに比例する大きさ（速さ）で動かすことにより動画アイコン４８を生成する。動画アイコン４８の動きについて、図１３および図１４を参照して説明する。

図１３は、第１の音楽データに対応する動画アイコン４８Ａおよび点滅領域４９Ａを示した説明図である。図１３に示したように、表示生成部１２８は、選択された各色の領域からなる動画アイコン４８Ａを生成する。さらに、表示生成部１２８は、時間の経過と共に、動画アイコン４８Ａ中の各色の領域の位置および大きさを現在のセグメントのテンポに応じて連続的に変化させる。なお、動画アイコン４８Ａは、現在再生部１３６による再生対象でない音楽データに対応する場合、当該音楽データのうちでセグメントデータが取得されている区間（例えばサビ区間）がループ再生されているのと等価の動きを繰り返す。また、動画アイコン４８Ａは、現在再生部１３６による再生対象である音楽データに対応する場合、現在の再生箇所に同期して動く。

図１４は、第１の音楽データよりテンポが速い第２の音楽データに対応する動画アイコン４８Ｆおよび点滅領域４９Ｆを示した説明図である。ここで、図１３中の各図および図１４中の各図の時間的な間隔は同一であるものとする。この場合、表示生成部１２８は、図１４に示したように、第１の音楽データに対応する動画アイコン４８Ａより動きの大きな動画アイコン４８Ｆを生成する。なお、各色の領域の移動速度が速いほど、および各職の領域の大きさの変化速度が速いほど、動画アイコン４８の動きが大きいと表現できる。また、各色の領域の並び順や、移動方向は任意である。

以上説明したように、本実施形態にかかる携帯機器１０は、動画アイコン４８および点滅領域４９をアイコンリスト画面またはアイコングリッド画面などの一覧画面において表示することができる。かかる構成により、ユーザは、一覧画面における動画アイコン４８および点滅領域４９から、静止画と比較して音楽データの特性に関するより多くの情報を把握することができる。このため、本実施形態にかかる携帯機器１０のユーザは、所望の特性を有する音楽データを、音楽データの一覧画面から効率的に検索することが可能となる。

なお、本実施形態においては、音楽データの特性に応じた配色および動きの大きさを有する動画アイコン４８を生成する例を説明したが、本発明はかかる例に限定されない。例えば、表示生成部１２８は、物体の形状または質感などが音楽データの特性に応じて変化する動画アイコンを生成してもよい。

＜５．本実施形態にかかる情報処理システムの動作＞
次に、図１５を参照し、本実施形態にかかる情報処理システム１の動作の流れをまとめる。

図１５は、本実施形態にかかる情報処理システム１の動作の流れを示したシーケンス図である。図１５に示したように、まず、ＰＣ２０の解析部２２８が音楽データを解析し、セグメントデータおよびエンベローブデータを取得する（Ｓ３０４）。その後、ＰＣ２０の携帯機器管理部２３６が、音楽データ、セグメントデータおよびエンベローブデータを携帯機器１０へ転送する（Ｓ３０８）。携帯機器１０の記憶部１２４は、ＰＣ２０から転送された音楽データ、セグメントデータおよびエンベローブデータを記憶する（Ｓ３１２）。

そして、携帯機器１０の表示生成部１２８は、セグメントデータに基づいて動画アイコン４８を生成する（Ｓ３１６）。具体的には、上述したように、セグメントデータに基づいて音楽データを９つのクラスタのいずれかに分類し、オンセット数の総和により利用する色を選択し、選択した色の領域からなる画像をテンポに応じた動きで変化させる。また、ビート検出部１３２がエンベローブデータに基づいて音楽データのビートを検出し（Ｓ３２０）、表示生成部１２８は、検出されたビートに従って点滅する点滅領域４９および動画アイコン４８を含む一覧画面を生成する（Ｓ３２４）。その後、携帯機器１０の再生部１３６は、一覧画面においてユーザにより選択された音楽データの再生を開始する（Ｓ３２８）。

＜６．まとめ、および補足＞
以上説明したように、本実施形態にかかる携帯機器１０は、音楽データの一覧画面において、各音楽データの特性に応じた色および動きを有する動画アイコン４８を表示することができる。かかる構成により、ユーザが、動画アイコン４８に基づいて音楽データの特性をより直感的に把握することが可能となる。また、本実施形態においては、音楽データのサビ区間を中心とする動画アイコン４８を生成することができるため、音楽データ全体の長さにかかわらず音楽データの代表的な特性を可視化することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、携帯機器１０にボタン式の操作部１８が設けられる例を説明したが、本発明はかかる例に限定されない。変形例として、携帯機器１０にタッチパネルを設け、タッチパネルによりユーザ操作を検出してもよい。また、上記で示した９つのクラスタ、およびいずれかのクラスタへの音楽データの分類方法は一例に過ぎず、任意の分類方法により任意のクラスタのいずれかへ音楽データを分類してもよい。

また、上記ではＰＣ２０の解析部２２８が音楽データを解析してセグメントデータおよびエンベローブデータを取得する例を説明したが、本発明はかかる例に限定されない。例えば、コンテンツサーバ３０は、音楽データの送信と併せて当該音楽データのセグメントデータおよびエンベローブデータを送信してもよい。また、上記では、携帯機器１０において９つのクラスタのいずれかへの音楽データの分類を行なう例を説明したが、本発明はかかる例に限定されない。例えば、音楽データが分類されるクラスタは、事前に音楽データに属性データとして付加されていてもよい。また、セグメントデータおよびエンベローブデータを用いることにより、他のデザインの動画アイコンを簡単かつ大量に生成することもできる。

また、本明細書の情報処理システム１の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、情報処理システム１の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。

また、ＰＣ２０および携帯機器１０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述したＰＣ２０および携帯機器１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図３および図６の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

本実施形態にかかる情報処理システムの全体構成を示した説明図である。 ＰＣのハードウェア構成を示したブロック図である。 本実施形態にかかるＰＣの構成を示した機能ブロック図である。 音楽データのセグメンテーションについて示した説明図である。 セグメントデータおよびエンベローブデータの具体例を示した説明図である。 本実施形態にかかる携帯機器の構成を示した機能ブロック図である。 通常リスト画面の一例を示した説明図である。 アイコンリスト画面の一例を示した説明図である。 ジャケットグリッド画面の一例を示した説明図である。 アイコングリッド画面の一例を示した説明図である。 クラスタおよび音楽データの特性の関係を示した説明図である。 各クラスタ内の矩形の配色を示した説明図である。 第１の音楽データに対応する動画アイコンおよび点滅領域を示した説明図である。 第１の音楽データよりテンポが速い第２の音楽データに対応する動画アイコンおよび点滅領域を示した説明図である。 本実施形態にかかる情報処理システムの動作の流れを示したシーケンス図である。

符号の説明

１０ 携帯機器
１２ 通信網
２０ ＰＣ
１２４、２２４ 記憶部
１２８ 表示生成部
１３２ ビート検出部
１３６ 再生部
２２８ 解析部

Claims (6)

1. 複数の音楽データ、および前記複数の音楽データのテンポ情報を含む特性データを記憶している記憶部と；
   前記複数の音楽データの各々の、特性データに応じた動きを有する動画を生成し、前記複数の音楽データごとの前記動画を含む前記複数の音楽データの一覧画面を生成する生成部と；
   を備え、
   前記生成部は、前記複数の音楽データの各々のテンポが速いほど、動きの大きい動画を生成し、
   前記音楽データのジャンルごとに１または２以上の色が割当てられており、
   前記動画の各々は、対応する音楽データに含まれる信号的なピーク数が多いほど、当該音楽データのジャンルに割り当てられている前記１または２以上の色のうちの多くの色からなる、情報処理装置。
2. 前記一覧画面は、前記複数の音楽データの各々に対応する点滅領域をさらに含み、
   前記特性データは、前記複数の音楽データの各々の周波数領域ごとの強度情報を含み、
   前記情報処理装置は、前記周波数領域ごとの強度情報に基づいて各音楽データのビートを検出する検出部をさらに備え、
   前記生成部は、前記検出部により検出された各音楽データのビートに従って前記点滅領域内の画像を点滅させる、請求項１に記載の情報処理装置。
3. 前記周波数領域ごとの強度情報は、音楽データのうちのサビ区間の周波数領域ごとの強度を示す、請求項２に記載の情報処理装置。
4. 前記複数の音楽データの各々を解析し、前記複数の音楽データの各々の特性データを取得する解析部をさらに備える、請求項１〜３に記載の情報処理装置。
5. コンピュータを、
   複数の音楽データ、および前記複数の音楽データのテンポ情報を含む特性データを記憶している記憶部と；
   前記複数の音楽データの各々のテンポが速いほど、動きの大きい動画を生成し、前記複数の音楽データごとの前記動画を含む前記複数の音楽データの一覧画面を生成し、する生成部と；
   を備える情報処理装置であって、
   前記動画の各々は、対応する音楽データに含まれる信号的なピーク数が多いほど、当該音楽データのジャンルに割り当てられている前記１または２以上の色のうちの多くの色からなる、情報処理装置として機能させるためのプログラム。
6. 複数の音楽データ、および前記複数の音楽データのテンポ情報を含む特性データを記憶媒体に記録するステップと；
   前記複数の音楽データの各々のテンポが速いほど、動きの大きい動画を生成するステップと；
   前記複数の音楽データの各々に対応する前記動画を含む前記複数の音楽データの一覧画面を生成するステップと；
   を含み、
   前記音楽データのジャンルごとに１または２以上の色が割当てられており、
   前記動画の各々は、対応する音楽データに含まれる信号的なピーク数が多いほど、当該音楽データのジャンルに割り当てられている前記１または２以上の色のうちの多くの色からなる、情報処理方法。
   
   
   

Images