JP3778134B2 - 楽曲再生装置 - Google Patents

楽曲再生装置 Download PDF

Info

Publication number
JP3778134B2
JP3778134B2 JP2002160487A JP2002160487A JP3778134B2 JP 3778134 B2 JP3778134 B2 JP 3778134B2 JP 2002160487 A JP2002160487 A JP 2002160487A JP 2002160487 A JP2002160487 A JP 2002160487A JP 3778134 B2 JP3778134 B2 JP 3778134B2
Authority
JP
Japan
Prior art keywords
music
music data
related information
data
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002160487A
Other languages
English (en)
Other versions
JP2004005849A (ja
Inventor
祐二 藤原
春喜 上原
茂樹 河合
保彦 大場
佳弘 椎谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002160487A priority Critical patent/JP3778134B2/ja
Priority to US10/447,116 priority patent/US7295983B2/en
Publication of JP2004005849A publication Critical patent/JP2004005849A/ja
Application granted granted Critical
Publication of JP3778134B2 publication Critical patent/JP3778134B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、楽曲再生装置に関する。
【0002】
【従来の技術】
CD(Compact Disc)のような記憶媒体に記録された楽曲を選択して再生することができる装置は従来から種々提供されている。この種の再生装置においては、利用者が所定の操作子を操作することによって、再生される楽曲が選択されるようになっているのが一般的である。
【0003】
【発明が解決しようとする課題】
しかしながら、このような再生装置においては、再生対象となるCDを装填するたびに利用者の選曲操作が必要になり、またCDの何番目に選択する楽曲が収録されているかはCDジャケット等を見て把握しなければならなかった。さらに、再生したい楽曲が収録されているCDのタイトルが思い出せない場合もあり、また思い出せても利用者が多くのCDを所有している場合には該当のCDを捜し出す手間がかかる等、利用者にとっては楽曲の選択操作が煩雑になっていた。
本発明は、このような問題点に鑑みてなされたものであり、利用者が楽曲を選択する負担を軽減することができる楽曲再生装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
上記課題を解決するために、本発明は、楽曲データを再生する楽曲データ再生手段と、前記楽曲データ再生手段で再生された前記楽曲データを記憶装置に記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段で記憶された楽曲データに関する関連情報を前記楽曲データに関連づけて前記記憶装置に記憶する関連情報記憶手段と、ユーザの体温および脈拍を計測する計測手段と、前記計測手段により計測された体温と脈拍とに応じて前記関連情報を検索し、検索された関連情報に関連づけられた楽曲データを前記記憶装置から取得する楽曲データ検索手段と、前記楽曲データ検索手段で取得された楽曲データを再生する検索楽曲データ再生手段と、を具備することを特徴とする楽曲再生装置を提供する。
【0005】
また、好ましい態様としては、前記楽曲再生装置は、通信回線を介して楽曲配信装置と接続されており、前記楽曲データ再生手段に供給される楽曲データは、前記通信回線を介して前記楽曲配信装置より受信されることを特徴とする。
【0006】
また、好ましい態様としては、前記楽曲再生装置は、通信回線を介して楽曲配信装置と接続されており、前記楽曲データに関する関連情報は、前記通信回線を介して前記楽曲配信装置より受信されることを特徴とする。
【0007】
また、好ましい態様としては、前記楽曲データ検索手段は、前記楽曲データ検索条件として文字列が入力された場合に、前記文字列を基に前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報と関連づけられた楽曲データを前記記憶装置より取得することを特徴とする。
【0008】
また、好ましい態様としては、前記楽曲データ検索手段は、前記楽曲データ検索条件として、利用者の感情情報が入力された場合に、前記利用者の感情情報に関連づけられた前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする。
【0009】
また、好ましい態様としては、前記楽曲データ検索手段は、前記楽曲データ検索手段は、前記楽曲データ検索条件として、利用者の名前が入力された場合に、前記利用者の名前が入力された時点の時間帯および季節と合致する前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする。
【0010】
さらに、好ましい態様としては、前記楽曲データ検索手段は、前記楽曲データ検索条件として画像データが選択された場合に、前記画像データに関連づけられた関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする。
【0011】
さらにまた、好ましい態様としては、前記楽曲データ検索手段は、前記楽曲データ検索条件として音声情報が入力された場合に、前記音声情報から認識された歌詞情報に関連づけられた関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする。
【0012】
【発明の実施の形態】
1.全体構成
以下、本発明の一実施形態を図面を参照しながら説明する。
図1は、楽曲再生装置の構成を示すブロック図である。
符号1は楽曲再生装置であり、楽曲再生装置1のCPU11は、バスBを経由して接続された各部を制御する。
【0013】
ROM12には、楽曲再生装置1の電源をオンしたときに、楽曲再生装置1を起動する起動プログラムが記憶されている。
【0014】
ハードディスク装置14は、楽曲再生装置1全体を制御するためのシステムプログラム,楽曲の再生動作等を指令するアプリケーションプログラムといった各種のプログラムを記憶するプログラム記憶エリアと、多数の楽曲データ、楽曲データに対応づけられた画像データ、楽曲に関する関連情報等を記憶するデータエリアとを有している。
なお、ハードディスク装置14のデータエリアについては、後で詳細に説明する。
【0015】
RAM13には、ROM12の起動プログラムによってハードディスク装置14から読み出されたシステムプログラム、アプリケーションプログラムがロードされると共に、各種データが一時記憶される。
【0016】
CDドライブ15は、CD(Compact Disk)15aに格納されている楽曲データを読み出すための装置である。
CD15aには、楽曲データとTOC(Table Of Contents)情報とが格納されている。
楽曲データは、楽音波形を表すデジタルデータであり、本実施形態においては、複数の楽曲に対応する楽曲データがCD15aに格納されているものとする。
TOC情報は、各楽曲データの開始位置のトラック番号、演奏時間の情報等、CD15aの内容に関するデータによって構成されている。
【0017】
表示装置17は、例えばCRT(Cathode Ray Tube)や液晶ディスプレイである。この表示装置17には、例えば、図5、図6、図7および図9に示すような各種画面が表示される。
【0018】
スキャナ16は、写真、絵画等の画像をスキャンして、これらに対応する画像データを生成して出力する。なお、この実施形態においては、利用者の操作によってスキャナ16でCD15aのジャケットや楽曲のイメージに合った写真、絵画等を取り込むように使用される。
【0019】
入力装置18は、マウス18a等のポインティングデバイスと、文字や記号を入力するためのキーボード18bとを備え、利用者によって操作されるとその操作に応じた信号をCPU11に出力する。利用者は入力装置18に対して所定の操作を行うことにより、楽曲の再生指示、関連情報の入力等を行うことができる。
【0020】
センサ部19には、気温を検出する温度センサ19a、湿度を検出する湿度センサ19b、人間の体温を検出する体温センサ19c、脈拍を測定する脈拍センサ19dが設けられており、これらのセンサの出力信号は、CPU11によって読みとられるようになっている。
【0021】
サウンドシステム20は、楽曲データを再生して楽音を発生させるものであり、D/A変換器201と、オーディオシステム202と、スピーカ203とを備えている。このうち、D/A変換器201は、CPU11の制御の下にCDドライブ15から供給された楽曲データをアナログ信号である楽音信号に変換して出力する。オーディオシステム202は、出力されるべき楽音に対して、残響効果等の各種効果を付与するためのエフェクタと、D/A変換器201から出力された楽音信号を増幅するためのアンプとを有する。なお、スピーカ203に代えて、耳に装着可能なイヤホンやヘッドフォンを用いてもよい。
【0022】
次に、図2に基づいて、ハードディスク装置14のデータエリアを詳細に説明する。
ハードディスク装置14のデータエリアには、楽曲データの各種関連情報を格納した関連情報検索データベース141が設けられている。
関連情報検索データベース141に格納される情報には、楽曲データの識別情報であるインデックスID、CD15aに格納されている情報を示すTOC(Table Of Contents)情報、CD15aがいつ装填され、再生され、取り出されたかの過去の履歴を示す履歴情報がある。
このうち、インデックスIDは、楽曲データが格納されたCD15aに、CPU11が一意に割り当てた識別子(以下、「ディスクID」という)と、その楽曲データが当該CD15aに格納された複数の楽曲データのうち、何番目の楽曲データであるかを示す情報(以下、「楽曲番号」という)とで構成されている。このインデックスIDは、CD15aに格納されたTOC情報に基づいて生成される。
また、履歴情報には、CDドライブ15に装填された何枚目のCD15aであるかを示すCD装填番号CIN、CD15aがCDドライブ15に装填された時刻を示すCD装填時刻CIT、CD15aがCDドライブ15から取り出された時刻を示すCD取出時刻COT、楽曲の再生が開始された時刻を示す楽曲再生時刻MPTがあり、この履歴情報は同一インデックスIDの楽曲が再生される度に追加格納されていく。
これらの情報は、CPU11がアプリケーションプログラムを実行することによって自動的に格納される情報であり、関連情報検索データベース141の自動入力エリアに格納される。
【0023】
また、関連情報検索データベース141に記憶される他の情報としては、CDタイトルCT、楽曲のジャンルMJ、楽曲のタイトルMT、アーティスト名AN、作詞・作曲・編曲者名MN、制作会社名PN、気象情報である天気W,気温T,湿度S、CDのカタログコードCC、入力者名IN、入力時刻IT、その他OT等がある。このうち、CDのカタログコードCCは、市場流通用の13桁のコードである。
これらの情報は、利用者が入力装置18等を操作して手動で入力する情報であり、関連情報検索データベース141の手動入力エリアに格納される。
【0024】
上記の他に、ハードディスク装置14のデータエリアには、CD15aの楽曲データを一時的に記憶する楽曲一時記憶エリア142、CD15aで再生された楽曲データをインデックスIDと共に記憶する楽曲データエリア143、スキャナ16から読み込んだ画像データをインデックスIDと共に記憶する画像データエリア144が設けられている。
【0025】
2.動作
次に、図3〜図9を参照して、本実施形態に係る楽曲再生装置1の動作について説明する。
【0026】
2−1.CDに格納されている楽曲を再生するときの動作
図3は、CDドライブ15に装填したCD15aに格納されている楽曲データを再生するときの動作を示すフローチャートである。
まず、利用者がCDドライブ15にCD15aを装填すると、CDドライブ15は、CD15aが装填されたことを示す信号をCPU11に出力する。この信号を検知すると(ステップS1)、CPU11は、CD装填時刻CITと装填されたCD15aから読みとったTOC情報とをRAM13に記憶する(ステップS2)。
【0027】
次に、利用者が、入力装置18を操作して、楽曲の再生を指示すると(ステップS3;Yes)、CPU11は、CDドライブ15に対して再生指示された楽曲データの読み出しを指示する。この指示を受けたCDドライブ15は、CD15aに格納された複数の楽曲データの中から該当する楽曲データを読み出してサウンドシステム20に出力する。この結果、この楽曲データが再生され、スピーカ203から楽曲が放出される(ステップS4)。
このときに、CPU11は、楽曲データの読み出しを指示した時間を楽曲再生時刻MPTとしてRAM13に記憶しておく。
【0028】
上述の楽曲再生と同時に、ハードディスク装置14の楽曲一時記憶エリア142へ楽曲データの格納を開始する(ステップS5)。
そして、格納を始めた楽曲データが、既にハードディスク装置14の楽曲データエリア143に格納されているか否かを判定する(ステップS6)。
ここで、ハードディスク装置14に格納されているか否かの判定方法としては、再生したCD15aのTOC情報と、再生した楽曲の楽曲番号の双方をもつデータが、関連情報検索データベース141に存在するか否かによって行われる。
【0029】
未だハードディスク装置14に格納されていない楽曲データであると判定した場合(ステップS6;No)、CPU11は、当該楽曲データを識別するためのインデックスIDを作成する(ステップS7)。
すなわち、CPU11は、未だ関連情報検索データベース141に存在しないディスクIDを連番で付番し、また、TOC情報のトラック番号を楽曲番号として認識し、これらのディスクIDと楽曲番号を組み合わせてインデックスIDを作成する。
そして、この作成したインデックスIDを関連情報検索データベース141に格納すると共に、RAM13に一時記憶する。
【0030】
インデックスIDが作成された後に、CPU11は、割込処理を行うための関連付キーKAの受付を開始する(ステップS8)。この関連付キーKAは、キーボード18bに備えられている。
【0031】
次に、CPU11は、関連情報検索データベース141に未だ存在しないCD装填番号CINを連番で付番する。そして、この付番したCD装填番号CINと共に、TOC情報、CD装填時刻、楽曲再生時刻MPTを、関連情報検索データベース141の自動入力エリアに格納する(ステップS9)。
【0032】
次に、CPU11は、一曲分の再生が終了すると、ハードディスク装置14の楽曲一時記憶エリア142に一時記憶しておいた楽曲データを、インデックスIDと共に楽曲データエリア143に格納し(ステップS10)、楽曲一時記憶エリア142に一時記憶しておいた楽曲データを消去する。
そして、CPU11は、関連付キーKAの受付を終了する(ステップS11)。
【0033】
一方、これに対し、楽曲データが既にハードディスク装置14に格納されているのであれば(ステップS6;Yes)、改めて楽曲データを格納し直す必要はないため、ハードディスク装置14の楽曲一時記憶エリア142への楽曲データの格納を中止して、途中まで格納された楽曲データを消去する(ステップS15)。そして、関連情報検索データベース141の履歴情報にCD装填番号CIN、CD装填時刻CIT、および楽曲再生時刻MPTを追加記憶して(ステップS16)、ステップS12に遷移する。
【0034】
CD15aの取出が検知された場合には(ステップS13;Yes)、CPU11は、取り出されたCD15aと同一のCD装填番号CINをもつ関連情報検索データベース141の直近の履歴情報のCD取出時刻COTを更新し(ステップS14)、処理を終了する。
【0035】
なお、楽曲の再生途中における停止、早送り、スキップ等の指示については、本発明の要旨ではないので、説明を割愛した。
【0036】
2−2.割込処理の動作
次に、利用者によって関連付キーKAが押下されたときの割込処理の動作を、図4を参照して説明する。
関連付キーKAが押下されると、まず、CPU11は、RAM13に記憶されているインデックスIDに関連づけられた入力エリアを確保する(ステップS101)。
次に、CPU11は、入力処理を起動して(ステップS102)、表示装置17に図5に示すメニュー画面G1を表示する。
【0037】
このように、関連付キーKAを押下することによって、CPU11は、楽曲再生とデータ入力の処理を並行して実行するいわゆるマルチタスク処理を行うようになる。これにより、利用者は、再生された楽曲を聴きながら、データ入力を行うことが可能となる。
【0038】
2−3.関連情報を入力するときの動作
次に、関連付キーKAが押下されて、表示装置17にメニュー画面G1が表示された後の動作を説明する。
メニュー画面G1には、図5に示すように、「関連情報入力・検索画面G2」ボタン、「画像取込画面G3」ボタン、「画像選択画面G4」ボタンが設けられている。利用者は、楽曲データに関する関連情報を入力する場合には、「関連情報入力・検索画面G2」ボタンを選択し、画像を取り込む場合には「画像取込画面G3」ボタンを選択する。
「関連情報入力・検索画面G2」ボタンが選択された場合には、CPU11は、表示装置17に、図6に示す関連情報入力・検索画面G2を表示する。
このとき、画面G2上の「インデックスID」、「TOC情報」、「履歴情報」の各項目には、楽曲再生時にRAM13に記憶しておいたインデックスIDに対応する関連情報検索データベース141の内容が表示される。
【0039】
関連情報入力・検索画面G2には、「CDタイトル」、「楽曲のジャンル」、「楽曲のタイトル」、「アーティスト名」、「作詞者名」、「作曲者名」、「編曲者名」、「制作会社名」、「天気」、「気温」、「湿度」、「CDのカタログコード」、「入力者名」、および「その他の情報」といった楽曲に関する関連情報の入力項目が設けられている。
楽曲のジャンルMJのような入力内容がある程度定型化されている項目には、「ジャズ」、「ポップス」、「歌謡曲」等の文字をポインタPで選択できるリストボックスが用意されている。
利用者は入力装置18のマウス18aまたはキーボード18bを操作することによって、上記の入力項目に文字情報を入力する。そして、画面上の「登録」ボタン領域にポインタPを移動させ、入力装置18に対して、マウス18aでクリックする等の操作を行うことにより、入力項目に入力した情報の登録指示を行う。これにより、CPU11は、入力情報を、関連情報検索データベース141の手動入力エリアに格納する。
【0040】
また、天気W、気温Tについては、センサ部19の温度センサ19a、湿度センサ19bで自動的に計測される。CPU11は、これらの計測結果を読みとって、関連情報検索データベース141の気温T、湿度Sに格納する。
体温TA、脈拍MIについては、センサ部19の体温センサ19c、脈拍センサ19dで計測され、利用者が入力装置18に対して所定の操作を行い入力指示することによって、計測結果はCPU11に読みとられる。
【0041】
一方、メニュー画面G1から、「画像取込画面G3」ボタンが選択された場合には、CPU11は、表示装置17に、図7に示す画像取込画面G3を表示する。このとき、画像取込画面G3上の項目である「ディスクID」、「インデックスID」には、RAM13に記憶しておいたインデックスIDとその一部であるディスクIDが表示される。
ここで、画像取込画面G3には、「CDジャケット等の取込」と「楽曲のイメージ画像の取込」とを選択するためのチェックボックスが設けられており、このチェックボックスのどちらかを選択することによって、CDジャケット等の「ディスク単位」の画像を取り込むのか、または楽曲のイメージに合った「楽曲単位」の画像を取り込むのかを指定することができる。
利用者は、画像取込画面G3上のチェックボックスを選択した後、「スキャン」ボタン領域にポインタPを移動させ、入力装置18に対してマウス18aをクリックする等の所定の操作を行う。これにより、CPU11は、スキャナ16にセットされた画像のスキャンを行わせ、読みとられた画像データを、画像取込画面G3から入力されたディスクIDまたはインデックスIDと共に、ハードディスク装置14の画像データエリア144に格納する。
【0042】
2−4.ハードディスク装置に格納された楽曲データを再生するときの動作
次に、利用者が検索条件を入力することによって、ハードディスク装置14に格納された楽曲データを再生するときの動作について説明する。
【0043】
まず、関連情報入力・検索画面G2における検索条件の入力方法について具体的に説明する。利用者は、メニュー画面G1の「関連情報入力・検索画面G2」ボタンを選択することによって、関連情報入力・検索画面G2に遷移する。
項目「CD装填時刻」に時刻が入力された場合には、CPU11は、入力された時刻の時間帯または季節と、関連情報検索データベース141に格納されている履歴情報のCD装填時刻CINの時間帯または季節とが同一または最も近いデータを、例えば10件検索する。項目「CD取出時刻」、「楽曲再生時刻」に文字が入力された場合についても、同様である。
項目「CDタイトル」に文字列が入力された場合には、CPU11は、入力された文字列と、関連情報検索データベース141に記憶されているCDタイトルCTの文字列とが一致するデータを検索する。項目「楽曲のジャンル」、「楽曲のタイトル」、「アーティスト名」、「作詞者名」、「作曲者名」、「編曲者名」、「制作会社名」、「CDのカタログコード」、および「その他の情報」に文字列が入力された場合についても、同様である。
項目「演奏時間帯」に時間帯が入力された場合には、CPU11は、関連情報検索データベース141の楽曲再生時刻MPTが、入力された時間帯に含まれているデータを検索する。
項目「演奏時間帯」が入力されずに項目「入力者名」に文字列が入力された場合には、CPU11は、関連情報検索データベース141の入力者名INが入力された名前の文字列と一致し、かつ履歴情報の楽曲再生時刻MPTが、利用者の検索指示した時点の時間帯および季節と同一または最も近いデータを10件検索する。
また、上述した項目を複数組み合わせて検索することも可能である。
【0044】
また、単一項目での検索条件の組み合わせに関しては、単一項目に入力された文字列の前または後に“*”が付加された場合には、“*”をワイルドカードとして、CPU11は、入力された“*”を除いた文字列と、関連情報検索データベース141の該当する項目の文字列の一部とが一致するデータを抽出する部分一致検索を行う。それ以外の場合は、文字列が完全に一致するデータを抽出する完全一致検索を行う。また、論理和“OR”、論理積“AND”、不等号“≦”、“≧”を用いて検索することも可能である。
【0045】
例えば、「楽曲のタイトル」に“*恋*”、「天気」に“晴”、「気温」に“≧20AND≦30”、「演奏時間帯」に“7:00”〜“9:00”の検索条件を入力された場合には、楽曲のタイトルMTに“恋”の文字を含み、天気Wが“晴”、かつ気温Tが20度以上30度以下、かつ履歴情報の楽曲再生時刻MPTが“7:00から9:00”の範囲のものが存在するデータが関連情報検索データベース141より検索される。
また、「楽曲のジャンル」に“歌謡曲 OR ポップス”「入力者名」に“山田 太郎”、の検索条件が入力された場合には、楽曲のジャンルMJが“歌謡曲”または“ポップス”、かつ入力者名INが“山田 太郎”、かつ“楽曲再生時刻MPTが検索指示した時点の時間帯および季節と同一または近いデータが検索される。
【0046】
さらにまた、体温と脈拍から利用者の感情を測定し、この感情に合致した楽曲を検索するAI(Artificial Intelligence)的な検索も可能である。すなわち、センサ部19の体温センサ19c、脈拍センサ19dによって計測された体温や脈拍の測定値から、CPU11は、予めROM12に記憶されている感情の分類を定義したテーブルを基に、「沈んでいる」、「明るい」等の感情の分類を行う。そして、例えば、感情の分類が「沈んでいる」の場合には、CPU11は、関連情報検索データベース141の楽曲再生時刻MPTを基に、冬の季節または夜の時間帯に演奏された楽曲を検索し、感情の分類が「明るい」の場合には、夏の季節または昼の時間帯に演奏された楽曲を検索する。
【0047】
利用者は、関連情報入力・検索画面G2上の、1つまたは複数の入力項目に、検索したい楽曲の情報を入力装置18のキーボード18bで入力する。または、リストボックスが用意されている項目については、ポインティングデバイスを動かすことによってリストボックスの項目をポインタPで選択した後、マウス18aをクリックすることによって入力する。
その後、利用者は、関連情報入力・検索画面G2の「検索」ボタンの領域をポインタPで選択し、マウス18aでクリックすることによって検索指示を行う。
【0048】
次に、画像選択画面G4における検索条件の入力方法について説明する。利用者は、メニュー画面G1の「画像選択画面G4」ボタンを選択することによって、画像選択画面G4に遷移する。このとき、画像選択画面G4には、ハードディスク装置14の画像データエリア144に格納された画像データが一覧形式で表示される。利用者は、これらの画像の中から、再生したい楽曲のイメージに合った画像や、CDジャケット等の画像の上に、ポインタPをポインティングデバイスを操作することによって動かし、マウス18aでクリックすることにより、画像を選択するとともに、画像に対応した楽曲の検索指示を行う。
【0049】
図8には、入力された検索条件による楽曲データ再生のフローチャートを示す。
まず、CPU11は、検索指示の検知処理を行う(ステップS201)。
CPU11が、関連情報入力・検索画面G2から上述のような検索指示を検知した場合には(ステップS202;Yes)、入力された検索条件に該当するデータを関連情報検索データベース141より検索する(ステップS204)。
【0050】
一方、CPU11が上述のような画像の選択と検索指示を検知した場合は(ステップS203;Yes)、その画像データに対応するインデックスIDをハードディスク装置14の画像データエリア144より取得し、このインデックスIDをもつ関連情報検索データベース141のデータを取得する(ステップS205)。
ここで、CDジャケットのようにCD単位で取り込まれた画像の場合は、画像データエリア144の「インデックスID」を構成する「ディスクID」と「楽曲番号」のうち、「ディスクID」にのみ値が設定されている。このため、画像に対応する「ディスクID」と同一の「ディスクID」をもつ関連情報データベース141のデータが全て取得されることとなる。
一方、楽曲単位で画像が取り込まれている場合には、画像データエリア144の「インデックスID」を構成する「ディスクID」と「楽曲番号」との両方に値が設定されているため、画像に対応する「インデックスID」と同一の「インデックスID」をもつ関連情報データベース141のデータ(一曲分)のみが取得されることとなる。
【0051】
そして、CPU11は、上述のようにして取得した関連情報データベース141のデータを、関連情報入力・検索画面G2に表示する(ステップS206)。
このとき、CPU11は、画面上に「検索件数XX件中XX件目」という表示を行う。取得されたデータが複数件ある場合には、利用者は、画面をスクロールすることによって、他の楽曲の関連情報を表示することができる。
利用者は、関連情報入力・検索画面G2上のボタンを入力装置18を操作して選択することで、画面上に表示されている楽曲のみ演奏することも、また、検索された全部または一部の楽曲を演奏順を指定した上で演奏することも可能である。
【0052】
利用者が上述のような楽曲演奏指示の操作を行い、CPU11が、楽曲の再生指示を検知した場合に(ステップS207;Yes)、再生指示のあった楽曲のインデックスIDを基に、楽曲データおよび画像データをハードディスク装置14の楽曲データエリア143および画像データエリア144より取得する(ステップS208)。そして、CPU11は、その取得した楽曲データをサウンドシステム20に出力して再生すると共に、画像データを表示装置17に表示する(ステップS209)。なお、取得した画像データが複数ある場合は、CPU11は、楽曲を再生している間、表示装置17に表示する画像を一定時間間隔、例えば30秒毎に切り換える。
そして、再生指示のあった楽曲が複数ある場合は(ステップS210;No)、楽曲の再生と画像の表示を継続する(ステップS208〜ステップS210)。
【0053】
このように、利用者は、過去に再生したCD15aの楽曲データとその関連情報をハードディスク装置14に蓄積していくことで、容易に好みの楽曲をハードディスク装置14から検索して再生することができる。
【0054】
3.変形例
以上、この発明の一実施形態について説明したが、上記実施形態はあくまで例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
(1)楽曲に歌詞が含まれている場合には、利用者の音声から認識された歌詞から楽曲データを検索してもよい。
この場合の構成としては、ハードディスク装置14のデータエリアに歌詞検索用データエリア145を設ける。この歌詞検索用データエリア145には、CD15aの楽曲データをCDドライブ15で再生する際に、楽曲データから抽出された歌詞データが歌詞検索用データとして格納される。
さらに、楽曲再生装置1に、歌詞解析部211と、A/D変換器212と、マイクロフォン213とを備えた音声入力部21を設ける。
このうち、A/D変換器212は、マイクロフォン213から入力された音声をディジタル信号に変換する。そして、歌詞解析部211は、A/D変換器212から入力されたディジタル信号から、歌詞を認識し、歌詞検索用データエリア145に格納されている歌詞検索用データと比較して、音声から認識した歌詞と一致する歌詞検索用データを選択する。
なお、歌詞検索用データを作成するにあたって、カラオケ用のMIDI(musical instrument digital interface)データを用いることもできる。
また、CD15aに歌詞データが楽曲データとは別に格納されている場合には、この歌詞データをそのまま歌詞検索用データエリア145に記憶することができる。
さらにまた、マイクロフォン213から音声を入力する代わりに、キーボード18bから歌詞を入力して楽曲を検索することも可能である。
【0055】
また、特開2001−75985公報、特開平11−120198号公報にて出願公開されているように、マイクロフォン213から利用者のハミング等の音声を入力し、この音声から作成されたリズム、拍子からなるメロディデータとCD15aから作成されたメロディデータと比較することによって、所望の楽曲を検索することもできる。また、音声から抽出したメロディデータに曖昧さを付け加えて選出の範囲を広げてもよいし、音程やリズムの微妙な違いを吸収するアルゴリズムを用いた手法やAIの手法等を用いることもできる。
この場合にも、カラオケ用のMIDIデータがある場合には、このMIDIデータから容易にメロディデータを作成することができる。
また、利用者がマイクロフォン213から音声を入力する代わりに、電子楽器のキーボードから入力生成したMIDI形式のメロディ情報を入力するようにしてもよい。
【0056】
(2)上記実施形態においては、CD15aの楽曲データをハードディスク装置14に格納したが、楽曲再生装置1に通信インターフェース22を設け、インターネット等の通信回線23を介して、楽曲データ配信サービスを行っている業者のサーバである楽曲データ配信装置24から楽曲データおよびその関連情報を楽曲再生装置1へダウンロードしてもよい。CPU11は、ダウンロードした楽曲データを再生すると共に、ハードディスク装置14に楽曲データとその関連情報を格納する。
また、楽曲データについては上記実施形態と同様にCD15aからハードディスク装置14に格納し、その楽曲データに関する関連情報のみ楽曲データ配信装置24からダウンロードしてもよい。
【0057】
(3)上記実施形態においては、CD15aに格納されている楽曲データを再生したが、その他の記憶媒体に記憶されている楽曲データを用いてもよい。すなわち、CD15aの他にも、例えば、MD(Mini Disk)、LD(Laser Disk)、DVD(Digital Versatival Disk)またはFD(Floppy Disk)といった各種の記憶媒体を用いることができる。
【0058】
(4)上記実施形態においては、スキャナ16で楽曲再生装置1に画像データを取り込んだが、楽曲再生装置1に画像データを取り込む方法はこの方法に限定されず、例えば、コンピュータに取り込まれている画像を楽曲再生装置1に送信する、IrDA(Infrared Data Association)等の赤外線や無線機能を楽音再生装置1に設ける、画像データを供給しているサーバから画像データを通信回線23を介してダウンロードする等の方法がある。
【0059】
(5)上記実施形態においては、演奏した楽曲の楽曲データ及び関連情報はハードディスク装置14に保存したが、ハードディスク装置14に代えて、通信回線23を介して楽曲データの検索、配信サービスを行っているサーバに送信してもよい。
【0060】
(6)楽曲データの検索は、楽曲データに関する関連情報(文字情報)、音声、画像、センサ19によるAI手法等を複合的に組み合わせて行うことも可能である。
【0061】
(7)上記実施形態においては、再生する楽曲に対応する画像が複数ある場合には、一定時間毎に画像を切り換えて表示装置17に表示したが、全ての画像を表示装置17に縮小表示してもよい。
【0062】
(8)上記実施形態における画面構成は一例であり、例えば、関連情報入力・検索画面G2は、入力と検索を兼用せずに、別々の画面にすることもできる。また、複数の画面をウインドウ形式で1画面に表示してもよいし、表示装置を2台設けて1台を画像表示専用にしてもよい。
また、関連情報データベース141に設ける項目、データ構造、および検索条件の設定方法も、例えば履歴情報を別データベースとして設ける等、適宜変形可能である。
【0063】
(9)上記実記形態においては、再生した楽曲が既にハードディスク装置14に格納されているか否かを判定する方法として、再生したCD15aのTOC情報と、再生した楽曲の楽曲番号の双方をもつデータが、関連情報検索データベース141に存在するか否かによって判定した。しかし、TOC情報は、上述のようにトラック番号、演奏時間等、CD15aの内容に関する情報しか保持していないため、異なるCDが同一のTOC情報を保持している可能性もある。このため、演奏された楽曲がハードディスク装置14に格納されていないにもかかわらず、格納されたとみなされる場合も想定される。対応策として、ステップS6において既にハードディスク装置14に楽曲データが格納されていると判定された場合には、演奏した楽曲をハードディスク装置14に格納するか否かについて利用者に応答させるための確認メッセージを表示装置17に表示するしくみにしてもよい。
【0064】
(10)また、新しく楽曲データを入力する際に、予め既存の楽曲データからテンポやリズム、音色等をジャンル毎に分析しておき、その分析結果と新しく入力された楽曲データとを比較して、その結果最も近いジャンルのデータを入力しておくようにしてもよい。
【0065】
【発明の効果】
以上説明したように、本発明によれば、利用者が再生する楽曲を選択する負担を軽減することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態に係る楽曲再生装置の構成を示すブロック図である。
【図2】 同楽曲再生装置のハードディスク装置のデータエリア構成を示す図である。
【図3】 同楽曲再生装置のCDドライブに装填したCDに格納されている楽曲データを再生するときの動作を示すフローチャートである。
【図4】 同楽曲再生装置における割込処理のフローチャートである。
【図5】 同楽曲再生装置におけるメニュー画面の内容を示す図である。
【図6】 同楽曲再生装置における関連情報入力・検索画面の内容を示す図である。
【図7】 同楽曲再生装置における画像取込画面の内容を示す図である。
【図8】 同楽曲再生装置のハードディスク装置に格納されている楽曲データを再生するときの動作を示すフローチャートである。
【図9】 同楽曲再生装置における画像選択画面の内容を示す図である。
【符号の説明】
1 ・・・楽曲再生装置
11・・・CPU
12・・・ROM
13・・・RAM
14・・・ハードディスク装置(記憶装置)
15・・・CDドライブ
16・・・スキャナ
17・・・表示装置
18・・・入力装置
18a・・マウス
18b・・キーボード
19・・・センサ部
19a・・温度センサ
19b・・湿度センサ
19c・・体温センサ
19d・・脈拍センサ
20・・・サウンドシステム
201・・D/A変換器
202・・オーディオシステム
203・・スピーカ

Claims (8)

  1. 楽曲データを再生する楽曲データ再生手段と、
    前記楽曲データ再生手段で再生された前記楽曲データを記憶装置に記憶する楽曲データ記憶手段と、
    前記楽曲データ記憶手段で記憶された楽曲データに関する関連情報を前記楽曲データに関連づけて前記記憶装置に記憶する関連情報記憶手段と、
    ユーザの体温および脈拍を計測する計測手段と、
    前記計測手段により計測された体温と脈拍とに応じて前記関連情報を検索し、検索された関連情報に関連づけられた楽曲データを前記記憶装置から取得する楽曲データ検索手段と、
    前記楽曲データ検索手段で取得された楽曲データを再生する検索楽曲データ再生手段と、
    を具備することを特徴とする楽曲再生装置。
  2. 前記楽曲再生装置は、通信回線を介して楽曲配信装置と接続されており、前記楽曲データ再生手段に供給される楽曲データは、前記通信回線を介して前記楽曲配信装置より受信されることを特徴とする請求項1に記載の楽曲再生装置。
  3. 前記楽曲再生装置は、通信回線を介して楽曲配信装置と接続されており、前記楽曲データに関する関連情報は、前記通信回線を介して前記楽曲配信装置より受信されることを特徴とする請求項1または2に記載の楽曲再生装置。
  4. 前記楽曲データ検索手段は、前記楽曲データ検索条件として文字列が入力された場合に、前記文字列を基に前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報と関連づけられた楽曲データを前記記憶装置より取得することを特徴とする請求項1乃至3のいずれかに記載の楽曲再生装置。
  5. 前記楽曲データ検索手段は、前記楽曲データ検索条件として、利用者の感情情報が入力された場合に、前記利用者の感情情報に関連づけられた前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする請求項1乃至4のいずれかに記載の楽曲再生装置。
  6. 前記楽曲データ検索手段は、前記楽曲データ検索条件として、利用者の名前が入力された場合に、前記利用者の名前が入力された時点の時間帯および季節と合致する前記記憶装置に記憶された関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする請求項1乃至5のいずれかに記載の楽曲再生装置。
  7. 前記楽曲データ検索手段は、前記楽曲データ検索条件として画像データが選択された場合に、前記画像データに関連づけられた関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする請求項1乃至6のいずれかに記載の楽曲再生装置。
  8. 前記楽曲データ検索手段は、前記楽曲データ検索条件として音声情報が入力された場合に、前記音声情報から認識された歌詞情報に関連づけられた関連情報を検索し、前記検索された関連情報に関連づけられた楽曲データを前記記憶装置より取得することを特徴とする請求項1乃至7のいずれかに記載の楽曲再生装置。
JP2002160487A 2002-05-31 2002-05-31 楽曲再生装置 Expired - Fee Related JP3778134B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002160487A JP3778134B2 (ja) 2002-05-31 2002-05-31 楽曲再生装置
US10/447,116 US7295983B2 (en) 2002-05-31 2003-05-28 Musical tune playback apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002160487A JP3778134B2 (ja) 2002-05-31 2002-05-31 楽曲再生装置

Publications (2)

Publication Number Publication Date
JP2004005849A JP2004005849A (ja) 2004-01-08
JP3778134B2 true JP3778134B2 (ja) 2006-05-24

Family

ID=29561607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002160487A Expired - Fee Related JP3778134B2 (ja) 2002-05-31 2002-05-31 楽曲再生装置

Country Status (2)

Country Link
US (1) US7295983B2 (ja)
JP (1) JP3778134B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
EP1440402A1 (en) 2001-10-22 2004-07-28 Apple Computer, Inc. Intelligent synchronization for a media player
JP3879545B2 (ja) * 2002-03-12 2007-02-14 ヤマハ株式会社 楽曲再生制御装置、楽曲再生制御プログラムおよび記録媒体
US8150937B2 (en) 2004-10-25 2012-04-03 Apple Inc. Wireless synchronization between media player and host device
US7680849B2 (en) 2004-10-25 2010-03-16 Apple Inc. Multiple media type synchronization between host computer and media device
US20080086494A1 (en) * 2006-09-11 2008-04-10 Apple Computer, Inc. Transfer and synchronization of media data
US7956272B2 (en) * 2002-07-30 2011-06-07 Apple Inc. Management of files in a personal communication device
US7166791B2 (en) 2002-07-30 2007-01-23 Apple Computer, Inc. Graphical user interface and methods of use thereof in a multimedia player
US8797926B2 (en) 2004-06-04 2014-08-05 Apple Inc. Networked media station
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
US8443038B2 (en) 2004-06-04 2013-05-14 Apple Inc. Network media device
US10972536B2 (en) 2004-06-04 2021-04-06 Apple Inc. System and method for synchronizing media presentation at multiple recipients
US11314378B2 (en) 2005-01-07 2022-04-26 Apple Inc. Persistent group of media items for a media device
US7366887B2 (en) * 2005-07-11 2008-04-29 Lenovo (Singapore) Pte. Ltd. System and method for loading programs from HDD independent of operating system
WO2008075434A1 (ja) * 2006-12-21 2008-06-26 Pioneer Corporation 記録再生装置、記録再生方法、記録再生プログラム、および記録媒体
US8850140B2 (en) * 2007-01-07 2014-09-30 Apple Inc. Data backup for mobile device
US20080168525A1 (en) * 2007-01-07 2008-07-10 David Heller Background Data Transmission between Media Device and Host Device
US8631088B2 (en) 2007-01-07 2014-01-14 Apple Inc. Prioritized data synchronization with host device
JP4978239B2 (ja) * 2007-02-27 2012-07-18 株式会社Jvcケンウッド コンテンツ編集装置、方法及びプログラム
JP5141195B2 (ja) * 2007-11-09 2013-02-13 ソニー株式会社 情報処理装置、楽曲配信システム、楽曲配信方法およびコンピュータプログラム
JP5639437B2 (ja) * 2010-10-18 2014-12-10 富士通テン株式会社 メディア再生装置
WO2014006746A1 (ja) * 2012-07-06 2014-01-09 株式会社メディアシーク 音楽再生プログラム及び音楽再生システム
US9202520B1 (en) 2012-10-17 2015-12-01 Amazon Technologies, Inc. Systems and methods for determining content preferences based on vocal utterances and/or movement by a user
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US10783929B2 (en) 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US10614857B2 (en) 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
CN115691572B (zh) * 2022-12-30 2023-04-07 北京语艺星光文化传媒有限公司 一种基于内容智能识别的音频多功能刻录方法及***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8402095A (nl) * 1984-07-02 1986-02-03 Philips Nv Inrichting voor het weergeven van informatie van een registratiedrager.
JP2664395B2 (ja) 1988-02-25 1997-10-15 三洋電機株式会社 再生装置
JPH08147949A (ja) 1994-11-24 1996-06-07 Matsushita Electric Ind Co Ltd ディスクチェンジャー装置
US5751672A (en) 1995-07-26 1998-05-12 Sony Corporation Compact disc changer utilizing disc database
JPH10222178A (ja) 1997-02-04 1998-08-21 Brother Ind Ltd リクエストシステム
US6243725B1 (en) * 1997-05-21 2001-06-05 Premier International, Ltd. List building system
US5986979A (en) * 1997-10-16 1999-11-16 Delco Electronics Corporation Play list control method and system for
JPH11120198A (ja) 1997-10-20 1999-04-30 Sony Corp 楽曲検索装置
JP3945007B2 (ja) 1998-03-31 2007-07-18 ソニー株式会社 記録システムおよび記録方法
JP2000251382A (ja) 1999-02-26 2000-09-14 Kenwood Corp 再生装置
JP2000268545A (ja) 1999-03-17 2000-09-29 Toshiba Video Products Japan Kk 音声再生装置
JP2001075985A (ja) 1999-09-03 2001-03-23 Sony Corp 音楽検索装置
JP2001209586A (ja) * 2000-01-26 2001-08-03 Toshiba Corp コンピュータにおけるコンテンツ管理装置及びコンテンツ管理方法
JP3279304B2 (ja) * 2000-03-28 2002-04-30 ヤマハ株式会社 楽曲再生装置および楽曲再生機能を備える携帯電話装置
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2004005849A (ja) 2004-01-08
US20030225582A1 (en) 2003-12-04
US7295983B2 (en) 2007-11-13

Similar Documents

Publication Publication Date Title
JP3778134B2 (ja) 楽曲再生装置
JP4469891B2 (ja) 情報処理装置及び情報処理プログラム
KR100267663B1 (ko) 가라오께장치
JP4616337B2 (ja) 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法
US20050216257A1 (en) Sound information reproducing apparatus and method of preparing keywords of music data
JP3892410B2 (ja) 音楽データ選曲装置、音楽データ選曲方法、並びに、音楽データの選曲プログラムおよびそれを記録した情報記録媒体
JPH0535287A (ja) カラオケ音楽選択装置
JP2007306279A (ja) コンテンツマーキング方法、コンテンツ再生装置、コンテンツ再生方法、コンテンツマーキング用プログラムおよびコンテンツ検索用プログラム
JPH08306168A (ja) カラオケシステム
JP2009204936A (ja) カラオケ装置および予約曲検索方法
JP4330174B2 (ja) 情報選択方法及び情報選択装置等
JPH0411288A (ja) 楽曲検索機能付きカラオケ装置
US20080163299A1 (en) Information Selecting Method, Information Selecting Device and So On
JPH10124071A (ja) カラオケ装置
JP2002055993A (ja) 音楽再生装置
JPH1195761A (ja) カラオケ装置
JP3349589B2 (ja) カラオケ再生装置
JP2006313467A (ja) コンテンツ検索装置及びコンテンツ検索方法
JP2003085946A (ja) データ記録装置およびデータ記録再生装置
JP2004326907A (ja) オーディオ再生装置
JPH06119401A (ja) サウンドデータ関連情報表示システム
JP2000268541A (ja) 音楽ソフト自動分類装置
JPH06130982A (ja) 音楽再生装置
JPH0426899A (ja) カラオケ装置
JP4182751B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090310

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140310

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees