JP2010250023A - テキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラム - Google Patents

Abstract

【課題】コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行すること。
【解決手段】データ取得部２１が取得した楽曲データや歌詞データについて、リンク処理部２２が対応付けを行なう。対応するデータが存在しない場合、リンク処理部２２は、データ取得部２１に対応するデータを取得させて記憶部３０に記憶させ、楽曲データと歌詞データとを対応付ける。再生処理部２３が楽曲データを再生する場合、同期表示部２４が対応する歌詞データを読み出し、再生の進行に合わせて歌詞を表示する。
【選択図】図１

Description

本発明は、コンテンツデータとテキストデータとを対応付け、テキストデータに含まれるテキストを対応するコンテンツデータの再生の進行に合わせて表示するテキスト表示機能付情報処理装置、テキスト表示機能付情報処理装置のデータ取得方法およびデータ取得プログラムに関する。

従来、音楽や動画などのコンテンツデータの再生が利用されてきた。コンテンツデータの再生は、携帯電話装置やコンピュータ装置などの情報処理装置によって行なわれる。さらに、歌などのコンテンツデータでは、歌詞を文字情報（テキスト）として表示することが行なわれてきた。

特に、カラオケなど利用者自身による歌唱を前提としたサービスでは、歌の楽曲部分のデータと歌詞部分のデータとを予め組み合わせて作成したカラオケ用のコンテンツデータを用いることで、音楽の進行に合わせて対応する歌詞を表示することが行なわれてきた。

また、楽曲データとテキストデータとを同期して再生することで、カラオケと同様のサービスを提供することも考えられている。視聴用の楽曲データを配布するサービスは既に広まっているので、利用者は、楽曲データに対応する歌詞のテキストデータを別途用意すればよい。

しかし、楽曲データに対応するテキストデータを利用者自身が作成すると、作成にかかる負荷が高い。そこで、テキストデータを提供するサービスも考えられている。

特開２００６−１６３０８５号公報

情報処理装置がコンテンツデータとテキストデータとを同期して再生する場合、予め双方のデータを取得しておくことが好適である。情報処理装置がコンテンツデータもしくはテキストデータを再生しながら取得することとすると、データの取得が再生に追いつかず、コンテンツの再生やテキストの表示が途切れる可能性があるためである。特にコンテンツデータやテキストデータを通信によって取得する場合、通信が確立できなければコンテンツデータもしくはテキストデータが取得できず、同期再生ができないという問題が発生する。

開示の技術は、上記に鑑みてなされたものであって、コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行可能なテキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラムを提供することを目的とする。

本願の開示するテキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラムは、コンテンツデータやテキストデータを取得した際に取得したデータに対応する対応データを記憶部から検索し、記憶部に対応データが存在しない場合に当該対応データを取得して対応付けて保存する。

本願の開示するテキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラムによれば、コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行することができるという効果を奏する。

図１は、本実施例にかかるテキスト表示機能付情報処理装置である携帯電話装置の構成図である。 図２は、携帯電話装置１のハードウェア構成図である。 図３は、楽曲データと歌詞データの説明図である。 図４は、楽曲データの再生と歌詞データの同期表示についての説明図である。 図５は、歌詞の同期表示中における表示画面の具体例である。 図６は、リンク処理部２２による対応データの取得動作について説明するフローチャートである。 図７は、図６に示したダウンロードステップＳ１０５の詳細なフローチャートである。 図８は、ダウンロード可否判断を求める表示画面の一例である。 図９は、リンク可否判断を求める表示画面の一例である。 図１０は、ダウンロードが不可能であることを通知する表示画面の一例である。 図１１は、ダウンロードが可能になったことを通知する表示画面の一例である。 図１２は、同期表示部２４の処理動作を説明するフローチャートである。 図１３は、図１２に示した同期表示処理を詳細に説明するフローチャートである。

以下に、本願の開示するテキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

図１は、本実施例にかかるテキスト表示機能付情報処理装置である携帯電話装置の構成図である。図１に示した携帯電話装置１は、その内部に通信部１０、制御部２０、記憶部３０および入出力部４０を有する。

通信部１０は、外部の装置と通信し、楽曲などのコンテンツデータや歌詞などのテキストデータを取得する。以降、本実施例では、コンテンツデータとして楽曲データを用い、テキストデータとして歌詞データを用いて楽曲の再生に合わせて歌詞を順次表示する構成を例示して説明を行なう。

通信部１０は、ネットワーク３を介して楽曲提供サーバ４、歌詞提供サーバ５、歌詞付楽曲提供サーバ６と接続されている。ここでネットワーク３は、例えばインターネットなどである。携帯電話装置１とネットワーク３との接続は、例えば無線ＬＡＮ（Local Area Network）などを介してもよいし、携帯電話の接続業者が提供する携帯網を経由して接続してもよい。また、通信部１０は、パーソナルコンピュータ（ＰＣ）２と接続されている。携帯電話装置１とパーソナルコンピュータ２とは、例えばＵＳＢ（Universal Serial Bus ）やBluetoothなど任意の方式で接続することができる。

楽曲提供サーバ４、歌詞提供サーバ５、歌詞付楽曲提供サーバ６は、例えばＨＴＴＰ（HyperText Transfer Protocol）サーバやＦＴＰ（File Transfer Protocol）サーバである。楽曲提供サーバ４は、ネットワーク３を介して携帯電話装置１に楽曲データを提供する。歌詞提供サーバ５は、ネットワーク３を介して携帯電話装置１に歌詞データを提供する。歌詞付楽曲提供サーバ６は、ネットワーク３を介して携帯電話装置１に楽曲データと対応する歌詞データとを提供する。

パーソナルコンピュータ２は、携帯電話装置１に楽曲データや歌詞データを提供する。パーソナルコンピュータ２が提供する楽曲データや歌詞データは、ＣＤ（Compact Disc）などの記憶媒体から取得する、ネットワーク経由で取得する、ユーザ自身が作成する、などの方法によって得られたものである。

記憶部３０は、楽曲データや歌詞データを記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図１ではユーザが任意のデータを記憶させることのできる記憶部３０に楽曲データや歌詞データを記憶させた状態を示している。記憶部３０が記憶する他のデータについては図示および説明を省略する。また、歌い出しの前に歌詞表示させるずらしバッファを格納してもよい。このずらしバッファには、デフォルト値、またはユーザから指定された値が格納される。

入出力部４０は、ディスプレイ４１、スピーカ４２、操作キー４３などを含むユーザインターフェースである。なお、例示の他にタッチパネルディスプレイなど任意のユーザインターフェースを使用可能である。

制御部２０は、携帯電話装置１の動作を制御する制御部である。制御部２０は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、コンテンツデータとテキストデータの取り扱いに関係する処理部について説明を行なう。

制御部２０は、その内部にデータ取得部２１、リンク処理部２２、再生処理部２３、同期表示部２４、出力制御部２５を有する。

データ取得部２１は、通信部１０を介して外部から楽曲データや歌詞データを取得し、記憶部３０に格納する処理を行なう。リンク処理部２２は、楽曲データと歌詞データとを対応付ける処理を行なう。

再生処理部２３は、記憶部３０から楽曲データを読み出して再生する処理を行なう。具体的には、再生処理部２３は、コード化された楽曲データをデコードし、音データを出力制御部に送る。また、楽曲データに画像や動画が含まれている場合、再生処理部２３は、画像や動画を再生出力部２５に送る。加えて、再生処理部２３は、再生する楽曲データを識別する情報と、楽曲再生の進行状態とを同期表示部２４に出力する。

同期表示部２４は、再生処理部２３による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部２４は、再生処理部２３から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部３０から検索する。そして、同期表示部２４は、再生処理部２３による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部２４による表示は、具体的には、表示すべき歌詞フレーズを出力制御部２５に出力することで行なう。

出力制御部２５は、ディスプレイ４１の表示出力とスピーカ４２の音出力とを制御する制御部である。出力制御部２５は、再生処理部２３から出力された音をスピーカ４２から出力する。また、再生処理部２３から出力された画像や動画と同期表示部２４から出力された歌詞フレーズとを組み合わせてディスプレイ４１に表示する表示画面を作成する。なお、出力制御部２５は、携帯電話装置１の他の機能、例えば通話機能などから表示や音の出力要求が発生した場合に各種出力の競合の解決を行なうが、ここでは説明を省略する。

図２は、携帯電話装置１のハードウェア構成図である。携帯電話装置１では、ＵＳＢユニット１０ａ、無線ＬＡＮユニット１０ｂ、携帯網接続ユニット１０ｃ、ＣＰＵ（Central Processing Unit）２０ａ、メモリ２０ｂ、フラッシュＲＯＭ（Read-Only Memory）２０ｃ、ＳＤカードドライブ３０ａ、ディスプレイ４１、スピーカ４２、操作キー４３がバス１ａに接続されている。

ＵＳＢユニット１０ａ、無線ＬＡＮユニット１０ｂ、携帯網接続ユニット１０ｃは、通信部１０の機能を実現する。具体的には、ＵＳＢユニット１０ａは、パーソナルコンピュータ２とＵＳＢ接続を行なうインタフェースである。無線ＬＡＮユニット１０ｂは、無線ＬＡＮのアクセスポイントを介してネットワーク３に接続するインタフェースである。携帯網接続ユニット１０ｃは、携帯電話の接続業者が提供する携帯網に無線接続するインタフェースである。

ＣＰＵ２０ａ、メモリ２０ｂ、フラッシュＲＯＭ２０ｃは、制御部２０の機能を実現する。具体的には、ＣＰＵ２０ａは、フラッシュＲＯＭ２０ｃに格納された各種プログラムを読み出してメモリ２０ｂに展開し、順次実行することで制御部２０の各種機能を実現する。フラッシュＲＯＭ２０ｃは、その内部にデータ取得プログラム２１ａ、リンク処理プログラム２２ａ、再生処理プログラム２３ａ、同期表示プログラム２４ａ、出力制御プログラム２５ａを記憶する。

データ取得プログラム２１ａは、ＣＰＵ２０ａによって実行されることでデータ取得部２１の機能を実現する。リンク処理プログラム２２ａは、ＣＰＵ２０ａによって実行されることでリンク処理部２２の機能を実現する。再生処理プログラム２３ａは、ＣＰＵ２０ａによって実行されることで再生処理部２３の機能を実現する。同期表示プログラム２４ａは、ＣＰＵ２０ａによって実行されることで同期表示部２４の機能を実現する。出力制御プログラム２５ａは、ＣＰＵ２０ａによって実行されることで出力制御部２５の機能を実現する。

フラッシュＲＯＭ２０ｃのうちユーザによって任意に使用可能な領域と、ＳＤカードドライブ３０ａは、記憶部３０として機能する。なお、ここではＳＤカードを記憶部３０として利用する場合を例示したが、記憶部３０を実現する記憶媒体は任意のものを用いることができる。

図３は、楽曲データと歌詞データの説明図である。記憶部３０において、楽曲データと歌詞データとはレコードとして記憶される。各レコードは、カラムＣ１、Ｃ２、Ｃ３を有する。カラムＣ１はレコードを一意に特定する識別情報ＩＤを格納する。カラムＣ２は、楽曲データや歌詞データを格納する。楽曲データや歌詞データは、楽曲や歌詞自体のデータである本体データと、楽曲データや歌詞データに関する情報であるメタデータとを有する。

図３において、レコードＲ１は楽曲データである。楽曲データの本体データは、再生順序が定められた複数のフレームからなる。楽曲データのメタデータは、曲名、歌手、作曲者、演奏者、１フレームの時間長などの情報を有する。楽曲データのメタデータには、この他、楽曲のビットレートやコードに使用した規格など任意の情報を含めることができる。

図３においてレコードＲｎは歌詞データである。歌詞データの本体データは、歌詞のフレーズ群と各フレーズの表示タイミングを示す情報とを有する。歌詞データのメタデータは、曲名、歌手、演奏者などの情報を有する。曲名などが同一であっても、演奏者によって歌詞の各フレーズを表示するタイミングが変わる可能性がある。演奏者の情報をメタデータに含め、演奏者の情報を用いて楽曲データと歌詞データの対応付けを行なうことで、歌詞の表示タイミングを楽曲に合わせることができる。同様に、同一の楽曲であっても演奏によってたとえば演奏の長さなどが異なり、歌詞のフレーズを表示するタイミングが異なる場合には演奏時間や演奏日時などの情報を含める。楽曲データについては、演奏者の違いや演奏日時等の違い毎に個別の楽曲データとすればよい。歌詞のメタデータには、この他、作詞者など任意の情報を含めることができる。

カラムＣ３は、レコード間を対応付ける情報であるリンクＩＤを有する。リンクＩＤは、対応するレコードのＩＤである。レコードＲ１の楽曲データとレコードＲｎの歌詞データとを対応付ける場合、レコードＲ１のリンクＩＤとしてレコードＲｎのＩＤをカラムＣ３に格納する。同様に、レコードＲｎのリンクＩＤとしてレコードＲ１のＩＤをカラムＣ３に格納する。

図４は、楽曲データの再生と歌詞データの同期表示についての説明図である。図４に示した例では、楽曲の本体データは、１フレームの長さが１秒の複数のフレームである。また各フレームは再生順序が定められている。換言すれば、楽曲データの各フレームは、楽曲を１秒ごとに区切り、再生順序を示すフレーム番号を付したものである。楽曲の再生を開始すると、まずフレームＭ０１が出力される。このフレームＭ０１は１秒後に出力が終了する。つづいてフレームＭ０２、フレームＭ０３と連続するフレームが順次出力される。楽曲の再生は、最終フレームの出力終了時に終了する。

また、図４に示した例では、歌詞の本体データは、複数の歌詞フレーズと、各歌詞フレーズの表示開始時間とを有する。表示開始時間は、各歌詞フレーズを表示するタイミングを示す情報として機能する。各歌詞フレーズは、表示開始時間から次の歌詞フレーズの表示開始時間まで表示される。

図４に示した例では、楽曲の再生開始から４秒後に歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から１０秒後に歌詞フレーズｔｘｔ０１から歌詞フレーズｔｘｔ０２に書き換えられる。そして、楽曲の再生開始から１５秒後に歌詞フレーズｔｘｔ０２から歌詞フレーズｔｘｔ０３に書き換えられ、楽曲の再生開始から１９秒後に歌詞フレーズｔｘｔ０３から歌詞フレーズｔｘｔ０４に書き換えられる。歌詞フレーズの表示は、楽曲の再生終了に合わせて終了する。なお、歌詞フレーズの内容を空白とすることで、歌詞が表示されない状態が実現できる。また、楽曲中での歌い出しに先立って歌詞表示をおこなうためのずらしバッファが設定されていれば、ずらしバッファに設定された時間だけ歌詞の表示タイミングを早める。具体的には、歌詞フレーズの表示開始時間からずらしバッファに設定された時間を引いて得られた値に基づいて歌詞フレーズの表示タイミングを決定する。例えば、ずらしバッファに１秒が設定されていれば、図４に示した例では楽曲の再生開始から３秒後、Ｍ０４を読み出す時に各歌詞フレーズの表示開始時間から１秒差し引いたフレーズで、３秒に一番近いフレーズ、つまり、３．７０−１＝２．７０秒後に歌詞表示となる歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から９秒後、Ｍ１０を読み出す時、各菓子フレーズの表示開始時間から１秒差し引いたフレーズで、９秒に一番近いフレーズ、つまり９．４０−１＝８．４０秒後に歌詞表示となる歌詞フレーズｔｘｔ０２に書き換えられる。

再生処理部２３は、楽曲の再生開始時に再生する楽曲の識別情報ＩＤを同期表示部２４に通知する。そして再生開始後、再生処理部２３は、フレームの出力状況を同期表示部２４に通知する。

同期表示部２４は、再生処理部２３から通知された識別情報ＩＤをリンクＩＤとして持つレコードを検索する。再生処理部２３は、検索結果として得られたレコードを再生される楽曲データに対応する歌詞データとして読み出す。その後、同期表示部２４は、フレームの出力状況から再生の経過時間を算出し、算出した経過時間に基づいて歌詞フレーズを読み出す。

例えば、再生処理部２３から４番目のフレームであるフレームＭ０５を出力することを通知された場合、同期表示部２４は、フレーム番号「５」にフレーム長「１秒」を乗じ、フレームＭ０５が楽曲の４秒目からに相当することを認識する。そこで、同期表示部２４は、４秒に最も近い表示開始時間が指定された歌詞フレーズを読み出す。図４の例では、歌詞フレーズｔｘｔ０１の表示開始時間が３．７秒である。フレームＭ０５の出力開始時間が４秒であるので、同期表示部２４は、フレームＭ０５の出力開始時点で歌詞フレーズｔｘｔ０１を表示開始する。このため、歌詞フレーズｔｘｔ０１は楽曲の再生開始から４秒後に表示開始されることとなる。

図５は、歌詞の同期表示中における表示画面の具体例である。ディスプレイ４１の表示画面は、出力制御部２５が作成して表示する。表示画面は、装置状態表示エリア５１、主表示エリア５２、操作用エリア５３を有する。

装置状態表示エリア５１は、携帯電話装置１の状態を表示するエリアである。携帯電話装置１の状態は、例えばバッテリの充電状態、電波の受信状態などである。操作用エリア５３は、操作キー４３を操作した場合に実行される動作を表示することでユーザ操作を支援するエリアである。

出力制御部２５は、楽曲データを再生している場合に、主表示エリア５２に各種情報を表示する。具体的には、出力表示部２５は、機能名表示エリア６１、曲名表示エリア６２、歌手表示エリア６３、画像表示エリア６４、歌詞フレーズ表示エリア６５を主表示エリア５３内に作成する。

出力制御部２５は、音楽再生機能を実行中であることを機能名表示エリア６１に表示する。出力制御部２５は、楽曲データのメタデータから取得した曲名の情報を曲名表示エリア６２に表示する。出力制御部２５は、楽曲データのメタデータから取得した歌手の情報を歌手表示エリア６２に表示する。出力表示部２５は、楽曲データの画像を画像表示エリア６４に表示する。この楽曲データの画像とは例えば動画やジャケット写真などである。出力表示部２５は、同期表示部２３から指定された歌詞フレーズを歌詞フレーズ表示エリア６５に表示する。

対応する楽曲データと歌詞データとが記憶部３０に記憶されている状態であれば、楽曲の再生に合わせて歌詞を同期させて表示する同期再生を行なうことができる。一方、楽曲データや歌詞データを再生しながら取得することとすると、データの取得が再生に追いつかず、楽曲の再生や歌詞の表示が途切れる可能性がある。特に楽曲データや歌詞データを通信によって取得する場合、通信が確立できなければ楽曲データもしくは歌詞データが取得できず、同期再生ができない。

そこで、リンク処理部２２は、楽曲データや歌詞データのうち、対応するデータが記憶部３０に存在しない、すなわちリンクＩＤが設定されていない未リンクデータについて、対応するデータの取得を促す。未リンクデータの検索については、ユーザが指定したタイミングで実行してもよいし、新規に楽曲データや歌詞データを取得した場合に検索してもよい。

データ取得部２１が新規に楽曲データや歌詞データを取得した場合、データ取得部は取得したデータをレコードのカラムＣ２に格納する。また、取得したデータにＩＤを付与してカラムＣ１に格納する。さらに、データ取得部２１は、リンク処理部２２にデータの取得を通知する。このように新規のデータ取得時にリンク処理部２２に通知を行なうことで、リンク処理部２２による未リンクデータの検索を開始させることができる。

具体的には、リンク処理部２２はデータ取得部２１からの通知を受け、図６に示す処理動作を実行する。図６は、リンク処理部２２による対応データの取得動作について説明するフローチャートである。

リンク処理部２２は、まず取得データに対応する対応データを記憶部３０から検索する（Ｓ１０１）。対応データの検索は、リンクＩＤの有無による検索やメタデータによる検索などを用いることができる。

リンクＩＤの有無による検索では、リンク処理部２２は、リンクＩＤが設定されていないデータを対応データの候補とする。メタデータによる検索を行なう場合、データ取得部２１はデータの取得の通知とともに、取得データのメタデータをリンク処理部２２に通知する。リンク処理部２２は、取得データのメタデータに基づいて記憶部３０を検索し、曲名や歌手、演奏者などが一致するデータを対応データの候補とする。リンクＩＤが設定されておらず、かつ曲名や歌手、演奏者などが一致するデータを対応データ候補としてもよい。さらに、取得データが楽曲データである場合には歌詞データのみを候補とし、取得データが歌詞データである場合には楽曲データのみを候補としてもよい。

リンク処理部２２は、対応データの候補を表示し、ユーザによる選択入力に基づいて対応データを確定する。なお、リンクＩＤの有無やメタデータの比較などで楽曲データと歌詞データの対応が確定できる場合には、候補データの表示やユーザによる選択入力を省略するようにしてもよい。

取得データに対応する対応データが記憶部３０に存在する場合（Ｓ１０２）、リンク処理部２２は、後述するステップＳ１０６に移行する。一方、取得データに対応する対応データが記憶部３０に存在しない場合（Ｓ１０２，Ｎｏ）、リンク処理部２２は、対応データのダウンロード可否判断を求める（Ｓ１０３）。

図８は、ダウンロード可否判断を求める表示画面の一例である。図８に示した表示画面は、楽曲データの取得時に対応する歌詞データがない場合の例であり、主表示エリア５２にダウンロード可否判断表示７１を表示している。ダウンロード可否判断表示７１は、「対応する歌詞が見つかりません。歌詞をダウンロードしますか？」とのメッセージと「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。ユーザは操作キー４３の操作によって「はい」または「いいえ」を選択することができる。

ダウンロード可否判断について「いいえ」の操作入力を受けた場合、すなわち図６において対応データのダウンロードが許可されなかった場合（Ｓ１０４，Ｎｏ）、リンク処理部２２は処理を終了する。

一方、ダウンロード可否判断について「はい」の操作入力を受けた場合、すなわち図６において対応データのダウンロードが許可された場合（Ｓ１０４，Ｙｅｓ）、リンク処理部２２は、データ取得部２１に対応データをダウンロードさせる（Ｓ１０５）。

対応データのダウンロードの終了後、もしくは記憶部３０に既に対応データが存在する場合（Ｓ１０２，Ｙｅｓ）、リンク処理部２２は、取得データと対応データのリンク可否判断を求める（Ｓ１０６）。

図９は、リンク可否判断を求める表示画面の一例である。図９に示した表示画面は、主表示エリア５２にリンク可否判断表示７２を表示している。ダウンロード可否判断表示７２は、「楽曲データ７２ａと歌詞データ７２ｂをリンクしますか？」とのメッセージ、楽曲データと歌詞データの詳細情報の表示指示を受け付けるボタン画像、「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。７２ａと７２ｂは、ユーザがレコードを識別するための情報であり、メタデータの一部を使用すればよい。また、ユーザは、操作キー４３の操作によって詳細情報の表示指示を入力することで、楽曲データや歌詞データについて詳細な情報を表示させることができる。リンク処理部２２は、詳細情報の表示指示を受け付けた場合には、該当レコードのメタデータなどを表示する。また、ユーザは操作キー４３の操作によって「はい」または「いいえ」を選択することができる。

リンク可否判断について「いいえ」の操作入力を受けた場合、すなわち図６において取得データと対応データのリンクが許可されなかった場合（Ｓ１０７，Ｎｏ）、リンク処理部２２は処理を終了する。

一方、リンク可否判断について「はい」の操作入力を受けた場合、すなわち図６において取得データと対応データのリンクが許可された場合（Ｓ１０７，Ｙｅｓ）、リンク処理部２２は、取得データと対応データのリンクＩＤを更新して（Ｓ１０８）、処理を終了する。リンクＩＤの更新は、具体的には、取得データのカラムＣ３に対応データのＩＤをリンクＩＤとして書き込み、対応データのカラムＣ３に取得データのＩＤをリンクＩＤとして書き込む処理である。

図７は、図６に示したダウンロードステップＳ１０５の詳細なフローチャートである。データ取得部２１は、リンク処理部２２から対応データのダウンロードを指示されると、通信部１０の通信状態を取得する（Ｓ２０１）。

その結果、対応データのダウンロードが可能な通信状態であれば（Ｓ２０２，Ｙｅｓ）、データ取得部２２は対応データのダウンロードを実行する（Ｓ２０３）。その結果、対応データのダウンロードが完了したならば（Ｓ２０４，Ｙｅｓ）、データ取得部２１はダウンロードの完了をリンク処理部２２に通知して（Ｓ２０５）、処理を終了する。ダウンロードが完了していない場合（Ｓ２０４，Ｎｏ）、データ取得部２１は再びステップＳ２０１に戻って通信状態を取得する。

対応データのダウンロードが可能な通信状態でなければ（Ｓ２０２，Ｎｏ）、データ取得部２１は、リンク処理部２２にダウンロードが不可能であることを通知する（Ｓ２０６）。リンク処理部２２は、ダウンロードが不可能であることの通知を受け、ユーザにダウンロードが不可能であることを通知する。

図１０は、ダウンロードが不可能であることを通知する表示画面の一例である。図１０に示した表示画面は、主表示エリア５２にダウンロード不可能通知表示７３を表示している。ダウンロード不可能通知表示７３は、「通信環境が悪くダウンロードできません。ダウンロードができるようになればお知らせいたします。」とのメッセージを表示している。

ステップＳ２０６の後、データ取得部２１は、所定時間待機を行ない（Ｓ２０７）、再び通信部１０の通信状態を取得する（Ｓ２０８）。その結果、ダウンロードが可能な通信状態でなければ（Ｓ２０９，Ｎｏ）、データ取得部２１は、所定時間待機（Ｓ２０７）に戻る。

ステップＳ２０７における通信状態の取得の結果、ダウンロードが可能な状態になれば（Ｓ２０９，Ｙｅｓ）、データ取得部２１はダウンロードが可能になったことをリンク処理部２２に通知する（Ｓ２１０）。リンク処理部２２は、ダウンロードが可能になったことの通知を受け、ユーザにダウンロードが可能であることを通知する。

図１１は、ダウンロードが可能になったことを通知する表示画面の一例である。図１０に示した表示画面は、主表示エリア５２にダウンロード可能通知表示７４を表示している。ダウンロード可能通知表示７４は、「歌詞のダウンロードができるようになりました。ダウンロードしますか？」とのメッセージと、「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。ユーザは操作キー４３の操作によって「はい」または「いいえ」を選択することができる。

ダウンロード可能通知に対して「いいえ」の操作入力を受けた場合、すなわち図７においてダウンロードが指示されなかった場合（Ｓ２１１，Ｎｏ）、データ取得部２２は、所定時間待機し（Ｓ２０７）、その後、通信状態の取得（Ｓ２０８）に戻る。

一方、ダウンロード可能通知に対して「はい」の操作入力を受けた場合、すなわち図７においてダウンロードが指示された場合（Ｓ２１１，Ｙｅｓ）、データ取得部２２は対応データのダウンロードを実行する（Ｓ２０３）。

このように、リンク処理部２２が未リンクデータについて対応データをデータ取得部２１に取得させて対応付けを行なうことで、対応する楽曲データと歌詞データとを記憶部３０に記憶させることができる。なお、図６及び図７では、ダウンロード可否判断（Ｓ１０３）、リンク可否判断（Ｓ１０６）、ダウンロード指示（Ｓ２１１）についてユーザの確認入力を求める処理の例を示しているが、かかるユーザによる確認は省略することもできる。

つぎに、同期表示部２４の処理動作について説明する。図１２は、同期表示部２４の処理動作を説明するフローチャートである。同期表示部２４は、再生処理部２３から再生レコードのＩＤを取得し（Ｓ３０１）、取得したＩＤをカラムＣ３にリンクＩＤとして有する対応レコードを検索する（Ｓ３０２）。検索の結果、対応レコードが存在しない場合（Ｓ３０３，Ｎｏ）、同期表示部２４は、処理を終了する。

一方、対応レコードが存在する場合（Ｓ３０３，Ｙｅｓ）、同期表示部２４は対応レコードのカラムＣ２から歌詞データを読み出す（Ｓ３０４）。また、同期表示部２４は、再生レコードのＩＤに基づいて記憶部３０を検索し、再生レコードのメタデータからフレーム長を読み出す（Ｓ３０５）。同期表示部２４は読み出した歌詞データとフレーム長を用いて同期表示処理を実行し（Ｓ３０６）、処理を終了する。

図１３は、図１２に示した同期表示処理を詳細に説明するフローチャートである。同期表示処理部２４は、再生処理部２３から再生するフレームのフレーム番号を取得する（Ｓ４０１）。

表示処理部２４は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する（Ｓ４０２）。そして、表示開始時間がフレームの再生時間内に入る歌詞フレーズを検索する（Ｓ４０３）。

表示開始時間がフレームの再生時間内に入る歌詞フレーズが存在する場合（Ｓ４０４，Ｙｅｓ）、該当する歌詞フレーズを表示開始する（Ｓ４０５）。この表示開始時点で前の歌詞フレーズが表示中であれば、前の歌詞フレーズの表示を消去して更新する。

ステップＳ４０５の終了後、もしくは表示開始時間がフレームの再生時間内に入る歌詞フレーズが存在しない場合（Ｓ４０４，Ｎｏ）、同期表示部２４は、再生処理部２３による楽曲データの再生が全て終了したか否かを判定する（Ｓ４０６）。

楽曲データの再生が終了していなければ（Ｓ４０６，Ｎｏ）、同期表示部２４は、そのフレームが終了するまで待機して（Ｓ４０８）、再び再生するフレーム数を取得する（Ｓ４０１）。そして、楽曲データの再生が終了した場合（Ｓ４０６，Ｙｅｓ）に、同期表示部２４は、歌詞フレーズの表示を終了する（Ｓ４０７）。

図１３に示した処理動作では、同期表示部２４は出力されるフレームの番号に合わせて歌詞を表示する。そのため、楽曲の再生を早送りした場合や巻き戻した場合であっても対応する歌詞を正確に表示できる。

上述してきたように、本実施例では、携帯電話装置１は、楽曲データと歌詞データの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行することができる。また、通信状態に基づいて対応データの取得を制御することができる。

なお、本実施例はあくまで一例であり、開示の技術は適宜変更して実施可能である。例えば、本実施例では、記憶部３０に楽曲データと歌詞データの双方を記憶させる構成を例示したが、複数の記憶部に楽曲データと歌詞データを分散して記憶させてもよい。さらに、楽曲データを記憶する記憶部と歌詞データを記憶する記憶部とを分けてもよい。

また、本実施例では、楽曲データを取得した後に対応する歌詞データを取得する場合を例示したが、歌詞データを取得した後に対応する楽曲データを取得することもできる。また、一方のデータのメタデータを取得した時点で対応するデータを特定して取得することもできる。

また、歌詞付楽曲提供サーバ６のように対応する楽曲データと歌詞データとを共に提供可能である場合、データの提供側が対応するデータの有無を判定し、対応するデータを合わせて取得するように携帯電話装置１に促してもよい。

なお、対応するデータの取得先は同一である必要は無く、例えば楽曲データをパーソナルコンピュータ２から取得し、歌詞データを歌詞提供サーバ５から取得してもよい。

また、本実施例では、コンテンツデータの例として楽曲データ、テキストデータの例として歌詞データを示した。これはあくまで一例であり、コンテンツデータとしては時間経過に伴って出力が変化する任意のコンテンツを使用することができる。同様にテキストデータとしては、コンテンツデータの再生に合わせて表示内容が変化する任意のデータを用いることができる。さらに、コンテンツデータには音出力は必須ではなく、表示内容のみが時間変化するものであってもよい。

例えば、映画をコンテンツデータとし、字幕をテキストデータとして開示の技術を適用することができる。また、テロップなど文字情報が付された動画であってもよい。

さらに、本実施例ではコンテンツデータとテキストデータとが１対１に対応する場合を例示して説明を行なったが、コンテンツデータとテキストデータの対応は１対１に限定されるものではない。例えば、コンテンツデータが映画である場合、英語版字幕や日本語版字幕など複数のテキストデータを対応させることが有用である。また、同じ楽曲に異なる歌詞が存在する場合もある。同様に、曲調などのアレンジが異なる複数の楽曲データであっても、歌詞の内容と表示タイミングが同一であれば一つのテキストデータを複数の楽曲データに対応させることができる。

さらに、本実施例では、楽曲のフレームの出力タイミングに歌詞フレーズの表示タイミングを合わせる場合を例示したが、歌詞フレーズの表示開始時間と楽曲のフレームの出力タイミングの差を算出し、楽曲のフレームの出力タイミングから算出した時間分ずらして歌詞フレーズを表示することで、指定された表示開始時間に歌詞フレーズの表示を開始することもできる。

また、本実施例ではテキスト表示機能付情報処理装置の一例として携帯電話装置を示したが、パーソナルコンピュータなど任意の情報処理装置に開示の技術を適用することができる。さらに、開示の技術はデータ取得プログラム２１ａとリンク処理プログラム２２ａを含むプログラムとして提供することもできる。

１ 携帯電話装置
２ パーソナルコンピュータ
３ ネットワーク
４ 楽曲提供サーバ
５ 歌詞提供サーバ
６ 歌詞付楽曲提供サーバ
１０ 通信部
１０ａ ＵＳＢユニット
１０ｂ 無線ＬＡＮユニット
１０ｃ 携帯網接続ユニット
２０ 制御部
２０ａ ＣＰＵ
２０ｂ メモリ
２０ｃ フラッシュＲＯＭ
２１ データ取得部
２１ａ データ取得プログラム
２２ リンク処理部
２２ａ リンク処理プログラム
２３ 再生処理部
２３ａ 再生処理プログラム
２４ 同期処理部
２４ａ 同期表示プログラム
２５ 出力制御部
２５ａ 出力表示プログラム
３０ 記憶部
３０ａ ＳＤカードドライブ
４０ 入出力部
４１ ディスプレイ
４２ スピーカ
４３ 操作キー
５１ 装置状態表示エリア
５２ 主表示エリア
５３ 操作用エリア
６１ 機能名表示エリア
６２ 曲名表示エリア
６３ 歌手表示エリア
６４ 画像表示エリア
６５ 歌詞フレーズ表示エリア
７１ ダウンロード可否判断表示
７２ リンク可否判断表示
７３ ダウンロード不可能通知表示
７４ ダウンロード可能通知表示

Claims (5)

1. コンテンツデータとテキストデータとを対応付け、前記テキストデータに含まれるテキストを対応するコンテンツデータの再生の進行に合わせて表示するテキスト表示機能付情報処理装置であって、
   前記コンテンツデータ及び／又は前記テキストデータを取得するデータ取得部と、
   前記コンテンツデータ及び前記テキストデータを記憶する記憶部と、
   前記コンテンツデータと前記テキストデータの対応付けを行なうリンク処理部と
   を備え、
   前記データ取得部は、前記テキストデータおよび前記コンテンツデータを取得時、対応するデータが前記記憶部に存在しない未リンクデータについて、対応するデータを取得し、
   前記リンク処理部は、前記データ取得部によって取得されたデータを前記未リンクデータに対応させて前記記憶部に記憶させることを特徴とするテキスト表示機能付情報処理装置。
2. 前記データ取得部は外部装置と通信する通信部を介して前記コンテンツデータ及び／又は前記テキストデータを取得し、
   前記リンク処理部は前記通信部の通信状態に基づいて前記対応するデータの取得を制御することを特徴とする請求項１に記載のテキスト表示機能付情報処理装置。
3. 前記コンテンツデータは楽曲データであり、当該楽曲の歌手名、曲名、演奏者名、収録アルバム名のうち少なくともいずれかを格納可能なメタデータを有し、前記テキストデータは歌詞データであり、対応する楽曲の歌手名、曲名、演奏者名、収録アルバム名のうち少なくともいずれかを格納可能なメタデータを有し、前記リンク処理部は、前記コンテンツデータのメタデータと前記テキストデータのメタデータとを比較して前記コンテンツデータと前記テキストデータとの対応付けを行なうことを特徴とする請求項１または２に記載のテキスト表示機能付情報処理装置。
4. コンテンツデータとテキストデータとを対応付け、前記テキストデータに含まれるテキストを対応するコンテンツデータの再生の進行に合わせて表示するテキスト表示機能付情報処理装置によるデータ取得方法であって、
   前記コンテンツデータ及び／又は前記テキストデータを取得するステップと、
   前記取得したデータに対応する対応データを記憶部から検索するステップと、
   前記記憶部に前記対応データが存在しない場合に当該対応データを取得するステップと、
   前記コンテンツデータ及び／又は前記テキストデータを取得するステップによって取得したデータと、前記検索の結果として得られた対応データもしくは前記対応データを取得するステップで取得されたデータとを対応付けて保存するステップと
   を含んだことを特徴とするデータ取得方法。
5. コンテンツデータとテキストデータとを対応付け、前記テキストデータに含まれるテキストを対応するコンテンツデータの再生の進行に合わせて表示するテキスト表示機能付情報処理装置にデータを取得させるデータ取得プログラムであって、
   前記コンテンツデータ及び／又は前記テキストデータを取得する手順と、
   前記取得したデータに対応する対応データを記憶部から検索する手順と、
   前記記憶部に前記対応データが存在しない場合に当該対応データを取得する手順と、
   前記コンテンツデータ及び／又は前記テキストデータを取得する手順によって取得したデータと、前記検索の結果として得られた対応データもしくは前記対応データを取得する手順で取得されたデータとを対応付けて保存する手順と
   をテキスト表示機能付情報処理装置に実行させることを特徴とするデータ取得プログラム。

Images