JP2010193062A - 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 - Google Patents
映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 Download PDFInfo
- Publication number
- JP2010193062A JP2010193062A JP2009033966A JP2009033966A JP2010193062A JP 2010193062 A JP2010193062 A JP 2010193062A JP 2009033966 A JP2009033966 A JP 2009033966A JP 2009033966 A JP2009033966 A JP 2009033966A JP 2010193062 A JP2010193062 A JP 2010193062A
- Authority
- JP
- Japan
- Prior art keywords
- video
- music
- playback
- data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】 同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる楽曲映像再生プログラム、楽曲映像再生装置、及び楽曲映像再生方法を提供する。
【解決手段】 第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、接触センサ部への接触が検知されたことに基づいて、楽曲データの再生位置に応じて決定された再生開始位置から第２の映像データの再生を開始し、第１の映像データを用いた映像の再生状態から、第２の映像データを用いた映像の再生状態に切り替える。
【選択図】 図１
【解決手段】 第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、接触センサ部への接触が検知されたことに基づいて、楽曲データの再生位置に応じて決定された再生開始位置から第２の映像データの再生を開始し、第１の映像データを用いた映像の再生状態から、第２の映像データを用いた映像の再生状態に切り替える。
【選択図】 図１
Description
この発明は、楽曲及び映像を再生する映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関し、より詳しくは、少なくとも液晶などの表示装置とイヤホンジャックなどの音声出力インターフェースやスピーカを備え、表示装置に表示された画像を、重ねられたタッチパネル越しにタッチすることを契機として、前記表示装置に表示された映像が他の映像と切り替わるような映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関する。更に、前述した前記表示装置に表示する映像を切り替える場合に、インターネット等のネットワークに接続し、外部のサーバからダウンロードするネットワークに接続された映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関する。
（楽曲の媒体販売からダウンロード販売への変遷）
従来、楽曲は、レコードの時代からカセットテープの時代、更には、ＭＤやＣＤ、レーザディスクの時代を経て、最近では、ハードディスクにＣＤやダウンロードした楽曲を一旦蓄えておいて、この蓄えた楽曲データを選択して随時再生するようにしてきていた。
従来、楽曲は、レコードの時代からカセットテープの時代、更には、ＭＤやＣＤ、レーザディスクの時代を経て、最近では、ハードディスクにＣＤやダウンロードした楽曲を一旦蓄えておいて、この蓄えた楽曲データを選択して随時再生するようにしてきていた。
また、１９７０年代に一斉を風靡したソニー社のウォークマン（登録商標）から、アップル社のｉＰｏｄ（登録商標）へと、持ち運び自在なポータブルプレーヤは変遷してきている。この要因として、近年、楽曲を記憶する媒体として、バックアップ電源不要なフラッシュメモリが低価格化していることや、万民がインターネットを利用できる環境が整備されてきたことなどが掲げられる。
ところで、上述したｉＰｏｄ内のメモリに楽曲データを記憶させる方法は、主に、以下のような２つの方法がある。第１の方法は、まず、ユーザが楽曲ＣＤを購入し、次いで、変換用のソフトウエアを用いて、楽曲ＣＤの楽曲をデータ化してパソコン内のハードディスクに記憶させ、パソコンにＵＳＢ接続されたｉＰｏｄのメモリに記憶させるものである。
また、第２の方法は、インターネット等の通信回線を通じて、パソコンと、外部のｉＰｏｄ用の楽曲ダウンロードサイトとを接続し、パソコン上のキーボード操作によって、複数の楽曲データの中から購入したい楽曲データを選択し、当該楽曲データごとに予め設定された金額を、電子マネーやカード決済を行うことを条件として、パソコン内のハードディスクに購入した楽曲データをダウンロードし、その後、ＵＳＢのケーブルでｉＰｏｄとパソコンを接続した状態で、ダウンロードした楽曲データをｉＰｏｄのメモリに転送するものである。
一般的に、ｉＰｏｄのメモリに楽曲データを転送するには、ｉＴｕｎｅｓというソフトウエアが利用される。また、他のメーカが製造販売しているポータブルプレーヤ、これも内部に半導体メモリを備え、当該半導体メモリ内に楽曲データを記憶させる形態のプレーヤであり、このようなポータブルプレーヤを使用する場合には、各メーカが予め用意したそれぞれの専用ソフトが利用されることが多い。
（楽曲を用いたゲームプログラム）
本発明の発明者は、本発明を創作した際に、画面をタッチすることで映像や楽曲が切り替わるものが既に出願されていないかと調査した。
本発明の発明者は、本発明を創作した際に、画面をタッチすることで映像や楽曲が切り替わるものが既に出願されていないかと調査した。
その結果、動画を触ると音が変化するといった内容のゲームプログラムが開示されているものがヒットした（例えば、特許文献１参照）。
また、従来は一律のムービを表示するだけであったが、これを、ムービ再生中にプレーヤが操作すると予め用意された複数のムービに変化するようにすることを提案したものがヒットした（例えば、特許文献２参照）。
上述した特許文献２で提示されるムービの切り替えは、ロールプレイングゲーム、シミュレーションゲーム、アクションゲームなどの様々なゲームにおいて、ゲームソフトウェアを起動した直後、ストーリ進行上の重要な場面になると、予め用意された綺麗な画像データを連続的に動画（ムービ）としてディスプレイに表示するようになっているが、このムービに適用することが提案されている。そして、特許文献２の段落番号００４８には、「複数のムービデータの全てを随時フレーム画像として生成しておき、ディスプレイに出力するフレーム画像を選択することで表示画像を変更するようなものであってもよい」と記載されている。
上述した第１の方法及び第２の方法の何れの方法であっても、ｉＰｏｄ等のポータブルプレーヤのメモリに好みの楽曲データを記憶させることができるが、第２の方法を用いた場合には、楽曲データのダウンロードと共に、その楽曲データと同期して再生される映像データや、アルバムジャケットのようなタイトル画像データも、ダウンロードできることが多い。このため、ｉＰｏｄ Ｔｏｕｃｈのように、楽曲再生機能だけでなく映像データを表示できる表示装置を備えるものならば、楽曲データと関連する映像を表示装置に表示できるが、このような表示装置への表示は、第２の方法で購入した楽曲データの場合のみとなってしまう。
また、パソコンや携帯電話においても、ムービや楽曲を選択させる場合に、上述したようなアルバムジャケットのような楽曲を代表する画像やアイコンなどを表示して、画像やアイコンを選択することで、ムービや楽曲を選択させる方法が、ポピュラーとなりつつある現状に鑑みれば、上述した第２の方法は、今後、より一般的になるものと予測される。
さらに、今までのように、ＣＤなどの物理的な記録媒体を販売する形態から、物理的な記録媒体を介さずに、インターネット等の通信回線を通じて、いつでも何処からでも、パソコン等を用いて、楽曲ダウンロードサイトからダウンロードの形態で購入するようになってきたことも要因となり、ユーザが所望する楽曲データのみを個別に単独で購入できるようになってきている。このような購入形態の場合には、今までのように複数の楽曲が記憶されたＬＰやシングルでないＣＤアルバムを購入する場合に比べて、欲しいと思う楽曲データのみを購入するので、安価に購入できる反面、販売する側からすると、今まで抱き合わせ販売的に販売できた楽曲を売ることができず、宣伝をした楽曲のみが売れて、宣伝しない楽曲は売れないという問題、言い換えると、宣伝しなければ良い楽曲であってもなかなか売れないといった新たな問題が発生してきた。
また、今までは、楽曲コンテンツという商品は、楽曲だけで販売するものであったが、最近では、マイクロＳＤカードなどのメモリカードであっても、安価に大容量化できつつあるため、楽曲と映像とをリンクさせた楽曲コンテンツとして販売されるようになってきている。つまり、耳で楽曲を聞くだけではなく、目も使用して映像を視聴するようになってきており、楽曲コンテンツは従来のように楽曲だけで販売される形態から楽曲と映像とが一緒になって販売される形態となってきている。
この発明の第１の目的は、同じ楽曲であっても２度、３度と、複数回ダウンロードして、メモリに記憶させて購入したいという欲求を使用者に与えることができるような楽曲コンテンツ再生のための再生プログラムを提供することにある。
また、この発明の第２の目的は、従来の楽曲を単に再生するという感覚から、ザッピング視聴を可能にする再生プログラムを提供することにある。ここで言うザッピング（Zapping）とは、テレビ視聴において、リモコンでチャンネルを頻繁に切り替えながら視聴する行為に似た行為で、ユーザの操作に応じて楽曲や映像を切り替えて視聴する行為をいう。
特許文献１と特許文献２とを本明細書に従来技術として掲げたのは、その解決課題や目的に関して、本発明とは以下に説明するように全く異にするものであるが、構成的に類似した点があると判断されることを未然に防止して、予め先行技術として掲げることで事前に差異を明確にしたいとの考えによるものである。
特許文献１には、前述したように動画を触ると音が変化するといった内容のゲームプログラムが開示されている。しかしながら、上記第１の目的として掲げたような、楽曲コンテンツを２度、３度と購入意欲をわかせるように促すようにしたり、第２の目的に掲げたように、楽曲を聴きながらザッピング行為を行わせることが可能なように、楽曲視聴に新たな楽しみを付加したりする点は、開示も示唆もされていない。特許文献１は、ゲーム画面に表示される動画を触ると音声が変化するという、いわば全く異なる技術分野の発明である。
したがって、楽曲の再生と映像の再生とをリンクさせる再生リンクに関する構成が全く開示されていない。再生リンクは、楽曲が再生されている状態で、映像を切り替える場合に、楽曲とミスマッチングする映像再生位置から、映像が再生されないようにするために参照する情報である。この発明では、楽曲とミスマッチングする映像再生位置から、映像が再生されないようにすることが、楽曲コンテンツで重要な要素となるので、切り替える際に、どのように楽曲の再生位置とマッチングした再生位置から他の映像を再生するかの制御を、再生リンク用いて行うことができる。
特許文献２には、ストーリ進行上で重要な場面の動画（ムービ）をプレーヤの操作で変化させるものであるが、その性質上、ゲームのストーリに沿ったものを予め用意しておくもので、ストーリから逸脱したようなものは予め用意されていないと推定できる。更に、このようなプログラムにすることは、同じゲームソフトを購入させるためになされたものではなく、本発明の目的である楽曲コンテンツを２度、３度と購入させたり、第２の目的に掲げたように、楽曲を聴きながらザッピング行為を行わせることが可能なように、楽曲視聴に新たな楽しみを付加したりする点は開示も示唆もされていない。
また、特許文献２のムービ再生時には、何らかの楽曲が再生されているのであろうが、この点についても明確な開示がないことから、つまり、映像と楽曲のリンクに対する記載が存在しない。したがって、映像を切り替える場合に、再生楽曲と映像のミスマッチングがないようにするために、どのようにして切り替えるかについての問題意識が開示も示唆もされていない。
以上の第１と第２の目的が本発明の主たる目的であって、同じ楽曲であっても、その映像の変更や変化によって、追加的な購入意欲を彷彿させるものであるが、この目的に付随して発生する以下のような新たな問題から、更に、本発明には、上述した第１及び第２の目的に加えて追加的な目的も有する。
（同じ楽曲に付随する映像を異なるものとした形態で販売する場合の販売形態の工夫）
従来、一般的な楽曲を購入する理由として掲げられるのが、テレビ番組のアニメやドラマの主題歌や、コマーシャルに付随してした歌や曲を、歌番組等で聞いた時に気に入ったので購入したとか、その歌手が好きで、とにかく新しい楽曲が発売されると購入するといったケースが多いと考えられる。
従来、一般的な楽曲を購入する理由として掲げられるのが、テレビ番組のアニメやドラマの主題歌や、コマーシャルに付随してした歌や曲を、歌番組等で聞いた時に気に入ったので購入したとか、その歌手が好きで、とにかく新しい楽曲が発売されると購入するといったケースが多いと考えられる。
しかしながら、本発明の発明者が考えるように、同じ楽曲を付帯する映像のバリエーションによって何度も購入させようとする場合、新たに発生する問題として想定されるものは、今までのように楽曲が気に入ったので購入するといったユーザに対して、その楽曲に付帯することになる多種類の映像を、どのようにしてアピールするかである。例えば、「今回の映像は、これまでに楽曲に付帯されていたものに比べて変わっています。」といった程度のようなアピールでは、新たに購入しようとするという意識や意欲が、ユーザに芽生えない可能性がある。
この問題を解消するために、本発明者は、試用期間を作るという観点と、映像自体を予め作成して販売側が楽曲とセットにして販売するのではなく、映像と楽曲とを分離して安価に販売する観点とに着目した。後者の観点は、上記問題を金銭的な観点から解消しようとするものである。
例えば、前者の観点の場合には、購入してからの使用状態を制限し、使用期間を経過しても欲しいというユーザに対して課金を行うというアプローチや、同様に使用状態を制限するが、試用期間の費用を広告主に支払ってもらうといったアプローチを想定した。何れの場合も、従来のように、製作者側で、楽曲にマッチングしていると考える映像を予め用意する手法である。
この手法とは別のアプローチとして、楽曲とユーザの所持する映像とを適宜にリンクさせることが可能なように構成し、様々な楽曲と映像とをリンクさせて同期させることがユーザライクで製作できるようにするものがある。つまり、楽曲に対して、映像とのリンク製作プログラムを付帯して販売することも別のアプローチとして想定した。この楽曲に付帯する映像とのリンク製作プログラムを用いて、ユーザは好みの映像を楽曲に対してリンクさせてオリジナル楽曲コンテンツを製作できるようにするのである。
後述する実施例に示すように、一つの楽曲に対してリンクさせることが出来る映像の数を、例えば、４つとしたときには、４つの作業用メモリに映像を順次に書き込みディスプレイへ出力するように構成し、この作業用メモリに書き込む映像をユーザが作ったもので製作させるようにするのである。そして、オリジナル楽曲コンテンツを競わせるようにすれば、一種類の楽曲に対して、複数のオリジナル楽曲コンテンツを作るといった楽しみができて、何度も楽曲コンテンツを購入してもらえる可能性が出てくると考えた。
この発明は、上記第１と第２の目的を達成し、且つ、それに伴い発生する様々な問題を様々アプローチで解消するために技術的な創作によってなされた、全く新規な楽曲映像再生プログラム及び楽曲映像再生装置、並びにネットワークに接続された楽曲映像再生プログラム及び楽曲映像再生装置を提供する。
本発明は、上述の点に鑑みてなされたものであり、その目的とするところは、同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる楽曲映像再生プログラム、楽曲映像再生装置、及び楽曲映像再生方法を提供することにある。
第１の発明は、
（ａ） 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第１の映像を再生する処理と、
（ｂ） 前記第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第１の映像データとは異なる第２の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
（ｃ） 前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記（ｂ）の処理によって決定された再生開始位置から前記第２の映像データの再生を開始し、前記第１の映像データを用いた映像の再生状態から、前記第２の映像データを用いた映像の再生状態に切り替える処理と、を実行する。
（ａ） 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第１の映像を再生する処理と、
（ｂ） 前記第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第１の映像データとは異なる第２の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
（ｃ） 前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記（ｂ）の処理によって決定された再生開始位置から前記第２の映像データの再生を開始し、前記第１の映像データを用いた映像の再生状態から、前記第２の映像データを用いた映像の再生状態に切り替える処理と、を実行する。
この発明によれば、第１の映像データを用いた映像から第２の映像データを用いた映像に切り替える場合に、再生される楽曲データの再生位置に応じた第２の映像データの再生開始位置を決定するようにしているので、第２の映像データによる再生映像と進行中の楽曲とがミスマッチングするなどの恐れを低減できる。例えば、この構成の発明の場合には、第１の映像データが、楽曲を歌っているミュージシャンの映像であるとした場合、第２の映像データがそのミュージシャンの服装やバック装飾の異なる映像であるとする。この場合、第１の映像データの映像から第２の映像データの映像に切り替える際に、その映像再生位置を常に冒頭から再生するとしたときには、楽曲データの再生による楽曲を歌う音声と、口の動きを示す映像とが合致しないなどの違和感が出るが、この発明によればこのような問題を回避することができる。
なお、映像の切り替えは、割り込み処理によって実行され、第１の映像は、表示部のディスプレイで再生されないが、第１の映像データの処理は、継続するように構成することが好ましい。例えば、第１の映像データの読み込みやメモリへの展開などの処理は、ディスプレイで再生されていない場合でも継続する。このように処理を継続することによって、再生される映像を、元の第１の映像データに戻す切り替えを行う場合であっても、映像と楽曲とが、シンクロ（同期）していないような状況を回避できる。
なお、上述した記憶部は、ダウンロード再生する場合においても、ストリーミング再生する場合であっても、楽曲コンテンツデータを記憶できるものであればよい。
さらに、
前記楽曲の再生の開始から終了に至るまでの複数の再生位置を示す楽曲再生位置情報と、
前記映像の再生の開始から終了に至るまでの複数の再生位置を示す映像再生位置情報と、を含む再生リンクデータを記憶する記憶部を有し、
前記再生リンクデータは、少なくとも１つの前記楽曲再生位置情報に対応づけて、映像を識別するための映像識別情報と、前記映像の映像再生位置情報とからなるものが好ましい。
前記楽曲の再生の開始から終了に至るまでの複数の再生位置を示す楽曲再生位置情報と、
前記映像の再生の開始から終了に至るまでの複数の再生位置を示す映像再生位置情報と、を含む再生リンクデータを記憶する記憶部を有し、
前記再生リンクデータは、少なくとも１つの前記楽曲再生位置情報に対応づけて、映像を識別するための映像識別情報と、前記映像の映像再生位置情報とからなるものが好ましい。
ここで、「再生位置」とは、再生している場所を特定することができるものであればよく、再生時間や再生時刻で定めても、楽曲データや映像データのフレーム数で定めてもよい。また、「少なくとも１つの前記楽曲再生位置情報」であればよく、全ての楽曲再生位置情報について再生リンクデータを定めておく必要はない。
さらにまた、
前記第１の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第１の映像データの再生するとともに、
前記第２の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第２の映像データの再生するものが好ましい。
前記第１の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第１の映像データの再生するとともに、
前記第２の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第２の映像データの再生するものが好ましい。
上述した第１の発明に加え、第２の発明は、
前記第２の映像データを用いた映像の再生が終了した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を実行する。
前記第２の映像データを用いた映像の再生が終了した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を実行する。
すなわち、第２の映像データによる再生が終了した場合には、第１の映像データを用いた映像に自動的に切り替える機能を有する。これによれば、例えば、アーティストが歌っている映像が第１の映像データに基づいて再生されている場合、アーティストの顔の部分をタッチすると、その顔の部分が拡大する映像が第２の映像として表示され、第２の映像の再生が終了し顔の部分の映像の再生が終了すると、前の第１の映像が自動的に再生されるように構成するようにしてもよい。この場合、第２の映像の再生が終了した段階での第１の映像を再生する再生位置は、楽曲再生の進捗状況に応じて予め定められた再生位置から再生されるように構成するとよい。
この場合も、第２の映像の再生中も、第１の映像の映像データの処理、読み込みやメモリへの展開などの処理を継続しておき、ディスプレイに表示する映像を第２の映像から第１の映像に切り替える切り替えスイッチを作用させるものでもよい。また、第２の映像の再生中には、第１の映像の映像データの処理、読み込みやメモリへの展開などの処理を中断するようにしてもよい。このようにしたときには、第１の映像の映像データの処理が不要になるため、ＣＰＵへの負担が軽減できる可能性が出てくる利点がある。
さらに、
前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたときに、次の再生位置における前記楽曲再生位置情報が存在しない場合には、前記楽曲再生位置情報が存在する再生位置まで、前記第１の映像データの再生するものが好ましい。
前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたときに、次の再生位置における前記楽曲再生位置情報が存在しない場合には、前記楽曲再生位置情報が存在する再生位置まで、前記第１の映像データの再生するものが好ましい。
さらにまた、
前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第２の映像データを用いて映像を再生したときには、前記第１の映像データの読み込みを中断し、
次いで、前記第２の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第１の映像データを用いて映像を再生するときには、前記楽曲再生位置情報が存在する再生位置から前記第１の映像データの読み込むものが好ましい。
前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第２の映像データを用いて映像を再生したときには、前記第１の映像データの読み込みを中断し、
次いで、前記第２の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第１の映像データを用いて映像を再生するときには、前記楽曲再生位置情報が存在する再生位置から前記第１の映像データの読み込むものが好ましい。
第１の発明に加えて、第３の発明は、
前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第１の映像データを用いた映像の再生に切り替える。
前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第１の映像データを用いた映像の再生に切り替える。
さらに、計時が開始されてから、予め設定された時間に至るまでの間に、予め設定されたキーコードが入力されたことを条件として、計時を中止する処理をコンピュータに実行させる制御を行うものが好ましい。
第１の発明に加えて、第４の発明は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第２の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶する処理と、
前記第２の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのＩＤコードと、楽曲コンテンツの識別コードとを送信する処理と、
送信された前記決済許可データと前記ユーザのＩＤコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第２の映像データを用いた映像を継続的に再生する処理と、を実行する。
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第２の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶する処理と、
前記第２の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのＩＤコードと、楽曲コンテンツの識別コードとを送信する処理と、
送信された前記決済許可データと前記ユーザのＩＤコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第２の映像データを用いた映像を継続的に再生する処理と、を実行する。
上述した真性キーコードは、楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられたコードである。また、決済要求情報は、第２の映像データを用いた映像を継続的に再生するための決済を要求する情報である。
上述した第３と第４の発明によれば、第２の映像を時限的に見ることを制限し、ユーザが吟味して購入するなどの試聴を可能とする一方、楽曲コンテンツを販売する側からすると、料金を支払わないで未来永劫試聴されてしまうといった経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することができる。
第１の発明に加えて、第５の発明は、
前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する。
前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する。
接触センサ部への接触回数は、楽曲コンテンツデータを記憶する同一の記憶部でもよいし、物理的に分離した記憶部でもよい。この第５の発明によれば、上述した第３と第４の発明のような計時方式から接触回数で試聴を制限することによって、試聴をする内部時計を狂わせて不正に試聴時間を長期化させるなどの虞を低減することができる。
第１の発明に加えて、第６の発明は、
前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記第１の映像データを用いた映像の再生や、前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する。
前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記第１の映像データを用いた映像の再生や、前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する。
すなわち、記憶部に記憶した第１の映像や第２の映像を再生する場合に、広告データを付加して表示しておき、広告データごとに設定された接触回数に達すると映像の再生を不能にするようにコンピュータを制御する。
第６の発明によれば、広告データごとに広告主から広告料を予め徴収し、その広告料に応じて設定された接触回数だけ第１の映像と第２の映像の再生や切り替えが行えるように設定することが可能であるから、例えば、テレビコマーシャルのような楽曲コンテンツをユーザに無料で配信して、宣伝効果を上げることができるとともに、広告料に応じて楽曲コンテンツの再生を制限できるので、著作権保護が寄与できる可能性がある。
第１の発明に加えて、第７の発明は、
前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記第１の映像データを用いた映像の再生、又は前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する。
前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記第１の映像データを用いた映像の再生、又は前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する。
第７の発明によれば、広告データの識別番号に対しての累積表示回数を、通信インターフェースを介して外部の広告実績データ処理装置としてのデータ収集サーバなどに送信することによって、例えば、そのデータ収集サーバ内において、前記累積表示回数に応じた広告料を演算し、広告主から演算結果に応じた広告料を徴収することができるし、また、広告主に実際広告した回数を数字として報告するなどの様々な広告効果表示データとして、外部の広告実績データ処理装置内で利用することができる。
第１の発明に加えて、第８の発明は、
前記映像には、前記ディスプレイに表示可能な少なくとも１つのオブジェクトが含まれており、
前記少なくとも１つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、が前記記憶部に記憶されており、
前記少なくとも１つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも１つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える。
前記映像には、前記ディスプレイに表示可能な少なくとも１つのオブジェクトが含まれており、
前記少なくとも１つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、が前記記憶部に記憶されており、
前記少なくとも１つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも１つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える。
第１の発明に加えて、第９の発明は、
所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択し、
選択された映像データを前記記憶部に記憶させる。
所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択し、
選択された映像データを前記記憶部に記憶させる。
第１の発明に加えて、第１０の発明は、
前記複数のパターンの映像のうちの少なくとも１つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードし、
ダウンロードした映像データを前記ディスプレイで再生する。
前記複数のパターンの映像のうちの少なくとも１つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードし、
ダウンロードした映像データを前記ディスプレイで再生する。
同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる。
以下に、本発明の実施例について図面に基づいて説明する。以下では、本発明の実施例として、通信可能な携帯型の映像再生及び楽曲再生可能な装置（以下、映像楽曲再生装置と称する。）を示すが、通信可能な携帯端末装置（ＰＤＡ（個人情報端末））や、映像再生可能及び楽曲再生可能な携帯電話や、通信可能で映像再生可能及び楽曲再生可能なコンピュータでもよい。いずれにしても、楽曲データを用いた楽曲の再生を制御できるものであり、映像データを用いた映像の再生を制御できるものであればよい。
＜＜＜映像楽曲再生装置１００の構成＞＞＞
図１は、映像楽曲再生装置１００の構成及びその機能を示すブロック図である。
図１は、映像楽曲再生装置１００の構成及びその機能を示すブロック図である。
＜ＣＰＵ１１０及び記憶装置１２０＞
図１に示すように、映像楽曲再生装置１００は、ＣＰＵ１１０（中央処理装置１１０）と、記憶装置１２０とからなる。ＣＰＵ１１０と、記憶装置１２０とによって、映像楽曲再生装置１００を制御するコンピュータの基本を構成する。ＣＰＵ１１０は、システムタイマ（図示せず）によって発生されたクロックパルスに基づいて、各種のシステムプログラムを実行する。例えば、システムプログラムは、映像再生プログラムや楽曲映像再生プログラムや、映像切り替えプログラムやオブジェクト表示プログラムやタッチ判定プログラム等からなる。後述する各種のサブルーチンは、これらのシステムプログラムを組み合わせて構成されている。
図１に示すように、映像楽曲再生装置１００は、ＣＰＵ１１０（中央処理装置１１０）と、記憶装置１２０とからなる。ＣＰＵ１１０と、記憶装置１２０とによって、映像楽曲再生装置１００を制御するコンピュータの基本を構成する。ＣＰＵ１１０は、システムタイマ（図示せず）によって発生されたクロックパルスに基づいて、各種のシステムプログラムを実行する。例えば、システムプログラムは、映像再生プログラムや楽曲映像再生プログラムや、映像切り替えプログラムやオブジェクト表示プログラムやタッチ判定プログラム等からなる。後述する各種のサブルーチンは、これらのシステムプログラムを組み合わせて構成されている。
記憶装置１２０は、ＲＯＭ（リードオンリーメモリ）（図示せず）とＲＡＭ（ランダムアクセスメモリ）（図示せず）とから構成される。記憶装置１２０には、楽曲データや映像データや映像制御データや映像制御データや再生リンクデータなどが記憶されている。ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、記憶装置１２０と電気的に接続されている。このようにすることで、ＣＰＵ１１０は、記憶装置１２０に記憶されている各種のデータを読み出したり、所定のデータを記憶させたりすることができる。
＜タッチパネル１３０＞
さらに、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、タッチパネル１３０と電気的に接続されている。タッチパネル１３０は、操作者が操作することができるパネルからなり、操作者の操作に応じて操作信号がＣＰＵ１１０に供給される。ＣＰＵ１１０は、供給された操作信号に応じて各種の処理を実行する。例えば、後述するように、再生する映像を切り替える。
さらに、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、タッチパネル１３０と電気的に接続されている。タッチパネル１３０は、操作者が操作することができるパネルからなり、操作者の操作に応じて操作信号がＣＰＵ１１０に供給される。ＣＰＵ１１０は、供給された操作信号に応じて各種の処理を実行する。例えば、後述するように、再生する映像を切り替える。
＜通信インターフェース１４０＞
さらにまた、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、通信インターフェース１４０と電気的に接続されている。通信インターフェース１４０は、映像楽曲再生装置１００の外部の記憶装置やサーバと通信をするためのものである。この通信インターフェース１４０を介して、新たな楽曲データや映像データをダウンロードしたり、各種の情報やデータを送信したり受信したりすることができる。
さらにまた、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、通信インターフェース１４０と電気的に接続されている。通信インターフェース１４０は、映像楽曲再生装置１００の外部の記憶装置やサーバと通信をするためのものである。この通信インターフェース１４０を介して、新たな楽曲データや映像データをダウンロードしたり、各種の情報やデータを送信したり受信したりすることができる。
＜タイマ１５０＞
また、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、タイマ１５０と電気的に接続されている。タイマ１５０は、計時をするために用いられ、特に、楽曲の再生時間を計時するために用いられる。
また、ＣＰＵ１１０は、データバス（図示せず）及びアドレスバス（図示せず）によって、タイマ１５０と電気的に接続されている。タイマ１５０は、計時をするために用いられ、特に、楽曲の再生時間を計時するために用いられる。
＜音声用インターフェース１６０＞
音声用インターフェース１６０には、映像楽曲再生装置１００の外部のヘッドフォン（図示せず）やスピーカ（図示せず）などの音声発生装置が電気的に接続される。音声用インターフェース１６０は、ＣＰＵ１１０から供給されたデジタル信号をアナログ信号に変換する。また、音声用インターフェース１６０は、接続されたヘッドフォンやスピーカから音声を発するように、変換したアナログ信号を、所定の音声信号に増幅する。
音声用インターフェース１６０には、映像楽曲再生装置１００の外部のヘッドフォン（図示せず）やスピーカ（図示せず）などの音声発生装置が電気的に接続される。音声用インターフェース１６０は、ＣＰＵ１１０から供給されたデジタル信号をアナログ信号に変換する。また、音声用インターフェース１６０は、接続されたヘッドフォンやスピーカから音声を発するように、変換したアナログ信号を、所定の音声信号に増幅する。
＜グラフィックコントローラ１７０＞
グラフィックコントローラ１７０は、ＣＰＵ１１０から供給された各種のデータを、液晶ディスプレイ１８０（以下では、ＬＣＤ１８０と称する。）に供給するビデオ信号に変換する。グラフィックコントローラ１７０には、作業用バッファ１７２Ａ〜Ｄと、フレームバッファ１７４（図示せず）が電気的に接続されている。
グラフィックコントローラ１７０は、ＣＰＵ１１０から供給された各種のデータを、液晶ディスプレイ１８０（以下では、ＬＣＤ１８０と称する。）に供給するビデオ信号に変換する。グラフィックコントローラ１７０には、作業用バッファ１７２Ａ〜Ｄと、フレームバッファ１７４（図示せず）が電気的に接続されている。
＜作業用バッファ１７２Ａ〜Ｄ＞
作業用バッファ１７２は、主として、レンダリングのためのバッファリングをしたり、レンダリングに際して用いるテクスチャなどの素材をバッファリングしたりするなど、映像を表示するための中間の処理に用いるバッファである。本実施の形態では、この作業用バッファ１７２は、再生する映像の数に応じた数だけ設けられている。例えば、４つの映像Ａ、Ｂ、Ｃ及びＤを再生する場合には、作業用バッファ１７２は、映像Ａ用の作業用バッファ１７２Ａと、映像Ｂ用の作業用バッファ１７２Ｂと、映像Ｃ用の作業用バッファ１７２Ｃと、映像Ｄ用の作業用バッファ１７２Ｄとの４つの作業用バッファからなる。映像Ａの映像データが、記憶装置１２０から読み出されると、読み出される度に、映像データが作業用バッファ１７２Ａに展開されて、作業用バッファ１７２Ａの内容が更新される。同様に、映像Ｂの映像データが、記憶装置１２０から読み出されると、読み出される度に、映像データが作業用バッファ１７２Ｂに展開されて、作業用バッファ１７２Ｂの内容が更新される。映像Ｃや映像Ｄについても同様に、映像データが読み出される度に、作業用バッファ１７２Ｃや作業用バッファ１７２Ｄの内容が更新される。
作業用バッファ１７２は、主として、レンダリングのためのバッファリングをしたり、レンダリングに際して用いるテクスチャなどの素材をバッファリングしたりするなど、映像を表示するための中間の処理に用いるバッファである。本実施の形態では、この作業用バッファ１７２は、再生する映像の数に応じた数だけ設けられている。例えば、４つの映像Ａ、Ｂ、Ｃ及びＤを再生する場合には、作業用バッファ１７２は、映像Ａ用の作業用バッファ１７２Ａと、映像Ｂ用の作業用バッファ１７２Ｂと、映像Ｃ用の作業用バッファ１７２Ｃと、映像Ｄ用の作業用バッファ１７２Ｄとの４つの作業用バッファからなる。映像Ａの映像データが、記憶装置１２０から読み出されると、読み出される度に、映像データが作業用バッファ１７２Ａに展開されて、作業用バッファ１７２Ａの内容が更新される。同様に、映像Ｂの映像データが、記憶装置１２０から読み出されると、読み出される度に、映像データが作業用バッファ１７２Ｂに展開されて、作業用バッファ１７２Ｂの内容が更新される。映像Ｃや映像Ｄについても同様に、映像データが読み出される度に、作業用バッファ１７２Ｃや作業用バッファ１７２Ｄの内容が更新される。
＜フレームバッファ１７４（フレームメモリ）＞
フレームバッファ１７４（図示せず）は、グラフィックコントローラ１７０に電気的に接続されている。フレームバッファ１７４は、グラフィックコントローラ１７０によって、ＬＣＤ１８０に表示する画像のラスタデータを一時的に保存する。フレームバッファ１７４に一時的に保存されたラスタデータは、グラフィックコントローラ１７０の制御によって所定の順番で読み出され、ビデオ信号としてＬＣＤ１８０に送信される。
フレームバッファ１７４（図示せず）は、グラフィックコントローラ１７０に電気的に接続されている。フレームバッファ１７４は、グラフィックコントローラ１７０によって、ＬＣＤ１８０に表示する画像のラスタデータを一時的に保存する。フレームバッファ１７４に一時的に保存されたラスタデータは、グラフィックコントローラ１７０の制御によって所定の順番で読み出され、ビデオ信号としてＬＣＤ１８０に送信される。
上述したように、本実施の形態では、映像楽曲再生装置１００は、４つの映像データに対応した４つの作業用バッファ１７２Ａ〜Ｄを有する。グラフィックコントローラ１７０は、これらの４つの作業用バッファ１７２Ａ〜Ｄに一時的に保存されているデータを用いて、フレームバッファ１７４に一時的に保存させるためのデータを生成する。このようにすることで、作業用バッファ１７２Ａ〜Ｄに展開されているデータから、最終的にＬＣＤ１８０に表示するためのラスタデータを生成して、フレームバッファ１７４に一時的に保存させることができる。
例えば、ＬＣＤ１８０に常に１つの映像を表示するような場合には、４つの作業用バッファ１７２Ａ〜Ｄのうちの１つを選択して、選択した作業用バッファ１７２のデータをフレームバッファ１７４に送信する。また、ＬＣＤ１８０に２つ以上の映像を重ねて表示するような場合には、４つの作業用バッファ１７２Ａ〜Ｄのうち、表示すべき映像に対応したものを選択し、作業用バッファ１７２のデータを用いて、表示すべき大きさを調整し、調整したデータをフレームバッファ１７４に送信する。
＜再生リンクデータ＞
上述したように、記憶装置１２０には、再生リンクデータが記憶されている。再生リンクデータは、楽曲データの再生位置と映像データの再生位置との対応関係を定めたデータである。この再生リンクデータを参照しつつ、楽曲を再生するとともに、映像を再生することにより、再生する楽曲に整合するように映像を再生することができる。再生リンクデータの具体的な内容や構成は後述する。
上述したように、記憶装置１２０には、再生リンクデータが記憶されている。再生リンクデータは、楽曲データの再生位置と映像データの再生位置との対応関係を定めたデータである。この再生リンクデータを参照しつつ、楽曲を再生するとともに、映像を再生することにより、再生する楽曲に整合するように映像を再生することができる。再生リンクデータの具体的な内容や構成は後述する。
本明細書において、再生位置とは、楽曲データや映像データにおける再生の場所を示す情報であり、再生の場所を一義的に特定できる情報であればよい。例えば、楽曲や映像再生時間や再生時刻としても、楽曲データや映像データのフレーム数でもよい。また、再生時間や再生時刻やフレーム数とは別個に、楽曲や映像を再生するに従って計数できる情報を再生位置としてもよい。いずれにしても、楽曲や映像の再生に従って一義的に特定できる情報であればよい。
再生リンクデータは、楽曲データや映像データなどのコンテンツ提供者から予め提供されたものでも、映像楽曲再生装置１００のユーザが作成したものでもよい。コンテンツ提供者から提供された再生リンクデータを用いる場合には、楽曲データや映像データをダウンロードなどによって取得するとともに、再生リンクデータも取得する。このようにしたことで、楽曲と映像とを簡便に整合させて再生することができる。また、映像楽曲再生装置１００のユーザが再生リンクデータを作成できるようにした場合には、楽曲と映像との組み合わせの自由度を高めることができ、特に、映像楽曲再生装置１００のユーザが録音した楽曲データや、映像楽曲再生装置１００のユーザが撮影した映像データを用いた場合でも、楽曲と映像とを整合させて再生することができる。
＜映像の再生・楽曲の再生＞
本明細書において、映像の再生とは、映像を視認可能にＬＣＤ１８０に表示することを意味し、楽曲の再生とは、楽曲を聴くことができるように、ヘッドフォン（図示せず）やスピーカ（図示せず）などから発することを意味する。
本明細書において、映像の再生とは、映像を視認可能にＬＣＤ１８０に表示することを意味し、楽曲の再生とは、楽曲を聴くことができるように、ヘッドフォン（図示せず）やスピーカ（図示せず）などから発することを意味する。
＜＜＜映像楽曲再生装置１００の外観＞＞＞
図２は、映像楽曲再生装置１００の外観を示す正面図である。
図２は、映像楽曲再生装置１００の外観を示す正面図である。
図２（ａ）は、液晶ディスプレイ１８０とタッチパネル１３０とが一体に形成された態様であり、図２（ｂ）は、液晶ディスプレイ１８０とタッチパネル１３０とが別体に形成された態様である。いずれの態様であっても、操作者の操作に応じて、操作者が所望する楽曲を再生するとともに、再生する楽曲に対応づけられた映像を再生することができる。
図２に示した映像楽曲再生装置１００は、通信可能な携帯型の映像楽曲再生装置であるが、上述したように、本発明による映像楽曲再生装置は、通信可能な携帯端末装置（ＰＤＡ（個人情報端末））や、映像再生可能及び楽曲再生可能な携帯電話や、通信可能で映像再生可能で楽曲再生可能なコンピュータでもよい。
＜＜＜映像楽曲再生装置１００における処理＞＞＞
映像楽曲再生装置１００においては、再生する楽曲に併せて映像を再生することで、再生する楽曲に整合するように映像を再生することができるようにしたものである。具体的には、後述するように、記憶装置１２０に記憶された再生リンクデータを参照しつつ、映像を再生することによって、楽曲と映像とを整合させて再生できるようにしたものである。
映像楽曲再生装置１００においては、再生する楽曲に併せて映像を再生することで、再生する楽曲に整合するように映像を再生することができるようにしたものである。具体的には、後述するように、記憶装置１２０に記憶された再生リンクデータを参照しつつ、映像を再生することによって、楽曲と映像とを整合させて再生できるようにしたものである。
＜＜映像再生切り替え処理１＞＞
操作者の操作に基づいて再生する映像を切り替える処理を実行する。この映像再生切り替え処理１では、楽曲を再生している時間にわたって、複数の映像、例えば４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、常に、記憶装置１２０から読み出されて、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている（図４参照）。このようにすることで、操作者の操作に基づいて、映像の再生を直ちに切り替えた場合でも、円滑に映像を再生することができ、映像の再生を切り替えたときでも、楽曲と映像との整合を図ることができる。
操作者の操作に基づいて再生する映像を切り替える処理を実行する。この映像再生切り替え処理１では、楽曲を再生している時間にわたって、複数の映像、例えば４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、常に、記憶装置１２０から読み出されて、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている（図４参照）。このようにすることで、操作者の操作に基づいて、映像の再生を直ちに切り替えた場合でも、円滑に映像を再生することができ、映像の再生を切り替えたときでも、楽曲と映像との整合を図ることができる。
図３は、この映像再生切り替え処理１を実行するためのサブルーチンを示すフローチャートである。図４は、映像再生切り替え処理１によって、映像が切り替えられる態様を示すタイムチャートである。図５は、操作者がタッチパネル１３０に接触したことに応じて、映像Ａの再生から映像Ｂの再生に切り替わる様子を示す図である。図６は、この映像再生切り替え処理１で用いる再生リンクデータの内容を示すテーブルである。
上述したように、図３は、この映像再生切り替え処理１を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレーム数の計数の処理は、別個のサブルーチン（図示せず）によって独自に行われている。
最初に、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ１１）。操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）には、直ちに、本サブルーチンを終了する。
一方、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）には、図６に示す再生リンクデータを読み込む（ステップＳ１３）。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する（ステップＳ１５）。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ１５０を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき（ＮＯ）には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき（ＹＥＳ）には、映像の再生を切り替えるタイミングであるか否かを判断する（ステップＳ１７）。映像の再生を切り替えるタイミングでないと判別したとき（ＮＯ）には、ステップＳ１７の処理を繰り返す。
一方、映像の再生を切り替えるタイミングであると判別したとき（ＹＥＳ）には、現在、再生している映像を識別するための映像識別番号を記憶する（ステップＳ１９）。例えば、映像Ａの映像識別番号を「１」とし、映像Ｂの映像識別番号を「２」とし、映像Ｃの映像識別番号を「３」とし、映像Ｄの映像識別番号を「４」としたときに、映像Ｂを再生しているときには、映像識別番号「２」が記憶される。このように、現在、再生している映像の映像識別番号を記憶するようにすることで、元の映像の再生に切り替えるような処理を容易にすることができる。なお、この元の映像の再生に切り替える処理については、後述する。
次いで、上述したステップＳ１３の処理で読み出した再生リンクデータが示す映像と、その映像の再生位置とを用いて、その再生位置からその映像を再生するように切り替え（ステップＳ２１）、本サブルーチンを終了する。
上述した図３に示した映像再生切り替え処理１について、図４を用いて説明する。図４に示したタイムチャートでは、時間は上から下に向かって流れる。図４において、「タッチ」と表示されている箇所は、操作者がタッチパネル１３０に接触して操作したことを示す。例えば、楽曲再生時刻ｔ１３で操作者がタッチパネル１３０に接触したことに応じて、映像Ａの再生から映像Ｂの再生に切り替わる（図５参照）。上述したように、時刻は、楽曲の再生時刻である。図４に示すように、楽曲再生時刻ｔ０で楽曲の再生が開始されて、楽曲再生時刻ｔｅｎｄで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻ｔ０で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻ｔｅｎｄで、楽曲データの最後尾のデータを用いて再生を終了する。
図４に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始される。上述したように、映像再生切り替え処理１では、楽曲を再生している時間にわたって、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、常に、記憶装置１２０から読み出されて、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている。このため、図４に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始されるとともに、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データも、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とが開始される。なお、図４に示した映像再生切り替え処理１においては、楽曲再生時刻ｔ０で、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とを開始しているが、楽曲再生時刻ｔ０では、４つの作業用バッファ１７２Ａ〜Ｄのうちの作業用バッファ１７２Ａが選択されて、ＬＣＤ１８０では映像Ａが再生される。
図６（ａ）に示すように、映像再生切り替え処理１における再生リンクデータは、１１個の楽曲再生時刻ｔ０、ｔ１１、ｔ１２、ｔ１３、ｔ１４、ｔ１５、ｔ１６、ｔ１７、ｔ１８、ｔ１９及びｔ２０について、切り替える映像と、その切り替える映像の再生位置（後述する映像再生時刻）との関係が定められている。なお、図６（ａ）に示すように、５個の楽曲再生時刻ｔ０、ｔ１３、ｔ１５、ｔ１８、ｔ２０についてのみ、映像と映像の再生位置とが定められており、２１個の楽曲再生時刻の全てについて、映像と映像の再生位置とが定められているわけではない。上述したように、再生リンクデータは、楽曲の再生に整合させて映像を再生するためのものであるので、整合させて再生することができない楽曲再生時刻に対しては、映像と映像の再生位置とを定めることができない。図６（ａ）に示した再生リンクデータのテーブルでは、映像と映像の再生位置とを定めることができない楽曲再生時刻については、斜線を付して示した。
図６（ａ）に示した再生リンクデータのテーブルでは、楽曲再生時刻ｔ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像再生時刻ｔ０）から再生される。なお、この楽曲再生時刻ｔ０における映像Ａは、操作者によるタッチパネル１３０の接触によることなく選択されて、ＬＣＤ１８０で再生される。
楽曲再生時刻ｔ１３では、映像Ｂと、映像Ｂの映像再生時刻ｔ１３とが、再生リンクデータとして定められている。映像Ｂの映像再生時刻ｔ１３は、映像Ｂの映像データのうち、映像再生時刻ｔ１３に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像再生時刻ｔ０）から映像再生時刻ｔ１３だけ経過した再生位置から再生されること意味する。
また、楽曲再生時刻ｔ１５では、映像Ｄと、映像Ｄの映像再生時刻ｔ１５とが、再生リンクデータとして定められている。映像Ｄの映像再生時刻ｔ１５は、映像Ｄの映像データのうち、映像再生時刻ｔ１５に対応した位置のデータから映像Ｄを再生することを意味する。すなわち、映像Ｄは、映像Ｄの映像データの先頭（映像再生時刻ｔ０）から映像再生時刻ｔ１５だけ経過した再生位置から再生されること意味する。
さらに、楽曲再生時刻ｔ１８では、映像Ｃと、映像Ｃの映像再生時刻ｔ１８とが、再生リンクデータとして定められている。映像Ｃの映像再生時刻ｔ１８は、映像Ｃの映像データのうち、映像再生時刻ｔ１８に対応した位置のデータから映像Ｃを再生することを意味する。すなわち、映像Ｃは、映像Ｃの映像データの先頭（映像再生時刻ｔ０）から映像再生時刻ｔ１８だけ経過した再生位置から再生されること意味する。
さらにまた、楽曲再生時刻ｔ２０では、映像Ａと、映像Ａの映像再生時刻ｔ２０とが、再生リンクデータとして定められている。映像Ａの映像再生時刻ｔ２０は、映像Ａの映像データのうち、映像再生時刻ｔ２０に対応した位置のデータから映像Ａを再生することを意味する。すなわち、映像Ａは、映像Ａの映像データの先頭（映像再生時刻ｔ０）から映像再生時刻ｔ２０だけ経過した再生位置から再生されること意味する。
このように、映像Ａ〜Ｄの映像再生時刻は、これらの映像の再生が開始された時点からその時点まで計時された再生時刻を示すとともに、これらの映像の映像データの再生位置も示す。同様に、楽曲の楽曲再生時刻も、楽曲の再生が開始された時点からその時点まで計時された再生時刻を示すとともに、楽曲の楽曲データの再生位置も示す。この映像の映像再生時刻と楽曲の楽曲再生時刻とを用いることにより、映像データの再生位置と楽曲データの再生位置とを結合した対応関係（再生リンクデータ）を形成することができる。
上述したように、再生リンクデータは、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。例えば、再生している楽曲のリズムに合うように、人物が歌ったり踊ったりする内容のものを映像にする。また、再生している楽曲の音の大きさや大きさの変化や周波数や周波数の変化に応じて、明度や彩度などが変化したり、登場人物などの被撮影体が変化したりする内容のものを映像にする。このように、楽曲の内容を特徴付けるものや、その変化や、変化するタイミングと、映像の内容を特徴付けるものや、その変化や、変化するタイミングとを対応づける。例えば、楽曲の特徴量や特徴量の変化や、特徴量が変化するタイミングと、映像の特徴量や特徴量の変化や、特徴量が変化するタイミングとを対応づける。楽曲の特徴量は、例えば、音声認識技術で用いられるようなものを用いればよい。また、映像の特徴量は、例えば、画像認識技術で用いられるようなものを用いればよい。このような映像を複数種類、記憶装置１２０に記憶させて準備するともに、対応づけを示す再生リンクデータを記憶装置１２０に記憶させておくことによって、再生している楽曲の内容と、再生している映像の内容とを整合させることができる。
上述した図６（ａ）に示した再生リンクデータのテーブルは、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻（楽曲再生時刻）と映像の再生時刻（映像再生時刻）とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数（楽曲フレーム番号）や、映像データの映像フレーム数（映像フレーム番号）を再生位置として用いてもよい。図６（ｂ）は、楽曲フレーム数や映像フレーム数（楽曲フレーム番号や映像フレーム番号）を再生位置として用いて定めた再生リンクデータのテーブルである。
図６（ｂ）に示すように、映像再生切り替え処理１における再生リンクデータは、１１個の楽曲フレーム数ｆ０、ｆ１１、ｆ１２、ｆ１３、ｆ１４、ｆ１５、ｆ１６、ｆ１７、ｆ１８、ｆ１９及びｆ２０について、切り替える映像と、その切り替える映像の再生位置（映像フレーム数（映像フレーム番号））との関係が定められている。なお、図６（ａ）に示した再生リンクデータのテーブルと同様に、５個の楽曲フレーム数ｆ０、ｆ１３、ｆ１５、ｆ１８、ｆ２０についてのみ、映像と映像の再生位置とが定められており、２１個の楽曲フレーム数の全てについて、映像と映像の再生位置とが定められているわけではない。図６（ｂ）に示した再生リンクデータのテーブルでも、映像と映像の再生位置とを定めることができない楽曲フレーム数については、斜線を付して示した。
図６（ｂ）に示した再生リンクデータのテーブルでは、楽曲フレーム数ｆ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像フレーム数ｆ０）から再生される。なお、図６（ａ）に示した再生リンクデータのテーブルと同様に、楽曲フレーム数ｆ０における映像Ａは、操作者によるタッチパネル１３０の接触によることなく選択されて、ＬＣＤ１８０で再生される。
楽曲フレーム数ｆ１３では、映像Ｂと、映像Ｂの映像フレーム数ｆ１３とが、再生リンクデータとして定められている。映像Ｂの映像フレーム数ｆ１３は、映像Ｂの映像データのうち、映像フレーム数ｆ１３に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像フレーム数ｆ０）から映像フレーム数ｆ１３だけ経過した再生位置から再生されること意味する。
また、楽曲フレーム数ｆ１５では、映像Ｄと、映像Ｄの映像フレーム数ｆ１５とが、再生リンクデータとして定められている。映像Ｄの映像フレーム数ｆ１５は、映像Ｄの映像データのうち、映像フレーム数ｆ１５に対応した位置のデータから映像Ｄを再生することを意味する。すなわち、映像Ｄは、映像Ｄの映像データの先頭（映像フレーム数ｆ０）から映像フレーム数ｆ１５だけ経過した再生位置から再生されること意味する。
さらに、楽曲フレーム数ｆ１８では、映像Ｃと、映像Ｃの映像フレーム数ｆ１８とが、再生リンクデータとして定められている。映像Ｃの映像フレーム数ｆ１８は、映像Ｃの映像データのうち、映像フレーム数ｆ１８に対応した位置のデータから映像Ｃを再生することを意味する。すなわち、映像Ｃは、映像Ｃの映像データの先頭（映像フレーム数ｆ０）から映像フレーム数ｆ１８だけ経過した再生位置から再生されること意味する。
さらにまた、楽曲フレーム数ｆ２０では、映像Ａと、映像Ａの映像フレーム数ｆ２０とが、再生リンクデータとして定められている。映像Ａの映像フレーム数ｆ２０は、映像Ａの映像データのうち、映像フレーム数ｆ２０に対応した位置のデータから映像Ａを再生することを意味する。すなわち、映像Ａは、映像Ａの映像データの先頭（映像フレーム数ｆ０）から映像フレーム数ｆ２０だけ経過した再生位置から再生されること意味する。
このように、映像Ａ〜Ｄの映像フレーム数は、これらの映像の再生が開始された時点からその時点までに再生されたことによって計数（カウント）された映像フレーム数（映像フレーム番号）を示すとともに、これらの映像の映像データの再生位置も示す。同様に、楽曲の再生時刻についても、楽曲の再生が開始された時点からその時点までに再生されたことによって計数（カウント）された楽曲フレーム数（楽曲フレーム番号）を示すとともに、楽曲の楽曲データの再生位置も示す。この映像フレーム数と楽曲フレーム数とを用いることにより、映像データの再生位置と楽曲データの再生位置とを結合した対応関係（再生リンクデータ）を形成することができる。
なお、図６（ｂ）に示した再生リンクデータのテーブルでは、簡便のために、楽曲フレーム数ｆ１３では、映像フレーム数ｆ１３が対応し、楽曲フレーム数ｆ１５では、映像フレーム数ｆ１５が対応し、楽曲フレーム数ｆ１８では、映像フレーム数ｆ１８が対応し、楽曲フレーム数ｆ２０では、映像フレーム数ｆ２０が対応するように、楽曲フレーム数と映像フレーム数とが同じになるように示した。実際には、楽曲フレーム数と映像フレーム数とは、データのサイズやデータ圧縮率などによって、異なる場合があるが、図６（ｂ）では、簡便のために同じフレーム数を用いて示した。
なお、図６（ａ）や図６（ｂ）に示した再生リンクデータでは、５個の楽曲再生時刻ｔ０、ｔ１３、ｔ１５、ｔ１８、ｔ２０（５個の楽曲フレーム数ｆ０、ｆ１３、ｆ１５、ｆ１８、ｆ２０）についてのみ、映像と映像の再生位置とが定めたものを示したが、映像と映像の再生位置とが定められた楽曲再生時刻や楽曲フレーム数の数は、多いものが好ましい。映像と映像の再生位置とが定められた楽曲再生時刻や楽曲フレーム数の数を多くすることによって、映像を切り替えるタイミングを増やすことができるので、操作者がタッチパネル１３０に接触したときに、迅速に映像を切り替えることができ、切り替えのレスポンスを良くすることができる。
上述した図６（ａ）や図６（ｂ）に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができる。以下では、図４のタイムチャートに従って映像の切り替えについて説明する。なお、図４に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ１、Ｂ１、Ｃ１及びＤ１で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
また、図４に示したタイムチャートでは、２１個の楽曲再生時刻ｔ０〜ｔ２０と２１個の楽曲フレーム数ｆ０〜ｆ２０とを等間隔で示したが、これらの楽曲再生時刻や、楽曲フレーム数は、楽曲の再生に整合させて映像を再生するために定められるものであるので、等間隔に定める必要はない。
また、図４のタイムチャートに示すように、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間が、楽曲の再生時間と一致するように、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データは、予め調整されて、記憶装置１２０に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像Ａ、Ｂ、Ｃ又はＤのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
上述したような映像データを調整は、映像データの提供者（例えば、コンテンツ提供業者など）が予め行って、映像楽曲再生装置１００の操作者（ユーザ）に提供するようにしてもよい。また、映像データの提供者によって提供された映像データを用いて、映像楽曲再生装置１００の操作者が独自に行うようにしてもよい。
なお、映像再生切り替え処理１においては、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間は、楽曲の再生時間よりも長くてもよい。この場合には、楽曲の再生の終了とともに、映像の再生も終了させるようにする。楽曲の再生の終了においては、楽曲の内容と映像の内容とを整合させることはできないが、映像データの提供者や映像楽曲再生装置１００の操作者が映像データを調整するための手間を省くことができ、簡便かつ容易に楽曲と映像の再生を映像楽曲再生装置１００の操作者に楽しませることができる。
まず、楽曲再生時刻ｔ１３や楽曲フレーム数ｆ１３に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図４参照）、楽曲再生時刻ｔ１３や楽曲フレーム数ｆ１３に至ったときに（図３のステップＳ１７）、映像Ａから映像Ｂに切り替え（図４の矢印Ａ１参照）、映像Ｂの映像再生時刻ｔ１３や映像フレーム数ｆ１３から再生する（図３のステップＳ２１）。なお、楽曲再生時刻ｔ１３や楽曲フレーム数ｆ１３に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＡをＬＣＤ１８０で継続して再生する。
次に、映像Ｂを再生しているときに、楽曲再生時刻ｔ１５や楽曲フレーム数ｆ１５に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図４参照）、楽曲再生時刻ｔ１５や楽曲フレーム数ｆ１５に至ったときに（図３のステップＳ１７）、映像Ｂから映像Ｄに切り替え（図４の矢印Ｂ１参照）、映像Ｄの映像再生時刻ｔ１５や映像フレーム数ｆ１５から再生する（図３のステップＳ２１）。なお、楽曲再生時刻ｔ１５や楽曲フレーム数ｆ１５に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＢをＬＣＤ１８０で継続して再生する。
さらに、映像Ｄを再生しているときに、楽曲再生時刻ｔ１８や楽曲フレーム数ｆ１８に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図４参照）、楽曲再生時刻ｔ１８や楽曲フレーム数ｆ１８に至ったときに（図３のステップＳ１７）、映像Ｄから映像Ｃに切り替え（図４の矢印Ｃ１参照）、映像Ｃの映像再生時刻ｔ１８や映像フレーム数ｆ１８から再生する（図３のステップＳ２１）。なお、楽曲再生時刻ｔ１８や楽曲フレーム数ｆ１８に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＤをＬＣＤ１８０で継続して再生する。
さらにまた、映像Ｃを再生しているときに、楽曲再生時刻ｔ２０や楽曲フレーム数ｆ２０に至るよりも以前の時点（図４参照）で、操作者がタッチパネル１３０に接触して操作した場合には、楽曲再生時刻ｔ２０や楽曲フレーム数ｆ２０に至ったときに（図３のステップＳ１７）、映像Ｃから映像Ａに切り替え（図４の矢印Ｄ１参照）、映像Ａの映像再生時刻ｔ２０や映像フレーム数ｆ２０から再生する（図３のステップＳ２１）。なお、楽曲再生時刻ｔ２０や楽曲フレーム数ｆ２０に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＣをＬＣＤ１８０で継続して再生する。
最終的に、映像Ａを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。上述したように、映像再生切り替え処理１においては、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データは、楽曲の再生が終了するとともに、映像の内容も終わるように予め調整されているものが好ましい。このため、４つの映像Ａ、Ｂ、Ｃ及びＤのいずれを再生していても、楽曲の再生の終了とともに、映像の内容も終わるように映像の再生を終了することができる。
なお、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間が、楽曲の再生時間よりも長い場合には、楽曲の再生の終了とともに、映像の再生も終了させるようにすればよい。
このように、上述した図６（ａ）や図６（ｂ）に示した再生リンクデータを参照して、図３に示したサブルーチンによる処理を実行することによって、楽曲を再生しているときに、再生する映像を切り替えても、楽曲と映像とがミスマッチングするなどの恐れを低減でき、楽曲の内容と映像の内容との整合性を維持して切り替えることができる。
なお、映像の切り替えの処理は、割り込み処理によって実行される。すなわち、例えば、映像Ａから映像Ｂに切り替えたときに、映像ＡはＬＣＤ１８０で再生されていないが、映像Ａの映像データが、常に、継続するように、記憶装置１２０から読み出されて、作業用バッファ１７２Ａに展開されて、作業用バッファ１７２Ａの内容が更新される。このように、映像データの読み出しと展開とを継続することによって、映像Ａの再生に戻す切り替えをする場合であっても、処理が遅延することがないので、映像と楽曲とを同期させることができる。したがって、映像データの処理の遅延により、映像と楽曲とが同期しなくなるような状況を回避できる。
上述したように、映像再生切り替え処理１では、ＬＣＤ１８０で再生されている映像によらず、映像データが、常に、記憶装置１２０から読み出されて、作業用バッファ１７２に展開されて更新されているものを示した。しかしながら、このように、常に、記憶装置１２０から映像データを読み出したり、作業用バッファ１７２に映像データを展開させたりしたときには、その処理によって、他の処理が遅延させる場合がある。また、この処理を常に継続して行っているので、処理による発熱量が増えたり、消費電力が増えたりする場合がある。特に、映像楽曲再生装置１００が携帯型である場合には、バッテリ駆動されるために、バッテリによって駆動できる時間を短くしたり、それにより、充電回数が増えた場合には、バッテリの寿命を短くしたりする。
このため、映像が切り替えられて、映像の再生を中断したときには、その中断した映像の映像データを記憶装置１２０から読み出す処理と、作業用バッファ１７２に映像データを展開させる処理も中断する。このようにすることで、発熱量を抑えるとともに、消費電力を低くして、バッテリによって駆動できる時間を長くし、バッテリの寿命を伸ばすことができる。
なお、再生リンクデータに定められた楽曲再生時刻（ｔ１３、ｔ１５、ｔ１８又はｔ２０）や、楽曲フレーム数（ｆ１３、ｆ１５、ｆ１８又はｆ２０）に至るよりも手前の時点で、操作者がタッチパネル１３０に接触して操作した場合には、再生リンクデータに定められた映像の映像データを、記憶装置１２０から予め読み出して、作業用バッファ１７２に展開させておくことで、楽曲再生時刻（ｔ１３、ｔ１５、ｔ１８又はｔ２０）や、楽曲フレーム数ｆ１３、ｆ１５、ｆ１８又はｆ２０）に至ったときに、切り替えた映像の再生を、直ちに開始することができ、円滑に映像を切り替えて再生することができる。
なお、図６に示したように、再生リンクデータの映像に関する情報として、「映像Ａ」や「映像Ｃ」などのように、単に、映像を示す名称のみを示したが、この映像に関する情報は、その映像データを示すファイル名や、映像データが記憶されているアドレスなど、映像データを読み出すために必要な情報である。
また、図６に示した再生リンクデータでは、映像に関する情報と、その再生位置の情報とのみからなるものを示したが、他の情報を再生リンクデータに含めてもよい。例えば、楽曲を再生するときの音量を調整するためのデータや、映像の色合い、彩度、明度などを調整するためのデータなどを記憶させてもよい。このようにすることで、再生される映像の内容に応じた音量で楽曲を再生したり、切り替えて再生される映像の視覚的なバランスを調整したりすることができる。
上述した映像Ａ、Ｂ、Ｃ及びＤが、「複数のパターンの映像」に対応する。
＜＜映像再生切り替え処理２＞＞
上述したように、映像再生切り替え処理１では、映像の再生時間が、楽曲の再生時間と一致する映像データを用いたり、映像の再生時間が、楽曲の再生時間よりも長い映像データを用いたりするものを示した。これに対して、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いることもできる。このような場合でも、楽曲の再生に整合させて、映像を再生する必要がある。このように、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた処理を、映像再生切り替え処理２として、以下に説明する。
上述したように、映像再生切り替え処理１では、映像の再生時間が、楽曲の再生時間と一致する映像データを用いたり、映像の再生時間が、楽曲の再生時間よりも長い映像データを用いたりするものを示した。これに対して、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いることもできる。このような場合でも、楽曲の再生に整合させて、映像を再生する必要がある。このように、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた処理を、映像再生切り替え処理２として、以下に説明する。
図７は、映像再生切り替え処理２を実行するためのサブルーチンを示すフローチャートである。図８は、映像再生切り替え処理２によって、映像が切り替えられる態様を示すタイムチャートである。図９は、この映像再生切り替え処理２で用いる再生リンクデータの内容を示すテーブルである。
上述したように、図７は、この映像再生切り替え処理２を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレーム数の計数の処理は、別個のサブルーチン（図示せず）によって独自に行われている。
最初に、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ３１）。操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）には、タッチパネル１３０への接触による操作に応じて、再生する映像を切り替える処理を実行して（ステップＳ３３）、本サブルーチンを終了する。このタッチパネル１３０への接触に応じて、再生する映像を切り替える処理は、上述した映像再生切り替え処理１と同様の処理を実行すればよい。すなわち、再生リンクデータを読み出し、再生リンクデータに映像と再生位置（楽曲再生時刻や楽曲フレーム数）とに応じて、再生すべき映像を切り替えて、その映像を再生すればよい。
上述したステップＳ３１の判断処理で、操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）には、図９に示す再生リンクデータを記憶装置１２０から読み込む（ステップＳ３５）。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する（ステップＳ３７）。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ１５０を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき（ＮＯ）には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき（ＹＥＳ）には、映像の再生を終了するタイミングであるか否かを判断する（ステップＳ３９）。映像の再生を終了するタイミングでないと判別したとき（ＮＯ）には、映像データを作業用バッファ１７２に既に展開させているか否かを判断する（ステップＳ４１）。映像データを作業用バッファ１７２に既に展開させていると判別したとき（ＹＥＳ）には、上述したステップＳ３９に処理を戻す。このようにすることで、映像を切り替えて再生すべきタイミングまで待機させることができ、映像を切り替えて再生すべきタイミングに至ったときには、映像データを作業用バッファ１７２に既に展開させているので、直ちに、映像を再生することができる。
一方、映像データを作業用バッファ１７２に未だに展開させていないと判別したとき（ＮＯ）には、ステップＳ３５の処理で読み込んだ再生リンクデータを検索して切り替えることができる映像が存在するか否かを判断する（ステップＳ４３）。切り替えることができる映像が存在しないと判別したとき（ＮＯ）には、上述したステップＳ３９に処理を戻す。
一方、ステップＳ４３の判断処理で、切り替えることができる映像が存在すると判別したとき（ＹＥＳ）には、その切り替えることができる映像の映像データを記憶装置１２０から読み出し、作業用バッファ１７２に展開させて、映像を再生するための準備をし（ステップＳ４５）、上述したステップＳ３９に処理を戻す。このようにすることで、映像を切り替えて再生すべきタイミングに至ったときには、直ちに、映像を再生することができる。
上述したステップＳ３９の判断処理で、映像の再生を終了するタイミングであると判別したとき（ＹＥＳ）には、切り替えることができる映像、すなわち、作業用バッファ１７２に展開させて待機させている映像を再生に切り替え（ステップＳ４７）、本サブルーチンを終了する。
上述したステップＳ４７の処理を実行した後、その切り替えた映像の映像データを継続的に、記憶装置１２０から読み出し、作業用バッファ１７２に展開して、作業用バッファ１７２を常に更新する。このようにすることで、切り替えた映像を継続して再生することができる。
この図７に示した映像再生切り替え処理２を実行することにより、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた場合に、再生している映像が終了したときには、直ちに、再生すべき映像を切り替えて再生することができる。この映像の切り替えは、再生リンクデータに従って実行するので、映像の再生時間が楽曲の再生時間よりも短い映像の再生が終了した場合であっても、再生している楽曲に整合するように映像を切り替えて再生することができる。
上述した図７に示した映像再生切り替え処理２について、図８を用いて説明する。図８に示したタイムチャートでも、時間は上から下に向かって流れる。この図８に示したタイムチャートでも、時刻は楽曲の再生時刻である。図８に示すように、時刻ｔ０で楽曲の再生が開始されて、楽曲再生時刻ｔｅｎｄで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、図８に示した例では、４つの映像Ａ、Ｂ、Ｃ及びＤのうち、再生時間が楽曲の再生時間よりも短い映像は、３つの映像Ｂ、Ｃ及びＤであり、映像Ａの再生時間は、楽曲の再生時間と同じである。
図４と同様に、楽曲再生時刻ｔ０で、楽曲の再生が開始される。この映像再生切り替え処理２では、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生する。したがって、図８に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始されるとともに、まず、映像Ａの映像データを記憶装置１２０から読み出し、作業用バッファ１７２Ａに展開して更新される。楽曲再生時刻ｔ０で、作業用バッファ１７２Ａが選択されて、ＬＣＤ１８０では映像Ａが再生される。
図９（ａ）に示すように、映像再生切り替え処理２における再生リンクデータは、５個の楽曲再生時刻ｔ０、ｔ２１、ｔ２２、ｔ２３及びｔ２４について、切り替える映像と、その切り替える映像の再生位置（映像再生時刻）との関係が定められている。上述したように、映像再生切り替え処理２は、楽曲の再生時間よりも短い映像データを用いて映像を再生する。このため、映像再生切り替え処理２における再生リンクデータは、一の映像の再生が終了したときに、整合性を保ちつつ切り替えて再生することが他の映像を定めたものである。図９（ａ）に示した再生リンクデータのテーブルでは、楽曲再生時刻ｔ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像再生時刻ｔ０や映像フレームｆ０）から、映像ＡがＬＣＤ１８０で再生される。
楽曲再生時刻ｔ２１では、映像Ｂと、映像Ｂの映像再生時刻ｔ０が、再生リンクデータとして定められている。映像Ｂの映像再生時刻ｔ０は、映像Ｂの映像データのうち、映像再生時刻ｔ０に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像再生時刻ｔ０）から再生されること意味する。
また、楽曲再生時刻ｔ２２では、映像Ｄと、映像Ｄの映像再生時刻ｔ０とが、再生リンクデータとして定められている。映像Ｄの映像再生時刻ｔ０は、映像Ｄの映像データのうち、映像再生時刻ｔ０に対応した位置のデータから映像Ｄを再生することを意味する。すなわち、映像Ｄは、映像Ｄの映像データの先頭（映像再生時刻ｔ０）から再生されること意味する。
さらに、楽曲再生時刻ｔ２３では、映像Ｃと、映像Ｃの映像再生時刻ｔ０とが、再生リンクデータとして定められている。映像Ｃの映像再生時刻ｔ０は、映像Ｃの映像データのうち、映像再生時刻ｔ０に対応した位置のデータから映像Ｃを再生することを意味する。すなわち、映像Ｃは、映像Ｃの映像データの先頭（映像再生時刻ｔ０）から再生されること意味する。
さらにまた、楽曲再生時刻ｔ２４では、映像Ａと、映像Ａの映像再生時刻ｔ２４とが、再生リンクデータとして定められている。映像Ａの映像再生時刻ｔ２４は、映像Ａの映像データのうち、映像再生時刻ｔ２４に対応した位置のデータから映像Ａを再生することを意味する。すなわち、映像Ａは、映像Ａの映像データの先頭（映像再生時刻ｔ０）から再映像生時刻ｔ２４だけ経過した再生位置から再生されること意味する。
上述したように、楽曲再生時刻ｔ２１では、映像Ｂは、映像Ｂの映像データの先頭（映像再生時刻ｔ０）から再生され、楽曲再生時刻ｔ２２では、映像Ｄは、映像Ｄの映像データの先頭（映像再生時刻ｔ０）から再生され、楽曲再生時刻ｔ２３では、映像Ｃは、映像Ｃの映像データの先頭（映像再生時刻ｔ０）から再生される。この映像再生切り替え処理２では、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生するので、映像Ｂ、Ｃ及びＤについては、それぞれの楽曲再生時刻（ｔ２１、ｔ２２又はｔ２３）から、映像データの先頭から再生すればよい。これに対して、映像Ａは、楽曲の再生時間と同じ再生時間であるので、楽曲再生時刻ｔ２４においては、映像Ａの映像データの先頭（映像再生時刻ｔ０）から映像再生時刻ｔ２４だけ経過した再生位置から映像Ａを再生することになる。
映像再生切り替え処理２における再生リンクデータも、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。特に、映像再生切り替え処理２における再生リンクデータでは、一の映像の再生が終了したときに、他の映像に切り替えて再生する場合でも、音声の再生と映像の再生とを整合させるためのものである。
上述した図９（ａ）に示した再生リンクデータのテーブルも、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻（楽曲再生時刻）と映像の再生時刻（映像再生時刻）とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数（楽曲フレーム番号）や、映像データの映像フレーム数（映像フレーム番号）を再生位置として用いてもよい。図９（ｂ）は、楽曲フレーム数や映像フレーム数（楽曲フレーム番号や映像フレーム番号）を再生位置として用いて定めた再生リンクデータのテーブルである。
図９（ｂ）に示すように、映像再生切り替え処理１における再生リンクデータは、５個の楽曲フレーム数ｆ０、ｆ２１、ｆ２２、ｆ２３及びｆ２４について、切り替える映像と、その切り替える映像の再生位置（映像フレーム数（映像フレーム番号））との関係が定められている。図９（ｂ）に示した再生リンクデータのテーブルでは、楽曲フレーム数ｆ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像フレーム数ｆ０）から、映像ＡがＬＣＤ１８０で再生される。
楽曲フレーム数ｆ２１では、映像Ｂと、映像Ｂの映像フレーム数ｆ０とが、再生リンクデータとして定められている。映像Ｂの映像フレーム数ｆ０は、映像Ｂの映像データのうち、映像フレーム数ｆ０に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像フレーム数ｆ０）から再生されること意味する。
また、楽曲フレーム数ｆ２２では、映像Ｄと、映像Ｄの映像フレーム数ｆ０とが、再生リンクデータとして定められている。映像Ｄの映像フレーム数ｆ０は、映像Ｄの映像データのうち、映像フレーム数ｆ０に対応した位置のデータから映像Ｄを再生することを意味する。すなわち、映像Ｄは、映像Ｄの映像データの先頭（映像フレーム数ｆ０）から再生されること意味する。
さらに、楽曲フレーム数ｆ２３では、映像Ｃと、映像Ｃの映像フレーム数ｆ０とが、再生リンクデータとして定められている。映像Ｃの映像フレーム数ｆ０は、映像Ｃの映像データのうち、映像フレーム数ｆ０に対応した位置のデータから映像Ｃを再生することを意味する。すなわち、映像Ｃは、映像Ｃの映像データの先頭（映像フレーム数ｆ０）から再生されること意味する。
さらにまた、楽曲フレーム数ｆ２４では、映像Ａと、映像Ａの映像フレーム数ｆ２４とが、再生リンクデータとして定められている。映像Ａの映像フレーム数ｆ２４は、映像Ａの映像データのうち、映像フレーム数ｆ２４に対応した位置のデータから映像Ａを再生することを意味する。すなわち、映像Ａは、映像Ａの映像データの先頭（映像フレーム数ｆ０）から映像フレーム数ｆ２４だけ経過した再生位置から再生されること意味する。
上述したように、楽曲フレーム数ｆ２１では、映像Ｂは、映像Ｂの映像データの先頭（映像フレーム数ｆ０）から再生され、楽曲フレーム数ｆ２２では、映像Ｄは、映像Ｄの映像データの先頭（映像フレーム数ｆ０）から再生され、楽曲フレーム数ｆ２３では、映像Ｃは、映像Ｃの映像データの先頭（映像フレーム数ｆ０）から再生される。上述したように、この映像再生切り替え処理２では、再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生するので、映像Ｂ、Ｃ及びＤについては、それぞれの楽曲フレーム数（ｆ２１、ｆ２２又はｆ２３）から、映像データの先頭から再生すればよい。これに対して、映像Ａは、楽曲の再生時間と同じ再生時間であるので、楽曲フレーム数ｆ２４においては、映像Ａの映像データの先頭（映像フレーム数ｆ０）から楽曲フレーム数ｆ２４だけ経過した再生位置から映像Ａを再生することになる。
なお、図９（ｂ）に示した再生リンクデータのテーブルでは、簡便のために、楽曲フレーム数ｆ２４では、映像フレーム数ｆ２４が対応するように、楽曲フレーム数と映像フレーム数とが同じになるように示した。実際には、楽曲フレーム数と映像フレーム数とは、データのサイズやデータ圧縮率などによって、異なる場合が多いが、図９（ｂ）では、簡便のために同じフレーム数を用いて示した。
上述した図９（ａ）や図９（ｂ）に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができる。以下では、図８のタイムチャートに従って映像の切り替えについて説明する。なお、図８に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、映像が再生されておらず、また、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが読み出されず、４つの作業用バッファ１７２Ａ〜Ｄの内容が更新されていない状態の箇所を、縦方向の細破線で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ２、Ｂ２、Ｃ２及びＤ２で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
まず、楽曲再生時間ｔ０又は楽曲フレーム数ｆ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像再生時刻ｔ０や映像フレームｆ０）から、映像ＡがＬＣＤ１８０で再生される。
その後、楽曲再生時刻ｔ２１や楽曲フレーム数ｆ２１に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図８の「タッチ」参照）、楽曲再生時刻ｔ２１や楽曲フレーム数ｆ２１に至ったときに（図７のステップＳ３３）、映像Ａから映像Ｂに切り替え（図８の矢印Ａ２参照）、映像Ｂの映像再生時刻ｔ０や映像フレーム数ｆ０から再生する（図７のステップＳ４７）。なお、楽曲再生時刻ｔ２１や楽曲フレーム数ｆ２１に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＡをＬＣＤ１８０で継続して再生する。
次に、映像Ｂを再生しているときに、楽曲再生時刻ｔ２２や楽曲フレーム数ｆ２２に至るよりも前の時点では、映像Ｄに切り替えるために、映像Ｄの映像データを読み出して、作業用バッファ１７２Ｄに展開して再生の準備をする（図７のステップＳ４５）。その後、楽曲再生時刻ｔ２２や楽曲フレーム数ｆ２２に至ったときには（図８参照）、映像Ｂから映像Ｄに切り替え（図８の矢印Ｂ２参照）、映像Ｄの映像再生時刻ｔ０や映像フレーム数ｆ０から再生する（図７のステップＳ４７）。
なお、映像Ｂを再生しているときに、楽曲再生時刻ｔ２２や楽曲フレーム数ｆ２２に至った場合には、映像Ｂの映像データの最後尾まで読み出して、映像Ｂの再生が終了する。すなわち、映像Ｂの映像データの全再生時間が、ｔ２２−ｔ２１となるように、又は、映像Ｂの全フレーム数が、ｆ２２−ｆ２１となるように構成されている。
さらに、映像Ｄを再生しているときに、楽曲再生時刻ｔ２３や楽曲フレーム数ｆ２３に至るよりも前の時点では、映像Ｃに切り替えるために、映像Ｃの映像データを読み出して、作業用バッファ１７２Ｃに展開して再生の準備をする（図７のステップＳ４５）。その後、楽曲再生時刻ｔ２３や楽曲フレーム数ｆ２３に至ったときに（図８参照）、映像Ｄから映像Ｃに切り替え（図８の矢印Ｃ２参照）、映像Ｃの映像再生時刻ｔ０や映像フレーム数ｆ０から再生する（図７のステップＳ４７）。
なお、映像Ｄを再生しているときに、楽曲再生時刻ｔ２３や楽曲フレーム数ｆ２３に至った場合には、映像Ｄの映像データの最後尾まで読み出して、映像Ｄの再生が終了する。すなわち、映像Ｄの映像データの全再生時間が、ｔ２３−ｔ２２となるように、又は、映像Ｂの全フレーム数が、ｆ２３−ｆ２２となるように構成されている。
さらにまた、映像Ｃを再生しているときに、楽曲再生時刻ｔ２４や楽曲フレーム数ｆ２４に至るよりも前の時点では、映像Ａに切り替えるために、映像Ａの映像データを読み出して、作業用バッファ１７２Ａに展開して再生の準備をする（図７のステップＳ４５）。その後、楽曲再生時刻ｔ２４や楽曲フレーム数ｆ２４に至ったときに（図８参照）、映像Ｃから映像Ａに切り替え（図８の矢印Ｄ２参照）、映像Ａの映像再生時刻ｔ２４や映像フレーム数ｆ２４から再生する（図７のステップＳ４７）。
なお、映像Ｃを再生しているときに、楽曲再生時刻ｔ２４や楽曲フレーム数ｆ２４に至った場合には、映像Ｃの映像データの最後尾まで読み出して、映像Ｃの再生が終了する。すなわち、映像Ｃの映像データの全再生時間が、ｔ２４−ｔ２３となるように、又は、映像Ｂの全フレーム数が、ｆ２４−ｆ２３となるように構成されている。
最終的に、映像Ａを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。
このように、上述した図９（ａ）や図９（ｂ）に示した再生リンクデータを参照して、図７に示したサブルーチンによる処理を実行することによって、楽曲の再生を終了したときに、再生する映像を切り替えても、楽曲と映像とがミスマッチングするなどの恐れを低減でき、楽曲の内容と映像の内容との整合性を維持して切り替えることができる。
また、一の映像の再生が終了して他の映像の再生に切り替える場合に、他の映像に切り替えるよりも前の時点で、他の映像の映像データを記憶装置１２０から読み出して、作業用バッファ１７２に展開しているので、切り替えた直後の再生を円滑にして、直ちに再生を開始することができる。
さらに、楽曲再生時刻ｔ２１や楽曲フレーム数ｆ２１に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には、楽曲再生時刻ｔ２１や楽曲フレーム数ｆ２１に至ったときに、映像Ａから映像Ｂに再生を切り替える。このように、映像Ｂに再生を切り替えた後は、映像Ａを再生する必要がないので、映像Ａの映像データを記憶装置１２０から読み出して、作業用バッファ１７２Ａに展開している必要がなく、映像データの読み出しや展開を中断するのが好ましい。このようにすることで、処理に要する発熱量を抑えるとともに、消費電力を低くして、バッテリ駆動できる時間を長くし、バッテリの寿命を伸ばすことができる。なお、このように、映像データの読み出しや展開を中断しても、上述したように、楽曲再生時刻ｔ２４や楽曲フレーム数ｆ２４に至るよりも前に、映像Ａの映像データを読み出して、作業用バッファ１７２Ａに展開して再生の準備をするので、切り替えた直後の再生を円滑にすることができる。また、処理が遅延することがないので、映像と楽曲とを同期させることができる。したがって、映像データの処理の遅延により、映像と楽曲とが同期しなくなるような状況を回避することもできる。
＜＜映像再生自動切り替え処理＞＞
上述した映像再生切り替え処理２では、再生時間が楽曲の再生時間よりも短い３つの映像Ｂ、Ｃ及びＤの再生が終了したときに、再生リンクデータを参照して、次々に映像を切り替えるものを示した。なお、上述したように、映像Ａの再生時間は、楽曲の再生時間と同じである。このように、映像再生切り替え処理２では、４つの映像Ａ、Ｂ、Ｃ及びＤを用いて映像を切り替えるために、４つの映像Ａ、Ｂ、Ｃ及びＤについて定めた再生リンクデータが必要となり、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データを記憶させることができる記憶容量を有する記憶装置を用いたり、４つの映像Ａ、Ｂ、Ｃ及びＤについての再生リンクデータを予め定めたりする必要があった。
上述した映像再生切り替え処理２では、再生時間が楽曲の再生時間よりも短い３つの映像Ｂ、Ｃ及びＤの再生が終了したときに、再生リンクデータを参照して、次々に映像を切り替えるものを示した。なお、上述したように、映像Ａの再生時間は、楽曲の再生時間と同じである。このように、映像再生切り替え処理２では、４つの映像Ａ、Ｂ、Ｃ及びＤを用いて映像を切り替えるために、４つの映像Ａ、Ｂ、Ｃ及びＤについて定めた再生リンクデータが必要となり、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データを記憶させることができる記憶容量を有する記憶装置を用いたり、４つの映像Ａ、Ｂ、Ｃ及びＤについての再生リンクデータを予め定めたりする必要があった。
図１０は、映像再生自動切り替え処理を実行するためのサブルーチンを示すフローチャートである。図１１は、映像再生自動切り替え処理によって、映像が切り替えられる態様を示すタイムチャートである。
上述したように、図１０は、この映像再生自動切り替え処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレームの計数の処理は、別個のサブルーチン（図示せず）によって独自に行われている。
最初に、映像の再生が終了したか否かを判断する（ステップＳ５１）。映像の再生が終了していないと判別したとき（ＮＯ）には、直ちに本サブルーチンを終了する。
一方、映像の再生が終了したと判別したとき（ＹＥＳ）には、元々再生していた映像を識別するための映像識別番号が存在するか否かを判断する（ステップＳ５３）。識別番号は、上述した図３のステップＳ１９の処理によって記憶されるものである。例えば、元々再生していた映像が映像Ａであったときには、映像識別番号として「１」が記憶されている。元々再生していた映像が映像Ｂであったときには、映像識別番号として「２」が記憶されている。元々再生していた映像が映像Ｃであったときには、映像識別番号として「３」が記憶されている。元々再生していた映像が映像Ｄであったときには、映像識別番号として「４」が記憶されている。なお、楽曲を再生し始めて最初に映像を再生したときには、元々再生していた映像は存在しないので、映像識別番号は存在しない。
ステップＳ５３の判断処理で、元々再生していた映像を識別するための識別番号が存在しないと判別したとき（ＮＯ）、すなわち、楽曲を再生し始めて最初に映像を再生しているときには、直ちに本サブルーチンを終了する。
一方、ステップＳ５３の判断処理で、元々再生していた映像を識別するための識別番号が存在すると判別したとき（ＹＥＳ）、すなわち、楽曲を再生し始めてから少なくとも複数の映像を再生したときには、元々再生していた映像に切り替えて再生し（ステップＳ５５）、本サブルーチンを終了する。
上述した図１０に示した映像再生自動切り替え処理について、図１１を用いて説明する。図１１に示したタイムチャートでも、時間は上から下に向かって流れる。図１１において、「タッチ」と表示されている箇所は、操作者がタッチパネル１３０に接触して操作したことを示す。例えば、時刻ｔ３１や時刻ｔ３３で操作者がタッチパネル１３０に接触したことに応じて、映像Ａの再生から映像Ｂの再生に切り替わる（図１１参照）。この図１１においても、時刻は、楽曲の再生時刻である。図１１に示すように、時刻ｔ０で楽曲の再生が開始されて、楽曲再生時刻ｔｅｎｄで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。
この図１１に示したタイムチャートでは、楽曲の再生に併せて、映像Ａ又は映像Ｂを再生できる場合を示す。この映像Ａの再生時間は、楽曲の再生時間と同じであり、一方、映像Ｂの再生時間は、楽曲の再生時間よりも短い。
図１２（ａ）に示すように、映像再生自動切り替え処理における再生リンクデータは、３つの楽曲再生時刻ｔ０、ｔ３１及びｔ３３について、切り替える映像と、その切り替える映像の再生位置（映像再生時刻）との関係が定められている。図１２（ａ）に示した再生リンクデータのテーブルでは、楽曲再生時刻ｔ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像再生時刻ｔ０）から再生される。なお、この楽曲再生時刻ｔ０における映像Ａは、操作者によるタッチパネル１３０の接触によることなく選択されて、ＬＣＤ１８０で再生される。
楽曲再生時刻ｔ３１では、映像Ｂと、映像Ｂの映像再生時刻ｔ０とが、再生リンクデータとして定められている。また、楽曲再生時刻ｔ３３では、映像Ｂと、映像Ｂの映像再生時刻ｔ０とが、再生リンクデータとして定められている。上述した映像Ｂの映像再生時刻ｔ０は、映像Ｂの映像データのうち、映像再生時刻ｔ０に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像再生時刻ｔ０）から再生されること意味する。
映像再生自動切り替え処理で用いる再生リンクデータも、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。例えば、再生している楽曲のリズムに合うように、人物が歌ったり踊ったりする内容のものを映像にする。
上述した図１２（ａ）に示した再生リンクデータのテーブルは、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻（楽曲再生時刻）と映像の再生時刻（映像再生時刻）とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数（楽曲フレーム番号）や、映像データの映像フレーム数（映像フレーム番号）を再生位置として用いてもよい。図１２（ｂ）は、楽曲フレーム数や映像フレーム数（楽曲フレーム番号や映像フレーム番号）を再生位置として用いて定めた再生リンクデータのテーブルである。
図１２（ｂ）に示すように、映像再生自動切り替え処理で用いる再生リンクデータは、３つの楽曲フレーム数ｆ０、ｆ３１及びｆ３３について、切り替える映像と、その切り替える映像の再生位置（映像フレーム数（映像フレーム番号））との関係が定められている。
図１２（ｂ）に示した再生リンクデータのテーブルでは、楽曲フレーム数ｆ０で、映像Ａが選択されて、映像Ａの再生位置０、すなわち、映像Ａの映像データの先頭（映像フレーム数ｆ０）から再生される。なお、図１２（ａ）に示した再生リンクデータのテーブルと同様に、楽曲フレーム数ｆ０における映像Ａは、操作者によるタッチパネル１３０の接触によることなく選択されて、ＬＣＤ１８０で再生される。
楽曲フレーム数ｆ３１では、映像Ｂと、映像Ｂの映像フレーム数ｆ０とが、再生リンクデータとして定められている。また、楽曲フレーム数ｆ３３では、映像Ｂと、映像Ｂの映像フレーム数ｆ０とが、再生リンクデータとして定められている。映像Ｂの映像フレーム数ｆ０は、映像Ｂの映像データのうち、映像フレーム数ｆ０に対応した位置のデータから映像Ｂを再生することを意味する。すなわち、映像Ｂは、映像Ｂの映像データの先頭（映像フレーム数ｆ０）から再生されること意味する。
上述した図１２（ａ）や図１２（ｂ）に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができ、再生が終了すると元の映像に自動的に切り替えて再生する。以下では、図１１のタイムチャートに従って映像の切り替えについて説明する。なお、図１１に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ３、Ｂ３、Ａ４及びＢ４で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
まず、楽曲再生時刻ｔ３１や楽曲フレーム数ｆ３１に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図１１参照）、楽曲再生時刻ｔ３１や楽曲フレーム数ｆ３１に至ったときに、映像Ａから映像Ｂに切り替え（図１１の矢印Ａ３参照）、映像Ｂの映像再生時刻ｔ０や映像フレーム数ｆ０から再生する。なお、楽曲再生時刻ｔ３１や楽曲フレーム数ｆ３１に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＡをＬＣＤ１８０で継続して再生する。
映像Ａから映像Ｂに切り替えて再生した後、楽曲再生時刻ｔ３２や楽曲フレーム数ｆ３２に至ったときには（図１１参照）、映像Ｂから映像Ａに切り替え（映像Ｂから映像Ａに戻し）（図１１の矢印Ａ４参照）、映像Ａの映像再生時刻ｔ３２や映像フレーム数ｆ３２から再生する（図１０のステップＳ５５）。
さらに、映像Ｂから映像Ａの再生に戻した後、楽曲再生時刻ｔ３３や楽曲フレーム数ｆ３３に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図１１参照）、楽曲再生時刻ｔ３３や楽曲フレーム数ｆ３３に至ったときに、再び、映像Ａから映像Ｂに切り替え（図１１の矢印Ｂ３参照）、映像Ｂの映像再生時刻ｔ０や映像フレーム数ｆ０から再生する。なお、楽曲再生時刻ｔ３３や楽曲フレーム数ｆ３３に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＡをＬＣＤ１８０で継続して再生する。
映像Ａから映像Ｂに切り替えて再生した後、楽曲再生時刻ｔ３４や楽曲フレーム数ｆ３４に至ったときには（図１１参照）、再び、映像Ｂから映像Ａに切り替え（映像Ｂから映像Ａに戻し）（図１１の矢印Ｂ４参照）、映像Ａの映像再生時刻ｔ３４や映像フレーム数ｆ３４から再生する（図１０のステップＳ５５）。
なお、映像Ｂを再生しているときに、楽曲再生時刻ｔ３２や楽曲フレーム数ｆ３２に至った場合、又は楽曲再生時刻ｔ３４や楽曲フレーム数ｆ３４に至った場合には、映像Ｂの映像データの最後尾まで読み出して、映像Ｂの再生が終了する。すなわち、映像Ｂの映像データの全再生時間が、ｔ３２−ｔ３１（＝ｔ３４−ｔ３３）となるように、又は、映像Ｂの全フレーム数が、ｆ３２−ｆ３１（＝ｆ３４−ｆ３３）となるように構成されている。
最終的に、映像Ａを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。
上述した図１１のタイムチャートに示した例では、時刻ｔ３１と時刻ｔ３３との双方で、同じ映像Ｂに切り替えられて再生する場合を示した。すなわち、楽曲が再生されている間に、映像Ｂが２回再生される場合を示したが、時刻ｔ３１と時刻ｔ３３とで、異なる映像に切り替えて再生するようにしてもよい。例えば、時刻ｔ３１では、映像Ｂに切り替え、時刻ｔ３３では、映像Ｃに切り替えるようにしてもよい。
このように、再生していた映像が終了したときには、直ちに、元々再生していた映像に切り替えて再生する。このようにすることで、簡素に構成した再生リンクデータを参照して、再生する映像を切り替えることができるので、処理を容易にすることができる。
上述した図１０のステップＳ５１の判断処理では、映像の再生が終了したか否かを判断して、映像の再生を切り替えたが、一の映像の再生を開始してから所定の時間を経過したときに、他の映像の再生に切り替えるようにしてもよい。このようにすることで、例えば、一の映像が販売商品であるようなときに、一の映像の全体を継続して再生したいような場合には、その一の映像について決済をして、一の映像を操作者に購入させるようにする。このようにすることで、一の映像を購入させようとする動機を操作者に与えることができるともに、決済をしていない操作者に対しては、一の映像の一部のみの再生しか許可しないようにすることで、販売商品である一の映像の全体が再生されることを防止して、一の映像を保護することができる。
＜＜決済処理１＞＞
図１３は、再生する楽曲に対して決済の処理をするサブルーチンを示すフローチャートである。図１４は、再生する楽曲に対して決済の処理のタイミングチャートを示す。なお、この決済の処理が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
上述したように、図１３は、この決済処理１を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。
図１３のサブルーチンにおいて、最初に、決済要求情報が記憶装置１２０に記憶されて存在しているか否かを判断する（ステップＳ６１）。決済要求情報は、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置１２０に記憶されて存在し、決済をした場合には、記憶装置１２０から消去されて存在しない。
ステップＳ６１の判断処理で、決済要求情報が記憶装置１２０に消去されて存在していないと判別したとき（ＮＯ）には、直ちに、サブルーチンを終了する。これは、既に、操作者がその楽曲に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときには、決済をした楽曲に対しては、再生時間が制限されることなく、映像楽曲再生装置１００で再生をすることができる。一方、決済をせず、決済要求情報が存在している状態の場合には、対象となっている楽曲について、映像楽曲再生装置１００において再生できる時間が制限される。すなわち、再生できる時間を越えたときには、その楽曲が出力されないようにされる。
上述したステップＳ６１の判断処理で、決済要求情報が、記憶装置１２０に記憶されており、存在していると判別したとき（ＹＥＳ）には、楽曲の再生を開始してから所定の時間が経過したか否かを判断する（ステップＳ６３）。この楽曲の再生を開始してから所定の時間が経過したか否かのための計時は、上述したタイマ１５０を、楽曲の再生と同時に起動し、タイマ１５０のタイマ値を計数することによって行うことができる。
ステップＳ６３の判断処理で、楽曲の再生を開始してから所定の時間が経過していないと判別したとき（ＮＯ）には、直ちに、サブルーチンを終了する。一方、楽曲の再生を開始してから所定の時間が経過したと判別したとき（ＹＥＳ）には、記憶装置１２０に記憶されている決済要求情報を読み出して、決済要求情報をＬＣＤ１８０に表示する（ステップＳ６５）。このように、決済要求情報を表示することによって、楽曲の再生とともに行われている映像の再生が、ある程度、妨げられることになり、決済要求情報の存在を操作者に視認させることにより、未だに決済が終っていないことを操作者に明確に認識させることができる。
次いで、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ６７）。このタッチパネル１３０への接触は、操作者が決済することを認めたことを意味する。ステップＳ６７の判断処理で、操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）、すなわち、操作者が決済しないとしたときには、直ちに、サブルーチンを終了する。
一方、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）、すなわち、操作者が決済することを認めたときには、決済許可データと、ユーザＩＤと、楽曲識別コードとを、通信インターフェース１４０を介してサーバ（図示せず）に送信する（ステップＳ６９）。ここで、決済許可データは、操作者が決済することを認めたことを示す情報であり、ステップＳ６７の判断処理で、操作者が、タッチパネル１３０に接触したと判別したときに生成される情報である。また、ユーザＩＤは、操作者を識別するための情報であり、決済が漏れたり重複したりすることなく、的確に行うためのものである。このユーザＩＤは、操作者に対して固有に割り当てるようにしても、映像楽曲再生装置１００に対して固有に割り当てるようにしてもよい。映像楽曲再生装置１００に対して割り当てた場合には、映像楽曲再生装置１００を介して間接的に操作者を識別することになる。いずれにしても、ユーザＩＤは、的確に決済するために、操作者を識別する情報である。さらに、楽曲識別コードは、操作者が決済しようとする楽曲を識別するための情報である。
上述したステップＳ６９の処理によって決済許可データとユーザＩＤと楽曲識別コードとが送信されたサーバでは、これらの情報に基づいてキーコードを生成する。このキーコードは、操作者が決済を希望した楽曲に対して決済されたことを示す情報である。特に、キーコードは、不正に使用されないようにするために、ユーザＩＤや楽曲識別コードを用いて生成し、ユーザＩＤや楽曲識別コードに固有な情報にしたものが好ましい。このようなキーコードを生成することによって、同じキーコードを用いても、異なる映像楽曲再生装置１００では、同じ楽曲が再生することができないようにでき、楽曲を不正に利用されることを防止できる。
上述したステップＳ６９の処理を実行した後、サーバによって生成されたキーコードを受信し（ステップＳ７１）、受信したキーコードと、真正キーコードとが一致するか否かを判断する（ステップＳ７３）。ここで、真正キーコードは、映像楽曲再生装置１００で生成されたキーコードである。この映像楽曲再生装置１００における真正キーコードの生成は、上述したサーバにおけるキーコードの生成と同様のアルゴリズムによって行われる。したがって、原則、サーバで生成されたキーコードと、映像楽曲再生装置１００で生成された真正キーコードとは一致する。しかし、何らかの不正行為などによって、入手したり生成したりしたキーコードは、真正キーコードと一致しなくなる可能性が高くなる。このように、サーバで生成されたキーコードと、映像楽曲再生装置１００で生成された真正キーコードとが一致するか否かを判断することによって、楽曲を不正に利用されることを防止できる。
上述したステップＳ７３の判断処理で、受信したキーコードと、真正キーコードとが一致しないと判別したとき（ＮＯ）、すなわち、受信したキーコードが不正なものであると判別したときには、再生している楽曲の再生を中止し（ステップＳ７５）、本サブルーチンを終了する。一方、受信したキーコードと、真正キーコードとが一致すると判別したとき（ＹＥＳ）、すなわち、受信したキーコードが真正なものであると判別したときには、記憶装置１２０に記憶されている決済要求情報を消去して（ステップＳ７７）、本サブルーチンを終了する。このステップＳ７７の処理によって、決済要求情報を消去することにより、楽曲の再生時間が制限を解除することができる。
図１４（ａ）及び（ｂ）は、この決済処理を示すタイムチャートである。この図１４に示したタイムチャートの例では、楽曲が決済の対象であり、映像は決済の対象とされていない。
図１４（ａ）において、まず、楽曲再生時刻ｔ０に楽曲の再生が開始されるとともに、映像Ａの再生も開始される。次いで、楽曲再生時刻ｔ４１に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図１４参照）、楽曲再生時刻ｔ４１に至ったときに、映像Ａから映像Ｂに切り替え（図１４の矢印Ａ５参照）、映像Ｂの楽曲再生時刻ｔ０から再生する。なお、楽曲再生時刻ｔ４１に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ａを継続して再生する。
その後、楽曲再生時刻が楽曲再生時刻ｔ４２に至ったときに、楽曲の再生を開始してから所定の時間が経過したと判別されて（図１３のステップＳ６３）、決済要求情報がＬＣＤ１８０に表示されて（図１３のステップＳ６５）、それに応じて、操作者がタッチパネル１３０に接触したときには（図１３のステップＳ６７）、決済されたことによって、決済要求情報が削除され（図１３のステップＳ７７）、楽曲の再生時間が制限を解除されて、楽曲再生時刻ｔ４２以降も楽曲の再生が継続される（図１４（ａ）の実線の矢印参照）。
一方、図１４（ｂ）において、楽曲再生時刻が楽曲再生時刻ｔ０からｔ４２に至るまでは同様である。楽曲再生時刻が楽曲再生時刻ｔ４２に至ったときに、楽曲の再生を開始してから所定の時間が経過したと判別されて（図１３のステップＳ６３）、決済要求情報がＬＣＤ１８０に表示される（図１３のステップＳ６５）。この決済要求情報がＬＣＤ１８０に表示されたにもかかわらず、操作者がタッチパネル１３０に接触しなかったときには（図１３のステップＳ６７）、決済されず、決済要求情報が存在する状態となる（図１３のステップＳ７７）。決済要求情報が存在するときには、楽曲再生時刻ｔ４２以降、楽曲の再生は中断される（図１３のステップＳ７５及び図１４（ｂ）の細破線参照）。
なお、上述したように、楽曲再生時刻ｔ４１（楽曲再生時刻ｔ４１以前）における操作者のタッチパネル１３０への接触は、映像Ａから映像Ｂへの切り替えをするための操作である。これに対して、楽曲再生時刻ｔ４２のおける操作者のタッチパネル１３０への接触は、楽曲を継続して再生できるようにするための決済の操作である（図１３のステップＳ６７）。このように、タッチパネル１３０への接触のみで各種の操作をすることができ、操作が煩雑になることを防止することができる。なお、
上述したような処理を実行することにより、楽曲の再生時間が制限されていても、少なくとも楽曲の一部は再生できるので、その楽曲が真に所望する楽曲であるか否かを操作者に判断できる機会を与えることができ、操作者に不必要に出費させることを防止することができる。
また、楽曲の再生時間を制限し、決済しない場合には、楽曲の再生を中止するようにしたことによって、決済することなく、楽曲が再生されてしまうという楽曲の提供者の経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することもできる。
さらに、上述した例では、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル１３０から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理のための操作をタッチパネル１３０で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル１３０を操作することで、サーバから送信された解除情報を入力する。タッチパネル１３０から解除情報が入力されたときには、映像楽曲再生装置１００は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
また、上述した図１３及び図１４では、楽曲のみが課金されて決済の対象とした場合を示したが、映像Ａや映像Ｂなどの映像も決済の対象としてもよい。この場合には、所定の再生時間を経過しても、決算されなかったときには、ＬＣＤ１８０における再生を中止する。このようにすることで、楽曲の提供者のみならず、映像の提供者の利益も保護することができる。
＜＜決済処理２＞＞
図１５は、再生する映像に対して第２の決済の処理（決済処理２）をするサブルーチンを示すフローチャートである。なお、第２の決済の処理では、映像を決済の対象としている。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この決済処理２が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図１５は、再生する映像に対して第２の決済の処理（決済処理２）をするサブルーチンを示すフローチャートである。なお、第２の決済の処理では、映像を決済の対象としている。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この決済処理２が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、決済要求情報が記憶装置１２０に記憶されて存在しているか否かを判断する（ステップＳ８１）。この決済要求情報は、決済処理１におけるものと同様に、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置１２０に記憶されて存在し、決済をした場合には、記憶装置１２０から消去されて存在しない。
上述したステップＳ８１の判断処理で、決済要求情報が記憶装置１２０に消去されて存在していないと判別したとき（ＮＯ）には、直ちに、サブルーチンを終了する。これは、既に、操作者がその映像に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときには、決済をした映像に対しては、後述するように、映像の再生回数が制限されることなく、映像楽曲再生装置１００で再生をすることができる。一方、決済をせず、決済要求情報が存在している状態の場合には、対象となっている映像について、映像楽曲再生装置１００において再生できる回数が制限される。すなわち、映像を無料で再生できる回数を越えたときには、その映像が再生されないようにされる。
上述したステップＳ８１の判断処理で、決済要求情報が記憶装置１２０に存在していると判別したとき（ＹＥＳ）には、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ８３）。このタッチパネル１３０への接触は、再生する映像を切り替えるための操作である。ステップＳ８３の判断処理で、操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）、すなわち、再生する映像を切り替える操作をしなかったと判別したときには、直ちに本サブルーチンを終了する。
一方、ステップＳ８３の判断処理で、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）、すなわち、再生する映像を切り替える操作をしたと判別したときには、接触した回数を１だけ増やす（ステップＳ８５）。次いで、接触した回数が所定回数より大きくなったか否かを判断する（ステップＳ８７）。接触した回数が所定回数以下であると判別したとき（ＮＯ）には、直ちに本サブルーチンを終了する。
一方、接触した回数が所定回数より大きくなったと判別したとき（ＹＥＳ）には、図１３と同様のステップＳ６５〜Ｓ７７、Ｓ８８及びＳ８９の処理を実行する。なお、上述したように、第２の決済の処理では、映像を決済の対象としているので、ステップＳ８８では、操作者が決済することを認めたときには、決済許可データと、ユーザＩＤと、映像識別コードとを、通信インターフェース１４０を介してサーバ（図示せず）に送信する。この映像識別コードは、操作者が決済しようとする映像を識別するための情報である。このように、第２の決済の処理では、映像識別コードをサーバに送信することで、キーコードが、サーバで生成されて、サーバから送信されて、真正キーコードと比較される。
また、ステップＳ８９では、キーコードが、真正キーコードと一致しなかったときには、映像の再生を中止する。
操作者がタッチパネル１３０に接触することで、再生する映像を切り替える操作が行われる。したがって、操作者がタッチパネル１３０に接触した回数を計数することによって、映像が再生された回数を取得することができ、決済の対象にするどうかを判断することができる。
上述した決済処理１では、楽曲の再生時間を制限して、決済されたときには、楽曲の再生時間（試聴時間）の制限を解除するものであった。しかしながら、楽曲の再生時間を用いて決済を管理する場合には、映像楽曲再生装置１００を構成する内部時計（図示せず）が示す時刻を調整することによって、試聴時間を長時間化して、不正に再生される可能性もある。
これに対して、決済処理２では、操作者がタッチパネル１３０に接触した回数、すなわち、映像の再生回数を計数し、その回数が所定回数を超えるまでは、無料で映像を再生することができる。このようにしたことで、映像の再生回数が制限されていても、少なくとも一回は再生できるので、その映像が真に所望する映像であるか否かを操作者に判断できる機会を与えることができ、操作者に不必要に出費させることを防止することができる。
また、映像の再生回数を制限し、決済しない場合には、映像を再生できないようにしたことによって、決済することなく、映像が再生されてしまうという映像の提供者の経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することもできる。さらに、映像楽曲再生装置１００を構成する内部時計が示す時刻を調整することによって、試聴時間を長時間化して、映像が不正に再生されることを防止することもできる。
また、決済処理２でも、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル１３０から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理ための操作をタッチパネル１３０で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル１３０を操作することで、サーバから送信された解除情報を入力する。タッチパネル１３０から解除情報が入力されたときには、映像楽曲再生装置１００は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
＜＜決済処理３＞＞
図１６は、再生する映像に対して第３の決済の処理（決済処理３）をするサブルーチンを示すフローチャートである。なお、この決済処理３でも、映像を決済の対象としている。なお、図１５と同様の処理については、同様の符号を付した。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この決済処理３が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図１６は、再生する映像に対して第３の決済の処理（決済処理３）をするサブルーチンを示すフローチャートである。なお、この決済処理３でも、映像を決済の対象としている。なお、図１５と同様の処理については、同様の符号を付した。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この決済処理３が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、決済要求情報が記憶装置１２０に記憶されて存在しているか否かを判断する（ステップＳ８１）。この決済要求情報は、決済処理１や決済処理２におけるものと同様に、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置１２０に記憶されて存在し、決済をした場合には、記憶装置１２０から消去されて存在しない。
上述したステップＳ８１の判断処理で、決済要求情報が記憶装置１２０に消去されて存在していないと判別したとき（ＮＯ）には、直ちに、サブルーチンを終了する。これは、既に、操作者がその映像に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときに、決済をした映像を再生する場合には、後述するように、広告が表示されることなく、映像のみを再生することができる。一方、決済をせずに、決済要求情報が存在している状態の場合には、対象となっている映像の再生に併せて、所定の広告が表示される。すなわち、映像を無料で再生できる回数を越えたときには、所定の広告が表示される。
上述したステップＳ８１の判断処理で、決済要求情報が記憶装置１２０に存在していると判別したとき（ＹＥＳ）には、ＬＣＤ１８０において、映像を再生するとともに、広告を表示する（ステップＳ９１）。このように、広告を表示することで、広告の内容を操作者に視認させることができるとともに、再生している映像が、課金の対象とされているにも拘わらず、未だに決済していないことを操作者に認識させることができる。上述したように、決済をした場合には、決済要求情報が記憶装置１２０に存在しないので、広告がＬＣＤ１８０に表示されることはない。
上述したステップＳ９１の処理を実行したときには、図１５と同様のステップＳ８３〜Ｓ８７及びステップＳ６５〜Ｓ７７、Ｓ８８及びＳ８９を実行する。
なお、上述したように、第３の決済の処理でも、映像を決済の対象としているので、ステップＳ８８では、操作者が決済することを認めたときには、決済許可データと、ユーザＩＤと、映像識別コードとを、通信インターフェース１４０を介してサーバ（図示せず）に送信する。この映像識別コードは、操作者が決済しようとする映像を識別するための情報である。このように、第２の決済の処理では、映像識別コードをサーバに送信することで、キーコードが、サーバで生成されて、サーバから送信されて、真正キーコードと比較される。また、ステップＳ８９では、キーコードが、真正キーコードと一致しなかったときには、映像の再生を中止する。
上述した第２の決済の処理（決済処理２）や第３の決済の処理（決済処理３）におけるタッチパネル１３０の接触回数は、広告料に応じて定めるのが好ましい。例えば、ＬＣＤ１８０に表示できる広告ごとに、広告主から広告料を予め徴収するとともに、その広告料に応じて、タッチパネル１３０の接触回数を定める。このようにして定めた接触回数を、映像のデータとともに記憶装置１２０に記憶させておき、ステップＳ８７の判断処理の「所定回数」として読み出して用いる。このようにすることで、広告料に応じて、無料で再生できる回数を定めることができる。
また、映像の再生について、決済をするまでは、広告主から徴収した広告料によって負担され、決済をしたときには、決済によって、操作者が負担することになる。
さらに、上述した例では、広告を映像や楽曲とは別個のものとして扱ったが、広告を１つの映像や楽曲として扱ってもよい。例えば、テレビコマーシャルのような映像と楽曲を、映像楽曲再生装置１００に無料で配信して再生できるようにすることで、宣伝効果を上げることができるとともに、広告料に応じて、映像と楽曲を再生することができる回数を制限することによって、その映像の著作権を保護できる可能性も生ずる。
また、決済処理３でも、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル１３０から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理のための操作をタッチパネル１３０で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル１３０を操作することで、サーバから送信された解除情報を入力する。タッチパネル１３０から解除情報が入力されたときには、映像楽曲再生装置１００は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
＜＜広告表示・非表示処理＞＞
図１７は、広告表示・非表示処理をするサブルーチンを示すフローチャートである。なお、上述した第３の決済の処理（決済処理３）では、一種類の広告が表示される場合を示したが、複数種類の広告を表示できるようにしてもよい。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この広告表示・非表示処理が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図１７は、広告表示・非表示処理をするサブルーチンを示すフローチャートである。なお、上述した第３の決済の処理（決済処理３）では、一種類の広告が表示される場合を示したが、複数種類の広告を表示できるようにしてもよい。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この広告表示・非表示処理が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、ＬＣＤ１８０において、映像に再生に併せて、複数の広告を表示する（ステップＳ１０１）。なお、複数の広告は、ＬＣＤ１８０に同時に表示するようにしても、時間的に重ならないように表示するようにしてもよい。これらの複数の広告は、各々が表示される位置と、その広告を識別するための識別番号との対応関係が、記憶装置１２０に予め記憶されており、ＬＣＤ１８０に表示された広告の位置を指定することで、その位置に表示されている広告の識別番号を識別でき、ＬＣＤ１８０に表示された広告の種類を特定することができる。
次いで、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ１０３）。このタッチパネル１３０への接触は、表示されている広告を操作者が指定するための操作である。操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）には、本サブルーチンを終了する。
一方、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）には、操作者によって接触されたタッチパネル１３０の位置（領域）を取得し、記憶装置１２０に記憶されている対応関係を参照して、広告を識別するための識別番号を決定する（ステップＳ１０５）。次に、広告の識別番号ごとに、表示された広告の表示回数を積算し（ステップＳ１０７）。広告の識別番号と、表示された広告の表示回数とをサーバに送信し（ステップＳ１０９）、本サブルーチンを終了する。
このようにすることで、サーバは、広告の識別番号と、ＬＣＤ１８０に表示された広告の表示回数とを受信し、広告ごとに、表示された広告の表示回数を集計することができる。さらに、データにおいて、集計した広告の表示回数に応じて広告料を演算して、その広告料を広告主から徴収できるとともに、映像楽曲再生装置１００において、実際に、広告した回数を、具体的な数字として、広告主に報告できるシステムを構築することができ、様々な広告効果表示システムとしてサーバを利用することができる。
＜＜オブジェクト表示対応処理＞＞
映像に対応づけられた複数のオブジェクトをＬＣＤ１８０に表示し、操作者によってオブジェクトが指定されると、そのオブジェクトに対応づけられた映像を再生するようにしてもよい。
映像に対応づけられた複数のオブジェクトをＬＣＤ１８０に表示し、操作者によってオブジェクトが指定されると、そのオブジェクトに対応づけられた映像を再生するようにしてもよい。
本明細書において、オブジェクトとは、映像楽曲再生装置１００のＬＣＤ１８０に映像が再生されたときに、所定の対象（物体や人物など）であると視認することができるものであり、予め映像として撮影されているものや、映像の再生と同時に重ねて表示されたり、付加して表示されたりするものも含む。特に、いわゆるアイコンなどのように、対応づけられた映像を示す内容を小さな画像で表現したものをオブジェクトとするものが好ましい。このようにすることで、操作者に再生すべき映像を明確に示すことができる。
図１８は、オブジェクト表示対応処理のサブルーチンを示すフローチャートである。図１９は、オブジェクト表示対応処理で用いるオブジェクト表示位置データの内容を示すテーブルである。図２０は、オブジェクト表示対応処理を実行することによって、ＬＣＤ１８０に表示される映像の例を示す図である。なお、このオブジェクト表示対応処理が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
上述したように、図１８は、このオブジェクト表示対応処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。
図１８に示したサブルーチンにおいて、最初に、オブジェクトがＬＣＤ１８０で再生されている否かを判断する（ステップＳ１１１）。オブジェクトがＬＣＤ１８０で再生されていないと判別したとき（ＮＯ）には、本サブルーチンを直ちに終了する。
一方、オブジェクトがＬＣＤ１８０で再生されていると判別したとき（ＹＥＳ）には、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ１１３）。操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）には、本サブルーチンを直ちに終了する。
一方、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）には、操作者がタッチパネル１３０に接触したときの楽曲再生時刻を取得する（ステップＳ１１５）。この処理は、上述したタイマ１５０を、楽曲の再生と同時に起動し、タイマ１５０のタイマ値を計数することによって行うことができる。なお、このステップＳ１１５における処理は、楽曲の再生を開始したときから経過したタイミングを取得できればよいので、楽曲フレーム数を、楽曲の再生を開始したときから計数して取得するようにしてもよい。
次に、操作者がタッチパネル１３０に接触した位置をタッチパネル１３０の出力信号から取得して、後述する図１９に示すオブジェクト表示位置データを参照して、操作者がタッチパネル１３０に接触した位置から、その位置に表示されているオブジェクトを取得する（ステップＳ１１７）。次いで、オブジェクト表示位置データを参照して、オブジェクトに対応づけられた映像の再生に切り替えて（ステップＳ１１９）、本サブルーチンを終了する。
図１９は、オブジェクト表示対応処理で用いるオブジェクト表示位置データの内容を示すテーブルである。図１９に示した例では、第１列にオブジェクトを示し、第２列にオブジェクトに対応づけられた映像を示し、第３列は、映像再生時刻を示し、第４列は、第３列に示した映像再生時刻におけるタッチパネル１３０でのオブジェクトの再生位置を示す。
図１９のオブジェクト表示位置データに示すように、オブジェクトは、Ｏ１、Ｏ２などの複数のオブジェクトからなる。なお、図１９に示したオブジェクト表示位置データでは、明瞭にするために、オブジェクトを識別するための識別情報として、Ｏ１、Ｏ２などの記号を用いたが、処理を容易にするために数値のみで識別情報を構成してもよい。
なお、図２（ａ）に示したようなＬＣＤ１８０とタッチパネル１３０とが一体に形成された態様の映像楽曲再生装置１００の場合には、タッチパネル１３０におけるオブジェクトの再生位置と、ＬＣＤ１８０におけるオブジェクトの再生位置とは一致するので、オブジェクト表示位置データの第４列に示したオブジェクトの再生位置は、ＬＣＤ１８０におけるオブジェクトの再生位置でもよい。
また、上述したように、楽曲再生時刻を用いるのではなく、楽曲フレーム数を用いて、楽曲の再生を開始したときから経過したタイミングを判断してもよい。この楽曲フレーム数を用いる場合には、図１９に示したオブジェクト表示位置データの第３列は、映像再生時刻ではなく、楽曲フレーム数にすればよい。
上述したステップＳ１１５の処理によって、取得した楽曲再生時刻を用いて、図１９に示したオブジェクト表示位置データの第３列と第４列とを検索して、その楽曲再生時刻に対応するオブジェクトの再生位置が存在するものを選択し、ステップＳ１１７の処理によって、第１列を参照して、その再生位置に存在するオブジェクトを取得する。次に、ステップＳ１１９の処理によって、オブジェクト表示位置データの第３列を読み出して、取得したオブジェクトに対応づけられた映像を取得し、その映像の再生に切り替える。
例えば、図２０に示したように、ＬＣＤ１８０の全体では、映像Ａが再生されている。さらに、ＬＣＤ１８０には、ＬＣＤ１８０の右側には、映像Ａの前側に一人の人物が表示され、ＬＣＤ１８０の左側には、映像Ａの前側に一本の木が表示されている。図２０に示した例では、人物の頭の領域が、オブジェクトＯ１に設定され、木の全体が、オブジェクトＯ２に設定されている。
したがって、図２０に示すように、操作者がタッチパネル１３０に接触して、人物の頭の領域が接触されたときには、オブジェクトＯ１が選択されたことにより、オブジェクトＯ１に対応づけられた映像Ｃが再生される。また、操作者がタッチパネル１３０に接触して、木の領域が接触されたときには、オブジェクトＯ２が選択されたことにより、オブジェクトＯ２に対応づけられた映像Ｂが再生される。
図１９に示したオブジェクト表示位置データを用いることで、楽曲再生時刻とともに、オブジェクトの位置も予め記憶させているので、オブジェクトが楽曲再生時刻とともに移動するような場合であっても、タッチパネル１３０に接触されたときの楽曲再生時刻におけるオブジェクトの位置を取得でき、オブジェクトに対応づけられた映像の再生に的確に切り替えることができる。
＜＜再生時間調整処理＞＞
操作者が所望する映像を映像楽曲再生装置１００で再生する場合もある。しかしながら、この場合には、映像とともに再生する楽曲に併せるために、映像の再生時間を調整する必要がある。以下では、映像の再生時間を調整する処理について説明する。
操作者が所望する映像を映像楽曲再生装置１００で再生する場合もある。しかしながら、この場合には、映像とともに再生する楽曲に併せるために、映像の再生時間を調整する必要がある。以下では、映像の再生時間を調整する処理について説明する。
図２１は、再生時間調整処理のサブルーチンを示すフローチャートである。図２２は、再生時間調整処理の具体例を示すタイムチャートである。
上述したように、図２１は、この再生時間調整処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。なお、この再生時間調整処理が実行される映像楽曲再生装置１００においても、上述した再生リンクデータが記憶装置１２０に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図２１に示した再生時間調整処理のサブルーチンにおいて、最初に、操作者が準備した映像データを、記憶装置１２０の作業用メモリに一時的に記憶させる（ステップＳ１２１）。
次に、操作者が準備した映像とともに再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いか否かを判断する（ステップＳ１２３）。操作者が準備した映像とともに再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いと判別したとき（ＹＥＳ）には、操作者が準備した映像の一部を選択すべきことをＬＣＤ１８０に表示する（ステップＳ１２５）。
次に、タッチパネル１３０の操作によって、操作者が準備した映像の一部の開始時刻が、入力されたか否かを判断する（ステップＳ１２７）。この開始時刻の入力は、操作者が準備した映像の再生時間の全体を示す長尺な画像をＬＣＤ１８０に表示し、その表示した画像の開始時刻に相当する箇所を、操作者がタッチパネル１３０を操作することによって行うことができる。ステップＳ１２７の判断処理で、開始時刻が、入力されていないと判別したとき（ＮＯ）には、ステップＳ１２７に処理を戻す。
一方、ステップＳ１２７の判断処理で、開始時刻が、入力されたと判別したとき（ＹＥＳ）には、タッチパネル１３０の操作によって、操作者が準備した映像の一部の終了時刻が、入力されたか否かを判断する（ステップＳ１２９）。この終了時刻の入力は、上述したステップＳ１２７の処理と同様に、操作者が準備した映像の再生時間の全体を示す長尺な画像をＬＣＤ１８０に表示し、その表示した画像の終了時刻に相当する箇所を、操作者がタッチパネル１３０を操作することによって入力することができる。ステップＳ１２９の判断処理で、終了時刻が、入力されていないと判別したとき（ＮＯ）には、ステップＳ１２９に処理を戻す。
上述したステップＳ１２７及びＳ１２９の処理において、操作者が準備した映像の再生時間の全体を示す長尺な画像をＬＣＤ１８０に表示し、その画像に対して開始時刻と終了時刻とを指定できるようにしたことにより、再生時間の全体と開始時刻と終了時刻とを視覚的に明瞭に示すことができ、操作者の操作を容易にすることができる。
一方、ステップＳ１２９の判断処理で、終了時刻が、入力されたと判別したとき（ＹＥＳ）には、ステップＳ１２７の処理で入力された開始時刻と、ステップＳ１２９の処理で入力された終了時刻との差の時間が、再生する楽曲の再生時間以下であるか否かを判断する（ステップＳ１３１）。開始時刻と終了時刻との差の時間が、再生する楽曲の再生時間より長いと判別したとき（ＮＯ）には、上述したステップＳ１２７に処理を戻す。
一方、開始時刻と終了時刻との差の時間が、再生する楽曲の再生時間以下であると判別したとき（ＹＥＳ）には、操作者が準備した映像の映像データのうち、開始時刻から終了時刻までのデータを切り取る（ステップＳ１３３）。この処理によって、操作者が準備した映像のうちの、開始時刻ｔ５ｓ（図２２（ａ）参照）から終了時刻ｔ５ｅ（図２２（ａ）参照）までの映像の映像データが切り取ることができる。
次に、ステップＳ１３３の処理で切り取った映像データを、記憶装置１２０の映像データ用メモリに記憶し（ステップＳ１３５）、本サブルーチンを終了する。
上述したステップＳ１２３〜Ｓ１３５の処理を実行することによって、再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いような場合にも、再生する楽曲の再生時間に適合するように映像の再生時間を調整することができる。
例えば、図２２（ａ）に示すように、再生する楽曲の再生時間ＴＰＢよりも、操作者が準備した映像の再生時間が長い場合には、操作者が準備した映像のうち、開始時刻ｔ５ｓと終了時刻ｔ５ｅとを指定することによって、開始時刻ｔ５ｓから終了時刻ｔ５ｅまでのデータを切り取り、操作者が準備した映像の再生時間を、再生する楽曲の再生時間ＴＰＢと同じ再生時間（ｔ５ｅ−ｔ５ｓ）にすることができる（図２２（ｂ）参照）。切り取った映像の再生開始時刻ｔ０は、切り取る前の映像の開始時刻ｔ５ｓに対応し、再生終了時刻ＴＰＢは、切り取る前の映像の開始時刻ｔ５ｅに対応する。このようにすることで、切り取った映像の再生開始時刻ｔ０から再生を開始し、再生終了時刻ＴＰＢで再生を終了することにより、楽曲の再生の開始及び終了と一致させることができる。このため、切り取る前の映像の開始時刻ｔ５ｓから再生を開始し終了時刻ｔ５ｅで再生を終了するのと同じように、映像の再生をすることができる。
上述したステップＳ１２３の判断処理で、操作者が準備した映像の再生時間が、楽曲の再生時間以下であると判別したとき（ＮＯ）には、操作者が準備した映像で確定するか否かを判断する（ステップＳ１３７）。この判断は、楽曲の再生に併せて再生する映像を少なくとも１つ既に決定しているが、映像の再生時間が楽曲の再生時間よりも短く、映像の再生処理に時間的な余裕が生ずるため、再生する映像をさらに追加するか否かを決定するためのものである。以下では、楽曲の再生に併せて再生することを決定した映像を第１の映像と称する。また、さらに追加する映像を第２の映像と称する。したがって、ステップＳ１３７の判断処理は、具体的には、楽曲の再生に併せて、まず、第１の映像を再生し、その後に、第２の映像を再生するように、第２の映像を追加するか否かを判断するためのものである。
より具体的には、楽曲の再生に併せて再生する映像として、第２の映像を追加した第１の映像と第２の映像との双方を再生する意思があるか否かを操作者に確認させるための処理を実行する。例えば、追加する第２の映像があるか否かの旨をＬＣＤ１８０に表示し、タッチパネル１３０を操作者に操作させることで、追加する第２の映像があること、又は追加する第２の映像がないことを操作者に選択させる。「追加する映像があること」を操作者が選択したときには、ステップＳ１３７の判断処理では、「ＹＥＳ」であると判別し、「追加する映像がないこと」を操作者が選択したときには、ステップＳ１３７の判断処理では、「ＮＯ」であると判別する。
ステップＳ１３７の判断処理で、操作者が準備した映像で確定すると判別したとき（ＮＯ）、すなわち、「追加する映像がないこと」を操作者が選択して、第２の映像を追加せずに、第１の映像のみにしたときには、本サブルーチンを直ちに終了する。
一方、ステップＳ１３７の判断処理で、操作者が準備した映像で確定しないと判別したとき（ＹＥＳ）、すなわち、「追加する映像があること」を操作者が選択して、第１の映像だけでなく、第２の映像を追加するときには、さらに、操作者が新たに準備した映像（第２の映像）の映像データを、記憶装置１２０の映像データ用メモリに記憶させ（ステップＳ１３９）、残りの再生時間を算出してＬＣＤ１８０に表示する（ステップＳ１４１）。ここで、残りの再生時間とは、第１の映像の再生時間（ｔ５ｅ−ｔ５ｓ）と、第２の映像の再生時間との和を、楽曲の再生時間から減じた時間である。
次に、ステップＳ１４１の処理によって算出した残りの再生時間に応じて、第２の映像を使うことができるか否かを判断する（ステップＳ１４３）。例えば、ステップＳ１４１の処理で算出した残りの再生時間がゼロ以上であるときには、第２の映像を使うことができると判別し、残りの再生時間が負であるときには、第２の映像を使うことができないと判別する。
上述したステップＳ１４３の判断処理で、第２の映像を使うことができると判別したとき（ＹＥＳ）には、さらに、新たな映像（第３の映像）を追加するために、ステップＳ１２１に処理を戻す。この場合には、ステップＳ１３９の処理で、既に、第２の映像の映像データを、記憶装置１２０の映像データ用メモリに記憶させているので、その映像データを読み出すことで、第２の映像を再生することができる。
一方、上述したステップＳ１４３の判断処理で、第２の映像を使うことができると判別したとき（ＮＯ）には、直ちに本サブルーチンを終了する。
上述した処理では、第２の映像のデータについては、所定の範囲を切り出す処理を示さなかったが、第２の映像のデータについても、第１の映像のデータと同様に、開始時刻と終了時刻とを定めて、開始時刻から終了時刻までのデータを切り出して用いるようにしてもよい。このようにすることで、第２の映像についても再生時間を調整することができ、楽曲の再生時間に整合させて、第１の映像を再生した後に、第２の映像を再生するようにできる。
このように、再生時間調整処理を実行することによって、操作者が所望する映像の映像データを操作者の操作に応じて編集することができるので、購入した映像データのみならず、操作者が撮影して準備した映像データも、楽曲の再生に併せて再生できるように、映像楽曲再生装置１００での再生の対象にすることができる。
また、上述した例では、操作者が準備した映像データのうち、連続した一箇所のデータのみを切り出して、切り出した映像データを楽曲の再生開始と再生終了とに対応づけた場合を示したが、操作者が準備した映像データのうち、複数の箇所を切り出して、それらを、操作者の所望する順番に連結し、連結して生成した映像データを楽曲の再生開始と再生終了とに対応づけるような編集ができるようにしてもよい。このようにすることで、楽曲と映像との整合性を高めて再生することができる。
さらに、映像データの編集のみならず、再生リンクデータの編集もできるようにするのが好ましい。例えば、操作者が準備した映像データから複数の箇所を切り出し、それらを連結して生成した映像データの場合に、連結した再生位置に対応するように、再生リンクデータを生成して、楽曲データに対応づけるようにする。このようにすることで、連結して生成した映像データと他の映像データとを切り替えて再生するような場合でも、楽曲と映像との整合性を高めて再生することができる。
＜＜映像再生切り替え処理３＞＞
図２３は、映像再生切り替え処理３のサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。
図２３は、映像再生切り替え処理３のサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置１００のＣＰＵ１１０の演算機能などの各種の機能によって、所定のタイミングでメインルーチン（図示せず）から呼び出されて実行される。
最初に、操作者がタッチパネル１３０に接触したか否かを判断する（ステップＳ１５１）。操作者がタッチパネル１３０に接触していないと判別したとき（ＮＯ）には、直ちに、本サブルーチンを終了する。
一方、操作者がタッチパネル１３０に接触したと判別したとき（ＹＥＳ）には、予め定められた再生リンクデータ（図示せず）を読み込む（ステップＳ１５３）。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する（ステップＳ１５５）。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ１５０を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき（ＮＯ）には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき（ＹＥＳ）には、映像の再生を切り替えるタイミングであるか否かを判断する（ステップＳ１５７）。映像の再生を切り替えるタイミングでないと判別したとき（ＮＯ）には、切り替える映像のデータが存在するか否かを判断する（ステップＳ１５９）。この判断は、切り替える映像のデータが記憶装置１２０に既に記憶されているか否かを判断するものである。切り替える映像のデータが存在すると判別したとき（ＹＥＳ）には、上述したステップＳ１５７に処理を戻す。
一方、切り替える映像のデータが存在しないと判別したとき（ＮＯ）には、通信インターフェースを介して、切り替える映像のデータをサーバからダウンロードし（ステップＳ１６１）、ダウンロードした映像のデータを記憶装置１２０に記憶させ（ステップＳ１６３）、上述したステップＳ１５７に処理を戻す。
このように、切り替えて再生しようとする映像の映像データが記憶装置１２０に存在しない場合であっても、その映像データを予めサーバからダウンロードするので、迅速に映像データを取得でき、映像を再生するタイミングに合わせて再生でき、円滑に映像を再生することができる。このように、映像の再生を切り替えるよりも前に予めサーバからダウンロードするので、処理が遅延することなく、円滑に切り替えることができる。
上述したステップＳ１５７の判断処理で、映像の再生を切り替えるタイミングであると判別したとき（ＹＥＳ）には、再生リンクデータが示す映像データを読み込み（ステップＳ１６５）、再生リンクデータが示す映像とその再生位置からの再生に切り替え（ステップＳ１６７）、元々再生していた映像の映像データの記憶装置１２０からの読み出しを中断し（ステップＳ１６９）、本サブルーチンを終了する。
通信回線を介して通信可能に接続されたサーバに予め記憶されている映像データを、必要に応じて、ダウンロードして映像楽曲再生装置１００のＬＣＤ１８０で再生するものである。このようにすることで、記憶装置１２０の容量が小さいような場合であっても、その時点で必要となる映像データのみを記憶装置１２０に記憶させて、複数の映像を切り替えて再生することができる。また、記憶装置１２０に記憶されていない映像データの映像であっても、操作者が所望すれば、迅速に入手して再生することができる。
上述した例では、映像楽曲再生装置１００で映像や楽曲をダウンロード再生する場合を示したが、ストリーミング再生するようにしてもよい。なお、本明細書では、ダウンロード再生とは、映像データや楽曲データの全体をダウンロードした後に、再生を開始するものである。このようにすることで、通信状態によることなく円滑に映像や楽曲を再生することができる。一方、ストリーミング再生とは、映像データや楽曲データをダウンロードするのと同時に再生をすることを意味する。このようにすることで、映像データや楽曲データの全体をダウンロードまでの待ち時間を短縮することができる。
映像データをストリーミング再生した後に、その映像データを正式に記憶装置１２０に記憶させるか否かを、操作者に判断させるようにしてもよい。正式に記憶装置１２０に記憶させるときには、課金され、課金に対して所定の金額を支払ったときに、ストリーミング再生した映像データを正式に記憶装置１２０に記憶できるようにする。この場合には、課金に対して支払ったことを示す情報をサーバ側で記憶するようにするのが好ましい。このようにすることで、操作者が誤って映像楽曲再生装置１００から映像データを消去したような場合であっても、新たに課金されることなく、改めて映像データをダウンロードできるように処理することができる。
一方、課金に対して支払いを拒否したときには、ストリーミング再生した映像データを映像楽曲再生装置１００から消去する。特に、この場合には、ストリーミング再生した映像データを一時的に保存していた領域に、ゼロを書き込む処理（ゼロクリア）や、乱数を書き込む処理をするようにすることで、映像楽曲再生装置１００で映像データを復活させて不正に再生できないようにできる。
このようにすることで、映像データが記憶装置１２０に不正に記憶されることを防止することができるとともに、操作者が真に所望する映像であるか否かを判断させることができ、操作者が真に所望する映像データのみを操作者の手元に残すようにできるので、操作者にとって経済的になる。
＜＜映像再生切り替え処理４＞＞
図２４は、映像再生切り替え処理４の具体例を示すタイムチャートである。この図２４のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ６、Ｂ６、Ｃ６及びＤ６で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
図２４は、映像再生切り替え処理４の具体例を示すタイムチャートである。この図２４のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ６、Ｂ６、Ｃ６及びＤ６で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
楽曲再生時刻ｔ０で楽曲の再生が開始されて、楽曲再生時刻ｔｅｎｄで楽曲の再生が終了する。このように、映像再生切り替え処理４においても、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻ｔ０で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻ｔｅｎｄで、楽曲データの最後尾のデータを用いて再生を終了する。
図２４に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始される。上述したように、映像再生切り替え処理４では、楽曲を再生している時間にわたって、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、常に、記憶装置１２０から読み出されて、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている。このため、図２４に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始されるとともに、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データも、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とが開始される。なお、図２４に示した映像再生切り替え処理４においては、楽曲再生時刻ｔ０で、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とを開始しているが、楽曲再生時刻ｔ０においては、４つの作業用バッファ１７２Ａ〜Ｄのうちの作業用バッファ１７２Ａが選択されて、ＬＣＤ１８０で映像Ａが映像再生時刻ｔ０から再生される。
また、この映像再生切り替え処理４においても、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間は、楽曲の再生時間と一致するように、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データは、予め調整されて、記憶装置１２０に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像Ａ、Ｂ、Ｃ又はＤのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
なお、上述したように、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間が、楽曲の再生時間と一致するように、予め調整されているが、後述するように、この映像再生切り替え処理４では、映像を再生する再生位置を過去の再生位置に戻す場合があり、過去の再生位置に戻した場合には、映像の再生時間は、楽曲の再生時間と一致しない場合が生ずる。また、以下の説明では、楽曲や映像の再生位置として、主として、楽曲再生時刻や映像再生時刻を用いて説明するが、再生位置として、楽曲フレーム数や映像フレーム数を用いてもよい。
まず、楽曲再生時刻ｔ６１（楽曲フレーム数ｆ６１）に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図２４参照）、楽曲再生時刻ｔ６１や楽曲フレーム数ｆ６１に至ったときに、映像Ａから映像Ｂに切り替え（図２４の矢印Ａ６参照）、映像Ｂの映像再生時刻ｔ６１や映像フレーム数ｆ６１から再生する。なお、楽曲再生時刻ｔ６１や楽曲フレーム数ｆ６１に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ａを継続して再生する。
次に、映像Ｂを再生しているときに、楽曲再生時刻ｔ６３や楽曲フレーム数ｆ６３に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図２４参照）、楽曲再生時刻ｔ６３や楽曲フレーム数ｆ６３に至ったときに、映像Ｂから映像Ｃに切り替え（図２４の矢印Ｂ６参照）、映像Ｃの映像再生時刻ｔ６３や映像フレーム数ｆ６３から再生する。なお、楽曲再生時刻ｔ６３や楽曲フレーム数ｆ６３に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ｂを継続して再生する。
さらに、映像Ｃを再生しているときに、楽曲再生時刻ｔ６４や楽曲フレーム数ｆ６４に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には、楽曲再生時刻ｔ６４や楽曲フレーム数ｆ６４に至ったときに、映像Ｃから映像Ｄに切り替え（図２４の矢印Ｃ６参照）、映像Ｄの映像再生時刻ｔ６４や映像フレーム数ｆ６４から再生し、最終的に、映像Ｄを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至ったときには、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Ｄを再生も終了する。
一方、楽曲再生時刻ｔ６４や楽曲フレーム数ｆ６４に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ｃを継続して再生する。映像Ｃを継続して再生しているときに、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５に至ったときに、映像Ｃから映像Ｂに切り替え（図２４の矢印Ｄ６参照）、映像Ｂの映像再生時刻ｔ６２や映像フレーム数ｆ６２から再生する。なお、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ｃを継続して再生し、最終的に、映像Ｃを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Ｃを再生も終了する。
上述したように、映像再生切り替え処理４では、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５に至ったときに、映像Ｃから映像Ｂに切り替える場合には（図４の矢印Ｄ６参照）、映像Ｂの映像再生時刻ｔ６２や映像フレーム数ｆ６２に戻って、映像Ｂの映像再生時刻ｔ６２や映像フレーム数ｆ６２から再生する。このように、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５で、映像Ｃから映像Ｂに切り替える場合には、映像Ｂの映像再生時刻ｔ６２や映像フレーム数ｆ６２のように、過去の映像の再生位置にまで戻って再生する。なお、映像Ｂについて、映像再生時刻ｔ６２や映像フレーム数ｆ６２にまで戻って再生された場合であっても、楽曲については、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５の後も、ｔｅｎｄやｆｅｎｄに至るまで、楽曲データの全てを再生し、ｔｅｎｄやｆｅｎｄに至ったときに、楽曲の再生を終了する。この楽曲の再生の終了とともに、映像Ｂの再生も終了する。
この映像再生切り替え処理４においても、再生リンクデータ（図示せず）を参照しつつ、楽曲の再生と映像の再生との整合を図っている。特に、映像再生切り替え処理４では、上述したように、映像Ｂについては、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５のときに、映像再生時刻ｔ６２や映像フレーム数ｆ６２にまで戻って再生するので、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５の時点で、映像再生時刻ｔ６５や映像フレーム数ｆ６５の時点の映像Ｃの内容と、映像再生時刻ｔ６２や映像フレーム数ｆ６２の時点の映像Ｂの内容とが整合するように、再生リンクデータを予め定めておく必要がある。このように再生リンクデータを定めることで、楽曲再生時刻ｔ６５や楽曲フレーム数ｆ６５のときに、映像再生時刻ｔ６２や映像フレーム数ｆ６２にまで戻って映像Ｂを再生するようにしても、楽曲の再生に整合させて映像Ｂを再生することができる。
＜＜映像再生切り替え処理５＞＞
図２５は、映像再生切り替え処理５の具体例を示すタイムチャートである。この図２５のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ７、Ｂ７、Ｃ７及びＤ７で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
図２５は、映像再生切り替え処理５の具体例を示すタイムチャートである。この図２５のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印Ａ７、Ｂ７、Ｃ７及びＤ７で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
上述した図４、図８、図１１、図１４又は図２４のタイムチャートでは、タッチパネル１３０への接触（タッチ）を契機にして、再生リンクデータによって予め定められた順序（映像Ａ→映像Ｂ→映像Ｃなどの）で、他の映像に切り替えて再生するようにしていた。しかし、この図２５に示したタイムチャートでは、楽曲再生時刻ｔ７３よりも以前に、タッチパネル１３０への接触を検知したときには、映像Ｃに切り替える場合、又は映像Ｃと異なる映像Ｄに切り替える場合が発生するように構成している点を特に特徴としている。すなわち、図２４に示したタイムチャートのように、タッチパネル１３０への接触を契機にして、単に映像Ｃに切り替えて再生するだけでなく、同じ楽曲再生時刻ｔ７３でタッチパネル１３０に接触しても、映像Ｃとは異なる映像Ｄに切り替えて再生される場合がある。
図２５に示すように、特に、楽曲再生時刻ｔ７３では、映像Ｂが再生されているが、この映像Ｂが再生されているときに、タッチパネル１３０に接触する位置や領域によって異なる映像に切り替えて再生するものが好ましい。例えば、図２６に示したように、ＬＣＤ１８０に人物と木とが表示されているようにし、人物の頭の画像の領域（オブジェクトＯ１）に接触したときには、映像Ｃに切り替えて再生し、木の画像の領域（オブジェクトＯ２）に接触したときには、映像Ｄに切り替えて再生するようにする。このようにすることで、タッチパネル１３０に接触する位置や領域に応じて、再生する映像を異ならしめることができ、
図２５に示したようなタイムチャートのようにすることで、ある一定の楽曲再生時刻、例えば、楽曲再生時刻ｔ７３で、一つの映像Ｂから、各種の異なる映像に分岐させて再生することができるので、切り替える操作をしても同じ映像が常に再生されてしまうことを防止して、バラエティに飛んだ映像の視聴が可能となり、飽きられにくいというメリットを享受できる可能性がある。
まず、楽曲の再生については、図２５に示すように、楽曲再生時刻ｔ０で楽曲の再生が開始されて、楽曲再生時刻ｔｅｎｄで楽曲の再生が終了する。このように、映像再生切り替え処理５においても、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻ｔ０で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻ｔｅｎｄで、楽曲データの最後尾のデータを用いて再生を終了する。
図２５に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始される。上述したように、映像再生切り替え処理５では、楽曲を再生している時間にわたって、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データが、常に、記憶装置１２０から読み出されて、４つの作業用バッファ１７２Ａ〜Ｄに展開されて更新されている。このため、図２５に示すように、楽曲再生時刻ｔ０で、楽曲の再生が開始されるとともに、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データも、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とが開始される。なお、図２５に示した映像再生切り替え処理５においては、楽曲再生時刻ｔ０で、記憶装置１２０からの読み出しと４つの作業用バッファ１７２Ａ〜Ｄにおける更新とを開始しているが、楽曲再生時刻ｔ０においては、４つの作業用バッファ１７２Ａ〜Ｄのうちの作業用バッファ１７２Ａが選択されて、ＬＣＤ１８０で映像Ａが映像再生時刻ｔ０から再生される。
また、この映像再生切り替え処理５においても、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間は、楽曲の再生時間と一致するように、４つの映像Ａ、Ｂ、Ｃ及びＤの映像データは、予め調整されて、記憶装置１２０に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像Ａ、Ｂ、Ｃ又はＤのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
なお、上述したように、４つの映像Ａ、Ｂ、Ｃ及びＤの再生時間が、楽曲の再生時間と一致するように、予め調整されているが、この映像再生切り替え処理５でも、映像を再生する再生位置を過去の再生位置に戻す場合があり、過去の再生位置に戻した場合には、映像の再生時間は、楽曲の再生時間と一致しない場合が生ずる。また、以下の説明では、楽曲や映像の再生位置として、主として、楽曲再生時刻や映像再生時刻を用いて説明するが、再生位置として、楽曲フレーム数や映像フレーム数を用いてもよい。
まず、楽曲再生時刻ｔ７１（楽曲フレーム数ｆ７１）に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図２５参照）、楽曲再生時刻ｔ７１や楽曲フレーム数ｆ７１に至ったときに、映像Ａから映像Ｂに切り替え（図２５の矢印Ａ７及び図２７の再生リンクデータ参照）、映像Ｂの映像再生時刻ｔ７１や映像フレーム数ｆ７１から再生する。なお、楽曲再生時刻ｔ７１や楽曲フレーム数ｆ７１に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＡをＬＣＤ１８０で継続して再生する。
次に、図２０に示すような映像Ｂを再生しているときに、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には（図２５参照）、以下のように処理される。
楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３に至るよりも以前の時点で、タッチパネル１３０の領域のうち、位置（Ｘ１、Ｙ１）に操作者が接触したときには、図２７に示す再生リンクデータを参照して、位置（Ｘ１、Ｙ１）に表示されている画像が、オブジェクトＯ１であることを取得する。さらに、図２７に示す再生リンクデータを参照して、オブジェクトＯ１には、映像Ｃの映像再生時刻ｔ７３にリンクしていることを取得する。したがって、操作者が、タッチパネル１３０の領域のうちの位置（Ｘ１、Ｙ１）に接触した場合には、映像Ｂから映像Ｃに切り替えて（図２５の矢印Ｂ７及び図２７の再生リンクデータ参照）、映像Ｃの映像再生時刻ｔ７３から再生する。
同様に、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３に至るよりも以前の時点で、タッチパネル１３０の領域のうち、位置（Ｘ２、Ｙ２）に操作者が接触したときには、図２７に示す再生リンクデータを参照して、位置（Ｘ２、Ｙ２）に表示されている画像が、オブジェクトＯ２であることを取得する。さらに、図２７に示す再生リンクデータを参照して、オブジェクトＯ２には、映像Ｄの映像再生時刻ｔ７３にリンクしていることを取得する。したがって、操作者が、タッチパネル１３０の領域のうちの位置（Ｘ２、Ｙ２）に接触した場合には、映像Ｂから映像Ｄに切り替えて（図２５の矢印Ｄ７及び図２７の再生リンクデータ参照）、映像Ｄの映像再生時刻ｔ７３から再生する。
なお、図２７に示した再生リンクデータは、簡略のために、楽曲再生時刻ｔ７３の時点におけるオブジェクトＯ１の位置（Ｘ１、Ｙ１）とオブジェクトＯ２の位置（Ｘ２、Ｙ２）とのみを示したが、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３以外の時点の複数の楽曲再生時刻におけるオブジェクトＯ１の位置とオブジェクトＯ２の位置を細かく定めて再生リンクデータとするのが好ましい。このようにすることで、オブジェクトＯ１やオブジェクトＯ２が、楽曲再生時刻が進むに従って移動するような態様でＬＣＤ１８０に表示されるような場合であっても、オブジェクトＯ１やオブジェクトＯ２の位置を的確に判断することができ、オブジェクトの種類に応じて切り替えるべき映像を的確に決定することができる。
また、図２７に示した再生リンクデータは、再生位置として、楽曲再生時刻や映像再生時刻のみを用いたが、上述したように、再生位置として、楽曲フレームや映像フレームを用いて再生リンクデータを定めてもよい。
なお、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像ＢをＬＣＤ１８０で継続して再生する。
上述した矢印Ｂ７に従って映像Ｃに切り替えて、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３から、映像Ｃを再生しているときに、楽曲再生時刻ｔ７４や楽曲フレーム数ｆ７４に至るよりも以前の時点で、操作者がタッチパネル１３０に接触して操作した場合には、楽曲再生時刻ｔ７４や楽曲フレーム数ｆ７４に至ったときに、映像Ｃから映像Ｂに切り替え（図２５の矢印Ｃ７及び図２７の再生リンクデータ参照）、映像Ｂの映像再生時刻ｔ７４や映像フレーム数ｆ７４から再生し、最終的に、映像Ｂを再生しているときに、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Ｂを再生も終了する。一方、楽曲再生時刻ｔ７４や楽曲フレーム数ｆ７４に至るよりも前の時点で、操作者がタッチパネル１３０に接触して操作しなかった場合には、映像Ｃを継続して再生する。
上述した矢印Ｄ７に従って映像Ｄに切り替えて、楽曲再生時刻ｔ７３や楽曲フレーム数ｆ７３から、映像Ｄを再生した場合には、最終的に、楽曲再生時刻ｔｅｎｄや楽曲フレーム数ｆｅｎｄに至ったときに、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Ｄの再生も終了する。
なお、上述した図２５に示したタイムチャートでは、ＬＣＤ１８０に表示されているオブジェトのうち、操作者が指定したオブジェトに応じて、切り替える映像を決定したが、切り替えるべき映像を、抽籤処理によって定めたり、これまでに再生された映像の履歴に応じて決定したり、これまでに操作者（ユーザ）がタッチパネル１３０に接触した回数の履歴に応じて決定したりしてもよい。
例えば、抽籤処理によって定める場合には、乱数を発生させて、その乱数の値に応じて切り替えるべき映像を決定すればよい。また、再生された映像の履歴を用いる処理は、再生された映像ごとに再生された回数を、再生されるたびに計数し、計数した回数を記憶装置１２０に記憶させておき、その記憶装置１２０から読み出した回数の値に応じて、切り替えるべき映像を決定すればよい。さらに、タッチパネル１３０に接触した回数の履歴を用いる処理は、接触に応じて再生された映像ごとにタッチパネル１３０に接触した回数を、接触されるたびに計数し、計数した回数を記憶装置１２０に記憶させておき、その記憶装置１２０から読み出した回数の値に応じて、切り替えるべき映像を決定すればよい。特に、再生された回数の履歴や、接触した回数の履歴に応じて、切り替えるべき映像を決定する処理においては、履歴の回数が所定の回数以上になったときに、再生が許可されるような映像を含めるようにしてもよい。このようにすることで、その映像を再生できるようにするために、他の映像、例えば広告の映像を繰り返し再生する必要があるため、広告効果を高める可能性が生じさせるとともに、その代償として映像を再生可能にすることができる。
これまでに再生された映像の履歴に応じて決定することで、再生された回数が少ないものを優先して切り替えて再生することで、新鮮味を操作者に感じさせて映像を再生することができる一方、再生された回数が多いものを、操作者の好みの映像として、優先して切り替えて再生することで、安心感を操作者に感じさせて映像を再生することができる。
＜＜ゲームの実行処理＞＞
上述した楽曲を再生しているときに、再生している楽曲に整合させて、映像を切り替えて再生する処理を、ゲームを実行する処理として用いることもできる。上述した図２０や図２６では、映像の再生とともにオブジェクトの画像を表示し、オブジェクトの画像の領域に操作者（ユーザ）が接触したことに応じて、他の映像に切り替えて再生するものであった。このようなオブジェクトの画像の代わりに、操作者に処理を選択させるためのボタンやスイッチを示す画像をオブジェクトの画像として表示し、そのボタンやスイッチを示す画像に接触（タッチパネル１３０への接触）することで、この操作者の接触に応じて処理を分岐させることができる。例えば、「はい」や「ＹＥＳ」というボタンの画像と、「いいえ」や「ＮＯ」というボタンの画像とをＬＣＤ１８０に表示し、その画像が表示されている領域を操作者に接触（タッチパネル１３０への接触）させることで、「はい」や「ＹＥＳ」に応じた処理を実行させたり、「いいえ」や「ＮＯ」に応じた処理を実行させたりすることができる。
上述した楽曲を再生しているときに、再生している楽曲に整合させて、映像を切り替えて再生する処理を、ゲームを実行する処理として用いることもできる。上述した図２０や図２６では、映像の再生とともにオブジェクトの画像を表示し、オブジェクトの画像の領域に操作者（ユーザ）が接触したことに応じて、他の映像に切り替えて再生するものであった。このようなオブジェクトの画像の代わりに、操作者に処理を選択させるためのボタンやスイッチを示す画像をオブジェクトの画像として表示し、そのボタンやスイッチを示す画像に接触（タッチパネル１３０への接触）することで、この操作者の接触に応じて処理を分岐させることができる。例えば、「はい」や「ＹＥＳ」というボタンの画像と、「いいえ」や「ＮＯ」というボタンの画像とをＬＣＤ１８０に表示し、その画像が表示されている領域を操作者に接触（タッチパネル１３０への接触）させることで、「はい」や「ＹＥＳ」に応じた処理を実行させたり、「いいえ」や「ＮＯ」に応じた処理を実行させたりすることができる。
上述したような処理をすることによって、ＢＧＭ（バックグラウンドミュージック）としてのゲームの楽曲を再生しているときに、この再生している楽曲に整合させて、ゲームの映像を切り替えて再生することができる。さらに、このゲームの映像の切り替えを、操作者の操作に応じて選択させることができるので、対話型のゲームなどのインタラクティブ性（双方向性）を上げることができるともに、選択するための文字を表示するので、処理の内容を操作者（ユーザ）に分かりやすく明示することもできる。
なお、上述した図２０や図２６で用いたオブジェクトの画像や、「はい」や「ＹＥＳ」というボタンの画像や、「いいえ」や「ＮＯ」というボタンの画像は、図１に示した「画像データ」として記憶装置１２０に記憶されている。また、オブジェクトの画像に操作者が接触することに応じて処理を分岐させることができる処理は、図１に示した「画像オブジェクト表示プログラム」として記憶装置１２０に記憶されている。
１００ 映像楽曲再生装置
１１０ ＣＰＵ
１２０ 記憶装置
１３０ タッチパネル
１４０ 通信インターフェース
１５０ タイマ
１１０ ＣＰＵ
１２０ 記憶装置
１３０ タッチパネル
１４０ 通信インターフェース
１５０ タイマ
Claims (30)
- （ａ） 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第１の映像を再生する処理と、
（ｂ） 前記第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第１の映像データとは異なる第２の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
（ｃ） 前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記（ｂ）の処理によって決定された再生開始位置から前記第２の映像データの再生を開始し、前記第１の映像データを用いた映像の再生状態から、前記第２の映像データを用いた映像の再生状態に切り替える処理と、
をコンピュータで実行させることを特徴とする楽曲映像再生プログラム。 - （ｄ） 前記第２の映像データを用いた映像の再生が終了した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項１に記載の楽曲映像再生プログラム。
- （ｅ） 前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項１又は２に記載の楽曲映像再生プログラム。
- 前記記憶部は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第２の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶し、
（ｆ） 前記第２の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
（ｇ） 前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのＩＤコードと、楽曲コンテンツの識別コードとを送信する処理と、
（ｈ） 送信された前記決済許可データと前記ユーザのＩＤコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
（ｉ） 受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
（ｊ） 受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第２の映像データを用いた映像を継続的に再生する処理と、
をコンピュータで実行させることを特徴とする請求項３に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
（ｋ） 前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する処理を、コンピュータで実行させることを特徴とする請求項１又は２に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
（ｌ） 前記第１の映像データを用いた映像の再生や、前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
（ｍ） 前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する処理と、
をコンピュータで実行させることを特徴とする請求項５に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
（ｎ） 前記第１の映像データを用いた映像の再生、又は前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
（ｏ） 前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する処理と、
をコンピュータで実行させることを特徴とする請求項５に記載の楽曲映像再生プログラム。 - 前記映像には、前記ディスプレイに表示可能な少なくとも１つのオブジェクトが含まれており、
前記記憶部は、前記少なくとも１つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を記憶し、
（ｐ） 前記少なくとも１つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも１つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項１ないし７のいずれかに記載の楽曲映像再生プログラム。 - （ｑ） 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する処理と、
（ｒ） 選択された映像データを前記記憶部に記憶させる処理と、
をコンピュータで実行させることを特徴とする請求項１ないし８のいずれかに記載の楽曲映像再生プログラム。 - 前記複数のパターンの映像のうちの少なくとも１つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
（ｓ） 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードする処理と、
（ｔ） ダウンロードした映像データを前記ディスプレイで再生する処理と、
をコンピュータで実行させることを特徴とする請求項１ないし９のいずれかに記載の楽曲映像再生プログラム。 - 楽曲と映像とが再生される楽曲映像再生手段であって、
一つの楽曲を再生するための楽曲データと、前記一つの楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部と、
前記映像が再生されるディスプレイからなる映像再生部と、
前記楽曲が再生されるスピーカからなる楽曲再生部と、
外部から接触されたことを検知する接触センサ部と、
前記複数のパターンの映像から選択された映像を再生するとともに、前記楽曲を再生するＣＰＵと、を有し
前記ＣＰＵは、
（ａ） 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第１の映像を再生する処理と、
（ｂ） 前記第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第１の映像データとは異なる第２の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
（ｃ） 前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記（ｂ）の処理によって決定された再生開始位置から前記第２の映像データの再生を開始し、前記第１の映像データを用いた映像の再生状態から、前記第２の映像データを用いた映像の再生状態に切り替える処理と、を実行することを特徴とする楽曲映像再生手段。 - 前記ＣＰＵは、
（ｄ） 前記第２の映像データを用いた映像の再生が終了した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を実行することを特徴とする請求項１１に記載の楽曲映像再生手段。 - 前記ＣＰＵは、
（ｅ） 前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第１の映像データを用いた映像の再生に切り替える処理を実行することを特徴とする請求項１１又は１２に記載の楽曲映像再生手段。 - 前記記憶部は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第２の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶し、
前記ＣＰＵは、
（ｆ） 前記第２の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
（ｇ） 前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのＩＤコードと、楽曲コンテンツの識別コードとを送信する処理と、
（ｈ） 送信された前記決済許可データと前記ユーザのＩＤコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
（ｉ） 受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
（ｊ） 受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第２の映像データを用いた映像を継続的に再生する処理と、
を実行することを特徴とする請求項１３に記載の楽曲映像再生手段。 - 前記記憶部は、前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記ＣＰＵは、
（ｋ） 前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する処理を、実行することを特徴とする請求項１１又は１２に記載の楽曲映像再生手段。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記ＣＰＵは、
（ｌ） 前記第１の映像データを用いた映像の再生や、前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
（ｍ） 前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する処理と、
を実行することを特徴とする請求項１５に記載の楽曲映像再生手段。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記ＣＰＵは、
（ｎ） 前記第１の映像データを用いた映像の再生、又は前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
（ｏ） 前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する処理と、
を実行することを特徴とする請求項１５に記載の楽曲映像再生手段。 - 前記映像には、前記ディスプレイに表示可能な少なくとも１つのオブジェクトが含まれており、
前記記憶部は、前記少なくとも１つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を記憶し、
前記ＣＰＵは、
（ｐ） 前記少なくとも１つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも１つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える処理を実行することを特徴とする請求項１１ないし１７のいずれかに記載の楽曲映像再生手段。 - 前記ＣＰＵは、
（ｑ） 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する処理と、
（ｒ） 選択された映像データを前記記憶部に記憶させる処理と、
を実行することを特徴とする請求項１１ないし１８のいずれかに記載の楽曲映像再生手段。 - 前記複数のパターンの映像のうちの少なくとも１つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記ＣＰＵは、
（ｓ） 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードする処理と、
（ｔ） ダウンロードした映像データを前記ディスプレイで再生する処理と、
を実行することを特徴とする請求項１１ないし１９のいずれかに記載の楽曲映像再生手段。 - 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータを用いて、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第１の映像を再生する工程と、
前記第１の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第１の映像データとは異なる第２の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する工程と、
前記第１の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記決定する工程によって決定された再生開始位置から前記第２の映像データの再生を開始し、前記第１の映像データを用いた映像の再生状態から、前記第２の映像データを用いた映像の再生状態に切り替える工程と、を有することを特徴とする楽曲映像再生方法。 - 前記第２の映像データを用いた映像の再生が終了した場合には、前記第１の映像データを用いた映像の再生に切り替える工程を有することを特徴とする請求項２１に記載の楽曲映像再生方法。
- 前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第１の映像データを用いた映像の再生に切り替える工程を有することを特徴とする請求項２１又は２２に記載の楽曲映像再生方法。
- 前記楽曲コンテンツデータと、前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、前記第２の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶部に記憶させる工程と、
前記第２の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する工程と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのＩＤコードと、楽曲コンテンツの識別コードとを送信する工程と、
送信された前記決済許可データと前記ユーザのＩＤコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する工程と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する工程と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第２の映像データを用いた映像を継続的に再生する工程と、
を有することを特徴とする請求項２３に記載の楽曲映像再生方法。 - 前記第１の映像データを用いた映像の再生から前記第２の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を前記記憶部に記憶させる工程と、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する工程と、
を有することを特徴とする請求項２１又は２２に記載の楽曲映像再生方法。 - 前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を前記記憶部に記憶させる工程と、
前記第１の映像データを用いた映像の再生や、前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する工程と、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する工程と、
を有することを特徴とする請求項２５に記載の楽曲映像再生方法。 - 前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を前記記憶部に記憶させる工程と、
前記第１の映像データを用いた映像の再生、又は前記第２の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する工程と、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する工程と、
を有することを特徴とする請求項２５に記載の楽曲映像再生方法。 - 前記映像には、前記ディスプレイに表示可能な少なくとも１つのオブジェクトが含まれており、
前記少なくとも１つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を前記記憶部に記憶させる工程と、
前記少なくとも１つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも１つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える工程と、
を有することを特徴とする請求項２１ないし２７のいずれかに記載の楽曲映像再生方法。 - 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する工程と、
選択された映像データを前記記憶部に記憶させる工程と、
を有することを特徴とする請求項２１ないし２８のいずれかに記載の楽曲映像再生方法。 - 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、外部との通信をする通信インターフェースを介して、前記複数のパターンの映像のうちの少なくとも１つの映像を再生するための映像データが記憶された映像データサーバから映像データをダウンロードする工程と、
ダウンロードした映像データを前記ディスプレイで再生する工程と、
を有することを特徴とする請求項２１ないし２９のいずれかに記載の楽曲映像再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009033966A JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009033966A JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010193062A true JP2010193062A (ja) | 2010-09-02 |
Family
ID=42818649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009033966A Pending JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010193062A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013012262A (ja) * | 2011-06-28 | 2013-01-17 | Pioneer Electronic Corp | 同期再生装置及び同期再生方法 |
| CN109977244A (zh) * | 2019-03-31 | 2019-07-05 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
| JP2021093724A (ja) * | 2019-12-06 | 2021-06-17 | Ｍｉｌ株式会社 | 動画表示装置、動画表示方法及びプログラム |
-
2009
- 2009-02-17 JP JP2009033966A patent/JP2010193062A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013012262A (ja) * | 2011-06-28 | 2013-01-17 | Pioneer Electronic Corp | 同期再生装置及び同期再生方法 |
| CN109977244A (zh) * | 2019-03-31 | 2019-07-05 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
| US11733842B2 (en) | 2019-03-31 | 2023-08-22 | Lenovo (Beijing) Co., Ltd. | Electronic device and control method thereof for determining displayed content based on user presence and interest |
| JP2021093724A (ja) * | 2019-12-06 | 2021-06-17 | Ｍｉｌ株式会社 | 動画表示装置、動画表示方法及びプログラム |
| JP7292737B2 (ja) | 2019-12-06 | 2023-06-19 | Ｍｉｌ株式会社 | 動画表示装置、動画表示方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5075943B2 (ja) | 情報提供装置および情報提供方法 | |
| US20080167993A1 (en) | Creating and Purchasing Ringtones | |
| US20030195021A1 (en) | Content combination reproducer, content combination reproduction method, program executing the method, and recording medium recording therein the program | |
| EP1437876A2 (en) | Network game system, network game server, and advertisement displaying method | |
| US20080119953A1 (en) | Device and System for Utilizing an Information Unit to Present Content and Metadata on a Device | |
| US20080120312A1 (en) | System and Method for Creating a New Title that Incorporates a Preexisting Title | |
| US20060235723A1 (en) | System and method for management of content associated with digital distribution and updatable storage media | |
| JP2007500568A (ja) | コンテンツ関連オプションを備えたビデオゲーム方法及びシステム | |
| CN103403655A (zh) | 与上下文有关的用户界面 | |
| US20100110072A1 (en) | Terminal, image display method and program for displaying music-related images | |
| CN102279863A (zh) | 信息提供装置以及信息提供方法 | |
| US11253787B2 (en) | Server system and play data community system for modified reproduction play | |
| US20120289122A1 (en) | Point-of-Sale Integrated Storage Devices, Systems for Programming Integrated Storage Devices, and Methods for Providing Custom Sounds to Toys | |
| US20090192637A1 (en) | Dynamically serving altered sound content | |
| JP6282684B2 (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
| KR20100127268A (ko) | 복수의 항목들 중 한 항목의 선택을 가능하게 하기 위한 방법 및 디바이스 | |
| JP2005025887A (ja) | 再生装置、プログラムおよび記録媒体 | |
| JP2010193062A (ja) | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 | |
| JP2018141970A (ja) | 映像コンテンツ表示装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツ表示プログラム | |
| JP2002202785A (ja) | サーバ装置および送受信装置 | |
| JP2008269431A (ja) | コンテンツ出力装置、コンテンツ出力方法及びプログラム | |
| US8805744B2 (en) | Podblasting-connecting a USB portable media device to a console | |
| JP4128326B2 (ja) | 遊技装置、遊技装置の制御方法、及びそのプログラムを記録した記録媒体 | |
| US20120123572A1 (en) | System and method for adding lyrics to digital media | |
| KR100462826B1 (ko) | 독립된 둘 이상의 멀티미디어 데이터의 동기화 재생을 위한 휴대용 멀티미디어 데이터 재생 장치 및 그 재생 제어 방법과, 멀티미디어 데이터를 제공하는 시스템 |