JP2010193062A - 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 - Google Patents
映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 Download PDFInfo
- Publication number
- JP2010193062A JP2010193062A JP2009033966A JP2009033966A JP2010193062A JP 2010193062 A JP2010193062 A JP 2010193062A JP 2009033966 A JP2009033966 A JP 2009033966A JP 2009033966 A JP2009033966 A JP 2009033966A JP 2010193062 A JP2010193062 A JP 2010193062A
- Authority
- JP
- Japan
- Prior art keywords
- video
- music
- playback
- data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】 同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる楽曲映像再生プログラム、楽曲映像再生装置、及び楽曲映像再生方法を提供する。
【解決手段】 第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、接触センサ部への接触が検知されたことに基づいて、楽曲データの再生位置に応じて決定された再生開始位置から第2の映像データの再生を開始し、第1の映像データを用いた映像の再生状態から、第2の映像データを用いた映像の再生状態に切り替える。
【選択図】 図1
【解決手段】 第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、接触センサ部への接触が検知されたことに基づいて、楽曲データの再生位置に応じて決定された再生開始位置から第2の映像データの再生を開始し、第1の映像データを用いた映像の再生状態から、第2の映像データを用いた映像の再生状態に切り替える。
【選択図】 図1
Description
この発明は、楽曲及び映像を再生する映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関し、より詳しくは、少なくとも液晶などの表示装置とイヤホンジャックなどの音声出力インターフェースやスピーカを備え、表示装置に表示された画像を、重ねられたタッチパネル越しにタッチすることを契機として、前記表示装置に表示された映像が他の映像と切り替わるような映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関する。更に、前述した前記表示装置に表示する映像を切り替える場合に、インターネット等のネットワークに接続し、外部のサーバからダウンロードするネットワークに接続された映像及び楽曲再生プログラム、並びに映像及び楽曲再生装置に関する。
(楽曲の媒体販売からダウンロード販売への変遷)
従来、楽曲は、レコードの時代からカセットテープの時代、更には、MDやCD、レーザディスクの時代を経て、最近では、ハードディスクにCDやダウンロードした楽曲を一旦蓄えておいて、この蓄えた楽曲データを選択して随時再生するようにしてきていた。
従来、楽曲は、レコードの時代からカセットテープの時代、更には、MDやCD、レーザディスクの時代を経て、最近では、ハードディスクにCDやダウンロードした楽曲を一旦蓄えておいて、この蓄えた楽曲データを選択して随時再生するようにしてきていた。
また、1970年代に一斉を風靡したソニー社のウォークマン(登録商標)から、アップル社のiPod(登録商標)へと、持ち運び自在なポータブルプレーヤは変遷してきている。この要因として、近年、楽曲を記憶する媒体として、バックアップ電源不要なフラッシュメモリが低価格化していることや、万民がインターネットを利用できる環境が整備されてきたことなどが掲げられる。
ところで、上述したiPod内のメモリに楽曲データを記憶させる方法は、主に、以下のような2つの方法がある。第1の方法は、まず、ユーザが楽曲CDを購入し、次いで、変換用のソフトウエアを用いて、楽曲CDの楽曲をデータ化してパソコン内のハードディスクに記憶させ、パソコンにUSB接続されたiPodのメモリに記憶させるものである。
また、第2の方法は、インターネット等の通信回線を通じて、パソコンと、外部のiPod用の楽曲ダウンロードサイトとを接続し、パソコン上のキーボード操作によって、複数の楽曲データの中から購入したい楽曲データを選択し、当該楽曲データごとに予め設定された金額を、電子マネーやカード決済を行うことを条件として、パソコン内のハードディスクに購入した楽曲データをダウンロードし、その後、USBのケーブルでiPodとパソコンを接続した状態で、ダウンロードした楽曲データをiPodのメモリに転送するものである。
一般的に、iPodのメモリに楽曲データを転送するには、iTunesというソフトウエアが利用される。また、他のメーカが製造販売しているポータブルプレーヤ、これも内部に半導体メモリを備え、当該半導体メモリ内に楽曲データを記憶させる形態のプレーヤであり、このようなポータブルプレーヤを使用する場合には、各メーカが予め用意したそれぞれの専用ソフトが利用されることが多い。
(楽曲を用いたゲームプログラム)
本発明の発明者は、本発明を創作した際に、画面をタッチすることで映像や楽曲が切り替わるものが既に出願されていないかと調査した。
本発明の発明者は、本発明を創作した際に、画面をタッチすることで映像や楽曲が切り替わるものが既に出願されていないかと調査した。
その結果、動画を触ると音が変化するといった内容のゲームプログラムが開示されているものがヒットした(例えば、特許文献1参照)。
また、従来は一律のムービを表示するだけであったが、これを、ムービ再生中にプレーヤが操作すると予め用意された複数のムービに変化するようにすることを提案したものがヒットした(例えば、特許文献2参照)。
上述した特許文献2で提示されるムービの切り替えは、ロールプレイングゲーム、シミュレーションゲーム、アクションゲームなどの様々なゲームにおいて、ゲームソフトウェアを起動した直後、ストーリ進行上の重要な場面になると、予め用意された綺麗な画像データを連続的に動画(ムービ)としてディスプレイに表示するようになっているが、このムービに適用することが提案されている。そして、特許文献2の段落番号0048には、「複数のムービデータの全てを随時フレーム画像として生成しておき、ディスプレイに出力するフレーム画像を選択することで表示画像を変更するようなものであってもよい」と記載されている。
上述した第1の方法及び第2の方法の何れの方法であっても、iPod等のポータブルプレーヤのメモリに好みの楽曲データを記憶させることができるが、第2の方法を用いた場合には、楽曲データのダウンロードと共に、その楽曲データと同期して再生される映像データや、アルバムジャケットのようなタイトル画像データも、ダウンロードできることが多い。このため、iPod Touchのように、楽曲再生機能だけでなく映像データを表示できる表示装置を備えるものならば、楽曲データと関連する映像を表示装置に表示できるが、このような表示装置への表示は、第2の方法で購入した楽曲データの場合のみとなってしまう。
また、パソコンや携帯電話においても、ムービや楽曲を選択させる場合に、上述したようなアルバムジャケットのような楽曲を代表する画像やアイコンなどを表示して、画像やアイコンを選択することで、ムービや楽曲を選択させる方法が、ポピュラーとなりつつある現状に鑑みれば、上述した第2の方法は、今後、より一般的になるものと予測される。
さらに、今までのように、CDなどの物理的な記録媒体を販売する形態から、物理的な記録媒体を介さずに、インターネット等の通信回線を通じて、いつでも何処からでも、パソコン等を用いて、楽曲ダウンロードサイトからダウンロードの形態で購入するようになってきたことも要因となり、ユーザが所望する楽曲データのみを個別に単独で購入できるようになってきている。このような購入形態の場合には、今までのように複数の楽曲が記憶されたLPやシングルでないCDアルバムを購入する場合に比べて、欲しいと思う楽曲データのみを購入するので、安価に購入できる反面、販売する側からすると、今まで抱き合わせ販売的に販売できた楽曲を売ることができず、宣伝をした楽曲のみが売れて、宣伝しない楽曲は売れないという問題、言い換えると、宣伝しなければ良い楽曲であってもなかなか売れないといった新たな問題が発生してきた。
また、今までは、楽曲コンテンツという商品は、楽曲だけで販売するものであったが、最近では、マイクロSDカードなどのメモリカードであっても、安価に大容量化できつつあるため、楽曲と映像とをリンクさせた楽曲コンテンツとして販売されるようになってきている。つまり、耳で楽曲を聞くだけではなく、目も使用して映像を視聴するようになってきており、楽曲コンテンツは従来のように楽曲だけで販売される形態から楽曲と映像とが一緒になって販売される形態となってきている。
この発明の第1の目的は、同じ楽曲であっても2度、3度と、複数回ダウンロードして、メモリに記憶させて購入したいという欲求を使用者に与えることができるような楽曲コンテンツ再生のための再生プログラムを提供することにある。
また、この発明の第2の目的は、従来の楽曲を単に再生するという感覚から、ザッピング視聴を可能にする再生プログラムを提供することにある。ここで言うザッピング(Zapping)とは、テレビ視聴において、リモコンでチャンネルを頻繁に切り替えながら視聴する行為に似た行為で、ユーザの操作に応じて楽曲や映像を切り替えて視聴する行為をいう。
特許文献1と特許文献2とを本明細書に従来技術として掲げたのは、その解決課題や目的に関して、本発明とは以下に説明するように全く異にするものであるが、構成的に類似した点があると判断されることを未然に防止して、予め先行技術として掲げることで事前に差異を明確にしたいとの考えによるものである。
特許文献1には、前述したように動画を触ると音が変化するといった内容のゲームプログラムが開示されている。しかしながら、上記第1の目的として掲げたような、楽曲コンテンツを2度、3度と購入意欲をわかせるように促すようにしたり、第2の目的に掲げたように、楽曲を聴きながらザッピング行為を行わせることが可能なように、楽曲視聴に新たな楽しみを付加したりする点は、開示も示唆もされていない。特許文献1は、ゲーム画面に表示される動画を触ると音声が変化するという、いわば全く異なる技術分野の発明である。
したがって、楽曲の再生と映像の再生とをリンクさせる再生リンクに関する構成が全く開示されていない。再生リンクは、楽曲が再生されている状態で、映像を切り替える場合に、楽曲とミスマッチングする映像再生位置から、映像が再生されないようにするために参照する情報である。この発明では、楽曲とミスマッチングする映像再生位置から、映像が再生されないようにすることが、楽曲コンテンツで重要な要素となるので、切り替える際に、どのように楽曲の再生位置とマッチングした再生位置から他の映像を再生するかの制御を、再生リンク用いて行うことができる。
特許文献2には、ストーリ進行上で重要な場面の動画(ムービ)をプレーヤの操作で変化させるものであるが、その性質上、ゲームのストーリに沿ったものを予め用意しておくもので、ストーリから逸脱したようなものは予め用意されていないと推定できる。更に、このようなプログラムにすることは、同じゲームソフトを購入させるためになされたものではなく、本発明の目的である楽曲コンテンツを2度、3度と購入させたり、第2の目的に掲げたように、楽曲を聴きながらザッピング行為を行わせることが可能なように、楽曲視聴に新たな楽しみを付加したりする点は開示も示唆もされていない。
また、特許文献2のムービ再生時には、何らかの楽曲が再生されているのであろうが、この点についても明確な開示がないことから、つまり、映像と楽曲のリンクに対する記載が存在しない。したがって、映像を切り替える場合に、再生楽曲と映像のミスマッチングがないようにするために、どのようにして切り替えるかについての問題意識が開示も示唆もされていない。
以上の第1と第2の目的が本発明の主たる目的であって、同じ楽曲であっても、その映像の変更や変化によって、追加的な購入意欲を彷彿させるものであるが、この目的に付随して発生する以下のような新たな問題から、更に、本発明には、上述した第1及び第2の目的に加えて追加的な目的も有する。
(同じ楽曲に付随する映像を異なるものとした形態で販売する場合の販売形態の工夫)
従来、一般的な楽曲を購入する理由として掲げられるのが、テレビ番組のアニメやドラマの主題歌や、コマーシャルに付随してした歌や曲を、歌番組等で聞いた時に気に入ったので購入したとか、その歌手が好きで、とにかく新しい楽曲が発売されると購入するといったケースが多いと考えられる。
従来、一般的な楽曲を購入する理由として掲げられるのが、テレビ番組のアニメやドラマの主題歌や、コマーシャルに付随してした歌や曲を、歌番組等で聞いた時に気に入ったので購入したとか、その歌手が好きで、とにかく新しい楽曲が発売されると購入するといったケースが多いと考えられる。
しかしながら、本発明の発明者が考えるように、同じ楽曲を付帯する映像のバリエーションによって何度も購入させようとする場合、新たに発生する問題として想定されるものは、今までのように楽曲が気に入ったので購入するといったユーザに対して、その楽曲に付帯することになる多種類の映像を、どのようにしてアピールするかである。例えば、「今回の映像は、これまでに楽曲に付帯されていたものに比べて変わっています。」といった程度のようなアピールでは、新たに購入しようとするという意識や意欲が、ユーザに芽生えない可能性がある。
この問題を解消するために、本発明者は、試用期間を作るという観点と、映像自体を予め作成して販売側が楽曲とセットにして販売するのではなく、映像と楽曲とを分離して安価に販売する観点とに着目した。後者の観点は、上記問題を金銭的な観点から解消しようとするものである。
例えば、前者の観点の場合には、購入してからの使用状態を制限し、使用期間を経過しても欲しいというユーザに対して課金を行うというアプローチや、同様に使用状態を制限するが、試用期間の費用を広告主に支払ってもらうといったアプローチを想定した。何れの場合も、従来のように、製作者側で、楽曲にマッチングしていると考える映像を予め用意する手法である。
この手法とは別のアプローチとして、楽曲とユーザの所持する映像とを適宜にリンクさせることが可能なように構成し、様々な楽曲と映像とをリンクさせて同期させることがユーザライクで製作できるようにするものがある。つまり、楽曲に対して、映像とのリンク製作プログラムを付帯して販売することも別のアプローチとして想定した。この楽曲に付帯する映像とのリンク製作プログラムを用いて、ユーザは好みの映像を楽曲に対してリンクさせてオリジナル楽曲コンテンツを製作できるようにするのである。
後述する実施例に示すように、一つの楽曲に対してリンクさせることが出来る映像の数を、例えば、4つとしたときには、4つの作業用メモリに映像を順次に書き込みディスプレイへ出力するように構成し、この作業用メモリに書き込む映像をユーザが作ったもので製作させるようにするのである。そして、オリジナル楽曲コンテンツを競わせるようにすれば、一種類の楽曲に対して、複数のオリジナル楽曲コンテンツを作るといった楽しみができて、何度も楽曲コンテンツを購入してもらえる可能性が出てくると考えた。
この発明は、上記第1と第2の目的を達成し、且つ、それに伴い発生する様々な問題を様々アプローチで解消するために技術的な創作によってなされた、全く新規な楽曲映像再生プログラム及び楽曲映像再生装置、並びにネットワークに接続された楽曲映像再生プログラム及び楽曲映像再生装置を提供する。
本発明は、上述の点に鑑みてなされたものであり、その目的とするところは、同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる楽曲映像再生プログラム、楽曲映像再生装置、及び楽曲映像再生方法を提供することにある。
第1の発明は、
(a) 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第1の映像を再生する処理と、
(b) 前記第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第1の映像データとは異なる第2の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
(c) 前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記(b)の処理によって決定された再生開始位置から前記第2の映像データの再生を開始し、前記第1の映像データを用いた映像の再生状態から、前記第2の映像データを用いた映像の再生状態に切り替える処理と、を実行する。
(a) 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第1の映像を再生する処理と、
(b) 前記第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第1の映像データとは異なる第2の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
(c) 前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記(b)の処理によって決定された再生開始位置から前記第2の映像データの再生を開始し、前記第1の映像データを用いた映像の再生状態から、前記第2の映像データを用いた映像の再生状態に切り替える処理と、を実行する。
この発明によれば、第1の映像データを用いた映像から第2の映像データを用いた映像に切り替える場合に、再生される楽曲データの再生位置に応じた第2の映像データの再生開始位置を決定するようにしているので、第2の映像データによる再生映像と進行中の楽曲とがミスマッチングするなどの恐れを低減できる。例えば、この構成の発明の場合には、第1の映像データが、楽曲を歌っているミュージシャンの映像であるとした場合、第2の映像データがそのミュージシャンの服装やバック装飾の異なる映像であるとする。この場合、第1の映像データの映像から第2の映像データの映像に切り替える際に、その映像再生位置を常に冒頭から再生するとしたときには、楽曲データの再生による楽曲を歌う音声と、口の動きを示す映像とが合致しないなどの違和感が出るが、この発明によればこのような問題を回避することができる。
なお、映像の切り替えは、割り込み処理によって実行され、第1の映像は、表示部のディスプレイで再生されないが、第1の映像データの処理は、継続するように構成することが好ましい。例えば、第1の映像データの読み込みやメモリへの展開などの処理は、ディスプレイで再生されていない場合でも継続する。このように処理を継続することによって、再生される映像を、元の第1の映像データに戻す切り替えを行う場合であっても、映像と楽曲とが、シンクロ(同期)していないような状況を回避できる。
なお、上述した記憶部は、ダウンロード再生する場合においても、ストリーミング再生する場合であっても、楽曲コンテンツデータを記憶できるものであればよい。
さらに、
前記楽曲の再生の開始から終了に至るまでの複数の再生位置を示す楽曲再生位置情報と、
前記映像の再生の開始から終了に至るまでの複数の再生位置を示す映像再生位置情報と、を含む再生リンクデータを記憶する記憶部を有し、
前記再生リンクデータは、少なくとも1つの前記楽曲再生位置情報に対応づけて、映像を識別するための映像識別情報と、前記映像の映像再生位置情報とからなるものが好ましい。
前記楽曲の再生の開始から終了に至るまでの複数の再生位置を示す楽曲再生位置情報と、
前記映像の再生の開始から終了に至るまでの複数の再生位置を示す映像再生位置情報と、を含む再生リンクデータを記憶する記憶部を有し、
前記再生リンクデータは、少なくとも1つの前記楽曲再生位置情報に対応づけて、映像を識別するための映像識別情報と、前記映像の映像再生位置情報とからなるものが好ましい。
ここで、「再生位置」とは、再生している場所を特定することができるものであればよく、再生時間や再生時刻で定めても、楽曲データや映像データのフレーム数で定めてもよい。また、「少なくとも1つの前記楽曲再生位置情報」であればよく、全ての楽曲再生位置情報について再生リンクデータを定めておく必要はない。
さらにまた、
前記第1の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第1の映像データの再生するとともに、
前記第2の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第2の映像データの再生するものが好ましい。
前記第1の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第1の映像データの再生するとともに、
前記第2の映像を再生するときには、前記再生リンクデータを読み出して、
前記一の楽曲の再生に同期して前記第2の映像データの再生するものが好ましい。
上述した第1の発明に加え、第2の発明は、
前記第2の映像データを用いた映像の再生が終了した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を実行する。
前記第2の映像データを用いた映像の再生が終了した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を実行する。
すなわち、第2の映像データによる再生が終了した場合には、第1の映像データを用いた映像に自動的に切り替える機能を有する。これによれば、例えば、アーティストが歌っている映像が第1の映像データに基づいて再生されている場合、アーティストの顔の部分をタッチすると、その顔の部分が拡大する映像が第2の映像として表示され、第2の映像の再生が終了し顔の部分の映像の再生が終了すると、前の第1の映像が自動的に再生されるように構成するようにしてもよい。この場合、第2の映像の再生が終了した段階での第1の映像を再生する再生位置は、楽曲再生の進捗状況に応じて予め定められた再生位置から再生されるように構成するとよい。
この場合も、第2の映像の再生中も、第1の映像の映像データの処理、読み込みやメモリへの展開などの処理を継続しておき、ディスプレイに表示する映像を第2の映像から第1の映像に切り替える切り替えスイッチを作用させるものでもよい。また、第2の映像の再生中には、第1の映像の映像データの処理、読み込みやメモリへの展開などの処理を中断するようにしてもよい。このようにしたときには、第1の映像の映像データの処理が不要になるため、CPUへの負担が軽減できる可能性が出てくる利点がある。
さらに、
前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたときに、次の再生位置における前記楽曲再生位置情報が存在しない場合には、前記楽曲再生位置情報が存在する再生位置まで、前記第1の映像データの再生するものが好ましい。
前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたときに、次の再生位置における前記楽曲再生位置情報が存在しない場合には、前記楽曲再生位置情報が存在する再生位置まで、前記第1の映像データの再生するものが好ましい。
さらにまた、
前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第2の映像データを用いて映像を再生したときには、前記第1の映像データの読み込みを中断し、
次いで、前記第2の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第1の映像データを用いて映像を再生するときには、前記楽曲再生位置情報が存在する再生位置から前記第1の映像データの読み込むものが好ましい。
前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第2の映像データを用いて映像を再生したときには、前記第1の映像データの読み込みを中断し、
次いで、前記第2の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記第1の映像データを用いて映像を再生するときには、前記楽曲再生位置情報が存在する再生位置から前記第1の映像データの読み込むものが好ましい。
第1の発明に加えて、第3の発明は、
前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第1の映像データを用いた映像の再生に切り替える。
前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第1の映像データを用いた映像の再生に切り替える。
さらに、計時が開始されてから、予め設定された時間に至るまでの間に、予め設定されたキーコードが入力されたことを条件として、計時を中止する処理をコンピュータに実行させる制御を行うものが好ましい。
第1の発明に加えて、第4の発明は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第2の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶する処理と、
前記第2の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのIDコードと、楽曲コンテンツの識別コードとを送信する処理と、
送信された前記決済許可データと前記ユーザのIDコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第2の映像データを用いた映像を継続的に再生する処理と、を実行する。
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第2の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶する処理と、
前記第2の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのIDコードと、楽曲コンテンツの識別コードとを送信する処理と、
送信された前記決済許可データと前記ユーザのIDコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第2の映像データを用いた映像を継続的に再生する処理と、を実行する。
上述した真性キーコードは、楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられたコードである。また、決済要求情報は、第2の映像データを用いた映像を継続的に再生するための決済を要求する情報である。
上述した第3と第4の発明によれば、第2の映像を時限的に見ることを制限し、ユーザが吟味して購入するなどの試聴を可能とする一方、楽曲コンテンツを販売する側からすると、料金を支払わないで未来永劫試聴されてしまうといった経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することができる。
第1の発明に加えて、第5の発明は、
前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する。
前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する。
接触センサ部への接触回数は、楽曲コンテンツデータを記憶する同一の記憶部でもよいし、物理的に分離した記憶部でもよい。この第5の発明によれば、上述した第3と第4の発明のような計時方式から接触回数で試聴を制限することによって、試聴をする内部時計を狂わせて不正に試聴時間を長期化させるなどの虞を低減することができる。
第1の発明に加えて、第6の発明は、
前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記第1の映像データを用いた映像の再生や、前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する。
前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記第1の映像データを用いた映像の再生や、前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する。
すなわち、記憶部に記憶した第1の映像や第2の映像を再生する場合に、広告データを付加して表示しておき、広告データごとに設定された接触回数に達すると映像の再生を不能にするようにコンピュータを制御する。
第6の発明によれば、広告データごとに広告主から広告料を予め徴収し、その広告料に応じて設定された接触回数だけ第1の映像と第2の映像の再生や切り替えが行えるように設定することが可能であるから、例えば、テレビコマーシャルのような楽曲コンテンツをユーザに無料で配信して、宣伝効果を上げることができるとともに、広告料に応じて楽曲コンテンツの再生を制限できるので、著作権保護が寄与できる可能性がある。
第1の発明に加えて、第7の発明は、
前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記第1の映像データを用いた映像の再生、又は前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する。
前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記第1の映像データを用いた映像の再生、又は前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示し、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する。
第7の発明によれば、広告データの識別番号に対しての累積表示回数を、通信インターフェースを介して外部の広告実績データ処理装置としてのデータ収集サーバなどに送信することによって、例えば、そのデータ収集サーバ内において、前記累積表示回数に応じた広告料を演算し、広告主から演算結果に応じた広告料を徴収することができるし、また、広告主に実際広告した回数を数字として報告するなどの様々な広告効果表示データとして、外部の広告実績データ処理装置内で利用することができる。
第1の発明に加えて、第8の発明は、
前記映像には、前記ディスプレイに表示可能な少なくとも1つのオブジェクトが含まれており、
前記少なくとも1つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、が前記記憶部に記憶されており、
前記少なくとも1つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも1つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える。
前記映像には、前記ディスプレイに表示可能な少なくとも1つのオブジェクトが含まれており、
前記少なくとも1つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、が前記記憶部に記憶されており、
前記少なくとも1つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも1つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える。
第1の発明に加えて、第9の発明は、
所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択し、
選択された映像データを前記記憶部に記憶させる。
所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択し、
選択された映像データを前記記憶部に記憶させる。
第1の発明に加えて、第10の発明は、
前記複数のパターンの映像のうちの少なくとも1つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードし、
ダウンロードした映像データを前記ディスプレイで再生する。
前記複数のパターンの映像のうちの少なくとも1つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードし、
ダウンロードした映像データを前記ディスプレイで再生する。
同じ楽曲であっても、複数回、購入したいという欲求をユーザに与えることができるとともに、ユーザの操作に応じて楽曲や映像を切り替えて再生するときに、楽曲と映像とを整合させて再生ができる。
以下に、本発明の実施例について図面に基づいて説明する。以下では、本発明の実施例として、通信可能な携帯型の映像再生及び楽曲再生可能な装置(以下、映像楽曲再生装置と称する。)を示すが、通信可能な携帯端末装置(PDA(個人情報端末))や、映像再生可能及び楽曲再生可能な携帯電話や、通信可能で映像再生可能及び楽曲再生可能なコンピュータでもよい。いずれにしても、楽曲データを用いた楽曲の再生を制御できるものであり、映像データを用いた映像の再生を制御できるものであればよい。
<<<映像楽曲再生装置100の構成>>>
図1は、映像楽曲再生装置100の構成及びその機能を示すブロック図である。
図1は、映像楽曲再生装置100の構成及びその機能を示すブロック図である。
<CPU110及び記憶装置120>
図1に示すように、映像楽曲再生装置100は、CPU110(中央処理装置110)と、記憶装置120とからなる。CPU110と、記憶装置120とによって、映像楽曲再生装置100を制御するコンピュータの基本を構成する。CPU110は、システムタイマ(図示せず)によって発生されたクロックパルスに基づいて、各種のシステムプログラムを実行する。例えば、システムプログラムは、映像再生プログラムや楽曲映像再生プログラムや、映像切り替えプログラムやオブジェクト表示プログラムやタッチ判定プログラム等からなる。後述する各種のサブルーチンは、これらのシステムプログラムを組み合わせて構成されている。
図1に示すように、映像楽曲再生装置100は、CPU110(中央処理装置110)と、記憶装置120とからなる。CPU110と、記憶装置120とによって、映像楽曲再生装置100を制御するコンピュータの基本を構成する。CPU110は、システムタイマ(図示せず)によって発生されたクロックパルスに基づいて、各種のシステムプログラムを実行する。例えば、システムプログラムは、映像再生プログラムや楽曲映像再生プログラムや、映像切り替えプログラムやオブジェクト表示プログラムやタッチ判定プログラム等からなる。後述する各種のサブルーチンは、これらのシステムプログラムを組み合わせて構成されている。
記憶装置120は、ROM(リードオンリーメモリ)(図示せず)とRAM(ランダムアクセスメモリ)(図示せず)とから構成される。記憶装置120には、楽曲データや映像データや映像制御データや映像制御データや再生リンクデータなどが記憶されている。CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、記憶装置120と電気的に接続されている。このようにすることで、CPU110は、記憶装置120に記憶されている各種のデータを読み出したり、所定のデータを記憶させたりすることができる。
<タッチパネル130>
さらに、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、タッチパネル130と電気的に接続されている。タッチパネル130は、操作者が操作することができるパネルからなり、操作者の操作に応じて操作信号がCPU110に供給される。CPU110は、供給された操作信号に応じて各種の処理を実行する。例えば、後述するように、再生する映像を切り替える。
さらに、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、タッチパネル130と電気的に接続されている。タッチパネル130は、操作者が操作することができるパネルからなり、操作者の操作に応じて操作信号がCPU110に供給される。CPU110は、供給された操作信号に応じて各種の処理を実行する。例えば、後述するように、再生する映像を切り替える。
<通信インターフェース140>
さらにまた、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、通信インターフェース140と電気的に接続されている。通信インターフェース140は、映像楽曲再生装置100の外部の記憶装置やサーバと通信をするためのものである。この通信インターフェース140を介して、新たな楽曲データや映像データをダウンロードしたり、各種の情報やデータを送信したり受信したりすることができる。
さらにまた、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、通信インターフェース140と電気的に接続されている。通信インターフェース140は、映像楽曲再生装置100の外部の記憶装置やサーバと通信をするためのものである。この通信インターフェース140を介して、新たな楽曲データや映像データをダウンロードしたり、各種の情報やデータを送信したり受信したりすることができる。
<タイマ150>
また、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、タイマ150と電気的に接続されている。タイマ150は、計時をするために用いられ、特に、楽曲の再生時間を計時するために用いられる。
また、CPU110は、データバス(図示せず)及びアドレスバス(図示せず)によって、タイマ150と電気的に接続されている。タイマ150は、計時をするために用いられ、特に、楽曲の再生時間を計時するために用いられる。
<音声用インターフェース160>
音声用インターフェース160には、映像楽曲再生装置100の外部のヘッドフォン(図示せず)やスピーカ(図示せず)などの音声発生装置が電気的に接続される。音声用インターフェース160は、CPU110から供給されたデジタル信号をアナログ信号に変換する。また、音声用インターフェース160は、接続されたヘッドフォンやスピーカから音声を発するように、変換したアナログ信号を、所定の音声信号に増幅する。
音声用インターフェース160には、映像楽曲再生装置100の外部のヘッドフォン(図示せず)やスピーカ(図示せず)などの音声発生装置が電気的に接続される。音声用インターフェース160は、CPU110から供給されたデジタル信号をアナログ信号に変換する。また、音声用インターフェース160は、接続されたヘッドフォンやスピーカから音声を発するように、変換したアナログ信号を、所定の音声信号に増幅する。
<グラフィックコントローラ170>
グラフィックコントローラ170は、CPU110から供給された各種のデータを、液晶ディスプレイ180(以下では、LCD180と称する。)に供給するビデオ信号に変換する。グラフィックコントローラ170には、作業用バッファ172A〜Dと、フレームバッファ174(図示せず)が電気的に接続されている。
グラフィックコントローラ170は、CPU110から供給された各種のデータを、液晶ディスプレイ180(以下では、LCD180と称する。)に供給するビデオ信号に変換する。グラフィックコントローラ170には、作業用バッファ172A〜Dと、フレームバッファ174(図示せず)が電気的に接続されている。
<作業用バッファ172A〜D>
作業用バッファ172は、主として、レンダリングのためのバッファリングをしたり、レンダリングに際して用いるテクスチャなどの素材をバッファリングしたりするなど、映像を表示するための中間の処理に用いるバッファである。本実施の形態では、この作業用バッファ172は、再生する映像の数に応じた数だけ設けられている。例えば、4つの映像A、B、C及びDを再生する場合には、作業用バッファ172は、映像A用の作業用バッファ172Aと、映像B用の作業用バッファ172Bと、映像C用の作業用バッファ172Cと、映像D用の作業用バッファ172Dとの4つの作業用バッファからなる。映像Aの映像データが、記憶装置120から読み出されると、読み出される度に、映像データが作業用バッファ172Aに展開されて、作業用バッファ172Aの内容が更新される。同様に、映像Bの映像データが、記憶装置120から読み出されると、読み出される度に、映像データが作業用バッファ172Bに展開されて、作業用バッファ172Bの内容が更新される。映像Cや映像Dについても同様に、映像データが読み出される度に、作業用バッファ172Cや作業用バッファ172Dの内容が更新される。
作業用バッファ172は、主として、レンダリングのためのバッファリングをしたり、レンダリングに際して用いるテクスチャなどの素材をバッファリングしたりするなど、映像を表示するための中間の処理に用いるバッファである。本実施の形態では、この作業用バッファ172は、再生する映像の数に応じた数だけ設けられている。例えば、4つの映像A、B、C及びDを再生する場合には、作業用バッファ172は、映像A用の作業用バッファ172Aと、映像B用の作業用バッファ172Bと、映像C用の作業用バッファ172Cと、映像D用の作業用バッファ172Dとの4つの作業用バッファからなる。映像Aの映像データが、記憶装置120から読み出されると、読み出される度に、映像データが作業用バッファ172Aに展開されて、作業用バッファ172Aの内容が更新される。同様に、映像Bの映像データが、記憶装置120から読み出されると、読み出される度に、映像データが作業用バッファ172Bに展開されて、作業用バッファ172Bの内容が更新される。映像Cや映像Dについても同様に、映像データが読み出される度に、作業用バッファ172Cや作業用バッファ172Dの内容が更新される。
<フレームバッファ174(フレームメモリ)>
フレームバッファ174(図示せず)は、グラフィックコントローラ170に電気的に接続されている。フレームバッファ174は、グラフィックコントローラ170によって、LCD180に表示する画像のラスタデータを一時的に保存する。フレームバッファ174に一時的に保存されたラスタデータは、グラフィックコントローラ170の制御によって所定の順番で読み出され、ビデオ信号としてLCD180に送信される。
フレームバッファ174(図示せず)は、グラフィックコントローラ170に電気的に接続されている。フレームバッファ174は、グラフィックコントローラ170によって、LCD180に表示する画像のラスタデータを一時的に保存する。フレームバッファ174に一時的に保存されたラスタデータは、グラフィックコントローラ170の制御によって所定の順番で読み出され、ビデオ信号としてLCD180に送信される。
上述したように、本実施の形態では、映像楽曲再生装置100は、4つの映像データに対応した4つの作業用バッファ172A〜Dを有する。グラフィックコントローラ170は、これらの4つの作業用バッファ172A〜Dに一時的に保存されているデータを用いて、フレームバッファ174に一時的に保存させるためのデータを生成する。このようにすることで、作業用バッファ172A〜Dに展開されているデータから、最終的にLCD180に表示するためのラスタデータを生成して、フレームバッファ174に一時的に保存させることができる。
例えば、LCD180に常に1つの映像を表示するような場合には、4つの作業用バッファ172A〜Dのうちの1つを選択して、選択した作業用バッファ172のデータをフレームバッファ174に送信する。また、LCD180に2つ以上の映像を重ねて表示するような場合には、4つの作業用バッファ172A〜Dのうち、表示すべき映像に対応したものを選択し、作業用バッファ172のデータを用いて、表示すべき大きさを調整し、調整したデータをフレームバッファ174に送信する。
<再生リンクデータ>
上述したように、記憶装置120には、再生リンクデータが記憶されている。再生リンクデータは、楽曲データの再生位置と映像データの再生位置との対応関係を定めたデータである。この再生リンクデータを参照しつつ、楽曲を再生するとともに、映像を再生することにより、再生する楽曲に整合するように映像を再生することができる。再生リンクデータの具体的な内容や構成は後述する。
上述したように、記憶装置120には、再生リンクデータが記憶されている。再生リンクデータは、楽曲データの再生位置と映像データの再生位置との対応関係を定めたデータである。この再生リンクデータを参照しつつ、楽曲を再生するとともに、映像を再生することにより、再生する楽曲に整合するように映像を再生することができる。再生リンクデータの具体的な内容や構成は後述する。
本明細書において、再生位置とは、楽曲データや映像データにおける再生の場所を示す情報であり、再生の場所を一義的に特定できる情報であればよい。例えば、楽曲や映像再生時間や再生時刻としても、楽曲データや映像データのフレーム数でもよい。また、再生時間や再生時刻やフレーム数とは別個に、楽曲や映像を再生するに従って計数できる情報を再生位置としてもよい。いずれにしても、楽曲や映像の再生に従って一義的に特定できる情報であればよい。
再生リンクデータは、楽曲データや映像データなどのコンテンツ提供者から予め提供されたものでも、映像楽曲再生装置100のユーザが作成したものでもよい。コンテンツ提供者から提供された再生リンクデータを用いる場合には、楽曲データや映像データをダウンロードなどによって取得するとともに、再生リンクデータも取得する。このようにしたことで、楽曲と映像とを簡便に整合させて再生することができる。また、映像楽曲再生装置100のユーザが再生リンクデータを作成できるようにした場合には、楽曲と映像との組み合わせの自由度を高めることができ、特に、映像楽曲再生装置100のユーザが録音した楽曲データや、映像楽曲再生装置100のユーザが撮影した映像データを用いた場合でも、楽曲と映像とを整合させて再生することができる。
<映像の再生・楽曲の再生>
本明細書において、映像の再生とは、映像を視認可能にLCD180に表示することを意味し、楽曲の再生とは、楽曲を聴くことができるように、ヘッドフォン(図示せず)やスピーカ(図示せず)などから発することを意味する。
本明細書において、映像の再生とは、映像を視認可能にLCD180に表示することを意味し、楽曲の再生とは、楽曲を聴くことができるように、ヘッドフォン(図示せず)やスピーカ(図示せず)などから発することを意味する。
<<<映像楽曲再生装置100の外観>>>
図2は、映像楽曲再生装置100の外観を示す正面図である。
図2は、映像楽曲再生装置100の外観を示す正面図である。
図2(a)は、液晶ディスプレイ180とタッチパネル130とが一体に形成された態様であり、図2(b)は、液晶ディスプレイ180とタッチパネル130とが別体に形成された態様である。いずれの態様であっても、操作者の操作に応じて、操作者が所望する楽曲を再生するとともに、再生する楽曲に対応づけられた映像を再生することができる。
図2に示した映像楽曲再生装置100は、通信可能な携帯型の映像楽曲再生装置であるが、上述したように、本発明による映像楽曲再生装置は、通信可能な携帯端末装置(PDA(個人情報端末))や、映像再生可能及び楽曲再生可能な携帯電話や、通信可能で映像再生可能で楽曲再生可能なコンピュータでもよい。
<<<映像楽曲再生装置100における処理>>>
映像楽曲再生装置100においては、再生する楽曲に併せて映像を再生することで、再生する楽曲に整合するように映像を再生することができるようにしたものである。具体的には、後述するように、記憶装置120に記憶された再生リンクデータを参照しつつ、映像を再生することによって、楽曲と映像とを整合させて再生できるようにしたものである。
映像楽曲再生装置100においては、再生する楽曲に併せて映像を再生することで、再生する楽曲に整合するように映像を再生することができるようにしたものである。具体的には、後述するように、記憶装置120に記憶された再生リンクデータを参照しつつ、映像を再生することによって、楽曲と映像とを整合させて再生できるようにしたものである。
<<映像再生切り替え処理1>>
操作者の操作に基づいて再生する映像を切り替える処理を実行する。この映像再生切り替え処理1では、楽曲を再生している時間にわたって、複数の映像、例えば4つの映像A、B、C及びDの映像データが、常に、記憶装置120から読み出されて、4つの作業用バッファ172A〜Dに展開されて更新されている(図4参照)。このようにすることで、操作者の操作に基づいて、映像の再生を直ちに切り替えた場合でも、円滑に映像を再生することができ、映像の再生を切り替えたときでも、楽曲と映像との整合を図ることができる。
操作者の操作に基づいて再生する映像を切り替える処理を実行する。この映像再生切り替え処理1では、楽曲を再生している時間にわたって、複数の映像、例えば4つの映像A、B、C及びDの映像データが、常に、記憶装置120から読み出されて、4つの作業用バッファ172A〜Dに展開されて更新されている(図4参照)。このようにすることで、操作者の操作に基づいて、映像の再生を直ちに切り替えた場合でも、円滑に映像を再生することができ、映像の再生を切り替えたときでも、楽曲と映像との整合を図ることができる。
図3は、この映像再生切り替え処理1を実行するためのサブルーチンを示すフローチャートである。図4は、映像再生切り替え処理1によって、映像が切り替えられる態様を示すタイムチャートである。図5は、操作者がタッチパネル130に接触したことに応じて、映像Aの再生から映像Bの再生に切り替わる様子を示す図である。図6は、この映像再生切り替え処理1で用いる再生リンクデータの内容を示すテーブルである。
上述したように、図3は、この映像再生切り替え処理1を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレーム数の計数の処理は、別個のサブルーチン(図示せず)によって独自に行われている。
最初に、操作者がタッチパネル130に接触したか否かを判断する(ステップS11)。操作者がタッチパネル130に接触していないと判別したとき(NO)には、直ちに、本サブルーチンを終了する。
一方、操作者がタッチパネル130に接触したと判別したとき(YES)には、図6に示す再生リンクデータを読み込む(ステップS13)。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する(ステップS15)。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ150を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき(NO)には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき(YES)には、映像の再生を切り替えるタイミングであるか否かを判断する(ステップS17)。映像の再生を切り替えるタイミングでないと判別したとき(NO)には、ステップS17の処理を繰り返す。
一方、映像の再生を切り替えるタイミングであると判別したとき(YES)には、現在、再生している映像を識別するための映像識別番号を記憶する(ステップS19)。例えば、映像Aの映像識別番号を「1」とし、映像Bの映像識別番号を「2」とし、映像Cの映像識別番号を「3」とし、映像Dの映像識別番号を「4」としたときに、映像Bを再生しているときには、映像識別番号「2」が記憶される。このように、現在、再生している映像の映像識別番号を記憶するようにすることで、元の映像の再生に切り替えるような処理を容易にすることができる。なお、この元の映像の再生に切り替える処理については、後述する。
次いで、上述したステップS13の処理で読み出した再生リンクデータが示す映像と、その映像の再生位置とを用いて、その再生位置からその映像を再生するように切り替え(ステップS21)、本サブルーチンを終了する。
上述した図3に示した映像再生切り替え処理1について、図4を用いて説明する。図4に示したタイムチャートでは、時間は上から下に向かって流れる。図4において、「タッチ」と表示されている箇所は、操作者がタッチパネル130に接触して操作したことを示す。例えば、楽曲再生時刻t13で操作者がタッチパネル130に接触したことに応じて、映像Aの再生から映像Bの再生に切り替わる(図5参照)。上述したように、時刻は、楽曲の再生時刻である。図4に示すように、楽曲再生時刻t0で楽曲の再生が開始されて、楽曲再生時刻tendで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻t0で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻tendで、楽曲データの最後尾のデータを用いて再生を終了する。
図4に示すように、楽曲再生時刻t0で、楽曲の再生が開始される。上述したように、映像再生切り替え処理1では、楽曲を再生している時間にわたって、4つの映像A、B、C及びDの映像データが、常に、記憶装置120から読み出されて、4つの作業用バッファ172A〜Dに展開されて更新されている。このため、図4に示すように、楽曲再生時刻t0で、楽曲の再生が開始されるとともに、4つの映像A、B、C及びDの映像データも、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とが開始される。なお、図4に示した映像再生切り替え処理1においては、楽曲再生時刻t0で、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とを開始しているが、楽曲再生時刻t0では、4つの作業用バッファ172A〜Dのうちの作業用バッファ172Aが選択されて、LCD180では映像Aが再生される。
図6(a)に示すように、映像再生切り替え処理1における再生リンクデータは、11個の楽曲再生時刻t0、t11、t12、t13、t14、t15、t16、t17、t18、t19及びt20について、切り替える映像と、その切り替える映像の再生位置(後述する映像再生時刻)との関係が定められている。なお、図6(a)に示すように、5個の楽曲再生時刻t0、t13、t15、t18、t20についてのみ、映像と映像の再生位置とが定められており、21個の楽曲再生時刻の全てについて、映像と映像の再生位置とが定められているわけではない。上述したように、再生リンクデータは、楽曲の再生に整合させて映像を再生するためのものであるので、整合させて再生することができない楽曲再生時刻に対しては、映像と映像の再生位置とを定めることができない。図6(a)に示した再生リンクデータのテーブルでは、映像と映像の再生位置とを定めることができない楽曲再生時刻については、斜線を付して示した。
図6(a)に示した再生リンクデータのテーブルでは、楽曲再生時刻t0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像再生時刻t0)から再生される。なお、この楽曲再生時刻t0における映像Aは、操作者によるタッチパネル130の接触によることなく選択されて、LCD180で再生される。
楽曲再生時刻t13では、映像Bと、映像Bの映像再生時刻t13とが、再生リンクデータとして定められている。映像Bの映像再生時刻t13は、映像Bの映像データのうち、映像再生時刻t13に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像再生時刻t0)から映像再生時刻t13だけ経過した再生位置から再生されること意味する。
また、楽曲再生時刻t15では、映像Dと、映像Dの映像再生時刻t15とが、再生リンクデータとして定められている。映像Dの映像再生時刻t15は、映像Dの映像データのうち、映像再生時刻t15に対応した位置のデータから映像Dを再生することを意味する。すなわち、映像Dは、映像Dの映像データの先頭(映像再生時刻t0)から映像再生時刻t15だけ経過した再生位置から再生されること意味する。
さらに、楽曲再生時刻t18では、映像Cと、映像Cの映像再生時刻t18とが、再生リンクデータとして定められている。映像Cの映像再生時刻t18は、映像Cの映像データのうち、映像再生時刻t18に対応した位置のデータから映像Cを再生することを意味する。すなわち、映像Cは、映像Cの映像データの先頭(映像再生時刻t0)から映像再生時刻t18だけ経過した再生位置から再生されること意味する。
さらにまた、楽曲再生時刻t20では、映像Aと、映像Aの映像再生時刻t20とが、再生リンクデータとして定められている。映像Aの映像再生時刻t20は、映像Aの映像データのうち、映像再生時刻t20に対応した位置のデータから映像Aを再生することを意味する。すなわち、映像Aは、映像Aの映像データの先頭(映像再生時刻t0)から映像再生時刻t20だけ経過した再生位置から再生されること意味する。
このように、映像A〜Dの映像再生時刻は、これらの映像の再生が開始された時点からその時点まで計時された再生時刻を示すとともに、これらの映像の映像データの再生位置も示す。同様に、楽曲の楽曲再生時刻も、楽曲の再生が開始された時点からその時点まで計時された再生時刻を示すとともに、楽曲の楽曲データの再生位置も示す。この映像の映像再生時刻と楽曲の楽曲再生時刻とを用いることにより、映像データの再生位置と楽曲データの再生位置とを結合した対応関係(再生リンクデータ)を形成することができる。
上述したように、再生リンクデータは、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。例えば、再生している楽曲のリズムに合うように、人物が歌ったり踊ったりする内容のものを映像にする。また、再生している楽曲の音の大きさや大きさの変化や周波数や周波数の変化に応じて、明度や彩度などが変化したり、登場人物などの被撮影体が変化したりする内容のものを映像にする。このように、楽曲の内容を特徴付けるものや、その変化や、変化するタイミングと、映像の内容を特徴付けるものや、その変化や、変化するタイミングとを対応づける。例えば、楽曲の特徴量や特徴量の変化や、特徴量が変化するタイミングと、映像の特徴量や特徴量の変化や、特徴量が変化するタイミングとを対応づける。楽曲の特徴量は、例えば、音声認識技術で用いられるようなものを用いればよい。また、映像の特徴量は、例えば、画像認識技術で用いられるようなものを用いればよい。このような映像を複数種類、記憶装置120に記憶させて準備するともに、対応づけを示す再生リンクデータを記憶装置120に記憶させておくことによって、再生している楽曲の内容と、再生している映像の内容とを整合させることができる。
上述した図6(a)に示した再生リンクデータのテーブルは、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻(楽曲再生時刻)と映像の再生時刻(映像再生時刻)とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数(楽曲フレーム番号)や、映像データの映像フレーム数(映像フレーム番号)を再生位置として用いてもよい。図6(b)は、楽曲フレーム数や映像フレーム数(楽曲フレーム番号や映像フレーム番号)を再生位置として用いて定めた再生リンクデータのテーブルである。
図6(b)に示すように、映像再生切り替え処理1における再生リンクデータは、11個の楽曲フレーム数f0、f11、f12、f13、f14、f15、f16、f17、f18、f19及びf20について、切り替える映像と、その切り替える映像の再生位置(映像フレーム数(映像フレーム番号))との関係が定められている。なお、図6(a)に示した再生リンクデータのテーブルと同様に、5個の楽曲フレーム数f0、f13、f15、f18、f20についてのみ、映像と映像の再生位置とが定められており、21個の楽曲フレーム数の全てについて、映像と映像の再生位置とが定められているわけではない。図6(b)に示した再生リンクデータのテーブルでも、映像と映像の再生位置とを定めることができない楽曲フレーム数については、斜線を付して示した。
図6(b)に示した再生リンクデータのテーブルでは、楽曲フレーム数f0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像フレーム数f0)から再生される。なお、図6(a)に示した再生リンクデータのテーブルと同様に、楽曲フレーム数f0における映像Aは、操作者によるタッチパネル130の接触によることなく選択されて、LCD180で再生される。
楽曲フレーム数f13では、映像Bと、映像Bの映像フレーム数f13とが、再生リンクデータとして定められている。映像Bの映像フレーム数f13は、映像Bの映像データのうち、映像フレーム数f13に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像フレーム数f0)から映像フレーム数f13だけ経過した再生位置から再生されること意味する。
また、楽曲フレーム数f15では、映像Dと、映像Dの映像フレーム数f15とが、再生リンクデータとして定められている。映像Dの映像フレーム数f15は、映像Dの映像データのうち、映像フレーム数f15に対応した位置のデータから映像Dを再生することを意味する。すなわち、映像Dは、映像Dの映像データの先頭(映像フレーム数f0)から映像フレーム数f15だけ経過した再生位置から再生されること意味する。
さらに、楽曲フレーム数f18では、映像Cと、映像Cの映像フレーム数f18とが、再生リンクデータとして定められている。映像Cの映像フレーム数f18は、映像Cの映像データのうち、映像フレーム数f18に対応した位置のデータから映像Cを再生することを意味する。すなわち、映像Cは、映像Cの映像データの先頭(映像フレーム数f0)から映像フレーム数f18だけ経過した再生位置から再生されること意味する。
さらにまた、楽曲フレーム数f20では、映像Aと、映像Aの映像フレーム数f20とが、再生リンクデータとして定められている。映像Aの映像フレーム数f20は、映像Aの映像データのうち、映像フレーム数f20に対応した位置のデータから映像Aを再生することを意味する。すなわち、映像Aは、映像Aの映像データの先頭(映像フレーム数f0)から映像フレーム数f20だけ経過した再生位置から再生されること意味する。
このように、映像A〜Dの映像フレーム数は、これらの映像の再生が開始された時点からその時点までに再生されたことによって計数(カウント)された映像フレーム数(映像フレーム番号)を示すとともに、これらの映像の映像データの再生位置も示す。同様に、楽曲の再生時刻についても、楽曲の再生が開始された時点からその時点までに再生されたことによって計数(カウント)された楽曲フレーム数(楽曲フレーム番号)を示すとともに、楽曲の楽曲データの再生位置も示す。この映像フレーム数と楽曲フレーム数とを用いることにより、映像データの再生位置と楽曲データの再生位置とを結合した対応関係(再生リンクデータ)を形成することができる。
なお、図6(b)に示した再生リンクデータのテーブルでは、簡便のために、楽曲フレーム数f13では、映像フレーム数f13が対応し、楽曲フレーム数f15では、映像フレーム数f15が対応し、楽曲フレーム数f18では、映像フレーム数f18が対応し、楽曲フレーム数f20では、映像フレーム数f20が対応するように、楽曲フレーム数と映像フレーム数とが同じになるように示した。実際には、楽曲フレーム数と映像フレーム数とは、データのサイズやデータ圧縮率などによって、異なる場合があるが、図6(b)では、簡便のために同じフレーム数を用いて示した。
なお、図6(a)や図6(b)に示した再生リンクデータでは、5個の楽曲再生時刻t0、t13、t15、t18、t20(5個の楽曲フレーム数f0、f13、f15、f18、f20)についてのみ、映像と映像の再生位置とが定めたものを示したが、映像と映像の再生位置とが定められた楽曲再生時刻や楽曲フレーム数の数は、多いものが好ましい。映像と映像の再生位置とが定められた楽曲再生時刻や楽曲フレーム数の数を多くすることによって、映像を切り替えるタイミングを増やすことができるので、操作者がタッチパネル130に接触したときに、迅速に映像を切り替えることができ、切り替えのレスポンスを良くすることができる。
上述した図6(a)や図6(b)に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができる。以下では、図4のタイムチャートに従って映像の切り替えについて説明する。なお、図4に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、4つの映像A、B、C及びDの映像データが、4つの作業用バッファ172A〜Dに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A1、B1、C1及びD1で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
また、図4に示したタイムチャートでは、21個の楽曲再生時刻t0〜t20と21個の楽曲フレーム数f0〜f20とを等間隔で示したが、これらの楽曲再生時刻や、楽曲フレーム数は、楽曲の再生に整合させて映像を再生するために定められるものであるので、等間隔に定める必要はない。
また、図4のタイムチャートに示すように、4つの映像A、B、C及びDの再生時間が、楽曲の再生時間と一致するように、4つの映像A、B、C及びDの映像データは、予め調整されて、記憶装置120に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像A、B、C又はDのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
上述したような映像データを調整は、映像データの提供者(例えば、コンテンツ提供業者など)が予め行って、映像楽曲再生装置100の操作者(ユーザ)に提供するようにしてもよい。また、映像データの提供者によって提供された映像データを用いて、映像楽曲再生装置100の操作者が独自に行うようにしてもよい。
なお、映像再生切り替え処理1においては、4つの映像A、B、C及びDの再生時間は、楽曲の再生時間よりも長くてもよい。この場合には、楽曲の再生の終了とともに、映像の再生も終了させるようにする。楽曲の再生の終了においては、楽曲の内容と映像の内容とを整合させることはできないが、映像データの提供者や映像楽曲再生装置100の操作者が映像データを調整するための手間を省くことができ、簡便かつ容易に楽曲と映像の再生を映像楽曲再生装置100の操作者に楽しませることができる。
まず、楽曲再生時刻t13や楽曲フレーム数f13に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図4参照)、楽曲再生時刻t13や楽曲フレーム数f13に至ったときに(図3のステップS17)、映像Aから映像Bに切り替え(図4の矢印A1参照)、映像Bの映像再生時刻t13や映像フレーム数f13から再生する(図3のステップS21)。なお、楽曲再生時刻t13や楽曲フレーム数f13に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像AをLCD180で継続して再生する。
次に、映像Bを再生しているときに、楽曲再生時刻t15や楽曲フレーム数f15に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図4参照)、楽曲再生時刻t15や楽曲フレーム数f15に至ったときに(図3のステップS17)、映像Bから映像Dに切り替え(図4の矢印B1参照)、映像Dの映像再生時刻t15や映像フレーム数f15から再生する(図3のステップS21)。なお、楽曲再生時刻t15や楽曲フレーム数f15に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像BをLCD180で継続して再生する。
さらに、映像Dを再生しているときに、楽曲再生時刻t18や楽曲フレーム数f18に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図4参照)、楽曲再生時刻t18や楽曲フレーム数f18に至ったときに(図3のステップS17)、映像Dから映像Cに切り替え(図4の矢印C1参照)、映像Cの映像再生時刻t18や映像フレーム数f18から再生する(図3のステップS21)。なお、楽曲再生時刻t18や楽曲フレーム数f18に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像DをLCD180で継続して再生する。
さらにまた、映像Cを再生しているときに、楽曲再生時刻t20や楽曲フレーム数f20に至るよりも以前の時点(図4参照)で、操作者がタッチパネル130に接触して操作した場合には、楽曲再生時刻t20や楽曲フレーム数f20に至ったときに(図3のステップS17)、映像Cから映像Aに切り替え(図4の矢印D1参照)、映像Aの映像再生時刻t20や映像フレーム数f20から再生する(図3のステップS21)。なお、楽曲再生時刻t20や楽曲フレーム数f20に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像CをLCD180で継続して再生する。
最終的に、映像Aを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。上述したように、映像再生切り替え処理1においては、4つの映像A、B、C及びDの映像データは、楽曲の再生が終了するとともに、映像の内容も終わるように予め調整されているものが好ましい。このため、4つの映像A、B、C及びDのいずれを再生していても、楽曲の再生の終了とともに、映像の内容も終わるように映像の再生を終了することができる。
なお、4つの映像A、B、C及びDの再生時間が、楽曲の再生時間よりも長い場合には、楽曲の再生の終了とともに、映像の再生も終了させるようにすればよい。
このように、上述した図6(a)や図6(b)に示した再生リンクデータを参照して、図3に示したサブルーチンによる処理を実行することによって、楽曲を再生しているときに、再生する映像を切り替えても、楽曲と映像とがミスマッチングするなどの恐れを低減でき、楽曲の内容と映像の内容との整合性を維持して切り替えることができる。
なお、映像の切り替えの処理は、割り込み処理によって実行される。すなわち、例えば、映像Aから映像Bに切り替えたときに、映像AはLCD180で再生されていないが、映像Aの映像データが、常に、継続するように、記憶装置120から読み出されて、作業用バッファ172Aに展開されて、作業用バッファ172Aの内容が更新される。このように、映像データの読み出しと展開とを継続することによって、映像Aの再生に戻す切り替えをする場合であっても、処理が遅延することがないので、映像と楽曲とを同期させることができる。したがって、映像データの処理の遅延により、映像と楽曲とが同期しなくなるような状況を回避できる。
上述したように、映像再生切り替え処理1では、LCD180で再生されている映像によらず、映像データが、常に、記憶装置120から読み出されて、作業用バッファ172に展開されて更新されているものを示した。しかしながら、このように、常に、記憶装置120から映像データを読み出したり、作業用バッファ172に映像データを展開させたりしたときには、その処理によって、他の処理が遅延させる場合がある。また、この処理を常に継続して行っているので、処理による発熱量が増えたり、消費電力が増えたりする場合がある。特に、映像楽曲再生装置100が携帯型である場合には、バッテリ駆動されるために、バッテリによって駆動できる時間を短くしたり、それにより、充電回数が増えた場合には、バッテリの寿命を短くしたりする。
このため、映像が切り替えられて、映像の再生を中断したときには、その中断した映像の映像データを記憶装置120から読み出す処理と、作業用バッファ172に映像データを展開させる処理も中断する。このようにすることで、発熱量を抑えるとともに、消費電力を低くして、バッテリによって駆動できる時間を長くし、バッテリの寿命を伸ばすことができる。
なお、再生リンクデータに定められた楽曲再生時刻(t13、t15、t18又はt20)や、楽曲フレーム数(f13、f15、f18又はf20)に至るよりも手前の時点で、操作者がタッチパネル130に接触して操作した場合には、再生リンクデータに定められた映像の映像データを、記憶装置120から予め読み出して、作業用バッファ172に展開させておくことで、楽曲再生時刻(t13、t15、t18又はt20)や、楽曲フレーム数f13、f15、f18又はf20)に至ったときに、切り替えた映像の再生を、直ちに開始することができ、円滑に映像を切り替えて再生することができる。
なお、図6に示したように、再生リンクデータの映像に関する情報として、「映像A」や「映像C」などのように、単に、映像を示す名称のみを示したが、この映像に関する情報は、その映像データを示すファイル名や、映像データが記憶されているアドレスなど、映像データを読み出すために必要な情報である。
また、図6に示した再生リンクデータでは、映像に関する情報と、その再生位置の情報とのみからなるものを示したが、他の情報を再生リンクデータに含めてもよい。例えば、楽曲を再生するときの音量を調整するためのデータや、映像の色合い、彩度、明度などを調整するためのデータなどを記憶させてもよい。このようにすることで、再生される映像の内容に応じた音量で楽曲を再生したり、切り替えて再生される映像の視覚的なバランスを調整したりすることができる。
上述した映像A、B、C及びDが、「複数のパターンの映像」に対応する。
<<映像再生切り替え処理2>>
上述したように、映像再生切り替え処理1では、映像の再生時間が、楽曲の再生時間と一致する映像データを用いたり、映像の再生時間が、楽曲の再生時間よりも長い映像データを用いたりするものを示した。これに対して、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いることもできる。このような場合でも、楽曲の再生に整合させて、映像を再生する必要がある。このように、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた処理を、映像再生切り替え処理2として、以下に説明する。
上述したように、映像再生切り替え処理1では、映像の再生時間が、楽曲の再生時間と一致する映像データを用いたり、映像の再生時間が、楽曲の再生時間よりも長い映像データを用いたりするものを示した。これに対して、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いることもできる。このような場合でも、楽曲の再生に整合させて、映像を再生する必要がある。このように、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた処理を、映像再生切り替え処理2として、以下に説明する。
図7は、映像再生切り替え処理2を実行するためのサブルーチンを示すフローチャートである。図8は、映像再生切り替え処理2によって、映像が切り替えられる態様を示すタイムチャートである。図9は、この映像再生切り替え処理2で用いる再生リンクデータの内容を示すテーブルである。
上述したように、図7は、この映像再生切り替え処理2を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレーム数の計数の処理は、別個のサブルーチン(図示せず)によって独自に行われている。
最初に、操作者がタッチパネル130に接触したか否かを判断する(ステップS31)。操作者がタッチパネル130に接触したと判別したとき(YES)には、タッチパネル130への接触による操作に応じて、再生する映像を切り替える処理を実行して(ステップS33)、本サブルーチンを終了する。このタッチパネル130への接触に応じて、再生する映像を切り替える処理は、上述した映像再生切り替え処理1と同様の処理を実行すればよい。すなわち、再生リンクデータを読み出し、再生リンクデータに映像と再生位置(楽曲再生時刻や楽曲フレーム数)とに応じて、再生すべき映像を切り替えて、その映像を再生すればよい。
上述したステップS31の判断処理で、操作者がタッチパネル130に接触していないと判別したとき(NO)には、図9に示す再生リンクデータを記憶装置120から読み込む(ステップS35)。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する(ステップS37)。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ150を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき(NO)には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき(YES)には、映像の再生を終了するタイミングであるか否かを判断する(ステップS39)。映像の再生を終了するタイミングでないと判別したとき(NO)には、映像データを作業用バッファ172に既に展開させているか否かを判断する(ステップS41)。映像データを作業用バッファ172に既に展開させていると判別したとき(YES)には、上述したステップS39に処理を戻す。このようにすることで、映像を切り替えて再生すべきタイミングまで待機させることができ、映像を切り替えて再生すべきタイミングに至ったときには、映像データを作業用バッファ172に既に展開させているので、直ちに、映像を再生することができる。
一方、映像データを作業用バッファ172に未だに展開させていないと判別したとき(NO)には、ステップS35の処理で読み込んだ再生リンクデータを検索して切り替えることができる映像が存在するか否かを判断する(ステップS43)。切り替えることができる映像が存在しないと判別したとき(NO)には、上述したステップS39に処理を戻す。
一方、ステップS43の判断処理で、切り替えることができる映像が存在すると判別したとき(YES)には、その切り替えることができる映像の映像データを記憶装置120から読み出し、作業用バッファ172に展開させて、映像を再生するための準備をし(ステップS45)、上述したステップS39に処理を戻す。このようにすることで、映像を切り替えて再生すべきタイミングに至ったときには、直ちに、映像を再生することができる。
上述したステップS39の判断処理で、映像の再生を終了するタイミングであると判別したとき(YES)には、切り替えることができる映像、すなわち、作業用バッファ172に展開させて待機させている映像を再生に切り替え(ステップS47)、本サブルーチンを終了する。
上述したステップS47の処理を実行した後、その切り替えた映像の映像データを継続的に、記憶装置120から読み出し、作業用バッファ172に展開して、作業用バッファ172を常に更新する。このようにすることで、切り替えた映像を継続して再生することができる。
この図7に示した映像再生切り替え処理2を実行することにより、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いた場合に、再生している映像が終了したときには、直ちに、再生すべき映像を切り替えて再生することができる。この映像の切り替えは、再生リンクデータに従って実行するので、映像の再生時間が楽曲の再生時間よりも短い映像の再生が終了した場合であっても、再生している楽曲に整合するように映像を切り替えて再生することができる。
上述した図7に示した映像再生切り替え処理2について、図8を用いて説明する。図8に示したタイムチャートでも、時間は上から下に向かって流れる。この図8に示したタイムチャートでも、時刻は楽曲の再生時刻である。図8に示すように、時刻t0で楽曲の再生が開始されて、楽曲再生時刻tendで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、図8に示した例では、4つの映像A、B、C及びDのうち、再生時間が楽曲の再生時間よりも短い映像は、3つの映像B、C及びDであり、映像Aの再生時間は、楽曲の再生時間と同じである。
図4と同様に、楽曲再生時刻t0で、楽曲の再生が開始される。この映像再生切り替え処理2では、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生する。したがって、図8に示すように、楽曲再生時刻t0で、楽曲の再生が開始されるとともに、まず、映像Aの映像データを記憶装置120から読み出し、作業用バッファ172Aに展開して更新される。楽曲再生時刻t0で、作業用バッファ172Aが選択されて、LCD180では映像Aが再生される。
図9(a)に示すように、映像再生切り替え処理2における再生リンクデータは、5個の楽曲再生時刻t0、t21、t22、t23及びt24について、切り替える映像と、その切り替える映像の再生位置(映像再生時刻)との関係が定められている。上述したように、映像再生切り替え処理2は、楽曲の再生時間よりも短い映像データを用いて映像を再生する。このため、映像再生切り替え処理2における再生リンクデータは、一の映像の再生が終了したときに、整合性を保ちつつ切り替えて再生することが他の映像を定めたものである。図9(a)に示した再生リンクデータのテーブルでは、楽曲再生時刻t0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像再生時刻t0や映像フレームf0)から、映像AがLCD180で再生される。
楽曲再生時刻t21では、映像Bと、映像Bの映像再生時刻t0が、再生リンクデータとして定められている。映像Bの映像再生時刻t0は、映像Bの映像データのうち、映像再生時刻t0に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像再生時刻t0)から再生されること意味する。
また、楽曲再生時刻t22では、映像Dと、映像Dの映像再生時刻t0とが、再生リンクデータとして定められている。映像Dの映像再生時刻t0は、映像Dの映像データのうち、映像再生時刻t0に対応した位置のデータから映像Dを再生することを意味する。すなわち、映像Dは、映像Dの映像データの先頭(映像再生時刻t0)から再生されること意味する。
さらに、楽曲再生時刻t23では、映像Cと、映像Cの映像再生時刻t0とが、再生リンクデータとして定められている。映像Cの映像再生時刻t0は、映像Cの映像データのうち、映像再生時刻t0に対応した位置のデータから映像Cを再生することを意味する。すなわち、映像Cは、映像Cの映像データの先頭(映像再生時刻t0)から再生されること意味する。
さらにまた、楽曲再生時刻t24では、映像Aと、映像Aの映像再生時刻t24とが、再生リンクデータとして定められている。映像Aの映像再生時刻t24は、映像Aの映像データのうち、映像再生時刻t24に対応した位置のデータから映像Aを再生することを意味する。すなわち、映像Aは、映像Aの映像データの先頭(映像再生時刻t0)から再映像生時刻t24だけ経過した再生位置から再生されること意味する。
上述したように、楽曲再生時刻t21では、映像Bは、映像Bの映像データの先頭(映像再生時刻t0)から再生され、楽曲再生時刻t22では、映像Dは、映像Dの映像データの先頭(映像再生時刻t0)から再生され、楽曲再生時刻t23では、映像Cは、映像Cの映像データの先頭(映像再生時刻t0)から再生される。この映像再生切り替え処理2では、映像の再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生するので、映像B、C及びDについては、それぞれの楽曲再生時刻(t21、t22又はt23)から、映像データの先頭から再生すればよい。これに対して、映像Aは、楽曲の再生時間と同じ再生時間であるので、楽曲再生時刻t24においては、映像Aの映像データの先頭(映像再生時刻t0)から映像再生時刻t24だけ経過した再生位置から映像Aを再生することになる。
映像再生切り替え処理2における再生リンクデータも、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。特に、映像再生切り替え処理2における再生リンクデータでは、一の映像の再生が終了したときに、他の映像に切り替えて再生する場合でも、音声の再生と映像の再生とを整合させるためのものである。
上述した図9(a)に示した再生リンクデータのテーブルも、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻(楽曲再生時刻)と映像の再生時刻(映像再生時刻)とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数(楽曲フレーム番号)や、映像データの映像フレーム数(映像フレーム番号)を再生位置として用いてもよい。図9(b)は、楽曲フレーム数や映像フレーム数(楽曲フレーム番号や映像フレーム番号)を再生位置として用いて定めた再生リンクデータのテーブルである。
図9(b)に示すように、映像再生切り替え処理1における再生リンクデータは、5個の楽曲フレーム数f0、f21、f22、f23及びf24について、切り替える映像と、その切り替える映像の再生位置(映像フレーム数(映像フレーム番号))との関係が定められている。図9(b)に示した再生リンクデータのテーブルでは、楽曲フレーム数f0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像フレーム数f0)から、映像AがLCD180で再生される。
楽曲フレーム数f21では、映像Bと、映像Bの映像フレーム数f0とが、再生リンクデータとして定められている。映像Bの映像フレーム数f0は、映像Bの映像データのうち、映像フレーム数f0に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像フレーム数f0)から再生されること意味する。
また、楽曲フレーム数f22では、映像Dと、映像Dの映像フレーム数f0とが、再生リンクデータとして定められている。映像Dの映像フレーム数f0は、映像Dの映像データのうち、映像フレーム数f0に対応した位置のデータから映像Dを再生することを意味する。すなわち、映像Dは、映像Dの映像データの先頭(映像フレーム数f0)から再生されること意味する。
さらに、楽曲フレーム数f23では、映像Cと、映像Cの映像フレーム数f0とが、再生リンクデータとして定められている。映像Cの映像フレーム数f0は、映像Cの映像データのうち、映像フレーム数f0に対応した位置のデータから映像Cを再生することを意味する。すなわち、映像Cは、映像Cの映像データの先頭(映像フレーム数f0)から再生されること意味する。
さらにまた、楽曲フレーム数f24では、映像Aと、映像Aの映像フレーム数f24とが、再生リンクデータとして定められている。映像Aの映像フレーム数f24は、映像Aの映像データのうち、映像フレーム数f24に対応した位置のデータから映像Aを再生することを意味する。すなわち、映像Aは、映像Aの映像データの先頭(映像フレーム数f0)から映像フレーム数f24だけ経過した再生位置から再生されること意味する。
上述したように、楽曲フレーム数f21では、映像Bは、映像Bの映像データの先頭(映像フレーム数f0)から再生され、楽曲フレーム数f22では、映像Dは、映像Dの映像データの先頭(映像フレーム数f0)から再生され、楽曲フレーム数f23では、映像Cは、映像Cの映像データの先頭(映像フレーム数f0)から再生される。上述したように、この映像再生切り替え処理2では、再生時間が、楽曲の再生時間よりも短い映像データを用いて映像を再生するので、映像B、C及びDについては、それぞれの楽曲フレーム数(f21、f22又はf23)から、映像データの先頭から再生すればよい。これに対して、映像Aは、楽曲の再生時間と同じ再生時間であるので、楽曲フレーム数f24においては、映像Aの映像データの先頭(映像フレーム数f0)から楽曲フレーム数f24だけ経過した再生位置から映像Aを再生することになる。
なお、図9(b)に示した再生リンクデータのテーブルでは、簡便のために、楽曲フレーム数f24では、映像フレーム数f24が対応するように、楽曲フレーム数と映像フレーム数とが同じになるように示した。実際には、楽曲フレーム数と映像フレーム数とは、データのサイズやデータ圧縮率などによって、異なる場合が多いが、図9(b)では、簡便のために同じフレーム数を用いて示した。
上述した図9(a)や図9(b)に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができる。以下では、図8のタイムチャートに従って映像の切り替えについて説明する。なお、図8に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、映像が再生されておらず、また、4つの映像A、B、C及びDの映像データが読み出されず、4つの作業用バッファ172A〜Dの内容が更新されていない状態の箇所を、縦方向の細破線で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A2、B2、C2及びD2で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
まず、楽曲再生時間t0又は楽曲フレーム数f0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像再生時刻t0や映像フレームf0)から、映像AがLCD180で再生される。
その後、楽曲再生時刻t21や楽曲フレーム数f21に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図8の「タッチ」参照)、楽曲再生時刻t21や楽曲フレーム数f21に至ったときに(図7のステップS33)、映像Aから映像Bに切り替え(図8の矢印A2参照)、映像Bの映像再生時刻t0や映像フレーム数f0から再生する(図7のステップS47)。なお、楽曲再生時刻t21や楽曲フレーム数f21に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像AをLCD180で継続して再生する。
次に、映像Bを再生しているときに、楽曲再生時刻t22や楽曲フレーム数f22に至るよりも前の時点では、映像Dに切り替えるために、映像Dの映像データを読み出して、作業用バッファ172Dに展開して再生の準備をする(図7のステップS45)。その後、楽曲再生時刻t22や楽曲フレーム数f22に至ったときには(図8参照)、映像Bから映像Dに切り替え(図8の矢印B2参照)、映像Dの映像再生時刻t0や映像フレーム数f0から再生する(図7のステップS47)。
なお、映像Bを再生しているときに、楽曲再生時刻t22や楽曲フレーム数f22に至った場合には、映像Bの映像データの最後尾まで読み出して、映像Bの再生が終了する。すなわち、映像Bの映像データの全再生時間が、t22−t21となるように、又は、映像Bの全フレーム数が、f22−f21となるように構成されている。
さらに、映像Dを再生しているときに、楽曲再生時刻t23や楽曲フレーム数f23に至るよりも前の時点では、映像Cに切り替えるために、映像Cの映像データを読み出して、作業用バッファ172Cに展開して再生の準備をする(図7のステップS45)。その後、楽曲再生時刻t23や楽曲フレーム数f23に至ったときに(図8参照)、映像Dから映像Cに切り替え(図8の矢印C2参照)、映像Cの映像再生時刻t0や映像フレーム数f0から再生する(図7のステップS47)。
なお、映像Dを再生しているときに、楽曲再生時刻t23や楽曲フレーム数f23に至った場合には、映像Dの映像データの最後尾まで読み出して、映像Dの再生が終了する。すなわち、映像Dの映像データの全再生時間が、t23−t22となるように、又は、映像Bの全フレーム数が、f23−f22となるように構成されている。
さらにまた、映像Cを再生しているときに、楽曲再生時刻t24や楽曲フレーム数f24に至るよりも前の時点では、映像Aに切り替えるために、映像Aの映像データを読み出して、作業用バッファ172Aに展開して再生の準備をする(図7のステップS45)。その後、楽曲再生時刻t24や楽曲フレーム数f24に至ったときに(図8参照)、映像Cから映像Aに切り替え(図8の矢印D2参照)、映像Aの映像再生時刻t24や映像フレーム数f24から再生する(図7のステップS47)。
なお、映像Cを再生しているときに、楽曲再生時刻t24や楽曲フレーム数f24に至った場合には、映像Cの映像データの最後尾まで読み出して、映像Cの再生が終了する。すなわち、映像Cの映像データの全再生時間が、t24−t23となるように、又は、映像Bの全フレーム数が、f24−f23となるように構成されている。
最終的に、映像Aを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。
このように、上述した図9(a)や図9(b)に示した再生リンクデータを参照して、図7に示したサブルーチンによる処理を実行することによって、楽曲の再生を終了したときに、再生する映像を切り替えても、楽曲と映像とがミスマッチングするなどの恐れを低減でき、楽曲の内容と映像の内容との整合性を維持して切り替えることができる。
また、一の映像の再生が終了して他の映像の再生に切り替える場合に、他の映像に切り替えるよりも前の時点で、他の映像の映像データを記憶装置120から読み出して、作業用バッファ172に展開しているので、切り替えた直後の再生を円滑にして、直ちに再生を開始することができる。
さらに、楽曲再生時刻t21や楽曲フレーム数f21に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には、楽曲再生時刻t21や楽曲フレーム数f21に至ったときに、映像Aから映像Bに再生を切り替える。このように、映像Bに再生を切り替えた後は、映像Aを再生する必要がないので、映像Aの映像データを記憶装置120から読み出して、作業用バッファ172Aに展開している必要がなく、映像データの読み出しや展開を中断するのが好ましい。このようにすることで、処理に要する発熱量を抑えるとともに、消費電力を低くして、バッテリ駆動できる時間を長くし、バッテリの寿命を伸ばすことができる。なお、このように、映像データの読み出しや展開を中断しても、上述したように、楽曲再生時刻t24や楽曲フレーム数f24に至るよりも前に、映像Aの映像データを読み出して、作業用バッファ172Aに展開して再生の準備をするので、切り替えた直後の再生を円滑にすることができる。また、処理が遅延することがないので、映像と楽曲とを同期させることができる。したがって、映像データの処理の遅延により、映像と楽曲とが同期しなくなるような状況を回避することもできる。
<<映像再生自動切り替え処理>>
上述した映像再生切り替え処理2では、再生時間が楽曲の再生時間よりも短い3つの映像B、C及びDの再生が終了したときに、再生リンクデータを参照して、次々に映像を切り替えるものを示した。なお、上述したように、映像Aの再生時間は、楽曲の再生時間と同じである。このように、映像再生切り替え処理2では、4つの映像A、B、C及びDを用いて映像を切り替えるために、4つの映像A、B、C及びDについて定めた再生リンクデータが必要となり、4つの映像A、B、C及びDの映像データを記憶させることができる記憶容量を有する記憶装置を用いたり、4つの映像A、B、C及びDについての再生リンクデータを予め定めたりする必要があった。
上述した映像再生切り替え処理2では、再生時間が楽曲の再生時間よりも短い3つの映像B、C及びDの再生が終了したときに、再生リンクデータを参照して、次々に映像を切り替えるものを示した。なお、上述したように、映像Aの再生時間は、楽曲の再生時間と同じである。このように、映像再生切り替え処理2では、4つの映像A、B、C及びDを用いて映像を切り替えるために、4つの映像A、B、C及びDについて定めた再生リンクデータが必要となり、4つの映像A、B、C及びDの映像データを記憶させることができる記憶容量を有する記憶装置を用いたり、4つの映像A、B、C及びDについての再生リンクデータを予め定めたりする必要があった。
図10は、映像再生自動切り替え処理を実行するためのサブルーチンを示すフローチャートである。図11は、映像再生自動切り替え処理によって、映像が切り替えられる態様を示すタイムチャートである。
上述したように、図10は、この映像再生自動切り替え処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、楽曲の再生時間の計時の処理や楽曲フレームの計数の処理は、別個のサブルーチン(図示せず)によって独自に行われている。
最初に、映像の再生が終了したか否かを判断する(ステップS51)。映像の再生が終了していないと判別したとき(NO)には、直ちに本サブルーチンを終了する。
一方、映像の再生が終了したと判別したとき(YES)には、元々再生していた映像を識別するための映像識別番号が存在するか否かを判断する(ステップS53)。識別番号は、上述した図3のステップS19の処理によって記憶されるものである。例えば、元々再生していた映像が映像Aであったときには、映像識別番号として「1」が記憶されている。元々再生していた映像が映像Bであったときには、映像識別番号として「2」が記憶されている。元々再生していた映像が映像Cであったときには、映像識別番号として「3」が記憶されている。元々再生していた映像が映像Dであったときには、映像識別番号として「4」が記憶されている。なお、楽曲を再生し始めて最初に映像を再生したときには、元々再生していた映像は存在しないので、映像識別番号は存在しない。
ステップS53の判断処理で、元々再生していた映像を識別するための識別番号が存在しないと判別したとき(NO)、すなわち、楽曲を再生し始めて最初に映像を再生しているときには、直ちに本サブルーチンを終了する。
一方、ステップS53の判断処理で、元々再生していた映像を識別するための識別番号が存在すると判別したとき(YES)、すなわち、楽曲を再生し始めてから少なくとも複数の映像を再生したときには、元々再生していた映像に切り替えて再生し(ステップS55)、本サブルーチンを終了する。
上述した図10に示した映像再生自動切り替え処理について、図11を用いて説明する。図11に示したタイムチャートでも、時間は上から下に向かって流れる。図11において、「タッチ」と表示されている箇所は、操作者がタッチパネル130に接触して操作したことを示す。例えば、時刻t31や時刻t33で操作者がタッチパネル130に接触したことに応じて、映像Aの再生から映像Bの再生に切り替わる(図11参照)。この図11においても、時刻は、楽曲の再生時刻である。図11に示すように、時刻t0で楽曲の再生が開始されて、楽曲再生時刻tendで楽曲の再生が終了する。このように、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。
この図11に示したタイムチャートでは、楽曲の再生に併せて、映像A又は映像Bを再生できる場合を示す。この映像Aの再生時間は、楽曲の再生時間と同じであり、一方、映像Bの再生時間は、楽曲の再生時間よりも短い。
図12(a)に示すように、映像再生自動切り替え処理における再生リンクデータは、3つの楽曲再生時刻t0、t31及びt33について、切り替える映像と、その切り替える映像の再生位置(映像再生時刻)との関係が定められている。図12(a)に示した再生リンクデータのテーブルでは、楽曲再生時刻t0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像再生時刻t0)から再生される。なお、この楽曲再生時刻t0における映像Aは、操作者によるタッチパネル130の接触によることなく選択されて、LCD180で再生される。
楽曲再生時刻t31では、映像Bと、映像Bの映像再生時刻t0とが、再生リンクデータとして定められている。また、楽曲再生時刻t33では、映像Bと、映像Bの映像再生時刻t0とが、再生リンクデータとして定められている。上述した映像Bの映像再生時刻t0は、映像Bの映像データのうち、映像再生時刻t0に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像再生時刻t0)から再生されること意味する。
映像再生自動切り替え処理で用いる再生リンクデータも、楽曲の再生に整合させて映像を再生するためのものである。この楽曲の再生と映像の再生との整合とは、再生している楽曲の内容と、再生している映像の内容とを整合させることである。例えば、再生している楽曲のリズムに合うように、人物が歌ったり踊ったりする内容のものを映像にする。
上述した図12(a)に示した再生リンクデータのテーブルは、楽曲の再生位置や映像の再生位置として、楽曲の再生時刻(楽曲再生時刻)と映像の再生時刻(映像再生時刻)とを用いて定めたものである。上述したように、楽曲の再生位置や映像の再生位置は、楽曲や映像の再生の場所を一義的に特定できる情報であればよく、楽曲再生時刻や映像再生時刻だけでなく、楽曲データの楽曲フレーム数(楽曲フレーム番号)や、映像データの映像フレーム数(映像フレーム番号)を再生位置として用いてもよい。図12(b)は、楽曲フレーム数や映像フレーム数(楽曲フレーム番号や映像フレーム番号)を再生位置として用いて定めた再生リンクデータのテーブルである。
図12(b)に示すように、映像再生自動切り替え処理で用いる再生リンクデータは、3つの楽曲フレーム数f0、f31及びf33について、切り替える映像と、その切り替える映像の再生位置(映像フレーム数(映像フレーム番号))との関係が定められている。
図12(b)に示した再生リンクデータのテーブルでは、楽曲フレーム数f0で、映像Aが選択されて、映像Aの再生位置0、すなわち、映像Aの映像データの先頭(映像フレーム数f0)から再生される。なお、図12(a)に示した再生リンクデータのテーブルと同様に、楽曲フレーム数f0における映像Aは、操作者によるタッチパネル130の接触によることなく選択されて、LCD180で再生される。
楽曲フレーム数f31では、映像Bと、映像Bの映像フレーム数f0とが、再生リンクデータとして定められている。また、楽曲フレーム数f33では、映像Bと、映像Bの映像フレーム数f0とが、再生リンクデータとして定められている。映像Bの映像フレーム数f0は、映像Bの映像データのうち、映像フレーム数f0に対応した位置のデータから映像Bを再生することを意味する。すなわち、映像Bは、映像Bの映像データの先頭(映像フレーム数f0)から再生されること意味する。
上述した図12(a)や図12(b)に示した再生リンクデータを用いると、操作者の操作に対応して映像を切り替えて再生することができ、再生が終了すると元の映像に自動的に切り替えて再生する。以下では、図11のタイムチャートに従って映像の切り替えについて説明する。なお、図11に示したタイムチャートでは、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A3、B3、A4及びB4で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
まず、楽曲再生時刻t31や楽曲フレーム数f31に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図11参照)、楽曲再生時刻t31や楽曲フレーム数f31に至ったときに、映像Aから映像Bに切り替え(図11の矢印A3参照)、映像Bの映像再生時刻t0や映像フレーム数f0から再生する。なお、楽曲再生時刻t31や楽曲フレーム数f31に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像AをLCD180で継続して再生する。
映像Aから映像Bに切り替えて再生した後、楽曲再生時刻t32や楽曲フレーム数f32に至ったときには(図11参照)、映像Bから映像Aに切り替え(映像Bから映像Aに戻し)(図11の矢印A4参照)、映像Aの映像再生時刻t32や映像フレーム数f32から再生する(図10のステップS55)。
さらに、映像Bから映像Aの再生に戻した後、楽曲再生時刻t33や楽曲フレーム数f33に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図11参照)、楽曲再生時刻t33や楽曲フレーム数f33に至ったときに、再び、映像Aから映像Bに切り替え(図11の矢印B3参照)、映像Bの映像再生時刻t0や映像フレーム数f0から再生する。なお、楽曲再生時刻t33や楽曲フレーム数f33に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像AをLCD180で継続して再生する。
映像Aから映像Bに切り替えて再生した後、楽曲再生時刻t34や楽曲フレーム数f34に至ったときには(図11参照)、再び、映像Bから映像Aに切り替え(映像Bから映像Aに戻し)(図11の矢印B4参照)、映像Aの映像再生時刻t34や映像フレーム数f34から再生する(図10のステップS55)。
なお、映像Bを再生しているときに、楽曲再生時刻t32や楽曲フレーム数f32に至った場合、又は楽曲再生時刻t34や楽曲フレーム数f34に至った場合には、映像Bの映像データの最後尾まで読み出して、映像Bの再生が終了する。すなわち、映像Bの映像データの全再生時間が、t32−t31(=t34−t33)となるように、又は、映像Bの全フレーム数が、f32−f31(=f34−f33)となるように構成されている。
最終的に、映像Aを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了する。
上述した図11のタイムチャートに示した例では、時刻t31と時刻t33との双方で、同じ映像Bに切り替えられて再生する場合を示した。すなわち、楽曲が再生されている間に、映像Bが2回再生される場合を示したが、時刻t31と時刻t33とで、異なる映像に切り替えて再生するようにしてもよい。例えば、時刻t31では、映像Bに切り替え、時刻t33では、映像Cに切り替えるようにしてもよい。
このように、再生していた映像が終了したときには、直ちに、元々再生していた映像に切り替えて再生する。このようにすることで、簡素に構成した再生リンクデータを参照して、再生する映像を切り替えることができるので、処理を容易にすることができる。
上述した図10のステップS51の判断処理では、映像の再生が終了したか否かを判断して、映像の再生を切り替えたが、一の映像の再生を開始してから所定の時間を経過したときに、他の映像の再生に切り替えるようにしてもよい。このようにすることで、例えば、一の映像が販売商品であるようなときに、一の映像の全体を継続して再生したいような場合には、その一の映像について決済をして、一の映像を操作者に購入させるようにする。このようにすることで、一の映像を購入させようとする動機を操作者に与えることができるともに、決済をしていない操作者に対しては、一の映像の一部のみの再生しか許可しないようにすることで、販売商品である一の映像の全体が再生されることを防止して、一の映像を保護することができる。
<<決済処理1>>
図13は、再生する楽曲に対して決済の処理をするサブルーチンを示すフローチャートである。図14は、再生する楽曲に対して決済の処理のタイミングチャートを示す。なお、この決済の処理が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
上述したように、図13は、この決済処理1を実行するためのサブルーチンを示すフローチャートである。このサブルーチンは、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。
図13のサブルーチンにおいて、最初に、決済要求情報が記憶装置120に記憶されて存在しているか否かを判断する(ステップS61)。決済要求情報は、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置120に記憶されて存在し、決済をした場合には、記憶装置120から消去されて存在しない。
ステップS61の判断処理で、決済要求情報が記憶装置120に消去されて存在していないと判別したとき(NO)には、直ちに、サブルーチンを終了する。これは、既に、操作者がその楽曲に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときには、決済をした楽曲に対しては、再生時間が制限されることなく、映像楽曲再生装置100で再生をすることができる。一方、決済をせず、決済要求情報が存在している状態の場合には、対象となっている楽曲について、映像楽曲再生装置100において再生できる時間が制限される。すなわち、再生できる時間を越えたときには、その楽曲が出力されないようにされる。
上述したステップS61の判断処理で、決済要求情報が、記憶装置120に記憶されており、存在していると判別したとき(YES)には、楽曲の再生を開始してから所定の時間が経過したか否かを判断する(ステップS63)。この楽曲の再生を開始してから所定の時間が経過したか否かのための計時は、上述したタイマ150を、楽曲の再生と同時に起動し、タイマ150のタイマ値を計数することによって行うことができる。
ステップS63の判断処理で、楽曲の再生を開始してから所定の時間が経過していないと判別したとき(NO)には、直ちに、サブルーチンを終了する。一方、楽曲の再生を開始してから所定の時間が経過したと判別したとき(YES)には、記憶装置120に記憶されている決済要求情報を読み出して、決済要求情報をLCD180に表示する(ステップS65)。このように、決済要求情報を表示することによって、楽曲の再生とともに行われている映像の再生が、ある程度、妨げられることになり、決済要求情報の存在を操作者に視認させることにより、未だに決済が終っていないことを操作者に明確に認識させることができる。
次いで、操作者がタッチパネル130に接触したか否かを判断する(ステップS67)。このタッチパネル130への接触は、操作者が決済することを認めたことを意味する。ステップS67の判断処理で、操作者がタッチパネル130に接触していないと判別したとき(NO)、すなわち、操作者が決済しないとしたときには、直ちに、サブルーチンを終了する。
一方、操作者がタッチパネル130に接触したと判別したとき(YES)、すなわち、操作者が決済することを認めたときには、決済許可データと、ユーザIDと、楽曲識別コードとを、通信インターフェース140を介してサーバ(図示せず)に送信する(ステップS69)。ここで、決済許可データは、操作者が決済することを認めたことを示す情報であり、ステップS67の判断処理で、操作者が、タッチパネル130に接触したと判別したときに生成される情報である。また、ユーザIDは、操作者を識別するための情報であり、決済が漏れたり重複したりすることなく、的確に行うためのものである。このユーザIDは、操作者に対して固有に割り当てるようにしても、映像楽曲再生装置100に対して固有に割り当てるようにしてもよい。映像楽曲再生装置100に対して割り当てた場合には、映像楽曲再生装置100を介して間接的に操作者を識別することになる。いずれにしても、ユーザIDは、的確に決済するために、操作者を識別する情報である。さらに、楽曲識別コードは、操作者が決済しようとする楽曲を識別するための情報である。
上述したステップS69の処理によって決済許可データとユーザIDと楽曲識別コードとが送信されたサーバでは、これらの情報に基づいてキーコードを生成する。このキーコードは、操作者が決済を希望した楽曲に対して決済されたことを示す情報である。特に、キーコードは、不正に使用されないようにするために、ユーザIDや楽曲識別コードを用いて生成し、ユーザIDや楽曲識別コードに固有な情報にしたものが好ましい。このようなキーコードを生成することによって、同じキーコードを用いても、異なる映像楽曲再生装置100では、同じ楽曲が再生することができないようにでき、楽曲を不正に利用されることを防止できる。
上述したステップS69の処理を実行した後、サーバによって生成されたキーコードを受信し(ステップS71)、受信したキーコードと、真正キーコードとが一致するか否かを判断する(ステップS73)。ここで、真正キーコードは、映像楽曲再生装置100で生成されたキーコードである。この映像楽曲再生装置100における真正キーコードの生成は、上述したサーバにおけるキーコードの生成と同様のアルゴリズムによって行われる。したがって、原則、サーバで生成されたキーコードと、映像楽曲再生装置100で生成された真正キーコードとは一致する。しかし、何らかの不正行為などによって、入手したり生成したりしたキーコードは、真正キーコードと一致しなくなる可能性が高くなる。このように、サーバで生成されたキーコードと、映像楽曲再生装置100で生成された真正キーコードとが一致するか否かを判断することによって、楽曲を不正に利用されることを防止できる。
上述したステップS73の判断処理で、受信したキーコードと、真正キーコードとが一致しないと判別したとき(NO)、すなわち、受信したキーコードが不正なものであると判別したときには、再生している楽曲の再生を中止し(ステップS75)、本サブルーチンを終了する。一方、受信したキーコードと、真正キーコードとが一致すると判別したとき(YES)、すなわち、受信したキーコードが真正なものであると判別したときには、記憶装置120に記憶されている決済要求情報を消去して(ステップS77)、本サブルーチンを終了する。このステップS77の処理によって、決済要求情報を消去することにより、楽曲の再生時間が制限を解除することができる。
図14(a)及び(b)は、この決済処理を示すタイムチャートである。この図14に示したタイムチャートの例では、楽曲が決済の対象であり、映像は決済の対象とされていない。
図14(a)において、まず、楽曲再生時刻t0に楽曲の再生が開始されるとともに、映像Aの再生も開始される。次いで、楽曲再生時刻t41に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図14参照)、楽曲再生時刻t41に至ったときに、映像Aから映像Bに切り替え(図14の矢印A5参照)、映像Bの楽曲再生時刻t0から再生する。なお、楽曲再生時刻t41に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Aを継続して再生する。
その後、楽曲再生時刻が楽曲再生時刻t42に至ったときに、楽曲の再生を開始してから所定の時間が経過したと判別されて(図13のステップS63)、決済要求情報がLCD180に表示されて(図13のステップS65)、それに応じて、操作者がタッチパネル130に接触したときには(図13のステップS67)、決済されたことによって、決済要求情報が削除され(図13のステップS77)、楽曲の再生時間が制限を解除されて、楽曲再生時刻t42以降も楽曲の再生が継続される(図14(a)の実線の矢印参照)。
一方、図14(b)において、楽曲再生時刻が楽曲再生時刻t0からt42に至るまでは同様である。楽曲再生時刻が楽曲再生時刻t42に至ったときに、楽曲の再生を開始してから所定の時間が経過したと判別されて(図13のステップS63)、決済要求情報がLCD180に表示される(図13のステップS65)。この決済要求情報がLCD180に表示されたにもかかわらず、操作者がタッチパネル130に接触しなかったときには(図13のステップS67)、決済されず、決済要求情報が存在する状態となる(図13のステップS77)。決済要求情報が存在するときには、楽曲再生時刻t42以降、楽曲の再生は中断される(図13のステップS75及び図14(b)の細破線参照)。
なお、上述したように、楽曲再生時刻t41(楽曲再生時刻t41以前)における操作者のタッチパネル130への接触は、映像Aから映像Bへの切り替えをするための操作である。これに対して、楽曲再生時刻t42のおける操作者のタッチパネル130への接触は、楽曲を継続して再生できるようにするための決済の操作である(図13のステップS67)。このように、タッチパネル130への接触のみで各種の操作をすることができ、操作が煩雑になることを防止することができる。なお、
上述したような処理を実行することにより、楽曲の再生時間が制限されていても、少なくとも楽曲の一部は再生できるので、その楽曲が真に所望する楽曲であるか否かを操作者に判断できる機会を与えることができ、操作者に不必要に出費させることを防止することができる。
また、楽曲の再生時間を制限し、決済しない場合には、楽曲の再生を中止するようにしたことによって、決済することなく、楽曲が再生されてしまうという楽曲の提供者の経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することもできる。
さらに、上述した例では、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル130から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理のための操作をタッチパネル130で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル130を操作することで、サーバから送信された解除情報を入力する。タッチパネル130から解除情報が入力されたときには、映像楽曲再生装置100は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
また、上述した図13及び図14では、楽曲のみが課金されて決済の対象とした場合を示したが、映像Aや映像Bなどの映像も決済の対象としてもよい。この場合には、所定の再生時間を経過しても、決算されなかったときには、LCD180における再生を中止する。このようにすることで、楽曲の提供者のみならず、映像の提供者の利益も保護することができる。
<<決済処理2>>
図15は、再生する映像に対して第2の決済の処理(決済処理2)をするサブルーチンを示すフローチャートである。なお、第2の決済の処理では、映像を決済の対象としている。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この決済処理2が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図15は、再生する映像に対して第2の決済の処理(決済処理2)をするサブルーチンを示すフローチャートである。なお、第2の決済の処理では、映像を決済の対象としている。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この決済処理2が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、決済要求情報が記憶装置120に記憶されて存在しているか否かを判断する(ステップS81)。この決済要求情報は、決済処理1におけるものと同様に、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置120に記憶されて存在し、決済をした場合には、記憶装置120から消去されて存在しない。
上述したステップS81の判断処理で、決済要求情報が記憶装置120に消去されて存在していないと判別したとき(NO)には、直ちに、サブルーチンを終了する。これは、既に、操作者がその映像に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときには、決済をした映像に対しては、後述するように、映像の再生回数が制限されることなく、映像楽曲再生装置100で再生をすることができる。一方、決済をせず、決済要求情報が存在している状態の場合には、対象となっている映像について、映像楽曲再生装置100において再生できる回数が制限される。すなわち、映像を無料で再生できる回数を越えたときには、その映像が再生されないようにされる。
上述したステップS81の判断処理で、決済要求情報が記憶装置120に存在していると判別したとき(YES)には、操作者がタッチパネル130に接触したか否かを判断する(ステップS83)。このタッチパネル130への接触は、再生する映像を切り替えるための操作である。ステップS83の判断処理で、操作者がタッチパネル130に接触していないと判別したとき(NO)、すなわち、再生する映像を切り替える操作をしなかったと判別したときには、直ちに本サブルーチンを終了する。
一方、ステップS83の判断処理で、操作者がタッチパネル130に接触したと判別したとき(YES)、すなわち、再生する映像を切り替える操作をしたと判別したときには、接触した回数を1だけ増やす(ステップS85)。次いで、接触した回数が所定回数より大きくなったか否かを判断する(ステップS87)。接触した回数が所定回数以下であると判別したとき(NO)には、直ちに本サブルーチンを終了する。
一方、接触した回数が所定回数より大きくなったと判別したとき(YES)には、図13と同様のステップS65〜S77、S88及びS89の処理を実行する。なお、上述したように、第2の決済の処理では、映像を決済の対象としているので、ステップS88では、操作者が決済することを認めたときには、決済許可データと、ユーザIDと、映像識別コードとを、通信インターフェース140を介してサーバ(図示せず)に送信する。この映像識別コードは、操作者が決済しようとする映像を識別するための情報である。このように、第2の決済の処理では、映像識別コードをサーバに送信することで、キーコードが、サーバで生成されて、サーバから送信されて、真正キーコードと比較される。
また、ステップS89では、キーコードが、真正キーコードと一致しなかったときには、映像の再生を中止する。
操作者がタッチパネル130に接触することで、再生する映像を切り替える操作が行われる。したがって、操作者がタッチパネル130に接触した回数を計数することによって、映像が再生された回数を取得することができ、決済の対象にするどうかを判断することができる。
上述した決済処理1では、楽曲の再生時間を制限して、決済されたときには、楽曲の再生時間(試聴時間)の制限を解除するものであった。しかしながら、楽曲の再生時間を用いて決済を管理する場合には、映像楽曲再生装置100を構成する内部時計(図示せず)が示す時刻を調整することによって、試聴時間を長時間化して、不正に再生される可能性もある。
これに対して、決済処理2では、操作者がタッチパネル130に接触した回数、すなわち、映像の再生回数を計数し、その回数が所定回数を超えるまでは、無料で映像を再生することができる。このようにしたことで、映像の再生回数が制限されていても、少なくとも一回は再生できるので、その映像が真に所望する映像であるか否かを操作者に判断できる機会を与えることができ、操作者に不必要に出費させることを防止することができる。
また、映像の再生回数を制限し、決済しない場合には、映像を再生できないようにしたことによって、決済することなく、映像が再生されてしまうという映像の提供者の経済的なデメリットを排除しつつ、実質的な宣伝効果を期待することもできる。さらに、映像楽曲再生装置100を構成する内部時計が示す時刻を調整することによって、試聴時間を長時間化して、映像が不正に再生されることを防止することもできる。
また、決済処理2でも、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル130から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理ための操作をタッチパネル130で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル130を操作することで、サーバから送信された解除情報を入力する。タッチパネル130から解除情報が入力されたときには、映像楽曲再生装置100は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
<<決済処理3>>
図16は、再生する映像に対して第3の決済の処理(決済処理3)をするサブルーチンを示すフローチャートである。なお、この決済処理3でも、映像を決済の対象としている。なお、図15と同様の処理については、同様の符号を付した。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この決済処理3が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図16は、再生する映像に対して第3の決済の処理(決済処理3)をするサブルーチンを示すフローチャートである。なお、この決済処理3でも、映像を決済の対象としている。なお、図15と同様の処理については、同様の符号を付した。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この決済処理3が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、決済要求情報が記憶装置120に記憶されて存在しているか否かを判断する(ステップS81)。この決済要求情報は、決済処理1や決済処理2におけるものと同様に、操作者に決済をすべきことを要求するための情報であり、決済をしていない場合には、記憶装置120に記憶されて存在し、決済をした場合には、記憶装置120から消去されて存在しない。
上述したステップS81の判断処理で、決済要求情報が記憶装置120に消去されて存在していないと判別したとき(NO)には、直ちに、サブルーチンを終了する。これは、既に、操作者がその映像に対して決済を済まして、決済要求情報が消去されて存在しないことを意味する。このように、決済をして、決済要求情報が存在しない状態になったときに、決済をした映像を再生する場合には、後述するように、広告が表示されることなく、映像のみを再生することができる。一方、決済をせずに、決済要求情報が存在している状態の場合には、対象となっている映像の再生に併せて、所定の広告が表示される。すなわち、映像を無料で再生できる回数を越えたときには、所定の広告が表示される。
上述したステップS81の判断処理で、決済要求情報が記憶装置120に存在していると判別したとき(YES)には、LCD180において、映像を再生するとともに、広告を表示する(ステップS91)。このように、広告を表示することで、広告の内容を操作者に視認させることができるとともに、再生している映像が、課金の対象とされているにも拘わらず、未だに決済していないことを操作者に認識させることができる。上述したように、決済をした場合には、決済要求情報が記憶装置120に存在しないので、広告がLCD180に表示されることはない。
上述したステップS91の処理を実行したときには、図15と同様のステップS83〜S87及びステップS65〜S77、S88及びS89を実行する。
なお、上述したように、第3の決済の処理でも、映像を決済の対象としているので、ステップS88では、操作者が決済することを認めたときには、決済許可データと、ユーザIDと、映像識別コードとを、通信インターフェース140を介してサーバ(図示せず)に送信する。この映像識別コードは、操作者が決済しようとする映像を識別するための情報である。このように、第2の決済の処理では、映像識別コードをサーバに送信することで、キーコードが、サーバで生成されて、サーバから送信されて、真正キーコードと比較される。また、ステップS89では、キーコードが、真正キーコードと一致しなかったときには、映像の再生を中止する。
上述した第2の決済の処理(決済処理2)や第3の決済の処理(決済処理3)におけるタッチパネル130の接触回数は、広告料に応じて定めるのが好ましい。例えば、LCD180に表示できる広告ごとに、広告主から広告料を予め徴収するとともに、その広告料に応じて、タッチパネル130の接触回数を定める。このようにして定めた接触回数を、映像のデータとともに記憶装置120に記憶させておき、ステップS87の判断処理の「所定回数」として読み出して用いる。このようにすることで、広告料に応じて、無料で再生できる回数を定めることができる。
また、映像の再生について、決済をするまでは、広告主から徴収した広告料によって負担され、決済をしたときには、決済によって、操作者が負担することになる。
さらに、上述した例では、広告を映像や楽曲とは別個のものとして扱ったが、広告を1つの映像や楽曲として扱ってもよい。例えば、テレビコマーシャルのような映像と楽曲を、映像楽曲再生装置100に無料で配信して再生できるようにすることで、宣伝効果を上げることができるとともに、広告料に応じて、映像と楽曲を再生することができる回数を制限することによって、その映像の著作権を保護できる可能性も生ずる。
また、決済処理3でも、サーバから送信されたキーコードと、真正キーコードとを比較する場合を示したが、サーバからパスワードなどの解除情報が送信され、その解除情報を操作者がタッチパネル130から入力することで、楽曲の再生時間の制限を解除するようにしてもよい。この場合には、楽曲に対する決済の処理のための操作をタッチパネル130で行うと、パスワードなどの解除情報がサーバから送信されるようにし、操作者は、タッチパネル130を操作することで、サーバから送信された解除情報を入力する。タッチパネル130から解除情報が入力されたときには、映像楽曲再生装置100は、決済要求情報を削除することで、楽曲の再生時間の制限を解除する。
<<広告表示・非表示処理>>
図17は、広告表示・非表示処理をするサブルーチンを示すフローチャートである。なお、上述した第3の決済の処理(決済処理3)では、一種類の広告が表示される場合を示したが、複数種類の広告を表示できるようにしてもよい。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この広告表示・非表示処理が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図17は、広告表示・非表示処理をするサブルーチンを示すフローチャートである。なお、上述した第3の決済の処理(決済処理3)では、一種類の広告が表示される場合を示したが、複数種類の広告を表示できるようにしてもよい。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この広告表示・非表示処理が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
最初に、LCD180において、映像に再生に併せて、複数の広告を表示する(ステップS101)。なお、複数の広告は、LCD180に同時に表示するようにしても、時間的に重ならないように表示するようにしてもよい。これらの複数の広告は、各々が表示される位置と、その広告を識別するための識別番号との対応関係が、記憶装置120に予め記憶されており、LCD180に表示された広告の位置を指定することで、その位置に表示されている広告の識別番号を識別でき、LCD180に表示された広告の種類を特定することができる。
次いで、操作者がタッチパネル130に接触したか否かを判断する(ステップS103)。このタッチパネル130への接触は、表示されている広告を操作者が指定するための操作である。操作者がタッチパネル130に接触していないと判別したとき(NO)には、本サブルーチンを終了する。
一方、操作者がタッチパネル130に接触したと判別したとき(YES)には、操作者によって接触されたタッチパネル130の位置(領域)を取得し、記憶装置120に記憶されている対応関係を参照して、広告を識別するための識別番号を決定する(ステップS105)。次に、広告の識別番号ごとに、表示された広告の表示回数を積算し(ステップS107)。広告の識別番号と、表示された広告の表示回数とをサーバに送信し(ステップS109)、本サブルーチンを終了する。
このようにすることで、サーバは、広告の識別番号と、LCD180に表示された広告の表示回数とを受信し、広告ごとに、表示された広告の表示回数を集計することができる。さらに、データにおいて、集計した広告の表示回数に応じて広告料を演算して、その広告料を広告主から徴収できるとともに、映像楽曲再生装置100において、実際に、広告した回数を、具体的な数字として、広告主に報告できるシステムを構築することができ、様々な広告効果表示システムとしてサーバを利用することができる。
<<オブジェクト表示対応処理>>
映像に対応づけられた複数のオブジェクトをLCD180に表示し、操作者によってオブジェクトが指定されると、そのオブジェクトに対応づけられた映像を再生するようにしてもよい。
映像に対応づけられた複数のオブジェクトをLCD180に表示し、操作者によってオブジェクトが指定されると、そのオブジェクトに対応づけられた映像を再生するようにしてもよい。
本明細書において、オブジェクトとは、映像楽曲再生装置100のLCD180に映像が再生されたときに、所定の対象(物体や人物など)であると視認することができるものであり、予め映像として撮影されているものや、映像の再生と同時に重ねて表示されたり、付加して表示されたりするものも含む。特に、いわゆるアイコンなどのように、対応づけられた映像を示す内容を小さな画像で表現したものをオブジェクトとするものが好ましい。このようにすることで、操作者に再生すべき映像を明確に示すことができる。
図18は、オブジェクト表示対応処理のサブルーチンを示すフローチャートである。図19は、オブジェクト表示対応処理で用いるオブジェクト表示位置データの内容を示すテーブルである。図20は、オブジェクト表示対応処理を実行することによって、LCD180に表示される映像の例を示す図である。なお、このオブジェクト表示対応処理が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
上述したように、図18は、このオブジェクト表示対応処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。
図18に示したサブルーチンにおいて、最初に、オブジェクトがLCD180で再生されている否かを判断する(ステップS111)。オブジェクトがLCD180で再生されていないと判別したとき(NO)には、本サブルーチンを直ちに終了する。
一方、オブジェクトがLCD180で再生されていると判別したとき(YES)には、操作者がタッチパネル130に接触したか否かを判断する(ステップS113)。操作者がタッチパネル130に接触していないと判別したとき(NO)には、本サブルーチンを直ちに終了する。
一方、操作者がタッチパネル130に接触したと判別したとき(YES)には、操作者がタッチパネル130に接触したときの楽曲再生時刻を取得する(ステップS115)。この処理は、上述したタイマ150を、楽曲の再生と同時に起動し、タイマ150のタイマ値を計数することによって行うことができる。なお、このステップS115における処理は、楽曲の再生を開始したときから経過したタイミングを取得できればよいので、楽曲フレーム数を、楽曲の再生を開始したときから計数して取得するようにしてもよい。
次に、操作者がタッチパネル130に接触した位置をタッチパネル130の出力信号から取得して、後述する図19に示すオブジェクト表示位置データを参照して、操作者がタッチパネル130に接触した位置から、その位置に表示されているオブジェクトを取得する(ステップS117)。次いで、オブジェクト表示位置データを参照して、オブジェクトに対応づけられた映像の再生に切り替えて(ステップS119)、本サブルーチンを終了する。
図19は、オブジェクト表示対応処理で用いるオブジェクト表示位置データの内容を示すテーブルである。図19に示した例では、第1列にオブジェクトを示し、第2列にオブジェクトに対応づけられた映像を示し、第3列は、映像再生時刻を示し、第4列は、第3列に示した映像再生時刻におけるタッチパネル130でのオブジェクトの再生位置を示す。
図19のオブジェクト表示位置データに示すように、オブジェクトは、O1、O2などの複数のオブジェクトからなる。なお、図19に示したオブジェクト表示位置データでは、明瞭にするために、オブジェクトを識別するための識別情報として、O1、O2などの記号を用いたが、処理を容易にするために数値のみで識別情報を構成してもよい。
なお、図2(a)に示したようなLCD180とタッチパネル130とが一体に形成された態様の映像楽曲再生装置100の場合には、タッチパネル130におけるオブジェクトの再生位置と、LCD180におけるオブジェクトの再生位置とは一致するので、オブジェクト表示位置データの第4列に示したオブジェクトの再生位置は、LCD180におけるオブジェクトの再生位置でもよい。
また、上述したように、楽曲再生時刻を用いるのではなく、楽曲フレーム数を用いて、楽曲の再生を開始したときから経過したタイミングを判断してもよい。この楽曲フレーム数を用いる場合には、図19に示したオブジェクト表示位置データの第3列は、映像再生時刻ではなく、楽曲フレーム数にすればよい。
上述したステップS115の処理によって、取得した楽曲再生時刻を用いて、図19に示したオブジェクト表示位置データの第3列と第4列とを検索して、その楽曲再生時刻に対応するオブジェクトの再生位置が存在するものを選択し、ステップS117の処理によって、第1列を参照して、その再生位置に存在するオブジェクトを取得する。次に、ステップS119の処理によって、オブジェクト表示位置データの第3列を読み出して、取得したオブジェクトに対応づけられた映像を取得し、その映像の再生に切り替える。
例えば、図20に示したように、LCD180の全体では、映像Aが再生されている。さらに、LCD180には、LCD180の右側には、映像Aの前側に一人の人物が表示され、LCD180の左側には、映像Aの前側に一本の木が表示されている。図20に示した例では、人物の頭の領域が、オブジェクトO1に設定され、木の全体が、オブジェクトO2に設定されている。
したがって、図20に示すように、操作者がタッチパネル130に接触して、人物の頭の領域が接触されたときには、オブジェクトO1が選択されたことにより、オブジェクトO1に対応づけられた映像Cが再生される。また、操作者がタッチパネル130に接触して、木の領域が接触されたときには、オブジェクトO2が選択されたことにより、オブジェクトO2に対応づけられた映像Bが再生される。
図19に示したオブジェクト表示位置データを用いることで、楽曲再生時刻とともに、オブジェクトの位置も予め記憶させているので、オブジェクトが楽曲再生時刻とともに移動するような場合であっても、タッチパネル130に接触されたときの楽曲再生時刻におけるオブジェクトの位置を取得でき、オブジェクトに対応づけられた映像の再生に的確に切り替えることができる。
<<再生時間調整処理>>
操作者が所望する映像を映像楽曲再生装置100で再生する場合もある。しかしながら、この場合には、映像とともに再生する楽曲に併せるために、映像の再生時間を調整する必要がある。以下では、映像の再生時間を調整する処理について説明する。
操作者が所望する映像を映像楽曲再生装置100で再生する場合もある。しかしながら、この場合には、映像とともに再生する楽曲に併せるために、映像の再生時間を調整する必要がある。以下では、映像の再生時間を調整する処理について説明する。
図21は、再生時間調整処理のサブルーチンを示すフローチャートである。図22は、再生時間調整処理の具体例を示すタイムチャートである。
上述したように、図21は、この再生時間調整処理を実行するためのサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。なお、この再生時間調整処理が実行される映像楽曲再生装置100においても、上述した再生リンクデータが記憶装置120に記憶されており、再生リンクデータを参照することによって、楽曲を再生するときには、楽曲の再生に整合するように、映像を再生することができる。
図21に示した再生時間調整処理のサブルーチンにおいて、最初に、操作者が準備した映像データを、記憶装置120の作業用メモリに一時的に記憶させる(ステップS121)。
次に、操作者が準備した映像とともに再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いか否かを判断する(ステップS123)。操作者が準備した映像とともに再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いと判別したとき(YES)には、操作者が準備した映像の一部を選択すべきことをLCD180に表示する(ステップS125)。
次に、タッチパネル130の操作によって、操作者が準備した映像の一部の開始時刻が、入力されたか否かを判断する(ステップS127)。この開始時刻の入力は、操作者が準備した映像の再生時間の全体を示す長尺な画像をLCD180に表示し、その表示した画像の開始時刻に相当する箇所を、操作者がタッチパネル130を操作することによって行うことができる。ステップS127の判断処理で、開始時刻が、入力されていないと判別したとき(NO)には、ステップS127に処理を戻す。
一方、ステップS127の判断処理で、開始時刻が、入力されたと判別したとき(YES)には、タッチパネル130の操作によって、操作者が準備した映像の一部の終了時刻が、入力されたか否かを判断する(ステップS129)。この終了時刻の入力は、上述したステップS127の処理と同様に、操作者が準備した映像の再生時間の全体を示す長尺な画像をLCD180に表示し、その表示した画像の終了時刻に相当する箇所を、操作者がタッチパネル130を操作することによって入力することができる。ステップS129の判断処理で、終了時刻が、入力されていないと判別したとき(NO)には、ステップS129に処理を戻す。
上述したステップS127及びS129の処理において、操作者が準備した映像の再生時間の全体を示す長尺な画像をLCD180に表示し、その画像に対して開始時刻と終了時刻とを指定できるようにしたことにより、再生時間の全体と開始時刻と終了時刻とを視覚的に明瞭に示すことができ、操作者の操作を容易にすることができる。
一方、ステップS129の判断処理で、終了時刻が、入力されたと判別したとき(YES)には、ステップS127の処理で入力された開始時刻と、ステップS129の処理で入力された終了時刻との差の時間が、再生する楽曲の再生時間以下であるか否かを判断する(ステップS131)。開始時刻と終了時刻との差の時間が、再生する楽曲の再生時間より長いと判別したとき(NO)には、上述したステップS127に処理を戻す。
一方、開始時刻と終了時刻との差の時間が、再生する楽曲の再生時間以下であると判別したとき(YES)には、操作者が準備した映像の映像データのうち、開始時刻から終了時刻までのデータを切り取る(ステップS133)。この処理によって、操作者が準備した映像のうちの、開始時刻t5s(図22(a)参照)から終了時刻t5e(図22(a)参照)までの映像の映像データが切り取ることができる。
次に、ステップS133の処理で切り取った映像データを、記憶装置120の映像データ用メモリに記憶し(ステップS135)、本サブルーチンを終了する。
上述したステップS123〜S135の処理を実行することによって、再生する楽曲の再生時間よりも、操作者が準備した映像の再生時間が長いような場合にも、再生する楽曲の再生時間に適合するように映像の再生時間を調整することができる。
例えば、図22(a)に示すように、再生する楽曲の再生時間TPBよりも、操作者が準備した映像の再生時間が長い場合には、操作者が準備した映像のうち、開始時刻t5sと終了時刻t5eとを指定することによって、開始時刻t5sから終了時刻t5eまでのデータを切り取り、操作者が準備した映像の再生時間を、再生する楽曲の再生時間TPBと同じ再生時間(t5e−t5s)にすることができる(図22(b)参照)。切り取った映像の再生開始時刻t0は、切り取る前の映像の開始時刻t5sに対応し、再生終了時刻TPBは、切り取る前の映像の開始時刻t5eに対応する。このようにすることで、切り取った映像の再生開始時刻t0から再生を開始し、再生終了時刻TPBで再生を終了することにより、楽曲の再生の開始及び終了と一致させることができる。このため、切り取る前の映像の開始時刻t5sから再生を開始し終了時刻t5eで再生を終了するのと同じように、映像の再生をすることができる。
上述したステップS123の判断処理で、操作者が準備した映像の再生時間が、楽曲の再生時間以下であると判別したとき(NO)には、操作者が準備した映像で確定するか否かを判断する(ステップS137)。この判断は、楽曲の再生に併せて再生する映像を少なくとも1つ既に決定しているが、映像の再生時間が楽曲の再生時間よりも短く、映像の再生処理に時間的な余裕が生ずるため、再生する映像をさらに追加するか否かを決定するためのものである。以下では、楽曲の再生に併せて再生することを決定した映像を第1の映像と称する。また、さらに追加する映像を第2の映像と称する。したがって、ステップS137の判断処理は、具体的には、楽曲の再生に併せて、まず、第1の映像を再生し、その後に、第2の映像を再生するように、第2の映像を追加するか否かを判断するためのものである。
より具体的には、楽曲の再生に併せて再生する映像として、第2の映像を追加した第1の映像と第2の映像との双方を再生する意思があるか否かを操作者に確認させるための処理を実行する。例えば、追加する第2の映像があるか否かの旨をLCD180に表示し、タッチパネル130を操作者に操作させることで、追加する第2の映像があること、又は追加する第2の映像がないことを操作者に選択させる。「追加する映像があること」を操作者が選択したときには、ステップS137の判断処理では、「YES」であると判別し、「追加する映像がないこと」を操作者が選択したときには、ステップS137の判断処理では、「NO」であると判別する。
ステップS137の判断処理で、操作者が準備した映像で確定すると判別したとき(NO)、すなわち、「追加する映像がないこと」を操作者が選択して、第2の映像を追加せずに、第1の映像のみにしたときには、本サブルーチンを直ちに終了する。
一方、ステップS137の判断処理で、操作者が準備した映像で確定しないと判別したとき(YES)、すなわち、「追加する映像があること」を操作者が選択して、第1の映像だけでなく、第2の映像を追加するときには、さらに、操作者が新たに準備した映像(第2の映像)の映像データを、記憶装置120の映像データ用メモリに記憶させ(ステップS139)、残りの再生時間を算出してLCD180に表示する(ステップS141)。ここで、残りの再生時間とは、第1の映像の再生時間(t5e−t5s)と、第2の映像の再生時間との和を、楽曲の再生時間から減じた時間である。
次に、ステップS141の処理によって算出した残りの再生時間に応じて、第2の映像を使うことができるか否かを判断する(ステップS143)。例えば、ステップS141の処理で算出した残りの再生時間がゼロ以上であるときには、第2の映像を使うことができると判別し、残りの再生時間が負であるときには、第2の映像を使うことができないと判別する。
上述したステップS143の判断処理で、第2の映像を使うことができると判別したとき(YES)には、さらに、新たな映像(第3の映像)を追加するために、ステップS121に処理を戻す。この場合には、ステップS139の処理で、既に、第2の映像の映像データを、記憶装置120の映像データ用メモリに記憶させているので、その映像データを読み出すことで、第2の映像を再生することができる。
一方、上述したステップS143の判断処理で、第2の映像を使うことができると判別したとき(NO)には、直ちに本サブルーチンを終了する。
上述した処理では、第2の映像のデータについては、所定の範囲を切り出す処理を示さなかったが、第2の映像のデータについても、第1の映像のデータと同様に、開始時刻と終了時刻とを定めて、開始時刻から終了時刻までのデータを切り出して用いるようにしてもよい。このようにすることで、第2の映像についても再生時間を調整することができ、楽曲の再生時間に整合させて、第1の映像を再生した後に、第2の映像を再生するようにできる。
このように、再生時間調整処理を実行することによって、操作者が所望する映像の映像データを操作者の操作に応じて編集することができるので、購入した映像データのみならず、操作者が撮影して準備した映像データも、楽曲の再生に併せて再生できるように、映像楽曲再生装置100での再生の対象にすることができる。
また、上述した例では、操作者が準備した映像データのうち、連続した一箇所のデータのみを切り出して、切り出した映像データを楽曲の再生開始と再生終了とに対応づけた場合を示したが、操作者が準備した映像データのうち、複数の箇所を切り出して、それらを、操作者の所望する順番に連結し、連結して生成した映像データを楽曲の再生開始と再生終了とに対応づけるような編集ができるようにしてもよい。このようにすることで、楽曲と映像との整合性を高めて再生することができる。
さらに、映像データの編集のみならず、再生リンクデータの編集もできるようにするのが好ましい。例えば、操作者が準備した映像データから複数の箇所を切り出し、それらを連結して生成した映像データの場合に、連結した再生位置に対応するように、再生リンクデータを生成して、楽曲データに対応づけるようにする。このようにすることで、連結して生成した映像データと他の映像データとを切り替えて再生するような場合でも、楽曲と映像との整合性を高めて再生することができる。
<<映像再生切り替え処理3>>
図23は、映像再生切り替え処理3のサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。
図23は、映像再生切り替え処理3のサブルーチンを示すフローチャートである。このサブルーチンも、映像楽曲再生装置100のCPU110の演算機能などの各種の機能によって、所定のタイミングでメインルーチン(図示せず)から呼び出されて実行される。
最初に、操作者がタッチパネル130に接触したか否かを判断する(ステップS151)。操作者がタッチパネル130に接触していないと判別したとき(NO)には、直ちに、本サブルーチンを終了する。
一方、操作者がタッチパネル130に接触したと判別したとき(YES)には、予め定められた再生リンクデータ(図示せず)を読み込む(ステップS153)。次いで、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在するか否かを判断する(ステップS155)。楽曲再生時刻は、楽曲の再生が開始されたときを基準にして、タイマ150を起動して計時した時刻である。現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在しないと判別したとき(NO)には、直ちに、本サブルーチンを終了する。
一方、現在の楽曲再生時刻よりも後の時刻に再生リンクデータが存在すると判別したとき(YES)には、映像の再生を切り替えるタイミングであるか否かを判断する(ステップS157)。映像の再生を切り替えるタイミングでないと判別したとき(NO)には、切り替える映像のデータが存在するか否かを判断する(ステップS159)。この判断は、切り替える映像のデータが記憶装置120に既に記憶されているか否かを判断するものである。切り替える映像のデータが存在すると判別したとき(YES)には、上述したステップS157に処理を戻す。
一方、切り替える映像のデータが存在しないと判別したとき(NO)には、通信インターフェースを介して、切り替える映像のデータをサーバからダウンロードし(ステップS161)、ダウンロードした映像のデータを記憶装置120に記憶させ(ステップS163)、上述したステップS157に処理を戻す。
このように、切り替えて再生しようとする映像の映像データが記憶装置120に存在しない場合であっても、その映像データを予めサーバからダウンロードするので、迅速に映像データを取得でき、映像を再生するタイミングに合わせて再生でき、円滑に映像を再生することができる。このように、映像の再生を切り替えるよりも前に予めサーバからダウンロードするので、処理が遅延することなく、円滑に切り替えることができる。
上述したステップS157の判断処理で、映像の再生を切り替えるタイミングであると判別したとき(YES)には、再生リンクデータが示す映像データを読み込み(ステップS165)、再生リンクデータが示す映像とその再生位置からの再生に切り替え(ステップS167)、元々再生していた映像の映像データの記憶装置120からの読み出しを中断し(ステップS169)、本サブルーチンを終了する。
通信回線を介して通信可能に接続されたサーバに予め記憶されている映像データを、必要に応じて、ダウンロードして映像楽曲再生装置100のLCD180で再生するものである。このようにすることで、記憶装置120の容量が小さいような場合であっても、その時点で必要となる映像データのみを記憶装置120に記憶させて、複数の映像を切り替えて再生することができる。また、記憶装置120に記憶されていない映像データの映像であっても、操作者が所望すれば、迅速に入手して再生することができる。
上述した例では、映像楽曲再生装置100で映像や楽曲をダウンロード再生する場合を示したが、ストリーミング再生するようにしてもよい。なお、本明細書では、ダウンロード再生とは、映像データや楽曲データの全体をダウンロードした後に、再生を開始するものである。このようにすることで、通信状態によることなく円滑に映像や楽曲を再生することができる。一方、ストリーミング再生とは、映像データや楽曲データをダウンロードするのと同時に再生をすることを意味する。このようにすることで、映像データや楽曲データの全体をダウンロードまでの待ち時間を短縮することができる。
映像データをストリーミング再生した後に、その映像データを正式に記憶装置120に記憶させるか否かを、操作者に判断させるようにしてもよい。正式に記憶装置120に記憶させるときには、課金され、課金に対して所定の金額を支払ったときに、ストリーミング再生した映像データを正式に記憶装置120に記憶できるようにする。この場合には、課金に対して支払ったことを示す情報をサーバ側で記憶するようにするのが好ましい。このようにすることで、操作者が誤って映像楽曲再生装置100から映像データを消去したような場合であっても、新たに課金されることなく、改めて映像データをダウンロードできるように処理することができる。
一方、課金に対して支払いを拒否したときには、ストリーミング再生した映像データを映像楽曲再生装置100から消去する。特に、この場合には、ストリーミング再生した映像データを一時的に保存していた領域に、ゼロを書き込む処理(ゼロクリア)や、乱数を書き込む処理をするようにすることで、映像楽曲再生装置100で映像データを復活させて不正に再生できないようにできる。
このようにすることで、映像データが記憶装置120に不正に記憶されることを防止することができるとともに、操作者が真に所望する映像であるか否かを判断させることができ、操作者が真に所望する映像データのみを操作者の手元に残すようにできるので、操作者にとって経済的になる。
<<映像再生切り替え処理4>>
図24は、映像再生切り替え処理4の具体例を示すタイムチャートである。この図24のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、4つの映像A、B、C及びDの映像データが、4つの作業用バッファ172A〜Dに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A6、B6、C6及びD6で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
図24は、映像再生切り替え処理4の具体例を示すタイムチャートである。この図24のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、4つの映像A、B、C及びDの映像データが、4つの作業用バッファ172A〜Dに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A6、B6、C6及びD6で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
楽曲再生時刻t0で楽曲の再生が開始されて、楽曲再生時刻tendで楽曲の再生が終了する。このように、映像再生切り替え処理4においても、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻t0で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻tendで、楽曲データの最後尾のデータを用いて再生を終了する。
図24に示すように、楽曲再生時刻t0で、楽曲の再生が開始される。上述したように、映像再生切り替え処理4では、楽曲を再生している時間にわたって、4つの映像A、B、C及びDの映像データが、常に、記憶装置120から読み出されて、4つの作業用バッファ172A〜Dに展開されて更新されている。このため、図24に示すように、楽曲再生時刻t0で、楽曲の再生が開始されるとともに、4つの映像A、B、C及びDの映像データも、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とが開始される。なお、図24に示した映像再生切り替え処理4においては、楽曲再生時刻t0で、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とを開始しているが、楽曲再生時刻t0においては、4つの作業用バッファ172A〜Dのうちの作業用バッファ172Aが選択されて、LCD180で映像Aが映像再生時刻t0から再生される。
また、この映像再生切り替え処理4においても、4つの映像A、B、C及びDの再生時間は、楽曲の再生時間と一致するように、4つの映像A、B、C及びDの映像データは、予め調整されて、記憶装置120に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像A、B、C又はDのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
なお、上述したように、4つの映像A、B、C及びDの再生時間が、楽曲の再生時間と一致するように、予め調整されているが、後述するように、この映像再生切り替え処理4では、映像を再生する再生位置を過去の再生位置に戻す場合があり、過去の再生位置に戻した場合には、映像の再生時間は、楽曲の再生時間と一致しない場合が生ずる。また、以下の説明では、楽曲や映像の再生位置として、主として、楽曲再生時刻や映像再生時刻を用いて説明するが、再生位置として、楽曲フレーム数や映像フレーム数を用いてもよい。
まず、楽曲再生時刻t61(楽曲フレーム数f61)に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図24参照)、楽曲再生時刻t61や楽曲フレーム数f61に至ったときに、映像Aから映像Bに切り替え(図24の矢印A6参照)、映像Bの映像再生時刻t61や映像フレーム数f61から再生する。なお、楽曲再生時刻t61や楽曲フレーム数f61に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Aを継続して再生する。
次に、映像Bを再生しているときに、楽曲再生時刻t63や楽曲フレーム数f63に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図24参照)、楽曲再生時刻t63や楽曲フレーム数f63に至ったときに、映像Bから映像Cに切り替え(図24の矢印B6参照)、映像Cの映像再生時刻t63や映像フレーム数f63から再生する。なお、楽曲再生時刻t63や楽曲フレーム数f63に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Bを継続して再生する。
さらに、映像Cを再生しているときに、楽曲再生時刻t64や楽曲フレーム数f64に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には、楽曲再生時刻t64や楽曲フレーム数f64に至ったときに、映像Cから映像Dに切り替え(図24の矢印C6参照)、映像Dの映像再生時刻t64や映像フレーム数f64から再生し、最終的に、映像Dを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至ったときには、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Dを再生も終了する。
一方、楽曲再生時刻t64や楽曲フレーム数f64に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Cを継続して再生する。映像Cを継続して再生しているときに、楽曲再生時刻t65や楽曲フレーム数f65に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には、楽曲再生時刻t65や楽曲フレーム数f65に至ったときに、映像Cから映像Bに切り替え(図24の矢印D6参照)、映像Bの映像再生時刻t62や映像フレーム数f62から再生する。なお、楽曲再生時刻t65や楽曲フレーム数f65に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Cを継続して再生し、最終的に、映像Cを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Cを再生も終了する。
上述したように、映像再生切り替え処理4では、楽曲再生時刻t65や楽曲フレーム数f65に至ったときに、映像Cから映像Bに切り替える場合には(図4の矢印D6参照)、映像Bの映像再生時刻t62や映像フレーム数f62に戻って、映像Bの映像再生時刻t62や映像フレーム数f62から再生する。このように、楽曲再生時刻t65や楽曲フレーム数f65で、映像Cから映像Bに切り替える場合には、映像Bの映像再生時刻t62や映像フレーム数f62のように、過去の映像の再生位置にまで戻って再生する。なお、映像Bについて、映像再生時刻t62や映像フレーム数f62にまで戻って再生された場合であっても、楽曲については、楽曲再生時刻t65や楽曲フレーム数f65の後も、tendやfendに至るまで、楽曲データの全てを再生し、tendやfendに至ったときに、楽曲の再生を終了する。この楽曲の再生の終了とともに、映像Bの再生も終了する。
この映像再生切り替え処理4においても、再生リンクデータ(図示せず)を参照しつつ、楽曲の再生と映像の再生との整合を図っている。特に、映像再生切り替え処理4では、上述したように、映像Bについては、楽曲再生時刻t65や楽曲フレーム数f65のときに、映像再生時刻t62や映像フレーム数f62にまで戻って再生するので、楽曲再生時刻t65や楽曲フレーム数f65の時点で、映像再生時刻t65や映像フレーム数f65の時点の映像Cの内容と、映像再生時刻t62や映像フレーム数f62の時点の映像Bの内容とが整合するように、再生リンクデータを予め定めておく必要がある。このように再生リンクデータを定めることで、楽曲再生時刻t65や楽曲フレーム数f65のときに、映像再生時刻t62や映像フレーム数f62にまで戻って映像Bを再生するようにしても、楽曲の再生に整合させて映像Bを再生することができる。
<<映像再生切り替え処理5>>
図25は、映像再生切り替え処理5の具体例を示すタイムチャートである。この図25のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、4つの映像A、B、C及びDの映像データが、4つの作業用バッファ172A〜Dに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A7、B7、C7及びD7で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
図25は、映像再生切り替え処理5の具体例を示すタイムチャートである。この図25のタイムチャートにおいても、映像が実際に再生されている状態の箇所を、下向きに伸びる太実線の矢印で示し、実際に映像が再生されてはいないが、4つの映像A、B、C及びDの映像データが、4つの作業用バッファ172A〜Dに展開されて更新されている状態の箇所を、下向きに伸びる太破線の矢印で示した。また、映像を切り替える箇所を、水平方向に伸びる細線の矢印A7、B7、C7及びD7で示した。なお、楽曲が再生されている状態は、下向きに伸びる細実線の矢印で示した。
上述した図4、図8、図11、図14又は図24のタイムチャートでは、タッチパネル130への接触(タッチ)を契機にして、再生リンクデータによって予め定められた順序(映像A→映像B→映像Cなどの)で、他の映像に切り替えて再生するようにしていた。しかし、この図25に示したタイムチャートでは、楽曲再生時刻t73よりも以前に、タッチパネル130への接触を検知したときには、映像Cに切り替える場合、又は映像Cと異なる映像Dに切り替える場合が発生するように構成している点を特に特徴としている。すなわち、図24に示したタイムチャートのように、タッチパネル130への接触を契機にして、単に映像Cに切り替えて再生するだけでなく、同じ楽曲再生時刻t73でタッチパネル130に接触しても、映像Cとは異なる映像Dに切り替えて再生される場合がある。
図25に示すように、特に、楽曲再生時刻t73では、映像Bが再生されているが、この映像Bが再生されているときに、タッチパネル130に接触する位置や領域によって異なる映像に切り替えて再生するものが好ましい。例えば、図26に示したように、LCD180に人物と木とが表示されているようにし、人物の頭の画像の領域(オブジェクトO1)に接触したときには、映像Cに切り替えて再生し、木の画像の領域(オブジェクトO2)に接触したときには、映像Dに切り替えて再生するようにする。このようにすることで、タッチパネル130に接触する位置や領域に応じて、再生する映像を異ならしめることができ、
図25に示したようなタイムチャートのようにすることで、ある一定の楽曲再生時刻、例えば、楽曲再生時刻t73で、一つの映像Bから、各種の異なる映像に分岐させて再生することができるので、切り替える操作をしても同じ映像が常に再生されてしまうことを防止して、バラエティに飛んだ映像の視聴が可能となり、飽きられにくいというメリットを享受できる可能性がある。
まず、楽曲の再生については、図25に示すように、楽曲再生時刻t0で楽曲の再生が開始されて、楽曲再生時刻tendで楽曲の再生が終了する。このように、映像再生切り替え処理5においても、再生の時刻や時間の判断基準は、楽曲の再生時刻を用いて行われる。なお、楽曲の再生は、楽曲再生時刻t0で、楽曲データの先頭のデータを用いて再生を開始し、楽曲再生時刻tendで、楽曲データの最後尾のデータを用いて再生を終了する。
図25に示すように、楽曲再生時刻t0で、楽曲の再生が開始される。上述したように、映像再生切り替え処理5では、楽曲を再生している時間にわたって、4つの映像A、B、C及びDの映像データが、常に、記憶装置120から読み出されて、4つの作業用バッファ172A〜Dに展開されて更新されている。このため、図25に示すように、楽曲再生時刻t0で、楽曲の再生が開始されるとともに、4つの映像A、B、C及びDの映像データも、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とが開始される。なお、図25に示した映像再生切り替え処理5においては、楽曲再生時刻t0で、記憶装置120からの読み出しと4つの作業用バッファ172A〜Dにおける更新とを開始しているが、楽曲再生時刻t0においては、4つの作業用バッファ172A〜Dのうちの作業用バッファ172Aが選択されて、LCD180で映像Aが映像再生時刻t0から再生される。
また、この映像再生切り替え処理5においても、4つの映像A、B、C及びDの再生時間は、楽曲の再生時間と一致するように、4つの映像A、B、C及びDの映像データは、予め調整されて、記憶装置120に記憶されているものとする。特に、楽曲の再生が終了するとともに、映像の内容も終わるように映像データを編集して調整したものが好ましい。例えば、映像データの途中の少なくとも一箇所を削除して映像の再生時間を短くすることで、映像の再生時間が楽曲の再生時間と一致するようにすればよい。このように、調整した映像データを記憶させて再生することで、映像A、B、C又はDのいずれで終了するような場合であっても、楽曲の再生の終了とともに、映像の内容も終わるように映像を再生することができ、楽曲の内容と映像の内容とを整合させて終了させることができる。
なお、上述したように、4つの映像A、B、C及びDの再生時間が、楽曲の再生時間と一致するように、予め調整されているが、この映像再生切り替え処理5でも、映像を再生する再生位置を過去の再生位置に戻す場合があり、過去の再生位置に戻した場合には、映像の再生時間は、楽曲の再生時間と一致しない場合が生ずる。また、以下の説明では、楽曲や映像の再生位置として、主として、楽曲再生時刻や映像再生時刻を用いて説明するが、再生位置として、楽曲フレーム数や映像フレーム数を用いてもよい。
まず、楽曲再生時刻t71(楽曲フレーム数f71)に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図25参照)、楽曲再生時刻t71や楽曲フレーム数f71に至ったときに、映像Aから映像Bに切り替え(図25の矢印A7及び図27の再生リンクデータ参照)、映像Bの映像再生時刻t71や映像フレーム数f71から再生する。なお、楽曲再生時刻t71や楽曲フレーム数f71に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像AをLCD180で継続して再生する。
次に、図20に示すような映像Bを再生しているときに、楽曲再生時刻t73や楽曲フレーム数f73に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には(図25参照)、以下のように処理される。
楽曲再生時刻t73や楽曲フレーム数f73に至るよりも以前の時点で、タッチパネル130の領域のうち、位置(X1、Y1)に操作者が接触したときには、図27に示す再生リンクデータを参照して、位置(X1、Y1)に表示されている画像が、オブジェクトO1であることを取得する。さらに、図27に示す再生リンクデータを参照して、オブジェクトO1には、映像Cの映像再生時刻t73にリンクしていることを取得する。したがって、操作者が、タッチパネル130の領域のうちの位置(X1、Y1)に接触した場合には、映像Bから映像Cに切り替えて(図25の矢印B7及び図27の再生リンクデータ参照)、映像Cの映像再生時刻t73から再生する。
同様に、楽曲再生時刻t73や楽曲フレーム数f73に至るよりも以前の時点で、タッチパネル130の領域のうち、位置(X2、Y2)に操作者が接触したときには、図27に示す再生リンクデータを参照して、位置(X2、Y2)に表示されている画像が、オブジェクトO2であることを取得する。さらに、図27に示す再生リンクデータを参照して、オブジェクトO2には、映像Dの映像再生時刻t73にリンクしていることを取得する。したがって、操作者が、タッチパネル130の領域のうちの位置(X2、Y2)に接触した場合には、映像Bから映像Dに切り替えて(図25の矢印D7及び図27の再生リンクデータ参照)、映像Dの映像再生時刻t73から再生する。
なお、図27に示した再生リンクデータは、簡略のために、楽曲再生時刻t73の時点におけるオブジェクトO1の位置(X1、Y1)とオブジェクトO2の位置(X2、Y2)とのみを示したが、楽曲再生時刻t73や楽曲フレーム数f73以外の時点の複数の楽曲再生時刻におけるオブジェクトO1の位置とオブジェクトO2の位置を細かく定めて再生リンクデータとするのが好ましい。このようにすることで、オブジェクトO1やオブジェクトO2が、楽曲再生時刻が進むに従って移動するような態様でLCD180に表示されるような場合であっても、オブジェクトO1やオブジェクトO2の位置を的確に判断することができ、オブジェクトの種類に応じて切り替えるべき映像を的確に決定することができる。
また、図27に示した再生リンクデータは、再生位置として、楽曲再生時刻や映像再生時刻のみを用いたが、上述したように、再生位置として、楽曲フレームや映像フレームを用いて再生リンクデータを定めてもよい。
なお、楽曲再生時刻t73や楽曲フレーム数f73に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像BをLCD180で継続して再生する。
上述した矢印B7に従って映像Cに切り替えて、楽曲再生時刻t73や楽曲フレーム数f73から、映像Cを再生しているときに、楽曲再生時刻t74や楽曲フレーム数f74に至るよりも以前の時点で、操作者がタッチパネル130に接触して操作した場合には、楽曲再生時刻t74や楽曲フレーム数f74に至ったときに、映像Cから映像Bに切り替え(図25の矢印C7及び図27の再生リンクデータ参照)、映像Bの映像再生時刻t74や映像フレーム数f74から再生し、最終的に、映像Bを再生しているときに、楽曲再生時刻tendや楽曲フレーム数fendに至った場合には、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Bを再生も終了する。一方、楽曲再生時刻t74や楽曲フレーム数f74に至るよりも前の時点で、操作者がタッチパネル130に接触して操作しなかった場合には、映像Cを継続して再生する。
上述した矢印D7に従って映像Dに切り替えて、楽曲再生時刻t73や楽曲フレーム数f73から、映像Dを再生した場合には、最終的に、楽曲再生時刻tendや楽曲フレーム数fendに至ったときに、楽曲データの全てを再生し終わることによって、楽曲の再生を終了するとともに、映像Dの再生も終了する。
なお、上述した図25に示したタイムチャートでは、LCD180に表示されているオブジェトのうち、操作者が指定したオブジェトに応じて、切り替える映像を決定したが、切り替えるべき映像を、抽籤処理によって定めたり、これまでに再生された映像の履歴に応じて決定したり、これまでに操作者(ユーザ)がタッチパネル130に接触した回数の履歴に応じて決定したりしてもよい。
例えば、抽籤処理によって定める場合には、乱数を発生させて、その乱数の値に応じて切り替えるべき映像を決定すればよい。また、再生された映像の履歴を用いる処理は、再生された映像ごとに再生された回数を、再生されるたびに計数し、計数した回数を記憶装置120に記憶させておき、その記憶装置120から読み出した回数の値に応じて、切り替えるべき映像を決定すればよい。さらに、タッチパネル130に接触した回数の履歴を用いる処理は、接触に応じて再生された映像ごとにタッチパネル130に接触した回数を、接触されるたびに計数し、計数した回数を記憶装置120に記憶させておき、その記憶装置120から読み出した回数の値に応じて、切り替えるべき映像を決定すればよい。特に、再生された回数の履歴や、接触した回数の履歴に応じて、切り替えるべき映像を決定する処理においては、履歴の回数が所定の回数以上になったときに、再生が許可されるような映像を含めるようにしてもよい。このようにすることで、その映像を再生できるようにするために、他の映像、例えば広告の映像を繰り返し再生する必要があるため、広告効果を高める可能性が生じさせるとともに、その代償として映像を再生可能にすることができる。
これまでに再生された映像の履歴に応じて決定することで、再生された回数が少ないものを優先して切り替えて再生することで、新鮮味を操作者に感じさせて映像を再生することができる一方、再生された回数が多いものを、操作者の好みの映像として、優先して切り替えて再生することで、安心感を操作者に感じさせて映像を再生することができる。
<<ゲームの実行処理>>
上述した楽曲を再生しているときに、再生している楽曲に整合させて、映像を切り替えて再生する処理を、ゲームを実行する処理として用いることもできる。上述した図20や図26では、映像の再生とともにオブジェクトの画像を表示し、オブジェクトの画像の領域に操作者(ユーザ)が接触したことに応じて、他の映像に切り替えて再生するものであった。このようなオブジェクトの画像の代わりに、操作者に処理を選択させるためのボタンやスイッチを示す画像をオブジェクトの画像として表示し、そのボタンやスイッチを示す画像に接触(タッチパネル130への接触)することで、この操作者の接触に応じて処理を分岐させることができる。例えば、「はい」や「YES」というボタンの画像と、「いいえ」や「NO」というボタンの画像とをLCD180に表示し、その画像が表示されている領域を操作者に接触(タッチパネル130への接触)させることで、「はい」や「YES」に応じた処理を実行させたり、「いいえ」や「NO」に応じた処理を実行させたりすることができる。
上述した楽曲を再生しているときに、再生している楽曲に整合させて、映像を切り替えて再生する処理を、ゲームを実行する処理として用いることもできる。上述した図20や図26では、映像の再生とともにオブジェクトの画像を表示し、オブジェクトの画像の領域に操作者(ユーザ)が接触したことに応じて、他の映像に切り替えて再生するものであった。このようなオブジェクトの画像の代わりに、操作者に処理を選択させるためのボタンやスイッチを示す画像をオブジェクトの画像として表示し、そのボタンやスイッチを示す画像に接触(タッチパネル130への接触)することで、この操作者の接触に応じて処理を分岐させることができる。例えば、「はい」や「YES」というボタンの画像と、「いいえ」や「NO」というボタンの画像とをLCD180に表示し、その画像が表示されている領域を操作者に接触(タッチパネル130への接触)させることで、「はい」や「YES」に応じた処理を実行させたり、「いいえ」や「NO」に応じた処理を実行させたりすることができる。
上述したような処理をすることによって、BGM(バックグラウンドミュージック)としてのゲームの楽曲を再生しているときに、この再生している楽曲に整合させて、ゲームの映像を切り替えて再生することができる。さらに、このゲームの映像の切り替えを、操作者の操作に応じて選択させることができるので、対話型のゲームなどのインタラクティブ性(双方向性)を上げることができるともに、選択するための文字を表示するので、処理の内容を操作者(ユーザ)に分かりやすく明示することもできる。
なお、上述した図20や図26で用いたオブジェクトの画像や、「はい」や「YES」というボタンの画像や、「いいえ」や「NO」というボタンの画像は、図1に示した「画像データ」として記憶装置120に記憶されている。また、オブジェクトの画像に操作者が接触することに応じて処理を分岐させることができる処理は、図1に示した「画像オブジェクト表示プログラム」として記憶装置120に記憶されている。
100 映像楽曲再生装置
110 CPU
120 記憶装置
130 タッチパネル
140 通信インターフェース
150 タイマ
110 CPU
120 記憶装置
130 タッチパネル
140 通信インターフェース
150 タイマ
Claims (30)
- (a) 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第1の映像を再生する処理と、
(b) 前記第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第1の映像データとは異なる第2の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
(c) 前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記(b)の処理によって決定された再生開始位置から前記第2の映像データの再生を開始し、前記第1の映像データを用いた映像の再生状態から、前記第2の映像データを用いた映像の再生状態に切り替える処理と、
をコンピュータで実行させることを特徴とする楽曲映像再生プログラム。 - (d) 前記第2の映像データを用いた映像の再生が終了した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項1に記載の楽曲映像再生プログラム。
- (e) 前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項1又は2に記載の楽曲映像再生プログラム。
- 前記記憶部は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第2の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶し、
(f) 前記第2の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
(g) 前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのIDコードと、楽曲コンテンツの識別コードとを送信する処理と、
(h) 送信された前記決済許可データと前記ユーザのIDコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
(i) 受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
(j) 受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第2の映像データを用いた映像を継続的に再生する処理と、
をコンピュータで実行させることを特徴とする請求項3に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
(k) 前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する処理を、コンピュータで実行させることを特徴とする請求項1又は2に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
(l) 前記第1の映像データを用いた映像の再生や、前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
(m) 前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する処理と、
をコンピュータで実行させることを特徴とする請求項5に記載の楽曲映像再生プログラム。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
(n) 前記第1の映像データを用いた映像の再生、又は前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
(o) 前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する処理と、
をコンピュータで実行させることを特徴とする請求項5に記載の楽曲映像再生プログラム。 - 前記映像には、前記ディスプレイに表示可能な少なくとも1つのオブジェクトが含まれており、
前記記憶部は、前記少なくとも1つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を記憶し、
(p) 前記少なくとも1つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも1つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える処理を、コンピュータで実行させることを特徴とする請求項1ないし7のいずれかに記載の楽曲映像再生プログラム。 - (q) 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する処理と、
(r) 選択された映像データを前記記憶部に記憶させる処理と、
をコンピュータで実行させることを特徴とする請求項1ないし8のいずれかに記載の楽曲映像再生プログラム。 - 前記複数のパターンの映像のうちの少なくとも1つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
(s) 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードする処理と、
(t) ダウンロードした映像データを前記ディスプレイで再生する処理と、
をコンピュータで実行させることを特徴とする請求項1ないし9のいずれかに記載の楽曲映像再生プログラム。 - 楽曲と映像とが再生される楽曲映像再生手段であって、
一つの楽曲を再生するための楽曲データと、前記一つの楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部と、
前記映像が再生されるディスプレイからなる映像再生部と、
前記楽曲が再生されるスピーカからなる楽曲再生部と、
外部から接触されたことを検知する接触センサ部と、
前記複数のパターンの映像から選択された映像を再生するとともに、前記楽曲を再生するCPUと、を有し
前記CPUは、
(a) 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータが記憶された記憶部に記憶された前記楽曲コンテンツデータを読み出し、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第1の映像を再生する処理と、
(b) 前記第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第1の映像データとは異なる第2の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する処理と、
(c) 前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記(b)の処理によって決定された再生開始位置から前記第2の映像データの再生を開始し、前記第1の映像データを用いた映像の再生状態から、前記第2の映像データを用いた映像の再生状態に切り替える処理と、を実行することを特徴とする楽曲映像再生手段。 - 前記CPUは、
(d) 前記第2の映像データを用いた映像の再生が終了した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を実行することを特徴とする請求項11に記載の楽曲映像再生手段。 - 前記CPUは、
(e) 前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第1の映像データを用いた映像の再生に切り替える処理を実行することを特徴とする請求項11又は12に記載の楽曲映像再生手段。 - 前記記憶部は、
前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、
前記第2の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶し、
前記CPUは、
(f) 前記第2の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する処理と、
(g) 前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのIDコードと、楽曲コンテンツの識別コードとを送信する処理と、
(h) 送信された前記決済許可データと前記ユーザのIDコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する処理と、
(i) 受信したキーコードが前記真性キーコードと一致するかどうかを判断する処理と、
(j) 受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第2の映像データを用いた映像を継続的に再生する処理と、
を実行することを特徴とする請求項13に記載の楽曲映像再生手段。 - 前記記憶部は、前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を記憶し、
前記CPUは、
(k) 前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する処理を、実行することを特徴とする請求項11又は12に記載の楽曲映像再生手段。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を記憶し、
前記CPUは、
(l) 前記第1の映像データを用いた映像の再生や、前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
(m) 前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する処理と、
を実行することを特徴とする請求項15に記載の楽曲映像再生手段。 - 前記記憶部は、前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を記憶し、
前記CPUは、
(n) 前記第1の映像データを用いた映像の再生、又は前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する処理と、
(o) 前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する処理と、
を実行することを特徴とする請求項15に記載の楽曲映像再生手段。 - 前記映像には、前記ディスプレイに表示可能な少なくとも1つのオブジェクトが含まれており、
前記記憶部は、前記少なくとも1つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を記憶し、
前記CPUは、
(p) 前記少なくとも1つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも1つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える処理を実行することを特徴とする請求項11ないし17のいずれかに記載の楽曲映像再生手段。 - 前記CPUは、
(q) 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する処理と、
(r) 選択された映像データを前記記憶部に記憶させる処理と、
を実行することを特徴とする請求項11ないし18のいずれかに記載の楽曲映像再生手段。 - 前記複数のパターンの映像のうちの少なくとも1つの映像を再生するための映像データは、外部との通信をする通信インターフェースを介して通信可能に接続された映像データサーバに記憶され、
前記CPUは、
(s) 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、前記通信インターフェースを介して前記映像データサーバから映像データをダウンロードする処理と、
(t) ダウンロードした映像データを前記ディスプレイで再生する処理と、
を実行することを特徴とする請求項11ないし19のいずれかに記載の楽曲映像再生手段。 - 一の楽曲を再生するための楽曲データと、前記一の楽曲に対応付けられた複数のパターンの映像を再生するための映像データと、からなる楽曲コンテンツデータを用いて、前記一の楽曲の再生に同期して前記複数のパターンの映像のうちの第1の映像を再生する工程と、
前記第1の映像データを用いて表示部のディスプレイで映像を再生している状態で、外部から接触されたことを検知する接触センサ部への接触が検知されたときに、前記複数のパターンの映像のうちの、前記第1の映像データとは異なる第2の映像データの再生開始位置を再生中の前記楽曲データの再生位置に応じて決定する工程と、
前記第1の映像データを用いて前記表示部の前記ディスプレイで映像を再生している状態で、前記接触センサ部への接触が検知されたことに基づいて、前記決定する工程によって決定された再生開始位置から前記第2の映像データの再生を開始し、前記第1の映像データを用いた映像の再生状態から、前記第2の映像データを用いた映像の再生状態に切り替える工程と、を有することを特徴とする楽曲映像再生方法。 - 前記第2の映像データを用いた映像の再生が終了した場合には、前記第1の映像データを用いた映像の再生に切り替える工程を有することを特徴とする請求項21に記載の楽曲映像再生方法。
- 前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替わったときから、予め設定された時間が経過した場合には、前記第1の映像データを用いた映像の再生に切り替える工程を有することを特徴とする請求項21又は22に記載の楽曲映像再生方法。
- 前記楽曲コンテンツデータと、前記楽曲コンテンツが真正なものであることを示し、かつ、前記楽曲コンテンツに対応付けられた真性キーコードと、前記第2の映像データを用いた映像を継続的に再生するための決済を要求する決済要求情報と、を記憶部に記憶させる工程と、
前記第2の映像データを用いた映像が再生された後に、前記決済要求情報を記憶部から読み出して、決済要求情報画像として前記ディスプレイに表示する工程と、
前記決済要求情報が表示された後に前記接触センサ部への接触によって決済の許可を示す決済許可データが入力されたことを条件として、外部との通信をする通信インターフェースを通じ、前記決済許可データと、ユーザのIDコードと、楽曲コンテンツの識別コードとを送信する工程と、
送信された前記決済許可データと前記ユーザのIDコードと前記楽曲コンテンツの識別コードとに基づいて生成されたキーコードを受信する工程と、
受信したキーコードが前記真性キーコードと一致するかどうかを判断する工程と、
受信したキーコードが真性なキーコードと一致すると判別した場合に、前記決済要求情報を削除するとともに、予め設定された時間を経過したか否かの計時処理を中止して第2の映像データを用いた映像を継続的に再生する工程と、
を有することを特徴とする請求項23に記載の楽曲映像再生方法。 - 前記第1の映像データを用いた映像の再生から前記第2の映像データを用いた映像の再生に切り替えるために前記接触センサ部に接触された接触回数を前記記憶部に記憶させる工程と、
前記接触回数が、前記楽曲コンテンツに対応づけられて予め設定された回数に達した場合には、前記楽曲コンテンツの再生処理を中止する工程と、
を有することを特徴とする請求項21又は22に記載の楽曲映像再生方法。 - 前記ディスプレイに広告を表示するための広告データと、前記広告に応じて設定された広告対応接触回数と、を前記記憶部に記憶させる工程と、
前記第1の映像データを用いた映像の再生や、前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する工程と、
前記接触回数が、前記広告対応接触回数に達したときには、映像の再生を中止する工程と、
を有することを特徴とする請求項25に記載の楽曲映像再生方法。 - 前記ディスプレイに広告を表示するための広告データと、前記広告を識別するための識別データと、を前記記憶部に記憶させる工程と、
前記第1の映像データを用いた映像の再生、又は前記第2の映像データを用いた映像の再生をする場合に、前記広告データを付加して前記ディスプレイに表示する工程と、
前記接触センサ部に接触された後に表示された広告の識別データに対応させて、表示された広告の累積表示回数を前記記憶部に記憶させ、前記広告ごとの前記累積表示回数を、外部との通信をする通信インターフェースを介して送信する工程と、
を有することを特徴とする請求項25に記載の楽曲映像再生方法。 - 前記映像には、前記ディスプレイに表示可能な少なくとも1つのオブジェクトが含まれており、
前記少なくとも1つのオブジェクトが含まれた映像が再生された場合の前記ディスプレイにおける再生位置データと、再生位置データに映像を対応付けたオブジェクト対応映像データと、を前記記憶部に記憶させる工程と、
前記少なくとも1つのオブジェクトが含まれた映像が再生されているときに、前記接触センサ部に接触された場合に、前記少なくとも1つのオブジェクトのうちの一のオブジェクトが表示されている領域への接触であるときには、前記一のオブジェクトに対応付けられた映像の再生に切り替える工程と、
を有することを特徴とする請求項21ないし27のいずれかに記載の楽曲映像再生方法。 - 所定の映像の再生時間が、前記楽曲の再生時間よりも長いと判別した場合には、前記所定の映像の映像データのうちの前記楽曲の再生時間に対応した映像データを、前記接触センサ部への接触に応じて選択する工程と、
選択された映像データを前記記憶部に記憶させる工程と、
を有することを特徴とする請求項21ないし28のいずれかに記載の楽曲映像再生方法。 - 前記接触センサ部への接触に応じて、前記映像データサーバに記憶された映像データを用いる場合には、外部との通信をする通信インターフェースを介して、前記複数のパターンの映像のうちの少なくとも1つの映像を再生するための映像データが記憶された映像データサーバから映像データをダウンロードする工程と、
ダウンロードした映像データを前記ディスプレイで再生する工程と、
を有することを特徴とする請求項21ないし29のいずれかに記載の楽曲映像再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009033966A JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009033966A JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010193062A true JP2010193062A (ja) | 2010-09-02 |
Family
ID=42818649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009033966A Pending JP2010193062A (ja) | 2009-02-17 | 2009-02-17 | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010193062A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012262A (ja) * | 2011-06-28 | 2013-01-17 | Pioneer Electronic Corp | 同期再生装置及び同期再生方法 |
CN109977244A (zh) * | 2019-03-31 | 2019-07-05 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
JP2021093724A (ja) * | 2019-12-06 | 2021-06-17 | Mil株式会社 | 動画表示装置、動画表示方法及びプログラム |
-
2009
- 2009-02-17 JP JP2009033966A patent/JP2010193062A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012262A (ja) * | 2011-06-28 | 2013-01-17 | Pioneer Electronic Corp | 同期再生装置及び同期再生方法 |
CN109977244A (zh) * | 2019-03-31 | 2019-07-05 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
US11733842B2 (en) | 2019-03-31 | 2023-08-22 | Lenovo (Beijing) Co., Ltd. | Electronic device and control method thereof for determining displayed content based on user presence and interest |
JP2021093724A (ja) * | 2019-12-06 | 2021-06-17 | Mil株式会社 | 動画表示装置、動画表示方法及びプログラム |
JP7292737B2 (ja) | 2019-12-06 | 2023-06-19 | Mil株式会社 | 動画表示装置、動画表示方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5075943B2 (ja) | 情報提供装置および情報提供方法 | |
US20080167993A1 (en) | Creating and Purchasing Ringtones | |
US20030195021A1 (en) | Content combination reproducer, content combination reproduction method, program executing the method, and recording medium recording therein the program | |
EP1437876A2 (en) | Network game system, network game server, and advertisement displaying method | |
US20080119953A1 (en) | Device and System for Utilizing an Information Unit to Present Content and Metadata on a Device | |
US20080120312A1 (en) | System and Method for Creating a New Title that Incorporates a Preexisting Title | |
US20060235723A1 (en) | System and method for management of content associated with digital distribution and updatable storage media | |
JP2007500568A (ja) | コンテンツ関連オプションを備えたビデオゲーム方法及びシステム | |
CN103403655A (zh) | 与上下文有关的用户界面 | |
US20100110072A1 (en) | Terminal, image display method and program for displaying music-related images | |
CN102279863A (zh) | 信息提供装置以及信息提供方法 | |
US11253787B2 (en) | Server system and play data community system for modified reproduction play | |
US20120289122A1 (en) | Point-of-Sale Integrated Storage Devices, Systems for Programming Integrated Storage Devices, and Methods for Providing Custom Sounds to Toys | |
US20090192637A1 (en) | Dynamically serving altered sound content | |
JP6282684B2 (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
KR20100127268A (ko) | 복수의 항목들 중 한 항목의 선택을 가능하게 하기 위한 방법 및 디바이스 | |
JP2005025887A (ja) | 再生装置、プログラムおよび記録媒体 | |
JP2010193062A (ja) | 映像及び楽曲再生プログラム、映像及び楽曲再生装置、並びに映像及び楽曲再生方法 | |
JP2018141970A (ja) | 映像コンテンツ表示装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツ表示プログラム | |
JP2002202785A (ja) | サーバ装置および送受信装置 | |
JP2008269431A (ja) | コンテンツ出力装置、コンテンツ出力方法及びプログラム | |
US8805744B2 (en) | Podblasting-connecting a USB portable media device to a console | |
JP4128326B2 (ja) | 遊技装置、遊技装置の制御方法、及びそのプログラムを記録した記録媒体 | |
US20120123572A1 (en) | System and method for adding lyrics to digital media | |
KR100462826B1 (ko) | 독립된 둘 이상의 멀티미디어 데이터의 동기화 재생을 위한 휴대용 멀티미디어 데이터 재생 장치 및 그 재생 제어 방법과, 멀티미디어 데이터를 제공하는 시스템 |