JP5655713B2 - 動画再生装置、動画再生方法及びプログラム - Google Patents
動画再生装置、動画再生方法及びプログラム Download PDFInfo
- Publication number
- JP5655713B2 JP5655713B2 JP2011125633A JP2011125633A JP5655713B2 JP 5655713 B2 JP5655713 B2 JP 5655713B2 JP 2011125633 A JP2011125633 A JP 2011125633A JP 2011125633 A JP2011125633 A JP 2011125633A JP 5655713 B2 JP5655713 B2 JP 5655713B2
- Authority
- JP
- Japan
- Prior art keywords
- progress
- degree
- change
- frame images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
Landscapes
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
動画像を構成する複数のフレーム画像を記憶する記憶手段と、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段と、この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段と、を備えたことを特徴としている。
動画再生装置を用いた動画再生方法であって、取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定ステップと、前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、を含むことを特徴としている。
コンピュータを、取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段、この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の動画再生装置100の概略構成を示すブロック図である。
具体的には、動画再生装置100は、例えば、パーソナルコンピュータ等により構成され、図1に示すように、中央制御部1と、操作入力部2と、記憶部3と、動画処理部4と、表示部5と、音出力部6等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、動画再生装置100で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
なお、操作入力部2としてタッチパネル(図示略)を表示部5の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
また、連続して並べられた各フレーム画像は、例えば、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を用いて作成された画像である。具体的には、画像生成装置(図示略)は、静止画像である被写体切り抜き画像を基準として、当該被写体切り抜き画像の被写体が含まれる領域の被写体画像内に動きの制御点を複数設定する。そして、画像生成装置は、所定空間内にて複数の制御点の全て若しくは少なくとも一つを移動させ、移動後の制御点を基準として被写体画像内に設定される所定の画像領域(例えば、三角形や矩形状の領域)を移動もしくは変形させることで、フレーム画像を逐次生成する。そして、画像生成装置は、生成された複数のフレーム画像を時間軸に沿って並べることで、動画像情報Mを生成する。
なお、制御点を基準とした所定の画像領域を移動もしくは変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
なお、図5(a)に示した動画像情報Mは、一例であってこれに限られるものではなく、動作の内容等は適宜任意に変更可能である。
このように、記憶部3は、動画像を構成する複数の基準フレーム画像F1、…、Fk、Fk+1、…、Fnを記憶する記憶手段を構成している。
また、各演奏情報Tは、例えば、MIDI(Musical Instruments Digital Interface)規格等に従って規定されたデジタルデータであり、具体的には、当該MIDIファイルのフォーマット、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、各パートに割り当てられた音源(例えば、楽器等)に供給させるイベントおよびタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
即ち、進行度合算出部4aは、動画再生部4fにより演奏情報Tに基づいて演奏される所定の曲の所定のタイミング、例えば、各小節の先頭拍に同期させて再生される隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を算出する。具体的には、進行度合算出部4aは、事前解析処理(後述)にて、MIDI規格の演奏情報Tのヘッダ情報及びトラック情報を解析して、テンポの設定情報及び四分音符の分解能(Tickカウント数)を取得する。そして、進行度合算出部4aは、テンポ設定の変遷と四分音符の分解能(Tickカウント数)に基づいて、動画再生部4fにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、進行度合算出部4aは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング(例えば、各小節の一拍目等)に同期させて再生される隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
具体的には、判定部4bは、トラック情報からテンポ変更のイベントが読み出されたこと、あるいは外部より新たなテンポ情報の変更設定があったことが検知されたか否かを判定する。このようなテンポの変更が検知されると、進行度合算出部4aにより所定のタイミングで新たに算出された曲の進行度合と、当該所定のタイミングよりも一つ前のタイミングで算出された前回の曲の進行度合とを比較すると、新たに算出された曲の進行度合が前回の曲の進行度合に対して大きく変化する。
即ち、所定のタイミング(例えば、各小節の一拍目等)に同期させた隣合う二つの基準フレーム画像Fk、Fk+1間、つまり、何れかの補間フレーム画像Iの再生タイミングにて、所定の曲のテンポ(演奏速度)の変更が行われると、新たに算出された進行度合が前回の進行度合に対して減少する虞がある(図5(b)及び図5(c)参照)。
例えば、仮にテンポをBPM=120とし、1小節の演奏時間を2秒として基準フレーム画像Fk、Fk+1どうしを2秒間隔を空けて同期させる場合に、1秒経過した時点では、基準フレーム画像Fkを同期させた時点からの演奏曲の進行度合は50%となり、基準フレーム画像Fk及び基準フレーム画像Fk+1を50%ずつ重み付けした略中間の画像が補間フレーム画像Iとして表示される(図5(b)参照)。
そして、1秒経過後直ちにテンポがBPM=60に変更されると、この変更時点から基準フレーム画像Fk+1を同期させる時点までの残り時間が2倍(略2秒)となり、基準フレーム画像Fkを同期させた時点からの演奏曲の実質的な進行度合は33.3%となる(図5(c)参照)。このため、変更時点以降で演奏曲の実質的な進行度合が50%となるまでの期間では、進行度合算出部4aにより新たに算出される演奏曲の進行度合が減少してしまい、判定部4bは、新たに算出される演奏曲の進行度合が実質的に減少したと判定する。
この場合、図5(c)に示すように、基準フレーム画像Fk及び基準フレーム画像Fk+1を50%ずつ重み付けした補間フレーム画像I(図5b参照)よりも、基準フレーム画像Fkの重みが大きい補間フレーム画像Iが画像生成部4dにより生成されて表示部5に表示されることとなる。
即ち、進行度合補正部4cは、判定部4bにより補間フレーム画像Iの再生タイミングにおける曲の演奏の進行度合が曲のテンポの変更に伴って減少したと判定された場合に、当該進行度合の減少が少なくなるように補正する。具体的には、進行度合補正部4cは、判定部4bによる比較判定に係る前回(テンポ変更前に)算出された曲の進行度合(例えば、図5(b)における50%)に基づいて、進行度合の減少が少なくなるように補正して補正後の曲の進行度合を生成する。例えば、進行度合補正部4cは、テンポ変更後に新たに算出された曲の進行度合と前回(テンポ変更前)の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合とする。
なお、曲の進行度合の補正方法は、新たに算出された曲の進行度合と前回の曲の進行度合とを加算平均する方法に限られるものではなく、例えば、前回の進行度合の重み付けが大きくなるように重み付け平均しても良い。
ここにおいては、曲のテンポが途中で遅くなった場合について説明したが、当然曲のテンポが途中で早くなった場合は、進行度合補正部4cは、判定部4bによる比較判定に係る前回算出された曲の進行度合に基づいて、進行度合の増加が少なくなるように補正して補正後の曲の進行度合を生成する。この場合も、進行度合補正部4cは、新たに算出された曲の進行度合と前回の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合としても良い。
即ち、画像生成部4dは、隣合う二つの基準フレーム画像Fk、Fk+1間における、所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えて補間フレーム画像Iを生成する。具体的には、画像生成部4dは、生成制御部4eの制御下にて駆動し、進行度合算出部4aにより算出された曲の演奏の進行度合(例えば、百分率等)若しくは進行度合補正部4cによる補正後の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを生成する。
なお、補間フレーム画像Iを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、生成制御部4eは、進行度合補正部4cにより曲の進行度合が補正された場合には、当該補正後の曲の進行度合に応じた補間フレーム画像Iを画像生成部4dに生成させる。具体的には、生成制御部4eは、進行度合補正部4cによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを画像生成部4dに生成させる。
具体的には、動画再生部4fは、所定の曲の演奏情報Tのデジタルデータを読み込んでD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように隣合う二つの基準フレーム画像Fk、Fk+1を再生するとともに、隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合に応じて画像生成部4dにより生成される各補間フレーム画像Iを再生する。
即ち、表示部5は、動画再生部4fによる動画像情報Mの再生の際に、複数のフレーム画像を表示画面に表示する。具体的には、表示部5は、自動的に演奏される曲の所定のタイミングで基準フレーム画像F1〜Fn及び補間フレーム画像Iを所定の時間間隔で切り替えて表示する。
即ち、音出力部6は、動画再生部4fによる演奏情報Tの再生の際に、D/Aコンバータにより変換されたアナログデータに基づいて、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部6は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
ここで、図2は、事前解析処理に係る動作の一例を示すフローチャートである。
続けて、進行度合算出部4aは、演奏情報Tのトラック情報を解析して、テンポの変更タイミングに係る情報を取得するとともに、全てのトラックの中での最初のNoteOn及び最後のNoteOffのタイミングを規定するTickカウント数を取得する(ステップS3)。その後、進行度合算出部4aは、最初のNoteOn及び最後のNoteOffのTickカウント数に基づいて、最初のNoteOnのTickカウント数から最後のNoteOffまでのTickカウント数までの期間を動画再生期間に設定する(ステップS4)。
ここで、弱起の曲であると判定されると(ステップS5;YES)、動画処理部4は、最初のNoteOnのタイミングを規定するTickカウント数に基づいて、演奏される曲が第一小節の第一拍目の裏から放音が開始されるか否かを判定する(ステップS6)。
一方、第一小節の第一拍目の裏から放音が開始されないと判定されると(ステップS6;NO)、進行度合算出部4aは、動画再生の開始タイミングが当該小節の頭に相当するTickカウント数となるように動画再生期間を再設定する(ステップS8)。
これにより、事前解析処理を終了する。
ここで、図3及び図4は、動画再生処理に係る動作の一例を示すフローチャートである。
次に、進行度合算出部4aは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも前であるか否かを判定する(ステップS13)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、音出力部6から所定の曲が最初に放音される際に、表示部5は最初の基準フレーム画像F1を表示画面に表示した状態となる。
ここで、経過時間が動画再生期間よりも後であると判定されると(ステップS15;YES)、動画再生部4fは、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から最後の基準フレーム画像Fnを取得する(ステップS16)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、音出力部6から所定の曲が最後に放音される際に、表示部5は最後の基準フレーム画像Fnを表示画面に表示した状態となる。
ここで、基準フレーム画像Fkが全音符に同期して表示されないと判定されると(ステップS17;NO)、進行度合算出部4aは、経過時間のTickカウント数に基づいて、経過時間が同期している音符(例えば、四分音符等)で何個分に相当するかを特定する(ステップS18)。具体的には、進行度合算出部4aは、経過時間のTickカウント数を同期している音符のTickカウント数で除算することで、当該音符で何個分に相当するかを特定する。なお、除算の結果、割り切れなかった場合には、例えば、分数や小数で表されるようにしても良い。
次に、進行度合算出部4aは、同期している音符で何個分に相当するかの特定結果に基づいて、特定された音符数(即ち、整数の部分)に応じて、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から基準フレーム画像Fkを特定する(ステップS19)。続けて、進行度合算出部4aは、同期している音符で何個分に相当するかの特定結果に基づいて、割り切れなかった端数分(例えば、1/3等)を百分率で表し、当該値を基準フレーム画像Fkと隣合う基準フレーム画像Fk+1との間における所定の曲の演奏の進行度合として設定する(ステップS20)。
次に、進行度合算出部4aは、演奏開始後に実際に曲が音出力部6から放音されるまでの期間を除外するため、動画再生の開始タイミングまでの小節分を減算して、特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する(ステップS23)。
当該判定処理は、進行度合算出部4aにより進行度合が算出される毎に、即ち、ステップS20若しくはステップS25にて進行度合が設定される毎に逐次実行される。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、表示部5は、音出力部6から放音される所定の曲の進行度合に応じた補間フレーム画像Iを表示画面に表示した状態となる。
その後、動画処理部4は、処理をステップS27に移行して、画像生成部4dは、進行度合補正部4cによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを生成して取得する(ステップS27)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、表示部5は、音出力部6から放音される所定の曲の進行度合を考慮して生成された補間フレーム画像Iを表示画面に表示した状態となる。
即ち、自動的に演奏される一の小節の途中で曲の演奏速度(テンポ)が変更されて当該小節における曲の進行度合が変化した場合であっても、曲の進行度合の変化が少なくなるように当該曲の進行度合を補正する。そして、補正後の曲の進行度合に応じた補間フレーム画像Iを生成することで、当該補間フレーム画像Iの内容と曲の実質的な進行度合との間に生じるずれをより小さくすることができる。この結果、動体の動きに起因して生じる違和感を軽減させることが可能なより適正な補間フレーム画像Iを再生することができる。
以下に、動画再生装置100の変形例について説明する。
図6は、変形例1の動画再生装置200の概略構成を示すブロック図である。また、図7は、変形例1の動画再生装置200による編集処理を説明するための図である。
図6に示すように、変形例1の動画再生装置200は、中央制御部1、操作入力部2、記憶部3、動画処理部4、表示部5、音出力部6に加えて、動画編集部7を備えている。
なお、変形例1は、下記に詳細に説明する以外の点で、上記実施形態と略同様の構成をなし、その説明は省略する。
即ち、動画編集部7には、例えば、小節、四分音符等の各音符等を基本単位とする動画パーツ情報7aが記憶されている。この動画パーツ情報7aは、上記実施形態における基準フレーム画像Fk、Fk+1や補間フレーム画像Iのうち、少なくとも一方から構成された情報であり、複数のフレーム画像が時間軸に沿って並べられている。
そして、動画編集部7は、表示部5に表示されている動画編集画面Pg内にて(図7参照)、ユーザによる操作入力部2の所定操作に基づいて指定された所定数の動画パーツ情報7(図7中、a1〜a4の符号で示す)を任意に組み合わせていくことで、当該所定数の動画パーツ情報7aが時間軸に沿って並べられた編集済み動画情報7bを生成して記憶する。
なお、生成された編集済み動画情報7bは、上記実施形態の動画再生処理に用いられても良い。即ち、動画再生部4fは、演奏情報Tに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで編集済み動画情報7bを構成する複数のフレーム画像の各々を再生するようにしても良い。
さらに、動画再生装置100をWebサーバとして機能させ、ユーザによるユーザ端末(図示略)の所定操作に基づいて、当該Webサーバ(動画再生装置100)によって複数のフレーム画像の画像データ並びに演奏情報Tを一つのファイルとして生成させ、全てのデータの生成完了後に、当該ファイルをWebサーバからユーザ端末に送信して当該ユーザ端末にて再生させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、生成処理ルーチン、算出処理ルーチン、判定処理ルーチン、補正処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンにより中央制御部1のCPUを、複数のフレーム画像F1〜Fnのうち、隣合う二つのフレーム画像Fk、Fk+1間を補間する補間フレーム画像Iを生成する生成手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部1のCPUを、演奏情報Tに基づいて演奏される所定の曲の所定のタイミングに同期させて再生される複数のフレーム画像F1〜Fnのうち、隣合う二つのフレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を逐次算出する算出手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部1のCPUを、補間フレーム画像Iの再生タイミングに対応する進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部1のCPUを、判定手段により進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、補正手段により生成された補正後の進行度合に応じた補間フレーム画像Iを生成手段に生成させる制御手段として機能させるようにしても良い。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
<請求項2>
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項1に記載の動画再生装置。
<請求項3>
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
<請求項4>
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
1 中央制御部
3 記憶部
4 動画処理部
4a 画像生成部
4b 進行度合算出部
4c 判定部
4d 進行度合補正部
4e 生成制御部
5 表示部
6 音出力部
M 動き情報
T 演奏情報
Claims (5)
- 動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。 - 前記判定手段により前記進行度合が減少する変化があったと判定された場合に、当該進行度合が減少する変化が少なくなるように当該進行度合を補正する補正手段を更に備え、
前記制御手段は、前記補正手段により補正された進行度合に応じた前記補間フレーム画像を前記生成手段に生成させることを特徴とする請求項1に記載の動画再生装置。 - 前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項2に記載の動画再生装置。
- 動画再生装置を用いた動画再生方法であって、
取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定ステップと、
前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。 - コンピュータを、
取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段、
この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011125633A JP5655713B2 (ja) | 2011-06-03 | 2011-06-03 | 動画再生装置、動画再生方法及びプログラム |
CN201210174801.0A CN102811330B (zh) | 2011-06-03 | 2012-05-30 | 对运动图像配上音乐来再生的运动图像再生装置及其方法 |
US13/486,339 US8761567B2 (en) | 2011-06-03 | 2012-06-01 | Moving image reproducer reproducing moving image in synchronization with musical piece |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011125633A JP5655713B2 (ja) | 2011-06-03 | 2011-06-03 | 動画再生装置、動画再生方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012253619A JP2012253619A (ja) | 2012-12-20 |
JP2012253619A5 JP2012253619A5 (ja) | 2014-07-03 |
JP5655713B2 true JP5655713B2 (ja) | 2015-01-21 |
Family
ID=47234896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011125633A Active JP5655713B2 (ja) | 2011-06-03 | 2011-06-03 | 動画再生装置、動画再生方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8761567B2 (ja) |
JP (1) | JP5655713B2 (ja) |
CN (1) | CN102811330B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016098430A1 (ja) * | 2014-12-15 | 2016-06-23 | ソニー株式会社 | 情報処理方法、映像処理装置及びプログラム |
JP7154833B2 (ja) * | 2018-06-20 | 2022-10-18 | キヤノン株式会社 | 通信装置、通信方法、およびプログラム |
JP7118764B2 (ja) | 2018-06-20 | 2022-08-16 | キヤノン株式会社 | 通信装置、制御方法、およびプログラム |
US20220406337A1 (en) * | 2021-06-21 | 2022-12-22 | Lemon Inc. | Segmentation contour synchronization with beat |
CN114329001B (zh) * | 2021-12-23 | 2023-04-28 | 游艺星际(北京)科技有限公司 | 动态图片的显示方法、装置、电子设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05181460A (ja) | 1991-12-27 | 1993-07-23 | Casio Comput Co Ltd | 表示装置付自動演奏装置 |
JPH10307930A (ja) * | 1997-05-07 | 1998-11-17 | Yamaha Corp | アニメーション作成システム |
JPH11126066A (ja) * | 1997-10-22 | 1999-05-11 | Matsushita Electric Ind Co Ltd | Av同期装置、及びav同期方法、並びにav同期プログラムを記録した記録媒体 |
JP3895014B2 (ja) * | 1997-09-19 | 2007-03-22 | パイオニア株式会社 | 映像再生装置およびカラオケ装置 |
JP3384314B2 (ja) * | 1997-12-02 | 2003-03-10 | ヤマハ株式会社 | 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 |
JP3645716B2 (ja) * | 1998-07-31 | 2005-05-11 | シャープ株式会社 | アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7725828B1 (en) * | 2003-10-15 | 2010-05-25 | Apple Inc. | Application of speed effects to a video presentation |
JP4917446B2 (ja) * | 2007-01-22 | 2012-04-18 | ブラザー工業株式会社 | 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム |
JP5428294B2 (ja) * | 2008-10-31 | 2014-02-26 | ブラザー工業株式会社 | 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム |
JP5434965B2 (ja) * | 2011-06-03 | 2014-03-05 | カシオ計算機株式会社 | 動画生成方法、動画生成装置及びプログラム |
-
2011
- 2011-06-03 JP JP2011125633A patent/JP5655713B2/ja active Active
-
2012
- 2012-05-30 CN CN201210174801.0A patent/CN102811330B/zh not_active Expired - Fee Related
- 2012-06-01 US US13/486,339 patent/US8761567B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120307146A1 (en) | 2012-12-06 |
US8761567B2 (en) | 2014-06-24 |
CN102811330B (zh) | 2015-04-08 |
JP2012253619A (ja) | 2012-12-20 |
CN102811330A (zh) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3399297B2 (ja) | 電子楽器 | |
JP5198766B2 (ja) | テンポの変化に対応するメトロノーム及び拍の間隔の記録方法 | |
US10388290B2 (en) | Multifunctional audio signal generation apparatus | |
JP5655713B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
JP2014006415A (ja) | 自動演奏装置及びプログラム | |
JP6019803B2 (ja) | 自動演奏装置及びプログラム | |
JP4757704B2 (ja) | 音楽再生プログラム、音楽再生装置、音楽再生方法及び音楽再生システム | |
JP4062324B2 (ja) | 動画再生装置及び動画再生方法 | |
JP3716812B2 (ja) | 動画再生装置及び動画再生方法 | |
JP2010113278A (ja) | 楽曲処理装置およびプログラム | |
JP2007188561A (ja) | 音楽付きスライドショー自動生成装置及びプログラム | |
JP2013207466A (ja) | 動画再生装置およびプログラム | |
US8629343B2 (en) | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method | |
JP4329857B2 (ja) | 動画再生装置 | |
JP5230678B2 (ja) | 採譜支援プログラム | |
JP5807419B2 (ja) | 信号処理装置 | |
JP2017083909A (ja) | 音響信号発生装置 | |
JP4479635B2 (ja) | オーディオ装置及びカラオケ装置 | |
JP2007047307A (ja) | 効果音生成装置 | |
JP6350693B2 (ja) | 音響信号発生装置 | |
JP4089712B2 (ja) | 波形データ生成方法、楽音合成方法、波形データ生成装置およびコンピュータ読み取り可能な記録媒体 | |
JP5966971B2 (ja) | 情報処理装置及びプログラム | |
JP4097785B2 (ja) | 波形再生装置 | |
JP2004046280A (ja) | シーケンスデータのタイミング処理装置 | |
JP2014056164A (ja) | 表示制御装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140516 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140521 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5655713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |