JP5655713B2 - 動画再生装置、動画再生方法及びプログラム - Google Patents

動画再生装置、動画再生方法及びプログラム Download PDF

Info

Publication number
JP5655713B2
JP5655713B2 JP2011125633A JP2011125633A JP5655713B2 JP 5655713 B2 JP5655713 B2 JP 5655713B2 JP 2011125633 A JP2011125633 A JP 2011125633A JP 2011125633 A JP2011125633 A JP 2011125633A JP 5655713 B2 JP5655713 B2 JP 5655713B2
Authority
JP
Japan
Prior art keywords
progress
degree
change
frame images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011125633A
Other languages
English (en)
Other versions
JP2012253619A5 (ja
JP2012253619A (ja
Inventor
綿貫 正敏
正敏 綿貫
哲司 牧野
哲司 牧野
雅昭 佐々木
雅昭 佐々木
飛雄太 田中
飛雄太 田中
道大 二瓶
道大 二瓶
石井 克典
克典 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011125633A priority Critical patent/JP5655713B2/ja
Priority to CN201210174801.0A priority patent/CN102811330B/zh
Priority to US13/486,339 priority patent/US8761567B2/en
Publication of JP2012253619A publication Critical patent/JP2012253619A/ja
Publication of JP2012253619A5 publication Critical patent/JP2012253619A5/ja
Application granted granted Critical
Publication of JP5655713B2 publication Critical patent/JP5655713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、動画像を曲に合わせて再生する動画再生装置、動画再生方法及びプログラムに関する。
従来、自動的に演奏される曲の拍や小節に関連付けて複数のフレーム画像を切り替えて再生する技術が知られている(例えば、特許文献1参照)。
特開平5−181460号公報
しかしながら、上記特許文献1の場合、一拍分や一小節分の時間の変化に応じて各フレーム画像の表示時間が変更されるため、フレーム画像内の動体の動きを違和感なく滑らかに表現することができないといった問題がある。また、動画像を構成する複数のフレーム画像のうち、隣合うフレーム画像どうしの間の画像を補間して再生する技術も知られているが、一の小節の途中で曲のテンポ等が変更されると当該小節における曲の進行度合が変化して、補間フレーム画像の表示内容にずれを生じさせる虞もある。
本発明は、このような問題に鑑みてなされたものであり、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる動画再生装置、動画再生方法及びプログラムを提供することである。
上記課題を解決するため、本発明の動画再生装置は、
動画像を構成する複数のフレーム画像を記憶する記憶手段と、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段と、この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段と、を備えたことを特徴としている。
また、本発明の動画再生方法は、
動画再生装置を用いた動画再生方法であって、取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定ステップと、前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、を含むことを特徴としている。
また、本発明のプログラムは、
コンピュータを、取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段、この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段、として機能させることを特徴としている。
本発明によれば、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる。
本発明を適用した一実施形態の動画再生装置の概略構成を示すブロック図である。 図1の動画再生装置による事前解析処理に係る動作の一例を示すフローチャートである。 図1の動画再生装置による動画再生処理に係る動作の一例を示すフローチャートである。 図3の動画再生処理の続きを示すフローチャートである。 図4の動画再生処理を説明するための図である。 変形例1の動画再生装置の概略構成を示すブロック図である。 図6の動画再生装置による編集処理を説明するための図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の動画再生装置100の概略構成を示すブロック図である。
本実施形態の動画再生装置100は、所定の曲の所定のタイミングに同期させて再生される隣合う二つのフレーム画像間における所定の曲の演奏の進行度合を逐次算出し、所定の曲のテンポの変更に伴って補間フレーム画像の再生タイミングに対応する曲の進行度合の変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像を生成する。
具体的には、動画再生装置100は、例えば、パーソナルコンピュータ等により構成され、図1に示すように、中央制御部1と、操作入力部2と、記憶部3と、動画処理部4と、表示部5と、音出力部6等を備えている。
中央制御部1は、動画再生装置100の各部を制御するものである。具体的には、中央制御部1は、CPU、RAM、ROM(何れも図示略)を備え、ROMに記憶された動画再生装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部5に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、動画再生装置100で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
操作入力部2は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部1のCPUに出力する。
なお、操作入力部2としてタッチパネル(図示略)を表示部5の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
記憶部3は、例えば、半導体の不揮発メモリやHDD(Hard Disc Drive)等により構成され、動画像情報M、演奏情報T等を記憶する。
動画像情報Mは、動画再生部4fにより演奏情報Tとともに自動的に再生される情報である。即ち、動画像情報Mは、所定の時間間隔を空けて再生される複数のフレーム画像を時間軸に沿って連続して並べた情報である。
また、連続して並べられた各フレーム画像は、例えば、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を用いて作成された画像である。具体的には、画像生成装置(図示略)は、静止画像である被写体切り抜き画像を基準として、当該被写体切り抜き画像の被写体が含まれる領域の被写体画像内に動きの制御点を複数設定する。そして、画像生成装置は、所定空間内にて複数の制御点の全て若しくは少なくとも一つを移動させ、移動後の制御点を基準として被写体画像内に設定される所定の画像領域(例えば、三角形や矩形状の領域)を移動もしくは変形させることで、フレーム画像を逐次生成する。そして、画像生成装置は、生成された複数のフレーム画像を時間軸に沿って並べることで、動画像情報Mを生成する。
なお、制御点を基準とした所定の画像領域を移動もしくは変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
例えば、図5(a)に示すように、動画像情報Mは、ヒトの片方の手首を曲げる動作を模式的に表した複数(例えば、n個;nは自然数)の基準フレーム画像(例えば、基準フレーム画像F1、…、Fk、Fk+1、…、Fn;kは、nより小さい自然数)から構成されている。
なお、図5(a)に示した動画像情報Mは、一例であってこれに限られるものではなく、動作の内容等は適宜任意に変更可能である。
このように、記憶部3は、動画像を構成する複数の基準フレーム画像F1、…、Fk、Fk+1、…、Fnを記憶する記憶手段を構成している。
演奏情報Tは、動画再生部4fにより動画像情報Mとともに自動的に曲を演奏するための情報である。この演奏情報Tは、例えば、テンポ、拍子等を規定する情報、その曲を構成する複数の情報を有し、これらの情報とそれぞれ曲名とが対応付けて記憶されている。
また、各演奏情報Tは、例えば、MIDI(Musical Instruments Digital Interface)規格等に従って規定されたデジタルデータであり、具体的には、当該MIDIファイルのフォーマット、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、各パートに割り当てられた音源(例えば、楽器等)に供給させるイベントおよびタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
動画処理部4は、進行度合算出部4aと、判定部4bと、進行度合補正部4cと、画像生成部4dと、生成制御部4eと、動画再生部4fとを具備している。
進行度合算出部4aは、算出手段として、隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を逐次算出する。
即ち、進行度合算出部4aは、動画再生部4fにより演奏情報Tに基づいて演奏される所定の曲の所定のタイミング、例えば、各小節の先頭拍に同期させて再生される隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を算出する。具体的には、進行度合算出部4aは、事前解析処理(後述)にて、MIDI規格の演奏情報Tのヘッダ情報及びトラック情報を解析して、テンポの設定情報及び四分音符の分解能(Tickカウント数)を取得する。そして、進行度合算出部4aは、テンポ設定の変遷と四分音符の分解能(Tickカウント数)に基づいて、動画再生部4fにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、進行度合算出部4aは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング(例えば、各小節の一拍目等)に同期させて再生される隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
判定部4bは、判定手段として、隣合う二つの基準フレーム画像Fk、Fk+1間を補完する補間フレーム画像Iの再生タイミングに対応する曲の進行度合についてテンポ変更に伴う変化があったか否かを判定する。
具体的には、判定部4bは、トラック情報からテンポ変更のイベントが読み出されたこと、あるいは外部より新たなテンポ情報の変更設定があったことが検知されたか否かを判定する。このようなテンポの変更が検知されると、進行度合算出部4aにより所定のタイミングで新たに算出された曲の進行度合と、当該所定のタイミングよりも一つ前のタイミングで算出された前回の曲の進行度合とを比較すると、新たに算出された曲の進行度合が前回の曲の進行度合に対して大きく変化する。
ここで、曲の途中でテンポが遅くなった場合を例に挙げ、図5(b)及び図5(c)を参照して説明する。
即ち、所定のタイミング(例えば、各小節の一拍目等)に同期させた隣合う二つの基準フレーム画像Fk、Fk+1間、つまり、何れかの補間フレーム画像Iの再生タイミングにて、所定の曲のテンポ(演奏速度)の変更が行われると、新たに算出された進行度合が前回の進行度合に対して減少する虞がある(図5(b)及び図5(c)参照)。
例えば、仮にテンポをBPM=120とし、1小節の演奏時間を2秒として基準フレーム画像Fk、Fk+1どうしを2秒間隔を空けて同期させる場合に、1秒経過した時点では、基準フレーム画像Fkを同期させた時点からの演奏曲の進行度合は50%となり、基準フレーム画像Fk及び基準フレーム画像Fk+1を50%ずつ重み付けした略中間の画像が補間フレーム画像Iとして表示される(図5(b)参照)。
そして、1秒経過後直ちにテンポがBPM=60に変更されると、この変更時点から基準フレーム画像Fk+1を同期させる時点までの残り時間が2倍(略2秒)となり、基準フレーム画像Fkを同期させた時点からの演奏曲の実質的な進行度合は33.3%となる(図5(c)参照)。このため、変更時点以降で演奏曲の実質的な進行度合が50%となるまでの期間では、進行度合算出部4aにより新たに算出される演奏曲の進行度合が減少してしまい、判定部4bは、新たに算出される演奏曲の進行度合が実質的に減少したと判定する。
この場合、図5(c)に示すように、基準フレーム画像Fk及び基準フレーム画像Fk+1を50%ずつ重み付けした補間フレーム画像I(図5b参照)よりも、基準フレーム画像Fkの重みが大きい補間フレーム画像Iが画像生成部4dにより生成されて表示部5に表示されることとなる。
進行度合補正部4cは、補正手段として、曲の演奏の進行度合の変化が少なくなるように補正して補正後の進行度合を生成する。
即ち、進行度合補正部4cは、判定部4bにより補間フレーム画像Iの再生タイミングにおける曲の演奏の進行度合が曲のテンポの変更に伴って減少したと判定された場合に、当該進行度合の減少が少なくなるように補正する。具体的には、進行度合補正部4cは、判定部4bによる比較判定に係る前回(テンポ変更前に)算出された曲の進行度合(例えば、図5(b)における50%)に基づいて、進行度合の減少が少なくなるように補正して補正後の曲の進行度合を生成する。例えば、進行度合補正部4cは、テンポ変更後に新たに算出された曲の進行度合と前回(テンポ変更前)の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合とする。
なお、曲の進行度合の補正方法は、新たに算出された曲の進行度合と前回の曲の進行度合とを加算平均する方法に限られるものではなく、例えば、前回の進行度合の重み付けが大きくなるように重み付け平均しても良い。
ここにおいては、曲のテンポが途中で遅くなった場合について説明したが、当然曲のテンポが途中で早くなった場合は、進行度合補正部4cは、判定部4bによる比較判定に係る前回算出された曲の進行度合に基づいて、進行度合の増加が少なくなるように補正して補正後の曲の進行度合を生成する。この場合も、進行度合補正部4cは、新たに算出された曲の進行度合と前回の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合としても良い。
画像生成部4dは、生成手段として、複数のフレーム画像F1〜Fnのうち、例えば、隣合う二つの基準フレーム画像Fk、Fk+1間を補間する補間フレーム画像Iを生成する。
即ち、画像生成部4dは、隣合う二つの基準フレーム画像Fk、Fk+1間における、所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えて補間フレーム画像Iを生成する。具体的には、画像生成部4dは、生成制御部4eの制御下にて駆動し、進行度合算出部4aにより算出された曲の演奏の進行度合(例えば、百分率等)若しくは進行度合補正部4cによる補正後の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを生成する。
なお、補間フレーム画像Iを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
生成制御部4eは、制御手段として、画像生成部4dによる補間フレーム画像Iの生成を制御する。
即ち、生成制御部4eは、進行度合補正部4cにより曲の進行度合が補正された場合には、当該補正後の曲の進行度合に応じた補間フレーム画像Iを画像生成部4dに生成させる。具体的には、生成制御部4eは、進行度合補正部4cによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを画像生成部4dに生成させる。
動画再生部4fは、演奏情報Tに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。
具体的には、動画再生部4fは、所定の曲の演奏情報Tのデジタルデータを読み込んでD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように隣合う二つの基準フレーム画像Fk、Fk+1を再生するとともに、隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合に応じて画像生成部4dにより生成される各補間フレーム画像Iを再生する。
表示部5は、例えば、LCD、CRT(Cathode Ray Tube)等のディスプレイから構成され、中央制御部1のCPUの制御下にて各種情報を表示画面に表示する。
即ち、表示部5は、動画再生部4fによる動画像情報Mの再生の際に、複数のフレーム画像を表示画面に表示する。具体的には、表示部5は、自動的に演奏される曲の所定のタイミングで基準フレーム画像F1〜Fn及び補間フレーム画像Iを所定の時間間隔で切り替えて表示する。
音出力部6は、例えば、LPF(Low Pass Filter)、増幅器、スピーカ等により構成され、中央制御部1のCPUの制御下にて放音する。
即ち、音出力部6は、動画再生部4fによる演奏情報Tの再生の際に、D/Aコンバータにより変換されたアナログデータに基づいて、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部6は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
次に、事前解析処理について図2を参照して説明する。
ここで、図2は、事前解析処理に係る動作の一例を示すフローチャートである。
図2に示すように、動画処理部4は、記憶部3に記憶されている演奏情報Tの中で、ユーザによる操作入力部2の所定操作に基づいて指定された演奏情報Tを読み出して取得するとともに、ユーザによる操作入力部2の所定操作に基づいて指定された基準フレーム画像Fkの同期タイミング(例えば、全音符、つまり各小節のタイミング)を取得する(ステップS1)。
次に、進行度合算出部4aは、取得されたMIDI規格の演奏情報Tのヘッダ情報を解析して、MIDIファイルのフォーマット、トラック数、四分音符の分解能(Tickカウント数;例えば、Tick=480等)を特定する(ステップS2)。
続けて、進行度合算出部4aは、演奏情報Tのトラック情報を解析して、テンポの変更タイミングに係る情報を取得するとともに、全てのトラックの中での最初のNoteOn及び最後のNoteOffのタイミングを規定するTickカウント数を取得する(ステップS3)。その後、進行度合算出部4aは、最初のNoteOn及び最後のNoteOffのTickカウント数に基づいて、最初のNoteOnのTickカウント数から最後のNoteOffまでのTickカウント数までの期間を動画再生期間に設定する(ステップS4)。
次に、動画処理部4は、四分音符の分解能、拍子の設定タイミング及び動画再生期間に基づいて、当該演奏情報Tに基づいて自動的に演奏される曲が、第一拍目以外から開始する弱起の曲であるか否かを判定する(ステップS5)。
ここで、弱起の曲であると判定されると(ステップS5;YES)、動画処理部4は、最初のNoteOnのタイミングを規定するTickカウント数に基づいて、演奏される曲が第一小節の第一拍目の裏から放音が開始されるか否かを判定する(ステップS6)。
ステップS6にて、第一小節の第一拍目の裏から放音が開始されると判定されると(ステップS6;YES)、進行度合算出部4aは、動画再生の開始タイミングが次の小節の頭(当該小節の終わり)に相当するTickカウント数となるように動画再生期間を再設定する(ステップS7)。
一方、第一小節の第一拍目の裏から放音が開始されないと判定されると(ステップS6;NO)、進行度合算出部4aは、動画再生の開始タイミングが当該小節の頭に相当するTickカウント数となるように動画再生期間を再設定する(ステップS8)。
これにより、事前解析処理を終了する。
次に、動画再生処理について図3及び図4を参照して説明する。
ここで、図3及び図4は、動画再生処理に係る動作の一例を示すフローチャートである。
動画再生処理は、ユーザによる操作入力部2の所定操作に基づいて動画再生部4fによる動画の再生開始が指示され、当該動画の再生中において、所定時間間隔(例えば、30ms等)毎に逐次実行される処理である。
図3に示すように、動画処理部4の進行度合算出部4aは、演奏情報Tに基づいて演奏される曲の再生開始からの経過時間(ms)をタイマ(図示略)から取得した後(ステップS11)、当該経過時間をテンポ設定の変遷と四分音符の分解能(Tickカウント数)に基づいてTickカウント数に変換する(ステップS12)。
次に、進行度合算出部4aは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも前であるか否かを判定する(ステップS13)。
ステップS13にて、経過時間が動画再生期間よりも前であると判定されると(ステップS13;YES)、動画再生部4fは、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から最初の基準フレーム画像F1を取得する(ステップS14)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、音出力部6から所定の曲が最初に放音される際に、表示部5は最初の基準フレーム画像F1を表示画面に表示した状態となる。
一方、ステップS13にて、経過時間が動画再生期間よりも前でないと判定されると(ステップS13;NO)、進行度合算出部4aは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも後であるか否かを判定する(ステップS15)。
ここで、経過時間が動画再生期間よりも後であると判定されると(ステップS15;YES)、動画再生部4fは、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から最後の基準フレーム画像Fnを取得する(ステップS16)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、音出力部6から所定の曲が最後に放音される際に、表示部5は最後の基準フレーム画像Fnを表示画面に表示した状態となる。
一方、ステップS15にて、経過時間が動画再生期間よりも後でないと判定されると(ステップS15;NO)、図4に示すように、進行度合算出部4aは、基準フレーム画像Fkが全音符に同期して表示されるか否かを判定する(ステップS17)。
ここで、基準フレーム画像Fkが全音符に同期して表示されないと判定されると(ステップS17;NO)、進行度合算出部4aは、経過時間のTickカウント数に基づいて、経過時間が同期している音符(例えば、四分音符等)で何個分に相当するかを特定する(ステップS18)。具体的には、進行度合算出部4aは、経過時間のTickカウント数を同期している音符のTickカウント数で除算することで、当該音符で何個分に相当するかを特定する。なお、除算の結果、割り切れなかった場合には、例えば、分数や小数で表されるようにしても良い。
次に、進行度合算出部4aは、同期している音符で何個分に相当するかの特定結果に基づいて、特定された音符数(即ち、整数の部分)に応じて、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から基準フレーム画像Fkを特定する(ステップS19)。続けて、進行度合算出部4aは、同期している音符で何個分に相当するかの特定結果に基づいて、割り切れなかった端数分(例えば、1/3等)を百分率で表し、当該値を基準フレーム画像Fkと隣合う基準フレーム画像Fk+1との間における所定の曲の演奏の進行度合として設定する(ステップS20)。
一方、ステップS17にて、基準フレーム画像Fkが全音符に同期して表示されると判定されると(ステップS17;YES)、進行度合算出部4aは、経過時間のTickカウント数と拍子設定の変遷とに基づいて、経過時間が何小節目の何拍目かを特定する(ステップS21)。続けて、進行度合算出部4aは、何れかの小節の途中で拍子の設定が行われていた場合には、当該一小節は終了したものとみなして、ステップS21にて特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する(ステップS22)。なお、当該経過時間に対応する何小節目の何拍目に係る情報を補正する処理は、必ずしも行う必要はない。
次に、進行度合算出部4aは、演奏開始後に実際に曲が音出力部6から放音されるまでの期間を除外するため、動画再生の開始タイミングまでの小節分を減算して、特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する(ステップS23)。
次に、進行度合算出部4aは、特定された経過時間に対応する何小節目の何拍目に係る情報に基づいて、特定された小節の位置を基準として、記憶部3に記憶されている動画像情報Mを構成する複数の基準フレーム画像F1〜Fnの中から基準フレーム画像Fkを特定する(ステップS24)。続けて、進行度合算出部4aは、特定された小節における拍の位置を百分率で表し、当該値を基準フレーム画像Fkと隣合う基準フレーム画像Fk+1との間における所定の曲の演奏の進行度合として設定する(ステップS25)。
次に、判定部4bは、新たに算出された曲の進行度合が前回の曲の進行度合に対してテンポ変更に伴う変化があったか否かを判定する(ステップS26)。
当該判定処理は、進行度合算出部4aにより進行度合が算出される毎に、即ち、ステップS20若しくはステップS25にて進行度合が設定される毎に逐次実行される。
ステップS26にて、新たに算出された曲の進行度合が前回の曲の進行度合に対して変化がないと判定されると(ステップS26;NO)、画像生成部4dは、進行度合算出部4aにより新たに算出された曲の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを生成して取得する(ステップS27)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、表示部5は、音出力部6から放音される所定の曲の進行度合に応じた補間フレーム画像Iを表示画面に表示した状態となる。
一方、ステップS26にて、新たに算出された曲の進行度合についてテンポ変更に伴う変化があったと判定されると(ステップS26;YES)、進行度合補正部4cは、判定部4bによる比較判定に係る前回算出された進行度合に基づいて、進行度合の変化が少なくなるように補正して補正後の進行度合を生成する(ステップS28)。具体的には、進行度合補正部4cは、例えば、新たに算出された進行度合と前回の進行度合とを加算して、その平均値を補正後の進行度合とする。
その後、動画処理部4は、処理をステップS27に移行して、画像生成部4dは、進行度合補正部4cによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Fk、Fk+1に対する重み付けを変えた補間フレーム画像Iを生成して取得する(ステップS27)。
これにより、動画再生部4fにより演奏情報Tに基づいて自動的に演奏されて、表示部5は、音出力部6から放音される所定の曲の進行度合を考慮して生成された補間フレーム画像Iを表示画面に表示した状態となる。
以上のように、本実施形態の動画再生装置100によれば、所定の曲の所定のタイミングに同期させて再生される隣合う二つの基準フレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を逐次算出し、所定の曲の補間フレーム画像Iの再生タイミングに対応する曲の進行度合がテンポ変更に伴う変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像Iを生成するので、自動的に演奏される曲の進行度合を考慮してより適正な補間フレーム画像Iを再生することができる。
即ち、自動的に演奏される一の小節の途中で曲の演奏速度(テンポ)が変更されて当該小節における曲の進行度合が変化した場合であっても、曲の進行度合の変化が少なくなるように当該曲の進行度合を補正する。そして、補正後の曲の進行度合に応じた補間フレーム画像Iを生成することで、当該補間フレーム画像Iの内容と曲の実質的な進行度合との間に生じるずれをより小さくすることができる。この結果、動体の動きに起因して生じる違和感を軽減させることが可能なより適正な補間フレーム画像Iを再生することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、動画再生装置100の変形例について説明する。
<変形例1>
図6は、変形例1の動画再生装置200の概略構成を示すブロック図である。また、図7は、変形例1の動画再生装置200による編集処理を説明するための図である。
図6に示すように、変形例1の動画再生装置200は、中央制御部1、操作入力部2、記憶部3、動画処理部4、表示部5、音出力部6に加えて、動画編集部7を備えている。
なお、変形例1は、下記に詳細に説明する以外の点で、上記実施形態と略同様の構成をなし、その説明は省略する。
動画編集部7は、所定の長さを基本単位とする動画パーツ情報7aを任意に組み合わせて所望の編集済み動画情報7bを生成する。
即ち、動画編集部7には、例えば、小節、四分音符等の各音符等を基本単位とする動画パーツ情報7aが記憶されている。この動画パーツ情報7aは、上記実施形態における基準フレーム画像Fk、Fk+1や補間フレーム画像Iのうち、少なくとも一方から構成された情報であり、複数のフレーム画像が時間軸に沿って並べられている。
そして、動画編集部7は、表示部5に表示されている動画編集画面Pg内にて(図7参照)、ユーザによる操作入力部2の所定操作に基づいて指定された所定数の動画パーツ情報7(図7中、a1〜a4の符号で示す)を任意に組み合わせていくことで、当該所定数の動画パーツ情報7aが時間軸に沿って並べられた編集済み動画情報7bを生成して記憶する。
従って、変形例1の動画再生装置200によれば、予め複数の動画パーツ情報7aを記憶しておくことにより、これらを任意に組み合わせたユーザ所望の編集済み動画情報7bを簡便に生成することができる。
なお、生成された編集済み動画情報7bは、上記実施形態の動画再生処理に用いられても良い。即ち、動画再生部4fは、演奏情報Tに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで編集済み動画情報7bを構成する複数のフレーム画像の各々を再生するようにしても良い。
また、上記実施形態にあっては、動画再生装置100として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
さらに、動画再生装置100をWebサーバとして機能させ、ユーザによるユーザ端末(図示略)の所定操作に基づいて、当該Webサーバ(動画再生装置100)によって複数のフレーム画像の画像データ並びに演奏情報Tを一つのファイルとして生成させ、全てのデータの生成完了後に、当該ファイルをWebサーバからユーザ端末に送信して当該ユーザ端末にて再生させるようにしても良い。
加えて、上記実施形態にあっては、生成手段、算出手段、判定手段、補正手段、制御手段としての機能を、中央制御部1の制御下にて、画像生成部4d、進行度合算出部4a、判定部4b、進行度合補正部4c、生成制御部4eが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、生成処理ルーチン、算出処理ルーチン、判定処理ルーチン、補正処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンにより中央制御部1のCPUを、複数のフレーム画像F1〜Fnのうち、隣合う二つのフレーム画像Fk、Fk+1間を補間する補間フレーム画像Iを生成する生成手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部1のCPUを、演奏情報Tに基づいて演奏される所定の曲の所定のタイミングに同期させて再生される複数のフレーム画像F1〜Fnのうち、隣合う二つのフレーム画像Fk、Fk+1間における所定の曲の演奏の進行度合を逐次算出する算出手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部1のCPUを、補間フレーム画像Iの再生タイミングに対応する進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部1のCPUを、判定手段により進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、補正手段により生成された補正後の進行度合に応じた補間フレーム画像Iを生成手段に生成させる制御手段として機能させるようにしても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
<請求項2>
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項1に記載の動画再生装置。
<請求項3>
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
<請求項4>
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
100 動画再生装置
1 中央制御部
3 記憶部
4 動画処理部
4a 画像生成部
4b 進行度合算出部
4c 判定部
4d 進行度合補正部
4e 生成制御部
5 表示部
6 音出力部
M 動き情報
T 演奏情報

Claims (5)

  1. 動画像を構成する複数のフレーム画像を記憶する記憶手段と、
    前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
    テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
    前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段と、
    この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段と、
    を備えたことを特徴とする動画再生装置。
  2. 前記判定手段により前記進行度合が減少する変化があったと判定された場合に、当該進行度合が減少する変化が少なくなるように当該進行度合を補正する補正手段を更に備え、
    前記制御手段は、前記補正手段により補正された進行度合に応じた前記補間フレーム画像を前記生成手段に生成させることを特徴とする請求項1に記載の動画再生装置。
  3. 前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項2に記載の動画再生装置。
  4. 動画再生装置を用いた動画再生方法であって、
    取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
    テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
    前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定ステップと、
    前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
    を含むことを特徴とする動画再生方法。
  5. コンピュータを、
    取得された複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
    テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
    前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う前記進行度合が減少する変化があったか否かを判定する判定手段、
    この判定手段により前記進行度合が減少する変化があったと判定された場合に、当該変化後の進行度合より大きい進行度合の前記補間フレーム画像を前記生成手段に生成させる制御手段、
    として機能させることを特徴とするプログラム。
JP2011125633A 2011-06-03 2011-06-03 動画再生装置、動画再生方法及びプログラム Active JP5655713B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011125633A JP5655713B2 (ja) 2011-06-03 2011-06-03 動画再生装置、動画再生方法及びプログラム
CN201210174801.0A CN102811330B (zh) 2011-06-03 2012-05-30 对运动图像配上音乐来再生的运动图像再生装置及其方法
US13/486,339 US8761567B2 (en) 2011-06-03 2012-06-01 Moving image reproducer reproducing moving image in synchronization with musical piece

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011125633A JP5655713B2 (ja) 2011-06-03 2011-06-03 動画再生装置、動画再生方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2012253619A JP2012253619A (ja) 2012-12-20
JP2012253619A5 JP2012253619A5 (ja) 2014-07-03
JP5655713B2 true JP5655713B2 (ja) 2015-01-21

Family

ID=47234896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011125633A Active JP5655713B2 (ja) 2011-06-03 2011-06-03 動画再生装置、動画再生方法及びプログラム

Country Status (3)

Country Link
US (1) US8761567B2 (ja)
JP (1) JP5655713B2 (ja)
CN (1) CN102811330B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016098430A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
JP7154833B2 (ja) * 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP7118764B2 (ja) 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
US20220406337A1 (en) * 2021-06-21 2022-12-22 Lemon Inc. Segmentation contour synchronization with beat
CN114329001B (zh) * 2021-12-23 2023-04-28 游艺星际(北京)科技有限公司 动态图片的显示方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05181460A (ja) 1991-12-27 1993-07-23 Casio Comput Co Ltd 表示装置付自動演奏装置
JPH10307930A (ja) * 1997-05-07 1998-11-17 Yamaha Corp アニメーション作成システム
JPH11126066A (ja) * 1997-10-22 1999-05-11 Matsushita Electric Ind Co Ltd Av同期装置、及びav同期方法、並びにav同期プログラムを記録した記録媒体
JP3895014B2 (ja) * 1997-09-19 2007-03-22 パイオニア株式会社 映像再生装置およびカラオケ装置
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3645716B2 (ja) * 1998-07-31 2005-05-11 シャープ株式会社 アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US7725828B1 (en) * 2003-10-15 2010-05-25 Apple Inc. Application of speed effects to a video presentation
JP4917446B2 (ja) * 2007-01-22 2012-04-18 ブラザー工業株式会社 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
JP5434965B2 (ja) * 2011-06-03 2014-03-05 カシオ計算機株式会社 動画生成方法、動画生成装置及びプログラム

Also Published As

Publication number Publication date
US20120307146A1 (en) 2012-12-06
US8761567B2 (en) 2014-06-24
CN102811330B (zh) 2015-04-08
JP2012253619A (ja) 2012-12-20
CN102811330A (zh) 2012-12-05

Similar Documents

Publication Publication Date Title
JP3399297B2 (ja) 電子楽器
JP5198766B2 (ja) テンポの変化に対応するメトロノーム及び拍の間隔の記録方法
US10388290B2 (en) Multifunctional audio signal generation apparatus
JP5655713B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP2014006415A (ja) 自動演奏装置及びプログラム
JP6019803B2 (ja) 自動演奏装置及びプログラム
JP4757704B2 (ja) 音楽再生プログラム、音楽再生装置、音楽再生方法及び音楽再生システム
JP4062324B2 (ja) 動画再生装置及び動画再生方法
JP3716812B2 (ja) 動画再生装置及び動画再生方法
JP2010113278A (ja) 楽曲処理装置およびプログラム
JP2007188561A (ja) 音楽付きスライドショー自動生成装置及びプログラム
JP2013207466A (ja) 動画再生装置およびプログラム
US8629343B2 (en) Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
JP4329857B2 (ja) 動画再生装置
JP5230678B2 (ja) 採譜支援プログラム
JP5807419B2 (ja) 信号処理装置
JP2017083909A (ja) 音響信号発生装置
JP4479635B2 (ja) オーディオ装置及びカラオケ装置
JP2007047307A (ja) 効果音生成装置
JP6350693B2 (ja) 音響信号発生装置
JP4089712B2 (ja) 波形データ生成方法、楽音合成方法、波形データ生成装置およびコンピュータ読み取り可能な記録媒体
JP5966971B2 (ja) 情報処理装置及びプログラム
JP4097785B2 (ja) 波形再生装置
JP2004046280A (ja) シーケンスデータのタイミング処理装置
JP2014056164A (ja) 表示制御装置およびプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140516

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140521

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141110

R150 Certificate of patent or registration of utility model

Ref document number: 5655713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150