JP2006279267A - 動画分割表示装置及び該表示装置の操作方法 - Google Patents

動画分割表示装置及び該表示装置の操作方法 Download PDF

Info

Publication number
JP2006279267A
JP2006279267A JP2005092212A JP2005092212A JP2006279267A JP 2006279267 A JP2006279267 A JP 2006279267A JP 2005092212 A JP2005092212 A JP 2005092212A JP 2005092212 A JP2005092212 A JP 2005092212A JP 2006279267 A JP2006279267 A JP 2006279267A
Authority
JP
Japan
Prior art keywords
thumbnails
display
moving image
thumbnail
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005092212A
Other languages
English (en)
Other versions
JP4386283B2 (ja
Inventor
Haruki Ishimochi
春樹 石持
Emiko Tajima
恵美子 田嶋
Keiichiro Sato
啓一郎 佐藤
Kyoichi Suzuki
恭一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005092212A priority Critical patent/JP4386283B2/ja
Publication of JP2006279267A publication Critical patent/JP2006279267A/ja
Application granted granted Critical
Publication of JP4386283B2 publication Critical patent/JP4386283B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】動画ファイルを開き、動画を再生して閲覧しながら所望のフレームを検索する際、ユーザインターフェース表示における一覧性、認識性、操作性の調和を図り、必要なシーンを含むフレームを簡単でわかり易い操作によって検索する。
【解決手段】動画データを所定の時間間隔で分割し、時間間隔毎のフレームを静止画データとして取り出して複数のサムネイルを生成する。複数のサムネイルは、1つがメイン表示窓2aに表示される大きなサイズのメインサムネイルとされ、他のサムネイルはメイン表示窓2aの上部及び下部から斜め上方及び下方に連続して配列された表示窓2に表示され、左右方向指示キーの操作によりサムネイル間の時間間隔を変更し、また上下方向指示キーの操作により複数のサムネイルがジャンプする。
【選択図】図1

Description

本発明は動画分割表示装置及び該表示装置の操作方法に関し、さらに詳細には、動画データを所定の時間間隔で分割し、前記時間間隔毎の先頭フレームを静止画データとして時系列的に取り出して複数のサムネイルを生成して表示することにより、動画データの全体の内容が把握しやすく、操作性がよい動画分割表示装置及び該表示装置の操作方法に関する。
最近のパーソナルコンピュータ、PDA、携帯電話、ゲーム機等の情報処理装置においては、静止画像に加えて動画像を扱う場合が多くなっている。このような情報処理装置においては、動画編集や動画再生を行う際に、大量のデータ量を有する動画データの中からユーザが所望する動画データを迅速に選択するには、動画データ全体の内容を簡潔な内容表示により迅速に表示することが必要である。
従来の情報処理装置において、ユーザインターフェース表示画面を用いて大量の動画データの中から所望シーンを含むフレームを検索する場合には、動画ファイルを開き閲覧しながら、もしくは早送り、巻き戻し、スロー再生を行いながら、必要とするフレームにたどり着くという方法がとられていた。
また、画像モニタにチャプタ一覧といわれるインデックス画像を表示し、このインデックス画像中から拡大再生する静止画または動画を選択し、実行ボタンを押すことにより、その選択した静止画または動画を画像モニタに拡大表示するようにしていた。
さらに、インデックス画像を使用せずに、コマ送りボタンまたはコマ戻しボタンを操作することにより、所望の静止画または動画を画像モニタに表示するようにしていた。そして、コマ送りボタンまたはコマ戻しボタンによって動画(動画の最初の1コマ)が選択された場合には、さらに実行ボタンを押すことにより、選択された動画のファイルの全コマが動画として再生していた。
このような状況の中で、操作性のよいユーザインターフェース表示を開発するための多くの試みがなされているが、その1つとして特許文献1には、動画データの内容を簡易表示するための縮小画像であるサムネイルの作成方法とその表示方法が開示されており、動画データの内容を迅速かつ簡潔に表現するために、動画データ中の1フレームを静止画データとして取り出してサムネイルとし、前記動画データに対して複数のサムネイルを作成するもので、このように作成されたサムネイルを表示すれば、複数の動画データの内容をコマ送り表示で同時に表示することができ、ユーザが複数の動画データの中の1つを選択することを容易にすることができる。
また、特許文献2には、コマ送り時又はインデックス再生時に動画を表示する際に、その動画の全体の内容が把握できるように表示可能にする画像再生装置が開示されており、この画像再生装置においては、動画を構成する全コマのうちの撮影の最初の方のコマ画像、中間の2面のコマ画像、及び最後の方のコマ画像から4画面マルチ画像を構成し、これを4コマ漫画のように表示することにより、動画再生を開始する前に、動画再生を希望する動画であるかどうかを判断することができるようにしている。
特開平11−284948号公報 特開2001−197447号公報
しかしながら、従来の装置においては、大量の動画データの中から所望のフレームを探し当てるまでに不必要なデータについても大量に閲覧しなければならず、ユーザにとって多大な時間と手間を要していた。また、早送り、巻き戻し、スロー再生等多くの割り当てキーを用いる必要があり、単純な操作で短時間に必要なフレームを検索することが困難であった。
また、チャプタ一覧といわれるサムネイル画像からなるインデックス画像を複数表示する装置においては、画像が“田の字状”あるいは横1列表示で、一覧性と認識性を両立しているものではなかった。つまり、認識性を上げるためにサムネイル画像を大きく表示すると、表示できる数が減少し一覧性に欠ける。一覧性を上げるために表示数を増やすと、個々が小さくなり認識性が下がる。また、目的のサムネイル画像に行き着くために、上下左右の操作をしなければならず、操作が煩雑であった。
したがって、本発明は、動画ファイルを開き、その動画を再生して閲覧しながら所望のフレームを検索する際、ユーザインターフェース表示における一覧性、認識性、操作性の調和を図り、必要なシーンを含むフレームを簡単でわかり易い操作によって検索することができる動画分割表示装置及び方法を提供することを目的とする。
また、ユーザインターフェース表示において再生する画面間の時間間隔(時間刻み)を容易に変更することを可能とし、あたかも動画を時間的にズームイン・ズームアップするかのように表示し、従来のスロー再生や早送りといった動画視聴形態とは明らかに異なる動画の視聴形態が可能となる動画分割表示装置及び方法を提供することを目的とする。
また、従来のユーザインターフェース表示においては容易に行うことができなかったABリピート、早送り等のシーンサーチなしで時間指定等の方法で直接希望のシーンより再生するダイレクトイン、シーンカット、チャプタ編集といった動画編集作業や動画再生操作を容易に行うことができる動画分割表示装置及び方法を提供することを目的とする。
第1の技術手段は、動画データを所定の時間間隔で分割し、前記時間間隔毎の先頭フレームを静止画データとして取り出して複数のサムネイルを生成し、該複数のサムネイルを画面中の複数の表示窓に表示する動画分割表示装置において、前記複数のサムネイルは、1つが前記画面中のメイン表示窓に大サムネイルとして表示され、他のサムネイルは前記メイン表示窓から水平乃至傾斜方向に連続して配列される表示窓に小サムネイルとして表示され、左右方向の操作により前記時間間隔を変更し、上下方向の操作により前記複数のサムネイルが前記複数の表示窓間を移動することを特徴とする。
第2の技術手段は、第1の技術手段の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を折曲部として全体が略く字状または略C字状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする。
第3の技術手段は、第1の技術手段の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を左右方向の中央部として全体が階段状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする。
第4の技術手段は、第1の技術手段の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を左右方向の中央部として全体が対角線状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする。
第5の技術手段は、第1乃至4のいずれかの技術手段の動画分割表示装置において、隣接する前記サムネイル間の時間間隔は均一であることを特徴とする。
第6の技術手段は、第1乃至4のいずれかの技術手段の動画分割表示装置において、隣接する前記サムネイル間のそれぞれの時間間隔は任意に設定可能であることを特徴とする
第7の技術手段は、第1乃至6のいずれかの技術手段の動画分割表示装置において、前記左右方向の所定の操作は左右方向指示装置の操作であることを特徴とする。
第8技術手段は、第1乃至6のいずれかの技術手段の動画分割表示装置において、前記上下方向の所定の操作は上下方向指示装置の操作であることを特徴とする。
第9の技術手段は、第1乃至8のいずれかの技術手段の動画分割表示装置において、前記画面中に表示されている複数のサムネイルの範囲は、動画全体に対しどのような位置及び割合を占めているかを示すとともに、前記メインサムネイルの前記動画全体における位置を示すゲージを表示することを特徴とする。
第10技術手段は、第1乃至8のいずれかの技術手段の動画分割表示装置において、所定の操作により前記メインサムネイル以降の動画データを全画面再生することを特徴とする。
第11の技術手段は、第1乃至8のいずれかの技術手段の動画分割表示装置において、所定の操作により前記メインサムネイル以降の動画データを再生することを特徴とする。
第12の技術手段は、動画データを所定の時間間隔で分割し、該時間間隔毎の先頭フレームを静止画データとして時系列的に取り出して複数のサムネイルを生成し、該複数のサムネイルの1つをメイン表示窓に大メインサムネイルとして表示し、他のサムネイルを前記メイン表示窓の上部及び下部から水平乃至傾斜方向に連続して配列された複数の表示窓に表示する動画分割表示装置の操作方法であって、左右方向指示操作により前記サムネイル間の時間間隔を変更し、上下方向指示操作により前記複数のサムネイルが前記複数の表示窓間を移動する動画分割表示装置の操作方法であることを特徴とする。
本発明によれば、動画データを所定の時間間隔で分割し、前記時間間隔毎の先頭フレームを静止画データとして取り出した複数のサムネイルは、1つが画面中のメイン表示窓に大サムネイルとして表示され、他のサムネイルは前記メイン表示窓から水平乃至傾斜方向に連続して配列される表示窓に小サムネイルとして表示され、左右方向の所定の操作により前記時間間隔を変更し、また上下方向の所定の操作により前記複数のサムネイルが前記複数の表示窓間を移動する構成であるので、動画データに含まれる大量の画像データの内容を一覧性と認識性の調和を図るとともに、画面に表示される大サイズのサムネイルによって詳細かつ容易に把握することが可能となる。
また、複数の表示窓は全体が略く字状または略C字状、階段状あるいは対角線状に配列され、複数のサムネイルが時系列的に表示され、左右方向指示キーの操作により前記時間間隔を変更し、また上下方向指示キーの操作等により前記複数のサムネイルが移動しジャンプする構成であるので、画面構成が表示装置を操作する際の動作を容易に想像させ、動画再生時や動画編集作業時に所望のフレームを容易に検索することが可能となる。
また、サムネイル相互間の時間間隔(時間刻み)が均一な均一時間並び表示とサムネイル相互間の時間間隔がユーザにより任意に設定可能なインデックス一覧表示において、それぞれの時間間隔を簡単でわかり易い操作によって変更することができ、動画再生時や動画編集作業時に必要に応じ時間間隔を変更して、所望のシーンを容易に検索することが可能となる。
また、均一時間並び表示及びインデックス一覧表示において、サムネイル相互間の時間間隔を変更することにより、あたかも動画を時間的にズームイン、ズームアップするかのように表示することが可能になり、従来の動画再生において行われているスロー再生、早送り再生等とは異なる動画コンテンツの視聴形態を提供することが可能となる。
また、従来のユーザインターフェース表示においては容易に行うことができなかったABリピート、ダイレクトイン、シーンカット、チャプタ編集といった動画編集作業や動画再生操作を容易に行うことが可能となる。
本発明は、動画ファイルを開き、その動画を再生して閲覧しながら所望のフレームを検索する際、ユーザインターフェース表示における一覧性、認識性、操作性の調和を図り、所望のフレームを簡単でわかり易い操作によって検索することができる動画分割表示装置及び該表示装置の操作方法を提供することを目的とし、そのため、動画データを所定の時間間隔で分割し、前記時間間隔毎の先頭フレームを静止画データとして取り出して複数のサムネイルを生成し、該複数のサムネイルを画面中の複数の表示窓に一覧表示する動画分割表示装置において、前記複数のサムネイルは、1つが前記画面中のメイン表示窓に大サイズのメインサムネイルとして表示され、他のサムネイルは前記メイン表示窓から水平乃至傾斜方向に連続して配列される表示窓小サイズのサムネイルとして時系列的に表示され、左右方向の所定の操作により前記時間間隔を変更し、また上下方向の所定の操作により前記複数のサムネイルが前記複数の表示窓間を移動するように構成される。
以下、本発明の動画分割表示装置及び動画分割表示装置の操作方法を図1〜図23に示す実施例に基づいて説明する。
図1は、実施例1の動画分割表示装置を示す図で、図1(A)は、均一時間並び表示による動画分割表示装置を示し、図1(B)は、インデックス一覧表示による動画分割表示装置を示す。
実施例1の動画分割表示装置は、パーソナルコンピュータ(PC)、PDA、モバイル機器、カーナビ、携帯電話、ゲーム機等あらゆる情報処理装置におけるユーザインターフェース用の表示装置として用いることができ、表示用の情報を格納し提供する手段としては、ハードディスク(HDD)、DVD、CD、SD/CFカード等に限らずコンピュータによって読み取りが可能なあらゆる記録媒体が用いられる。
実施例1の動画分割表示装置においては、画面中央に動画表示部1を有し、動画表示部1には、例えばハードディスクに記録された動画データを所定の時間間隔で分割し、この時間間隔毎の先頭フレームを静止画データとして時系列的に取り出し、それぞれの静止画のサイズを縮小して生成した複数のサムネイルを表示する。生成された複数のサムネイルは、全体として略く字状に配列された複数の表示窓2の中に表示される。略く字状に配列して表示された複数のサムネイルの配列の順序としては、反時計方向に新しいフレームとなるような時系列で表示するのが一般的であるが、逆にする等これに限られるものではない。1画面に表示されるサムネイルの数は多いほど動画の全体像を把握する一覧性の点からは好ましいといえるが、図1に示す例では9個のサムネイルが表示され、画面サイズや解像度に応じ最適の数が設定される。
前記したように、複数の表示窓2は全体が略く字状に配列され、画面左寄り中央部の折曲部に位置する表示窓はカレント表示窓であってサイズが大きいメイン表示窓2aで、他の表示窓はメイン表示窓2aの右上部から斜め上方向に、また右下部から斜め下方向へと連続して配列されている。したがって、図に示すように9個のサムネイルが9個の表示窓2に表示されると、中央に位置するサムネイルがメイン表示窓2aに表示され、他のサムネイルよりサイズが大きい大サムネイルとして表示される。図1(A)の例では、メインサムネイルは他のサムネイルに比較して縦横共に約3倍に拡大されているので、細部についても詳細に表示することが可能である。なお、メインサムネイル2a以外の複数のサムネイルは小サムネイルであるが、全て同じサイズである必要はなく、例えば数種類のサイズを使用したり、メインサムネイルに向かって徐々にサイズを変更したりすることも考えられる。
メイン表示窓2aの位置にあるメインサムネイルの右方には、メインサムネイルに該当する画像ファイルの名前、情報量、作成日時等を表示する詳細情報表示部3が表示される。
また、動画表示部1の右端にはゲージ4が表示され、現在表示されている複数のサムネイルの範囲は、動画データ全体に対してどのような位置であって、どのような割合を占めているのかを直感的に表示するとともに、メインサムネイルは動画データのどの位置のデータであるのかを把握できるように表示されている。
図1(A)は、複数のサムネイルが、均一時間並び表示で配列されている例であって、各サムネイル間の時間間隔は均一である。均一時間並び表示においては、図1(A)の下方に示したように、全動画ファイルをある一定時間で等間隔に分割して(図1(A)では18等分されている)チャプタとし、各々のチャプタの先頭シーンがサムネイルとして作成される。これらのサムネイルのうち、時間的に連続する9個のサムネイルが選択され、図1(A)の上方のように表示される。また、9個のサムネイルの中央に位置するサムネイルがメインサムネイルとしてメイン表示窓2aに表示される。図1(A)の画面下方の時間スケールは、ゲージ4によって実現される。
図1(A)の均一時間並び表示においてサムネイルの表示を操作するには、上下方向指示キー、左右方向指示キー等を用いることができ、例えば左右方向指示キーの押圧操作によって、複数のサムネイル全体を下方または上方にスクロールさせウィンドゥ間でジャンプすることができる。また、上下方向指示キーの押圧操作によってサムネイル間の時間間隔(時間刻み)を変更することができる。また、決定キーを押圧する操作によってメインサムネイルを全画面表示としたり、メインサムネイル以降の画像データを動画として再生したりすることができる。
図1(B)は、複数のサムネイルが、インデックス一覧表示で表示されている例であって、各サムネイル間の時間間隔はそれぞれユーザにより任意に設定可能である。図1(B)の下方の時間スケールは、ユーザにより予め任意に設定された各インデックス(チャプタの先頭シーンをサムネイルとした)の位置(A),(B),(C),…,(L)を示している。インデックス一覧表示においては、これらのサムネイルのうち時間的に連続する9つが選択され、図1(B)のように表示される。また、9個のサムネイルの中央に位置するサムネイルは、メインサムネイルとしてメイン表示窓2aに表示される。図1(A)の画面下方の時間スケールは、ゲージ4によって実現される。
図1(B)のインデックス一覧表示においてサムネイルを操作するには、例えば、上下方向指示キー、左右方向指示キー等を用いて、上または下方向指示キーの押圧操作によってサムネイル全体を下方または上方にスクロールさせ表示窓間をジャンプすることができる。また、決定キーの押圧操作によってメインサムネイルを全画面表示としたり、メインサムネイル以降を動画として再生したりすることができる。
サムネイル間の時間間隔、時間刻みについて、さらに説明する。
図2は、均一時間並び表示におけるサムネイル間の時間間隔、つまり時間刻みを説明するための図である。ここで、動画データの全体の再生時間は90分であり、画面の動画表示部に9個のサムネイルを表示するものとしている。
図2(A)の例は、均一時間並び表示における各サムネイル間の時間間隔(時間刻み)が10分であって、動画データの先頭から0〜10分未満,10〜20分未満,…,80〜90分に等分割され、0分,10分,…,80分に位置するフレームがサムネイルに生成され、そのうちの40分に位置するフレームがサイズの大きい大メインサムネイルに処理され、メインメイン表示窓2aに表示される。そして、各サムネイル間の時間間隔については、前記したようにゲージ4に表示する。
図2(B)の例は、時間間隔が5分であって、動画データの先頭から0〜5分未満,5〜10分未満,10〜15分未満,…,80〜85分未満,85〜90分に等分割され、20分,25分,30分,…,55分,60分に位置するフレームがサムネイルに生成され、これらの中央である40分に位置するフレームのサムネイルがサイズの大きいメインサムネイルとされ、メイン表示窓2aに表示される。
図2(C)の例も同様であって、時間間隔が2分30秒で、30分00秒,32分30秒,35分00秒,…,47分30秒,50分00秒の位置にあるフレームがサムネイルに生成され、これらの中央である40分に位置するフレームがサイズの大きいメインサムネイルとされ、メインメイン表示窓2aに表示される。
同様にして図2(D)の例のように、時間間隔を10秒間隔、5秒間隔、MPEGにおけるGOPの間隔とすることができる。そして、最小の時間間隔としては図2(E)の例のように、記録されたフレームの間隔とすることも可能である。
実施例1の動画分割表示装置において、サムネイルを選択し表示を遷移させる操作及びそのときの表示について説明する。
図3は、キー操作によって均一時間並び表示が遷移する様子を示す図である。
図3(A)は、図1(A)に示す均一時間並び表示による動画分割表示装置を示し、ここで均一時間並び表示において前記した縦横方向(4方向)指示キーを用いて左方向指示操作を行えば、時間刻みを小さく変更することができ、時間刻みが5分である図3(A)の表示を図3(B)の表示のように2分30秒とし、図3(A)に表示された各サムネイルの中間に位置する新たなサムネイルを表示することができる。さらに左方向指示操作をn回行うことにより、図3(C)の表示のように最小の時間刻みである1/30秒とすることができる。また、図3(C)の表示から右方向指示操作を繰り返すことによって、図3(B)、図3(A)のように時間刻みが大きな表示に戻ることができる。
次に、図3(A)の均一時間並び表示において、上下方向指示操作を行えば、複数のサムネイルをジャンプすることができ、メイン表示窓2aに任意のサムネイルを移動させ、拡大表示することができる。つまり、図3(A)の表示において下方向指示操作を行えば、複数のサムネイル全体が反時計方向にスクロールするようにジャンプし、40分のサムネイル画像に代わって、メイン表示窓の右上方に隣接する35分のサムネイルが、図3(D)のように新たにメイン表示窓の位置に移動し、そこで拡大表示される。さらに図3(D)の表示において下方向指示操作を行えば、30分のサムネイルが、図3(E)のように新たにメイン表示窓の位置に移動し、そこで拡大表示される。また、図3(E)の表示から上方向指示操作を繰り返すことによって、図3(D)、図3(A)のように複数のサムネイルを時計方向に回してジャンプさせ元の表示に戻ることができる。また、図3(A)、図3(B)、図3(D)、図3(E)において、決定キーの長押し操作等によって、左右方向操作で決められた所定の時間間隔以内で、メイン表示窓上の動画を再生したり、上下方向指示キーの長押し操作等によって早送り・早戻し等を行って、所望のシーンをメイン表示窓に表示させることもできる。なお、インデックス一覧表示においても同様の操作によって、同様の表示が行われる。
また、図3(A)の均一時間並び表示において、決定キーの操作によって、図3(F)のようにメインサムネイルのシーンより全画面再生、あるいは全画面表示とすることができる。図3(F)の全画面再生あるいは全画面表示から図3(A)の表示に戻るには、メニュー画面に戻り均一時間並び表示を選択する。なお、インデックス一覧表示においても同様の操作によって、メインサムネイルを全画面表示とすることができる。
以上のように、本発明によれば(1)均一時間並び表示及びインデックス一覧表示による動画分割表示が可能である点、(2)サムネイル間の時間間隔あるいは時間刻みを、操作感覚と合致した簡単な操作により容易に変更することが可能である点、(3)操作感覚と合致した簡単な操作によりシーンジャンプを容易に行うことが可能である点、(4)メイン表示窓に表示されたサムネイル以降を簡単な操作により容易に全画面再生とすることが可能である点、(5)メイン表示窓中において動画の再生、早送り、巻き戻しが可能である点、(6)サムネイルとともに表示されたゲージを見ながら所望のシーンがあると予想される箇所を検索することが可能である点を基本的な特徴としている。
次に、情報処理装置等において、動画コンテンツに含まれる多量のシーンから所望のシーンを検索する際の操作について説明する。
図4は、動画コンテンツに含まれる多量のシーンから所望のシーンを検索する際、キー操作によって表示が遷移する様子を示す図である。
図4(A)は、動画コンテンツサムネイル画面で、いろいろなタイトル(動画コンテンツ)のアイコンが画面上方に横1列に配列し、中央位置にあるアイコンには、いわゆるフォーカスが当たり、そのアイコンのフォルダが選択されている。選択されたフォルダに属する動画ファイルは、アイコンの列の下方にそのファイル名及び関連事項が上下に複数並列して配列され、その中央のファイル名及び関連事項にはフォーカスが当たり、選択されたファイルであることが明らかにされている。選択されたファイル及び選択されたファイルに隣接する前後のファイルは、その内容を表すサムネイルが生成され、ファイル名及び関連事項の側方に表示されている。
図4(A)において、決定キーを押圧操作すると、フォーカスが当たり選択されたサムネイルは図4(B)のように全画面表示となり、それ以降の動画データの再生が始まる。再生中にA−Bリピート、シーンカット、静止画キャプチャ等の操作を行う場合、さらに機能キーを押圧すると、機能メニューが図4(C)のように重ねて表示され、上下方向指示キーで必要な機能を選択し、Iの処理へ移行する。
図4(A)において、機能キーを押圧すると、図4(D)の機能メニューが重ねて表示され、上下方向指示キー操作で必要な機能を選択することができ、ここで「動画分割表示」を選択すると、図4(E)の動画分割表示画面に移行するが、ここで均一時間並び表示とインデックス一覧表示は適宜切り替えて表示することができる。図4(E)において、図3に基づいて説明したような操作により、サムネイルのジャンプ、時間刻みの変更、サムネイルの早送り・早戻りを行って所望のシーンのサムネイルをサーチし、そのサムネイルをメイン表示窓に表示させて、決定キーを押圧する等の所定の操作により、図4(F)のようにそのサムネイルを全画面表示としたり、そのサムネイルから先の動画データを再生したりすることができる。
また、図4(C)あるいは(D)において、A−Bリピート、シーンカット、静止画キャプチャ等を選択すれば、I,IIの処理へ移行する。
次に、図1に示す動画分割表示装置を用いて、A−Bリピート、シーンカット、静止画キャプチャ動作を行う操作について説明する。なお、この操作は、図4に示すIの処理、IIの処理に相当する。
ここで、A−Bリピートとは、シーン全体中にA点、B点を設定しA−B点間を繰り返し再生することを意味し、シーンカットとは、A点、B点を設定しA−B点間をカットすることを意味し、静止画キャプチャとは、動画の1シーンを静止画として保存すること(シーンのキャプチャ)を意味する。
図5は、A−Bリピート及びシーンカットを行う際、A,B点の設定時にキー操作によって表示が遷移する様子を示す図である。
図5(G)は、図4のI,IIの続きのシーンが表示され、時間刻みが小さく表示された均一時間並び表示、インデックス一覧表示の例が示され、それぞれシーンカットまたはA−Bリピートを行うためのA点を設定するよう指示されている。ここで、図5(H)のように、上下方向指示キー操作によってサムネイルを時計方向または反時計方向に回るようにジャンプさせて、所望のサムネイルをメイン表示窓の位置に移動させ、また左右方向指示キー操作によって時間刻みを変更する、あるいは上下方向指示キーの長押し操作等によって早送り・早戻しを行う等して、所望のシーンをメインサムネイルに表示させ決定キーを操作をすることにより、図5(I)のようにA点を設定する。次に、図5(J)のようにB点を設定するよう指示されるので、再度、図5(H)においてA点の設定時と同様の操作を行うことにより図5(I)のようにB点を設定し、図5(K)の全画面表示に移行し、A−Bリピートを開始し、A−B間を繰り返し再生する。あるいは、シーンカット後のシーンより再生する。
なお、図5(G)において、均一時間並び表示とするかあるいはインデックス一覧表示とするかは、画像再生を行う用途や機能によって適当なものに選択されるが、適宜相互に変更可能である。
図6は、静止画キャプチャを行う際、キー操作によって表示が遷移する様子を示す図である。
図6(G)は、図4のI,IIの続きのシーンが表示され、時間刻みが小さく表示された均一時間並び表示及びインデックス一覧表示の例が示され、それぞれ静止画キャプチャを行うためのシーンを選定するよう指示されている。
図6(G)の表示において、上下方向指示キー操作によって、図6(L)のようにサムネイルを時計方向または反時計方向に回るようにジャンプさせ、また時間刻みを変更してシーンサーチを行い、所望のシーンがメイン表示窓の位置に来たら決定キー操作をすることにより、図6(M)のように静止画として保存することができる。このとき、画面上に保存したことを表す表示がなされ、一定時間が経過すると、図6(N)のように全画面再生が行われる。
均一時間並び表示において、時間間隔を変更する方法について詳細に説明する。
図7は、均一時間並び表示において、時間間隔を変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示す図である。ここで、動画ファイルの全体の再生時間は90分であり、画面の動画表示部に9個のサムネイルを表示するものとし、1回目の操作で時間間隔が10分から5分へ、次の操作で5分から1分へ、3回目の操作で1分から30秒分へと予め決められた値に変更されていくものである。
図7(A)は、サムネイル間の時間間隔を10分とした場合で、図7(A)の左側に示す時間スケールのように全体で90分の動画ファイルを先頭から0〜10分未満,10〜20分未満,…,80〜90分の領域に9等分され、0分,10分,…,80分の位置にあるフレームがサムネイルに形成される。これらの○印が付いているフレームが図7(A)の右図のように一覧表示され、そのうちの40分に位置するフレームがサイズの大きいメインサムネイルとされ、メイン表示窓の位置に中央表示される。そして、各フレーム間の時間間隔については、前記したようにゲージ4に表示するか、または画面の任意の位置に表示することができる。
図7(B)は、サムネイル画像間の時間間隔を5分とした場合で、全フレームが先頭から0〜5分未満,5〜10分未満,10〜15分未満,…,80〜85分未満,85〜90分に等分割され、20分,25分,30分,…,55分,60分の位置にある9フレームがサムネイルに形成され、これらの中央である40分に位置するフレームがサイズの大きいメインサムネイルとされ、メイン表示窓の位置に表示される。
図7(C)は、サムネイル間の時間間隔を1分とした場合で、全フレームが先頭から0〜1分未満,1〜2分未満,2〜3分未満,…,88〜89分未満,89〜90分に等分割され、36分,37分,38分,…,43分,44分の位置にある9フレームがサムネイルに形成され、これらの中央である40分に位置するシーンがサイズの大きいメインサムネイル画像とされ、メイン表示窓の位置に中央表示される。
同様にして、図7(D)に示すように、各フレーム間の時間間隔を30秒間隔、10秒間隔、5秒間隔等とすることができる。そして、最小の時間間隔としては、記録されたフレームの間隔とすることができ、30フレーム/秒とすれば時間間隔は1/30秒となる。
以上のようなサムネイル間の時間間隔の変更は、キーボードの左右方向指定キーの操作によって任意の時間間隔に設定して行うことができる。
均一時間並び表示において、時間間隔を変更する他の例について説明する。
図8は、均一時間並び表示において、時間間隔を変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示す他の例の図である。ここで、動画ファイルの全体の再生時間は90分であり、画面の動画表示部に9個のサムネイルを表示するものとしている。
1回の時間間隔変更操作でメイン表示窓を基準として前後のサムネイル間を表示するように、メイン表示窓の前後のサムネイル時間を表示サムネイル枚数(図8では9枚表示されているので8で割る)によった数で割った値を次の時間間隔とする。
図8(A)は、サムネイル間の時間間隔を10分とした場合で、図7(A)に示したのと同様の表示である。
図8(B)の表示は、図8(A)の表示の中央表示、つまりメイン表示窓に表示されたサムネイルを基準として前後10分である30〜50分を8等分し、時間分割を2分30秒とし、30分〜32分30秒未満,32分30秒〜35分未満,35分〜37分30秒未満,…,45分〜47分30秒未満,47分30秒〜50分に分割し、30分,32分30秒,35分,…,47分30秒,50分の図8(B)の左の時間スケール上の○印の位置にある9フレームがサムネイルに形成し、これらの中央である40分に位置するフレームがサイズの大きいメインサムネイルとされ、メイン表示窓の位置に中央表示される。
図8(C)の表示は、図8(B)の中央表示前後2分30秒、つまり37分30秒〜42分30秒のフレームを、37分30秒〜38分07.5秒未満,38分07.5秒〜38分45秒未満,38分45秒〜39分12.5秒未満,…,41分52.5秒〜41分52.5秒未満,41分52.5秒〜42分30秒に8等分し、37分30秒,38分07.5秒,38分45秒,…,41分52.5秒,42分30秒の位置にある9フレームをサムネイルに形成し、これらの中央である40分00秒に位置するフレームがサイズの大きいメインサムネイルとされ、メイン表示窓の位置に中央表示される。
均一時間並び表示において、時間単位を変更する更に他の例について説明する。
図9は、図7、図8と同様に、均一時間並び表示において、時間間隔を変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示している。ここで、動画ファイルの全体の再生時間は90分であり、画面の動画表示部に9個のサムネイルを表示するものとしている。
図9では、1回の時間間隔変更操作で、時間間隔(時間刻み)を1/2にする。図9(A)の表示は、サムネイル間の時間間隔を10分とした場合で、図8(A)に示したのと同様の表示である。
図9(B)の表示は、図9(A)の表示において、サムネイル間の時間間隔を1/2の5分とし、中央表示されるフレームの前後の計9枚のフレームをサムネイルとし、図9(A)の左図の時間スケール上の○印の20分,25分,30分,…,55分,60分の位置にあるフレームがサムネイルに形成され、表示される。
図9(C)の表示は、図9(B)の表示においてサムネイル間の時間間隔をさらに1/2にして、2分の30秒としたもので、30分00秒,32分30秒,35分00秒,…,47分30秒,50分00秒の位置にあるフレームがサムネイルに形成され、表示される。
同様にして、時間間隔を1/2にすることを繰り返し、1分15秒,37.5秒…と変更することができ、最小の時間間隔としては、記録されたフレームの間隔以下でない所定の時間間隔とすることができる。
次に、動画分割表示において、シーンジャンプを行う操作について説明する。
図10は、均一時間並び表示において、シーンジャンプを行う操作及びそのときの表示を示す図である。
図10(A)の表示において、メイン表示窓に表示されたサムネイルEをサムネイルDの位置に1枚ジャンプさせ、サムネイルFをメイン表示窓に表示するには、上方向指定キーを操作する。複数のサムネイル全体が時計方向に回り、サムネイルFがメイン表示窓に拡大して表示される。
逆回りに1枚ずつジャンプさせるには、下方向指定キーを操作する。
サムネイル間の時間間隔が小さいときに、表示されているフレームと時間的に離れてたシーン、つまりサムネイルとして表示されていないシーンまで飛ばして表示する必要があるような場合には、飛ばす枚数を方向指定キーで指定することができる。図10(B)の表示において、メイン表示窓に表示されたメインサムネイルEをサムネイルCの位置に1枚飛ばしてジャンプさせ、サムネイルGをメイン表示窓に表示するには、右方向指定キーと上方向指定キー用いて、1枚飛ばしてジャンプすることを設定する。
図10(C)の表示において、サムネイルを3枚飛ばしてジャンプさせ、サムネイル画像Iをメイン表示窓に中央表示するには、右方向指定キーを2回押圧し、上方向指定キーを押圧する。
ここで、飛ばす枚数を設定する操作は、右方向指定キーの押圧回数によって図10(A)の側方に示すような操作によって設定することができる。
図11は、動画分割表示において、シーンジャンプを行う操作及びそのときの表示を示す図である。
図11においてシーンジャンプを行う際の操作は、均一時間並び表示及びインデックス一覧表示のいずれにも適用することができる。
図11(A)の表示において、上方向指示キーを押圧すると、複数のサムネイル全体が時計方向に回ってジャンプし、図11(B)のように、メイン表示窓に2aに表示されていたサムネイルEがサムネイルDの位置に移動し、サムネイルFがメイン表示窓に拡大して表示される。同様の操作により、図11(C)のように、サムネイルGがメイン表示窓に拡大して表示される。
図11(A)の表示において、右方向指示キーを1回押圧し、続いて上方向指示キーを押圧すると、複数のサムネイル全体が時計方向に回って、図11(D)のように1枚飛ばしのジャンプが行われ、メイン表示窓に拡大して表示されていたサムネイルEがサムネイルCの位置に移動し、サムネイルGがメイン表示窓に拡大して表示される。同様の操作により、図11(E)のように、サムネイルIがメイン表示窓に拡大して表示される。
図11(A)の表示において、右方向指示キーを2回押圧し、続いて上方向指示キーを押圧すると、サムネイル全体が時計方向に回って、図11(F)のように3枚飛ばしのジャンプが行われ、メイン表示窓に拡大して表示されていたサムネイルEがサムネイルAの位置に移動し、サムネイルIがメイン表示窓に表示される。
同様にして、右方向指示キーを2回押圧し、続いて上方向指示キーを押圧すると、図11(G)のように、表示外のサムネイルMがメイン表示窓に拡大して中央表示される。
図12は、実施例2の動画分割表示装置を示す図である。
実施例1の動画分割表示装置は、メイン表示窓2aから右上方及び右下方に直線状に複数のサムネイルが配列し、全体として略く字状をなしたものであるが、実施例2の動画分割表示装置は、図12(A),(B)に示すように、メイン表示窓2aの上部及び下部から右上方及び右下方に弧状にサムネイルを配列し、全体として略C字状をなすように配列したものである。このようなサムネイルの配列により、表示領域の上下間隔を小さくすることができ、表示効率を向上することが可能となる。
図12(A)の表示におけるサムネイルの配列においては、120分番組を10分刻みで12個のサムネイルを生成し、そのうちの9個を表示したものである。
メイン表示窓2aに表示されている拡大されたサムネイルは、0分〜10分未満のうちの0分のスタートシーンを表すスタートサムネイルであり、スタートサムネイルから反時計方向に、10分、20分、…、100分、110分の各サムネイルが表示され、50分、60分、70分の各サムネイルについては表示外となっている。図12(A)の表示によれば、0分のスタートサムネイルと110分のエンドサムネイルとが隣接して表示され、全体のシーンがループ状に表示される。
これに対して、図12(B)の表示におけるサムネイルの配列においては、スタートシーンのスタートサムネイルとエンドシーンのエンドサムネイルとを隣接して表示しない。つまり、メイン表示窓に表示されている0分のスタートサムネイルから右下方に10分、20分、30分、40分の各サムネイルが表示され、50分、60分、…、100分、110分の各サムネイルについては表示外となっており、スタートシーンとエンドシーンとをループ状に表示させないので、例えばドラマの導入部分と結末部分とが同時に表示されるといったことがない。
図13は、実施例3の動画分割表示装置を示す図である。
実施例3の動画像分割表示装置は、120分番組を10分刻みで12個のサムネイルA〜Lを生成し、そのうち7個を表示するもので、実施例1の動画分割表示装置のアレンジを変更したものに相当し、図13(A)のように、メイン表示窓2aを画面左右方向の中央部に配置し、メイン表示窓2aの左上から左方向に一方の複数の表示窓を配列し、メイン表示窓2aの右下から右方向に他方の複数の表示窓を配列し、サムネイルの配列を全体として階段状に配置したものである。
図13(A)の表示は、12個のサムネイルA〜LのうちのサムネイルB〜Hが表示され、サムネイルEが拡大されてメイン表示窓2aに表示されている。
図13(A)の表示において、下方向指示キーを4回押圧することにより、サムネイルを下に向って4回ジャンプさせ、図13(B)のように、0分のスタートサムネイルAをメイン表示窓に表示させ、またサムネイルB、C、Dを表示させる。このとき、エンドシーン側のシーンJ、K、Lを表示外とし、スタートサムネイルAにエンドサムネイルLを隣接して表示させない。
図13(A)において、上方向指示キーを7回押圧することにより、サムネイルを上に向って7回ジャンプさせ、図13(C)のように、110分のエンドサムネイルLをメイン表示窓2aに表示させ、またサムネイルI、J、Kを左上方に表示させる。このとき、スタートシーン側のサムネイルA、B、Cを表示外とし、エンドサムネイルLにスタートサムネイルAを隣接して表示させない。なお、図13(A)から図13(C)の表示に遷移するために、上方向指示キーを7回操作してサムネイルを7回ジャンプさせるのに代え、図10,11に基づいて説明したのと同様に、左右方向指示キーを用いてサムネイルを飛ばして、所望のサムネイルをメインサムネイルに表示することもできる。また、図12(A)に示すのと同様にスターとサムネイルAとエンドサムネイルLが並ぶようにループさせて表示することもできる。さらに、サムネイル全体を上下方向に移動させてメインサムネイル2aの位置をずらすことにより、より多くのサムネイルを表示することもできる。
図14は、実施例4の動画分割表示装置を示す図である。
実施例4の動画分割表示装置は、120分番組を10分刻みで12個のサムネイルA〜Lを生成し、そのうち7個を表示するもので、実施例3の動画分割表示装置のアレンジを変更したものに相当し、メイン表示窓2aを画面左右方向の中央部に配置し、メイン表示窓2aの左上から左上方向に一方の複数の表示窓を配列し、メイン表示窓2aの右下から右下方向に他方の複数の表示窓を配列し、サムネイルの配列を全体として対角線状に配置したものである。
図14(A)の表示は、12個のサムネイルA〜LのうちのサムネイルB〜Hが表示され、サムネイルEが拡大されてメイン表示窓2aに表示されている。
図14(B)の表示は、図14(A)において下方向指示キーを4回押圧することにより、複数のサムネイル全体を下方向に4回ジャンプさせ、0分のスタートサムネイルAをメイン表示窓2aに表示させるとともにサムネイルB、C、Dを表示させることができるが、このときエンド側のサムネイルJ、K、Lは表示させない。この状態で、全てのメイン表示窓を図14(B)のように上方向に移動することにより、より多くのシーンを表示させることができる。
また、図14(C)は、図14(A)において上方向指示キーを7回押圧することにより、複数のサムネイルを上方向に7回ジャンプさせ、110分のエンドサムネイルLをメイン表示窓2aに表示させるとともにシーンI、J、Kを表示させることができるが、このときスタート側のシーンA、B、Cは表示させない。この状態で、全体の表示窓をサムネイルとともに下方向に移動させ、図14(C)のようにエンドサムネイルLを表示する際は、より多くのシーンを表示させることができる。なお、図14(A)から図14(C)の表示に移動するために、上方向指示キーを7回操作してサムネイルを7回ジャンプさせるのに代え、図10,11に基づいて説明したのと同様に、左右方向指示キーを用いてサムネイルを飛ばして、所望のサムネイルをメインサムネイルに表示することもできる。
図15は、実施例5の動画分割表示装置において、1サムネイルずつのシーンジャンプ及び1/2ずつの時間間隔変更を行う操作及びそのときの表示を示す図である。ここで、動画ファイルの全体の再生時間は70分であり、画面の動画表示部に9個のサムネイルを表示するものとしている。
実施例5のインデックス一覧表示装置は、サムネイルが全体として略C字状に配列した表示例で、図15(A)の表示は、時間刻みが10分であるため、0分,10分,20分,…,60分の7シーンを表示するサムネイルA〜Gが配列され、0分のスタートサムネイルAがメイン表示窓2aに表示され、60分のエンドシーンのサムネイルGとスタートシーンのサムネイルA間に2個のサムネイル分のウィンドゥスペースがブランクになっている。そして、図に示す位置に境界線を設け、スタートシーン側のサムネイル及びエンドシーン側のサムネイルは、境界線を越えて移動(ジャンプ)しないようにされている。
図15(A)において、上方向指定キーを押圧すると、全フレームA〜GのサムネイルA〜Gが時計方向に回るように1回ジャンプし、図15(B)のように、サムネイルBがメイン表示窓位置に移動する。
続いて、図15(B)において、上方向指定キーを2回押圧すると、2回ジャンプし、図15(C)のように、サムネイルDがメイン表示窓位置に移動し、サムネイルAは境界線を越えるため消去され、エンドサムネイルG以降の3スペースがブランクとされる。
さらに、図15(C)において、上方向指定キーを3回押圧すると、図15(D)のように、エンドサムネイルGがメイン表示窓位置に移動し、サムネイルA〜Dは境界線を越えるため消去され、エンドサムネイルG以降の6スペースがブランクとされる。
なお、図15(B)〜(D)の表示において、下方向指定キーを所定回押圧することにより図15(A)〜(C)の表示に戻ることができる。
図15(A)において、左方向指定キーを押圧すると、図15(E)のように、各サムネイル間の時間間隔が1/2の5分に変更され、サムネイルA−B,B−C,C−D,…,F−G間に新たに5分,15分,25分,…,65分のサムネイルが挿入され、35分以降のサムネイルは境界線を越えるため消去され表示されない。図15(E)から図15(A)の表示に戻るには、右方向指定キーを押圧すればよい。
また、同様にして、図15(B),(C),(D)において、左方向指定キーを所定回数押圧すると、それぞれ図15(F),(G),(H)のように、サムネイル間の時間間隔が変更される。
また、図15(F),(G),(H)において、右方向指定キーを所定回数押圧すると、図15(B),(C),(D)の表示に戻ることができる。
図16は、実施例6の動画分割表示装置において、1サムネイルずつのシーンジャンプ及び1/2ずつの時間間隔変更を行う操作を示す図である。ここで、動画ファイルの全体の再生時間は70分であり、画面の動画表示部に9個のサムネイル画像を表示するものとしている。
実施例6の均一時間並び表示装置は、実施例5の動画分割表示装置における境界線を設けないが、その代わりに、一連のサムネイルのうち、スタートシーン側とエンドシーン側には1サムネイル画像ずつスペースを介在させる、つまり一連のサムネイルをループ状に配列したときスタートサムネイルとエンドサムネイルとが隣接して配設されることがないようにする点で相違する。
図16(A)において、上方向指定キーを3回押圧すると、全サムネイルA〜Gが時計方向に回るように3回ジャンプし、図16(B)のように、サムネイルDがメイン表示窓2aに拡大して表示される。このとき、境界線がないため、サムネイルAは画面から消去されることはない。
図16(B)において、上方向指定キーを3回押圧すると、3回ジャンプし、図16(C)のように、サムネイルGがメイン表示窓に表示される。
図16(B),(C)において、下方向指定キーを所定回数押圧すると、図16(B),(A)の表示に戻ることができる。この場合、スタートサムネイルAとエンドサムネイルGとが隣接することはない。
図16(A)において、左方向指定キーを押圧すると、図16(D)のように、各サムネイル間の時間間隔が1/2の5分刻みに変更され、サムネイルA−B,B−C,C−D,…,F−G間に新たに5分,15分,25分,…,65分のサムネイルが挿入され、サムネイルA〜30分のサムネイルが表示されるが、35分のサムネイル以降は表示されず、スタートサムネイルAとの間に2個のサムネイル画像の分がスペースとしてあけられる。
図16(D)から図16(A)の表示に戻るには、右方向指定キーを押圧すればよい。
図16(B)において、左方向指定キーを押圧すると、図16(E)のように、サムネイル間の時間間隔が5分刻みに変更される。50分のサムネイルFと10分のサムネイルBは表示されず、スペースとしてあけられる。
図16(E)から図16(B)の表示に戻るには、右方向指定キーを押圧すればよい。
図16(C)において、左方向指定キーを押圧すると、図16(F)のように、サムネイル間の時間間隔が5分刻みに変更される。さらに、図16(F)において、左方向指定キーを押圧すると、図16(G)のように、サムネイル間の時間間隔が2分30秒刻みに変更され、例えば50分のサムネイルFと60分のサムネイルG間に、52分30秒、55分、57分30秒の各サムネイルが挿入されるが、50分のサムネイルFは消去される。
図16(G),(F)において、右方向指定キーを所定回数押圧すると、図16(F),(C)の表示に戻ることができる。
サムネイル表示の遷移とゲージの遷移との関係について説明する。
図17は、均一時間並び表示において表示されているサムネイルの遷移とゲージの遷移を示す図である。
図17(A)は、図1(A)の均一時間並び表示においてサムネイルのエンド側を表示しないようにしたものに相当し、動画ファイルの全体の再生時間は2時間、各サムネイル間の時間間隔は1分刻みで、メイン表示窓2aには中央表示として0分のスタートシーンのスタートサムネイルが拡大して表示され、右下方に1分〜4分のサムネイルが表示されている。このとき、動画表示部1の右側方のゲージ4には、動画ファイルの全体の再生時間は2時間であることがゲージ4の全長によって表示され、メイン表示窓2aに表示されたメインサムネイルの位置を示す中央表示マーク4aとともに、現在表示されている0分〜4分のサムネイルの範囲がファイル全体に対して占める割合を示す範囲バー4bが表示される。
図17(A)において、左方向指示キーを押圧すると、各サムネイル間の時間間隔が例えば5分刻みに変更され、0分のスタートサムネイルの右下方に5分,10分,15分,20分のサムネイルが表示される。このとき、割合を示すバーの長さは20分間に対応し、5個のサムネイルが表示されていることについても表示される。
図17(B)において、上方向指示キーを3回押圧すると、各シーンは時計回りに3回ジャンプし、図17(C)のように、15分のシーンのサムネイルが中央表示としてメイン表示窓2aに拡大して表示され、0分〜35分の7シーンのサムネイルが表示される。このとき、中央表示マーク4aは連動して15分の位置に移動し、範囲バー4bは35分間に対応して長くなり、7個のサムネイルが表示されていることについても表示される。
図17(C)において、さらに上方向指示キーを4回押圧すると、4回ジャンプし、図17(D)のように、35分のシーンのサムネイルがメイン表示窓に拡大して表示され、15分〜55分の9サムネイルが表示され、ゲージ4の中央表示マーク4aは35分の位置に移動し、範囲バー4bは45分間に対応した長さになり、9個のシーンのサムネイルが表示されていることについても表示される。
図18は、インデックス一覧表示において表示されているサムネイルの遷移とゲージの遷移を示す図である。
図18(A)は、インデックス一覧表示においてシーンのエンド側を表示しないようにしたものに相当し、動画ファイルの全体の再生時間は2時間、各シーン間の時間間隔はユーザによって、0分のスタートサムネイルから、10分目,11分目,12分目,62分目,72分目,…というようなインデックスが設定され、その結果、0分,10分,11分,12分,62分,72分の6シーンのサムネイルが表示され、メイン表示窓2aには中央表示として10分のサムネイルが表示されている。このとき、ゲージ4には、動画ファイルの全体の再生時間は2時間であることが表示され、中央表示の位置を示す中央表示マーク4aとともに、現在表示されている0分〜72分のサムネイルの範囲がファイルに対して占める割合を示す範囲バー4bが表示される。
図18(A)において、上方向指定キーを5回押圧すると、図18(B)に示すように82分のサムネイルがメイン表示窓に移動して表示されるが、これ以降のサムネイルはユーザによって設定されていないため表示されない。このとき、ゲージ4には、メイン表示窓の表示された中央表示のサムネイルは82分のサムネイルであること、及び現在表示されている11分〜82分のサムネイルの範囲がファイルに対して占める割合が範囲バー4bによって表示される。
図18(C)はインデックス一覧表示の特別な場合の例を示し、ユーザによって各サムネイル間の時間間隔が均一に設定されると、均一時間並び表示と同様の表示が行われ、このときのゲージ4も均一時間並び表示におけるのと同様に表示される。
次に、均一時間並び表示とインデックス一覧表示の切り替えについて説明する。
図19は、均一時間並び表示とインデックス一覧表示を相互に切り替える操作及びそのときの表示を示す図である。
均一時間並び表示とインデックス一覧表示を相互に切り替えるには、3種類の操作方法が考えられている。
(1)機能メニューより切替える方法
この方法は、図19(A)に示すように、いずれかを表示した状態でそれぞれの画面に機能メニューを表示させ、所望の表示を選択して切替える。
(2)機能メニューによらず切替える第1の方法
この方法は、図19(B)に示すように、均一時間並び表示及びインデックス一覧表示中の詳細情報表示部3に隣接した位置に時間間隔表示部5が表示され、ここに現在のサムネイル相互間の時間間隔(時間刻み)が表示されるとともに、その側方に表示された右方向マークをポイントすると、時間間隔が、「Min」,…,「30秒」,「1分」,「5分」,「10分」,…,「Max」,「インデックス」の順に循環表示され、また左方向マークをポイントすると、逆順に循環表示され、「インデックス」以外のいずれかが表示された状態で決定キーを押圧すれば、指定された時間間隔が設定されて均一時間並び表示となるか、または「インデックス」を選択すればインデックス一覧表示となる。
(3)機能メニューによらず切替える第2の方法
この方法は、図19(C)に示すように、均一時間並び表示及びインデックス一覧表示中の詳細情報表示部3に隣接した位置に時間間隔表示部5が表示され、この時間間隔表示部5の上段5aには均一時間並び表示において選択可能な時間間隔が横方向に並んで表示され、下段5bにはインデックス一覧表示を示す表示がなされ、左右方向指示キーを操作して均一時間並び表示とともに時間間隔を変更し、下方向指示キーを操作してインデックス一覧表示を選択する。
次に、本発明の動画分割表示装置においてなされる画像処理について説明する。
図20は、本発明の動画分割表示装置において、サムネイルを生成し、表示する画像処理装置を示すブロック図である。
本発明の動画分割表示装置の画像処理装置の例においては、再生しようとする動画ファイルはMPEG圧縮され、そのGOP(Group of Pictures)がストリームデータに配列されてハードディスクに記録されており、このようなハードディスクを搭載したハードディスク装置11、ファイルシステム部12、動画ファイルIピクチャ検出部13、動画ファイルIピクチャデコード部14、画像レイアウト処理部15、画像とリスト画面の合成表示処理部16、モニタ出力部17、CPUからなる、動画ファイル、サムネイルリスト表示制御部18、サムネイルリスト画面作成部19、操作パネル、表示ボタン20aが接続された操作パネル制御検出部20等から構成されている。
図21は、図20に示す画像処理装置において、サムネイル画面とサムネイルリスト画面(OSD画面)を合成し表示する際の処理を示すフローチャートである。
表示画面を備えた情報処理装置において、ユーザが操作パネル20a、表示ボタンを操作して、サムネイルリスト画面(OSD画面)を生成し表示するように指示する(ステップ1)と、操作パネル制御検出部20にて、リスト画面表示要求を検出する(ステップ2)。
動画ファイルサムネイルリスト表示制御部18にて、ファイルシステム部12を介して、ハードディスク装置11から動画ファイルのファイル情報(名前、再生時間等)を読み出し、さらに動画ファイルIピクチャ検出部13にて、動画ファイルからIピクチャデータの位置情報を取得する(ステップ3)。ここで、動画ファイルの位置情報(Iピクチャのアドレス)と時間情報の関係は、図22の下方に示す表のようになっている。
ステップ3で取得したファイル情報とIピクチャ位置情報から、サムネイルリスト画面作成部19にて、リスト画面(OSD画面)を作成する(ステップ4)。次に、取得したIピクチャ位置情報から、動画ファイルサムネイルリスト表示制御部18にて、表示する時間間隔(例えば、10分)に該当するIピクチャ位置情報のみを抜き出し、そのIピクチャの画像のを動画ファイルIピクチャデコード部14でデコードする(ステップ5)。
ステップ5でデコードした画像ファイルを画像レイアウト処理部15にて、必要な画面位置にレイアウトする(ステップ6)。次に、画像とリスト画面の合成表示処理部16にて、ステップ4で作成したリスト画面(OSD画面)と、ステップ6にて作成した画像レイアウト画面を合成し(ステップ7)、モニタ出力部17にて、作成した複数のサムネイル画像からなる動画分割表示画面をモニタ出力する(ステップ8)。
動画分割表示画面において、サムネイル間の時間間隔を変更する際の処理について説明する。
図22は、動画分割表示画面において、サムネイル間の時間間隔を変更する際の処理を示すフローチャートである。
ユーザは、操作パネル20aを用いて、左右方向の操作ボタンを操作すると(ステップ11)、操作パネル制御検出部20にて、リスト画像の時間間隔変更要求が検出される(ステップ12)。ここで、左方向の操作ボタンにより時間間隔は縮少され、右方向の操作ボタンにより時間間隔は拡大される。
動画ファイルIピクチャ検出部13から取得したIピクチャ位置情報から、動画ファイルサムネイルリスト表示制御部18にて、変更した時間間隔(例えば、5分)に該当するIピクチャ位置情報のみ抜き出し、そのIピクチャの画像のみ、動画ファイルIピクチャでコード部14にてデコードし、画像レイアウト処理部15にてサムネイル画面を作成する(ステップ13)。
次に、サムネイルリスト画面作成部19にて時間間隔を変更したサムネイルリスト画面(OSD画面)を作成し(ステップ14)、画像とサムネイルリスト画面の合成表示処理部16にて、ステップ13で作成したサムネイル画面と、ステップ14で作成したサムネイルリスト画面を合成し(ステップ15)、モニタ出力部17にて、作成した動画分割表示画面をモニタ出力する(ステップ16)。
動画分割表示画面において、サムネイルの表示位置を変更(ジャンプ)する際の処理について説明する。
図23は、サムネイルリスト画面において、サムネイルの表示位置を変更する際の処理を示すフローチャートである。
ユーザは、操作パネル20aを用いて、上下方向の操作ボタンを操作すると(ステップ21)、操作パネル制御検出部20にて、サムネイルリスト画像の表示開始位置変更要求が検出される(ステップ22)。ここで、カーソルレバーの上方向操作により表示開始位置を1つ進ませ上方向にジャンプし、下方向の操作ボタンにより表示開始位置を1つ戻し下方向にジャンプする。
表示するIピクチャ位置情報を変更し(例えば、1つ進ませる)、該当するIピクチャの画像のみ、動画ファイルIピクチャでコード部14にてデコードし、画像レイアウト処理部15にてサムネイル画面を作成する(ステップ23)。また、サムネイルリスト画面作成部19にて時間間隔を変更したサムネイルリスト画面(OSD画面)を作成する(ステップ24)。
画像とサムネイルリスト画面の合成表示処理部16にて、ステップ24で作成したサムネイルリスト画面と、ステップ23で作成したサムネイル画面を合成し(ステップ25)、モニタ出力部17にて、作成した動画分割表示画面をモニタ出力する(ステップ26)。
実施例1の動画分割表示装置を示す図で、図1(A)は、均一時間並び表示による動画分割表示装置を示し、図1(B)は、インデックス一覧表示による動画分割表示装置を示す。 均一時間並び表示におけるサムネイル間の時間間隔を説明するための図である。 キー操作によって均一時間並び表示が遷移する様子を示す図である。 動画コンテンツに含まれる多量のシーンから所望のシーンを検索する際、キー操作によって表示が遷移する様子を示す図である。 A−Bリピート及びシーンカットを行う際、A,B点の設定時にキー操作によって表示が遷移する様子を示す図である。 静止画キャプチャを行う際、キー操作によって表示が遷移する様子を示す図である。 均一時間並び表示において、時間間隔を変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示す図である。 均一時間並び表示において、時間間隔を変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示す他の例の図である。 均一時間並び表示において、時間間隔の1/2変更を繰り返して変更する際、キー操作によって表示が遷移する様子を時間スケールとともに示す更に他の例の図である。 均一時間並び表示において、シーンジャンプを行う操作及びそのときの表示を示す図である。 動画分割表示において、シーンジャンプを行う操作及びそのときの表示を示す図である。 実施例2の動画分割表示装置を示す図である。 実施例3の動画像分割表示装置を示す図である。 実施例4の動画像分割表示装置を示す図である。 実施例5の動画分割表示装置において、1サムネイルずつのシーンジャンプ及び1/2ずつの時間間隔変更を行う操作及びそのときの表示を示す図である。 実施例6の動画分割表示装置において、1サムネイルずつのシーンジャンプ及び1/2ずつの時間間隔変更を行う操作を示す図である。 均一時間並び表示において表示されているサムネイルの遷移とゲージの遷移を示す図である。 インデックス一覧表示において表示されているサムネイルの遷移とゲージの遷移を示す図である。 均一時間並び表示とインデックス一覧表示を相互に切り替える操作及びそのときの表示を示す図である。 本発明の動画分割表示装置において、サムネイルを生成し、表示する画像処理装置を示すブロック図である。 図20に示す画像処理装置において、サムネイル画面とサムネイルリスト画面(OSD画面)を合成し表示する際の処理を示すフローチャートである。 動画分割表示画面において、サムネイル間の時間間隔を変更する際の処理を示すフローチャートである。 サムネイルリスト画面において、サムネイルの表示位置を変更する際の処理を示すフローチャートである。
符号の説明
1…動画表示部、2…表示窓、2a…メイン表示窓、3…詳細情報表示部、4…ゲージ、4a…中央表示マーク、4b…範囲バー、11…ハードディスク装置、12…ファイルシステム部、13…動画ファイルIピクチャ検出部、14…動画ファイルIピクチャデコード部、15…画像レイアウト処理部、16…画像とリスト画面の合成表示処理部、17…モニタ出力部、18…動画ファイルサムネイルリスト表示制御部、19…サムネイルリスト画面作成部、20…操作パネル制御検出部、20a…操作パネル、表示ボタン。

Claims (12)

  1. 動画データを所定の時間間隔で分割し、前記時間間隔毎の先頭フレームを静止画データとして取り出して複数のサムネイルを生成し、該複数のサムネイルを画面中の複数の表示窓に表示する動画分割表示装置において、前記複数のサムネイルは、1つが前記画面中のメイン表示窓に大サムネイルとして表示され、他のサムネイルは前記メイン表示窓から水平乃至傾斜方向に連続して配列される表示窓に小サムネイルとして表示され、左右方向の操作により前記時間間隔を変更し、上下方向の操作により前記複数のサムネイルが前記複数の表示窓間を移動することを特徴とする動画分割表示装置。
  2. 請求項1に記載の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を折曲部として全体が略く字状または略C字状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする動画分割表示装置。
  3. 請求項1に記載の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を左右方向の中央部として全体が階段状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする動画分割表示装置。
  4. 請求項1に記載の動画分割表示装置において、前記複数の表示窓は前記メイン表示窓を左右方向の中央部として全体が対角線状に配列され、前記複数のサムネイルが時系列的に配列されることを特徴とする動画分割表示装置。
  5. 請求項1乃至4のいずれかに記載の動画分割表示装置において、隣接する前記サムネイル間の時間間隔は均一であることを特徴とする動画分割表示装置。
  6. 請求項1乃至4のいずれかに記載の動画分割表示装置において、隣接する前記サムネイル間のそれぞれの時間間隔は任意に設定可能であることを特徴とする動画分割表示装置。
  7. 請求項1乃至6のいずれかに記載の動画分割表示装置において、前記左右方向の所定の操作は左右方向指示装置の操作であることを特徴とする動画分割表示装置。
  8. 請求項1乃至6のいずれかに記載の動画分割表示装置において、前記上下方向の所定の操作は上下方向指示装置の操作であることを特徴とする動画分割表示装置。
  9. 請求項1乃至8のいずれかに記載の動画分割表示装置において、前記画面中に表示されている複数のサムネイルの範囲は、動画全体に対しどのような位置及び割合を占めているかを示すとともに、前記メインサムネイルの前記動画全体における位置を示すゲージを表示することを特徴とする動画分割表示装置。
  10. 請求項1乃至8のいずれかに記載の動画分割表示装置において、所定の操作により前記メインサムネイル以降の動画データを全画面再生することを特徴とする動画分割表示装置。
  11. 請求項1乃至8のいずれかに記載の動画分割表示装置において、所定の操作により前記メインサムネイル以降の動画データを再生することを特徴とする動画分割表示装置。
  12. 動画データを所定の時間間隔で分割し、該時間間隔毎の先頭フレームを静止画データとして時系列的に取り出して複数のサムネイルを生成し、該複数のサムネイルの1つをメイン表示窓に大メインサムネイルとして表示し、他のサムネイルを前記メイン表示窓の上部及び下部から水平乃至傾斜方向に連続して配列された複数の表示窓に表示する動画分割表示装置の操作方法であって、左右方向指示操作により前記サムネイル間の時間間隔を変更し、上下方向指示操作により前記複数のサムネイルが前記複数の表示窓間を移動することを特徴とする動画分割表示装置の操作方法。
JP2005092212A 2005-03-28 2005-03-28 動画分割表示装置 Expired - Fee Related JP4386283B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005092212A JP4386283B2 (ja) 2005-03-28 2005-03-28 動画分割表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005092212A JP4386283B2 (ja) 2005-03-28 2005-03-28 動画分割表示装置

Publications (2)

Publication Number Publication Date
JP2006279267A true JP2006279267A (ja) 2006-10-12
JP4386283B2 JP4386283B2 (ja) 2009-12-16

Family

ID=37213588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005092212A Expired - Fee Related JP4386283B2 (ja) 2005-03-28 2005-03-28 動画分割表示装置

Country Status (1)

Country Link
JP (1) JP4386283B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027431A (ja) * 2007-07-19 2009-02-05 Sony Corp 画像再生制御装置、画像再生制御方法およびプログラム
JP2009059312A (ja) * 2007-09-03 2009-03-19 Canon Inc 表示制御装置及びその制御方法、プログラム、記録媒体
JP2009104550A (ja) * 2007-10-25 2009-05-14 Toshiba Corp 医用画像保管装置
JP2009163391A (ja) * 2007-12-28 2009-07-23 Noritsu Koki Co Ltd ビューアーソフトウエアプログラムおよびビューアー装置
JP2010015256A (ja) * 2008-07-01 2010-01-21 Canon Inc 表示制御装置、及び表示制御方法
WO2010122644A1 (ja) * 2009-04-22 2010-10-28 パイオニア株式会社 画像表示システム
JP2010537288A (ja) * 2007-08-21 2010-12-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト 車両における情報表示方法および車両用表示装置
JP2013009108A (ja) * 2011-06-23 2013-01-10 Canon Inc 記録装置及び記録方法
US20130142497A1 (en) * 2011-12-01 2013-06-06 Samsung Electronics Co., Ltd. Method and apparatus for dividing and displaying contents
US8704849B2 (en) 2008-07-01 2014-04-22 Canon Kabushiki Kaisha Display control apparatus and display control method
WO2016125339A1 (ja) * 2015-02-03 2016-08-11 株式会社ソニー・インタラクティブエンタテインメント 動画像処理装置
EP3206206A1 (en) * 2016-02-09 2017-08-16 JVC KENWOOD Corporation Moving picture playback method, moving picture playback program, and moving picture playback apparatus
JP2019133386A (ja) * 2018-01-31 2019-08-08 Dynabook株式会社 電子機器、ウェアラブル機器および表示制御方法
JP2021111835A (ja) * 2020-01-07 2021-08-02 vizo株式会社 画像処理装置、画像処理方法、プログラム、および、システム
CN113572724A (zh) * 2021-06-04 2021-10-29 深圳思为科技有限公司 一种序列帧加载速度优化方法及装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027431A (ja) * 2007-07-19 2009-02-05 Sony Corp 画像再生制御装置、画像再生制御方法およびプログラム
JP2013175243A (ja) * 2007-08-21 2013-09-05 Volkswagen Ag <Vw> 車両における情報表示方法および車両用表示装置
JP2010537288A (ja) * 2007-08-21 2010-12-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト 車両における情報表示方法および車両用表示装置
JP2009059312A (ja) * 2007-09-03 2009-03-19 Canon Inc 表示制御装置及びその制御方法、プログラム、記録媒体
JP2009104550A (ja) * 2007-10-25 2009-05-14 Toshiba Corp 医用画像保管装置
JP2009163391A (ja) * 2007-12-28 2009-07-23 Noritsu Koki Co Ltd ビューアーソフトウエアプログラムおよびビューアー装置
JP2010015256A (ja) * 2008-07-01 2010-01-21 Canon Inc 表示制御装置、及び表示制御方法
US9190030B2 (en) 2008-07-01 2015-11-17 Canon Kabushiki Kaisha Display control apparatus and display control method
US8704849B2 (en) 2008-07-01 2014-04-22 Canon Kabushiki Kaisha Display control apparatus and display control method
JPWO2010122644A1 (ja) * 2009-04-22 2012-10-22 パイオニア株式会社 画像表示システム
WO2010122644A1 (ja) * 2009-04-22 2010-10-28 パイオニア株式会社 画像表示システム
JP2013009108A (ja) * 2011-06-23 2013-01-10 Canon Inc 記録装置及び記録方法
KR101901232B1 (ko) * 2011-12-01 2018-09-27 삼성전자 주식회사 컨텐츠를 분할하여 표시하는 방법 및 장치
US20130142497A1 (en) * 2011-12-01 2013-06-06 Samsung Electronics Co., Ltd. Method and apparatus for dividing and displaying contents
US8818166B2 (en) * 2011-12-01 2014-08-26 Samsung Electronics Co., Ltd. Method and apparatus for dividing and displaying contents
US9496004B2 (en) 2011-12-01 2016-11-15 Samsung Electronics Co., Ltd. Method and apparatus for dividing and displaying contents
CN103218216A (zh) * 2011-12-01 2013-07-24 三星电子株式会社 用于划分并显示内容的方法和设备
CN103218216B (zh) * 2011-12-01 2017-11-14 三星电子株式会社 用于划分并显示内容的方法和设备
WO2016125339A1 (ja) * 2015-02-03 2016-08-11 株式会社ソニー・インタラクティブエンタテインメント 動画像処理装置
JPWO2016125339A1 (ja) * 2015-02-03 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 動画像処理装置
US10489658B2 (en) 2015-02-03 2019-11-26 Sony Interactive Entertainment Inc. Video processing device
EP3206206A1 (en) * 2016-02-09 2017-08-16 JVC KENWOOD Corporation Moving picture playback method, moving picture playback program, and moving picture playback apparatus
US10347297B2 (en) 2016-02-09 2019-07-09 JVC Kenwood Corporation Moving picture playback method, moving picture playback program, and moving picture playback apparatus
JP2017143359A (ja) * 2016-02-09 2017-08-17 株式会社Jvcケンウッド 動画再生方法、動画再生プログラム及び動画再生装置
JP2019133386A (ja) * 2018-01-31 2019-08-08 Dynabook株式会社 電子機器、ウェアラブル機器および表示制御方法
JP6995651B2 (ja) 2018-01-31 2022-01-14 Dynabook株式会社 電子機器、ウェアラブル機器および表示制御方法
JP2021111835A (ja) * 2020-01-07 2021-08-02 vizo株式会社 画像処理装置、画像処理方法、プログラム、および、システム
CN113572724A (zh) * 2021-06-04 2021-10-29 深圳思为科技有限公司 一种序列帧加载速度优化方法及装置

Also Published As

Publication number Publication date
JP4386283B2 (ja) 2009-12-16

Similar Documents

Publication Publication Date Title
JP4386283B2 (ja) 動画分割表示装置
US7698658B2 (en) Display controlling apparatus, display controlling method, and recording medium
US7681128B2 (en) Multimedia player and method of displaying on-screen menu
US7844916B2 (en) Multimedia reproducing apparatus and menu screen display method
US8327267B2 (en) Image data processing apparatus, image data processing method, program, and recording medium
RU2413385C2 (ru) Просмотр видео с использованием уменьшенного изображения
JP5421627B2 (ja) 映像データ表示装置及びその方法
US20080155473A1 (en) Scrolling interface
JP4203741B2 (ja) データ再生装置およびデータ再生方法
JP4467462B2 (ja) 電子書籍表示装置及び該表示装置の操作方法
JP2006268295A (ja) ユーザインターフェース表示装置及びその操作方法
US20090063981A1 (en) Display control apparatus and control method thereof, program, and recording medium
JP2007189473A (ja) 動画再生装置
JP2008033743A (ja) 時系列データ再生制御のためのプログラム及び装置
JP2007096840A (ja) 情報閲覧装置
JP2011118805A (ja) スクロール表示装置
EP1703505A2 (en) Video data reproduction apparatus
JP2007323698A (ja) マルチメディアコンテンツ表示装置、方法及びプログラム
JP2011123156A (ja) スクロール表示装置
JP4884175B2 (ja) 記録再生装置およびそのためのプログラム
US20090222764A1 (en) Information processing device, information display method, and computer program
JP2007233797A (ja) プレビュー再生方法、装置、プログラム、及び媒体
KR102078479B1 (ko) 영상 편집 방법 및 영상 편집 장치
JP4933386B2 (ja) 表示制御装置及びその制御方法、プログラム
JP4891520B2 (ja) 動画像編集装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090924

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees