JP5471417B2 - 情報処理装置、情報処理方法、およびそのプログラム - Google Patents

情報処理装置、情報処理方法、およびそのプログラム Download PDF

Info

Publication number
JP5471417B2
JP5471417B2 JP2009289845A JP2009289845A JP5471417B2 JP 5471417 B2 JP5471417 B2 JP 5471417B2 JP 2009289845 A JP2009289845 A JP 2009289845A JP 2009289845 A JP2009289845 A JP 2009289845A JP 5471417 B2 JP5471417 B2 JP 5471417B2
Authority
JP
Japan
Prior art keywords
moving image
time range
image data
control unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009289845A
Other languages
English (en)
Other versions
JP2011130397A (ja
JP2011130397A5 (ja
Inventor
美樹 森
裕基 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Original Assignee
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc filed Critical Canon Marketing Japan Inc
Priority to JP2009289845A priority Critical patent/JP5471417B2/ja
Publication of JP2011130397A publication Critical patent/JP2011130397A/ja
Publication of JP2011130397A5 publication Critical patent/JP2011130397A5/ja
Application granted granted Critical
Publication of JP5471417B2 publication Critical patent/JP5471417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

情報処理装置、情報処理方法、およびそのプログラムに関し、特に、時間範囲の素早い大雑把な設定とコマ単位の正確な指定の両方を、ユーザが直観的な操作で実現することができる仕組みに関する。
動画編集を行う動画編集システムにおいて、ユーザが編集対象となる動画データの時間範囲を指定しなくてはならない場合がある。例えば、動画データの不要な時間部分のカットや、動画データの一部の時間部分にエフェクトを付加する場合などがそうである。こうした場合、開始時刻(イン点)と終了時刻(アウト点)をユーザが何らかの方法で指定し、イン点とアウト点に挟まれた時間範囲(あるいは挟まれていない時間範囲)を動画編集処理の対象とするのが一般的である。
特許文献1には、編集処理に不慣れなユーザでも簡易に操作できるように、スライドバーB5のスライド操作と、時間を単位にしたイン点及びアウト点間の長さの入力(B71、B72)とにより、編集点の設定を受け付ける技術が開示されている。
特許文献2には、複数の時刻変更ボタンを設け、それぞれのボタンに異なった時刻移動量を割り付けることで、時刻の大雑把な設定と細かな調整を両立できる技術が開示されている。
特許文献3には、メインの動画表示の横に、前後数コマ分のサムネイル(静止画)を表示し、それを選択することでコマの微調整を可能とする技術が開示されている。
特開2004−104468号 特開2005−267677号 特開2006−279267号
しかしながら、特許文献1の技術では、スライドバーを用いることで、時間範囲を大雑把に決定する際の操作性は向上するが、イン点及びアウト点を詳細に設定するのに適していない。
また、特許文献2の技術では、コマ単位での正確な時刻範囲指定が可能であるが、反面、イン点とアウト点の時間範囲とコマ単位指定ボタンとの関係がわかりにくいという欠点がある。また、ユーザにとって直観的な操作とは言い難く、操作性が悪くなってしまい、また、操作画面(特許文献2の図9)が大きくなってしまうという問題がある。
特許文献3に記載のシステムでは、コマ単位での正確な指定が可能であり、所望のコマ(フレーム)を探す場合に操作性はよいが、複数のサムネイルを同時表示するため、画面上に多くの領域が必要となってしまう。また、特許文献3では、所望のコマを検索するための技術であり、イン点とアウト点の指定が必要な時間範囲を指定する場合は想定しておらず、時間範囲の指定と組み合わせると、ユーザの直感的な操作ができなくなってしまう。
そこで、本発明は、時間範囲の素早い大雑把な設定とコマ単位の正確な指定の両方を、ユーザが直観的な操作で実現することができる仕組みを提供することを目的とする。
本発明は、動画データの再生を行う情報処理装置であって、再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示手段と、ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示手段により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御手段と備えることを特徴とする。
また、本発明は、動画データの再生を行う情報処理装置における情報処理方法であって、前記情報処理装置の画面表示手段が、再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示工程と、前記情報処理装置の出現表示制御手段が、ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示工程により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御工程と含むことを特徴とする。
また、本発明は、動画データの再生を行う情報処理装置で読み取り実行されるプログラムであって、前記情報処理装置を、再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示手段と、ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示手段により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御手段とて機能させることを特徴とする。
本願発明によれば、時間範囲の素早い大雑把な設定とコマ単位の正確な指定の両方を、ユーザが直観的な操作で実現することができる。
本発明の動画編集システムにおけるイン点とアウト点を指定するコントロール部にコマ送り/コマ戻しボタンが出現する前の状態の時間範囲指定画面の一例を示す図である。 本発明の動画編集システムの一例を示すステム構成図である。 本発明の動画編集システムのハードウェア構成を示すブロック図である。 本発明の動画編集システムにおけるイン点とアウト点を指定するコントロール部にコマ送り/コマ戻しボタンが出現した状態の時間範囲指定画面を示す図である。 本発明の動画編集システムにおける時間範囲指定画面の通常状態におけるスライダ部分の拡大図と、イン点とアウト点を指定するコントロール部にコマ送り/コマ戻しボタンが出現した状態のスライダ部分の拡大図である。 本発明の動画編集システムにおける動画編集画面の一例を示す図である。である。 本発明の動画編集システムの編集対象となる動画部分の時間範囲指定処理と、時間範囲を指定するための時間範囲指定画面の第一の表示処理の一例を示すフローチャートである。 本発明の動画編集システムの編集対象となる動画部分の時間範囲指定処理と、時間範囲を指定するための時間範囲指定画面の第二の表示処理の一例を示すフローチャートである。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図2は、本発明の実施形態における動画編集システム(動画編集装置)の構成を示す図である。なお、動画編集システムは、動画編集を行うための専用の装置であってもよいし、一般的なコンピュータ(情報処理装置とも呼ばれる)に動画編集プログラムがインストールされて実行されることにより動画編集システムとして実行される形態であってもよい。
なお、図2ではデジタルビデオカメラに代表される動画撮像装置で撮影した動画データを編集するものとしているが、これは一例であり、動画撮像装置以外で作成した動画も編集対象とすることは言うまでもない。例えば、動画生成アプリケーションソフトウェアを用いてユーザが生成した動画データを編集対象としてもよい。
カメラ200(デジタルビデオカメラ)は、被写体を撮影して動画データを生成する動作撮像装置である。撮影して得られる動画データの動画ファイル201は、本発明による動画編集システム202へと入力される。動画編集システム202で動画編集の指示を受けて、動画データに対して非可逆編集処理(非可逆圧縮ともいう)を行うと、非可逆編集処理された動画データが動画ファイル203へ保存される流れとなっている。なお、動画ファイル203を保存確定するときに、元動画データである動画ファイル200に上書きして保存してもよい。つまり、本実施例で後述するように、非可逆編集処理(非可逆圧縮)する前の動画データと非可逆圧縮した後の動画データとを同時に表示するために、非可逆圧縮した動画データは一時的に別ファイルとして一時的に保存されることになる。そして、その非可逆圧縮した結果を確認したユーザが、保存することを確定指示した場合に、動画ファイル200に上書き保存してもよいし、別ファイルとして保存してもよい。また、動画データの非可逆編集処理は、ユーザによる確定指示後に行い、プレビューで確認する際には、図5で説明するように、プレビュー用画像の非可逆処理して表示するようにしてもよい。なお、動画編集システム202における編集処理では、動画データの一部分(ユーザにより指定された時間範囲)を切り出して別ファイル203に保存する動画切り出し処理や、動画データの一部分(ユーザにより指定された時間範囲)をカット(削除)して残りの部分を結合して別ファイル203に保存する部分カット処理や、動画データの一部分(ユーザにより指定された時間範囲)に、モザイク、ぼかし、反転、色調変更などのエフェクトをかけるエフェクト処理が行われる。
図3は、本発明の実施形態における動画編集システムのハードウェア構成を示す図である。
CPU300は、システムバス311に接続される各デバイスやコントローラを統括的に制御する。
また、ROM302あるいは外部メモリ310には、CPU300の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、動画編集機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM301は、CPU300の主メモリ、ワークエリア等として機能する。
CPU300は、処理の実行に際して必要なプログラム等をRAM301にロードして、プログラムを実行することで各種動作を実現するものである。
また、入出力コントローラ303は、キーボード306、マウス307等のポインティング・デバイス、カメラ308からの動画データ転送などの入出力を制御する。
ビデオコントローラ304は、CRTディスプレイ(CRT)309等の表示器への表示を制御する。表示器はCRTだけでなく、液晶ディスプレイ等でも構わない。
メモリコントローラ305は、各種のアプリケーション、カメラから入力した動画データ、編集後の動画データ等を記憶する、ハードディスク等の外部メモリ310へのアクセスを制御する。
本発明を実現するための図7、図8の動画編集システムで実行される動画編集プログラムは外部メモリ310に記録されており、必要に応じてRAM301にロードされることによりCPU300によって実行されるものである。すなわち、図7、図8の動画編集システムで実行されるフローチャートの各ステップの処理は、コンピュータで読み取り実行可能なプログラムにより実行される。さらに、本発明に係わるプログラムへの入出力となる動画ファイル201および編集後の動画ファイル203、また上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ310に格納されているものとする。
また、外部メモリ310に記憶された本発明に係わるプログラムの指示により、CPU300はビデオコントローラ304を介してCRTディスプレイ309に対し、時間範囲指定画面(図1)を描画する。
図1は、本発明の動画編集システムにおけるイン点とアウト点を指定するコントロール部にコマ送り/コマ戻しボタンが出現する前の状態の時間範囲指定画面の一例を示す図である。
図1の時間範囲設定画面において、100は、動画再生領域(動画表示領域とも呼ぶ)であり、ここ動画再生領域100に、編集対象となる動画データの表示が行われる。編集処理をする際には、動画データの編集対象となる時間範囲が指定されるため、編集対象の開始点であるイン点の操作を行うときには、イン点で指定された動画のコマ画像が表示される。また、編集対象の終了点であるアウト点の操作を行うときには、アウト点で指定された動画のコマ画像が表示されることになる。
つまり、ユーザは、動画再生領域100を確認しながら、イン点ノブ101(イン点コントロール部)とアウト点ノブ102(アウト点コントロール部)を操作して、イン点とアウト点の時刻をそれぞれ指定することができる。スライダ部の左側にあるイン点ノブ101は、編集対象の動画データの先頭時刻を示し、スライダ部の右側にあるアウト点の部102は、編集対象の動画データの終了時刻を示す。イン点ノブ101とアウト点ノブ102は、マウス等のポインティング・デバイスによってドラッグ(クリックした状態で移動する)することで自由に移動することができ、その操作は、マウス等のカーソルオブジェクトを移動させることにより実現される。イン点ノブ101およびアウト点ノブ102の移動中(ドラッグ中)には、ノブの示す時刻における動画データの1コマ分の画像が動画再生領域100に表示される。ユーザはこの表示を参照し、ノブを動画データ内の希望する時刻へと移動することができる。
すなわち、本動画編集システムは、編集対象となる動画データの表示を行う動画表示領域(動画再生領域100)と、動画データの編集対象となる時間範囲を指定するための編集開始のイン点を指定するイン点コントロール部101と編集終了のアウト点を指定するアウト点コントロール部102とを含む時間範囲コントロール部とを含む動画編集画面(時間範囲指定画面:図1、図4)を表示部に表示する(画面表示手段)。
次に、図4を用いて、本発明の実施形態の動画編集システムにおける、イン点とアウト点を指定するコントロール部にコマ送り/コマ戻しボタンが出現した状態の時間範囲指定画面を説明する。
図4は、コマ送りボタンとコマ戻しボタンが出現したときの時間範囲指定画面を示す図であるが、コマ送りボタンとコマ戻しボタンが出現していない場合には、図1に示した時間範囲指定画面の表示となる。
本システムのユーザはマウス307を使用し、イン点ノブ404とアウト点ノブ402を、それぞれ左右へ移動(ドラッグ)することで、編集対象となる動画データの時間範囲を指定する。左端が動画の先頭時刻、また右端が動画の末尾時刻を示す。その間のいずれかへ2つのノブを移動することで、イン点とアウト点の時刻を指定することができる。イン点ノブ404とアウト点ノブ402に特定される時間範囲(挟まれた時間範囲、あるいは挟まれなかった時間範囲)が動画編集の対象となる。
つまり、切り出し処理やエフェクト処理は、イン点ノブ404とアウト点ノブ402に挟まれた時間範囲を編集対象とするが、部分削除処理(例えば、録画番組からコマーシャルを削除するCMカット処理)では、イン点ノブ404とアウト点ノブ402に挟まれた時間範囲を削除することになり、イン点ノブ404とアウト点ノブ402に挟まれなかった時間範囲が残すべく編集対象となる動画データとなる。
イン点ノブ404またはアウト点ノブ402を移動すると、ノブの示す時刻における動画の1コマ分の画像が動画再生領域400へ表示される。ユーザはこの表示を参照し、ノブを動画内の希望する時刻へと移動することができる。
このとき、後述する特定の動作を行い、所定の第一の条件を満たすことで、イン点ノブ404またはアウト点ノブ403の左右にコマ送りボタンとコマ戻しボタンが出現する。図4においては、イン点ノブ404の左右にコマ送りボタン403およびコマ戻しボタン401が出現した状態を示しているが、アウト点ノブ402の左右についても同様に出現させることができる。コマ送りボタン403とコマ戻しボタン401の使用方法については、後述する。
時間範囲の指定が完了したら、ユーザはOKボタン405をマウス307でクリックする。OKボタン405がクリックされると、イン点ノブ401とアウト点ノブ402で特定される時間範囲(挟まれた時間範囲、あるいは挟まれなかった時間範囲)に対し、編集操作が実行される。
図5は、本発明の実施形態における、時間範囲指定画面の通常状態におけるノブ部分の拡大図と、コマ送りボタンとコマ戻しボタンがポップアップ出現した状態におけるノブ部分の拡大図である。
時間範囲指定画面には、図5のようにイン点ノブ500とアウト点ノブ501が表示されており、これらを前述のとおりマウス307でカーソルオブジェクト502をノブ位置に合わせ、ドラッグすることによりノブを移動させることで時間範囲を指定できる。このイン点ノブ500とアウト点ノブ501をドラッグすることで、時間範囲の素早い大雑把な設定を、ユーザが直観的な操作で実現することができる。
そして、より正確にノブの時刻を指定したい場合には、イン点ノブ500やアウト点ノブ501をマウス307でクリック(第一の指定方法)する。例えば、イン点ノブ500をマウスのカーソルオブジェクト503の位置でクリックすると、下図のようにイン点ノブ500の左右にコマ送りボタン505とコマ戻しボタン504が出現して表示される。この状態で、コマ戻しボタン504をマウス307のカーソルオブジェクトでクリックすると、イン点が動画1コマ分前の時刻へ戻る。このとき、イン点ノブ500およびコマ送りボタン505とコマ戻しボタン504も1コマ分左へと移動する。そして、図4の動画再生領域400に表示される動画のコマ(フレーム)も1コマ分戻ることになる。同様にコマ送りボタン505をマウス307のカーソルオブジェクトでクリックすると、イン点が動画1コマ分先の時刻へ進む。このとき、イン点ノブ500および左右のコマ送りボタン505とコマ戻しボタン504も1コマ分右へと移動する。そして、図4の動画再生領域400に表示される動画のコマ(フレーム)も1コマ分進むことになる。
そして、図5の下図の状態で、コマ送りボタン505、コマ戻しボタン504以外のカーソルオブジェクト位置でマウスをクリックすると、コマ送りボタン505、コマ戻しボタン504が消え、図5の上図の状態へ戻る。
また、コマ送りボタン505、コマ戻しボタン504が表示されている図5の下図の状態のまま、イン点ノブ500をマウス307でドラッグ移動することで、図5の下図の表示状態のまま、上図のように時間範囲を大まかに指定するようにしてもよい。なお、コマ送りボタン505、コマ戻しボタン504が表示されたまま、イン点ノブ500のドラッグを許可せず、図5の上図の状態に戻してドラッグ移動させるように構成してもよい。
このように、時間範囲の素早い大雑把な設定とコマ単位の正確な指定の両方を、ユーザが直観的な操作で実現することができる。
また、本発明の別の実施例においては、図5の上図の状態でマウス307をクリックすることなく、マウスのカーソルオブジェクト503をイン点ノブ500の上へ重ねる(第二の指定方法)だけで、図5の下図ようにイン点ノブ500の位置(左右)にコマ送りボタン505、コマ戻しボタン504が表示されてもよい。この第二の指定方法においては、コマ送りボタン505、コマ戻しボタン504やイン点ノブ500以外の位置へマウスのカーソルオブジェクトを移動するだけで、コマ送りボタン505、コマ戻しボタン504が消え、図5の上図の状態へ戻る。この第二の指定方法においても、コマ送りボタン505、コマ戻しボタン504が表示されている図5の下図の状態で、ノブ500をマウス307でドラッグ移動することで、図5の下図の表示状態のまま、図5の上図状態と同様に時間範囲を大まかに指定することも可能である。
なお、図4、図5ではイン点ノブ404、500の場合について示したが、同様にアウト点ノブ402、501についてもコマ送りボタン、コマ戻しボタンの使用が可能である。
また、コマ送りボタン、コマ戻しボタンをマウスのカーソルオブジェクト502でクリックした場合に1コマだけ前後にイン点やアウト点を移動するものとしたが、コマ送りの設定によっては、これを2コマ以上移動させてもよい。なお、この設定は、図6のメニューの「設定」からユーザが任意の値を入力できることとする。あるいはマウス307のボタンを押下した時間の長さや、マウス307が複数のボタンを備えている場合には押下したボタンの種類、またマウス307のクリックと同時にキーボード306の特定キーを押下するなどの操作によって、移動するコマ数を変化させるようにしてもよい。
図6を用いて、本発明の動画編集システムにおける、動画編集画面について説明する。本発明の動画編集システムでは、読み込んだ動画データについていろいろな編集操作を行うことが可能となっている。
図6の動画編集画面600では、ユーザが操作するメニュー項目として、「ファイル」、「編集」601、「ツール」、「保存」、「設定」、「ヘルプ」が用意されている。本発明においては、編集時の動画データの部分指定について説明するため、「編集」項目601が選択されている状態を示している。
「編集」項目が選択されると、図6に図示しているように、編集内容を指定できるサブメニューが表示される。このサブメニューの項目として、「切り出し」602、「エフェクト」、「結合」、「その他」が用意されている。
本実施の形態で想定している編集処理は、指定された時間範囲の動画データを切り出して保存する動画切り出し処理、時間範囲の動画データを削除して残りの範囲の動画データ部分を結合して保存する部分カット処理、または、時間範囲の動画データに対してエフェクトをかけるエフェクト処理がある。動画切り出し処理は、「切り出し」602が選択されることで、ユーザ操作が可能となる。また、部分カット処理は、図6のサブメニュー項目「その他」であり、エフェクト処理は、サブメニュー項目「エフェクト」に相当する。なお、動画切り出し処理、部分カット処理、エフェクト処理のいずれも、編集対象となる動画データを指定する必要があるため、イン点ノブとアウト点ノブで時間範囲を指定することになる。
図6の603は、図1及び図4で説明した動画編集画面領域に相当する。ここで、時間範囲で指定されている動画データの各コマ画像が、プレビュー領域604に表示される。ここでは、150コマ分時間範囲が指定されているため、プレビュー領域604に150コマ分の画像がサムネイル表示される。なお、1画面に同時にすべてのコマ画像を表示できない場合は、図6のようにスクロールバーが表示される。
次に、動画編集システムにおける、時間範囲指定時の基本的な処理フローについて、図7、図8を用いて説明する。
図7は、本発明の動画編集システムの編集対象となる動画部分の時間範囲指定処理と、時間範囲を指定するための時間範囲指定画面の第一の表示処理の一例を示すフローチャートである。
図6に示した動画編集システムの動画編集アプリケーションソフトウェア(本発明の動画編集のプログラムに相当)で編集対象の動画データファイルがオープンされ、メニューから「編集」が選択され、例えば、サブメニューから「切り出し」が選択されることで、ホン時間範囲指定処理が開始される。時間範囲指定処理が開始されると、CPU300はユーザの操作を待つ。
図7の動画編集システムにおける動画部分の時間範囲指定処理と、時間範囲を指定するための時間範囲指定画面の第一の表示処理(第一の指定方法)の各ステップは、動画編集システムのCPU300が実行する。
ステップS700では、イン点ノブ(イン点コントロール部)またはアウト点ノブ(アウト点コントロール部)が、ユーザ操作によるマウスのカーソルオブジェクトによりクリックされたか否かを判断する。この判断は、画像編集システムのオペレーティングシステム(以下、OS)から動画編集プログラムに、コントロール部が押下されたことの指示を受け付けることにより判断できる。このOS機能は既知の技術であるため、詳細な説明は省略する。なお、このステップS700の処理は、ユーザ操作に従って移動するカーソルオブジェクトが時間範囲コントロール部(イン点コントロール部とアウト点コントロール部)上に重なっている状態で所定の第一の条件の第一の指定方法であるクリック操作を受け付けたかを判断している。第二の指定方法については、図8で後述する。
ノブがクリックされていない場合には、ステップS701で、イン点ノブ(イン点コントロール部)またはアウト点ノブ(アウト点コントロール部)が、ユーザ操作によるマウスのカーソルオブジェクトによりドラッグされたか否かを判断する。ドラッグされた場合には、ステップS702で、ドラッグされた後のノブの位置を取得し、イン点ノブとアウト点ノブで特定される部分を、動画データの編集対象となる時間範囲として決定し、RAM301に記憶し、既に記憶されている時間範囲があれば上書きする。このイン点ノブとアウト点ノブで特定される部分は、削除処理やエフェクト処理では、イン点ノブとアウト点ノブに挟まれた部分となる。また、部分削除(CM削除など)処理では、イン点ノブとアウト点ノブに挟まれた部分を削除対象とし、イン点ノブとアウト点ノブに挟まれていない部分を残す対象とし、残す部分の動画データを結合することになる。
ドラッグでもない場合には、ステップS709で、OKボタン103、405が押下されたか否かを判断する。OKボタンが押下されていない場合には、ステップS700に処理を戻す。OKボタンが押下された場合には、ステップS710で、編集処理の確定となるため、現在指定されている時間範囲(RAM301に記憶されている)で編集処理を実行する。具体的には、「動画切り出し処理」の場合には、指定されている時間範囲の動画データを切り出して、動画ファイル203に保存する(または動画ファイル201に上書き保存する)。また、「エフェクト処理」の場合には、指定されている時間範囲の動画データにエフェクト処理をして、動画ファイル203に保存する。また、「部分削除処理」の場合には、指定されている時間範囲の動画データを削除し、残った動画データ部分を結合して、動画ファイル203に保存する。
すなわち、動画編集画面(動画再生領域400)に表示されるイン点コントロール部(イン点ノブ404)、アウト点コントロール部(アウト点ノブ402)、コマ送りボタン403、およびコマ戻しボタン401に対するユーザ操作を受け付けて、イン点コントロール部とアウト点コントロール部で特定される部分を、動画データの編集対象となる時間範囲として決定する(S702とS709:時間範囲決定手段)。
そして、ステップS702で保存され、ステップS709で決定された、イン点コントロール部とアウト点コントロール部で挟まれた部分の時間範囲の動画データの編集を行う(S710:編集手段)。
次にユーザがマウス307を操作し、ノブ500、501をクリックした場合(ステップS700でYes)、ステップS703で、CPU300はコマ送りボタン403、コマ戻しボタン401を出現させ図4の動画編集画面(時間範囲指定画面)に表示する。すなわち、ユーザ操作に従って移動するカーソルオブジェクトが時間範囲コントロール部(イン点ノブ、アウト点ノブ)上に重なっている状態で所定の第一の条件(クリック)を満たした場合に、時間範囲コントロール部の左右にコマ送りボタンとコマ戻しボタンとを出現させて表示する(出現表示制御手段)。そのあとCPU300は再びユーザの操作を待つ。
ステップS704では、ユーザによりコマ送りボタン403、コマ戻しボタン401がクリックされたか否かを判断する。コマ送りボタン403がクリックされた場合は、ステップS707でユーザにより操作対象のコントロール部(イン点ノブまたはアウト点ノブ)を1コマ分先に移動し、コマ戻しボタン401がクリックされた場合は、操作対象のコントロール部を1コマ分後ろに戻す処理を実行する。そして、ステップS708で、CPU300は、新しい時刻におけるコマの画像を動画データから取得し、動画再生領域400に表示する。なお、ここで取得されるコマの画像は、操作対象の時刻(イン点ノブの場合はイン点のコマ画像)の画像である。ステップS708で動画のコマ画像の表示を更新したら、ステップS704に処理を戻す。
また、コマ送りボタン403、コマ戻しボタン401がクリックされない場合には、ステップS705で、それ以外の操作がなされたかを判断する。それ以外の操作は、ここでは、コマ送りボタン403、コマ戻しボタン401ではない領域でマウスのカーソルオブジェクトがクリックされた場合に相当する。その操作がなされない限り(なにも操作がされない)は、ステップS704、705の判定を繰り返す。
ステップS705で、コマ送りボタン403、コマ戻しボタン401以外でクリックされたと判断された場合には、ステップS706で、コマ送りボタン403、コマ戻しボタン401を時間範囲指定画面から消去する。すなわち、ユーザ操作に従って移動するカーソルオブジェクトが時間範囲コントロール部と重なっていない状態で所定の第二の条件(クリック)を満たした場合に、この時間範囲コントロール部の左右に既に表示されているコマ送りボタンとコマ戻しボタンの表示を消去する(表示消去制御手段)。そして、ユーザの入力待ち(ステップ700)へと戻る。
また、ステップS705のそれ以外の操作のときに、ユーザがマウス307を操作し、イン点ノブ、アウト点ノブの時間範囲コントロール部をドラッグした場合には、S702と同様に、ドラッグされた後のノブの位置を取得し、イン点ノブとアウト点ノブで特定される部分を、画データの編集対象となる時間範囲として決定し、RAM301に記憶し、既に記憶されている時間範囲があれば上書きする。
次に、図8の動画編集システムにおける動画部分の時間範囲指定処理と、時間範囲を指定するための時間範囲指定画面の第二の表示処理(第二の指定方法)について説明する。図8の各ステップは、動画編集システムのCPU300が実行する。
ステップS800では、ユーザ操作によるマウスのカーソルオブジェクトが、イン点ノブ(イン点コントロール部)またはアウト点ノブ(アウト点コントロール部)に重なった状態で所定の第一の条件(第二の指定方法)である所定時間経過がなされたか否かを判断する。ここで、マウスのカーソルオブジェクトの位置座標と、イン点ノブ(イン点コントロール部)およびアウト点ノブ(アウト点コントロール部)の位置座標は、画像編集システムのOSから動画編集プログラムが取得可能である。このOS機能は既知の技術であるため、詳細な説明は省略する。ここで、第二の指定方法である所定時間経過については、「0秒」とすれば、マウスのカーソルオブジェクトがノブに重なったことで条件を満たすことになるし、「5秒」のように時間幅を持たせてもよい。本実施形態では、所定時間を「0秒」、つまり重なったことで条件を満たすものとして説明を進める。
第二の指定方法の条件が満たされていない、すなわちノブに重なっていない場合には、ステップS801で、イン点ノブ(イン点コントロール部)またはアウト点ノブ(アウト点コントロール部)が、ユーザ操作によるマウスのカーソルオブジェクトによりドラッグされたか否かを判断する。ドラッグされた場合には、ステップS802で、ドラッグされた後のノブの位置を取得し、イン点ノブとアウト点ノブで特定される部分を、動画データの編集対象となる時間範囲として決定し、RAM301に記憶し、既に記憶されている時間範囲があれば上書きする。また、ノブをドラッグするときには、マウスのカーソルオブジェクトがノブに重なることになるが、ドラッグを開始したときには、コマ送りボタン、コマ戻しボタンを表示させずにノブのドラッグ処理を行うが、このとき、ステップS807で後述するように、コマ送りボタン、コマ戻しボタンを表示させたままノブのドラッグ処理を行ってもよい。
次に、ドラッグでもない場合には、ステップS811で、OKボタン103、405が押下されたか否かを判断する。OKボタンが押下されていない場合には、ステップS800に処理を戻す。OKボタンが押下された場合には、編集処理の確定となるため、現在指定されている時間範囲(RAM301に記憶されている)で編集処理を実行する。具体的には、「動画切り出し処理」の場合には、指定されている時間範囲の動画データを切り出して、動画ファイル203に保存する(または動画ファイル201に上書き保存する)。また、「エフェクト処理」の場合には、指定されている時間範囲の動画データにエフェクト処理をして、動画ファイル203に保存する。また、「部分削除処理」の場合には、指定されている時間範囲の動画データを削除し、残った動画データ部分を結合して、動画ファイル203に保存する。
次にユーザがマウス307を操作し、マウスのノブに重なり、第一の条件の第二の指定方法を満たした場合(ステップS800でYes)、ステップS803で、CPU300はコマ送りボタン403、コマ戻しボタン401を出現させ図4の動画編集画面(時間範囲指定画面)に表示する。すなわち、ユーザ操作に従って移動するカーソルオブジェクトが時間範囲コントロール部(イン点ノブ、アウト点ノブ)上に重なっている状態で所定の第一の条件(重なっている所定時間:「0秒」)を満たした場合に、時間範囲コントロール部の左右にコマ送りボタンとコマ戻しボタンとを出現させて表示する(出現表示制御手段)。そのあとCPU300は再びユーザの操作を待つ。
ステップS804では、ユーザによりコマ送りボタン403、コマ戻しボタン401がクリックされたか否かを判断する。コマ送りボタン403がクリックされた場合は、ステップS805でユーザにより操作対象のコントロール部(イン点ノブまたはアウト点ノブ)を1コマ分先に移動し、コマ戻しボタン401がクリックされた場合は、操作対象のコントロール部を1コマ分後ろに戻す処理を実行する。そして、ステップS806で、CPU300は、新しい時刻におけるコマの画像を動画データから取得し、動画再生領域400に表示する。なお、ここで取得されるコマの画像は、操作対象の時刻(イン点ノブの場合はイン点のコマ画像)の画像である。ステップS806で動画のコマ画像の表示を更新したら、ステップS804に処理を戻す。
また、コマ送りボタン403、コマ戻しボタン401がクリックされない場合には、ステップS807で、S801と同様にノブがドラッグされたか否かを判断する。ここでノブがドラッグされると、ステップS808で、ドラッグされた後のノブの位置を取得し、イン点ノブとアウト点ノブで特定される部分を、動画データの編集対象となる時間範囲として決定し、RAM301に記憶し、既に記憶されている時間範囲があれば上書きする。またこの処理でノブをドラッグするときには、コマ送りボタン、コマ戻しボタンを表示させたままノブのドラッグ処理を行う。ステップS808の処理が終わるとステップS804に処理を戻す。
ステップS807でノブがドラッグされていないと判断された場合には、ステップS809で、マウスのカーソルオブジェクトの座標位置が、これまで重なっていたノブ部と重ならない位置に変更になったか否かを判断する。重ならなくなると、ステップS810で、コマ送りボタン403、コマ戻しボタン401を時間範囲指定画面から消去する。すなわち、ユーザ操作に従って移動するカーソルオブジェクトが時間範囲コントロール部と重なっていない状態で所定の第二の条件(所定時間:「0秒」)を満たした場合に、この時間範囲コントロール部の左右に既に表示されているコマ送りボタンとコマ戻しボタンの表示を消去する(表示消去制御手段)。そして、ユーザの入力待ち(ステップ800)へと戻る。
また、ステップS809の所定の第二の条件として、本実施形態では所定時間「0秒」としたがこれに限るものではなく、カーソルオブジェクトが時間範囲コントロール部と重なっていない状態で0秒ではなく幅を持った所定時間(例えば5秒)経過した場合に、コマ送りボタンとコマ戻しボタンの表示を消去するようにしてもよい。この場合、所定時間内にまたカーソルオブジェクトが時間範囲コントロール部と重なった場合には、カウンタは0に戻ることになる。
また、ステップS809でマウスカーソルが重なったままであれば、ユーザの操作待ちである、ステップS804に処理を戻す。
以上説明したように、本実施形態によれば、最初は表示されていないコマ送りボタンとコマ戻しボタンとを、ユーザは簡単な操作によってノブの左右にコマ送りボタンとコマ戻しボタンを表示することができる。そのため、ノブを直接マウスで移動しておおよその時刻を指定する時間範囲の素早い大雑把な設定と、コマ送りボタンの操作による精度が高いコマ単位の正確な指定とを、直感的な操作の元に両立することができる。この時、コマ送りボタンはノブの位置にコンパクトに表示され、しかも使用が完了したら消去されることから、画面上で多くの表示領域を占有することもない。
以上説明した本実施の形態によれば、第1の効果として、業務システムへの申請内容に従って必要な場合に画像読み取りを行うためのスキャンチケットを発行するので、必要な場合だけスキャンジョブが発生させることができる。そして、ユーザが画像処理装置を利用する際に、読み取りが必要なジョブがあることを認識させるので画像の読み取り業務を忘れにくくさせることができる。
以上説明したように、本発明におけるプログラムは、図7、図8に示すフローチャートの処理に従って動画編集システムとしてのコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図7または図8の動画編集システムが実行可能なプログラムを記憶している。
(本発明の他の実施形態)
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。
また、動画編集システムが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。
200 カメラ
201 動画
202 動画編集システム
203 編集後の動画
300 CPU
301 RAM
302 ROM
303 入出力コントローラ
304 ビデオコントローラ
305 メモリコントローラ
306 キーボード
307 マウス
308 カメラ
309 CRT
310 外部メモリ

Claims (12)

  1. 動画データの再生を行う情報処理装置であって、
    再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示手段と、
    ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示手段により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御手段と
    備えることを特徴とする情報処理装置。
  2. 前記画面表示手段により表示された動画再生画面に含まれる時間範囲コントロール部は、前記動画データの再生対象となる時間範囲を指定するための再生開始のイン点を指定するイン点コントロール部を含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記画面表示手段により表示された動画再生画面に含まれる時間範囲コントロール部は、再生終了のアウト点を指定するアウト点コントロール部を含むことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記ユーザによる操作は、当該ユーザの操作に従って移動するカーソルオブジェクトの操作を含み、
    前記出現表示制御手段は、前記ユーザ操作に従って移動するカーソルオブジェクトが前記時間範囲コントロール部重なっている状態で、前記カーソルオブジェクトがクリックされた場合、または、前記ユーザ操作に従って移動するカーソルオブジェクトが前記時間範囲コントロール部重なっている状態で、所定時間が経過した場合に、前記所定の第一の条件を満たすと判断することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記ユーザ操作に従って移動するカーソルオブジェクトが前記時間範囲コントロール部と重なっていない状態で所定の第二の条件を満たした場合に、前記時間範囲コントロール部に既に表示されている前記動画データの再生対象となる範囲をコマ単位で指定するためのボタンの表示を消去する表示消去制御手段をさらに備えることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記表示消去制御手段は、前記ユーザ操作に従って移動するカーソルオブジェクトが前記時間範囲コントロール部と重なっていない状態で、前記カーソルオブジェクトがクリックされた場合、または、前記ユーザ操作に従って移動するカーソルオブジェクトが前記時間範囲コントロール部重なっていない状態で、所定時間が経過した場合に、前記時間範囲コントロール部に既に表示されている前記動画データの再生対象となる範囲をコマ単位で指定するためのボタンの表示を消去することを特徴とする請求項5に記載の情報処理装置。
  7. 前記時間範囲コントロール部で指定され時間範囲の動画データを切り出して保存する動画切り出し処理、前記時間範囲の動画データを削除して残りの範囲の動画データ部分を結合して保存する部分カット処理、または、前記時間範囲の動画データに対してエフェクトをかけるエフェクト処理を行う編集手段をさらに備えることを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  8. 前記画面表示手段は、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタンの操作を前記ユーザから受け付けた場合に、当該動画データの再生対象となる範囲をコマ単位で指定するためのボタンで指定されたコマの動画データを前記動画表示領域に表示することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記出現表示制御手段により表示された、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタンは、コマ送りボタンを含むことを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
  10. 前記出現表示制御手段により表示された、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタンは、コマ戻しボタンを含むことを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
  11. 動画データの再生を行う情報処理装置における情報処理方法であって、
    前記情報処理装置の画面表示手段が、再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示工程と、
    前記情報処理装置の出現表示制御手段が、ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示工程により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御工程と含むことを特徴とする情報処理方法。
  12. 動画データの再生を行う情報処理装置で読み取り実行されるプログラムであって、
    前記情報処理装置を、
    再生対象となる動画データの表示を行う動画表示領域と、前記動画データの再生対象となる時間範囲を指定するための間範囲コントロール部とを含む動画再生画面を示する画面表示手段と、
    ユーザによる操作が定の第一の条件を満たした場合に、前記画面表示手段により表示された前記時間範囲コントロール部に、前記動画データの再生対象となる範囲をコマ単位で指定するためのボタン出現させて表示する出現表示制御手段とて機能させることを特徴とするプログラム。
JP2009289845A 2009-12-21 2009-12-21 情報処理装置、情報処理方法、およびそのプログラム Active JP5471417B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009289845A JP5471417B2 (ja) 2009-12-21 2009-12-21 情報処理装置、情報処理方法、およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009289845A JP5471417B2 (ja) 2009-12-21 2009-12-21 情報処理装置、情報処理方法、およびそのプログラム

Publications (3)

Publication Number Publication Date
JP2011130397A JP2011130397A (ja) 2011-06-30
JP2011130397A5 JP2011130397A5 (ja) 2013-11-21
JP5471417B2 true JP5471417B2 (ja) 2014-04-16

Family

ID=44292436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009289845A Active JP5471417B2 (ja) 2009-12-21 2009-12-21 情報処理装置、情報処理方法、およびそのプログラム

Country Status (1)

Country Link
JP (1) JP5471417B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805962A (zh) * 2018-05-29 2018-11-13 广州梦映动漫网络科技有限公司 一种动态漫画的生成方法以及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109813A (ja) * 2017-12-20 2019-07-04 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320756A (ja) * 2003-04-04 2004-11-11 Sony Corp 映像編集装置および方法、記録媒体、並びにプログラム
JP2005108193A (ja) * 2003-09-09 2005-04-21 Canon Inc 動画システム、動画抽出装置及び動画抽出方法
JP3927974B2 (ja) * 2004-09-09 2007-06-13 キヤノン株式会社 動画像処理装置及び動画像処理方法及びプログラム及び記憶媒体
JP2006270805A (ja) * 2005-03-25 2006-10-05 Orion Denki Kk 簡易映像編集方法及びそれを備えた電子装置
WO2009020103A1 (ja) * 2007-08-03 2009-02-12 Loilo Inc 映像データ編集のためのインターフェースシステム
JP4991506B2 (ja) * 2007-12-07 2012-08-01 キヤノン株式会社 画像編集装置及び画像編集方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805962A (zh) * 2018-05-29 2018-11-13 广州梦映动漫网络科技有限公司 一种动态漫画的生成方法以及电子设备

Also Published As

Publication number Publication date
JP2011130397A (ja) 2011-06-30

Similar Documents

Publication Publication Date Title
US7050070B2 (en) Image editing method and image editing apparatus
US7561160B2 (en) Data editing program, data editing method, data editing apparatus and storage medium
US7480864B2 (en) Zoom editor
JP4385974B2 (ja) 画像表示方法、画像処理装置、プログラム及び記録媒体
US7095413B2 (en) Animation producing method and device, and recorded medium on which program is recorded
US20040170386A1 (en) Image processing apparatus and method for generating and displaying playlist for image data
JP5757966B2 (ja) 入出力装置
JP5715433B2 (ja) 撮像装置及びアルバム作成方法、プログラム並びに記憶媒体
JP5471417B2 (ja) 情報処理装置、情報処理方法、およびそのプログラム
JP2008059220A (ja) データ管理装置、カメラ、データ管理プログラム、データ管理方法
US9122923B2 (en) Image generation apparatus and control method
JP3927974B2 (ja) 動画像処理装置及び動画像処理方法及びプログラム及び記憶媒体
JP2012124789A (ja) 情報処理装置、及びその制御方法、プログラム
JP5880752B2 (ja) 情報処理装置、及びその制御方法、プログラム
JP2020178161A (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2015097860A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP5707567B2 (ja) 画像処理装置および画像処理方法
JP2018006868A (ja) 動画再生装置、動画再生方法及びプログラム
JP2000259135A (ja) プレゼンテーション資料表示装置、プレゼンテーション資料表示方法及びプレゼンテーション資料表示プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002016871A (ja) 映像編集方法および映像編集装置、並びに映像編集を行なうためのコンピュータプログラムを記録した記録媒体
JP4432529B2 (ja) 動画作成装置、動画作成方法およびコンピュータプログラム
JP5398882B2 (ja) 画像処理装置及び方法
AU2006200393B2 (en) A zoom editor
JP2000082128A (ja) 画像処理装置及びその制御方法、コンピュータ可読メモリ
CN115334242A (zh) 视频录制方法、装置、电子设备及介质

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120130

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121129

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130531

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R150 Certificate of patent or registration of utility model

Ref document number: 5471417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250