JP2007220198A - 動画像編集装置 - Google Patents

動画像編集装置 Download PDF

Info

Publication number
JP2007220198A
JP2007220198A JP2006039283A JP2006039283A JP2007220198A JP 2007220198 A JP2007220198 A JP 2007220198A JP 2006039283 A JP2006039283 A JP 2006039283A JP 2006039283 A JP2006039283 A JP 2006039283A JP 2007220198 A JP2007220198 A JP 2007220198A
Authority
JP
Japan
Prior art keywords
editing
moving image
image data
area
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006039283A
Other languages
English (en)
Other versions
JP4437121B2 (ja
Inventor
Takeshi Watanabe
剛 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2006039283A priority Critical patent/JP4437121B2/ja
Publication of JP2007220198A publication Critical patent/JP2007220198A/ja
Application granted granted Critical
Publication of JP4437121B2 publication Critical patent/JP4437121B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】利用者が編集作業を行なうときに、その編集作業における負担を軽減し、編集作業にかかる時間を短縮すること。
【解決手段】動画像編集装置は、利用者の操作部の操作に基づいて、記憶装置に格納された動画像データ(A)を表示装置に再生表示する。このとき、操作部の操作を表す操作履歴情報を記憶装置に格納する。操作履歴情報を含むタイムライン(20)を表示装置に表示する。利用者によるタイムライン(20)に対する編集領域を指定する編集領域指定指示に基づいて、動画像データ(A)のうちの、タイムライン(20)の編集領域に対応する動画像データ、又は、タイムライン(20)の編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)以外の領域に対応する動画像データを表示装置に再生表示する。
【選択図】図5

Description

本発明は、動画像データを編集する動画像編集装置に関する。
記憶装置(例示;ハードディスクレコーダー)に格納された動画像データを利用者が編集する動画像編集装置が知られている。利用者は、動画像データを編集する場合、動画像編集装置を操作して、動画像データの不要なシーン(あるいは必要なシーン)にブックマークを付けて、動画像データを編集時不要動画像データとそれ以外とに分ける。これにより、動画像編集装置は、動画像データのうちの、編集時不要動画像データ以外の動画像データだけを表示装置に再生表示することができるようになり、動画像データを編集して表示装置に再生表示したときの再生時間は、動画像データを編集しないで表示装置に再生表示したときの再生時間よりも短くなる。
しかし、この場合、利用者は、動画像データを編集するときに、自分で動画像データを編集時不要動画像データとそれ以外とに分ける編集作業を行なう必要があり、利用者に負担がかかってしまう上に、編集作業に時間がかかってしまう。
そこで、利用者が動画像データを視聴しながら、動画像編集装置を操作して、動画像データの不要なシーン(あるいは必要なシーン)にブックマークを付けることにより、視聴の後に行なう編集作業を楽にする方法も提供されている。しかし、この場合、利用者は、動画像データを視聴しながら編集作業を行なっていることになり、同じように利用者に負担がかかってしまう。また、動画像データを視聴しながら不要なシーンであるか必要なシーンであるかを判断することは難しい。
利用者が編集作業を行なうときに、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することが望まれる。
上記に関連する技術を紹介する。
特開2004−7155号公報に録画再生装置が記載されている(特許文献1)。この録画再生装置は、番組を構成するコンテンツを録画再生する番組録画再生部と、ユーザの操作による前記ユーザの指示情報を入力するユーザ操作部と、前記ユーザ操作部から入力された前記ユーザの指示情報に基づき前記番組録画再生部への録画再生を行なった、ユーザ操作の操作履歴情報を記憶する操作履歴メモリと、前記操作履歴メモリに記憶した前記操作履歴情報に基づいて、前記番組録画再生部に録画した前記コンテンツの消去領域を判定する消去判定手段と、前記消去判定手段の判定結果に基づき、録画した前記コンテンツの前記消去領域を削除する消去編集手段と、前記番組録画再生部、前記ユーザ操作部、前記操作履歴メモリ、前記消去判定手段、および前記消去編集手段に対しての制御、およびデータ処理を行なう制御手段とを具備したことを特徴としている。これにより、番組録画再生部における記録媒体の空き容量を確保するため、番組内の部分的な消去や、非消去の制御を可能としている。
特開2000−350165号公報に動画像記録再生装置が記載されている(特許文献2)。この動画像記録再生装置は、ユーザの入力操作に基づいて、動画像の記録、及び再生を行い、かつ、記録された動画像の要約情報を該動画像に含まれる画面を用いて表す装置である。動画像記録再生装置は、動画像の録画、及び、種々の再生速度,再生方向,画像精度の異なる方法での再生を行う録画再生手段と、上記動画像を格納する動画記憶手段と、上記動画像を複数のシーンに分割し、該分割した各シーンに含まれる画面のうちから、各シーンを代表する画面を選択するシーン検出手段と、上記動画像に対して、ユーザが入力操作した上記各再生方法に対応して、上記各シーン毎の各再生方法の実行回数を含む再生履歴を作成する制御手段と、上記再生履歴を格納する制御情報記憶手段とを備えている。上記制御手段は、上記再生履歴に基づいて、ユーザが画像精度を高く、かつ高頻度で再生したシーンに基づいて各シーンの優先順位を決定し、該優先順位に基づいて、要約情報として表示すべき上記シーンを代表する画面を選択するものである、ことを特徴としている。これにより、ユーザのお気に入りのシーンの代表画像を用いて、録画された動画の内容の要約情報を表示する。
特開2005−80149号公報に記録再生装置が記載されている(特許文献3)。この記録再生装置は、放送番組を録画データとして記録し、記録された録画データを再生する装置である。記録再生装置は、録画データの初回再生時に行われるユーザ操作を操作情報として記憶する操作情報記憶手段と、録画データの初回再生完了後に、前記操作情報記憶手段が記憶する操作情報を当該録画データに付与する付与手段と、この付与手段によって操作情報が付与された録画データを再生する場合、当該録画データに付与される操作情報を参照して初回再生時に行われたユーザ操作を再現する操作再現手段とを具備することを特徴としている。これにより、録画再生時の視聴環境をユーザ好みに自動設定する。
特開2004−7155号公報(請求項1) 特開2000−350165号公報(請求項1) 特開2005−80149号公報(請求項1)
本発明の課題は、利用者が編集作業を行なうときに、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる動画像編集装置を提供することにある。
以下に、[発明を実施するための最良の形態]で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、[特許請求の範囲]の記載と[発明を実施するための最良の形態]の記載との対応関係を明らかにするために付加されたものであるが、[特許請求の範囲]に記載されている発明の技術的範囲の解釈に用いてはならない。
本発明の動画像編集装置(1)は、再生表示制御部(21)と、格納制御部(22)と、操作画面表示制御部(23)と、編集再生表示制御部(25)とを具備している。
前記再生表示制御部(21)は、利用者の操作部(3)の操作に基づいて、記憶装置(12;14)に格納された動画像データ(A)を表示装置(2)に再生表示する。
前記格納制御部(22)は、前記操作部(3)の操作を表す操作履歴情報(31)を前記記憶装置(12;14)に格納する。
前記操作画面表示制御部(23)は、前記操作履歴情報(31)を含むタイムライン(20)を前記表示装置(2)に表示する。
前記編集再生表示制御部(25)は、利用者による前記タイムライン(20)に対する編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)を指定する編集領域指定指示に基づいて、前記動画像データ(A)のうちの、前記タイムライン(20)の前記編集領域に対応する動画像データ、又は、前記タイムライン(20)の前記編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)以外の領域に対応する動画像データを前記表示装置(2)に再生表示する。
本発明の動画像編集装置(1)では、再生処理と、編集処理とを実行する。
再生処理では、利用者は、動画像データを視聴する際、操作部(3)を操作して、記憶装置(12;14)に格納された動画像データ(A)を表示装置(2)に再生表示させる。このとき、本発明の動画像編集装置(1)は、操作部(3)の操作を表す操作履歴情報(31)を動画像データ(A)に対応付けて記憶装置(12;14)に格納しておく。
操作履歴情報(31)が表す操作部(3)の操作としては、“再生操作”、“早送り操作”、“スロー再生操作”、“停止操作”、“一時停止操作”、“コマ送り操作”、“コマ戻し操作”、“ズーム操作”、“リピート操作”、“タイムスキップ操作”…が例示される。例えば、利用者が動画像データ(A)を再生表示させる際、操作部(3)の操作が“再生操作”であるとき、利用者は、動画像データ(A)の必要なシーンを視聴している。また、操作部(3)の操作が“早送り操作”であるとき、利用者は、動画像データ(A)の不要なシーンと判断して、そのシーンを視聴していない。また、操作部(3)の操作が“早送り操作”、“巻き戻し操作”、“再生操作”、“スロー再生”などを繰り返すような“複数操作”であるとき、利用者は、動画像データ(A)の必要なシーンを視聴しており、その必要なシーンのうちの重要なシーンを繰り返し視聴しているといえる。
編集処理では、利用者は、動画像データ(A)を編集する際、操作画面(30)を表示装置(2)に表示させる。操作画面(30)は、タイムライン(20)と、上記の操作履歴情報(31)とを含んでいる。利用者は、操作履歴情報(31)“再生操作”、“早送り操作”、“複数操作”、“スロー再生操作”、…を参照することにより、動画像データ(A)の不要なシーンや必要なシーンを容易に判断することができる。
これにより、編集処理において、利用者は、入力部(4)を操作して、例えばブックマークを付けて、動画像データの不要なシーンを指定する。利用者は、入力部(4)を操作して、動画像データの不要なシーンの指定として、タイムライン(20)に対して編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)を指定する編集作業を行なう。この編集作業により、動画像データ(A)のうちの、タイムライン(20)の編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)以外の領域に対応する動画像データが表示装置(2)に再生表示される。
このように、本発明の動画像編集装置(1)によれば、利用者が動画像データ(A)を編集する編集作業を行なうときに、動画像データ(A)における操作履歴情報(31)“再生操作”、“早送り操作”、“複数操作”、“スロー再生操作”、…を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
本発明の動画像編集装置(1)において、前記操作画面表示制御部(23)は、前記タイムライン(20)の前記編集領域{(20−1)(20−4)}{(20−6)(20−7)}に対応する動画像データのサムネイル画像データ群(32)を前記表示装置(2)に表示する。
本発明の動画像編集装置(1)によれば、操作履歴情報(31)の操作情報群(31−1〜31−8)は、タイムライン(20)を領域群(20−1〜20−8)に分割している。このため、利用者は、操作情報群(31−1〜31−8)を参照することにより、動画像データ(A)の不要なシーンや必要なシーンを編集時に容易に判断することができる。
本発明の動画像編集装置(1)によれば、操作情報群(31−1〜31−8)のうち、利用者の入力部(4)の操作により選択操作情報{(31−1)(31−4)}{(31−6)(31−7)}が選択され、本発明の動画像編集装置(1)は、領域群(20−1〜20−8)のうちの選択操作情報{(31−1)(31−4)}{(31−6)(31−7)}に対する選択領域{(20−1)(20−4)}{(20−6)(20−7)}を選択する。このとき、本発明の動画像編集装置(1)は、その選択領域{(20−1)(20−4)}{(20−6)(20−7)}におけるサムネイル画像データ群(32)を操作画面(30)に表示する。利用者は、そのサムネイル画像データ群(32)を参照することにより、選択領域{(20−1)(20−4)}{(20−6)(20−7)}において不要なシーンや必要なシーンを容易に判断することができる。
これにより、利用者は、入力部(4)を操作して、例えばブックマークを付けて、タイムライン(20)に対して編集領域(20−1、20−3、20−4−1)(20−1〜20−5、20−6−1、20−8)を指定する編集作業を行なう。このように、本発明の動画像編集装置(1)によれば、利用者が動画像データ(A)を編集する編集作業を行なうときに、動画像データ(A)における操作履歴情報(31)を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
本発明の動画像編集装置(1)において、前記編集領域{(20−1)(20−4)}{(20−6)(20−7)}に対応する前記操作履歴情報(31)に、早送り操作を表す早送り操作情報(31−1)が含まれている。
この場合、前記サムネイル画像データ群(32)は、前記編集領域(20−1)のうち開始領域及び終了領域に対応する第1のサムネイル画像データ群(32−1)(32−N)(Nは3以上の整数)と、前記編集領域(20−1)の中間領域に対応する第2のサムネイル画像データ群(32−J)(Jは、1<J<Nを満たす整数)とを含んでいる。
前記第1のサムネイル画像データ群(32−1)(32−N)と第2のサムネイル画像データ群(32−J)における、サムネイル画像データの表示間隔が異なる。
本発明の動画像編集装置(1)によれば、操作履歴情報(31)の操作情報群(31−1〜31−8)のうちの選択操作情報が、“早送り操作”を表す早送り操作情報(31−1)である場合がある。この場合、早送り操作情報(31−1)に対応する選択領域(20−1)のうち、“早送り操作”の開始付近を表す開始領域と、“早送り操作”の終了付近を表す終了領域は、利用者が不要なシーンや必要なシーンであると判断する領域であると考えられる。一方、その選択領域(20−1)のうち、開始領域と終了領域との間の中間領域は、利用者が不要なシーンであると判断する領域であると考えられる。
そこで、本発明の動画像編集装置(1)では、開始領域、中間領域、終了領域のそれぞれに対して、早送り操作情報(31−1)に対するサムネイル画像データ群(32)を、サムネイル画像データ群(32−1)、(32−J)(Jは、1<J<Nを満たす整数)、(32−N)(Nは3以上の整数)に分けている。本発明の動画像編集装置(1)では、例えば、サムネイル画像データ群(32−1)、(32−N)の表示間隔を、サムネイル画像データ群(32−J)の表示間隔よりも小さくすることにより、サムネイル画像データ群(32−1)、(32−N)だけを細かく操作画面(30)上に表示する。利用者は、このようなサムネイル画像データ群(32)を参照することにより、選択領域(20−1)において不要なシーンや必要なシーンを容易に判断することができる。
本発明の動画像編集装置(1)において、前記編集領域{(20−1)(20−4)}{(20−6)(20−7)}に対応する前記操作履歴情報(31)に、複数操作を表す複数操作情報(31−4)(31−6)が含まれている。
この場合、前記サムネイル画像データ群(32)におけるサムネイル画像データの表示間隔が一定である。
本発明の動画像編集装置(1)によれば、操作履歴情報(31)の操作情報群(31−1〜31−8)のうちの選択操作情報が、“複数操作”を表す複数操作情報(31−4)(31−6)である場合がある。即ち、操作部(3)の操作として“早送り操作”、“巻き戻し操作”、“再生操作”、“スロー再生”、“停止操作”、“一時停止操作”、“コマ送り操作”、“コマ戻し操作”、“ズーム操作”、“リピート操作”、“タイムスキップ操作”などを繰り返し動画像データ(A)の必要なシーンを視聴している場合、利用者は動画像データ(A)の必要なシーンを視聴しており、かつその必要なシーンの中に特に重要なシーンがあると判断して視聴している。この場合、複数操作情報(31−4)(31−6)に対応する選択領域(20−4)(20−6)は、利用者が不要なシーンあるいは必要なシーンであると判断する領域であると考えられ、上記の早送り操作情報(31−1)に対応する選択領域(20−1)のように開始領域、中間領域、終了領域に分けることは困難である。
そこで、本発明の動画像編集装置(1)では、複数操作情報(31−4)(31−6)に対するサムネイル画像データ群(32)の表示間隔を一定にすることにより、サムネイル画像データ群(32)を細かく操作画面(30)上に表示する。利用者は、このようなサムネイル画像データ群(32)を参照することにより、選択領域(20−4)(20−6)において不要なシーンや必要なシーンを容易に判断することができる。
本発明の動画像編集装置(1)において、前記操作画面表示制御部(23)は、前記編集領域{(20−1)(20−4)}{(20−6)(20−7)}に対応する編集メニュー(33)を前記表示装置(2)に表示する。
本発明の動画像編集装置(1)によれば、利用者は、動画像データ(A)を編集するために、コマンド{編集メニュー(33)}を使用する場合がある。この場合、操作情報群(31−1〜31−8)のうち、選択操作情報{(31−1)(31−4)}{(31−6)(31−7)}が選択されたとき、全ての編集メニュー(33)の中から、選択操作情報{(31−1)(31−4)}{(31−6)(31−7)}に関連する編集メニュー(33)だけが操作画面(30)に表示される。利用者は、選択操作情報{(31−1)(31−4)}{(31−6)(31−7)}に関連する編集メニュー(33)だけを用いることにより、動画像データ(A)を容易に編集することができる。
本発明の動画像編集装置(1)において、前記操作画面表示制御部(23)は、前記編集メニュー(33)のメニューコマンド群のうち、利用者により選択指示されたメニューコマンドを実行する。
例えば、選択操作情報(31−1)“早送り操作”として選択領域(20−1)が選択されている場合、利用者は、主に、動画像データの不要なシーンの指定として、タイムライン(20)に対して編集領域を指定するためのメニューコマンド“シーンの削除”を用いることが考えられる。この場合、選択操作情報(31−1)“早送り操作”に関連する編集メニュー(33)として、メニューコマンド“シーンの削除”を先頭に操作画面(30)に表示することが好ましい。
例えば、選択操作情報(31−4)“複数操作”として選択領域20−4が選択されている場合、CMと本編の境目等のシーンの切れ目となる可能性が高い。このような場合、利用者は、動画像データの不要なシーンの指定として、タイムライン(20)に対して編集領域を指定するためのメニューコマンド“シーンの削除”を用いることが考えられる。また、利用者は、本編が始まるシーン等にタイトルを入れるためのメニューコマンド“タイトルの挿入”や、トランジションを入れるためのメニューコマンド“トランジションの挿入”を用いることも考えられる。この場合、選択操作情報(31−4)“複数操作”に関連する編集メニュー(33)として、メニューコマンド“シーンの削除”、“タイトルの挿入”、“トランジションの挿入”、…を優先的に操作画面(30)に表示することが好ましい。
例えば、選択操作情報(31−7)“スロー再生操作”として選択領域20−7が選択されている場合、利用者は、動画像データの編集として、選択領域(20−7)に対応するシーンについてスロー再生するように編集するためのメニューコマンド“スロー再生”を用いることが考えられる。また、利用者は、動画像データの編集として、選択領域(20−7)に対応するシーンについて通常速度で再生するように編集するためのメニューコマンド“スロー再生の解除”を用いることが考えられる。また、利用者は、必要に応じて、選択操作情報(31−7)“スロー再生操作”に対するサムネイル画像データ群を表示(あるいは表示の解除)するためのメニューコマンド“サムネイルの表示(あるいは表示の解除)”を用いたり、メニューコマンド“シーンの削除”を用いたりすることが考えられる。この場合、選択操作情報(31−7)“スロー再生操作”に関連する編集メニュー(33)として、メニューコマンド“スロー再生”、“スロー再生の解除”、“サムネイルの表示”、“シーンの削除”…を優先的に操作画面(30)に表示することが好ましい。
本発明の動画像編集システムは、上記の記憶装置(12;14)と、上記の操作部(3)と、上記の入力部(4)と、上記の表示装置(2)と、上記の動画像編集装置(1)とを具備している。
本発明の動画像編集方法は、上記の動画像編集装置(1)を用いる。この動画像編集装置(1)は、コンピュータであり、そのコンピュータには、コンピュータプログラム(13)が備えられている。そのコンピュータプログラム(13)は、上記の再生表示制御部(21)、格納制御部(22)、操作画面表示制御部(23)、編集領域指定制御部(24)、編集再生表示制御部(25)を含んでいる。この場合、本発明の動画像編集方法は、上記のコンピュータプログラム(13)により実現される。
本発明は、利用者が編集作業を行なうときに、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
以下に添付図面を参照して、本発明の動画像編集システムについて詳細に説明する。
図1は、本発明の動画像編集システムの構成を示している。本発明の動画像編集システムは、動画像編集装置1、表示装置2、操作部3、入力部4を具備している。動画像編集装置1は、制御装置10、記憶装置12を具備している。制御装置10は、記憶装置12、表示装置2、操作部3、入力部4に接続されている。また、制御装置10には、音声出力用のスピーカ(図示しない)が設けられている。記憶装置12としてはハードディスクレコーダーが例示される。
操作部3は、“再生操作”、“早送り操作”、“巻戻し操作”、“スロー再生操作”、“停止操作”、“一時停止操作”、“コマ送り操作”、“コマ戻し操作”、“ズーム操作”、“リピート操作”、“タイムスキップ操作{単に一定時間だけ進める操作、CM(コマーシャル)スキップ操作ともいう}”を指示するためのボタンを含んでいる。入力部4としては、キーボード、ポインティングデバイス(マウス)が例示される。本発明の動画像編集システムは、更に、リモートコントロール(リモコン)を具備し、操作部3、入力部4は、同一のハードウェアとしてリモコンに設けられていてもよい。
図2は、動画像編集装置1の構成を示している。動画像編集装置1は、コンピュータであり、制御装置10は、CPU(Central Processing Unit)11を具備している。
記憶装置12は、CPU11が実行するためのコンピュータプログラム13が格納された記憶領域を具備している。コンピュータプログラム13は、後述の再生表示制御部21、操作履歴格納制御部22、操作画面表示制御部23、編集領域指定制御部24、編集再生表示制御部25を含んでいる。
記憶装置12は、更に、記憶領域として動画像データ記憶部16と、編集用記憶部17とを具備している。動画像データ記憶部16には、動画像データA、B、Cが格納されている。編集用記憶部17には、後述の編集データベース14、編集メニューデータベース15が格納されている。動画像データ記憶部16と編集用記憶部17は、動画像編集装置1が具備しているが、動画像編集装置1に接続された別の記憶装置(例示;ハードディスクレコーダー)が具備してもよい。
再生表示制御部21、編集再生表示制御部25は、ソフトウェア(例示;コンピュータプログラム)に限らず、ハードウェア(例示;回路)でも実現される。例えば、動画像編集装置1は、再生装置(図示しない)を更に具備し、再生装置は、記録媒体(ビデオテープ、ディスク)を収納する収納部(図示しない)と、収納部に収納された記録媒体から動画像データを読み出すドライブ(図示しない)と、再生表示制御部21、編集再生表示制御部25とを具備している。この場合、上記の記録媒体は、動画像データ記憶部16に対応する。再生表示制御部21、編集再生表示制御部25は、それぞれ、後述の再生処理、編集処理において、動画像データを表示装置2に再生表示する。
図3は、編集データベース14を示している。編集データベース14には、後述の再生処理により、動画像データA、B、Cが格納される。あるいは、編集データベース14には、動画像データ記憶部16に格納された動画像データA、B、Cを識別する動画像データ識別子が、上記の動画像データA、B、Cとして格納されてもよい。本実施例では、編集データベース14には、動画像データA、B、Cが格納されるものとする。
例えば、動画像データA、Bは、放送局やインターネットにより放送された番組を録画したときの映像データである。動画像データCは、ビデオカメラにより被写体を撮影したときの映像データである。動画像データA、B、Cは、それぞれ、動画像データA、B、Cを識別するために付けられたファイル名(図示しない)と、動画像データA、B、Cを表す複数の静止画像データと、動画像データA、B、Cを録画したときの録画時間と、音声を表す音声データとを含んでいる。編集データベース14には、動画像データA、B、Cを編集することが可能な時間軸を表すタイムライン20が格納されている。
例えば、利用者は、操作部3の操作により、記録媒体(動画像データ記憶部16)に格納された動画像データAを再生するための再生指示を行なう。このとき、再生表示制御部21、操作履歴格納制御部22は、再生処理を行なう。この再生処理において、再生表示制御部21は、記録媒体(動画像データ記憶部16)から動画像データAが読み出されるように上記のドライブを制御し、ドライブにより読み出された動画像データAを編集データベース14に格納する。再生表示制御部21は、利用者の操作部3の操作により、表示装置2に再生表示する。操作履歴格納制御部22は、操作部3の操作を表す操作履歴情報31を動画像データAとタイムライン20とに対応付けて編集データベース14に格納する。操作履歴情報31は、タイムライン20を領域群に分割する操作情報群を含んでいる。操作情報群としては、“再生操作”、“早送り操作”、“スロー再生操作”、“停止操作”、“一時停止操作”、“コマ送り操作”、“コマ戻し操作”、“ズーム操作”、“リピート操作”、“タイムスキップ操作”、“複数操作”を含んでいる。“複数操作”は、“早送り操作”、“巻き戻し操作”、“再生操作”、“スロー再生”、“停止操作”、“一時停止操作”、“コマ送り操作”、“コマ戻し操作”、“ズーム操作”、“リピート操作”、“タイムスキップ操作”のうちの2つ以上の操作を表している。“早送り操作”とは、早送りの他に、早送り再生も含んでいる。“巻戻し操作”とは、巻戻しの他に、巻戻し再生も含んでいる。
例えば、利用者が動画像データAを再生表示させる際、操作部3の操作が“再生操作”であるとき、利用者は、動画像データAの必要なシーンを視聴している。また、操作部3の操作が“早送り操作”であるとき、利用者は、動画像データAの不要なシーンと判断して、そのシーンを視聴していない。また、操作部3の操作が“早送り操作”、“巻き戻し操作”、“再生操作”、“スロー再生”などを繰り返すような“複数操作”であるとき、利用者は、動画像データAの必要なシーンを視聴している上に、その必要なシーンのうちの重要なシーンを繰り返し視聴している。
例えば、利用者は、動画像データAを編集するときに、入力部4により編集指示を行なう。このとき、操作画面表示制御部23、編集領域指定制御部24、編集再生表示制御部25は、編集処理を行なう。この編集処理において、操作画面表示制御部23は、操作画面を表示装置2に表示する。操作画面は、動画像データAにおけるタイムライン20と、操作履歴情報31と、サムネイル画像データ群(後述)、編集メニュー(後述)を含んでいる。
利用者は、操作履歴情報31、サムネイル画像データ群を参照して入力部4を操作し、編集メニューを用いて編集領域指定指示を行なう。利用者は、入力部4を操作して、編集領域指定指示として例えばブックマークを付けて、動画像データの不要なシーンを指定する。編集領域指定制御部24は、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域を指定する。編集再生表示制御部25は、編集再生指示に応じて、動画像データAのうちの、タイムライン20の編集領域に対応する動画像データ、又は、タイムライン20の編集領域以外の領域に対応する動画像データを表示装置2に再生表示する。
図4は、編集メニューデータベース15を示している。編集メニューデータベース15には、操作情報群と、操作情報群に関連する命令を実行するためのコマンドを表す編集メニュー33とが格納されている。操作情報群に関連する編集メニュー33は、利用者が操作履歴情報31を参照するときに用いられる。操作情報群のそれぞれに対して、操作情報群に関連する編集メニュー33は異なる。その編集メニュー33は、メニューコマンド群を含んでいる。例えば、“早送り操作”に関連する編集メニュー33のメニューコマンド群としては、“シーンの削除”、…が例示される。メニューコマンド“シーンの削除”とは、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域を指定するためのコマンドである。“複数操作”に関連する編集メニュー33のメニューコマンド群としては、“シーンの削除”、“タイトルの挿入”、“トランジションの挿入”、…が例示される。“スロー再生操作”に関連する編集メニュー33のメニューコマンド群としては、“スロー再生”、“スロー再生の解除”、“サムネイルの表示”、…が例示される。
本発明の動画像編集装置1によれば、利用者が動画像データAを編集する編集作業を行なうときに、動画像データAにおける操作履歴情報31“再生操作”、“早送り操作”、“複数操作”、“スロー再生操作”、…を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
次に、本発明の動画像編集装置の動作(動画像編集方法)について説明する。
図5に示されるように、上記の動画像データAは、テレビ放送された番組を録画したときの映像データであり、動画像データAが表す動画像(シーン)にはコマーシャル(CM)が含まれているものとする。そこで、(I)CM以外の本編が映し出されているシーンについて動画像データAを編集する場合と、(II)利用者にとって重要なシーン(お気に入りのシーン)について動画像データAを編集する場合、を考えてみる。この場合、動画像データAは、時間t0〜t1、時間t2〜t3に対応する動画像データがCMであり、時間t1〜t2、時間t3〜t4に対応する動画像データが本編であるものとする。
まず、(I)CM以外の本編が映し出されているシーンについて動画像データAを編集する場合について説明する。
図6は、本発明の動画像編集システムの動作として再生処理を示すフローチャートである。
利用者は、操作部3の操作により、記録媒体(動画像データ記憶部16)に格納された動画像データAを再生するための再生指示を行なう。再生表示制御部21は、この再生指示により、記録媒体(動画像データ記憶部16)から動画像データAが読み出されるようにドライブを制御し、ドライブにより読み出された動画像データAを編集データベース14に格納する。再生表示制御部21は、利用者の操作部3の操作により、その動画像データAを表示装置2に再生表示する(ステップS1)。操作履歴格納制御部22は、操作部3の操作を表す操作履歴情報31を動画像データAとタイムライン20とに対応付けて編集データベース14に格納する(ステップS2)。
時間t0〜t1は、CMの時間帯である。
ステップS1において、利用者が操作部3の操作により時間t0〜t1に“早送り操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t0〜t1に対応する動画像データに対して“早送り操作”を実行する(図7参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t0〜t1に対応する領域20−1に対して、上記の“早送り操作”を表す操作情報31−1を操作履歴情報31として編集データベース14に格納する(図3参照)。
時間t1〜t2は、本編の時間帯である。
ステップS1において、利用者が操作部3の操作により時間t1〜t2に“再生操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t1〜t2に対応する動画像データに対して“再生操作”を実行する(図7参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t1〜t2に対応する領域20−2に対して、上記の“再生操作”を表す操作情報31−2を操作履歴情報31として編集データベース14に格納する(図3参照)。
時間t2〜t3は、CMの時間帯であり、時間t3〜t4は、本編の時間帯である。
ステップS1において、利用者は、操作部3の操作により時間t2〜t3−1に“早送り操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t2〜t3−1に対応する動画像データに対して“早送り操作”を実行する(図7参照)。時間t3−1は、時間t3を過ぎている。即ち、CMが終わっていて、本編が始まっている。
そこで、利用者が操作部3の操作により時間t3−1〜t2−1に“巻戻し操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t3−1〜t2−1に対応する動画像データに対して“巻戻し操作”を実行する(図7参照)。時間t2−1は、時間t2〜t3の間の時間である。即ち、その時間帯は、CM中である。
利用者が操作部3の操作により時間t2−1から“再生操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t2−1に対応する動画像データに対して“再生操作”を実行する(図7参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t2〜t2−1に対応する領域20−3に対して、上記の“早送り操作”を表す操作情報31−3を操作履歴情報31として編集データベース14に格納する(図3参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t2−1〜t3−1に対応する領域20−4に対して、上記の“複数操作”を表す操作情報31−4を操作履歴情報31として編集データベース14に格納する(図3参照)。即ち、操作情報31−4“複数操作”は、時間t2−1〜t3−1に対して“早送り操作”、“巻戻し操作”、“再生操作”を表している。
時間t3〜t4の間の時間t5〜t6には、利用者にとって重要なシーンがある。
ステップS1において、いま、再生表示制御部21は、その動画像データAのうちの時間t2−1〜t3−3に対応する動画像データに対して“再生操作”を実行している。時間t3−3は、時間t5〜t6の間の時間である。即ち、利用者は、そのシーンが始まってから、重要なシーンであることを認識する。
そこで、利用者が操作部3の操作により時間t3−3〜t3−2に“巻戻し操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t3−3〜t3−2に対応する動画像データに対して“巻戻し操作”を実行する(図7参照)。時間t3−2は、時間t3−1〜t3−3の間の時間である。
利用者が操作部3の操作により時間t3−2〜t6に“スロー再生操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t3−2〜t6に対応する動画像データに対して“スロー再生操作”を実行する(図7参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t3−1〜t3−2に対応する領域20−5に対して、上記の“再生操作”を表す操作情報31−5を操作履歴情報31として編集データベース14に格納する(図3参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t3−2〜t3−3に対応する領域20−6に対して、上記の“複数操作”を表す操作情報31−6を操作履歴情報31として編集データベース14に格納する(図3参照)。即ち、操作情報31−6“複数操作”は、時間t3−2〜t3−3に対して“再生操作”、“巻戻し操作”、“スロー再生操作”を表している。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t3−3〜t6に対応する領域20−7に対して、上記の“スロー再生操作”を表す操作情報31−7を操作履歴情報31として編集データベース14に格納する(図3参照)。
その後、利用者が操作部3の操作により時間t6〜t4に“再生操作”を指示し、これに応じて、再生表示制御部21は、その動画像データAのうちの時間t6〜t4に対応する動画像データに対して“再生操作”を実行する(図7参照)。
ステップS2において、操作履歴格納制御部22は、動画像データAにおけるタイムライン20の時間t6〜t4に対応する領域20−8に対して、上記の“再生操作”を表す操作情報31−8を操作履歴情報31として編集データベース14に格納する(図3参照)。
図7は、本発明の動画像編集システムの動作として編集処理を示すフローチャートである。
利用者は、操作部3の操作により、動画像データAを編集するための編集指示を行なう(ステップS11−YES)。操作画面表示制御部23は、この編集指示により、図8に示されるような操作画面30を表示装置2に表示する。操作画面30は、動画像データAにおけるタイムライン20と、操作履歴情報31と、サムネイル画像データ群32、編集メニュー33を含んでいる。操作履歴情報31は、上述のように、タイムライン20を領域群20−1〜20−8に分割する操作情報群31−1〜31−8を含んでいる(ステップS12)。
利用者は、操作履歴情報31、サムネイル画像データ群32を参照して入力部4を操作し、編集メニュー33を用いて編集領域指定指示“シーンの削除”を行なう。この編集領域指定指示“シーンの削除”に応じて、編集領域指定制御部24は、タイムライン20に対して編集領域を指定する(ステップS13)。
ステップS12において、図9に示されるように、操作情報群31−1〜31−8のうち、利用者が入力部4の操作により選択操作情報31−1“早送り操作”が選択される。このとき、操作画面表示制御部23は、領域群20−1〜20−8のうちの選択操作情報31−1“早送り操作”に対する選択領域20−1を選択する。操作画面表示制御部23は、選択領域20−1の中から、利用者が入力部4の操作により編集領域を指定するためのサムネイル画像データ群32を操作画面30に表示する。このサムネイル画像データ群32は、動画像データAのうちの選択領域20−1に対応する動画像データを構成するサムネイル画像データ(静止画像データ)を表している。
上記の選択操作情報31−1“早送り操作”に対するサムネイル画像データ群32は、選択領域20−1のうちの、開始領域に対応するサムネイル画像データ群32−1と、終了領域に対応するサムネイル画像データ群32−N(Nは3以上の整数)と、開始領域と終了領域との間の領域に対応するサムネイル画像データ群32−J(Jは、1<J<Nを満たす整数)とを含んでいる。サムネイル画像データ群32−1、32−Nの表示間隔は、サムネイル画像データ群32−Jの表示間隔と異なる。例えば、1コマを0.5秒とした場合、サムネイル画像データ群32−1、32−Nは、0.5秒間隔で操作画面30に表示され、サムネイル画像データ群32−Jは、5秒間隔で操作画面30に表示される。この場合、サムネイル画像データ群32−Jの0、5、10、15…秒に対応する静止画像データが操作画面30に表示され、サムネイル画像データ群32−Jの0.5〜4.5、5.5〜9.5、10.5〜14.5…秒に対応する静止画像データが操作画面30に表示されない。上記の表示間隔は、選択操作情報31−1“早送り操作”に対する選択領域20−1の長さに比例して決定される。
本発明の動画像編集装置1によれば、操作履歴情報31の操作情報群31−1〜31−8のうちの選択操作情報31−1が、“早送り操作”を表している場合がある。この場合、操作情報31−1“早送り操作”に対応する選択領域20−1のうち、“早送り操作”の開始付近を表す開始領域と、“早送り操作”の終了付近を表す終了領域は、利用者が不要なシーンや必要なシーンであると判断する領域であると考えられる。一方、その選択領域20−1のうち、開始領域と終了領域との間の中間領域は、利用者が不要なシーンであると判断する領域であると考えられる。
そこで、本発明の動画像編集装置1では、開始領域、中間領域、終了領域のそれぞれに対して、操作情報31−1“早送り操作”に対するサムネイル画像データ群32を、サムネイル画像データ群32−1、32−J(Jは、1<J<Nを満たす整数)、32−N(Nは3以上の整数)に分けている。本発明の動画像編集装置1では、例えば、サムネイル画像データ群32−1、32−Nの表示間隔を、サムネイル画像データ群32−Jの表示間隔よりも小さくすることにより、サムネイル画像データ群32−1、32−Nだけを細かく操作画面30上に表示する。利用者は、このようなサムネイル画像データ群32を参照することにより、選択領域20−1において不要なシーンや必要なシーンを容易に判断することができる。
ステップS12において、図10に示されるように、例えば、利用者の入力部4の操作により、選択操作情報31−1“早送り操作”が選択される。このとき、操作画面表示制御部23は、編集メニューデータベース15を参照して、選択操作情報31−1“早送り操作”に関連する編集メニュー33を読み出し、その編集メニュー33のメニューコマンド群“シーンの削除”、…を操作画面30に表示する。利用者は、入力部4を操作して、その編集メニュー33の中から、1つのメニューコマンドを選択し、操作画面表示制御部23は、そのメニューコマンドを実行する。
具体的には、利用者は、入力部4を操作して、上記の選択操作情報31−1“早送り操作”に対するサムネイル画像データ群32の中から、1つ又は複数の静止画像データを選択し、選択操作情報31−1“早送り操作”に関連する編集メニュー33の中から、上記の1つのメニューコマンドを選択する。
本発明の動画像編集装置1によれば、利用者は、動画像データAを編集するために、コマンド(編集メニュー33)を使用する場合がある。この場合、操作情報群31−1〜31−8のうち、選択操作情報31−1“早送り操作”が選択されたとき、全ての編集メニュー33の中から、選択操作情報31−1“早送り操作”に関連する編集メニュー33だけが操作画面30に表示される。利用者は、選択操作情報31−1“早送り操作”に関連する編集メニュー33だけを用いることにより、動画像データAを容易に編集することができる。
例えば、選択操作情報31−1“早送り操作”として選択領域20−1が選択されている場合、利用者は、主に、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域を指定するためのメニューコマンド“シーンの削除”を用いることが考えられる。この場合、選択操作情報31−1“早送り操作”に関連する編集メニュー33として、メニューコマンド“シーンの削除”を先頭に操作画面30に表示することが好ましい。
ステップS13において、上記1つのメニューコマンドが“シーンの削除”である場合、操作画面表示制御部23は、メニューコマンド“シーンの削除”を編集領域指定指示として、編集領域指定制御部24に通知する。
例えば、時間t0〜t1に対応する動画像データが編集時に不要である場合、利用者は、入力部4を操作して、メニューコマンド“シーンの削除”を選択し、選択操作情報31−1“早送り操作”に対するサムネイル画像データ群32を消去する。このとき、編集領域指定制御部24は、選択操作情報31−1“早送り操作”に対する選択領域20−1の全てを編集領域として指定する。
また、ステップS12において、操作情報群31−1〜31−8のうち、利用者が入力部4の操作により選択操作情報31−3“早送り操作”が選択される。このとき、操作画面表示制御部23は、領域群20−1〜20−8のうちの選択操作情報31−3“早送り操作”に対する選択領域20−3を選択する。この場合でも、選択領域20−1が選択された場合と同様の処理が実行される(図9、図10参照)。ステップS13において、例えば、時間t2〜t3に対応する動画像データが編集時に不要である場合、選択領域20−1が選択された場合と同様の処理が実行される。即ち、編集領域指定制御部24は、選択操作情報31−3“早送り操作”に対する選択領域20−3の全てを編集領域として指定する。
また、ステップS12において、図11に示されるように、操作情報群31−1〜31−8のうち、利用者が入力部4の操作により選択操作情報31−4“複数操作”が選択される。このとき、操作画面表示制御部23は、領域群20−1〜20−8のうちの選択操作情報31−4“複数操作”に対する選択領域20−4を選択する。操作画面表示制御部23は、選択領域20−4の中から、利用者が入力部4の操作により編集領域を指定するためのサムネイル画像データ群32を操作画面30に表示する。このサムネイル画像データ群32は、動画像データAのうちの選択領域20−4に対応する動画像データを構成するサムネイル画像データ(静止画像データ)群を表している。
上記の選択操作情報31−4“複数操作”に対するサムネイル画像データ群32の表示間隔は、一定である。例えば、1コマを0.5秒とした場合、サムネイル画像データ群32は、0.5秒間隔で操作画面30に表示される。即ち、そのサムネイル画像データ群32の0、0.5、1、1.5、2…秒に対応する静止画像データが操作画面30に表示される。上記の表示間隔は、選択操作情報31−4“複数操作”に対する選択領域20−4の長さに比例して決定される。
本発明の動画像編集装置1によれば、操作履歴情報31の操作情報群31−1〜31−8のうちの選択操作情報31−4が、“複数操作”を表している場合がある。即ち、操作部3の操作として“早送り操作”、“巻き戻し操作”、“再生操作”などを繰り返し動画像データAの必要なシーンを視聴している場合、利用者は動画像データ(A)の必要なシーンを視聴しており、かつその必要なシーンの中に特に重要なシーンがあると判断して視聴している。この場合、複数操作情報31−4に対応する選択領域20−4は、利用者が不要なシーンあるいは必要なシーンであると判断する領域であると考えられ、上記の早送り操作情報31−1に対応する選択領域20−1のように開始領域、中間領域、終了領域に分けることは困難である。
そこで、本発明の動画像編集装置1では、複数操作情報31−4に対するサムネイル画像データ群32の表示間隔を一定にすることにより、サムネイル画像データ群32を細かく操作画面30上に表示する。利用者は、このようなサムネイル画像データ群32を参照することにより、選択領域20−4において不要なシーンや必要なシーンを容易に判断することができる。
ステップS12において、図12に示されるように、例えば、利用者の入力部4の操作により、再度、選択操作情報31−4“複数操作”が選択される。このとき、操作画面表示制御部23は、編集メニューデータベース15を参照して、選択操作情報31−4“複数操作”に関連する編集メニュー33を読み出し、その編集メニュー33のメニューコマンド群“シーンの削除”、“タイトルの挿入”、“トランジションの挿入”、…を操作画面30に表示する。利用者は、入力部4を操作して、その編集メニュー33の中から、1つのメニューコマンドを選択し、操作画面表示制御部23は、そのメニューコマンドを実行する。
具体的には、利用者は、入力部4を操作して、上記の選択操作情報31−4“複数操作”に対するサムネイル画像データ群32の中から、1つ又は複数の静止画像データを選択し、選択操作情報31−4“複数操作”に関連する編集メニュー33の中から、上記の1つのメニューコマンドを選択する。
本発明の動画像編集装置1によれば、利用者は、動画像データAを編集するために、コマンド(編集メニュー33)を使用する場合がある。この場合、操作情報群31−1〜31−8のうち、選択操作情報31−4“複数操作”が選択されたとき、全ての編集メニュー33の中から、選択操作情報31−4“複数操作”に関連する編集メニュー33だけが操作画面30に表示される。利用者は、選択操作情報31−4“複数操作”に関連する編集メニュー33だけを用いることにより、動画像データAを容易に編集することができる。
例えば、選択操作情報31−4“複数操作”として選択領域20−4が選択されている場合、CMと本編の境目等のシーンの切れ目となる可能性が高い。このような場合、利用者は、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域を指定するためのメニューコマンド“シーンの削除”を用いることが考えられる。また、利用者は、本編が始まるシーン等にタイトルを入れるためのメニューコマンド“タイトルの挿入”や、トランジションを入れるためのメニューコマンド“トランジションの挿入”を用いることも考えられる。この場合、選択操作情報31−4“複数操作”に関連する編集メニュー33として、メニューコマンド“シーンの削除”、“タイトルの挿入”、“トランジションの挿入”、…を優先的に操作画面30に表示することが好ましい。
ステップS13において、例えば、時間t2−1〜t3−1に対応する動画像データのうち、時間t2−1〜t3に対応する動画像データが編集時に不要である場合、利用者は、入力部4を操作して、メニューコマンド“シーンの削除”を選択し、選択操作情報31−4“複数操作”に対するサムネイル画像データ群32のうち、時間t2−1〜t3に対応する静止画像データを消去する。このとき、編集領域指定制御部24は、選択操作情報31−1“複数操作”に対する選択領域20−4のうち、時間t2−1〜t3に対応する領域20−4−1を編集領域として指定し、時間t3〜t3−1に対応する領域20−4−2を編集領域として指定しない。
このように、ステップS13において、編集領域として、選択領域20−1、20−3、20−4−1が指定され、編集領域指定制御部24は、編集領域20−1、20−3、20−4−1が指定されたタイムライン20をタイムライン20’として、動画像データAに対応付けて編集データベース14に格納する。このタイムライン20’は、タイムライン20に対して新規に格納される、又は、上書きされる。
利用者は、操作部3の操作により、動画像データAに対して編集領域以外の領域を再生表示するための編集再生指示を行なう(ステップS14−YES)(ステップS11−NO、S14−YES)。編集再生表示制御部25は、動画像データAのうちの、タイムライン20’の編集領域20−1、20−3、20−4−1以外の領域に対応する動画像データを表示装置2に再生表示する(ステップS15)。
なお、利用者が操作部3の操作により、動画像データAに対して編集領域を再生表示するための編集再生指示を行なった場合、編集再生表示制御部25は、動画像データAのうちの、タイムライン20’の編集領域に対応する動画像データを表示装置2に再生表示する。
以上により、本発明の動画像編集装置1では、(I)CM以外の本編が映し出されているシーンについて動画像データAを編集する場合、上記の再生処理、編集処理を実行する。
再生処理では、利用者は、動画像データを視聴する際、操作部3を操作して、編集データベース14に格納された動画像データAを表示装置2に再生表示させる。このとき、本発明の動画像編集装置1は、操作部3の操作を表す操作履歴情報31を動画像データAに対応付けて編集データベース14に格納しておく。
操作履歴情報31が表す操作部3の操作としては、“再生操作”、“早送り操作”、“スロー再生操作”、…が例示される。例えば、利用者が動画像データAを再生表示させる際、操作部3の操作が“再生操作”であるとき、利用者は、動画像データAの必要なシーンを視聴している。また、操作部3の操作が“早送り操作”であるとき、利用者は、動画像データAの不要なシーンと判断して、そのシーンを視聴していない。また、操作部3の操作が“早送り操作”、“巻き戻し操作”、“再生操作”、“スロー再生”などを繰り返すような“複数操作”であるとき、利用者は、動画像データAの必要なシーンを視聴しており、その必要なシーンのうちの重要なシーンを繰り返し視聴しているといえる。
編集処理では、利用者は、動画像データAを編集する際、操作画面30を表示装置2に表示させる。操作画面30は、タイムライン20と、上記の操作履歴情報31“再生操作”、“早送り操作”、“スロー再生操作”、…とを含んでいる。利用者は、操作履歴情報31を参照することにより、動画像データAの不要なシーンや必要なシーンを容易に判断することができる。
これにより、編集処理において、利用者は、入力部4を操作して、例えばブックマークを付けて、動画像データの不要なシーンを指定する。利用者は、入力部4を操作して、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域20−1、20−3、20−4−1を指定する編集作業を行なう。この編集作業により、動画像データAのうちの、タイムライン20の編集領域20−1、20−3、20−4−1以外の領域に対応する動画像データが表示装置2に再生表示される。
このように、本発明の動画像編集装置1によれば、利用者が動画像データAを編集する編集作業を行なうときに、動画像データAにおける操作履歴情報31を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
本発明の動画像編集装置1によれば、操作履歴情報31の操作情報群31−1〜31−8は、タイムライン20を領域群20−1〜20−8に分割している。このため、利用者は、操作情報群31−1〜31−8を参照することにより、動画像データAの不要なシーンや必要なシーンを編集時に容易に判断することができる。
本発明の動画像編集装置1によれば、操作情報群31−1〜31−8のうち、利用者の入力部4の操作により選択操作情報31−1、31−4が選択され、本発明の動画像編集装置1は、領域群20−1〜20−8のうちの選択操作情報31−1、31−4に対する選択領域20−1、20−4を選択する。このとき、本発明の動画像編集装置1は、その選択領域20−1、20−4におけるサムネイル画像データ群32を操作画面30に表示する。利用者は、そのサムネイル画像データ群32を参照することにより、選択領域20−1、20−4において不要なシーンや必要なシーンを容易に判断することができる。
これにより、利用者は、入力部4を操作して、例えばブックマークを付けて、タイムライン20に対して編集領域20−1、20−3、20−4−1を指定する編集作業を行なう。このように、本発明の動画像編集装置1によれば、利用者が動画像データAを編集する編集作業を行なうときに、動画像データAにおける操作履歴情報31を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
次に、(II)利用者にとって重要なシーン(お気に入りのシーン)について動画像データAを編集する場合について説明する。
まず、上記の再生処理としてステップS1、S2が実行される。上記の編集処理としてステップS11〜S13が実行される。
ステップS12において、図13に示されるように、例えば、利用者の入力部4の操作により、選択操作情報31−7“スロー再生操作”が選択される。このとき、操作画面表示制御部23は、編集メニューデータベース15を参照して、選択操作情報31−7“スロー再生操作”に関連する編集メニュー33を読み出し、その編集メニュー33のメニューコマンド群“スロー再生”、“スロー再生の解除”、“サムネイルの表示”、…を操作画面30に表示する。利用者は、入力部4を操作して、その編集メニュー33の中から、1つのメニューコマンドを選択し、操作画面表示制御部23は、そのメニューコマンドを実行する。
具体的には、利用者は、入力部4を操作して、上記の選択操作情報31−7“スロー再生操作”に対するサムネイル画像データ群32の中から、1つ又は複数の静止画像データを選択し、選択操作情報31−7“スロー再生操作”に関連する編集メニュー33の中から、上記の1つのメニューコマンドを選択する。
本発明の動画像編集装置1によれば、利用者は、動画像データAを編集するために、コマンド(編集メニュー33)を使用する場合がある。この場合、操作情報群31−1〜31−8のうち、選択操作情報31−7“スロー再生操作”が選択されたとき、全ての編集メニュー33の中から、選択操作情報31−7“スロー再生操作”に関連する編集メニュー33だけが操作画面30に表示される。利用者は、選択操作情報31−7“スロー再生操作”に関連する編集メニュー33だけを用いることにより、動画像データAを容易に編集することができる。
例えば、選択操作情報31−7“スロー再生操作”として選択領域20−7が選択されている場合、利用者は、動画像データの編集として、選択領域20−7に対応するシーンについてスロー再生するように編集するためのメニューコマンド“スロー再生”を用いることが考えられる。また、利用者は、動画像データの編集として、選択領域20−7に対応するシーンについて通常速度で再生するように編集するためのメニューコマンド“スロー再生の解除”を用いることが考えられる。また、利用者は、必要に応じて、選択操作情報31−7“スロー再生操作”に対するサムネイル画像データ群を表示(あるいは表示の解除)するためのメニューコマンド“サムネイルの表示(あるいは表示の解除)”を用いたり、メニューコマンド“シーンの削除”を用いたりすることが考えられる。この場合、選択操作情報31−7“スロー再生操作”に関連する編集メニュー33として、メニューコマンド“スロー再生”、“スロー再生の解除”、“サムネイルの表示”、“シーンの削除”…を優先的に操作画面30に表示することが好ましい。
ステップS12において、操作情報群31−1〜31−8のうち、利用者が入力部4の操作により選択操作情報31−1〜31−5、31−8が選択される。このとき、操作画面表示制御部23は、領域群20−1〜20−8のうちの選択操作情報31−1〜31−5、31−8に対する選択領域20−1〜20−5、20−8を選択する。この場合でも、上述と同様の処理が実行される(例えば図9、図10参照)。ステップS13において、例えば、時間t0〜tt3−2に対応する動画像データが編集時に不要である場合、編集領域指定制御部24は、選択操作情報31−1〜31−5、31−8に対する選択領域20−1〜20−5、20−8の全てを編集領域として指定する。
ステップS12において、操作情報群31−1〜31−8のうち、利用者が入力部4の操作により選択操作情報31−6“複数操作”が選択される。このとき、操作画面表示制御部23は、領域群20−1〜20−8のうちの選択操作情報31−6“複数操作”に対する選択領域20−6を選択する。この場合でも、上述と同様の処理が実行される(例えば図11、図12参照)。ステップS13において、例えば、時間t3−2〜t3−3に対応する動画像データのうち、時間t3−2〜t5に対応する動画像データが編集時に不要である場合、上述と同様の処理が実行される。即ち、利用者は、入力部4を操作して、メニューコマンド“シーンの削除”を選択し、選択操作情報31−6“複数操作”に対するサムネイル画像データ群32のうち、時間t3−2〜t5に対応する静止画像データを消去する。このとき、編集領域指定制御部24は、選択操作情報31−6“複数操作”に対する選択領域20−6のうち、時間t3−2〜t5に対応する領域20−6−1を編集領域として指定し、時間t5〜t3−3に対応する領域20−6−2を編集領域として指定しない。
このように、ステップS13において、編集領域として、選択領域20−1〜20−5、20−6−1、20−8が指定され、編集領域指定制御部24は、編集領域20−1〜20−5、20−6−1、20−8が指定されたタイムライン20をタイムライン20’’として、動画像データAに対応付けて編集データベース14に格納する。このタイムライン20’’は、タイムライン20に対して新規に格納される、又は、上書きされる。
上記の編集処理としてステップS14、S15が実行される。このとき、編集再生表示制御部25は、動画像データAのうちの、タイムライン20’’の編集領域20−1〜20−5、20−6−1、20−8以外の領域に対応する動画像データを表示装置2に再生表示する。
なお、利用者が操作部3の操作により、動画像データAに対して編集領域を再生表示するための編集再生指示を行なった場合、編集再生表示制御部25は、動画像データAのうちの、タイムライン20’’の編集領域に対応する動画像データを表示装置2に再生表示する。
以上により、本発明の動画像編集装置1では、(II)利用者にとって重要なシーン(お気に入りのシーン)について動画像データAを編集する場合でも、(I)の場合と同様に、上記の再生処理、編集処理を実行する。
この場合でも、編集処理では、利用者は、操作履歴情報31“再生操作”、“早送り操作”、“スロー再生操作”、…を参照することにより、動画像データAの不要なシーンや必要なシーンを容易に判断することができる。
これにより、編集処理において、利用者は、入力部4を操作して、例えばブックマークを付けて、動画像データの不要なシーンを指定する。利用者は、入力部4を操作して、動画像データの不要なシーンの指定として、タイムライン20に対して編集領域20−1〜20−5、20−6−1、20−8を指定する編集作業を行なう。この編集作業により、動画像データAのうちの、タイムライン20の編集領域20−1〜20−5、20−6−1、20−8以外の領域に対応する動画像データが表示装置2に再生表示される。
このように、本発明の動画像編集装置1によれば、利用者が動画像データAを編集する編集作業を行なうときに、動画像データAにおける操作履歴情報31を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
本発明の動画像編集装置1によれば、操作履歴情報31の操作情報群31−1〜31−8は、タイムライン20を領域群20−1〜20−8に分割している。このため、利用者は、操作情報群31−1〜31−8を参照することにより、動画像データAの不要なシーンや必要なシーンを編集時に容易に判断することができる。
本発明の動画像編集装置1によれば、操作情報群31−1〜31−8のうち、利用者の入力部4の操作により選択操作情報31−6、31−7が選択され、本発明の動画像編集装置1は、領域群20−1〜20−8のうちの選択操作情報31−6、31−7に対する選択領域20−6、20−7を選択する。このとき、本発明の動画像編集装置1は、その選択領域20−6、20−7におけるサムネイル画像データ群32を操作画面30に表示する。利用者は、そのサムネイル画像データ群32を参照することにより、選択領域20−6、20−7において不要なシーンや必要なシーンを容易に判断することができる。
これにより、利用者は、入力部4を操作して、例えばブックマークを付けて、タイムライン20に対して編集領域20−1〜20−5、20−6−1、20−8を指定する編集作業を行なう。このように、本発明の動画像編集装置1によれば、利用者が動画像データAを編集する編集作業を行なうときに、動画像データAにおける操作履歴情報31を利用者に提示することにより、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
以上の説明により、本発明の動画像編集装置1によれば、利用者が編集作業を行なうときに、その編集作業における負担を軽減し、編集作業にかかる時間を短縮することができる。
図1は、本発明の動画像編集システムの構成を示している。 図2は、本発明の動画像編集システムの動画像編集装置1の構成を示している。 図3は、図2の編集データベース14を示している。 図4は、図2の編集メニューデータベース15を示している。 図5は、本発明の動画像編集装置の動作(動画像編集方法)を説明するための図である。 図6は、本発明の動画像編集システムの動作として再生処理を示すフローチャートである。 図7は、本発明の動画像編集システムの動作として編集処理を示すフローチャートである。 図8は、本発明の動画像編集システムにおける操作画面30を示している。 図9は、本発明の動画像編集システムにおける操作画面30の一部を示している。 図10は、本発明の動画像編集システムにおける操作画面30の一部を示している。 図11は、本発明の動画像編集システムにおける操作画面30の一部を示している。 図12は、本発明の動画像編集システムにおける操作画面30の一部を示している。 図13は、本発明の動画像編集システムにおける操作画面30の一部を示している。
符号の説明
1 動画像編集装置
2 表示装置
3 操作部
4 入力部
10 制御装置
11 CPU
12 記憶装置
13 コンピュータプログラム
14 編集データベース
15 編集メニューデータベース
16 動画像データ記憶部
17 編集用記憶部
20 タイムライン
20−1〜20−8 領域
20−4−1、20−4−2 領域(編集時)
20−6−1、20−6−2 領域(編集時)
21 再生表示制御部
22 操作履歴格納制御部
23 操作画面表示制御部
24 編集領域指定制御部
25 編集再生表示制御部
30 操作画面
31 操作履歴情報
31−1〜31−8 操作情報
32 サムネイル画像データ群
33 編集メニュー
A、B、C 動画像データ

Claims (19)

  1. 利用者の操作部の操作に基づいて、記憶装置に格納された動画像データを表示装置に再生表示する再生表示制御部と、
    前記操作部の操作を表す操作履歴情報を前記記憶装置に格納する操作履歴格納制御部と、
    前記操作履歴情報を含むタイムラインを前記表示装置に表示する操作画面表示制御部と、
    利用者による前記タイムラインに対する編集領域を指定する編集領域指定指示に基づいて、前記動画像データのうちの、前記タイムラインの前記編集領域に対応する動画像データ、又は、前記タイムラインの前記編集領域以外の領域に対応する動画像データを前記表示装置に再生表示する編集再生表示制御部と
    を具備する動画像編集装置。
  2. 請求項1に記載の動画像編集装置において、
    前記操作画面表示制御部は、前記タイムラインの前記編集領域に対応する動画像データのサムネイル画像データ群を前記表示装置に表示すること
    を特徴とする動画像編集装置。
  3. 請求項2に記載の動画像編集装置において、
    前記編集領域に対応する前記操作履歴情報に、早送り操作を表す早送り操作情報が含まれているとき、
    前記サムネイル画像データ群は、前記編集領域のうち開始領域及び終了領域に対応する第1のサムネイル画像データ群と、前記編集領域の中間領域に対応する第2のサムネイル画像データ群とを含み、
    前記第1のサムネイル画像データ群と第2のサムネイル画像データ群における、サムネイル画像データの表示間隔が異なること
    を特徴とする動画像編集装置。
  4. 請求項3に記載の動画像編集装置において、
    前記編集領域に対応する前記操作履歴情報に、複数操作を表す複数操作情報が含まれているとき、
    前記サムネイル画像データ群におけるサムネイル画像データの表示間隔が一定であること
    を特徴とする動画像編集装置。
  5. 請求項2〜4のいずれかに記載の動画像編集装置において、
    前記操作画面表示制御部は、前記編集領域に対応する編集メニューを前記表示装置に表示すること
    を特徴とする動画像編集装置。
  6. 請求項5に記載の動画像編集装置において、
    前記操作画面表示制御部は、前記編集メニューのメニューコマンド群のうち、利用者により選択指示されたメニューコマンドを実行すること
    を特徴とする動画像編集装置。
  7. 動画像データを格納する記憶装置と、
    操作部と、
    表示装置と、
    動画像編集装置とを具備し、
    前記動画像編集装置は、
    利用者の操作部の操作に基づいて、記憶装置に格納された動画像データを表示装置に再生表示する再生表示制御部と、
    前記操作部の操作を表す操作履歴情報を前記記憶装置に格納する操作履歴格納制御部と、
    前記操作履歴情報を含むタイムラインを前記表示装置に表示する操作画面表示制御部と、
    利用者による前記タイムラインに対する編集領域を指定する編集領域指定指示に基づいて、前記動画像データのうちの、前記タイムラインの前記編集領域に対応する動画像データ、又は、前記タイムラインの前記編集領域以外の領域に対応する動画像データを前記表示装置に再生表示する編集再生表示制御部と
    を具備する動画像編集システム。
  8. 請求項7に記載の動画像編集システムにおいて、
    前記操作画面表示制御部は、前記タイムラインの前記編集領域に対応する動画像データのサムネイル画像データ群を前記表示装置に表示すること
    を特徴とする動画像編集システム。
  9. 請求項8に記載の動画像編集システムにおいて、
    前記編集領域に対応する前記操作履歴情報に、早送り操作を表す早送り操作情報が含まれているとき、
    前記サムネイル画像データ群は、前記編集領域のうち開始領域及び終了領域に対応する第1のサムネイル画像データ群と、前記編集領域の中間領域に対応する第2のサムネイル画像データ群とを含み、
    前記第1のサムネイル画像データ群と第2のサムネイル画像データ群における、サムネイル画像データの表示間隔が異なること
    を特徴とする動画像編集システム。
  10. 請求項9に記載の動画像編集システムにおいて、
    前記編集領域に対応する前記操作履歴情報に、複数操作を表す複数操作情報が含まれているとき、
    前記サムネイル画像データ群におけるサムネイル画像データの表示間隔が一定であること
    を特徴とする動画像編集システム。
  11. 請求項8〜10のいずれかに記載の動画像編集システムにおいて、
    前記操作画面表示制御部は、前記編集領域に対応する編集メニューを前記表示装置に表示すること
    を特徴とする動画像編集システム。
  12. 請求項11に記載の動画像編集システムにおいて、
    前記操作画面表示制御部は、前記編集メニューのメニューコマンド群のうち、利用者により選択指示されたメニューコマンドを実行すること
    を特徴とする動画像編集システム。
  13. 記憶装置に格納された動画像データを編集するコンピュータを用いる方法であって、
    利用者の操作部の操作に基づいて、記憶装置に格納された動画像データを表示装置に再生表示する再生表示制御ステップと、
    前記操作部の操作を表す操作履歴情報を前記記憶装置に格納する操作履歴格納制御ステップと、
    前記操作履歴情報を含むタイムラインを前記表示装置に表示する操作画面表示制御ステップと、
    利用者による前記タイムラインに対する編集領域を指定する編集領域指定指示に基づいて、前記動画像データのうちの、前記タイムラインの前記編集領域に対応する動画像データ、又は、前記タイムラインの前記編集領域以外の領域に対応する動画像データを前記表示装置に再生表示する編集再生表示制御ステップと
    を具備する動画像編集方法。
  14. 請求項13に記載の動画像編集方法において、
    前記操作画面表示制御ステップは、前記タイムラインの前記編集領域に対応する動画像データのサムネイル画像データ群を前記表示装置に表示するステップ
    を含むことを特徴とする動画像編集方法。
  15. 請求項14に記載の動画像編集方法において、
    前記編集領域に対応する前記操作履歴情報に、早送り操作を表す早送り操作情報が含まれているとき、
    前記サムネイル画像データ群は、前記編集領域のうち開始領域及び終了領域に対応する第1のサムネイル画像データ群と、前記編集領域の中間領域に対応する第2のサムネイル画像データ群とを含み、
    前記第1のサムネイル画像データ群と第2のサムネイル画像データ群における、サムネイル画像データの表示間隔が異なること
    を特徴とする動画像編集方法。
  16. 請求項15に記載の動画像編集方法において、
    前記編集領域に対応する前記操作履歴情報に、複数操作を表す複数操作情報が含まれているとき、
    前記サムネイル画像データ群におけるサムネイル画像データの表示間隔が一定であること
    を特徴とする動画像編集方法。
  17. 請求項14〜16のいずれかに記載の動画像編集方法において、
    前記操作画面表示制御ステップは、前記編集領域に対応する編集メニューを前記表示装置に表示するステップ
    を含むことを特徴とする動画像編集方法。
  18. 請求項17に記載の動画像編集方法において、
    前記操作画面表示制御ステップは、前記編集メニューのメニューコマンド群のうち、利用者により選択指示されたメニューコマンドを実行するステップ
    を含むことを特徴とする動画像編集方法。
  19. 請求項13〜18のいずれかに記載の動画像編集方法の各ステップを前記コンピュータに実行させるコンピュータプログラム。
JP2006039283A 2006-02-16 2006-02-16 動画像編集装置 Expired - Fee Related JP4437121B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006039283A JP4437121B2 (ja) 2006-02-16 2006-02-16 動画像編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006039283A JP4437121B2 (ja) 2006-02-16 2006-02-16 動画像編集装置

Publications (2)

Publication Number Publication Date
JP2007220198A true JP2007220198A (ja) 2007-08-30
JP4437121B2 JP4437121B2 (ja) 2010-03-24

Family

ID=38497313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006039283A Expired - Fee Related JP4437121B2 (ja) 2006-02-16 2006-02-16 動画像編集装置

Country Status (1)

Country Link
JP (1) JP4437121B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277183A (ja) * 2009-05-26 2010-12-09 Sony Corp 編集装置、編集方法及び編集プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911392B2 (ja) 2017-03-07 2021-07-28 カシオ計算機株式会社 画像取得装置、画像取得方法、プログラム及び画像取得システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277183A (ja) * 2009-05-26 2010-12-09 Sony Corp 編集装置、編集方法及び編集プログラム

Also Published As

Publication number Publication date
JP4437121B2 (ja) 2010-03-24

Similar Documents

Publication Publication Date Title
US5760767A (en) Method and apparatus for displaying in and out points during video editing
JP2005532749A (ja) デジタル・ビデオ再生用改良型ブックマーク
KR20060051357A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및기록 매체
JP2007208477A (ja) 映像再生装置、ブックマークデータのデータ構造およびブックマークデータを記憶した記憶媒体並びにブックマークデータの生成方法
US20060204220A1 (en) Image recording and playing apparatus for automatically generating playlist using bookmark to-video recording format and playlist generating method thereof
US20050265692A1 (en) Apparatus, method, and program for image reproduction
JP2005109923A (ja) 映像記録装置、編集データ作成装置及び編集データ作成プログラム
JP4539207B2 (ja) プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法
JP4437121B2 (ja) 動画像編集装置
JP2004297493A (ja) デジタルコンテンツ編集システムおよびデジタルコンテンツ編集方法
JP5018706B2 (ja) 記録再生装置
JP2005341399A (ja) 記録再生装置と記録再生方法
US7877688B2 (en) Data processing apparatus
JP2007149235A (ja) コンテンツ編集装置、プログラム、及び記録媒体
JP2005182931A (ja) 情報記録再生装置及び情報記録再生方法
JP5556828B2 (ja) 情報記録再生装置、情報記録再生方法、及びプログラム
JP2003319312A (ja) ハードディスクレコーダ、情報記録再生装置
JP4257327B2 (ja) 動画像編集装置
JP2008152820A (ja) 映像音声データ記録再生装置、映像音声データ記録再生方法、および記録媒体
US8340508B2 (en) Record/playback apparatus and control method therefor
JP2008172567A (ja) 番組データ記憶編集装置
JP2007310955A (ja) 記録再生装置、および記録再生方法
JP2002176618A (ja) 記録再生装置
KR100586151B1 (ko) 디지털 비디오 레코더에 있어서 비디오 데이터의 부분삭제 방법
JP5023136B2 (ja) 情報再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100104

R150 Certificate of patent or registration of utility model

Ref document number: 4437121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees