JP2006115468A - 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 Download PDF

Info

Publication number
JP2006115468A
JP2006115468A JP2005228657A JP2005228657A JP2006115468A JP 2006115468 A JP2006115468 A JP 2006115468A JP 2005228657 A JP2005228657 A JP 2005228657A JP 2005228657 A JP2005228657 A JP 2005228657A JP 2006115468 A JP2006115468 A JP 2006115468A
Authority
JP
Japan
Prior art keywords
video
display
video display
display unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005228657A
Other languages
English (en)
Inventor
Junichi Ogikubo
純一 荻窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005228657A priority Critical patent/JP2006115468A/ja
Publication of JP2006115468A publication Critical patent/JP2006115468A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】
編集作業を容易化にかつ直感的に行うことができるようにする。
【解決手段】
本発明は、編集操作入力に応じて編集操作に対応する編集情報を取得し、符号化ストリームを記憶する記憶手段から読み出された符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成し、当該生成された複数の表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することにより、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができる。
【選択図】 図22

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体に関し、例えばノンリニア編集装置に適用して好適なものである。
従来、テレビジョン放送局等のコンテンツ制作現場においては、ビデオカメラで撮影することにより得られた映像音声素材(以下、これをクリップと呼ぶ)からその一部を切り取るようにして新たな1つのクリップを作成し、同様に作成した複数のクリップを繋ぎ合わせるようにして1本のコンテンツを作成している(例えば、非特許文献1参照)。
図41は、このような編集作業に用いられる編集装置のディスプレイに表示されるGUI(Graphical User Interface)画面(以下、これを編集画面と呼ぶ)の一例を示すものである。この図41からも明らかなように、この編集画面1は、クリップ一覧表示部2、モニタ部3、ストーリーボード部4、タイムライン部5及びエフェクト情報表示部6A〜6Cから構成されている。
この場合クリップ一覧表示部2には、その編集装置に登録されている各種ビン及びファイルの中から所望の1つのビン又はファイルを選択して、そのビン又はファイルに収納されているクリップの一覧を表示させることができるようになされている。
そしてオペレータは、これらクリップ一覧表示部2に一覧表示されたクリップの中から所望のクリップを選択し、これをモニタ部3にドラッグアンドドロップすることによって、そのクリップの先頭画像をモニタ部3内に表示させることができる。
またオペレータは、その状態でモニタ部3の下部に表示されたボタン群7の中から対応するボタンをクリックすることによって、かかるドラッグアンドドロップされたクリップの再生を開始させてその再生映像をモニタ部3に表示させることや、その表示された再生映像を早送り又は巻き戻し等させることができ、さらにボタン群7の上側に表示されたそのクリップ全体における現在の表示画像の位置を表すスクラブカーソル8をマウス操作により左右に移動させることによって、そのときのスクラブカーソル8の位置に応じた画像をモニタ部3に表示させることができる。
かくしてオペレータは、モニタ部3に表示される再生映像を目視確認しながら、かかるボタン群7内の再生ボタン等やスクラブカーソル8を操作することによって所望のフレームを探索し、そのフレームの画像をモニタ部3に表示させた状態で当該モニタ部3の下部に設けられたイン点ボタン9IN又はアウト点ボタン9OUTをクリックすることにより、そのクリップから切り取るべき映像音声部分の開始点(以下、イン点)及び終了点(以下、アウト点)をそれぞれ指定することができる。
そして、このようにしてイン点及びアウト点を指定したクリップについては、当該イン点及びアウト点で挟まれる映像音声部分を新たなクリップとして、ドラッグアンドドロップによりストーリーボード部4に貼り付けることができる。これにより編集画面1においては、編集に使用するクリップを予めストーリーボード部4に並べることによって、オペレータが編集結果を容易にイメージし得るようになされている。なお、このときストーリーボード部4には、貼り付けられた各クリップの先頭画像等の代表画像のサムネイル及び詳細情報が表示される。
そしてオペレータは、この後かかるストーリーボード部4に貼り付けた各クリップを、それぞれドラッグアンドドロップによりタイムライン部5のビデオトラック10上に並べるように順次貼り付けるようにする。このときビデオトラック10には、タイムスケール11を指標として、貼り付けられたクリップの素材長に応じた長さの帯12が表示される。またこのときそのクリップに音声がある場合には、オーディオトラック10におけるタイムスケール11上の同じ位置に同じ長さの帯12が表示される。
ここで、このようにタイムライン部5のビデオトラック10やオーディオトラック10に帯12、12が表示されることは、編集映像音声の出力時にタイムスケール11で表された時間にその帯12、12に対応するクリップの映像が表示され又は音声が出力されることを意味する。従って、このような操作により編集映像として表示され、又は編集音声として出力されるクリップの映像又は音声を順次規定してなる編集リストを作成することができる。
なお、このようにして編集リストを作成する際に、例えば第1のクリップの映像から第2のクリップの映像への切り替わり時に映像特殊効果処理を施したいときには、エフェクト情報表示部6A〜6Cのうちのエフェクト一覧表示部6Cに一覧表示された、この編集装置が実行できる各種映像特殊効果の中から、所望する映像特殊効果と対応付けられたアイコン(以下、これをエフェクトアイコンと呼ぶ)13を、タイムライン部5のトラジショントラック10における第1及び第2のクリップの切り替わり部分とタイムスケール11上で同じ位置にドラッグアンドドロップにより貼り付けるようにする。
これにより編集映像における第1のクリップの映像と第2のクリップの映像との繋ぎ部分において、上述のようにトラジショントラック10に貼り付けられたエフェクトアイコン13と対応付けられた映像特殊効果処理を実行すべき旨の指示を入力することができる。
特願平11−95332号
ところで、上述のような編集画面1を用いた編集作業では、上述のように、オペレータが個々のクリップの切り出しと、これら切り出したクリップを用いた編集内容の設定と、編集結果の確認とをそれぞれ別個の作業領域(モニタ部3又はタイムライン部5)において行わなければならない。
このためかかる編集作業では、モニタ部3を用いてクリップ切り出し、この切り出したクリップをドラッグアンドドロップによりストーリーボード部4に貼り付け、さらにこのストーリーボード部4に貼り付けられたクリップをドラッグアンドドロップによりタイムライン部5に貼り付け、その後かくして作成された編集リストに基づく編集映像をモニタ部3で確認するといった煩雑な手続を必要とし、この結果、編集作業を短時間かつ容易には行い難い問題があった。
またかかる従来の編集画面1を用いた編集作業では、モニタ部3を用いて切り出した各クリップをタイムライン部5に並べた後にタイムライン部5内のスクラブバー5A(図41)をマウス操作により左右に移動させるスクラブ操作や、モニタ部3の再生ボタン等をクリックする操作を行わなければ編集結果を編集画面1上に表示させることができず、編集結果をリアルタイムで確認しながら直感的な編集作業を行い難い問題があった。
従って、例えば編集画面内の1つの作業領域内において、編集結果をリアルタイムで目視確認しながら、個々のクリップの切り出しから複数クリップの編集までの一連の作業を行い得るようにすることができれば、編集作業を容易かつ直感的に行い得るようにすることができるものと考えられる。
本発明は以上の点を考慮してなされたもので、編集作業を容易化にかつ直感的に行い得るようにすることができる画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を提案しようとするものである。
かかる課題を解決するため本発明の画像処理装置においては、編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得手段と、符号化ストリームを記憶する記憶手段から符号化ストリームを読み出す読出手段と、当該読出手段により読み出された符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する画像処理手段と、当該画像処理手段により生成された複数の表示映像データを、上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように読出手段及び画像処理手段を制御すると共に、編集情報取得手段により取得された編集情報の内容に応じて映像表示部群の表示形態を変更するように読出手段及び画像処理手段を制御する制御手段とを設けるようにした。
これにより、この画像処理装置では符号化ストリームを復号処理した結果得られる表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させることができると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することができるので、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができる。
また本発明の画像処理方法においては、編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、符号化ストリームを記憶する記憶手段から符号化ストリームを読み出す読出ステップと、当該読出ステップにより読み出された符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、当該表示映像データ生成ステップにより生成された複数の表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように読出手段及び画像処理手段を制御すると共に、編集情報取得ステップにより取得された編集情報の内容に応じて映像表示部群の表示形態を変更するように制御する制御ステップとを設けるようにした。
これにより、この画像処理方法では符号化ストリームを復号処理した結果得られる表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させることができると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することができるので、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができる。
さらに本発明の画像処理プログラムにおいては、コンピュータに対して、編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、符号化ストリームを記憶する記憶手段から符号化ストリームを読み出す読出ステップと、当該読出ステップにより読み出された符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、当該表示映像データ生成ステップにより生成された複数の表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように読出手段及び画像処理手段を制御すると共に、編集情報取得ステップにより取得された編集情報の内容に応じて映像表示部群の表示形態を変更するように制御する制御ステップとを実行させるようにした。
この結果この画像処理プログラムによれば、符号化ストリームを復号処理した結果得られる表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させることができると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することができるので、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができる。
さらに本発明のプログラム格納媒体においては、編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、符号化ストリームを記憶する記憶手段から符号化ストリームを読み出す読出ステップと、当該読出ステップにより読み出された符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、当該表示映像データ生成ステップにより生成された複数の表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように読出手段及び画像処理手段を制御すると共に、編集情報取得ステップにより取得された編集情報の内容に応じて映像表示部群の表示形態を変更するように制御する制御ステップとをコンピュータに読み取らせて実行させるようにした。
この結果このプログラム格納媒体によれば、符号化ストリームを復号処理した結果得られる表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させることができると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することができるので、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができる。
本発明の画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体によれば、符号化ストリームを復号処理した結果得られる表示映像データを、複数の映像表示部の間において動画像の状態で時間差を設けながら、複数の映像表示部が表示順に連携した映像表示部群として連動表示させることができると共に、編集情報の内容に応じて映像表示部群の表示形態を変更することができるので、表示映像データに基づく一連の映像をユーザ所望の編集内容に合わせて変更表示させることができ、かくして編集作業を容易化にかつ直感的に行い得るようにすることができる編集作業を容易化にかつ直感的に行い得るようにすることができる画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を実現することができる。
以下図面について、本発明の一実施の形態を詳述する。
(1)第1の実施の形態
(1−1)第1の実施の形態による編集システム20の構成
図1において、20は全体として本発明を適用した本実施の形態による編集システムを示し、ビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置21を介してRAID(Redundant Arrays of Independent Disks)でなる大容量の記憶装置22に取り込み得るようになされている。
またこの編集システム20では、記憶装置22に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容に規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置22に蓄積し、或いはビテオテープに記録することができるようになされている。
すなわちこの編集システム20は、編集装置21、記憶装置22及び複数台のビデオテープレコーダ2〜23nから構成されている。
この場合、編集装置21においては、CPU(Central Processing Unit)30、ROM(Read Only Memory)、RAM(Random Access Memory)32、ハードディスク装置33、信号処理部34及び映像特殊効果/音声ミキシング処理部35と、第1〜第4のインタフェース部36A〜36Dとがバス37を介して相互に接続されることにより構成されている。そして第1のインタフェース部36Aにマウス38及びキーボード39が接続され、第2のインタフェース部36Bに各ビデオテープレコーダ23〜23が接続され、第3のインタフェース部36Cに記憶装置22が接続され、第4のインタフェース部36Dにディスプレイ40及びスピーカ41が接続されている。
そしてCPU30は、起動時、ROM31に格納された制御プログラムに基づき、ハードディスク装置33に格納された必要なソフトウェアを読み出してRAM32に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。
実際上、CPU30は、マウス38やキーボード39が操作されて、ビデオテープに記録された映像音声を記憶装置22に取り込むための所定のウィンドウ(以下、これをクリップ取込みウィンドウと呼ぶ)の表示命令が入力されると、これに応動してハードディスク装置33を制御することにより、対応する画像データを読み出させる一方、これと併せて信号処理部34を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ40に表示させる。
またCPU30は、この状態でマウス38が操作されて、あるビデオテープレコーダ23〜23に対する再生動作命令が入力されると、これに応動して第2のインタフェース部36Bを介して対応するビデオテープレコーダ23〜23を制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。この結果このビデオテープレコーダ23〜23からは、当該ビデオテープレコーダ23〜23に装填されているビデオテープから再生された映像音声信号S1が出力され、これが第2のインタフェース部36B、バス37及び映像特殊効果/音声ミキシング処理部35を順次介して信号処理部34に与えられる。
このとき信号処理部34は、CPU30の制御のもとに、供給される映像音声信号S1に対して所定の信号処理を施し、得られた映像信号S2をバス37及び第4のインタフェース部36Dを介してディスプレイ40に送出することにより、映像信号S2に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる一方、このとき得られた音声信号S3をバス37及び第4のインタフェース部36Dを介してスピーカ41に送出することにより、当該音声信号S3に基づく音声をスピーカ41から出力させる。
かくしてオペレータは、ディスプレイ40に表示された映像及びスピーカ41から出力される音声に基づいて、マウス38及びキーボード39を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長(デュレーション)、クリップID、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、CPU30の制御のもとに、ハードディスク装置33内のクリップ管理情報データベースに登録される。
またCPU30は、この後マウス38又はキーボード39が操作されて、そのクリップの取込み命令が入力されると、これに応動して第2のインタフェース部36Bを介してそのビデオテープレコーダ23〜23を制御することにより、指定されたクリップの映像音声の再生動作を実行させる。この結果、ビデオテープレコーダ23〜23からは、ビデオテープから再生されたそのクリップの映像音声信号S1が出力され、これが第2のインタフェース部36B及びバス37を順次介して映像特殊効果/音声ミキシング処理部35に与えられる。またCPU30は、これと併せて映像特殊効果/音声ミキシング処理部35及び記憶装置22を制御することにより、ビデオテープレコーダ23〜23から与えられるかかるクリップの映像音声信号S1を映像特殊効果/音声ミキシング処理部35を介して記憶装置22に取り込ませる。
このようにしてこの編集システム1においては、指定されたクリップの映像音声をビデオテープから再生して記憶装置22に取り込むことができるようになされている。
一方、オペレータは、この後マウス38やキーボード39を用いた所定操作により編集作業を行うための後述のような編集画面50(図2)をディスプレイ40に表示させることができ、この編集画面50を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。
そしてCPU30は、編集リストが作成された後マウス38が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置33内の編集リストデータベースに登録する。
またCPU30は、編集リストの作成後又は作成途中において、マウス38又はキーボード39が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置22を制御することにより、必要なクリップの映像音声信号S1を記憶装置3に読み出させる。かくしてこの記憶装置22から読み出された映像音声信号S4が第3のインタフェース部36C及びバス37を順次介して映像特殊効果/音声ミキシング処理部35に与えられ、この後CPU30の制御のもとに、当該映像特殊効果/音声ミキシング処理部35において必要に応じて映像特殊効果加工処理や音声ミキシング処理が施され、得られた編集結果でなる編集映像音声信号S5が信号処理部34に与えられる。
このとき信号処理部34は、CPU30の制御のもとに、供給される編集映像音声信号S5に対して所定の信号処理を施し、得られた映像信号S2及び音声信号S3をそれぞれバス37及び第4のインタフェース部36Dを順次介してディスプレイ40又はスピーカ41に送出する。この結果、この映像信号S2に基づいて、編集画面50内の所定位置に編集映像音声信号S5に基づく編集映像が表示され、スピーカ41から当該編集映像音声信号S5に基づく編集音声が出力される。
このようにしてこの編集システム1においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。
さらにCPU30は、編集リストが作成された後、マウス38又はキーボード39が操作されてその実行命令が入力されると、これに応動して記憶装置22を制御することにより、編集処理に利用するクリップの映像音声信号S4を記憶装置22から読み出させて映像特殊効果/音声ミキシング処理部35に送出させる。
そしてこのとき映像特殊効果/音声ミキシング処理部35は、CPU30の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像音声信号S4に対して必要に応じて特殊効果加工処理や音声ミキシング処理を施す一方、得られた編集映像音声信号S5をバス37と、第3又は第2のインタフェース部36C、36Bとを順次介して記憶装置22又は対応するビデオテープレコーダ23〜23に送出する。
かくして記憶装置22は、CPU30の制御のもとに、供給される編集映像音声信号S5を指定されたアドレス位置に記憶する。またビデオテープレコーダ23〜23は、CPU30の制御のもとに、供給される編集映像音声信号S5をビデオテープの指定された位置に記録する。
このようにしてこの編集システム1では、作成された編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置22に蓄積したり、ビデオテープに記録したりすることができるようになされている。また、本説明では映像音声の蓄積場所として記憶装置22を使い、説明を行ったが、ハードディスク装置33に蓄積してもよい。
(1−2)編集画面50における操作手順
(1−2−1)編集画面50における再生映像の表示方法
(1−2−1−1)編集画面50における再生映像の表示方法
ここでCPU30は、マウス38又はキーボード39が操作されて編集画面を表示すべき命令が入力されると、ハードディスク装置33及び信号処理部34を制御することにより、図2に示すような編集画面50をディスプレイ40に表示させる。
この編集画面50は、図41について上述した編集画面1のクリップ一覧表示部2、ストーリーボード部4、タイムライン部5及びエフェクト情報表示部6A〜6Cとそれぞれ同様の機能を有するクリップ一覧表示部51、ストーリーボード部52、タイムライン部53及びエフェクト情報表示部54と、この編集画面50に固有の機能を有する帯状表示部55とから構成される。なお、編集画面50の場合、後述のように編集作業は主として帯状表示部55を用いて行われるため、ストーリーボード部52及びタイムライン部53は補助的に設けられたものである。
そして帯状表示部55には、初期時、図3に示すように、例えばゴルフスイングのような一連の動きを示す映像を表示するのに適した複数の映像表示部57(57F〜57A〜57V)が、例えば楕円状に3次元的に湾曲させて連続的かつ手前中央部の映像表示部(以下、適宜、これを基準映像表示部と呼ぶ)57Aを中心として左右両側に同じ数だけ位置するように並べて配置されてなる帯状の映像表示部群58が表示される。
この場合において、映像表示部群58の各映像表示部57(57F〜57A〜57V)は、例えば基準映像表示部57Aが最も大きく、これから離れるにつれて徐々に小さくなるように、かつ手前側の映像表示部57(57F〜57A〜57V)と後側の映像表示部57とが重なる部分では後側の映像表示部57が手前側の映像表示部57(57F〜57A〜57V)によって隠れるように表示される。
但し、各映像表示部57(57F〜57A〜57V)においては、半透明の再生映像が表示されるようになされており、手前側の映像表示部57Aによって隠れる後側の映像表示部57B及び57Zの一部分や、当該映像表示部57B及び57Zによって隠れる後側の映像表示部57C及び57Yの一部分や、当該映像表示部57C及び57Yによって隠れる後側の映像表示部57D及び57Xの一部分や、当該映像表示部57D及び57Xによって隠れる後側の映像表示部57E及び57Wの一部分や、当該映像表示部57E及び57Wによって隠れる後側の映像表示部57F及び57Vの一部分についても透けた状態で目視確認し得るようになされている。
なお、この場合のCPU30は、ハードディスク装置33から複数の映像表示部57(57F〜57A〜57V)の表示サイズ及び帯状表示部55上における表示位置を含む表示情報を取得し、この表示情報に基づいて画像処理を施すことにより当該複数の映像表示部57(57F〜57A〜57V)に表示すべき対応する表示映像データをそれぞれ生成するようになされている。
そしてこの編集画面50では、例えばクリップ一覧表示部51に一覧表示されたクリップの中から所望するクリップをドラッグアンドドロップにより帯状表示部55内に移動させ、その後帯状表示部55の左下隅に表示された再生ボタン56をクリックすると、図4に示すように、この映像表示部群58の各映像表示部57(57F〜57A〜57V)に、それぞれ右側に隣接する映像表示部57に表示された再生映像に対して予め設定された所定の等間隔の時間差(以下、この時間を再生時間差と呼ぶ)ΔT(図5)をもって順次再生されたそのクリップの再生映像が順次表示される。
つまり、図5に示すように、最初に右奥の映像表示部57F内にそのクリップの再生映像が先頭から表示され、その後設定された再生時間差ΔT分の時間経過後にこれと左側に隣接する次の映像表示部57Eにそのクリップの再生映像が先頭から表示され、さらにその後当該再生時間差ΔT分の時間経過後にこれと左側に隣接する次の映像表示部57Dにその再生映像が先頭から表示され、……というように、そのクリップの再生映像が、かかる等間隔の再生時間差ΔTをもって各映像表示部57に図4の矢印aの方向の順番で時系列の流れとして順次表示されることとなる。なお図5において破線で示す部分は、初期状態において編集画面50には表示されないが、映像の再生が行われている後述の映像表示部57G,57H,……、57U,57T,……における当該映像の再生タイミングを示すものである。
従ってCPU30は、複数の映像表示部57(57F〜57A〜57V)の間において動画像の状態で再生時間差ΔT分の時間差を設けながら、複数の映像表示部57(57F〜57A〜57V)が表示順に連携した映像表示部群58として再生映像を連動表示させ得るようになされている。
また図6に示すように各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像は、予め設定された画像更新速度、すなわち再生速度vで再生画像が表示される。従って、かかる再生速度vの設定値が大きい場合には、これに応じて各映像表示部57(57F〜57A〜57V)に等速度で高速再生された再生映像がそれぞれ表示され、当該設定された再生速度vが遅い場合には、これに応じて各映像表示部57(57F〜57A〜57V)に等速度でスロー再生された再生映像がそれぞれ表示されることとなる。
なお、これら再生時間差ΔT及び再生速度vの初期値は、帯状表示部55の上部に表示されたツールバー59における「設定」をクリックし、かくして表示される図示しないコンテキストメニューの中から「再生時間差・再生速度」を選択したときに表示される図7に示すような再生時間差・再生速度設定ダイアログ60を用いて設定することができる。
実際上、かかる再生時間差ΔT及び再生速度vの初期値を設定する場合には、これら再生時間差ΔT及び再生速度vにそれぞれ対応させてこの時間差・再生速度設定ダイアログ60に設けられた各テキストボックス61、62内の数値を、例えば対応するアップダウンキー63A、63B、64A、64Bをクリック操作し、又はキーボード39を用いて所望する数値を直接入力するようにして変更した後に、「OK」ボタン65をクリックすれば良く、このときこれらテキストボックス61、62内に表示されていた数値が、それぞれかかる再生時間差ΔT及び再生速度vの初期値として設定される。
これによりこの編集装置51においては、例えばその映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTを小さくし、かつこれら再生映像の再生速度vを遅く設定することによって、クリップの狭い範囲の映像を当該映像表示部群58に表示させることができ、またかかる再生時間差ΔTを大きく、かつこれら再生映像の再生速度vを遅く設定することによって、クリップの広い範囲の映像を当該映像表示部群58に表示させることができるようになされている。
実際上、図6に示したような各映像表示部57(57F〜57A〜57V)に表示される再生映像は、再生速度vが変更されることに応じて可変速表示され、また再生時間差ΔT分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ST1に示すフォワード方向へ流れるように可変速表示された状態で連動表示される。
この場合、各映像表示部57(57F〜57A〜57V)では、映像表示部57Fに対して最も時間的に進んだタイミングの再生映像が表示されることになり、映像表示部57Vに対して最も時間的に遅れたタイミングの再生映像が表示されることになるため、時系列順にずらした状態で流れるような映像表示が行われていることをユーザに対して直感的に認識させ得るようになされている。
また図8に示すように、各映像表示部57(57F〜57A〜57V)に表示される再生映像としては、再生速度−vと設定された場合、逆戻り方法に可変速表示され、また再生時間差ΔT分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ST2に示すリバース方向へ流れるように可変速表示された常態で連動表示される。
さらにこの編集画面50では、帯状表示部55内に既に1又は複数の映像表示部群58が表示されている状態において、クリップ一覧表示部51に表示された他のクリップを帯状表示部55内にドラッグアンドドロップすることにより、帯状表示部55内にそれまで表示されていた1又は複数の映像表示部群58に加えて、その新たにドラッグアンドドロップされたクリップと対応付けられた映像表示部群58を帯状表示部55内に表示させることができる。
逆に、編集画面50では、帯状表示部55内に既に1又は複数の映像表示部群58が表示されている状態において、帯状表示部55内の1又は複数の映像表示部群58を選択してクリップ一覧表示部51にドラッグアンドドロップすることにより、それまで帯状表示部55内に表示されていた1又は複数の映像表示部群58から、選択した1又は複数の映像表示部群58を帯状表示部55から削除することもできる。あるいは、帯状表示部55内の1又は複数の映像表示部群58を選択して、Deleteキーを押すことによっても削除できる。
そして帯状表示部55に複数の映像表示部群58を表示させた場合には、マウス操作により1つの映像表示部群58を選択した後に、再生ボタン56をクリックすることによって、その映像表示部群58の各映像表示部57に対応するクリップの再生映像をそれぞれ表示させることができる。なお、この場合における上述の再生時間差ΔT及び再生速度vの初期値は、いずれも上述の再生時間差・再生速度設定ダイアログ60を用いて設定された値となる。
一方、編集画面50では、帯状表示部55の上部に表示されたツールバー59の「設定」をクリックし、かくして表示される図示しないコンテキストメニューの中から「音声出力モード」を選択することによって、クリップの再生映像を帯状表示部55に表示しているときの音声出力モードとして、例えば「メイン音声出力モード」及び「全音声出力モード」のうちのいずれかを1つを選択して設定することができる。
そして音声出力モードとして「メイン音声出力モード」を設定したときには、そのとき操作している映像表示部群58の基準映像表示部57Aに表示された再生映像に付随する再生音声のみがスピーカ41から出力され、「全音声出力モード」を設定したときには、基準映像表示部57Aから離れた映像表示部57に表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、そのとき操作している映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示された再生映像に付随するすべての再生音声がスピーカ41から出力される。
ただし、音声出力モードとして「全音声出力モード」を設定した場合において、隣接する映像表示部57(57F〜57A〜57V)に表示された再生映像間の再生時間差ΔTが大きくなった場合や、シーンチェンジを検出した場合など、予め定められた音混ざりが予測される所定の場合には、基準映像表示部57A及びその近傍数個の映像表示部57(57F〜57A〜57V)に表示された各再生映像の音声のみをスピーカ41から出力するように自動的に出力音声が調整される。これにより「全音声出力モード」時においても良好な状態で音声を出力し得るようになされている。
(1−2−1−2)編集画面50における再生映像の表示に関するCPU30の処理
ここでCPU30は、上述のような再生映像の表示や再生音声の出力に関する処理を、ROM31(図1)に格納された制御プログラムに基づき、図9に示す再生処理手順RT1に従って実行する。
すなわちCPU30は、編集画面50のクリップ一覧部51から1つのクリップが帯状表示部55にドラッグアンドドロップされた後に再生ボタン56がクリック(帯状表示部55に複数の映像表示部群58が表示されている場合には、1つの映像表示部群58が選択されて再生ボタン56がクリック)されると、この再生処理手順RT1をステップSP0において開始し、続くステップSP1において、その映像表示部群58に対応するクリップのクリップIDを確認する。
続いてCPU30は、ステップSP2に進んで、そのとき設定されている再生映像の再生速度v(又は−v)及び再生時間差ΔTの各初期値と、音声出力モードの設定とをそれぞれ確認し、この後ステップSP3に進んで、マウス38、キーボード39により決められた再生映像の再生速度v(又は−v)及び再生時間差ΔT並びに表示形態を確認する。
このときステップSP4においてCPU30は、停止操作あるいはストリームが終了しているか否かを判定し、肯定結果が得られると次のステップSP10へ移って表示の更新処理を中止し、否定結果が得られると次のステップSP5へ移る。
ステップSP5においてCPU30は、その映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示すべき再生映像の表示位置及びその大きさと、これら再生映像に付随する各再生音声の出力音量とをそれぞれ計算する。
そしてCPU30は、この後ステップSP6に進んで、ステップSP1で確認した対応するクリップのクリップIDに基づいて記憶装置22を制御することにより、そのクリップの映像音声信号S4をステップSP2で確認したそのとき設定されている再生速度で読み出し、必要に応じて圧縮された映像音声信号S4を復号し、映像信号に関してはステップSP5において計算した位置及び大きさで表示させるための映像信号S2を生成する。さらに、この映像信号S2に対応した再生映像に付随する再生音声の音声信号S3を、ステップSP5においてその再生映像について算出した信号レベルで生成させ、その生成した映像信号S2及び音声信号S3をRAM32や信号処理部34内のメモリに一時的に蓄積する。
ステップSP7においてCPU30は、全ての映像表示部57(57V〜57A〜57F)に表示再生するのに必要な画像及び音声が準備できたかを判断し、否定結果が得られた場合にはステップSP6へ戻り、肯定結果が得られた場合にはステップSP8へ移る。
ステップSP8においてCPU30は、画面表示周期時間の経過を監視し、経過した場合にはステップSP9へ移って映像表示部群58を表示し、その再生映像に付随する再生音声を対応する音量でスピーカ41から出力すると同時にステップSP3へ戻り、次の再生映像音声の準備を行う。
なおCPU30は、ステップSP6において、以前に再生したRAM32や信号処理部34内のメモリに残っている画像データのうち再利用できるものがあれば使い、足りないもののみを生成し、当該生成した画像データをRAM32や信号処理部34内のメモリに蓄積されている古いデータから順に上書きしていく。
(1−2−2)編集画面50の帯状表示部55における各種操作方法
次に、編集画面50の帯状表示部55における各種操作方法について説明する。
(1−2−2−1)基本操作
帯状表示部55では、図10に示すように、映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している映像表示部57(57F〜57A〜57V)をクリック(この場合、例えば最初に映像表示部57Dをクリック)することによって、その映像表示部57Dが編集操作に伴う編集位置に対応した再生映像であることを所定色に着色させるようにして強調表示させることができる。
そしてこの映像表示部57(57F〜57A〜57V)の強調表示は、映像表示部群58におけるそのシーンの流れ(映像の時系列の流れ)に従って、図10及び図11に示すように、再生時間差ΔTをもって映像表示部群58の各映像表示部(57F〜57A〜57V)のうちの左側(リバース再生のときには右側)に隣接する映像表示部(57F〜57A〜57V)に順次移動する。これによりオペレータは、この映像表示部57(57F〜57A〜57V)の強調表示の流れに基づいて、かかるシーンが現在どの映像表示部(57F〜57A〜57V)に表示されているかを認識することができる。
すなわち映像表示部57(57F〜57A〜57V)に対する強調表示は、ユーザが最初に着目した編集操作に伴う編集位置に対応するシーン(映像表示部57D)であり、それが移動したときであっても終始かかるシーンを強調表示によって提示し続けることになるため、図11の長い太矢印に示すように映像表示部(57F〜57A〜57V)に対して流れるような映像表示が行われるなかで、ユーザに対して最初の着目シーンを強調表示によって瞬時かつ直感的に認識させ得るようになされている。
なお、図11の短い太矢印に示すように、例えばユーザが最初に着目した編集操作に伴う編集位置に対応するシーンが映像表示部57Bであったときは、そのユーザが着目したシーンが強調表示されるので、ユーザに対してはそこから流れが始まるかのように印象付けさせることができるようになされている。
また帯状表示部55では、図12(A)に示すように、例えばキーボード39の方向キー70のうちの上方向に対応した「上(↑)」キー70Uを押圧操作し(図12(A−1))、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部を、その映像表示部群58に沿って左方向に引くように当該カーソル71を移動させる表示操作入力(図12(A−2))に応じて、対応するクリップの映像の表示速度を上げることができる。
この場合CPU30は、マウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じてクリップの映像の表示速度を上げるようになされている。
なお、ここで言う『クリップの映像の表示速度を上げる』とは、その映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生速度vが増加し、かつこれと連携して隣接する映像表示部57間における再生映像の再生時間差ΔTが増加することを意味する。
そしてこの「再生映像の表示速度」の変化の大きさは、そのときキーボード39の「上(↑)」キー70Uを押圧操作し又はマウス操作により映像表示部群58の一部を引いたときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度v及び再生時間差ΔTが共により多く増加して、そのクリップの映像全体としての見た目(再生映像の各シーンの流れ)の表示速度が上がることとなる。
すなわち帯状表示部55では、キーボード39の「上(↑)」キー70Uを押圧操作し、マウス操作によりカーソル71を介して映像表示部群58の一部を左方向へ引いたときの時間が長いほど、映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の表示加速度GS1を増加させ得るようになされている。因みに帯状表示部55では、時間を用いるのではなく、例えばキーボード39の「上(↑)」キー70Uに対する押下回数が多いほど再生映像の表示化速度GS1を増加させるようにしても良い。
これに対して、帯状表示部55では、図12(B)に示すように、例えばキーボード39の方向キー70のうちの下方向に対応した「下(↓)」キー70Dを押圧操作し(図10(B−1))、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部をその映像表示部群58に沿って右方向に引くように当該カーソル71を移動させる表示操作入力(図12(B−2))に応じて、対応するクリップの映像の表示速度を下げることができる。
この場合CPU30は、マウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じてクリップの映像の表示速度を下げるようになされている。
なお、ここで言う『クリップの映像の表示速度を下げる』とは、その映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生速度vが減少し、かつこれと連携して隣接する映像表示部57間における再生映像の再生時間差ΔTが減少することを意味する。
そしてこの「再生映像の表示速度」の変化の大きさは、そのときキーボード39の「下(↓)」キー70Dを押圧操作した時間又はマウス操作により映像表示部群58の一部を引いたときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度v及び再生時間差ΔTが共に減少して、そのクリップの映像全体としての見た目の表示速度が下がることとなる。
すなわち帯状表示部55では、キーボード39の「下(↓)」キー70Dを押圧操作し、マウス操作によりカーソル71を介して映像表示部群58の一部を右方向へ引いたときの時間が長いほど、映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の表示加速度GS2を減少させ得るようになされている。因みに帯状表示部55では、時間を用いるのではなく、例えばキーボード39の「下(↓)」キー70Dに対する押下回数が多いほど再生映像の表示化速度GS1を減少させるようにしても良い。
この場合において、かかる再生速度vや再生時間差ΔTが「0」となった後は、その再生速度v又は再生時間差ΔTはさらに減少(すなわち、負方向に増加)する。従ってこの場合には、今まで映像表示部群58において左方向に流れていた再生映像の各シーンの流れが徐々に遅くなってやがて止まり、その後右方向へ流れ始めてリバース再生に変わり、やがてその速度が次第に上がってゆくように見えるようになる。
さらに帯状表示部55では、マウス50の左ボタンを押圧した状態で、当該マウス操作に応動して編集画面50上を自由に移動するように表示されるカーソル71により映像表示部群58の一部を例えば1秒以上同じ位置で押さえるように操作することによって、対応するクリップの映像を停止させることができる。なお、ここで言う『クリップの映像を停止させる』とは、その映像表示部群58の各映像表示部57(57F〜57A〜57V)に、再生時間差ΔTを保った状態で静止画像をそれぞれ表示させることをいう。
(1−2−2−2)拡張操作
(1−2−2−2−1)再生時間差ΔT及び再生速度vの変更操作
一方、帯状表示部55では、上述のような基本操作のほか、キーボード39の「シフト」キーを押圧したまま、上述の『クリップの映像の表示速度を上げる』操作、つまりキーボード39の方向キー70の「上(↑)」キー70Uを押圧操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部を、その映像表示部群58に沿って左方向へ引くように当該カーソル71を移動させることによって、その映像表示部群58の各映像表示部57に表示された再生映像の再生速度vを固定としながら、隣接する映像表示部57にそれぞれ表示される再生映像の再生時間差ΔTを増加させることができる。
この場合CPU30は、キーボード39又はマウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度vを固定としながら、再生映像の再生時間差ΔTを増加させるようになされている。
このとき隣接する映像表示部57にそれぞれ表示される再生映像の連続性は低くなるが、映像表示部群58全体として、時間的に広い範囲の再生映像を表示させることができる。
これに対して編集画面50では、例えばキーボード39の「シフト」キーを押圧したまま、上述の『クリップの映像の表示速度を下げる』操作、つまりキーボード39の方向キー70の「下(↓)」キー70Dを押圧操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部をその映像表示部群58に沿って右方向へ引くように当該カーソル71を移動させることによって、その映像表示部群58の各映像表示部57に表示された再生映像の再生速度vを固定としながら、隣接する映像表示部57にそれぞれ表示される再生映像の再生時間差ΔTを減少させることができる。
この場合CPU30は、キーボード39又はマウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度vを固定としながら、再生映像の再生時間差ΔTを減少させるようになされている。
このとき映像表示部群58全体として、時間的に狭い範囲の再生映像が表示されることとなるが、その映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示される再生映像の連続性は高く、同じシーンが短い再生時間差ΔTをもってその映像表示部群58内を左方向へ流れるように各映像表示部57(57F〜57A〜57V)に順次表示されるようになる。そして、この流れは、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTを減少させるほど速くなる。
また帯状表示部55では、例えばキーボード39の「シフト」キー及び「ALT」キーの双方を押圧したまま、かかる『クリップの映像の表示速度を上げる』操作を行うことによって、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTを固定としながら、その映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示された再生映像の再生速度vを増加させることができる。
この場合もCPU30は、キーボード39又はマウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔTを固定としながら、再生映像の再生速度vを増加させるようになされている。
この結果、映像表示部群58にクリップ全体の映像から見て時間的に同じ範囲の再生映像を表示させたまま、その映像表示部群58における再生映像の各シーンの流れを速くすることができる。なおこの場合には、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の連続性が高くなる。
これに対して編集画面50では、例えばキーボード39の「シフト」キー及び「ALT」キーの双方を押圧したまま、かかる『クリップの映像の表示速度を下げる』操作を行うことによって、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTを固定としながら、その映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示された再生映像の再生速度vを減少させることができる。
この場合もCPU30は、キーボード39又はマウス38による表示操作入力に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔTを固定としながら、再生映像の再生速度vを減少させるようになされている。
この結果、映像表示部群58にクリップ全体の映像から見て時間的に同じ範囲の再生映像を表示させたまま、その映像表示部群58における再生映像の各シーンの流れを遅くすることができる。なおこの場合には、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の連続性が低くなる。
(1−2−2−2−2)再生映像の瞬間送り又は戻し操作
一方、帯状表示部55では、図13(A)に示すように、キーボード39の方向キー70の「左(←)」キー70Lを押圧操作し(図13(A−1))、又はマウス38の左ボタンを押圧した状態で1秒以内にカーソル71によって映像表示部群58に表示された再生映像の一部(映像表示部57C)を表示選択操作(つかみ)し、その映像表示部群58に沿って左方向へ引くように当該カーソル71を移動させる(図13(A−2))ときの映像表示部群移動操作に応じて、その映像表示部群58に表示される再生映像の再生速度vと、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTとの双方を共に固定とした状態で、その映像表示部群58の各映像表示部57の表示位置を、図14に示すように、当該映像表示部群58に沿って、引かれた方向(画面右側から画面左側へ向かう方向)と同一方向へカーソル71と一体に移動させることができる。
この場合CPU30は、キーボード39又はマウス38による映像表示部群移動操作に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度v及び再生時間差ΔTの双方を固定としながら、各映像表示部57の表示位置を当該映像表示部群58に沿って画面右側から画面左側へ向かってカーソル71と一体に移動させるようになされている。
そのとき引っ張られた再生映像を表示していた映像表示部57(57F〜57A〜57W)が映像表示部群58における引っ張り終えた位置にまで移動して表示される。またこれに伴って、図14及び図15に示すように、それまで表示されていた映像表示部57(57F〜57A〜57V)の中から、当該操作前に基準映像表示部57Aに表示された再生映像を基準とした場合の時間的に過去の再生映像を表示していた映像表示部57V,57W,……が消え、これと同じ数のそれまで表示されていなかった図5において破線で示す時間的に未来の再生映像を表示する映像表示部57G,57H,……がその映像表示部群58内に新たに表示される。
なおCPU30は、映像表示部57Cに対する表示選択操作(図14)に応じて当該映像表示部57Cを強調表示(破線で囲われた部分)すると共に、その映像表示部57Cからそれ以降の映像表示部57D、57E、……を表示順に順次強調表示することにより、映像表示部57Cの移動開始点以降の流れをユーザに対して直感的に認識させ得るようになされている。
なお、このときCPU30は、表示選択操作された瞬間の映像表示部57Cに対する表示映像データ又は各映像表示部57に対する表示映像データの全てをその状態で一時的に停止(保持)し、その状態をユーザに目視確認させ得るようになされている。
因みにCPU30は、映像表示部57Cに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部57Cに対する表示映像データ又は各映像表示部57に対する表示映像データの全てを停止状態から解除し、複数の映像表示部57の間において動画像の状態で時間差を設けながら、当該複数の映像表示部57が表示順に連携した映像表示部群58として再度連動表示させるようになされている。
この場合において、かかる映像表示部群58の移動操作後における各映像表示部57(……,57F〜57A〜57V,……)は、それぞれの表示情報(表示サイズ及び表示位置を含む表示情報)に応じて、かかる映像表示部群58の移動操作前にその位置に表示されていた映像表示部57(57F〜57A〜57V)と同じ大きさで表示されるため、それまでその映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示されていた再生映像があたかも瞬時に未来側へ送られたように見えることとなる。
またこの場合において、各映像表示部57(……,57F〜57A〜57V,……)に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部57(図13(A−2)では57Cとなる)に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部57(57C)から離れた映像表示部57(57D〜57F,……、57B,57A,57Z〜57W,……)に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
これに対して帯状表示部55では、図13(B)に示すように、キーボード39の方向キー70の「右(→)」キー70Rを押圧操作し(図13(B−1))、又はマウス38の左ボタンを押圧した状態で1秒以内にカーソル71によって映像表示部群58の一部(映像表示部57Y)を選択(つかみ)し、を画面左側から画面右側に引っ張るように当該カーソル71を移動させる(図13(B−2))ときの映像表示部群移動操作に応じて、その映像表示部群58に表示される再生映像の再生速度vと、隣接する映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生時間差ΔTとの双方を共に固定とした状態で、その映像表示部群58の各映像表示部57の表示位置を、図16に示すように、当該映像表示部群58に沿って、引かれた方向(画面左側から画面右側に向かう方向)と同一方向へカーソル71と一体に移動させることができる。
この場合CPU30は、キーボード39又はマウス38による映像表示部群移動操作に対応した表示状態変更情報を第1のインタフェース部36Aを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度v及び再生時間差ΔTの双方を固定としながら、各映像表示部57の表示位置を当該映像表示部群58に沿って画面左側から画面右側へ向かってカーソル71と一体に移動させるようになされている。
そのとき引っ張られた再生映像を表示していた映像表示部57(57F〜57A〜57V)が映像表示部群58における引っ張り終えた位置にまで移動して表示される。またこれに伴って、図16及び図17に示すように、それまで表示されていた映像表示部57(57F〜57A〜57V)の中から、当該操作前に基準映像表示部57Aに表示された再生映像を基準とした場合の時間的に未来の再生映像を表示していた映像表示部57F,57E,……が消え、これと同じ数のそれまで表示されていなかった図5において破線で示す時間的に過去の再生映像を表示する映像表示部57U,57T,……がその映像表示部群58内に新たに表示される。
これにより帯状表示部55では、フォワード方向へ流れるように映像表示部57(57F〜57A〜57V)を再生させた状態で、映像表示部群移動操作に応じて各映像表示部57の表示位置をバックワード側へ瞬時に移動させることができるので、MPEG方式のロングGOPフォーマットでリバース再生を行った場合等のような表示映像の応答性が悪くなるようなことがなく、過去のシーンを直ちに再表示させ得るようになされている。
なおCPU30は、映像表示部57Yに対する表示選択操作(図16)に応じて当該映像表示部57Yを強調表示(破線で囲われた部分)すると共に、その映像表示部57Yからそれ以降の映像表示部57Z、57A、……を表示順に順次強調表示することにより、映像表示部57Yの移動開始点以降の流れをユーザに対して直感的に認識させ得るようになされている。
なお、このときCPU30は、表示選択操作された瞬間の映像表示部57Yに対する表示映像データ又は各映像表示部57に対する表示映像データの全てをその状態で一時的に停止(保持)し、その状態をユーザに目視確認させ得るようになされている。
因みにCPU30は、映像表示部57Yに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部57Yに対する表示映像データ又は各映像表示部57に対する表示映像データの全てを停止状態から解除し、複数の映像表示部57の間において動画像の状態で時間差を設けながら、当該複数の映像表示部57が表示順に連携した映像表示部群58として再度連動表示させるようになされている。
この場合においても、かかる映像表示部群58の移動操作後における各映像表示部57(……,57F〜57A〜57V,……)は、それぞれの表示情報(表示サイズ及び表示位置を含む表示情報)に応じて、かかる映像表示部群58の移動操作前にその位置に表示されていた映像表示部57(57F〜57A〜57V)と同じ大きさで表示されるため、それまでその映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示されていた再生映像があたかも瞬時に過去側へ戻されたように見えることとなる。
またこの場合において、各映像表示部57(……,57F〜57A〜57V,……)に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部57(図13(B−2)では57Yとなる)に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部57(57Y)から離れた映像表示部57(57X,57W,……、57Z,57A〜57F,……)に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
(1−2−2−2−3)映像表示部群58の表示形態変更操作
他方、帯状表示部55では、映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像を停止させた状態で、例えばキーボード39の「コントロール」キーを押圧操作しながら、上述の『クリップの映像の表示速度を上げる』操作を行うことによって、図18(A)に示すように、その映像表示部群58の各映像表示部57(57F〜57A〜57V)の表示位置を全体として当該映像表示部群58に沿って画面右側から画面左側へ向かう方向に移動させることができ、これにより映像表示部群58の表示形態を変更することができる。
この場合において、かかる映像表示部群58の移動操作後における各映像表示部57(57F〜57A〜57V)は、それぞれその表示位置に応じて、かかる映像表示部群58の移動操作前にその位置に表示されていた映像表示部57(57F〜57A〜57V)と同じ大きさで表示されるため、当該操作後の映像表示部群58では、当該移動操作前の状態と比べて、手前中央部に表示される映像表示部57(57B〜57F)内の再生映像を基準として、時間的に過去の再生映像が多く、時間的に未来の再生映像が少なくなるように、その映像表示部群58が表示されることとなる。
またこの場合においても、その後その状態で再生が開始された場合、各映像表示部57(57F〜57A〜57V)に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部57(57C)に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部57(57C)から離れた映像表示部57(57D〜57F、57B,57A,57Z〜57V)に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
これに対して帯状表示部55では、映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像を停止させた状態で、例えばキーボード39の「コントロール」キーを押圧操作しながら、上述の『クリップの映像の表示速度を下げる』操作を行うことによって、図18(B)に示すように、その映像表示部群58の各映像表示部57(57F〜57A〜57V)の表示位置を全体として当該映像表示部群58に沿って画面左側から画面右側へ向かう方向に移動させることができ、これにより映像表示部群58の表示形態を変更することができる。
この場合においても、かかる映像表示部群58の移動操作後における各映像表示部57(57F〜57A〜57V)は、それぞれその表示位置に応じて、かかる映像表示部群58の移動操作前にその位置に表示されていた映像表示部57(57F〜57A〜57V)と同じ大きさで表示されるため、当該操作後の映像表示部群58では、当該操作前の状態と比べて、手前中央部に表示される映像表示部57(57Z〜57V)内の再生映像を基準として、時間的に未来の再生映像が多く、時間的に過去の再生映像が少なくなるように、その映像表示部群58が表示されることとなる。
またこの場合においても、その後その状態で再生が開始された場合、各映像表示部57(57F〜57A〜57V)に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部57(57Y)に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部57(57Y)から離れた映像表示部57(57Z,57A〜57F、57X〜57V)に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
(1−2−2−2−4)映像表示部群58の拡大縮小操作
他方、帯状表示部55では、例えば1つの映像表示部群58をマウス操作により選択し、その後マウス38の左ボタンをクリックしたまま、キーボード39の方向キー70のうちの「下(↓)」キー70Dを押圧操作することによって、その映像表示部群58の表示を小さくさせることができ、また1つの映像表示部群58をマウス操作により選択し、その後マウス38の左ボタンをクリックしたまま、キーボード39の方向キー70のうちの「上(↑)」キー70Uを押圧操作することによって、その映像表示部群58の表示を大きくさせることができる。
これにより帯状表示部55では、例えばある第1のクリップの編集作業中に他の第2のクリップの映像音声部分を切り出して第1のクリップに挿入するインサート編集を行う場合に、編集途中の第1のクリップの映像表示部群58を小さく表示させることにより帯状表示部55内に大きなスペースを作ってから、新しい第2のクリップの映像表示部群58をそのスペースに大きく表示させて所望の映像音声部分の切出し操作を行い、その後第1のクリップの映像表示部群58の表示サイズを戻して、当該切り出した第2のクリップの映像音声部分を第1のクリップの所望位置に挿入するといった操作を行うことができる。
(1−2−2−3)各種基本又は拡張操作入力に対するCPU30の処理
ここでCPU30は、上述のような各種基本又は拡張操作入力に対する処理を、ROM31(図1)に格納された制御プログラムに基づき、図9に示す表示変更処理手順RT1に従って実行する。
例えば、図9のステップSP3において認識した操作が上述の『クリップの映像の表示速度を上げる』操作であった場合、CPU30は、記憶装置22を制御して、対応する映像表示部群58の各映像表示部57に表示させる再生映像の再生速度vに応じて、映像表示部57(57F〜57A〜57V)に表示する各映像を選択し、生成する。このとき各映像表示部間の再生フレームの間隔を広げると共に、各映像表示部57内においても表示再生速度を上げることにより、映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生速度vが増加し、かつ隣接する映像表示部57(57F〜57A〜57V)間における再生映像の再生時間差ΔTが増加する。
またCPU30は、ステップSP3において認識した操作が上述の『クリップの映像の表示速度を下げる』操作であった場合には、記憶装置22を制御して、対応する映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示させる再生映像の再生速度vに応じて、映像表示部57(57F〜57A〜57V)に表示する各映像を選択し、生成する。このとき各映像表示部間の再生フレームの間隔を小さくすると共に、各映像表示部57内においても表示再生速度を下げることにより、映像表示部57(57F〜57A〜57V)にそれぞれ表示される再生映像の再生速度vが減少し、かつ隣接する映像表示部57(57F〜57A〜57V)間における再生映像の再生時間差ΔTが減少する。
さらにCPU30は、ステップSP3において認識した操作が『クリップの映像を停止させる』操作であった場合には、記憶装置22を制御して、対応する映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示させる再生映像の再生を停止させる一方、信号処理部34を制御して、当該映像表示部群58の各映像表示部57(57F〜57A〜57V)に再生停止直前の最後のフレームの画像をそれぞれ表示させ続ける。この結果、各映像表示部57(57F〜57A〜57V)に、もとの再生時間差ΔTを保った状態でそれぞれ対応する静止画像が表示されることとなる。
さらにCPU30は、ステップSP3において認識した操作が『キーボード39の「シフト」キーを押圧したまま、「クリップの映像を停止させる」』操作等の各種拡張操作であった場合には、帯状表示部55の対応する映像表示部群58に表示される各再生映像や、その映像表示部群58自体の表示映像を、その拡張操作に応じた状態に変化させるように記憶装置22や信号処理部34を制御する。
そしてCPU30は、ステップSP5、ステップSP6において、帯状表示部55に表示された映像表示部群58内の各再生映像や映像表示部群58自体の表示映像を操作入力に応じた状態に変更する。
(1−2−3)帯状表示部55における編集内容設定のための各種操作
(1−2−3−1)帯状表示部55における編集内容設定のための各種操作
次に、帯状表示部55における編集内容設定のための具体的な個々の操作の操作手順について説明する。
まず同一クリップ内でのカット編集について説明する。帯状表示部55にドラッグアンドドロップしたクリップについて、そのクリップ内でのカット編集を行う場合には、図19(A)に示すように、まずそのクリップの映像の再生を開始させ、必要に応じてその映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示された各再生映像の再生速度vや、隣接する映像表示部57(57F〜57A〜57V)に表示される再生映像の再生時間差ΔTを上述のようにして変更しながら、切り取るべき映像音声部分の最初のフレームFRINを探すようにする。
そしてそのフレームFRINが編集位置として決まったら、各映像表示部57(57F〜57A〜57V)に表示される再生映像を全て停止させ、その状態でそのフレームFRINの画像が表示されている映像表示部57(57F〜57A〜57V)をクリックする。この編集操作入力の結果、そのフレームFRINが切り取るべき映像音声部分のイン点として設定され、その映像表示部57(57F〜57A〜57V)の枠部分が所定色(例えば黄色)に着色される。
次に、これと同様にして、切り取ろうとする映像音声部分の最後のフレームの次のフレームFROUTを探し出し、そのフレームFROUTが編集位置として決まったら、各映像表示部57(57F〜57A〜57V)に表示される再生映像を全て停止させ、その状態でそのフレームFROUTの画像が表示されている映像表示部57(57F〜57A〜57V)をクリックするようにする。この編集操作入力の結果、そのフレームFROUTが切り取るべき映像音声部分のアウト点として設定され、その映像表示部57(57F〜57A〜57V)のうち切り取られるフレームの枠部分が所定色(例えば白色)に表示される。
そして、このようにしてそのクリップ内にイン点及びアウト点を編集位置として設定した後に、必要に応じて隣接する映像表示部57(57F〜57A〜57V)に表示される再生映像の再生時間差ΔTを上述のようにして変更することにより、イン点及びアウト点の各フレームFRIN、FROUTの画像をそれぞれその映像表示部群58に静止させた状態で表示させ、その後図19(B)に示すように、イン点及びアウト点を繋ぎ合わせる操作、つまりかかるアウト点に設定されたフレームFROUTの画像を、イン点に設定されたフレームFRINの画像上に重ねるようにドラッグアンドドロップする編集操作入力を行う。
この結果、図19(C)に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームFRINからアウト点に設定されたからフレームFROUTの1つ前のフレームまでの映像音声部分を削除し、イン点に設定されたフレームFRINの1つ前のフレームとアウト点に設定されたフレームFROUTとを繋ぎ合わせるべき旨の編集データが作成され、この編集データに基づく加工処理により得られる編集映像音声の映像が、そのクリップと同じ表示形態で帯状表示部55に表示される。つまり、かかるように表示形態が変更されたカット編集後の編集映像音声の所定再生時間差ΔTごとの再生映像を各映像表示部57(57F〜57A〜57V)にそれぞれ表示した映像表示部群58が帯状表示部55に表示される。
なお、このような加工処理により切り出される映像音声部分を削除することなく、別クリップとして残しておきたいときには、まず帯状表示部55のツールバー59に表示された「設定」をクリックすることにより表示されるコンテキストメニューの中から「分離モード」を選択して設定し、その後図20(A)及び(B)に示すように、図19(A)及び(B)について上述したカット編集のときと同様にしてイン点及びアウト点の各フレームFRIN、FROUTをそれぞれ設定し、さらにその後アウト点に設定したフレームFROUTの画像をドラッグアンドドロップにより、イン点に設定したフレームFRIN上に重ねる編集操作入力を行う。
この結果、図20(C)に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームFRINの1つ前のフレームと、アウト点に設定されたフレームFROUTとを繋ぎ合わせ、さらにイン点に設定されたフレームFRINからアウト点に設定されたフレームFROUTの1つ前のフレームまでの映像音声部分を別クリップとすべき旨の編集データが作成される。
このとき帯状表示部55には、かかる編集データに基づく加工処理により得られるカット編集後の表示形態が変更された編集映像音声の映像と、別クリップとして生成されたイン点に設定されたフレームFRINからアウト点に設定されたフレームFROUTの1つ前のフレームまでの映像音声部分の映像とがそのクリップと同じ表示形態で帯状表示部55に表示される。つまりかかるカット編集により得られた編集映像音声の所定再生時間差ΔTごとの再生映像が各映像表示部57(57F〜57A〜57V)にそれぞれ表示された映像表示部群58Aと、かかる別クリップとされた映像音声部分の所定再生時間差ΔTごとの再生映像が各映像表示部57(57F〜57A〜57V)にそれぞれ表示された映像表示部群58Bとが帯状表示部55に表示されることとなる。
なお、この場合CPU30は、映像表示部群58A及び映像表示部群58Bにおけるそれぞれの表示情報(表示サイズ及び表示位置を含む表示情報)に応じて、映像表示部群58Aと映像表示部群58Bとが帯状表示部55内に収まるよう上下方向に僅かに圧縮された状態に変形して表示するようになされている。
このようにCPU30は、キーボード39又はマウス38による上述のような編集操作入力が行われると、当該編集操作入力に対応した編集情報を第1のインタフェース部36Aを介して取得し、当該編集情報の内容に応じて各映像表示部57の表示形態を変更させ得るようになされている。
因みにCPU30は、編集位置として設定する編集操作入力を解除するための編集位置設定解除操作が入力された場合、各映像表示部57に対する表示映像データの全てを停止状態から解除し、複数の映像表示部57の間において動画像の状態で時間差を設けながら、当該複数の映像表示部57が表示順に連携した映像表示部群58として再度連動表示させるようになされている。
さらに1つのクリップを、所望フレームを境として2つのクリップに分離したいときには、上述のようにして「分離モード」を設定し、その後上述と同様にして編集位置として所望するフレームFRINをイン点に設定する。この結果図21(A)に示すように、そのフレームFRINの画像が表示されている映像表示部57(57F〜57A〜57V)の枠部分が所定色(例えば黄色)に着色され、これによりそのフレームを、分離する際の境とすべきフレームとして設定することができる。そして、例えばその後キーボード39の「オルト(Alt)」キー及び「スペース」キーの双方を押圧するような編集操作入力を行う。
この結果、図21(B)に示すように、そのクリップのイン点に設定されたフレームFRINを境として分割すべき編集データが生成され、この編集データに基づく加工処理により得られるそのクリップの前半及び後半の各映像音声部分の映像がそのクリップと同じ表示形態で帯状表示部55に表示される。つまり、そのクリップにおける前半の映像音声部分の所定再生時間差ΔTごとの再生映像が各映像表示部57(57F〜57A〜57V)にそれぞれ表示された映像表示部群58Aと、そのクリップにおける後半の映像音声部分の所定再生時間差ΔTごとの再生映像が各映像表示部57(57F〜57A〜57V)にそれぞれ表示された映像表示部群58Bとが帯状表示部55に表示されることとなる。
なお、この場合にもCPU30は、映像表示部群58A及び映像表示部群58Bにおけるそれぞれの表示情報(表示サイズ及び表示位置を含む表示情報)に応じて、映像表示部群58Aと映像表示部群58Bとが帯状表示部55内に収まるよう上下方向に僅かに圧縮された状態に変形して表示するようになされている。
一方、かかる編集画面50では、帯状表示部55に2つのクリップの映像表示部群58をそれぞれ表示させ、これらを利用して2つのクリップを繋ぎ合わせるいわゆるアッセンブル編集や、一方のクリップの所望位置に他方のクリップの一部を挿入するインサート編集などのカット編集を行うこともできる。
実際上、アッセンブル編集を行う場合、上述した操作により、図22(A)に示すように、アッセンブル編集に使用しようとする2つのクリップとそれぞれ対応付けられた映像表示部群58(58A、58B)を帯状表示部55内にそれぞれ表示させる。
続いて、帯状表示部55に表示された2つの映像表示部群58のうち、下地にしようとする一方の第1のクリップと対応付けられた映像表示部群58(58A)をマウス操作により選択した後に、カット編集のときと同様にして、この第1のクリップ内に第1の編集位置としてイン点を設定する。
またこの後、帯状表示部55に表示された2つの映像表示部群58のうち、挿入側にしようとする他方の第2のクリップと対応付けられた映像表示部群58(58B)をマウス操作により選択した後に、カット編集のときと同様にして、この第2のクリップ内に第2の編集位置としてイン点及び必要に応じてアウト点を設定する。
そして、この後図22(B)に示すように、第1の編集位置として設定された第1のクリップのイン点と第2の編集位置として設定された第2のクリップのイン点とを繋ぎ合わせる操作、つまり第2のクリップと対応付けられた映像表示部群58(58B)に表示された第2のクリップのイン点に設定されたフレームFRIN−2の画像を、第1のクリップと対応付けられた映像表示部群58(58A)に表示された第1のクリップのイン点に設定されたフレームFRIN−1の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。
この結果、図22(C)に示すように、第1のクリップの先頭のフレームからイン点に設定されたフレームとFRIN−1の1フレーム前までの映像音声部分と、第2のクリップのイン点に設定されたフレームFRIN−2から最後のフレームまで(第2のクリップ内にアウト点を設定したときには、イン点に設定されたフレームFRIN−2からアウト点に設定されたフレームまで)の映像音声部分とを繋げ合わせるべき旨の編集データが生成され、またこの編集データに基づく加工処理により得られる編集映像音声の映像がそのときの第1及び第2のクリップの映像と同じ表示形態で帯状表示部55に表示される。つまり、かかる編集映像音声の所定再生時間差ΔTごとの映像を各映像表示部57(57F〜57A〜57V)にそれぞれ表示した映像表示部群58が帯状表示部55に表示される。
これに対してインサート編集を行う場合には、アッセンブル編集時と同様にして、図23(A)に示すように、インサート編集に使用しようとする2つのクリップの映像表示部群58(58A、58B)を帯状表示部55内にそれぞれ表示させる。
続いて、帯状表示部55に表示されたこれら2つの映像表示部群58(58A、58B)のうち、下地にしようとする一方の第1のクリップと対応付けられた映像表示部群58(58A)をマウス操作により選択した後に、カット編集のときと同様にして、この第1のクリップ内にイン点及びアウト点を第1の編集位置としてそれぞれ設定する一方、これと同様にして他方の第2のクリップ内にイン点及びアウト点を第2の編集位置としてそれぞれ設定する。
そして、この後図23(B)に示すように、第1のクリップのイン点と第2のクリップのイン点とを繋ぎ合わせる操作、つまり第2のクリップと対応付けられた映像表示部群58(58B)に表示された当該第2のクリップのイン点に設定されたフレームFRIN−2の画像を、第1のクリップと対応付けられた映像表示部群58(58A)に表示された当該第1のクリップのイン点に設定されたフレームFRIN−1の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。
この結果、図23(C)に示すように、第1のクリップの先頭のフレームからイン点に設定されたフレームFRIN−1の1つ前のフレームまでの映像音声部分と、第2のクリップのイン点に設定されたフレームFRIN−2からアウト点に設定されたフレームFROUT−2の1フレーム前までの映像音声部分と、第1のクリップのアウト点に設定されたフレームFROUT−1から当該第1のクリップの最後のフレームまでの映像音声部分とを順次繋ぎ合わせるべき旨の編集データが生成され、この編集データに基づく加工処理により得られる編集映像音声の映像がそのときの第1及び第2のクリップの映像と同じ表示形態で帯状表示部55に表示される。つまり、かかる編集映像音声の所定再生時間差ΔTごとの映像を各映像表示部57(57F〜57A〜57V)にそれぞれ表示した映像表示部群58が帯状表示部55に表示される。
他方、このように得られたアッセンブル編集又はインサート編集の編集映像音声について、第1及び第2のクリップの切替わり部分に映像特殊効果を設定したい場合には、図24(A)に示すように、カット編集時と同様にして、かかる編集映像音声における第1のクリップ側の終わり近傍にイン点を編集位置として設定すると共に、第2のクリップ側の始まり近傍にアウト点を設定する。
次いで、エフェクト情報表示部54に表示されるエフェクト一覧の中から所望する映像特殊効果と対応付けられたエフェクトアイコン13を選択し、図24(B)に示すように、例えばこれをドラッグアンドドロップにより、対応する映像表示部群58に表示されたイン点に設定されたフレームFRINからアウト点に設定されたフレームFROUTまでの間のいずれかのフレームの画像上に貼り付けるようにする。
この結果、その編集映像音声について、図24(C)に示すように、第1及び第2のクリップの切替わり部分において、貼り付けられたエフェクトアイコン13に対応する映像特殊効果処理を施すべき編集データが生成され、編集データに基づく加工処理により得られる編集映像音声の映像が元の編集映像音声の映像と同じ表示形態で帯状表示部55に表示される。つまり、かかる映像特殊効果処理が施された編集映像音声の所定再生時間差ΔTごとの映像を各映像表示部57(57F〜57A〜57V)にそれぞれ表示した映像表示部群58が帯状表示部55に表示されることとなる。
このようにしてオペレータは、この編集画面50の帯状表示部55を利用して、所望のクリップを順次繋ぎ合わせ、所望位置に所望の映像特殊効果を設定してなる編集映像音声を得るための編集データを作成することができる。
なお、上述のようにして編集データを作成後、これらを編集リストとして保存したいときには、帯状表示部55のツールバー59の「ファイル」をクリックすることによって表示される図示しないコンテキストメニューの中から「編集リストの保存」を選択するようにする。この結果、そのとき作成した各編集データが1つの編集リストとしてファイルかされてハードディスク装置33(図1)内の編集リストデータベースに登録される。
(1−2−3−2)各種操作に対するCPU30の処理
ここで、CPU30は、操作入力に対する上述のような各種表示映像等の変更処理を、ROM31(図1)に格納された制御プログラムに基づき、図25に示す編集操作応答処理手順RT2に従って実行する。
すなわちCPU30は、図9に示す再生処理手順RT1に従って指定されたクリップの映像表示部群58を編集画面50の帯状表示部55に表示し終えると、図9を用いた上述した表示変更処理手順RT1と並行してこの編集操作応答処理手順RT2をステップSP20において開始し、続くステップSP21において、そのとき帯状表示部55に表示している映像表示部群58上においてクリックされたか否かを判断する。
そしてCPU30は、このステップSP21において否定結果を得るとステップSP22に進んで、オペレータが所定の編集操作入力が行われたか否かを判断する。なお、ここでいう「編集操作入力」とは、図19及び図20について上述したように、同一クリップ内にイン点やアウト点が設定された後に、アウト点に設定されたフレームFROUTの画像をイン点に設定されたフレームFRINの画像上にドラッグアンドドロップする操作や、図21について上述したように、「分離モード」が設定されている状態で、あるクリップにイン点が設定され、その後キーボード39の「オルト(Alt)」キー及び「スペース」キーの双方が押圧される操作、図22及び図23について上述したように、第1及び第2のクリップにそれぞれ対応する映像表示部群58が帯状表示部55に表示された状態で、これら第1及び第2のクリップにイン点(及びアウト点)がそれぞれ設定され、その後第2のクリップのイン点に設定されたフレームFRIN−2の画像を第1のクリップのイン点のフレームFRIN−1の画像上にドラッグアンドドロップする操作、又は図24について上述したように、エフェクトアイコン13を対応する映像表示部群58上にドラッグアンドドロップする操作等をいう。
そしてCPU30は、このステップSP22において否定結果を得ると、ステップSP21に戻って、この後ステップSP21−SP22−SP21のループを繰り返しながら、ステップSP21又はステップSP22において肯定結果を得るのを待ち受ける。
そしてCPU30は、やがてオペレータが帯状表示部55内に表示された映像表示部群58上でクリックすることによりステップSP21において肯定結果を得ると、ステップSP23に進んで、そのときクリックされたフレームを状況に応じてイン点又はアウト点に設定すると共に、これと併せて信号処理部34を制御することにより、その映像表示部群58におけるそのイン点又はアウト点に設定されたフレームFRIN、FROUT(FRIN−1、FRIN−2、FROUT−1、FROUT−2)の画像を表示している映像表示部57(57F〜57A〜57V)の枠部を所定色に着色させる。
またCPU30は、クリップにイン点(及びアウト点)が設定された後に、オペレータが所定の編集操作を入力することによりステップSP22で肯定結果を得ると、ステップSP24に進んで、その編集操作に応じた編集結果を得るための編集データを生成する。
そしてCPU30は、この後ステップSP25に進んで、信号処理部34を制御することにより、このようにして生成した編集データに基づく映像、つまり図19(C)、図20(C)、図21(B)、図22(C)〜図24(C)について上述したような編集後の表示形態が変更された編集映像音声の映像を帯状表示部55内に表示させる。さらにCPU30は、この後ステップSP26に進んで、この編集操作応答処理手順RT2を終了する。
このようにしてCPU30は、オペレータにより入力された編集操作入力に応じた編集データを生成すると共に、当該編集操作入力に応じて表示形態が変更された編集結果の映像を帯状表示部55に表示させる。
(1−3)編集システムの構成例
次に、編集システム1としては図1に示した構成を一例として説明したが、実際には種々の構成が考えられ、その具体的な構成を第1構成例及び第2構成例として順に説明する。
(1−3−1)第1構成例
図1との対応部分に同一符号を付した図26に示すように、200は全体として本実施の形態による編集システム1(図1)をさらに具体化した第1構成例の編集システムを示し、編集装置201、記憶装置22及び複数台のビデオテープレコーダ23〜23n等から構成されている。
この編集システム200においても、編集システム1(図1)と同様にビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置201を介してRAIDでなる大容量の記憶装置22に取り込み得るようになされている。
またこの編集システム200においても、記憶装置22に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置22に蓄積し、ビデオテープに記録することができるようになされている。
この場合、編集装置201においては、編集装置21(図1)とは異なり、ノースブリッジ204に対してCPU202、RAM32、編集装置21の信号処理部34(図1)に相当する画像描画部としてのGPU(Graphic Processing Unit)203及びサウスブリッジ205が接続されると共に、当該サウスブリッジ205にハードディスク装置33、USBインタフェース206及びサウンド入出力コーデック208が接続されている。このサウンド入出力コーデック208にはスピーカ41が接続されている。
またサウスブリッジ205には、PCI(Peripheral Component Interconnect)バス207を介してマウス38、キーボード39、ビデオテープレコーダ23〜23、記憶装置22が接続されている。なおGPU203にはディスプレイ40が接続されている。
ところで編集装置201のCPU202は、主にMPEGデコーダやJPEG2000、H.264/AVC(Advanced Video Coding)等のコーデック等の役割を担い、デコードした結果得られる映像表示部57に表示するための再生映像をGPU203へデータ転送したり、再生時間差ΔT及び再生速度vの設定を変更したり、或いは物理演算等を行うようになされている。
一方GPU203は、各映像表示部57(57F〜57A〜57V)に表示する再生映像を動かすときのテクスチャの張り込みなどの最終的なレンダリング処理に加えて座標変換計算処理や、再生映像の拡大・縮小処理等を行う機能を司り、CPU202の処理負担を軽減させるようになされている。
実際上、CPU202は、起動時、ハードディスク装置33に格納された制御プログラムに基づき、当該ハードディスク装置33に格納されている必要なソフトウェアを読み出してRAM32に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。
CPU202は、マウス38やキーボード39が操作されて、ビデオテープに記録された映像音声を記憶装置22に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置33を制御することにより、対応する画像データを読み出させる一方、これと併せてGPU203を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ40に表示させる。
またCPU202は、この状態でマウス38が操作されて、あるビデオテープレコーダ23〜23に対する再生動作命令が入力されると、これに応動してビデオテープレコーダ23〜23を制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。
この結果このビデオテープレコーダ23〜23からは、当該ビデオテープレコーダ23〜23に装填されたビデオテープから再生された映像音声信号S1が出力され、そのうち映像信号S2がPCIバス207、サウスブリッジ205、ノースブリッジ204を順次介してGPU203に与えられる。
因みに映像信号S2は、PCIバス207、サウスブリッジ205、ノースブリッジ204を順次介してGPU203に供給されるのだが、映像信号S2に基づいて各映像表示部57(57F〜57A〜57V)に表示すべき複数の再生映像を全て転送する際の転送速度はノースブリッジ204とGPU203との間における転送レート(例えば最大5Gbyte/sec)に依存する。
GPU203は、CPU202の制御のもとに、供給される映像信号S2に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ40に送出することにより、当該映像信号に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、CPU202はこのとき映像音声信号S1から抽出した音声信号S3をサウンド入出力コーデック208を介してスピーカ41に送出することにより、当該音声信号S3に基づく音声をスピーカ41から出力させる。
かくしてオペレータは、ディスプレイ40に表示された映像及びスピーカ41から出力される音声に基づいて、マウス38及びキーボード39を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長、クリップID、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、CPU202の制御のもとに、ハードディスク装置33内のクリップ管理情報データベースに登録される。
またCPU202は、この後マウス38又はキーボード39が操作されて、そのクリップの取込み命令が入力されると、これに応動してビデオテープレコーダ23〜23を制御することにより、指定されたクリップの映像音声の再生動作を実行させる。
この結果、ビデオテープレコーダ23〜23からは、ビデオテープから再生されたそのクリップの映像音声信号S1が出力され、そのうち映像信号S2がPCIバス207、サウスブリッジ205及びノースブリッジ204を順次介してGPU203に与えられる。またCPU202は、これと併せてGPU203及び記憶装置22を制御することにより、ビデオテープレコーダ23〜23から与えられるかかるクリップの映像音声信号S1を記憶装置22に取り込ませる。
このようにしてこの編集システム200においても、編集システム1(図1)と同様に、指定されたクリップの映像音声をビデオテープから再生して記憶装置22に取り込むことができるようになされている。
一方、オペレータは、この後マウス38やキーボード39を用いた所定操作により編集作業を行うための編集画面50(図2)をディスプレイ40に表示させることができ、この編集画面50を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。
そしてCPU202は、編集リストが作成された後マウス38が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置33内の編集リストデータベースに登録する。
またCPU202は、編集リストの作成後又は作成途中において、マウス38又はキーボード39が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置22を制御することにより、必要なクリップの映像音声信号S4を記憶装置22に読み出させる。
かくしてこの記憶装置22から読み出された映像音声信号S4のうち映像信号がPCIバス207、サウスブリッジ205及びノースブリッジ204を順次介してGPU203に与えられ、この後CPU202の制御のもとに、当該GPU203又はCPU202において必要に応じて映像特殊効果加工処理が施される。
そしてGPU203は、CPU202の制御のもとに、供給される映像信号に対して映像特殊効果加工処理を施すことにより得られた編集映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ40へ送出する。一方、CPU202は、映像音声信号S4のうち音声信号に対して音声ミキシング処理を施し、その結果得られた編集音声信号をサウンド入出力コーデック208を介してスピーカ41へ送出する。この結果、編集画面50内の所定位置に編集映像が表示され、スピーカ41から編集音声が出力される。
このようにしてこの編集システム200においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。
さらにCPU202は、編集リストが作成された後、マウス38又はキーボード39が操作されてその実行命令が入力されると、これに応動して記憶装置22を制御することにより、記憶装置22から読み出した編集処理に利用するクリップの映像音声信号S4のうち映像信号をPCIバス207、サウスブリッジ205及びノースブリッジ204を介してGPU203に送出させる。
同様にCPU202は、記憶装置22から読み出した映像音声信号S4のうち音声信号を、PCIバス207、サウスブリッジ205を介してサウンド入出力コーデック208からスピーカ51へ出力する。
そしてこのときGPU203は、CPU202の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像信号に対して必要に応じて特殊効果加工処理を施す一方、得られた編集映像信号をノースブリッジ204、サウスブリッジ205及びPCIバス207を順次介して記憶装置22又は対応するビデオテープレコーダ23〜23に送出する。
かくして記憶装置22は、CPU202の制御のもとに、供給される編集映像信号を指定されたアドレス位置に記憶する。またビデオテープレコーダ23〜23は、CPU202の制御のもとに、供給される編集映像信号をビデオテープの指定された位置に記録する。
このようにしてこの編集システム200においても、編集装置1(図1)と同様に、作成した編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置22に蓄積したり、ビデオテープに記録したりすることができるようになされている。
従って編集システム200では、編集システム1と同様に、編集装置201のCPU202及びGPU203により、編集画面50の帯状表示部55における映像表示部57(57F〜57A〜57V)に対して、所定の再生速度v及び再生時間差ΔTに設定された、流れるような映像表示(図4)を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。
(1−3−2)第2構成例
図26との対応部分に同一符号を付した図27に示すように、250は全体として本実施の形態による編集システム1(図1)をさらに具体化した第2構成例の編集システムを示し、編集装置251、記憶装置22及び複数台のビデオテープレコーダ23〜23n等から構成されている。
この編集システム250においても、編集システム200(図26)と同様にビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置251を介してRAIDでなる大容量の記憶装置22に取り込み得るようになされている。
またこの編集システム250においても、記憶装置22に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置22に蓄積したり、ビデオテープに記録することができるようになされている。
この場合、編集装置251においては、編集装置201(図26)とは異なり、マイクロプロセッサ252に対してGPU265、XDR(Extreme Data Rate)−RAM266及びサウスブリッジ205が接続されると共に、当該サウスブリッジ205にハードディスク装置33、USBインタフェース206及びサウンド入出力コーデック208が接続されている。このサウンド入出力コーデック208にはスピーカ41が接続されている。
またサウスブリッジ205には、PCIバス207を介してマウス38、キーボード39、ビデオテープレコーダ23〜23及び記憶装置22が接続されている。なおGPU265にはディスプレイ40が接続されている。
ところでマイクロプロセッサ252は、OS(Operating System)等の基本プログラムを実行する汎用のメインCPUコア253と、当該メインCPUコア253に内部バス263を介して接続された複数(この場合8個)のRISC(Reduced Instruction Set Computer)タイプの信号処理プロセッサ(以下、これをサブCPUコアと呼ぶ)254〜261と、例えば256[MByte]の容量を有するXDR−RAM266に対するメモリコントロールを行うメモリコントローラ262と、サウスブリッジ205との間でデータの入出力を管理するI/O(In/Out)コントローラ264とが1チップに集積されたマルチコア構成でなり、例えば動作周波数4[GHz]を可能としている。
この編集装置251のマイクロプロセッサ252は、主にMPEGデコーダ、JPEG2000、H.264/AVC(Advanced Video Coding)等のコーデックの役割を担い、デコードした結果得られる映像表示部57に表示するための再生映像をGPU265へデータ転送したり、再生時間差ΔT及び再生速度vの設定を変更したり、或いは物理演算等を行うようになされている。
特にマイクロプロセッサ252は、8個のサブCPUコア254〜261がデコーダの役割をそれぞれ担い、当該8個のサブCPUコア254〜261がHD(High Definition)の再生映像を同時並列的にデコードすることが可能である。
またメインCPUコア253は、8個のサブCPUコア254〜261が行う以外の処理や管理を行うようになされており、サウスブリッジ205を介してマウス38やキーボード39から供給された命令を受け付け、当該命令に応じた種々の処理を実行する。
このようにマイクロプロセッサ252は、8個のサブCPUコア254〜261によって同時並列的に再生映像をデコードすることができるようになされており、かつマイクロプロセッサ252とGPU265との間を帯域幅の大きなバス268により例えば最大30[Gbyte/sec]の転送速度でデータ転送し得るようになされているため、多くの枚数の高精細な再生画像をデコードして短時間にデータ転送し得るようになされている。
因みに、この場合8個のサブCPUコア254〜261では、例えば同時に2枚のHDの再生映像をそれぞれデコードすることが可能であり、すなわちマイクロプロセッサ252からGPU265へは一度に16枚(この場合)もの高精細な再生画像を高速転送することができる。但し、8個のサブCPUコア254〜261が同時にデコード可能なHDの枚数としてはこれに限るものではない。
一方GPU265は、第1構成例のGPU203と同様に、各映像表示部57(57F〜57A〜57V)に表示する再生映像を動かすときのテクスチャの張り込みなどの最終的なレンダリング処理に加えて座標変換計算処理や、再生映像の拡大・縮小処理等を行う機能を司り、マイクロプロセッサ252の処理負担を軽減させるようになされている。
実際上、マイクロプロセッサ252は、起動時、ハードディスク装置33に格納された制御プログラムに基づき、当該ハードディスク装置33に格納されている必要なソフトウェアを読み出してXDR−RAM32に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。
マイクロプロセッサ252は、マウス38やキーボード39が操作されて、ビデオテープに記録された映像音声を記憶装置22に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置33を制御することにより、対応する画像データを読み出させる一方、これと併せてGPU265を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ40に表示させる。
またマイクロプロセッサ252は、この状態でマウス38が操作されて、あるビデオテープレコーダ23〜23に対する再生動作命令が入力されると、これに応動してビデオテープレコーダ23〜23を制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。
この結果このビデオテープレコーダ23〜23からは、当該ビデオテープレコーダ23〜23に装填されたビデオテープから再生された映像音声信号S1が出力され、そのうち映像信号S2がPCIバス207、サウスブリッジ205及びマイクロプロセッサ252を順次介してGPU265に与えられる。
GPU265は、マイクロプロセッサ252の制御のもとに、供給される映像信号S2に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ40に送出することにより、当該映像信号に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、CPU265は、このとき映像音声信号S1から抽出した音声信号S3をサウンド入出力コーデック208を介してスピーカ41に送出することにより、当該音声信号S3に基づく音声をスピーカ41から出力させる。
かくしてオペレータは、ディスプレイ40に表示された映像及びスピーカ41から出力される音声に基づいて、マウス38及びキーボード39を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長、クリップID、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、マイクロプロセッサ252の制御のもとに、ハードディスク装置33内のクリップ管理情報データベースに登録される。
またマイクロプロセッサ252は、この後マウス38又はキーボード39が操作されて、そのクリップの取込み命令が入力されると、これに応動してビデオテープレコーダ23〜23を制御することにより、指定されたクリップの映像音声の再生動作を実行させる。
この結果、ビデオテープレコーダ23〜23からは、ビデオテープから再生されたそのクリップの映像音声信号S1が出力され、そのうち映像信号S2がPCIバス207、サウスブリッジ205、マイクロプロセッサ252及びバス268を順次介してGPU265に与えられる。またマイクロプロセッサ252は、これと併せてGPU265及び記憶装置22を制御することにより、ビデオテープレコーダ23〜23から与えられるかかるクリップの映像音声信号をGPU265を介して記憶装置22に取り込ませる。
このようにしてこの編集システム250においても、編集システム1(図1)と同様に、指定されたクリップの映像音声をビデオテープから再生して記憶装置22に取り込むことができるようになされている。
一方、オペレータは、この後マウス38やキーボード39を用いた所定操作により編集作業を行うための編集画面50(図2)をディスプレイ40に表示させることができ、この編集画面50を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。
そしてマイクロプロセッサ252は、編集リストが作成された後マウス38が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置33内の編集リストデータベースに登録する。
またマイクロプロセッサ252は、編集リストの作成後又は作成途中において、マウス38又はキーボード39が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置22を制御することにより、必要なクリップの映像音声信号S4を記憶装置22に読み出させる。
かくしてこの記憶装置22から読み出された映像音声信号S4のうち映像信号がPCIバス207、サウスブリッジ205、マイクロプロセッサ252及びバス268を順次介してGPU265に与えられ、この後マイクロプロセッサ252の制御のもとに、当該GPU265において必要に応じて映像特殊効果加工処理が施される。
そしてGPU265は、マイクロプロセッサ252の制御のもとに、供給される映像信号に対して映像特殊効果加工処理を施すことにより得られた編集映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ40へ送出する。一方、マイクロプロセッサ252は、映像音声信号S4のうち音声信号に対して音声ミキシング処理を施し、その結果得られた編集音声信号をサウンド入出力コーデック208を介してスピーカ41へ送出する。この結果、編集画面50内の所定位置に編集映像が表示され、スピーカ41から編集音声が出力される。
このようにしてこの編集システム250においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。
さらにマイクロプロセッサ252は、編集リストが作成された後、マウス38又はキーボード39が操作されてその実行命令が入力されると、これに応動して記憶装置22を制御することにより、編集処理に利用するクリップの映像音声信号S4を記憶装置22から読み出させてPCIバス207、サウスブリッジ205及びバス268を介してGPU265に送出させる。
そしてこのときGPU265は、マイクロプロセッサ252の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像信号に対して必要に応じて特殊効果加工処理や音声ミキシング処理を施す一方、得られた編集映像信号をバス268、マイクロプロセッサ252、サウスブリッジ205及びPCIバス207を順次介して記憶装置22又は対応するビデオテープレコーダ23〜23に送出する。
かくして記憶装置22は、マイクロプロセッサ252の制御のもとに、供給される編集映像信号を指定されたアドレス位置に記憶する。またビデオテープレコーダ23〜23は、マイクロプロセッサ252の制御のもとに、供給される編集映像信号をビデオテープの指定された位置に記録する。
このようにしてこの編集システム250においても、編集装置1(図1)と同様に、作成した編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置22に蓄積したり、ビデオテープに記録したりすることができるようになされている。
従って編集システム250では、編集システム1と同様に、編集装置251のマイクロプロセッサ252及びGPU265により、編集画面50の帯状表示部55における映像表示部57(57F〜57A〜57V)に対して、所定の再生速度v及び再生時間差ΔTに設定された、流れるような映像表示(図4)を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。
ところで、マイクロプロセッサ252における8個のサブCPUコア254〜261で同時並列的にデコードされた映像表示部57(57F〜57A〜57V)に表示する再生映像は、バス268を介してGPU265にデータ転送されるのだが、このときの転送速度は例えば最大30[Gbyte/sec]である。
これに対して第1構成例の編集装置201(図26)では、ノースブリッジ204とGPU203との間における転送レートがこの場合最大5Gbyte/secであるので、CPU202からノースブリッジ204を介してGPU203へ転送される再生映像の転送速度よりも、マイクロプロセッサ252からGPU265へ転送される再生映像の転送速度の方が数倍高速である。
従って第2構成例の編集システム250では、第1構成例の編集システム200に比べて、映像表示部57(57F〜57A〜57V)に表示する再生映像を高速かつ滑らかに表示し得るようになされている。
このような第2構成例の編集システム250における編集装置251のマイクロプロセッサ252に設けられた8個のサブCPUコア254〜261を用いて同時並列的にデコード処理を行う並列デコード処理手順を次に説明する。
図28に示すように編集装置251は、ルーチンRT3をステップSP40において開始し、続くステップSP41においてマウス38やキーボード39から入力された制御信号をサウスブリッジ205を介してマイクロプロセッサ252に取り込み、当該制御信号をメインCPUコア253で認識すると、次のステップSP42へ移る。
ステップSP42において編集装置251は、ステップSP41で認識した制御信号が映像表示部57(57F〜57A〜57V)に表示すべきクリップを特定する命令であったとき、各映像表示部57(57F〜57A〜57V)に表示するクリップの描画ループをメインCPUコア253で設定し、次のステップSP43へ移る。
ステップSP43において編集装置251は、当該クリップに対応した再生映像、表示位置、表示サイズ等の各種物理演算をメインCPUコア253で行い、次のステップSP44へ移る。
ステップSP44において編集装置251は、メインCPUコア253で描画ループを構成するクリップの再生映像のフレーム位置計算を行うと共に、各映像表示部57(57F〜57A〜57V)に表示するクリップの再生映像を何れのサブCPUコア254〜261でデコードさせるかの担当をメインCPUコア253により割り当て、次のステップSP45へ移る。
ステップSP45において編集装置251は、記憶装置22から再生映像の出力に必要なフレームを読み出し、ステップSP44で割り当てたサブCPUコア254〜261へ分配し、次のステップSP46へ移る。
ステップSP46において編集装置251は、デコーダとしての役割を担う8個のサブCPUコア254〜261により、ステップSP45で分配されたフレームを同時並列的にデコードし、次のステップSP47へ移る。
ステップSP47において編集装置251は、メインCPUコア253により、ステップSP46でデコードされた再生映像を、帯状表示部55の画面上に表示すべき位置やサイズを示した表示情報(表示サイズ及び表示位置)と共にGPU265へ高速データ転送し、次のステップSP48へ移る。
ステップSP48において編集装置251は、GPU265により、メインCPUコア253からデータ転送された再生映像を表示情報(表示サイズ及び表示位置)に従って各映像表示部57(57F〜57A〜57V)の所定位置に貼り付けて表示し、次のステップSP49へ移って処理を終了する。
このように編集装置251では、マイクロプロセッサ252における8個のサブCPUコア254〜261が各映像表示部57(57F〜57A〜57V)に表示する再生映像のデコーダとしての役割をそれぞれ担って同時並列的にデコードし、そのデコードされた再生映像を帯域幅の大きなバス268により例えば最大30[Gbyte/sec]の転送速度でGPU265へ高速データ転送し得るようになされているため、多くの枚数の高精細な再生画像をデコードして短時間にGPU265へデータ転送することができ、かくして複数の映像表示部57の間において動画像の状態で時間差を設けながら表示順に連携した映像表示部群58として帯状表示部55にレスポンス良く滑らかに連動表示させ得るようになされている。
(1−4)第1の実施の形態の動作及び効果
以上の構成において、この編集システム20の編集装置21、201及び251では、ディスプレイ40に表示された編集画面50のクリップ一覧表示部51から所望のクリップを選択して帯状表示部55にドラッグアンドドロップし、この後必要に応じてそのクリップと対応付けられた映像表示部群58を選択した後に再生ボタン56をクリックすると、その映像表示部群58の各映像表示部57(57F〜57A〜57V)に一定の時間差をもってそのクリップの再生映像がそれぞれ表示される。
そしてこのような映像表示方法によれば、かかるクリップの再生映像の各シーンが、その映像表示部群58の右奥の映像表示部から左奥の映像表示部へ向けて、そのとき設定されている再生時間差ΔTをもって順次右回りに流れて行くように表示されるため、2次元の再生映像に時間的な奥行きをもたせることができ、この結果、従来の編集画面1(図41)のように2次元1画面の再生映像を目視しながら所望する映像部分を探索する場合に比べて、格段的に容易に画探し作業を行うことができる。
またこの場合において編集装置21、201及び251では、キーボード39の方向キー70の「上(↑)」キー70Uを押下操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部を、その映像表示部群58に沿って左方向へ引くように当該カーソル71を移動させることによって、その映像表示部群58に表示されている対応する再生映像の表示速度を上げることができ、キーボード39の方向キー70の「下(↓)」キー70Dを押圧操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58に表示された再生映像の一部を、その映像表示部群58に沿って右方向へ引くように当該カーソル71を移動させることによって、その映像表示部群58に表示されている対応する再生映像の表示速度を下げることができる。またマウス38の左ボタンを押圧した状態で、当該マウス操作に応動して編集画面50上を自由に移動するように表示されるカーソル71により映像表示部群58の一部を1秒以上同じ位置で押さえるように操作することによって、その映像表示部群58の各映像表示部57にそれぞれ表示された各再生映像を停止させることができる。
すなわちこの映像表示方法では、映像表示部群58の各映像表示部57(57F〜57A〜57V)に動画像の状態で一定の時間差を設けながら各映像表示部57(57F〜57A〜57V)が表示的に連携した映像表示部群としてクリップの再生映像を表示することにより、映像表示部群58の右奥から左奥へ向かって流れるような映像表示を実行し、その映像表示の表示状態を変更する表示操作入力に応じて当該表示状態を変更することができるので、その結果ユーザに対して見易い状態で編集画面を提示し、直感的な操作による編集作業を容易に実行させることができる。
そしてこのような映像表示方法によれば、これら基本操作として、その操作を行ったことによる操作結果(表示速度の上げ下げや停止)を想起し易く、かつそれ自体が容易な操作が割り当てられているため、これら基本操作を容易かつ直感的に行うことができる。
またこの場合において、編集装置21、201及び251では、かかる再生時間差ΔTや映像表示部群58の各映像表示部57(57F〜57A〜57V)に表示される再生映像の再生速度vを自在に変更することができるため、対象とするクリップの内容に応じて当該クリップの所望範囲をその映像表示部群58に表示させることができ、その分かかる画探し作業をより容易化させることができる。さらにこのとき、かかる再生時間差ΔT及び再生速度vを連携して変化させることができるため、かかる画探し作業をより一層と容易化させることができる。
さらに編集装置21、201及び251では、かかる映像表示部群58を表示するに際して、手前中央部の基準映像表示部57Aを最も大きく、これから離れるにつれて徐々に小さくなるように各映像表示部57(57F〜57A〜57V)を表示するため、オペレータが基準映像表示部57Aに表示された再生映像に注目し易く、また基準映像表示部57Aに表示された再生映像を基準として映像表示部群58を見ることによって、当該映像表示部群58に表示された再生映像を基準とする過去及び未来の再生映像を容易に把握することができる。
さらに編集装置21、201及び251では、個々のクリップの切り出し、複数クリップの編集及び編集映像の確認といった作業を1つの帯状表示部55内で行うことができるため、例えば図41について上述した従来の編集装置のようにクリップの切り出しはモニタ部3を用いて行い、編集はストーリーボード部4及びタイムライン部5を用いて行い、編集映像の確認はモニタ部3を用いて行うといった煩雑な作業を必要とせず、かかる一連の編集作業を帯状表示部55内で一括して行うことができる。かくするにつき、いわゆる画探し作業のみならず、編集作業を全体として容易化させることができる。
さらに編集装置21、201及び251では、かかる映像表示部群58の各映像表示部57(57F〜57A〜57V)に再生映像をそれぞれ表示する際に、音声出力モードとして「メイン音声出力モード」及び「全音声出力モード」を選択することができるため、そのとき対象としているクリップの再生音声の内容に応じて音声出力モードを切り換えることによって、出力音声による所望の映像音声部分の探索作業も可能となる。
またこの場合において、この編集装置21、201及び251では、音声出力モードとして「全音声出力モード」を設定したときには、基準映像表示部57Aから離れた映像表示部57(57B,57C,……、57Z,57Y,……)に表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、そのとき操作している映像表示部群58の各映像表示部57(57F〜57A〜57V)にそれぞれ表示された再生映像に付随するすべての再生音声がスピーカ41から出力されるため、音声を3次元的に表現することができ、その分クリップの内容によって、かかる出力音声に基づく所望の映像音声部分の探索作業をより容易化させることができる。もちろん、編集の容易性だけでなく、帯状表示による再生を行うだけでも今までに無い奥行き感を感じさせる音声表現が可能となる。
以上の構成によれば、選択されたクリップの再生映像を一定の時間差をもって帯状に複数表示するようにしたことにより、再生映像に時間的な奥行きをもたせることができる。かくするにつき、従来の編集画面1のように2次元1画面の再生映像を目視しながら所望する映像部分を探索する場合に比べて、オペレータが格段的に容易に所望する映像部分の探索を行うことができ、かくして編集作業を容易化させ得る編集システムを実現できる。
また以上の構成によれば、クリップの再生映像を、一定の再生時間差ΔTを有する複数の再生映像を帯状に並べて配置した所定の表示形態で表示する一方、その再生時間差ΔTや各再生映像の再生速度vを増減させるための基本操作として、その操作を行ったことによる操作結果を想起し易く、かつそれ自体が容易な操作を割り当てるようにしたことにより、これら操作を容易かつ直感的に行うことができ、かくして編集作業の作業効率を格段的に向上させ得る編集システムを実現できる。
(2)第2の実施の形態
(2−1)本実施の形態による編集システムの構成
図1において、90は第2の実施の形態による編集システムを示し、編集画面50の帯状表示部55に表示される映像表示部群100(図2)の各映像表示部101(図2)の大きさが、その映像表示部101に表示される再生映像に付随する再生音声の信号レベルに応じて変動する点を除いて第1の実施の形態による編集システム1(図1)と同様に構成されている。
すなわちこの編集システム90の場合、編集装置91の信号処理部92は、必要時、上述のように記憶装置22から映像特殊効果/音声ミキシング処理部35を介して与えられる映像音声信号S4に基づいて、図2に示すように、対応する映像表示部群100の各映像表示部101に対応するクリップの再生映像をそれぞれ表示させる一方、これら再生映像に付随する各再生音声のフレームごとの音声レベル(音声信号S3の信号レベル)のピークレベルをCPU93に順次通知するようになされている。
そしてCPU93は、かかる信号処理部92からの通知に基づいて、これら各再生音声について、その音声レベルのピークレベルが予め設定された閾値Thd(図29(B))よりも大きいか否かをそれぞれ判断し、大きいと判断したときには、信号処理部92を制御して、そのフレームの画像を表示する際に、対応する映像表示部101を通常表示すべき大きさよりも大きく表示させる。
例えば、各映像表示部101に表示された再生映像がそれぞれ図29(A)であり、そのときこれら再生映像に付随する再生音声の音声レベル(音声信号の信号レベル)が図29(B)である場合には、手前中央の基準映像表示部101Aから右側に数えて2〜4番目の映像表示部101C〜101Eに表示される再生映像に付随する各再生音声と、基準映像表示部101Aから左側に数えて2番目及び4番目の映像表示部101Y、101Wに表示される再生映像に付随する各再生音声の音声レベルがそれぞれ閾値Thdよりも大きいことから、この瞬間では図29(C)において十字の矢印で示すように、これら基準映像表示部101Aから右側に数えて2〜4番目の各映像表示部101C〜101Eと、基準映像表示部101Aから左側に数えて2番目及び4番目の映像表示部101Y、101Wとが大きく表示されることとなる。
またこの場合においてCPU93は、かかる大きく表示させる映像表示部101C〜101E、101Y、101Wについて、その映像表示部101に表示される再生映像に付随する再生音声の音声レベルが大きければ大きいほど、対応する映像表示部101C〜101E、101Y、101Wの拡大率が大きくなるように各映像表示部101を表示するように信号処理部92を制御する。
従って、例えば図29(B)の例では、この瞬間では基準映像表示部101Aから右側に2番目の映像表示部101Cに表示される再生映像に付随する再生音声の音声レベルが最も高く、他の基準映像表示部101Aから右側に数えて3番目及び4番目の映像表示部101D、101Eと、基準映像表示部101Aから左側に数えて2番目及び4番目の映像表示部101Y、101Wとにそれぞれ表示される再生映像に付随する再生音声の音声レベルがこれよりも少し低いほぼ同じ大きさであるため、基準映像表示部101Aから右側に2番目の映像表示部101Cが最も大きい拡大率で拡大表示され、他の基準映像表示部101Aから右側に数えて3番目及び4番目の映像表示部101D、101Eと、基準映像表示部101Aから左側に数えて2番目及び4番目の映像表示部101Y、101Wとがこれよりも少し小さい拡大率で拡大表示されることとなる。
このようにしてこの編集システム90では、編集画面50の帯状表示部55において、映像表示部群100の各映像表示部101(101F〜101A〜101V)にそれぞれ表示された再生映像に付随する再生音声の音声レベルを視覚的に認識し得るように表示し得るようになされ、これによりオペレータがより直感的にクリップの内容を認識して編集作業を行い得るようになされている。
(2−2)映像表示部拡大表示処理手順
ここで、実際上、CPU93は、上述のような映像表示部101(101F〜101A〜101V)に表示された再生映像に付随する再生音声の音声レベルに応じて必要な映像表示部101(101F〜101A〜101V)を拡大表示させる処理を、ROM94(図1)に格納された制御プログラムに基づき、図30に示す映像表示部拡大表示処理手順RT4に従って実行する。
すなわちCPU93は、図9に示す再生処理手順RT1に従ってクリップの再生映像を映像表示部群100に表示させ終えると、図9を用いた上述の表示変更処理手順RT2及び図25について上述した編集操作応答処理手順RT3と並行してこの映像表示部拡大表示処理手順RT4をステップSP30において開始し、続くステップSP31において、信号処理部92から供給される、対応する映像表示部群100の1つの映像表示部101について、表示フレーム(例えば、1フレーム分)に付随する音声のピークレベルを取得する。
続いてCPU93は、ステップSP32に進んで、そのピークレベルが予め設定された閾値Thdよりも大きいか否かを判断し、否定結果を得るとステップSP31に戻る。
これに対してCPU93は、ステップSP32において肯定結果を得ると、ステップSP33に進んで、そのとき取得したその映像表示部101についてのピークレベルに基づいて拡大率を算出し、この後ステップSP34に進んで、この算出結果に基づいて信号処理部92を制御する。かくして、このとき編集画面50の帯状表示部55に表示された対応する映像表示部群100の対応する映像表示部101(101F〜101A〜101V)が、通常時の大きさ(ピークレベルが閾値Thd以下の場合の大きさ)と比べてステップSP33で算出した拡大率に応じた大きさに拡大されて表示される。
次いでCPU93は、ステップSP31に戻って、この後対象とする映像表示部101(101F〜101A〜101V)を順次循環的に代えながら、ステップSP31〜ステップSP34を同様に処理する。
このようにしてCPU93は、対応する映像表示部群100の各映像表示部101に表示された再生映像に付随する音声の音声レベルが大きいときに、その映像表示部101(101F〜101A〜101V)をその音声レベルに応じた大きさに表示させる。
(2−3)第2の実施の形態の動作及び効果
以上の構成において、この編集システム90の編集装置91では、映像表示部群100内の各映像表示部101(101F〜101A〜101V)にそれぞれ表示されている再生映像に付随する再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部101(101F〜101A〜101V)も大きく表示する。
そしてこのような映像表示方法によれば、映像表示部群100の各映像表示部101(101F〜101A〜101V)の大きさに基づいてそのとき各映像表示部101(101F〜101A〜101V)にそれぞれ表示されている再生映像に付随する再生音声の音声レベルも目視により認識できるため、映像と音声とを連携させた編集を容易に行うことができる。
以上の構成によれば、映像表示部群100内の各映像表示部101(101F〜101A〜101V)にそれぞれ表示されている再生映像に付随する再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部101(101F〜101A〜101V)も大きく表示するようにしたことにより、映像と音声とを連携させた編集を容易に行い得るようにすることができ、かくして第1の実施の形態による編集システムに比べてより一層と編集作業を容易化させ得る編集システムを実現できる。
(3)他の実施の形態
なお上述の第1及び第2の実施の形態においては、本発明をノンリニア編集装置である編集装置21、201及び251に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態の編集装置や、編集装置以外の種々の映像表示制御装置に広く適用することができる。
また上述の第1及び第2の実施の形態においては、映像表示部群58、100の各映像表示部57、101にそれぞれ再生映像を表示するに際して、その都度、記憶装置22を制御して対応するクリップの映像音声信号S4を読み出させるようにした場合について述べたが、本発明はこれに限らず、例えば信号処理部34内にバッファメモリを設け、映像表示部群58、100の各映像表示部57、101にそれぞれ再生映像を表示するに際しては、対応するクリップの映像音声信号S4を記憶装置22から1度だけ読み出してこれをバッファメモリに保持し、その後このバッファメモリに保持された映像音声信号S4に基づいて、映像表示部群58、100の各映像表示部57、101に再生映像を表示するようにしても良い。なおこの場合には、1又は複数の映像素材の映像情報を記憶する記憶手段は記憶装置22及びかかるバッファメモリから構成されることとなる。また、第1及び第2の実施の形態においては、記憶装置22に、映像音声信号を保存する説明を行ったがハードディスク装置33に全てあるいは一部を保存しても良い。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べた帯状表示部55を一つだけ編集画面50に設けるようにした場合について述べたが、本発明はこれに限らず、図31に示すように、映像表示部57(57F〜57A〜57V)及び映像表示部群58を構成する表示領域の数(この場合4個)に応じてクリップ全体を時間軸上で4分割してそれぞれが帯状表示部55A〜55Dの表示領域に表示されてなる帯状表示部55を編集画面50に設けるようにしても良い。この場合CPU30は、帯状表示部55A〜55Dの各表示領域に表示すべき4分割された映像表示部57の部分をそれぞれ独立して制御して表示するようにする。
この帯状表示部55Aでは、画面下部に再生、停止、一時停止、早送り、早戻し等の各種操作ボタン群55A1が設けられ、その下部に全体の1/4時間に相当するクリップ部分の再生タイミング表示バー55A2が設けられると共に、その下部のタイムライン上にスライダー55A3が設けられ、帯状表示部55B、帯状表示部55C及び帯状表示部55Dに対しても同様の各種操作ボタン群55B1、55C1及び55D1、再生タイミング表示バー55B2、55C2及び55D2、スライダー55B3、55C3及び55D3が設けられている。
特に、再生タイミング表示バー55A2、55B2、55C2及び55D2については、画面最下部分の表示エリア55Eに全てが時系列に沿って一本化された状態で表示され、そのうち例えば再生タイミング表示バー55C2が選択されると、図32に示すように、表示エリア55Eの上に帯状表示部55Cが拡大表示されるようになされている。
なお再生タイミング表示バー55A2、55B2、55C2及び55D2では、現在、複数の映像表示部57(57F〜57A〜57V)に表示されている再生映像の部分が1/4時間のうちのどの辺に相当するのかを白抜エリアWEによって表現すると共に、その中でユーザにより選択された強調表示されている映像表示部57A及び57Dに対応する部分を所定色のバーB1及びB2によって示すようになされている。これにより編集システム20及び90では、4つの帯状表示部55A、帯状表示部55B、帯状表示部55C及び帯状表示部55Dを介して1度に4つの時間範囲のクリップ部分に相当する再生映像をユーザに対して提示し得、編集作業の効率化を促進し得るようになされている。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べるようにした場合について述べたが、本発明はこれに限らず、図33(A)に示すように、複数の映像表示部57(57H〜57A〜57T)を直線的に複数行及び複数列に順次生成し、各太矢印に示す方向へ順番に連続的に並べるようにしても良い。
この場合、編集システム20及び90では、画面サイズにもよるがクリップを構成する全ての再生映像を同一サイズで表示することができるので、一度に全ての再生映像を均一な状態でユーザに目視確認させることができ、いずれの再生映像についても見難いという印象をユーザに抱かせることはない。
なお編集システム20及び90では、図33(B)に示すように、例えば5つの映像表示部57H〜57Dまでの1行を単位とするカーソルCK1と、各映像表示部(57H〜57A〜57T)の一つを単位とするカーソルCK2とを連携させてユーザが希望するシーンを選択させ得るようになされており、このときカーソルCK1によって選択された5つの映像表示部57F〜57Bを全て同じ見易さでユーザに提示することができる。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べて帯状表示部55に表現するようにした場合について述べたが、本発明はこれに限らず、図34に示すように、複数の映像表示部57(57F〜57A〜57V)を奥行方向から手前方向へ順次向かってくるように連続的に並べ、最も手前側に位置した映像表示部57Aの再生映像を最終的には手前側に倒して消滅させるよう帯状表示部55に表現するようにしても良い。
このとき編集装置21、201及び251では、例えば映像表示部57B及び57Eに対してその時点における10分や15分の再生経過時間の数字(「10」、「15」)を表示することにより、クリップの時間的な流れをユーザに対して直感的に提示するようにしても良い。この場合も編集装置21、201及び251では、複数の映像表示部57(57F〜57A〜57V)に表示する再生映像の再生速度v及び再生時間差ΔTを任意に設定することにより、ユーザにとって編集し易い帯状表示部55を提供することができる。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べて帯状表示部55に表現するようにした場合について述べたが、本発明はこれに限らず、図35に示すように、複数の映像表示部57(57F〜57A〜57V)を奥行方向から手前方向へ順次向かってくるように連続的に並べ、最も手前側に位置した映像表示部57Aの再生映像を順次反転させて奥行方向へ戻っていくよう帯状表示部55に表現するようにしても良い。
このとき編集装置21、201及び251では、例えば映像表示部57V、57Y、57B及び57Eに対してその時点における0分、5分、10分及び15分の再生経過時間の数字(「0」、「5」、「10」)「15」)を表示することにより、クリップの時間的な流れをユーザに対して直感的に提示するようにしても良い。この場合も編集装置21、201及び251では、複数の映像表示部57(57F〜57A〜57V)に表示する再生映像の再生速度v及び再生時間差ΔTを任意に設定することにより、ユーザにとって編集し易い帯状表示部55を提供することができる。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べて帯状表示部55に表現するようにした場合について述べたが、本発明はこれに限らず、図36に示すように、両手の間で左手から右手の方向へ映像表示部57(57F〜57A〜57V)の再生画像を時系列に順次飛ばすよう帯状表示部55に表現するようにしても良い。
この場合、編集装置21、201及び251では、図37に示すように左手の掌を奥行方向へ倒すように操作されたことを認識すると、複数の映像表示部57(57F〜57A〜57V)に対する再生映像を時系列に流す速度に応じて手前側から奥行側へ倒れるように表示角度を変更して順次飛ばすように連動表示し、図38に示すように左手の掌を手前方向へ倒すように操作されたことを認識すると、複数の映像表示部57(57F〜57A〜57V)に対する再生映像を奥行側から手前側へ倒れるように表示角度を変更して順次飛ばすように連動表示することができる。
因みに編集装置21、201及び251は、例えば映像表示部57Bに対して時系列に流す速度の状態を表すその時点における10分の再生経過時間の数字(「10」)を速度表示データとして表示することにより、クリップの時間的な流れをユーザに対して直感的に認識させるようにしても良い。この場合も編集装置21、201及び251では、複数の映像表示部57(57F〜57A〜57V)に表示する再生映像の再生速度v及び再生時間差ΔTを任意に設定することにより、ユーザにとって編集し易い帯状表示部55を提供することができる。
さらに上述の第1及び第2の実施の形態においては、複数の映像表示部57(57F〜57A〜57V)を楕円状に3次元的に湾曲させて連続的に並べて帯状表示部55に表現するようにした場合について述べたが、本発明はこれに限らず、図39(A)及び(B)に示すように、複数の映像表示部57(57F〜57A〜57V)の再生画像が奥行側から手前側へあたかも滑り台を順次滑り落ちるよう帯状表示部55に表示するようにしても良い。
この場合、編集装置21、201及び251は、既に表示し終わった映像表示部57(57F〜57A〜57V)の再生画像については順次積み上げて表示すると共に、これから表示予定の映像表示部57(57F〜57A〜57V)の再生映像についても複数枚分を重ねられた状態で表示するようになされているため、現在表示している再生映像部分がクリップ全体のどの辺りであるかを直感的に認識させ得るようになされている。
因みに編集装置21、201及び251は、これとは逆に、右側に積み重ねられた映像表示部57の再生映像があたかも滑り台を順次駆け上るように帯状表示部55に表現するようにしても良い。
さらに上述の実施の形態においては、図10に示したように映像表示部群58内の各映像表示部57(57F〜57A〜57V)にそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している映像表示部57(57F〜57A〜57V)をクリック(この場合、例えば最初に映像表示部57Dをクリック)することによって、その映像表示部57(57F〜57A〜57V)が編集操作に伴う編集位置に対応した再生映像であることを所定色に着色して強調表示するようにした場合について述べたが、本発明はこれに限らず、シーンチェンジに対応する表示映像データを映像表示部57(57F〜57A〜57V)に表示する際、そのシーンチェンジの表示映像データを表示する映像表示部57(57F〜57A〜57V)だけを強調表示するようにしても良い。
さらに上述の実施の形態においては、キーボード38やマウス39を介して設定や編集等の入力操作等を行うようにした場合について述べたが、本発明はこれに限らず、ゲームコントローラ等を介して種々の入力操作を行うようにしても良い。
さらに上述の第1及び第2の実施の形態においては、映像表示部群58、100の手前中央部に表示される映像表示部57A、101Aを最も大きく、かつこれから離れるにつれて徐々に小さくなるように各映像表示部57、101を表示することにより、映像表示部群58の手前中央の映像表示部57A、101Aに近づくほど注目度を向上させるようにした場合について述べたが、本発明はこれに限らず、これに加えて例えば手前中央部の映像表示部57A、101Aから距離が離れるにつれて解像度を下げ、各映像表示部57、101の配置間隔を狭め又はぼかすように各映像表示部57、101に再生映像を表示するようにしても良い。このようにすることによって、より一層と映像表示部群58の手前中央の映像表示部57A、101Aに近づくほど注目度を向上させ得ることができる。なお、映像表示部複数の映像表示部57(57F〜57A〜57V)群58の手前中央の映像表示部57A、101Aに近づくほど注目度を向上させる手法としては、この他種々の手法を広く適用することができる。
さらに上述の第1及び第2の実施の形態においては、手前側の映像表示部57、101と後側の映像表示部57、101とが重なる部分では後側の映像表示部57、101が透けて表示されるようにした場合について述べたが、本発明はこれに限らず、透けて表示することにより見難くなる場合には、後側の映像表示部57、101が透けて表示されるのではなく手前側の映像表示部57、101によって隠れるように表示ようにしても良い。
さらに上述の第1及び第2の実施の形態においては、映像表示部群58、100の各映像表示部57、101に表示する再生映像間の再生時間差ΔTや各再生映像の再生速度vをすべての再生映像間及び再生映像について一定とするようにした場合について述べたが、本発明はこれに限らず、これを再生映像間ごとに又は再生映像ごとに独立に設定できるようにしても良い。
この場合には、表示画面上において各映像表示部57、101にそれぞれ表示される再生映像の再生速度vや各映像表示部57、101にそれぞれ表示される再生映像の再生時間差ΔTを、表示画面上における各映像表示部57、101の座標位置(絶対座標位置)に応じて再生制御するようにすれば良い。具体的には、CPU30、93が、表示画面上における各映像表示部57、101の座標値をそれぞれ検出すると共に、この検出結果に基づいて、各映像表示部57、101に表示する再生映像の再生速度vや各映像表示部57、101にそれぞれ表示される再生映像の再生時間差ΔTがそのときの設定値となるように記憶装置22を制御するようにする。具体的な再生時間差ΔTの座標位置による変更の方法としては、映像表示部群58、100の手前中央部に表示される映像表示部57Aから離れ奥にいくほど再生時間差ΔTを大きくする。視覚効果として、右奥から高速に画像が飛んできて手前部分ではスピードを落とし、再び、左奥へ行くほど高速に消えていくように見える。
またユーザの所定の操作入力によって映像表示部57、101や映像表示部群58、100の位置が変更(移動)された場合には、CPU30、93がこれに応じてディスプレイ40上における映像表示部57、101や映像表示部群58、100の表示位置を変更する一方で、変更後の映像表示部57、101や映像表示部群58、100の座標位置を順次検出して、その座標位置の変化に応じて各映像表示部57、101に表示させる再生映像の再生速度vや再生時間差ΔTを制御するようにすれば良い。またCPU30、93の一部機能として再生状態を検出する再生状態検出機能を搭載するようにしても良い。なお再生状態とは、再生速度、再生時刻(映像素材中の相対時刻等)のパラメータの集合などが考えられる。
さらに上述の第1及び第2の実施の形態においては、映像表示部群58、100の各映像表示部57、101にそれぞれ表示される再生映像の再生速度v及び再生時間差ΔTがユーザ操作に応じて変更できるようにした場合について述べたが、本発明はこれに限らず、例えば可変ビットレートで圧縮符号化された映像を再生する場合に、発生符号量が多い高ビットレートで圧縮符号化された部分は動きの速い映像部分と推測することができることから、その部分では映像をゆっくりと確認できるように再生速度vを及び又は再生時間差ΔTを小さくする一方、発生符号量が少ない低ビットレートで圧縮符号化された部分は動きが少ない映像部分と推測することができることから、その部分では映像をある程度速く流すように再生速度v及び又は再生時間差ΔTを大きくするようにしても良い。このようにすることによってオペレータにとって再生映像を目視確認し易く、かつ編集し易いように映像を表示することができる。なお、この場合の再生及び表示制御は、発生符号量等の閾値を予めメニュー画面等から設定する、又は編集システムにおいて自動的に制御するようにしても良い。
さらに上述の第1及び第2の実施の形態においては、帯状表示部55内に映像表示部群58、100のみを表示するようにした場合について述べたが、本発明はこれに限らず、帯状表示部55内に映像表示部群58、100に沿ってタイムスケールを表示するようにしても良い。このようにすることによって編集映像音声の時間情報を容易に確認できるようにすることができる。
さらに上述の第1及び第2の実施の形態においては、タイムライン部53を補助的に設けるようにした場合について述べたが、本発明はこれに限らず、タイムライン部53を時間軸表示用としての機能をもたせるようにしても良い。この場合には、映像表示部群58、100の基準映像表示部57Aにそのとき表示されている再生映像が、対応するクリップ全体のどの部分に相当するかをタイムライン部53に表示するような機能をもたせるようにすれば良い。
さらに上述の第1及び第2の実施の形態においては、図19〜図24について上述した操作を行うごとに、当該操作に応じた加工処理の処理結果を、かかる表示形態と同じ表示形態で編集画面50の帯状表示部55内に順次表示するようにした場合について述べたが、この場合において、例えば直前の編集内容を自動的にバックアップしておき、かかる操作後にその操作直前の状態に戻れるようにしても良い。
さらに上述の第1及び第2の実施の形態においては、キーボード39の方向キー70の「上(↑)」キー70Uを押圧操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58、100に表示された再生映像の一部を、その映像表示部群58に沿って左方向に引くように当該カーソル71を移動させる操作を行ったときに、その映像表示部群58、100内の各映像表示部57、101にそれぞれ表示される再生映像の再生速度vが増加し、かつこれと連携して隣接する映像表示部57、101間における再生映像の再生時間差ΔTが増加するようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度v及び再生時間差ΔTのいずれか一方のみが増加するように編集装置21を構築するようにしても良い。
同様に、上述の第1及び第2の実施の形態においては、キーボード39の方向キー70の「下(↓)」キー70Dを押圧操作し、又はマウス38の右ボタンを押圧した状態で、カーソル71によって映像表示部群58、100に表示された再生映像の一部を、その映像表示部群58、100に沿って右方向に引くように当該カーソル71を移動させる操作を行ったときに、その映像表示部群58内の各映像表示部57、101にそれぞれ表示される再生映像の再生速度vが減少し、かつこれと連携して隣接する映像表示部57、101間における再生映像の再生時間差ΔTが減少するようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度v及び再生時間差ΔTのいずれか一方のみが減少するように編集装置21を構築するようにしても良い。
さらに上述の第1及び第2の実施の形態においては、映像表示部群58、100の各映像表示部57、101にそれぞれ表示される再生映像の再生速度v及び再生時間差ΔTを設定自在とすることにより、映像表示部群58、100に表示される再生映像の見た目を変更することができるようにした場合について述べたが、本発明はこれに限らず、再生映像の再生速度v及び再生時間差ΔTのほかに例えばフレーム・フィールド間隔を数値設定できるようにすることによって、映像表示部群58、100に表示される再生映像の見た目を変更することができるようにしても良く、当該再生映像の見た目を変更するパラメータとしてこの他のパラメータを設定自在とするようにしても良い。
さらに上述の第1の実施の形態においては、図13(A)又は図13(B)について上述した再生映像の瞬間送り又は瞬間戻し操作の結果、その映像表示部群58の各映像表示部57の表示位置を、当該映像表示部群58に沿って、引かれた方向にカーソル71と一体に移動表示することにより、それまでその映像表示部群58の各映像表示部57に表示していた再生映像があたかも瞬時に未来側又は過去側に送られたように見せるようにした場合について述べたが、本発明はこれに限らず、各映像表示部57の表示位置は変えずに、かかる操作が入力されたときに各映像表示部57に表示した映像のみを瞬間的に早送り又は戻すようにして、各映像表示部57に表示していた再生映像をあたかも瞬時に未来側に進み又は過去側に戻したように見せるようにしても良い。
さらに上述の第2の実施の形態においては、再生音声の音声レベルのピークレベルが予め設定された閾値Thdよりも大きいときにのみ、そのフレームの画像を表示する際に、対応する映像表示部101を通常表示すべき大きさよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、かかる閾値Thdを設定することなく、対応する再生音声の音声レベルに応じて各映像表示部101を拡大又は縮小させるように表示するようにしても良い。
さらに上述の第2の実施の形態においては、再生音声の音声レベルのピークレベルを閾値Thdよりも大きいときに、そのフレームの画像を表示する際に、対応する映像表示部101を通常表示すべき大きさよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、音声レベルの平均を閾値Thdと比較して、平均が閾値Thdよりも大きいときにはその映像表示部101を拡大表示する一方、当該平均が閾値Thdよりも小さいときにはその映像表示部101を縮小表示するようにしても良い。
さらに上述の第1及び第2の実施の形態においては、図6においてフォワード方向再時に右から左へ流れるように映像表示部57を表示するようにした場合について述べたが、本発明はこれに限らず、ユーザの設定により流れる方向を任意に切り換えられるようにし、映像素材によっては左から右へ流れる場合を正方向として左から右へ流れるように映像表示部57を表示するようにしても良い。
さらに上述の第1及び第2の実施の形態においては、各映像表示部57を固定した状態で表示するようにした場合について述べたが、本発明はこれに限らず、各映像表示部57(57F〜57A〜57W)の表示映像の再生速度vが極めて低速時でかつ再生時間差ΔTが1フレーム以下の場合、各映像表示部57(57F〜57A〜57W)に表示中の画像については更新することなく各映像表示部57(57F〜57A〜57W)全体を再生方向へ向かって動かしていくかのように各映像表示部57(57F〜57A〜57W)の位置を順次ずらすことにより、低速再生時に一段と滑らかな動きの画像表示群を目視確認させるようにしても良い。
例えば編集装置21、201及び251では、図40(A)及び(B)に示すように、各映像表示部57(57F〜57A〜57W)の画像についてはそれぞれ更新することなく停止させた状態で、各映像表示部57(57F〜57A〜57W)の位置を隣へずらすことにより一斉に1コマずつ右側から左側へシフトしているかのような低速の動きを表現することができる。
さらに上述の第1及び第2の実施の形態においては、図24で示したように編集点に対するエフェクト操作の方法としては、イン点及びアウト点において、同時に、エフェクト処理を行うようにした場合について述べたが、本発明はこれに限らず、イン点及びアウト点に対して個別にエフェクト設定できるようにしてもよい。具体的には、図24(B)において、エフェクトアイコン13を選択後、イン点のフレーム付近にドラッグアンドドロップすることによりイン点側の設定を、アウト点のフレーム付近にドラッグアンドドロップすることによりアウト点側の設定を行う。
なお、このときのエフェクト効果がかかるフレームの前後数フレームやエフェクト効果がかかるフレームの前後数秒間に関してもエフェクト処理を行うことができ、ユーザが事前に設定しておく方法と、エフェクト設定後に調整する方法の両者を選択させるようにしておく。後者の具体的な方法としては、編集点のエフェクトフレームをシフトキーを押下しながらクリック後、シフトキーを押下したままエフェクト区間を延ばす、あるいは縮める先のフレームをクリックすることにより可能とすることができる。
さらに上述の第1及び第2の実施の形態においては、本発明を図1のように構成された編集装置21、図26のように構成された編集装置201及び図27のように構成された編集装置251に適用するようにした場合について述べたが、本発明はこれに限らず、編集装置としての機能の提供が可能な画像処理装置であれば、この他種々の構成の画像処理装置に広く適用することができる。なおこの画像処理装置には、例えばコンピュータ、ビデオカメラ、ディジタルカメラ、ゲーム機器、携帯情報端末(携帯型のコンピュータ、携帯電話機、携帯型ゲーム機器)、ストレージ機器(例えば光ディスク装置、ホームサーバ)、発明に係る機能を搭載した処理ボードや処理カードが含まれる。なお、いずれの画像処理装置の場合にも、筐体と、信号処理部と、外部インタフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。例えば、ビデオカメラやディジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書込み回路を有する。また例えば携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。
なお、発明の趣旨の範囲内で上述のほかに様々な変形例が考えられる。また本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
本発明は、ノンリニア編集装置のほか、これ以外の編集装置や、編集装置以外の映像を表示する種々の映像表示制御装置に広く適用することができる。
本実施の形態による編集システムの構成を示すブロック図である。 本実施の形態による編集画面の構成を示す略線図である。 映像表示部の配置等の説明に供する略線図である。 帯状表示部における再生映像の表示の説明に供する概念図である。 各映像表示部にそれぞれ表示される再生映像の再生時間差の説明に供するタイミングチャートである。 Foward方向へ流れるような映像表示の説明に供する略線図である。 再生時間差・再生速度設定ダイアログを示す略線図である。 Reverse方向へ流れるような映像表示の説明に供する略線図である。 再生処理手順を示すフローチャートである。 帯状表示部における基本操作(1)の説明に供する略線図である。 着色された映像表示部の流れの説明に供するタイミングチャートである。 帯状表示部における基本操作(2)の説明に供する略線図である。 帯状表示部における拡張操作(1)の説明に供する略線図である。 拡張操作による映像表示部の移動(1−1)の説明に供する概念図である。 拡張操作による映像表示部の移動(1−2)の説明に供するタイミングチャートである。 拡張操作による映像表示部の移動(2−1)の説明に供する概念図である。 拡張操作による映像表示部の移動(2−2)の説明に供するタイミングチャートである。 帯状表示部における拡張操作(2)の説明に供する略線図である。 帯状表示部における同一クリップ内でのカット編集(1)の説明に供する略線図である。 帯状表示部における同一クリップ内でのカット編集(2)の説明に供する略線図である。 クリップの分離操作の説明に供する略線図である。 複数クリップを用いたカット編集(1)の説明に供する略線図である。 複数クリップを用いたカット編集(2)の説明に供する略線図である。 映像特殊効果の設定の説明に供する略線図である。 編集操作応答処理手順を示すフローチャートである。 編集システムの第1構成例を示す略線的ブロック図である。 編集システムの第2構成例を示す略線的ブロック図である。 並列デコード処理手順を示すフローチャートである。 第2の実施の形態における再生映像の表示方法の説明に供する略線図である。 映像表示部拡大表示処理手順を示すフローチャートである。 他の実施の形態における映像表示部の構成(1−1)を示す略線図である。 他の実施の形態における映像表示部の構成(1−2)を示す略線図である。 他の実施の形態における映像表示部の構成(2)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(1)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(2)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(3−1)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(3−2)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(3−3)を示す略線図である。 他の実施の形態における帯状表示部の再生映像(4)を示す略線図である。 他の実施の形態における低速再生時の映像表示部の移動の説明に供する略線図である。 従来の編集画面の一例を示す略線図である。
符号の説明
13……エフェクトアイコン、20、90……編集システム、21、91、201及び251……編集装置、22……記憶装置、30、93……CPU、94……ROM、34、92……信号処理部、38……マウス、39……キーボード、50……編集画面、55……帯状表示部、57、57A〜57H、57T〜57Z、101……映像表示部、58、58A、58B、58C、100……映像表示部群、70……十字キー、70U……上キー、70D……下キー、70L……左キー、70R……右キー。

Claims (13)

  1. 編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得手段と、
    符号化ストリームを記憶する記憶手段から上記符号化ストリームを読み出す読出手段と、
    上記読出手段により読み出された上記符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する画像処理手段と、
    上記画像処理手段により生成された複数の上記表示映像データを、上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように上記読出手段及び上記画像処理手段を制御すると共に、上記編集情報取得手段により取得された上記編集情報の内容に応じて上記映像表示部群の表示形態を変更するように上記読出手段及び上記画像処理手段を制御する制御手段と
    を具えることを特徴とする画像処理装置。
  2. 上記画像処理手段は、上記複数の映像表示部における表示サイズ及び表示位置を含む表示情報を取得し、当該取得した表示情報を基に復号処理されたデータに画像処理を施すことによって上記複数の映像表示部に対応する上記表示映像データをそれぞれ生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 上記制御手段は、上記映像表示部群に含まれる上記複数の映像表示部に対応する上記表示映像データをそれぞれ可変速表示させた状態で連動表示させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 上記制御手段は、複数の上記表示映像データの表示速度をそれぞれ等しくさせた状態で連動して表示させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 上記制御手段は、上記複数の映像表示部の間で等間隔の時間差を設けながら連動表示させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項3に記載の画像処理装置。
  6. 上記編集操作入力は、上記映像表示部群に含まれる上記複数の映像表示部に対応する上記表示映像データのうち編集位置として指定する指定表示データを設定する編集位置設定操作を含み、
    上記制御手段は、上記編集位置設定操作が入力された場合、上記編集位置に対応する上記表示映像データの表示状態を保持させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 上記制御手段は、上記編集位置設定操作が入力された場合、上記編集位置に対応する上記表示映像データの表示状態に連動して、上記映像表示部群に含まれる全ての上記映像表示部に対応する上記表示映像データの表示状態を保持させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項6に記載の画像処理装置。
  8. 上記編集操作入力は、上記編集位置設定操作を解除する編集位置設定解除操作を含み、
    上記制御手段は、上記編集位置設定解除操作が入力された場合、上記編集位置設定操作に応じて保持された上記表示映像データの表示状態を解除し、上記復号手段により生成された複数の上記表示映像データを上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した上記映像表示部群として再度連動表示させるように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項6又は7に記載の画像処理装置。
  9. 上記編集操作入力は、上記編集位置設定操作が入力された後に上記編集位置を決定する編集位置決定操作を含み、
    上記制御手段は、上記編集位置決定操作が入力された場合、上記編集位置に対応する上記表示映像データを基準にして上記映像表示部群の表示形態を分割し、第1の映像表示部群と第2の映像表示部群を生成するように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項6に記載の画像処理装置。
  10. 上記編集操作入力は、上記編集位置決定操作により決定された第1の編集位置と第2の編集位置とで接続する編集接続操作を含み、
    上記制御手段は、上記編集接続操作が入力された場合、上記第2の映像表示部群を移動させることにより、上記第1の映像表示部群と上記第2の映像表示部群とを接続して、編集映像表示部群を生成するように上記読出手段及び上記画像処理手段を制御する
    ことを特徴とする請求項9に記載の画像処理装置。
  11. 編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、
    符号化ストリームを記憶する記憶手段から上記符号化ストリームを読み出す読出ステップと、
    上記読出ステップにより読み出された上記符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、
    上記表示映像データ生成ステップにより生成された複数の上記表示映像データを、上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように上記読出手段及び上記画像処理手段を制御すると共に、上記編集情報取得ステップにより取得された上記編集情報の内容に応じて上記映像表示部群の表示形態を変更するように制御する制御ステップと
    を具えることを特徴とする画像処理方法。
  12. コンピュータに対して、
    編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、
    符号化ストリームを記憶する記憶手段から上記符号化ストリームを読み出す読出ステップと、
    上記読出ステップにより読み出された上記符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、
    上記表示映像データ生成ステップにより生成された複数の上記表示映像データを、上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように上記読出手段及び上記画像処理手段を制御すると共に、上記編集情報取得ステップにより取得された上記編集情報の内容に応じて上記映像表示部群の表示形態を変更するように制御する制御ステップと
    を実行させることを特徴とする画像処理プログラム。
  13. 編集操作入力に応じて編集操作に対応する編集情報を取得する編集情報取得ステップと、
    符号化ストリームを記憶する記憶手段から上記符号化ストリームを読み出す読出ステップと、
    上記読出ステップにより読み出された上記符号化ストリームを復号処理し、表示画面上の複数の映像表示部に対して表示させる表示映像データをそれぞれ生成する表示映像データ生成ステップと、
    上記表示映像データ生成ステップにより生成された複数の上記表示映像データを、上記複数の映像表示部の間において動画像の状態で時間差を設けながら、上記複数の映像表示部が表示順に連携した映像表示部群として連動表示させるように上記読出手段及び上記画像処理手段を制御すると共に、上記編集情報取得ステップにより取得された上記編集情報の内容に応じて上記映像表示部群の表示形態を変更するように制御する制御ステップと
    を含むことを特徴とするコンピュータが読み取り可能な画像処理プログラムが格納されているプログラム格納媒体。
JP2005228657A 2004-09-15 2005-08-05 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 Pending JP2006115468A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005228657A JP2006115468A (ja) 2004-09-15 2005-08-05 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004268940 2004-09-15
JP2005228657A JP2006115468A (ja) 2004-09-15 2005-08-05 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Publications (1)

Publication Number Publication Date
JP2006115468A true JP2006115468A (ja) 2006-04-27

Family

ID=36383536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005228657A Pending JP2006115468A (ja) 2004-09-15 2005-08-05 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Country Status (1)

Country Link
JP (1) JP2006115468A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534804A (zh) * 2018-09-26 2021-03-19 欧姆龙株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534804A (zh) * 2018-09-26 2021-03-19 欧姆龙株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序
US11671565B2 (en) 2018-09-26 2023-06-06 Omron Corporation Image processing system, image processing device, image processing method, and non-transitory computer readable medium storing program

Similar Documents

Publication Publication Date Title
JP4727342B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
EP1872268B1 (en) Icon bar display for video editing system
US6714216B2 (en) Video editing apparatus and method
KR101252933B1 (ko) 비디오 클립들을 편집하기 위한 사용자 인터페이스들
JP5524653B2 (ja) 表示制御装置及びその制御方法
JP5421627B2 (ja) 映像データ表示装置及びその方法
JPWO2007111206A1 (ja) 画像処理装置及び画像処理方法
JP2008141746A (ja) 動画再生システム及び方法
US20140193140A1 (en) System and method for slow motion display, analysis and/or editing of audiovisual content on a mobile device
JP2010288015A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US8837912B2 (en) Information processing apparatus, information processing method and program
US8750685B2 (en) Image processing apparatus
JP2006115469A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2007250048A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JPH10200814A (ja) 画像編集方法及び画像編集装置並びにコンピュータに画像編集処理動作を実行させるためのプログラムを記録した媒体
JP2006115468A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
CN100474391C (zh) 图像处理装置和图像处理方法
JP6117621B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP4891520B2 (ja) 動画像編集装置
JP2002016871A (ja) 映像編集方法および映像編集装置、並びに映像編集を行なうためのコンピュータプログラムを記録した記録媒体
JP5023136B2 (ja) 情報再生装置
JP2009017385A (ja) 動画像生成装置、動画像生成方法、及び動画像生成プログラム
JP2006033388A (ja) 表示プログラム、表示方法、表示装置及び記録媒体
JP2008198344A (ja) 情報再生装置
JP2007267396A (ja) データ処理装置とデータ処理方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090209

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090312