JP2006033388A - 表示プログラム、表示方法、表示装置及び記録媒体 - Google Patents

Abstract

【課題】 ビデオデータの編集作業を少ない負担で実行することのできる表示プログラム、表示方法、表示装置及び記録媒体を提供する。
【解決手段】 ビデオデータを表示画面に立体的に表示するビデオデータ表示装置（１）であって、時間経過を表わすタイムラインを生成するタイムライン生成手段（４）と、タイムラインの表わす時間に従ってビデオデータの各フレームを配置するフレーム配置手段（４）と、フレームを観察する視点を設定する視点設定手段（２）と、設定された視点の方向にフレームを対向させるフレーム移動手段（５）と、タイムラインと視点の方向に対向させたフレームとを表示する表示手段（６）とを有するビデオデータ表示装置である。
【選択図】 図１

Description

本発明は、データを表示する技術に関し、特にビデオデータを編集する作業を効率化することのできるビデオデータ表示技術に関する。

従来の動画編集用画面では、２次元平面で構成されたウインドウに動画表示を行う主画面の他に、その主画面の近くにナビゲータ用の小画面が設けられている。そして、ナビゲート画面には、主画面に表示されている画面の一定時間前後のシーンが表示される。ユーザはナビゲート画面を見て動画の先のシーンを把握し、編集操作のタイミングをとって編集作業を行っている。

しかし、従来の表示方法では、主画面およびナビゲート画面が上下または左右に配置されるため、ユーザは常に２画面を観察しなければならず視覚的に負担を要する。また、本質的な問題として、動画は平面の静止画フレームに対して時間軸が加わったコンテンツであるため、２次元平面に展開したウインドウにおいて時間軸を扱うことは一般的には難しい操作であると考えられる。

そこで、映像中の任意の時空間領域形状をＸ、Ｙ、時間の３次元空間中に表示し、表示された形状を３次元空間中で操作することによって時空間領域情報を入力、修正する処理方法が提案されている（例えば、特許文献１参照）。
特開２００２−３５９７７７号公報

しかしながら、特許文献１に記載された技術は、映像データ内の対象物体についてその領域を抽出し、その領域が複数のフレームにおいて推移する状態を時空間領域情報として把握しようとするものである。

従って、本発明の対象である動画データを３次元の時空領域内で処理しようとする点については共通しているが、動画データの編集作業を少ない負担で実行できる技術についての記載は無く、また示唆する記載もされていない。

本発明は、かかる事情に鑑みてなされたものであり、動画データ等のデータの編集作業を少ない負担で実行することのできる表示プログラム、表示方法、表示装置及び記録媒体を提供することを目的とする。

上記課題を解決するための、本発明に係る請求項１に記載のプログラムは、時系列データを表示画面に立体的に表示する表示プログラムであって、時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップとをコンピュータに実行させる。

また本発明に係る請求項２に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記時系列データはビデオデータであって、前記データ配置ステップで配置する３次元オブジェクトは、ビデオデータの各画像フレームであり、前記再生ステップにおいて、時間経過に従って各画像フレームが前記タイムラインに沿って移動し、タイムライン上の同一の幾何学的位置においては、ビデオの再生又は逆転再生となるように前記ビデオデータが表示される。

また本発明に係る請求項３に記載のプログラムは、上記記載の発明であるプログラムにおいて、設定された視点の方向に前記フレームの少なくとも１つを対向させるフレーム移動ステップを更に有し、前記表示ステップは、前記タイムラインに沿って配置したフレームと前記視点の方向に対向させたフレームとを表示する。

また本発明に係る請求項４に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記フレームを拡大または縮小するズーム設定ステップを有し、前記表示ステップは、前記ズーム設定ステップでの設定操作に対応して前記フレームを拡大または縮小して表示するズーム表示ステップを備えた。

また本発明に係る請求項５に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記表示ステップは、前記タイムライン上の特定の位置にあるフレームを他のフレームより大きく表示する主画面表示ステップを有する。

また本発明に係る請求項６に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記タイムライン生成ステップは、前記タイムラインの単位長さ当りの時間を変更するタイムライン時間変更ステップを有する。

また本発明に係る請求項７に記載のプログラムは、上記記載の発明であるプログラムにおいて、請求項１に記載の手順に従って、複数の時系列データを同一の表示画面に立体的に表示する複数ビデオデータ表示手順をコンピュータに実行させる。

また本発明に係る請求項８に記載の表示方法は、時系列データを表示画面に立体的に表示する表示方法であって、時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップとを備えた。

また本発明に係る請求項９に記載の記録媒体は、時系列データを表示画面に立体的に表示する表示プログラムを記録した記録媒体であって、時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップとをコンピュータに実行させるプログラムを記録した。

また本発明に係る請求項１０に記載の表示装置は、時系列データを表示画面に立体的に表示する表示装置であって、時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成手段と、前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置手段と、前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定手段と、前記視点設定手段が設定した視点から観察したオブジェクトを表示する表示手段と、前記タイムラインの形状又は配置を自在に変化させるタイムライン操作手段と、前記タイムライン操作手段の操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化手段と、時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトをタイムラインに沿って移動する再生手段とを備えた。

本発明によれば、ビデオデータの編集作業を負担を少なく実行することができる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る動画表示装置１の構成を示す図である。

動画表示装置１は、操作入力部２、コントロール部３、３Ｄ画像生成部４、ビュー画像生成部５、表示部６、情報ファイルメモリ７及び一時メモリ８で構成されている。

操作入力部２は、ユーザが設定入力する指示、操作する内容等を受け取るためのユーザインターフェースである。コントロール部３は、動画表示装置１内の各部の動作を統括的に制御する。３Ｄ画像生成部４は、動画データ等を後述する操作表示画面中に時間推移軸（以下、「タイムライン」という。）に沿って立体的に表示できるように配置する。ビュー画像生成部５は、配置された動画データ等について視点を変更した画像データを生成する。表示部６は、画像処理された動画データ等を表示する。情報ファイルメモリ７は、動画データ等を格納する。一時メモリ８は、上述の各動作のためのバッファメモリである。

図２は、操作表示画面１０の構成を示す図である。

操作表示画面１０は、ワークエリア１１、クリップエリア１２、視点移動ツールエリア１３、コントロールエリア１４及びツールエリア１５で構成されている。

ワークエリア１１は、配置された動画データ等を表示するためのエリアである。クリップエリア１２には、ビデオクリップや音声クリップ等のファイルのアイコンを表示するためのクリップ登録エリア１２ａ、クリップの登録・削除・配置の操作を行うための操作ボタンであるクリップ登録ボタン１２ｂ、クリップ削除ボタン１２ｃ、クリップ配置ボタン１２ｄが設けられている。

視点移動ツールエリア１３には、視点を移動操作するための視点移動コントローラ１３ａ、表示された画像データ等を縮小・拡大表示するための縮小ボタン１３ｂ、拡大ボタン１３ｃが備えられている。

コントローラエリア１４は、再生バー１４ａ、タイムスケールコントローラ１４ｂ、ボリュームコントローラ１４ｃ及び再生操作ボタン１４ｄを備えている。

再生バー１４ａは、動画像データ等の再生された時間の全体時間に対する割合を表示する。タイムスケールコントローラ１４ｂは、ワークエリア１１に表示されるタイムラインの単位長さ当りの時間の長さであるタイムスケールを制御する。ボリュームコントローラ１４ｃは、再生される音声のボリュームを制御する。再生操作ボタンは、再生に係る動作（早戻し、１コマ戻し、停止、再生、繰り返し、１コマ送り、早送り）を操作するためのボタンである。

そして、ツールエリア１５は、所望の画像データ等にタグを付与するためのタグ付与ボタン１５ａ、タグ位置まで画像データ等の再生をスキップさせるためのタグスキップ前進ボタン１５ｂ、タグスキップ後退ボタン１５ｃを備えている。

続いて、動画表示装置１の動作について説明する。図３は、動画表示装置１の全体の動作を示す概略のフロー図である。

ユーザが操作入力部２から、動画表示のための操作表示画面の表示を指示すると、その指示を受け取ったコントロール部３は、ステップＳ０１において、操作表示画面１０を表示する。

ステップＳ０２において、操作表示画面上でマウス操作がされたことを検出すると、ステップＳ０３で、そのマウス操作は「終了」の操作かどうかを調べる。マウス操作が「終了」でない場合は、ステップＳ０４で、操作された内容を特定して対応する処理を実行する。そして、以降マウス操作がなされる都度、その操作に対応する処理を繰り返して実行し、「終了」が操作されたときは、本処理を終了する。

図４は、クリップ登録の動作を示す概略のフロー図である。

ステップＳ１０において、クリップ登録ボタン１２ｂが選択されたことを特定すると、ステップＳ１１で、ファイル選択ウインドウを表示する。このファイル選択ウインドウには、情報ファイルメモリ７内に保存されている動画データ等の一覧が表示されている。

ユーザがファイル選択ウインドウを介して所望の動画データ等を指定して選択すると、ステップＳ１２において、その選択を検出して、ステップＳ１３において、選択された画像（動画・静止画）またはサウンドに対応するアイコンをクリップ登録エリア１２に表示するとともに、対応する付属情報を一時メモリ８に保存してリターンする。

図５は、クリップ削除の動作を示す概略のフロー図である。

ユーザがクリップ登録エリア１２ａに表示されているアイコンをクリックして特定した後、クリップ削除ボタン１２ｃを操作すると、ステップＳ１５で、クリップ削除ボタン１２ｃが選択されたことを特定する。

そして、ステップＳ１６、Ｓ１７において、クリップ登録エリア１２ａで選択されているアイコンに対応する画像またはサウンドデータと、付属情報を一時メモリ８から削除する。そして、クリップ登録エリア１２ａから選択されているアイコンの表示を削除してリターンする。

図６は、クリップ配置動作のうち静止画の配置動作を示す概略のフロー図である。

ユーザがクリップ配置ボタン１２ｄを操作した後、クリップ登録エリアの静止画アイコン（例えば、拡張子が.jpgのアイコン）を選択して、ワークエリア１１にドラッグ＆ドロップ操作を行うと、ステップＳ２１において、操作入力部２はその操作を特定する。

そして、ステップＳ２２において、３Ｄ画像生成部４は、ワークエリア１１にドロップされたアイコンの対応する静止画データより、その静止画像の３次元（３Ｄ）のオブジェクトを生成し、ワークエリアに対応する３次元（３Ｄ）作業空間内の所定位置にその３Ｄオブジェクトを配置する。なお、本出願では、「オブジェクト」はプログラミング上の”オブジェクト”ではなく、ＣＧにおける独立した図形を表わす意味で使用している
ステップＳ２３において、ビュー画像生成部５は、上記３Ｄ画像生成部４が生成した静止画像の３Ｄオブジェクトが配置された３Ｄ作業空間を、動画像編集装置１に予め設定されている視点位置より観察したビュー画像を生成し、ステップＳ２４において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図７は、ワークエリア１１に表示されたビュー画像を示す図である。静止画オブジェクト２０は、その中心を通る直交する３本の軸２１ａ、２１ｂ、２１ｃの回りに回転自在に配置されている。そして、ビュー画像生成部５が、動画表示装置１に予め設定されている視点に対して向き合う方向にこの静止画オブジェクト２０を回転する。

図８は、クリップ配置動作のうちサウンドの配置動作を示す概略のフロー図である。

ユーザがクリップ配置ボタン１２ｄを操作した後、クリップ登録エリアのサウンドアイコン（例えば、拡張子が.wavのアイコン）を選択して、ワークエリア１１にドラッグ＆ドロップ操作を行うと、ステップＳ２６において、操作入力部２はその操作を特定する。

そして、ステップＳ２７において、３Ｄ画像生成部４は、アイコンに対応する音声データの波形の３次元の波形オブジェクトを生成し、３Ｄ作業空間の所定位置に設けたタイムラインに沿って配置する。

ステップＳ２８において、ビュー画像生成部５は、波形オブジェクトが配置された３Ｄ作業空間を動画表示装置１に予め設定されている視点位置より観察したビュー画像を生成し、ステップＳ２９において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図９及び図１０は、ワークエリア１１に表示されたステレオ音声データのビュー画像を示す図である。音声の波形オブジェクトは、ステレオ音声では右（Ｒ）チャンネル、左（Ｌ）チャンネルに対応する２つの波形２４ａで表わされる。図９は、ステレオの音声の左右チャンネルのそれぞれの波形を時間の経過を表わすタイムライン２３に平行に並べて配置しており、図１０は各チャンネルに対応する波形をタイムライン２３に沿って直交するように配置している。

図１１は、ワークエリア１１に表示されたビュー画像を示す図である。図中のタイムライン２３に沿って、予め定められた時間間隔で波形オブジェクト２４ｂが複数配置されている。そして、図１１の波形オブジェクト２４ｂは、図９及び図１０の波形オブジェクト２４ａと異なり、その時刻における音声のスペクトルが表示されて、また、それぞれの波形オブジェクト２４ｂは、動画表示装置１に設定されている視点に対して向き合う方向に回転されて配置されている。

なお、図１１では、波形オブジェクト２４ｂは、定められた時間間隔をおいてサンプリングした音声スペクトルを表示しているが、時間的に連続的に変化するスペクトログラムを波形オブジェクトとしてもよい。この場合、タイムラインに垂直に周波数軸を設定し、タイムラインを周波数軸に垂直に周波数ごとに信号の強度を表すような３次元のグラフを表示すれば良い。

図１２は、クリップ配置動作のうち動画の配置動作を示す概略のフロー図である。

ユーザがクリップ配置ボタン１２ｄを操作した後、クリップ登録エリアの動画アイコン（例えば、拡張子が.movのアイコン）を選択して、ワークエリア１１にドラッグ＆ドロップ操作を行うと、ステップＳ３０において、操作入力部２はその操作を特定する。

そして、ステップＳ３１において、３Ｄ画像生成部４は、アイコンに対応する動画データをフレームごとの画像に展開して、ステップＳ３２において、空間の所定位置に設けたタイムラインに沿って各画像フレームを配置した動画オブジェクトを生成する。

ステップＳ３３において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ２９において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図１３は、ワークエリア１１に表示されたビュー画像を示す図である。図中で左から右に流れる時間経過を表わすタイムライン２３に沿って、予め定められた時間間隔でフレーム２５が複数配置されている。そして、それぞれのフレーム２５には、その時刻における画像が表示されて、また、それぞれのフレーム２５は、動画表示装置１に設定されている視点に対して向き合う方向に回転されて配置されている。

図１４は、クリップ配置動作のうち動画の追加配置動作を示す概略のフロー図である。

ユーザがクリップ配置ボタン１２ｄを操作した後、クリップ登録エリアの動画アイコン（例えば、拡張子が.movのアイコン）を選択して、ワークエリア１１にドラッグ＆ドロップ操作を行うと、ステップＳ３５において、操作入力部２はその操作を特定する。

そして、ステップＳ３６において、３Ｄ画像生成部４は、アイコンに対応する動画データをフレームごとの画像に展開して、ステップＳ３７において、空間の所定位置に設けたタイムラインに平行して新たなタイムラインを設け、その新たなタイムラインに沿って各画像フレームを配置した動画オブジェクトを生成する。

ステップＳ３８において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ３９において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図１５は、ワークエリア１１に表示されたビュー画像を示す図である。図中で左から右に流れる時間経過を表わすタイムライン２３に平行に設けられた、新たなタイムライン２３ａに沿って、予め定められた時間間隔で追加されたフレーム２５ａが複数配置されている。そして、それぞれのフレーム２５ａには、その時刻における画像が表示されて、また、それぞれのフレーム２５ａは、動画表示装置１に予め設定されている視点に対して向き合う方向に回転されて配置されている。

図１６は、動画の主画面選択動作を示す概略のフロー図である。ここで主画面とは、ワークエリア１１に表示されたそれぞれのフレーム２５の内、再生モニタとして使用するフレーム２５をいう。

ユーザが、ワークエリア１１に表示されたそれぞれのフレーム２５の内、再生モニタとして使用するフレーム２５にマウスを重ねてダブルクリックすると、ステップＳ４１において、操作入力部２は、選択されたフレーム２５を特定する。

そして、ステップＳ４２において、３Ｄ画像生成部４は、選択されたフレームをモニタフレーム２６とし、正面を向けて配置したモニターフレームオブジェクトを生成する。

ステップＳ４３において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ４４において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図１７は、ワークエリア１１に表示されたビュー画像を示す図である。図中で左から右に流れる時間経過を表わすタイムライン２３に沿って、予め定められた時間間隔でフレーム２５が複数配置されている。そして、選択したフレームがモニタフレーム２６として正面に向けて表示されている。このモニタフレーム２６には、後述する再生操作により再生された動画が表示される。なお、それぞれのフレーム２５には、その時刻における画像が表示されて、また、それぞれのフレーム２５は、動画表示装置１に予め設定されている視点に対して向き合う方向に回転されて配置されている。

図１８は、ワークエリア１１の視点変更動作を示す概略のフロー図である。

ユーザが視点変更ツールエリア１３の視点移動コントローラ１３ａ、縮小ボタン１３ｂ、拡大ボタン１３ｃを操作すると、ステップＳ４６において、操作入力部２はその操作を特定する。ここで、視点移動コントローラ１３ａは、トラックボールのようにマウスを用いて表示されている丸い点の位置を移動させることで視点を変化させる操作部位である。また、マウスを用いて縮小ボタン１３ｂ、拡大ボタン１３ｃを押しつづけることで所定の速度で縮小・拡大操作を行うことができる。

そして、ステップＳ４７において、コントロール部３は、視点移動コントローラ１３ａの操作による視点の移動量、若しくは縮小ボタン１３ｂ、拡大ボタン１３ｃの操作に連動して変化する視点の移動量を特定して新しい視点位置を決定する。

ステップＳ４８において、ビュー画像生成部５は、決定した新しい視点位置を動画表示装置１に設定し、その新しい視点位置よりオブジェクトを観察したビュー画像を生成し、ステップＳ４９において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

なお、視点移動、縮小・拡大操作はワークエリア１１に表示されている全オブジェクトに対して一括して実施することもでき、また選択したフレーム２５に対してのみ実施することもできる。

図１９は、動画の再生動作を示す概略のフロー図である。

ユーザがコントローラ部１４の再生操作ボタン１４ｄから再生ボタンを選択すると、ステップＳ５１において、操作入力部２は、その操作を特定する。

ステップＳ５２において、３Ｄ画像生成部４は、ワークエリア１１で選択された動画オブジェクトに対応する動画像を特定し、特定された動画像を再生してモニタフレーム２６に表示する。また、３Ｄ画像生成部４は、ステップＳ５４において、再生に併せて、空簡に配置された画像フレーム２５がタイムライン２３に沿って移動する動画オブジェクトのアニメーションを作成する。

ステップＳ５５において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトのアニメーションとモニタフレームオブジェクトを観察したビュー画像を生成し、ステップＳ５６において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図２０は、動画のタイムラインの形状変更動作を示す概略のフロー図である。

ユーザがワークエリア１１内に表示されているタイムライン２３上にマウスポインターを合わせてドラッグすると、ステップＳ６０において、操作入力部２が、ワークエリア１１に配置された動画オブジェクトのタイムライン２３が選択されて移動されたことを特定する。

そして、ステップＳ６１において、３Ｄ画像生成部４は、移動操作に応じてタイムライン２３を変形し、各画像フレーム２５をそのタイムライン２３上に再配置した動画オブジェクトを生成する。

ステップＳ６２において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ６３において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図２１は、ワークエリア１１に表示されたビュー画像を示す図である。図中で左から右に流れる時間経過を表わすタイムライン２３と２３ａに沿って、フレーム２５と２５ａが複数配置されている。そして、モニタフレーム２６が正面に向けて表示されている。

タイムライン２３は上述の操作により折り曲げられて変形され、フレーム２５がその変形されたタイムライン２３上に再配置されている。

また、フレーム２５、２５ａは図中右のフレームが大きく表示されているが、これは上述の拡大操作をそれぞれのフレームに対して実行したためである。ここで再生操作を行うと、上述のように、モニタフレーム２６には動画像が表示され、その再生に併せて、空簡に配置された画像フレーム２５がタイムライン２３に沿って移動する。

図２２は、動画のタイムスケールの変更動作を示す概略のフロー図である。

ユーザがワークエリア１１内のタイムライン２３或いはフレーム２５を選択した後、コントローラ部１４のタイムスケールコントローラ１４ｂのレバーを操作して移動すると、ステップＳ６５において、操作入力部２がその操作を特定する。

そして、ステップＳ６６において、３Ｄ画像生成部４が選択された動画オブジェクトのタイムライン２３をタイムスケールコントローラ１４ｂの移動方向及び移動量に応じて伸張あるいは短縮する。即ち、ワークエリア１１内に表示されているフレーム間の時間間隔を変更する。例えば、時間間隔を最小１／１５秒から任意の時間まで変更することが可能である。

ステップＳ６７において、３Ｄ画像生成部４は、画像フレーム２５をタイムライン２３上に再配置した動画オブジェクトを生成する。

ステップＳ６８において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ６９において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図２３は、動画のタグ付与動作を示す概略のフロー図である。

ユーザがワークエリア１１内の特定のフレーム２５を選択して、ツールエリア１５のタグ付与ボタン１５ａを操作すると、ステップＳ７１、Ｓ７２において、操作入力部２は、操作内容と、選択された画像フレーム２５を特定する。

ステップＳ７３において、３Ｄ画像生成部４は、選択されたフレーム２５をタグ付きのフレームオブジェクトで置き換えた動画オブジェクトを作成する。ここで、タグはユーザが容易に識別できるように表示される。例えばフレーム２５の上部に特徴ある形状、色彩模様を付した形状を設けることで表示することができる。

ステップＳ７４において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ７５において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

図２４は、動画のタグスキップ動作を示す概略のフロー図である。

ユーザが、ツールエリア１５のタグスキップ前進ボタン１５ｂあるいはタグスキップ後退ボタン１５ｃを操作すると、ステップＳ７６において，操作入力部２はその操作を特定する。

そして、ステップＳ７７において、３Ｄ画像生成部４は、モニタフレーム２６に表示されている現在の画像フレームよりも新しい次の（或いは、古い前の）タグを持つフレームを現在フレームとしてモニタフレーム２６に表示する。

ステップＳ７８において、３Ｄ画像生成部４は、現在フレームの変更に伴って、動画オブジェクトをタイムライン２３に沿って移動する。

ステップＳ７９において、ビュー画像生成部５は、動画表示装置１に予め設定されている視点位置より生成された動画オブジェクトを観察したビュー画像を生成し、ステップＳ８０において、表示部６がそのビュー画像をワークエリア１１に表示してリターンする。

本実施の形態の動画表示装置によれば、ワークエリア１１内に現在表示している画面と任意の過去の時点から未来時点での画面を同じ表示エリア内で観察することができるため、視覚的に負担をかけることがなく、動画データの編集作業を簡便なものとすることができる。

また、本実施の形態の動画表示装置によれば、複数の動画データを簡便な操作で同一画面に表示することができ、さらに表示画面の視野の方向、大きさも操作することができるため、動画データの編集作業をより簡便なものとすることができる。

更に、本実施の形態の動画表示装置に設けられている、操作機能は動画データの編集作業をより簡便なものとすることができるに留まらず、ユーザが動画データ等を再生する楽しみを大きくしてくれるものである。従って、動画データの編集作業を楽しいものとする効果も備えている。

なお、本実施の形態では、画像データ、サウンドデータ、静止画データを扱っているが、本発明はこの形態に限定されず、映像データ、音声データであるビデオデータに対して広く適用することができる。

なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明に係る第１の実施の形態の動画表示装置の構成を示す図。 操作表示画面の構成を示す図。 動画表示装置の全体の動作を示す概略のフロー図。 クリップ登録の動作を示す概略のフロー図。 クリップ削除の動作を示す概略のフロー図。 クリップ配置動作のうち静止画の配置動作を示す概略のフロー図。 ワークエリアに表示されたビュー画像を示す図。 クリップ配置動作のうちサウンドの配置動作を示す概略のフロー図。 ワークエリアに表示されたステレオ音声データのビュー画像を示す図。 ワークエリアに表示されたステレオ音声データのビュー画像を示す図。 ワークエリアに表示されたビュー画像を示す図。 クリップ配置動作のうち動画の配置動作を示す概略のフロー図。 ワークエリアに表示されたビュー画像を示す図。 クリップ配置動作のうち動画の追加配置動作を示す概略のフロー図。 ワークエリアに表示されたビュー画像を示す図。 動画の主画面選択動作を示す概略のフロー図。 ワークエリアに表示されたビュー画像を示す図。 ワークエリアの視点変更動作を示す概略のフロー図。 動画の再生動作を示す概略のフロー図。 動画のタイムラインの形状変更動作を示す概略のフロー図。 ワークエリアに表示されたビュー画像を示す図。 動画のタイムスケールの変更動作を示す概略のフロー図。 動画のタグ付与動作を示す概略のフロー図。 動画のタグスキップ動作を示す概略のフロー図。

符号の説明

１…動画表示装置、２…操作入力部、３…コントロール部、４…３Ｄ画像生成部、５…ビュー画像生成部、２６…表示部、１０…操作表示画面、１１…ワークエリア、１２…クリップエリア、１３…視点移動ツールエリア、１３ａ…視点移動コントローラ、１３ｂ…縮小ボタン、１３ｃ…拡大ボタン、１４…コントローラエリア、１４ｂ…タイムスケールコントローラ、１４ｄ…再生操作ボタン、１５…ツールエリア、２２…静止画、２１…回転軸、２３…タイムライン、２４ａ…波形オブジェクト、２４ｂ…波形オブジェクト、２５…フレーム、２６…主画面。

Claims (10)

1. 時系列データを表示画面に立体的に表示する表示プログラムであって、
   時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、
   前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、
   前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、
   前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、
   前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、
   前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、
   時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップと
   をコンピュータに実行させるためのプログラム。
2. 前記時系列データはビデオデータであって、
   前記データ配置ステップで配置する３次元オブジェクトは、ビデオデータの各画像フレームであり、
   前記再生ステップにおいて、時間経過に従って各画像フレームが前記タイムラインに沿って移動し、タイムライン上の同一の幾何学的位置においては、ビデオの再生又は逆転再生となるように前記ビデオデータが表示されることを特徴とする請求項１記載のプログラム。
3. 設定された視点の方向に前記フレームの少なくとも１つを対向させるフレーム移動ステップを更に有し、
   前記表示ステップは、前記タイムラインに沿って配置したフレームと前記視点の方向に対向させたフレームとを表示することを特徴とする請求項２記載のプログラム。
4. 前記フレームを拡大または縮小するズーム設定ステップを有し、
   前記表示ステップは、前記ズーム設定ステップでの設定操作に対応して前記フレームを拡大または縮小して表示するズーム表示ステップを備えたことを特徴とする請求項２記載のプログラム。
5. 前記表示ステップは、前記タイムライン上の特定の位置にあるフレームを他のフレームより大きく表示する主画面表示ステップを有することを特徴とする請求項２記載のプログラム。
6. 前記タイムライン生成ステップは、前記タイムラインの単位長さ当りの時間を変更するタイムライン時間変更ステップを有することを特徴とする請求項１記載のプログラム。
7. 請求項１に記載の手順に従って、複数の時系列データを同一の表示画面に立体的に表示する複数ビデオデータ表示手順をコンピュータに実行させるためのプログラム。
8. 時系列データを表示画面に立体的に表示する表示方法であって、
   時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、
   前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、
   前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、
   前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、
   前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、
   前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、
   時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップと
   を備えたことを特徴とする表示方法。
9. 時系列データを表示画面に立体的に表示する表示プログラムを記録した記録媒体であって、
   時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成ステップと、
   前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置ステップと、
   前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定ステップと、
   前記視点設定ステップで設定した視点から観察したオブジェクトを表示する表示ステップと、
   前記タイムラインの形状又は配置を自在に変化させるタイムライン操作ステップと、
   前記タイムライン操作ステップでの操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化ステップと、
   時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトがタイムラインに沿って移動する再生ステップと
   をコンピュータに実行させるためのプログラムを記録した記録媒体。
10. 時系列データを表示画面に立体的に表示する表示装置であって、
    時間の経過を表わすタイムラインを３次元空間に生成するタイムライン生成手段と、
    前記タイムラインに沿って前記時系列データを３次元オブジェクトとして配置するデータ配置手段と、
    前記時系列データの３次元オブジェクトを観察する視点を設定する視点設定手段と、
    前記視点設定手段が設定した視点から観察したオブジェクトを表示する表示手段と、
    前記タイムラインの形状又は配置を自在に変化させるタイムライン操作手段と、
    前記タイムライン操作手段の操作に対応して前記３次元オブジェクトの形状又は配置を変化させるオブジェクト変化手段と、
    時間経過に従って前記時系列データの再生に同期して前記３次元オブジェクトをタイムラインに沿って移動する再生手段と
    を備えたことを特徴とする表示装置。

Images