JP2007025979A - 動画像編集システム、動画像編集方法、動画像編集プログラム及び記録媒体 - Google Patents

Abstract

【課題】ユーザが簡便に動画像編集を行うことを可能とした技術を提供する。
【解決手段】３次元コンピュータグラフィックスにおける動画像を編集するために用いられる動画像編集システムにおいて、３次元仮想空間を構成する３次元オブジェクト又は動画像の視点となるカメラに与える動作に対応した形状を持つタイムラインオブジェクトを生成するためのタイムラインオブジェクト生成手段と、前記３次元オブジェクト又は前記カメラの所定の属性に前記タイムラインオブジェクトの値を関連付けるタイムラインオブジェクト継承手段と、前記３次元オブジェクト又は前記カメラの所定の属性に関連付けられた前記タイムラインオブジェクトの形状を前記３次元仮想空間上で変更するための画面を表示するタイムラインオブジェクト編集手段とを備える。
【選択図】 図４

Description

本発明は、３次元空間だけで動画像編集ができるインタフェースを用いることにより、簡便に所望の動画像を生成することを可能とした動画像編集支援技術に関するものである。

近年、科学技術分野の利用にとどまらずテレビや映画など実写映像での応用まで、３次元コンピュータグラフィックス（以下、３ＤＣＧという）の普及は著しい。３ＤＣＧの利用対象は、大半が何らかの動きを表現するアニメーション映像である。しかし、映像編集におけるアニメーション機能が高度化する一方、モーション編集ツールの操作性が複雑化しており、ユーザが自由に映像制作ができるようになるためには高機能なオーサリングツールに熟練する必要がある。
３次元仮想空間上でアニメーションを構成する伝統的な方法として、キーフレーム法による中間画像の中割りが用いられてきた。キーフレーム法では、キーとなる特徴的なオブジェクトの動作状態を指定することで、中間のフレームはスプライン関数で自動的に補間される。補間された値をグラフの曲線で示したものをファンクションカーブといい、３Ｄ空間中の対象オブジェクトの運動状態を編集する方法として広く利用されている。このとき、キーに対応する映像のフレーム番号を指定するためにタイムラインウィンドウが用いられる。

また、特にカメラのモーション（カメラワーク）を構成する場合、カメラの軌道を曲線等で描くことで、向きや姿勢を変化させながら映像を構成するパスアニメーションの手法もよく使われる。この場合も、モーションパス上のカメラや被写体の開始キー・終了キーはタイムラインに時系列に並べられたフレームに対応付けられる。

タイムラインにより時間軸に沿って対象とするシーンを統一的に管理できるため、タイムラインは、３ＤＣＧのアニメーション編集だけでなく、2次元映像のノンリニア編集においても標準的なインタフェースとなっている。Alias Systems社のMotionBuilderやAvid Technology社のSoftimageは好例である。なお、アニメーション映像の編集に関連する技術として非特許文献１〜６に開示された技術がある。
平成１７年６月３日検索、インターネット、高リアリティ３Dキャプチャシステム、http://www.contents4u.com/ 藤代一成、斉藤隆文、乃万司他：コンピュータグラフィックス、CG−ARTS協会（２００４） Edwin E. Catmull. The problems of computer-assisted animation. Computer Graphics (SIGGRAPH ’78 Proceedings), 12(3): 348.353, August 1978 平成１７年６月３日検索、インターネット、Alias MotionBuilder: http://www.alias.co.jp/motionbuilder/ 平成１７年６月３日検索、インターネット、SOFTIMAGE-XSI: http://www.softimage.jp/softimage/product/XSIv4/ 平成１７年６月３日検索、アニメーションゴースティングhttp://www.comtec.daikin.co.jp/si-xsi/product/vup/v40/

タイムラインのように、３次元空間とは独立した1次元の時間要素の編集が必要なインタフェースは、各映像カットの関係を把握するには便利である。しかし、３次元空間上でモーションを編集する際には、オブジェクトの時刻毎の運動の変化を視覚的にとらえ難いため、望みの映像を作成できるようになるまでにツールへの相当の熟練を要する。また、３次元空間とは別のインタフェースを用いるので、ユーザに頻繁な視線移動が要求されるという問題もある。

例えばキーフレーム法であれば、物体の時間位置における変化を数値指定したり、ファンクションカーブの画面を開いて一つ一つ編集を行わなければならない。また、モーションパスを描く場合、その軌跡によってオブジェクトが移動する様子は容易に理解できるものの、回転量や速度等といった運動の変化を直感的に把握することは難しい。
図１に従来の動画像編集システムを用いたモーション編集における操作の流れを示す。図１に示すように、３次元オブジェクトやカメラに対し、動画像編集システムが表示するタイムラインを用いて時間編集を行う（ステップ１）。続いて、ファンクションカーブを用いた動作編集を行って（ステップ２）、プレビュー機能を用いて動作の確認を行い（ステップ３）、目的とする動画像を生成する（ステップ４）。

これらの編集作業では、タイムラインやファンクションカーブを用いているため、回転量や速度等といった運動の変化を直感的に把握することは難しく、編集作業は容易でない。運動の変化を直感的に把握するために、３次元空間における動きを視覚化する従来の方法として、補間されたパラメータを３次元形状の変化としてマッピングするゴースティング法があるが、運動の変化を形状の変化に置き換えて描画しなければならないため、形状が複雑になればなるほど高い計算コストが要求される。

本発明は上記の点に鑑みてなされたものであり、静止オブジェクトに与えようとする様々な動作を、静止オブジェクトと同様に可視化することにより、不要な視線の移動を低減し、ユーザが簡便に動画像編集を行うことを可能とした技術を提供することを目的とする。

上記の課題は、３次元コンピュータグラフィックスにおける動画像を編集するために用いられる動画像編集システムであって、３次元仮想空間を構成する３次元オブジェクト又は動画像の視点となるカメラに与える動作に対応した形状を持つタイムラインオブジェクトを生成するためのタイムラインオブジェクト生成手段と、前記３次元オブジェクト又は前記カメラの所定の属性に前記タイムラインオブジェクトの値を関連付けるタイムラインオブジェクト継承手段と、前記３次元オブジェクト又は前記カメラの所定の属性に関連付けられた前記タイムラインオブジェクトの形状を前記３次元仮想空間上で変更するための画面を表示するタイムラインオブジェクト編集手段とを備えることを特徴とする動画像編集システムにより解決できる。

前記タイムラインオブジェクト生成手段は、前記３次元オブジェクト又は前記カメラに与えられる複数の基本的な動きに対応する複数の形状を保持するテンプレートと、当該テンプレートからある形状をユーザが選択するための画面を表示する手段とを備える。また、前記タイムラインオブジェクト編集手段は、前記３次元オブジェクト又は前記カメラに関連付けられた前記タイムラインオブジェクトの形状又は色彩を、前記３次元オブジェクト又は前記カメラに関連付けられた他のタイムラインオブジェクトに対応する動きに応じて変更する手段を備える。

本発明では、３次元空間とは独立したパラメータ編集のために１次元のインタフェースを用いるのではなく、他の静止オブジェクトと等価に３次元空間で扱うことができ、様々な動作パラメータの時刻毎の変化を可視化するタイムラインオブジェクトを用いる。

従って、本発明によれば、静止オブジェクトに与えようとする様々な動作を、静止オブジェクトと同様に形状として可視化し、その形状を変更するための画面を表示するため、ユーザは簡便に動画像編集を行うことが可能となる。

また、タイムラインオブジェクトを用いることにより、３次元空間上で時間情報や動き情報を編集できるので、ユーザは操作対象に視線を落ち着けることができ、頻繁な視線移動が要求されるという従来の問題を解消できる。

また、タイムラインオブジェクトを生成するためのテンプレートを備えたことにより、モーションの部品の再利用性を向上させ、編集効率を高めることができる。また、タイムラインオブジェクトによるパラメータの継承により、インタフェースを３次元空間上に統合できるので、ユーザは簡便に動画像編集を行うことができる。また、タイムラインオブジェクトの形状又は色彩を、更に加えられた他のタイムラインオブジェクトに対応する動きに応じて変更できるので、直感的なモーション編集を行うことができる。

以下、図面を参照して本発明の実施の形態について説明する。

本実施の形態では、コンピュータに本発明に係る動画像編集プログラムを搭載することにより実現した動画像編集システム１０を用いて動画像の編集を行う場合におけるユーザの操作、及び動画像編集システムの処理について説明する。

（動画像編集システムの概要）
図２に、本実施の形態の動画像編集システムの機能構成図を示す。図２に示すように、本実施の形態の動画像編集システム１０は、３次元空間構築部１１、タイムラインオブジェクト継承部１２、タイムラインオブジェクト編集部１３、動作確認部１４、動画像生成部１５を有している。

３次元空間構築部１１は、３次元仮想空間Ｓを構成する１つ以上の３次元オブジェクトＯ１〜Ｏｎ、動画像生成時の視点となるカメラＣ、及びタイムラインオブジェクトＴＯ１〜ＴＯｍを生成、編集するためのインタフェースを提供し、ユーザ操作に応じて生成、編集されたオブジェクトを記憶装置に格納する等して管理する機能を有している。タイムラインオブジェクトとは、その形状によって時間や動作のパラメータを定義でき、３次元空間上に描画される仮想のオブジェクトである。静止オブジェクトにタイムラインオブジェクトのパラメータが関連付けられる。ユーザは、３次元空間構築部１１が提供するインタフェース画面を用いることにより、静止オブジェクトに関連付けられたタイムラインオブジェクトの形状を編集することで時間や動作に望みの変更を加えることができる。

タイムラインオブジェクト継承部１２は、３次元オブジェクトＯ１〜ＯｎもしくはカメラＣにタイムラインオブジェクトＴＯ１〜ＴＯｍの値を関連付ける機能を有している。

タイムラインオブジェクト編集部１３は、３次元オブジェクト等の所定のパラメータに関連付けられたタイムラインオブジェクトＴＯ１〜ＴＯｍの値を編集するためのインタフェースを提供する。タイムラインオブジェクトＴＯ１〜ＴＯｍの値を編集することにより、３次元オブジェクトＯ１〜ＯｎもしくはカメラＣの動きに変更を加えることができる。

動作確認部１４は、タイムラインオブジェクト編集部１３等を用いて編集したオブジェクトの動作をディスプレイに表示し、ユーザに編集内容をプレビューさせるためのものである。動画像生成部１５は、カメラから見た時間毎に変化する３次元仮想空間の映像から動画像シーケンスを生成する機能を有している。上記のシステム構成において、動作確認部１４と動画像生成部１５は従来からある動画像編集システムに備えられているものと同じ機能を有している。

上記のように本実施の形態の動画像編集システムは、３次元空間Ｓ上の構成要素である静止オブジェクト（３次元オブジェクトＯ１〜ＯｎやカメラＣ）の動作を、同じく３次元空間上で形状を持つタイムラインオブジェクトＴＯ１〜ＴＯｍを用いて編集することを可能としたシステムである。

図３を用いて、本実施の形態における動画像編集の概要フローについて説明する。

まず、ユーザは、３次元オブジェクトやカメラなど通常の静止オブジェクトを３次元空間構築部１１を用いて作成する。３次元空間構築部１１は、予め定義した様々な基本モーションをタイムラインオブジェクトの様々な形状として体系化したテンプレートを有しており、ユーザは、そのテンプレートを用いてタイムラインオブジェクトを生成する（ステップ１１）。

次に、タイムラインオブジェクト継承部１２は、ステップ１１で生成されたタイムラインオブジェクトが持つ時間情報と動作情報とを３次元オブジェクトやカメラなどの静止オブジェクトが持つ座標や方向属性に関連付ける。時間と動作に関するパラメータを関連付ける継承機構によって静止オブジェクトのモーションを定義できる（ステップ１２）。

次に、ユーザは、タイムラインオブジェクト編集部１３が表示するインタフェースを用いてモーションの編集を行う（ステップ１３）。ここでは、タイムラインオブジェクト編集部１３は、必要に応じてタイムラインオブジェクトが持つ動作情報を可視化して表示する。次に、ユーザは、動作確認部１４により表示される編集した内容をプレビューしながらモーションの確認をする。必要であれば、ステップ１１〜１３に戻って修正を加える（ステップ１４）。ユーザにとってイメージ通りの映像が構成できたら、動画像生成部１５は２次元の動画像を生成する（ステップ１５）。

上記の処理手順をイメージで示すと図４に示す通りである。すなわち、テンプレートを用いて生成されたタイムラインオブジェクトが特定の３次元オブジェクト及びカメラに継承され、ユーザは、３次元オブジェクトに継承されたタイムラインオブジェクトを可視化インタフェースを用いて編集することにより、当該３次元オブジェクトの動作の編集を行う。

図５は、本実施の形態の動画像編集システムと従来のシステムとを比較し、両者間で根本的に異なる点を示した図である。 本発明のシステムにおいて従来と明確に異なるのは、モーションの編集において従来標準的に使われてきたタイムラインウィンドウ等の、３次元オブジェクト表示インタフェースとは別のインタフェースを用いずに、３次元空間上にあるオブジェクトの形状に時間変化のパラメータを関連付けさせ、それを編集することにより静止オブジェクトの時間変化を定義している点である。すなわち、映像シーンを構成する要素である静止オブジェクトとまったく等価に、時間や動作のパラメータをそれらに関連付けることができるタイムラインオブジェクトを同じ３次元空間上で並列に扱うことができる点が従来のシステムと全く異なる点である。

従来は、３次元空間のシーンを構成するオブジェクトに時間情報を関連付ける１次元のインタフェースとしてタイムラインを用いていた。このように３次元空間とは分離して１次元に時間展開をしたインタフェースでは、編集中のモーションのイメージが把握しにくいだけでなく、静止オブジェクトひとつひとつに対してタイムラインを用いて時間パラメータを関連付けていかなければならないのに対し、本発明のシステムを用いることで、３次元空間上で時間毎に変化するパラメータを直接参照し、統合的な作業空間で編集することができる。これにより、従来よりも簡単に動作を編集することが可能となる。

（タイムラインオブジェクトについて）
本実施の形態におけるタイムラインオブジェクト（TimelineObj(t,mp)と表記する）とは、３次元空間において、時間tと同時に、移動・回転・速度など様々な運動の単位時間あたりの変化量であるモーションパラメータmpを定義可能な仮想オブジェクトのことである。コンピュータ内では、少なくとも時間ｔとモーションパラメータmpとを持つデータとして保持される。タイムラインオブジェクトを可視化して表示したものの一例を図６に示す。図６に示す例では、横軸に時間ｔをとり、縦軸にモーションパラメータmp（例えば、オブジェクトの回転角度）をとり、ｍｐの時間変化が斜線で表現されている。

本実施の形態の動画像編集システムにおけるモーションを定義するためのデータ構造を図７に示す。図７に示すように、３次元オブジェクト(3DObject)やカメラ(Camera)の各属性にタイムラインオブジェクトを継承することで、静止オブジェクトの動きが定義される。なお、本動画像編集システムにおける継承とは、タイムラインオブジェクトの持つ時間とモーションパラメータとが３次元オブジェクトやカメラ等の静止オブジェクトの物理的な属性（座標・方向）に関連付けられることを意味する。例えば、３次元オブジェクトの方向属性に図６に示したタイムラインオブジェクトを継承させることにより、当該３次元オブジェクトの方向を、０〜ｔの間、図６に示した変化割合で変化させるという動きを与えることができる。

タイムラインオブジェクトの継承によって、３次元空間上の静止オブジェクトの移動動作や回転動作を定義する様子を図８（ａ）〜（ｄ）に示す。図８（ａ）〜（ｄ）はそれぞれ図７に示す（ａ）〜（ｄ）に対応している。

まず、図８（ａ）は、３次元オブジェクトの中心座標に対し、楕円形のタイムラインオブジェクトを継承していることを示している。タイムラインオブジェクトの楕円の円周の長さは時間長を表しており、この継承により、当該時間長の間、３次元オブジェクトが楕円の軌道上で時間毎に位置を変化させながら移動するという動作を定義できる。

図８（ｂ）は、３次元オブジェクトの方向ベクトルに回転を表現するタイムラインオブジェクトを継承することを示している。このタイムラインオブジェクトを継承することにより、３次元オブジェクトにおける時間毎のｘ方向、ｙ方向、ｚ方向それぞれの成分を指定することができ、３次元オブジェクトが時間毎に回転する動作を定義することができる。

図８（ｃ）は、カメラ位置を表す座標に楕円のタイムラインオブジェクトを継承することを示している。この継承により、カメラが３次元オブジェクトの周囲を旋回しながら位置を変えるという動作を定義できる。

図８（ｄ）は、カメラの方向ベクトルに対して回転のタイムラインオブジェクトを継承することを示している。この継承により、カメラアングルを時間毎に変化させることができる。
（動画像編集システムの詳細）
以下、図２に示した動画像編集システムの処理動作について、より詳細に説明する。

［３次元空間構築部］
まず、３次元空間構築部１１について説明する。３次元空間構築部１１は、３次元オブジェクトやカメラなど通常の静止オブジェクトを構築するための機能に加え、予め定義した様々な基本モーションをタイムラインオブジェクトのバリエーションとして体系化したテンプレートの提供手段を備える。図９に、３次元空間構築部１１を用いた処理のフローを示す。

３次元空間構築部１１は、３次元オブジェクト及びカメラ生成用のインタフェースを表示し、ユーザからの操作に基づき、ユーザが所望する３次元オブジェクト及びカメラを生成し（ステップ２１、２２）、生成したオブジェクトを記憶装置に格納する。すなわち、ユーザは、はじめに３次元空間の映像を構成する要素を配置し、シーンを構成し、配置した３次元オブジェクトを被写体として、ビデオ動画像として再構成するための仮想カメラを生成する。このための機能として、３次元空間構築部１１は、一般的に使われている３次元オブジェクトのモデリングツール、もしくは、複数枚の画像を合成して３次元オブジェクトを生成する機能を有している。また、広く使われている一般的なカメラ生成手段を有している。

３次元空間構築部１１は更に、タイムラインオブジェクト生成のためのテンプレートを保持している。テンプレートとは、オブジェクトの典型的な運動パターンを示す様々な形状のタイムラインオブジェクト（基本タイムラインオブジェクトと呼ぶことにする。また、モーションプリミティブとも呼ぶ。）を持つツール環境（データとプログラム）である。３次元空間構築部１１は、基本タイムラインオブジェクトをユーザが選択できるように所定の形状として画面上に表示する。ユーザがテンプレートから所望の基本タイムラインオブジェクトを３次元空間中にドラッグインすることで、３次元空間構築部１１はタイムラインオブジェクト（TimelineObj1）を生成する（ステップ２３）。なお、ここで「生成」するとは、テンプレートを構成する記憶装置に予め格納された基本タイムラインオブジェクトとしてのタイムラインオブジェクトを、TimelineObj1という特定のタイムラインオブジェクトにすることである。すなわち、例えば、タイムラインオブジェクトを構成するデータを、TimelineObj1という名前で格納することである。図１０に、テンプレートからタイムラインオブジェクトを生成する際のイメージを示す。テンプレートを用いることには以下のような利点がある。

時間の関数としての動作パラメータは移動や回転といった基本的なモーション以外に、３次元オブジェクトのサイズの変化や速度変化・カメラのレンズアクション等様々なタイプを考えることができる。これらを複数組み合わせることで複合的な運動パターンを構成することができる。しかし、３次元空間はともすれば自由度が高すぎるので、効果的なモーション編集を行うには、利用頻繁の高い動作パターンを体系化したテンプレートを用いる方法が有効である。典型的なパターンをテンプレート内の基本タイムラインオブジェクトとして予め保持しておき、再利用することでユーザの負担を軽減することができる。

［タイムラインオブジェクト継承部］
次に、タイムラインオブジェクト継承部１２について、図１１のフローを参照して説明する。

タイムラインオブジェクト継承部１２は、前記のようにして生成されたタイムラインオブジェクトを特定の静止オブジェクト（３次元オブジェクト、カメラ等）に継承する旨の指示を受けると（ステップ３１）、静止オブジェクトの属性（座標・方向）にタイムラインオブジェクト（TimelineObj1）のパラメータを関連付ける（ステップ３２）。これによりタイムラインオブジェクトが持つ時間と動作のパラメータを３次元オブジェクト(3DObject)やカメラ(Camera)の各物理属性に関連付けることができる。「関連付ける」とは、例えば、タイムラインオブジェクトが時間と単位時間あたりの回転角度変化の情報を持つオブジェクトである場合に、継承先の３次元オブジェクトの方向パラメータと、タイムラインオブジェクトが持つ時間と単位時間あたりの回転角度変化の情報を対応付けて記録装置に格納することである。３次元オブジェクトの動作を画面上で再現する際に、この情報が読み出され、３次元オブジェクトの動きを表示するために用いられる。なお、タイムラインオブジェクトの実際の時間長、フレーム数等はユーザが適宜指定する。

継承が行われるタイミングは、上記のように明示的に継承先の静止オブジェクトの指定を行ってからでもよいし、３次元空間上の所定の３次元オブジェクトへのタイムラインオブジェクトのドラッグイン直後でもよい。

［タイムラインオブジェクト編集部］
次に、タイムラインオブジェクト編集部１３について説明する。タイムラインオブジェクト編集部１３は、あるオブジェクトに関連付けされた所定のタイムラインオブジェクトを所定の形状として表示する可視化手段を備え、その形状をユーザ操作に基づき変更することにより、３次元オブジェクトやカメラの動作の変更を行うことを可能としている。

また、例えば、３次元オブジェクトの運動として地球が太陽の周囲を公転しながら自転する運動を構成する場合、移動という動きだけでなく、回転という動きも３次元オブジェクトに与える必要がある。そこで、本実施の形態のタイムラインオブジェクト編集部１３では、もともと時間概念を持っているタイムラインオブジェクトから他のタイムラインオブジェクトへの継承を行うことにより、回転しながら移動するといった複合的な運動を３次元オブジェクトやカメラに与えることができる。

タイムラインオブジェクト編集部１３での編集処理について、図１２のフローを参照して説明する。ここでは、TimelineObj1にTimelineObj2を継承する例について説明する。

まず、ユーザは、定義済み（あるオブジェクトに継承済み）のTimelineObj1に対して追加したい動作に対応するタイムラインオブジェクトを新たにテンプレートから３次元空間にコピーする（ステップ４１）。これをTimelineObj2とする。

次に、タイムラインオブジェクト編集部１３は、TimelineObj1にTimelineObj2を継承する（ステップ４２）。これにより、タイムラインオブジェクト編集部１３は、追加するタイムラインオブジェクトに対応する適切な形状や色を選択する。そして、TimelineObj1の形状に、TimelineObj2に対応する動作を表現する形状や色を反映し（ステップ４３）、必要に応じてユーザが形状の編集を行って、最後にタイムラインオブジェクト編集部１３は描画を行う（ステップ４４）。なお、静止オブジェクトに与える動作が、単純な回転だけ、あるいは単純な移動だけ、というような場合であれば、新規にタイムラインオブジェクトを追加する必要はないので、ステップ４１とステップ４２は省略することもできる。

図１３に、タイムラインオブジェクト間継承のデータ構造を示す。図１３に示すように、TimelineObj2をTimelineObj1に継承することにより、TimelineObj1の視覚的な状態が遷移する。すなわち、新たに加えられた動作によってTimelineObj1の形状や色が変化する。

次に、タイムラインオブジェクト編集部１３が有する可視化手段について説明する。可視化手段により、継承される側のタイムラインオブジェクトの視覚的な次元を拡張することができる。これにより、静止オブジェクトに対して継承する動作が１：１の場合や１：ｎの場合のように、動作パラメータの複合度合いに応じて視覚的な状態を切り替えることが可能である。

３次元空間構築部１１が有するテンプレートにおける各基本タイムラインオブジェクトに対応する可視化方法（形状、色等）を図１４に示す。例えば、オブジェクトの移動を示す楕円の基本タイムラインオブジェクトに対しては、可視化手段は、その動作を移動の軌跡として表示する。また、回転の基本タイムラインオブジェクトに対しては、可視化手段は、その動作を円柱もしくは帯のねじれとして表示する。例えば、ある３次元オブジェクトのタイムラインオブジェクトが帯の形状を有していたときに、当該タイムラインオブジェクトに、回転の基本タイムラインオブジェクトを継承させた場合に、可視化手段は、その帯のねじれにより、回転を表現する。なお、可視化手段は、タイムラインオブジェクトに対応する形状を表示する処理を実行可能なプログラムを用いて実現されるものである。また、タイムラインオブジェクト編集部１３は、可視化手段により表示されたタイムラインオブジェクトに対するユーザによる変更内容を取得し、その変更内容を、当該タイムラインオブジェクトのデータに反映させる処理を行うプログラムを含むプログラムにより実現される。

図１４に挙げるパターンを用いることにより、基本的な動きをほぼカバーできる。例えば、カメラワークにはドリー・トラック・パン・ティルト・ズームの5つの基本動作があるが、これらは、カメラ位置を水平垂直・前後左右に移動したり、アングルを水平・垂直に振ったり、というような基本的な動きを用いて容易に実現できる。必要に応じてカメラの光軸基準に回転するモーションやレンズの画角を変化させることもできる。 単純な移動のみであれば1次元のモーションの軌跡で表現できる。

また、位置固定の回転運動だけであれば、円柱の運動で回転を可視化することができる。運動の複合的な状態を可視化する場合、それらとは違うパターンを用意し、回転しながら移動する運動は帯のねじれで表現するという具合に描画パターンが対応づけられる。このように、可視化手段は、編集中の動作パラメータのイメージを３次元空間中に視覚化しながら、ユーザによるオペレーションを支援する。
［動作確認部］
動作確認部１４として、従来の動画像編集システムにおいて確立されている各種の動画像プレビュー手段を用いることができる。動作確認部１４を用いることにより、ユーザは、編集した内容をプレビューしながらモーションの確認をする。必要であれば、動画像に修正を加える。

［動画像生成部］
動画像生成部１５として、従来からよく使われているイメージシーケンスの出力手段やビデオ画像への変換手段を用いることができる。 生成された動画像は、ＣＲＴモニタや液晶ディスプレイ、プラズマディスプレイ、テレビ・カメラなどの動画像表示手段において、フレームのレートが高い高品質なビデオ画像として利用することができる。また、ｅコマース等の用途に、レートを落とした軽量なマルチメディアフォーマットとして利用することもできる。

図２に示した動画像編集システムにおける処理部は、１台のコンピュータで実現してもよいし、機能を分けることにより複数台のコンピュータで実現することもできる。動画像編集システムにおける各処理部の一部（例えば、３次元空間構築部１１、タイムラインオブジェクト継承部１２、及びタイムラインオブジェクト編集部１３）、もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムを、例えば図１５に示すコンピュータを用いて実行して本発明を実現することができる。図１５に示すコンピュータは、ＣＰＵ１、メモリー２、ハードディスク３、入力装置４、出力装置５、ＣＤ−ＲＯＭドライブ６を有する。例えば、当該プログラムがＣＰＵ１で実行されることにより、動画像編集システムは、メモリー２から、３次元オブジェクトと関連付けて保持されたタイムラインオブジェクトのデータ（時間とモーションパラメータ、及び、対応する形状に関するデータ等）を読み出し、そのデータを用いて３次元オブジェクトの動きを表す形状をディスプレイ上に表示する。

また、本実施の形態に係る処理を行うプログラムは、コンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピー（登録商標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。

（具体例１：オブジェクトの移動+回転動作の例）
次に、３次元空間上でタイムラインオブジェクトを用いてユーザがモーション編集を行う具体例を図１６〜図２０を用いて説明する。ここでは、３次元オブジェクトとしての人形がモーションパスに沿って反時計周りに回転しながら移動するパスアニメーションの作成を例にとって説明する。

まず、図１６に示すように、３次元オブジェクトの移動経路（モーションパス）を描く。すなわち、ユーザは、図１０に示すテンプレートから移動(円弧)の動作パラメータをもつタイムラインオブジェクトを３次元空間上にコピーする。これにより、動画像編集システムは、タイムラインオブジェクト（TimelineObj1）を生成し、これを３次元オブジェクトに関連付ける。この結果、移動経路上の３次元オブジェクトの時間位置が指定される。これは、図７（ａ）のタイプの継承に対応する。この時点で３次元オブジェクトの３次元空間上での時間毎の位置が決まるが、オブジェクトの向きが規定できていない。

次に、図１７に示すように、支軸を追加する。ここでは、３次元オブジェクトの向きを規定するために、ユーザが所定の操作をすることにより、タイムラインオブジェクト（TimelineObj1）のy軸方向に幅を与える。動画像編集システムは、モーションパス上の各点を通る鉛直線を３次元オブジェクトのy軸に継承し、３次元オブジェクトの方向を規定する。これにより、３次元オブジェクト（人形）の姿勢が定まる。

上記の処理の結果、タイムラインオブジェクト（TimelineObj1）は図１７に示すように帯状の図形になり、帯の長さ方向は軌道の時間長を表し、帯の中心線はオブジェクトの中心となる。また、後述するように、帯の幅は回転速度を表す。また、１格子は１フレームに対応している。なお、タイムラインオブジェクト（TimelineObj1）は可視化手段により表示されている。

続いて、図１８に示すように、回転動作の追加を行う。ここでは、３次元オブジェクトに対してy軸を中心として反時計周りに回転する動作を加える。そのために、ユーザは、図１０のテンプレートから回転角度のモーションパラメータをもつタイムラインオブジェクトを３次元空間上にコピーする。これをTimelineObj2とする。図７（ｂ）で示したように、３次元オブジェクトの方向ベクトルに対して、回転角度のモーションパラメータをもつタイムラインオブジェクトを継承することにより、３次元オブジェクトが回転する動作を記述できる。図１８に示すように、TimelineObj2は横軸が時間t、縦軸が回転角度(rotation)を表し、形状をもつオブジェクトとして３次元空間上に可視化されている。

次に、図１９に示すように、回転動作の編集の編集を行う。ここでは、ユーザが、TimelineObj2に編集を加える。ユーザは、タイムラインオブジェクト編集部１３が提供しているインタフェース画面上で、図形の編集点をピックし、形状を変更する。変更された形状に対応する動作情報は、タイムラインオブジェクト編集部１３により記憶装置に記録される。このように帯の形状を変更することで、所望の回転動作に変更することができる。

続いて、図２０に示すように、回転動作の可視化が行われる。すなわち、動画像編集システムにおいて、TimelineObj2のパラメータがTimelineObj1に反映され、それがTimelineObj1の形状の変更として反映される。編集によってTimelineObj2に変更を加える度にTimelineObj1の形状の変更として反映される。これらの処理は可視化手段によって行われる。これにより、モーションが変化するイメージが可視化されるので、ユーザは、モーションパスにおいて３次元オブジェクト（人形）がどのように回転しているのかを確認することができ、回転動作の変化のポイントを視覚的に理解することができる。以上のように、TimelineObj2を制御インタフェースとして、TimelineObj1を直感的な理解を助ける視覚的インタフェースとして３次元空間上で統合的に扱うことにより、ユーザは、運動のイメージを確認しながら直感的にモーション編集を行うことができる。

（具体例２：オブジェクトの移動＋加速動作の例）
次に、具体例２について図２１〜２３を用いて説明する。具体例２では、３次元オブジェクトがモーションパスに沿って移動しながらあるポイントから移動速度が速くなるパスアニメーションの作成の例について説明する。具体例１では、追加した新規のタイムラインオブジェクトは回転動作を表すTimelineObj2であったが、本具体例２では、新規のタイムラインオブジェクトとして追加するタイムラインオブジェクトが加速動作を表すTimelineObj3である点が具体例１と異なる。

まず、具体例１の図１６、１７に示した操作と同様にして、移動経路を描き、支軸の追加を行う。その後、図２１に示すように、円弧のモーションパス上のあるポイントから３次元オブジェクトの移動速度が加速する動作を加える。

具体的には、ユーザは、図１０のテンプレートから加速のモーションパラメータをもつタイムラインオブジェクトを３次元空間上にコピーする。これをTimelineObj3とする。 TimelineObj3は横軸が時間t、縦軸が移動速度(velocity)を表し、ある時点で移動速度が変化している。TimelineObj3も形状を持つオブジェクトとして３次元空間上に可視化される。

ここで、速さの表現は、座標や方向等と違い静止オブジェクトが持つ直接的な属性ではないため、そのままでは継承ができない。このため、システムは、以下の前処理を行う。速度の時間方向の積分が、モーションパス上の座標位置を表すが、TimelineObj3は加速度をパラメータとしているため、適宜初期値を定めて時間方向に2回積分を行う。静止オブジェクトの持つ座標や方向という属性値と、TimelineObj3が持つパラメータとを関連付ける演算を定義することで、継承と可視化が可能となる。

続いて、図２２に示すように、ユーザは、必要に応じて、TimelineObj3に編集を加える。具体的には、TimelineObj3を示す図形の編集点をピックし、形状を変更する。帯の形状を変更することで、速度の変化ポイントを編集することができる。
続いて、図２３に示すように、システムは加速動作の可視化を行う。すなわち、TimelineObj3に対する編集の結果がTimelineObj1の形状（帯の幅）の変更として反映され、編集によって変更を加える度にモーションが変化するイメージが可視化される。これにより、ユーザは、モーションパスにおける３次元オブジェクトの移動速度がどのポイントで変化するか確認でき、速度の変化のポイントを視覚的に理解することができるようになり、従来技術に比べて動作の編集を簡便に行うことができるようになる。

（具体例３）
図２４〜２９を参照して、具体例３について説明する。なお、具体例３では具体例１、２とは異なる人形を使用している。具体例３では、移動経路を描き、支軸の追加を行った後、図２４に示すように回転動作のTimelineObj2を追加する。そして、図２５に示すように回転動作を決める。図２５は、帯をねじらない例を示している。また、編集においては、適宜プレビューを行って動作を確認する。

また、図２６に示すように、移動の加速動作のTimelineObj3を追加する。図２７に示すように、加速ポイントを決めることにより、帯の格子の間隔が変わる。また、図２８に示すように、回転の加速動作のTimelineObj4を追加する。そして、図２９に示すように、TimelineObj1の動作の中での回転加速動作を決める。図２９は、回転速度が大きくなると、帯の幅を太くする例を示している。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

従来のモーション編集方法を説明するための図である。 本発明の実施の形態における動画像編集システムの構成図である。 本発明の実施の形態における動画像編集システムにおける処理フローを示す図である。 本発明の実施の形態における動画像編集の概要を示す図である。 本発明と従来手法とを比較した図である。 タイムラインオブジェクトの一例を示した図である。 モーション定義のデータ構造を示した図である。 タイムラインオブジェクトの継承による静止オブジェクトの移動や回転動作の定義例を示した図である。 ３次元空間構築処理のフローを示した図である。 テンプレートの利用例を示した図である。 タイムラインオブジェクト継承処理のフローを示した図である。 タイムラインオブジェクト編集処理のフローを示した図である。 タイムラインオブジェクト間継承のデータ構造を示した図である。 モーションプリミティブに対応する可視化方法を示した図である。 本発明の実施の形態の動画像編集システムとして使用できるコンピュータの構成を示した図である。 動画像編集の具体例１を説明するための図（１）である。 動画像編集の具体例１を説明するための図（２）である。 動画像編集の具体例１を説明するための図（３）である。 動画像編集の具体例１を説明するための図（４）である。 動画像編集の具体例１を説明するための図（５）である。 動画像編集の具体例２を説明するための図（１）である。 動画像編集の具体例２を説明するための図（２）である。 動画像編集の具体例２を説明するための図（３）である。 動画像編集の具体例３を説明するための図（１）である。 動画像編集の具体例３を説明するための図（２）である。 動画像編集の具体例３を説明するための図（３）である。 動画像編集の具体例３を説明するための図（４）である。 動画像編集の具体例３を説明するための図（５）である。 動画像編集の具体例３を説明するための図（６）である。

符号の説明

１ ＣＰＵ
２ メモリー
３ ハードディスク
４ 入力装置
５ 出力装置
６ ＣＤ−ＲＯＭドライブ
１０ 動画像編集システム
１１ ３次元空間構築部
１２ タイムラインオブジェクト継承部
１３ タイムラインオブジェクト編集部
１４ 動作確認部
１５ 動画像生成部

Claims (10)

1. ３次元コンピュータグラフィックスにおける動画像を編集するために用いられる動画像編集システムであって、
   ３次元仮想空間を構成する３次元オブジェクト又は動画像の視点となるカメラに与える動作に対応した形状を持つタイムラインオブジェクトを生成するためのタイムラインオブジェクト生成手段と、
   前記３次元オブジェクト又は前記カメラの所定の属性に前記タイムラインオブジェクトの値を関連付けるタイムラインオブジェクト継承手段と、
   前記３次元オブジェクト又は前記カメラの所定の属性に関連付けられた前記タイムラインオブジェクトの形状を前記３次元仮想空間上で変更するための画面を表示するタイムラインオブジェクト編集手段と
   を備えることを特徴とする動画像編集システム。
2. 前記タイムラインオブジェクト生成手段は、前記３次元オブジェクト又は前記カメラに与えられる複数の基本的な動きに対応する複数の形状を保持するテンプレートと、当該テンプレートからある形状をユーザが選択するための画面を表示する手段とを備える請求項１に記載の動画像編集システム。
3. 前記タイムラインオブジェクト編集手段は、前記３次元オブジェクト又は前記カメラに関連付けられた前記タイムラインオブジェクトの形状又は色彩を、前記３次元オブジェクト又は前記カメラに関連付けられた他のタイムラインオブジェクトに対応する動きに応じて変更する手段を備える請求項１又は２に記載の動画像編集システム。
4. ３次元コンピュータグラフィックスにおける動画像を編集するために用いられる動画像編集システムが実行する動画像編集方法であって、
   ユーザによる操作に応じて、３次元仮想空間を構成する３次元オブジェクト又は動画像の視点となるカメラに与える動作に対応した形状を持つタイムラインオブジェクトを生成するタイムラインオブジェクト生成ステップと、
   前記３次元オブジェクト又は前記カメラの所定の属性に前記タイムラインオブジェクトの値を関連付けるタイムラインオブジェクト継承ステップと、
   前記３次元オブジェクト又は前記カメラの所定の属性に関連付けられた前記タイムラインオブジェクトの形状を前記３次元仮想空間上で変更するための画面を表示するタイムラインオブジェクト編集ステップと
   を備えることを特徴とする動画像編集方法。
5. 前記動画像編集システムは、前記３次元オブジェクト又は前記カメラに与えられる複数の基本的な動きに対応する複数の形状を保持するテンプレートを備え、前記タイムラインオブジェクト生成ステップにおいて、前記動画像編集システムは、前記テンプレートからある形状をユーザが選択したことに応じて、当該形状に対応する前記タイムラインオブジェクトを生成する請求項４に記載の動画像編集方法。
6. 前記タイムラインオブジェクト編集ステップにおいて、前記動画像編集システムは、前記３次元オブジェクト又は前記カメラに関連付けられた前記タイムラインオブジェクトの形状又は色彩を、前記３次元オブジェクト又は前記カメラに関連付けられた他のタイムラインオブジェクトに対応する動きに応じて変更する請求項４又は５に記載の動画像編集方法。
7. コンピュータを、３次元コンピュータグラフィックスにおける動画像を編集するために用いられる動画像編集システムとして機能させる動画像編集プログラムであって、コンピュータを、
   ３次元仮想空間を構成する３次元オブジェクト又は動画像の視点となるカメラに与える動作に対応した形状を持つタイムラインオブジェクトを生成するためのタイムラインオブジェクト生成手段、
   前記３次元オブジェクト又は前記カメラの所定の属性に前記タイムラインオブジェクトの値を関連付けるタイムラインオブジェクト継承手段、
   前記３次元オブジェクト又は前記カメラの所定の属性に関連付けられた前記タイムラインオブジェクトの形状を前記３次元仮想空間上で変更するための画面を表示するタイムラインオブジェクト編集手段、
   として機能させるための動画像編集プログラム。
8. 前記タイムラインオブジェクト生成手段は、前記３次元オブジェクト又は前記カメラに与えられる複数の基本的な動きに対応する複数の形状を保持するテンプレートと、当該テンプレートからある形状をユーザが選択するための画面を表示する手段とを備える請求項７に記載の動画像編集プログラム。
9. 前記タイムラインオブジェクト編集手段は、前記３次元オブジェクト又は前記カメラに関連付けられた前記タイムラインオブジェクトの形状又は色彩を、前記３次元オブジェクト又は前記カメラに関連付けられた他のタイムラインオブジェクトに対応する動きに応じて変更する手段を備える請求項７又は８に記載の動画像編集プログラム。
10. 請求項７ないし９のうちいずれか1項に記載の動画像編集プログラムを記録したコンピュータ読み取り可能な記録媒体。