JP4064489B2

JP4064489B2 - 時間事象指定機能を使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム

Info

Publication number: JP4064489B2
Application number: JP06821497A
Authority: JP
Inventors: ジョン・ジェイ・ベーゼマン; スコット・エム・コンソラッティ; デニス・ディー・キング
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1996-03-29
Filing date: 1997-03-21
Publication date: 2008-03-19
Anticipated expiration: 2017-03-21
Also published as: JPH1031663A; US5758093A

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にはコンピュータ・ソフトウェアに関し、具体的には使いやすいシーケンス・エディタを使用したマルチメディア・タイトルのために特定の時間に固有事象を発生させるユーザ・インタフェース・ツールを提供する装置および方法に係わる。
【０００２】
【従来の技術】
マルチメディアは、コンピュータ・システムに関連して使用される用語であって、時間ベースのデータの１つまたは複数のファイルの処理、すなわち作成、編集、表示、同期化などを行うソフトウェアを指す。マルチメディア・コンピュータ・システムは、テキスト、グラフィックス、ビデオ、イメージ、アニメーション、音声などを様々に組み合わせた様々な材料を表示するように設計されている。マルチメディア・システムは一般に、パーソナル・コンピュータ、ＣＤ−ＲＯＭドライブ、ソフトウェア・エディタなどを含むハードウェアとソフトウェアの組合せから成る。マルチメディア・プレゼンテーション用のデータは一般に、磁気ディスク・ドライブ、ＲＯＭコンパクト・ディスク・プレイヤ、ビデオ・テープ装置などのハードウェア記憶装置に記憶される。
【０００３】
このようなマルチメディア・システムを使用するアプリケーション開発者は、エンド・ユーザがマルチメディア・プレゼンテーションの表示と、様々なコントロールの操作を行うことができるようにするプログラムを作成することができる。
【０００４】
マルチメディア・タイトルの作成者／開発者が直面する最も困難な問題の１つは、時間と事象の同期化である。たとえば、開発者は音声とビデオ・プレゼンテーションとを同期させ、時間の経過につれて現れたり消えたりするイメージを提供することができなければならない。多くの複雑な現実の例では、２つ以上のマルチメディア・アイテムが、事象、「相対時間」関係（すなわちＢの前にＡ、Ｂの後にＡ、Ｂと同時にＡ）、および「絶対時間」のうちの１つまたは複数のものに基づいて同期することが望ましい。
【０００５】
時間同期を扱おうと試みている１つの製品は、マクロメディア社の「ディレクター（Ｄｉｒｅｃｔｏｒ）」である。ディレクターは、フレーム・ベースのメタファについて時間を指定する。ディレクターではスコアを使用して、ムービー（またはタイトル）内でいつ事象を発生させるかを指定する。スコアは、アニメーションのセルと、音声またはビデオの再生を開始する標識とを保持する一連のフレームである。ディレクターでは事象が線形に指定される。フレームは、手動で前のフレームに戻るようにソフトウェア・コードが作成されていない限り、順序正しく順序づけられる。フレームは、次々に順次に現れる。たとえばアニメーションを作成するには、開発者はアニメーション内の各セルをスコア内のフレームと手動で関連づけなければならない。ものごとを相対的に発生させる便利な方法はない。２つのアニメーションを同時に発生させる場合、対応するフレームを１つずつ手動で指定しなければならない。時間ツールを使用してビデオの再生を指定することができるが、ビデオの再生中は他のもの（すなわちアニメーション、他のビデオなど）を何も処理することができない。ラップのためのポイント・アンド・クリック機構がなく、ラップを引き起こすためのコードを作成しなければならない。
【０００６】
アドビ社のプレミア（Ｐｒｅｍｉｅｒ）という他の製品は、ビデオ編集製品である。この製品には、クリップ（すなわちビデオ、スキャン・イメージ、ＱｕｉｃｋＴｉｍｅ、ムービー、音声）を操作してムービーを作成するコンストラクション・ウインドウ（ＣＷ）と呼ばれる機能がある。ＣＷはチャネルとタイムラインとタイムライ上の目盛りのスケールを調整する時間単位セレクタとを有する。いくつかのビデオおよびイメージをチャネルに入れ、手動で（すなわちドラッグして）絶対時間および他のいくつかの媒体と位置合わせする。相対時間または事象時間という概念はなく、位置合わせ支援同時発生ツールもない。ムービーの作成のためのラップという概念はない。
【０００７】
最後に、アイコン・オーサー（ＩｃｏｎＡｕｔｈｏｒ（ＩＡ））は、時間ベースの媒体、論理、データベースなどを含むアプリケーションの作成を可能にするマルチメディア・オーサリング・ツールである。ＩＡはフローチャートのメタファを使用してアプリケーションを指定する。媒体の再生、データベース・アクセス、比較、割当てなどを表すアイコンをパレットから取り出して、フローチャートに結びつける。そうすると、アプリケーション内の処理が、フローチャートに定義された階層構造を流れる。処理を視覚的に同期させるエディタはない。同期化は、検査論理と、事象に応答する対応論理とによって行われる。
【０００８】
【発明が解決しようとする課題】
したがって、事象時間、相対時間、および絶対時間に関してマルチメディア部品の同期化を簡単に視覚的に実現し、特定の時間に特定の部品のための固有事象の発生を可能にする方法が必要である。
【０００９】
【課題を解決するための手段】
本明細書で開示する本発明は、コンピュータ・システム上でマルチメディア・タイトルのために特定の時間に特定の部品のための固有事象を発生させる方法および装置を含む。本発明によって、追加コードを作成する必要なしに、特定の選定された時間にすでに処理中の事象に追加の事象を挿入することができる。
【００１０】
本発明の一態様によると、コンピュータ・システム上でユーザ・インタフェース・ツールが、マルチメディア・タイトルの任意の部品によって起こされる任意の事象と同期した特定の時間に特定の部品のための固有事象を発生させる。基礎事象の基礎部品を視覚的に構築する。次に、所望の特定の時間に固有事象の開始を生成するために、その特定の時間に基礎部品上に時間事象指定機能を配置する。この指定機能は、ユーザによる直接操作が可能な事象のグラフィカル表現を含む。さらに、指定機能は固有事象を所定の繰り返し間隔で発生させることができる。
【００１１】
本発明の技法上の利点は、開発者が、特定の時間に開始するために前もって構築された事象を他の事象に付加することができることである。
【００１２】
【発明の実施の形態】
まず図１を参照すると、その内部で本発明が動作するタイプのシステムの一般的アーキテクチャ１８が示されている。アーキテクチャ１８は、以下に示す構成要素の少なくともいくつか（および場合によってはその他の追加構成要素）を含む様々な構成要素を相互接続する役割を果たすメイン・バス１２を含む。すなわち、ＣＰＵ１４、浮動小数点ユニット１６、バス・コントローラ２８、ビデオＲＡＭ２２、ダイナミックＲＡＭ２４、スタティックＲＡＭ２６、ディジタル信号プロセッサ２９、内部ハード・ディスク３０、（たとえばＳＣＳＩポート３４を介して接続された）外部記憶装置３２、（たとえばイーサネット・ネットワーク３８で通信し、ＳＣＳＩポート３４を介して接続された）外部ネットワーク装置３６、表示装置４０（ＣＲＴなど）、プリンタ４２、キーボード４６、およびポインティング・デバイス４８（マウス、トラック・ボールなど）などの構成要素である。実働コンピュータ・システムにおけるこれらの各構成要素の相互接続と機能は、当技術分野で周知である。しかし、以下では特定の構成要素の機能と意味について適宜詳述する。
【００１３】
以下の説明では、本発明について、オブジェクト指向ソフトウェア設計と一般に呼ばれるソフトウェア・プログラミング環境（アップル・コンピューターのＳｃｒｉｐｔＸなど）を用いて説明するが、本発明の機能はそのような環境には限定されないことがわかるであろう。しかし、本発明のプログラムが動作する１つの可能な環境の補助として、オブジェクト指向プログラミング環境の特定の該当する詳細を説明する。
【００１４】
オブジェクト指向プログラミング言語では、言語の基本データ構造体はオブジェクトであり、オブジェクトはデータとアクションの両方の指定を含むプログラミング要素である。データは、オブジェクト内に含まれるインスタンス変数と呼ばれるローカル変数で指定される。アクション、すなわちメソッドは、これらの変数に対して作用するサブプログラムである。メソッドは、１つのオブジェクトからそのオブジェクト自体または他のオブジェクトに送られるメッセージによって呼び出される。
【００１５】
クラスとインスタンスという２つの基本オブジェクト構成体がある。「クラス」は変数とメソッドの組であり、オブジェクト・タイプのテンプレートと考えることができる。「インスタンス（またはオブジェクト）」は、クラスを特定のランタイム・インスタンスにしたものである。オブジェクトには、そのクラスに定義されている変数を格納することができる。各インスタンスは、それらの変数のそのインスタンス独自のバージョンを有する。オブジェクトにメッセージが送られると、オブジェクトはそのオブジェクトのクラスに定義されているメソッドを調べてメッセージをどのように実行するかを決定する。
【００１６】
クラスはクラス階層の形で定義される。クラスは、階層内のスーパー・クラスと呼ばれるより高いクラスからすべての変数とメソッドを継承する。継承するクラスをスーパー・クラスのサブクラスまたは子クラスと呼ぶ。継承クラスは、スーパー・クラスから継承された変数およびメソッドを、継承クラス内に定義されているかのように使用することができる。サブクラスに複数のスーパー・クラスがある場合は、各スーパー・クラスからすべての変数およびメソッドが継承される。これをしばしば複数継承と呼ぶ。
【００１７】
クラス内に定義することができる変数は２種類ある。第１のタイプは、クラス変数であり、その記憶は定義するクラスのすべてのインスタンスによって共有される。クラス変数は一般にクラスとインスタンスの間の調整に使用される。第２のタイプは、インスタンス変数であり、特定の各インスタンスに固有の変数である。各インスタンスの各インスタンス変数に別々の記憶域が割り振られる。
【００１８】
メソッドによって、オブジェクトにメッセージが送られたときに実行されるアクションが指定される。メッセージがオブジェクトに送られると、メッセージ名がそのオブジェクトのために定義されているメソッド名と照合される。実際に実行されるメソッドは、そのオブジェクトのクラス階層の最下層に定義されているメッセージと同じ名前を持つメソッドである。
【００１９】
メッセージはパラメータを持つことができる。メッセージが送られると、そのメッセージのメソッドを探し出す前に実際のすべてのパラメータが完全に評価される。メソッドはメッセージ内の実際のパラメータに対応する仮パラメータと、一時変数とを有する。一時変数は、メッセージを実行するときに作成することができ、メソッドが実行されている間、そのメソッドの範囲内でのみ使用可能である。
【００２０】
プログラムは、オブジェクトにメッセージをおくることによって実行され、そのオブジェクトがオブジェクトのクラス内またはクラス階層内のメソッドを呼び出す。多くの場合、メソッドは他のオブジェクトにメッセージを送り、他のメソッドを呼び出す。一般に、各メソッドは送り側に結果を返す。多くの言語、特にオブジェクト指向言語の中心には、メッセージの解釈と評価を行い、メソッドが他のメソッドを呼び出す場合に返す場所を追跡するプログラム・セグメントがある。
【００２１】
オブジェクト指向プログラミング環境は、多くのプログラム言語を使用して実現することができる。オブジェクト指向環境の一般的な例としては、Ｃ＋＋環境、Ｓｍａｌｌｔａｌｋ環境、およびＳｃｒｉｐｔＸ環境がある。
【００２２】
本発明を使用するソフトウェア・プログラム・コードは、典型的には内部ハード・ディスク３０などのメモリに記憶され、そこから開発者がコードにアクセスすることができる。配布のために、このソフトウェア・プログラム・コードは、データ処理システムと共に使用するようにディスケットまたはＣＤ−ＲＯＭなどの様々な周知の媒体のいずれかの媒体上に実現することも、そのような他のシステムのユーザが使用するように何らかのタイプのネットワークで他のコンピュータ・システムに配布することもできる。ソフトウェア・コードを媒体上に実現したりソフトウェア・コードを配布したりするこのような技法および方法は公知であり、本明細書では詳述しない。
【００２３】
以下に、本発明について例を示し、図２ないし図１７を参照しながら説明する。前述のように、マルチメディアを組み込んだアプリケーションの作成者が直面する最も困難な問題の１つは、時間と事象の同期化の問題である。その一例は、アプリケーションが以下のタイプの処理を必要とする場合である。１）押しボタンを押すとアニメーションが再生される、２）アニメーションの進行中に１つの音声も再生する、３）アニメーションと音声の同時終了時に、ビデオが再生され、その後半が前半の２倍の速度で再生される、４）前記１〜３とは独立して、押しボタンを押した１０秒後にイメージが現れ、画面を横切って移動しながら２０秒間継続して表示された後、消える、５）ビデオが開始してすぐに終了押しボタンが表示画面上に現れる。
【００２４】
図１６を参照すると、このタイプの処理を必要とする現実の世界の一例は、自動車サービス・センターの研修生向けのコンピュータ・ベースのトレーニング・アプリケーション（マルチメディア・タイトル３００）である。研修生はコンピュータ上の任意の部品である押しボタン３０２をクリックして、前もって選択した自動車部品の組立方法に関する情報を表示する。任意の事象、すなわち押しボタンのクリックによって、互いに接続された自動車部品のサブコンポーネントを示して研修生が構成部品がどのように組み立てられるかを学習するようになっているアニメーション部品シーケンス３０６から始まる時間同期化された処理３０４のシーケンスがトリガされる。このアニメーションと同時に実行される音声再生機能（音声部品３０８）は、組立工程が行われる様子の口頭説明である。このアニメーションと音声が完了すると、全体像を示すためと研修生の背景知識を完全にするために組立て済み自動車部品の３６０度の外観を示すビデオ（ビデオ部品３１０）が再生される。時間上の制約により、ビデオの後半は前半の２倍の速度で再生される。上記の処理とは独立して、イメージ（イメージ部品３１２）がアニメーションの再生に入って１０秒間表示され、ムービーが２０秒間画面を横切る。このイメージは研修生を励ます歓迎メッセージである。やはり上記の処理とは独立して、ビデオの再生後すぐに、画面の最下部に終了押しボタン（押しボタン部品３１４）が現れ、研修生は理解を深めるのにビデオは不要であるとみなした場合にビデオを終了させることができる。
【００２５】
前述の同期化の問題を解決するために、本発明によるシーケンス・エディタを提供する。このシーケンス・エディタは、ユーザが相対時間と絶対時間と事象時間とを使いやすい方式で相互に同期させることができるようにする機構である。この解決策は、同期させるアイテム（アニメーション、ビデオ、音声、イメージなど）をユーザが前もって特定し、選択していることを前提とする。同期させるこれらのタイプのアイテムを選択することができるようにするいくつかのツールがあり、詳しい説明は不要である。
【００２６】
同期させるためのシーケンス・エディタ手法は事象から始まる。事象は予測不能であり、ランダムに発生することが多い。事象はユーザ対話またはその他の非同期活動によって発生させることができる。事象の例としては、押しボタンのクリック、ビデオ再生の完了、ある絶対時間への到達、エラー条件の発生がある。事象は、プログラム作成者によって定義され、何らかの物の何らかの発生の通知である。シーケンス・エディタは、その時間ベースの指定を事象によって編成する。言い換えると、ユーザは時間ベースの処理のシーケンスを開始する事象を指定する。以下の例では、事象は押しボタンのクリック（選択）であり、時間ベースの処理はアニメーションと媒体関連の再生である。
【００２７】
次に図２を参照すると、シーケンス・エディタ画面６０が示されている。タイトル・バー６２のすぐ下にツールバー６４がある。ツールバー６４には、同時開始ツール６６、同時終了ツール６８、同時発生ツール７０、および接合ツール７２を含む複数の便宜ツールがある。
【００２８】
同時開始ツール６６を使用すると、後述するようにして選択した部品を正確に同時に開始させることができる。同様に、同時終了ツール６８を使用すると、部品を正確に同時に終了させることができる。同時発生ツール７０によって、部品を正確に同時に開始させ、終了させることができ、接合ツール７２によって１つの部品を他の部品の終了時にただちに開始させることができる。これらのツールの使用法については、以下で詳述する。ツールバー６４の下には、部品スタータ７４と事象スタータ７６がある。スクロール矢印７８および８０をそれぞれクリックすることによって、適切な任意の部品と適切な任意の事象を選択するためのドロップ・ダウン・ボックスが表示される。
【００２９】
部品スタータおよび事象スタータ７４および７６の下に、ズーマ８２とタイムライン８４がある。ズーマ８２によってタイムライン８４上の各目盛り間隔の時間値を設定することができる。スライダ８６を移動させることによって、目盛り間隔設定値を選択することができる。図２に示すように、この目盛り間隔設定値は０．５秒である。したがって、タイムライン８４の各目盛り間隔は０．５秒を表す。
【００３０】
ズーマ８２のすぐ下には、開発者が使用するための複数の調整可能なドラッグ・アンド・ドロップ・ツールがある。再生スペーサ８８によって、開発者は時間ベースの媒体部品（すなわち処理）を再生する時間の長さを示すことができる。隠蔽スペーサ９０を使用して、普通なら表示されることになる部品を隠す。移動スペーサ９２は、再生または表示を続けながらオブジェクトを経路に従って移動させる。速度スペーサ９６は、スペーサの時間の長さの間、媒体が再生される速度を変更する。
【００３１】
ズーマ８２の下には時間事象指定機能もある。時間事象指定機能９８は、以下で詳述するように、特定の時点で発生させる事象を指定する。定期的時間事象指定機能９４は、特定の時点とその後間隔を置いて発生させる事象を指定する。
【００３２】
ブルペン１００は、前もって選択されている場面上の部品の準備場所として使用される。シーケンス・エディタ画面６０に示すように、ブルペン１００には場面１の部品が格納されている。
【００３３】
タイムライン８４の下には、複数の表示可能チャネル１０２、１０４、１０６、１０８、および１１０がある。各表示可能チャネル１０２〜１１０には、サムネイル領域１１２、１１４、１１６、１１８、および１２０が対応している。サムネイル領域は、シーケンス・エディタによって同期化する部品を配置するために使用される。表示可能チャネルは、該当するサムネイル領域内の部品が表示または再生される期間を指定するために使用される。
【００３４】
上記のように、残りの図３ないし図１７を使用して、アプリケーション開発者が作成するマルチメディア・アプリケーションの現実の例について説明する。この例は、押しボタンを押してアニメーション（自動車部品のサブコンポーネントを互いに接続する様子を示すアニメーション）を再生するものである。アニメーションの進行中、１つの音声（組立工程がどのように行われるかという口頭説明と音楽）も再生される。このアニメーションと音声の終了と同時に、ビデオ（全体像を示すためと研修生の背景知識を完全にするための完成部品の３６０度の外観）が再生される。ビデオの後半は、前半の２倍の速度で再生される。それとは独立して、押しボタンを押した後１０秒後にイメージが現れ、そのまま表示され続けて２０秒間画面を横切って移動した後、消える（歓迎メッセージ）。ビデオの開始後まもなく、表示画面上に終了ボタンが表示される（研修生が不要とみなした場合にビデオを終了させることができるようにする）。
【００３５】
図３を参照すると、開発者はズーマ８２を２秒間の間隔を設定している。したがって、タイムライン８４上の各目盛りマークは２秒を示し、それより大きな各目盛りマーク１２０は１０秒を、最も大きな各目盛りマーク１２２は２０秒を示すことになる。また開発者は、ブルペン１００からアニメーション部品１２４をドラッグし、サムネイル領域１１２にドロップしている。アニメーション部品１２４をサムネイル領域１１２に入れると、表示可能チャネル１０２（図２参照）が表示ブロック１０３に変更され、アニメーション部品１２４をタイムライン８４の全長にわたって表示することができることが示される。
【００３６】
図４を参照すると、再生アイコン１３０と再生領域１３１が示すように、再生ツール８８が表示ブロック１０３にドラッグされ、ドロップされている。サイズ・ハンドル１３２をドラッグしてタイムライン８４上の１００秒の目盛りマーク１３４の下に揃えることによって、アニメーション再生機能が押しボタンをクリックした瞬間から１００秒の絶対時間が経過するまで再生されることがわかる。
【００３７】
図５を参照すると、ブルペン１００から音声再生機能部品１４０がドラッグされ、サムネイル領域１１４にドロップされている。アニメーション再生機能１２４を参照しながら前述したように、音声再生機能１４０をサムネイル領域１１４にドロップすると、表示可能ブロック１０５が表示可能チャネル１０４（図２）に入れられる。表示可能ブロック１０５は、タイムライン８４の全長にわたって延びている。非可視タイム・ベース媒体部品（すなわち音声）の場合、表示可能とはその部品が再生可能であることを意味する。
【００３８】
図６を参照すると、再生アイコン１４２と再生領域１４３が示すように、再生ツール８８が表示可能ブロック１０５にドラッグされ、ドロップされている。１つの音声は有限期間のあいだ再生されるため、音声再生機能部品１４０は約３０秒間の概算存続期間を有することがわかる。以下で詳述するように、この例では音声をアニメーションと終始同時に発生させることを意図している。本発明はそのような同期化をいくつかの単純なステップによって可能にする。
【００３９】
図７を参照すると、ブルペン１００からビデオ再生機能部品１５０がドラッグされ、サムネイル領域１１６にドロップされている。前と同様に、表示可能チャネル１０６（図２）が、タイムライン８４全長にわたって表示ブロック１０７を示すように変更されている。再生アイコン１５２と再生領域１５３が示すように、再生ツール８８が表示ブロック１０７（図８）にドラッグされ、ドロップされている。音声再生機能部品１４０の音声部分の場合のように、ビデオ再生機能部品は有限の長さを有し、したがって再生領域１５３として図示されている指定された時間のあいだ再生される。
【００４０】
図９を参照すると、開発者はブルペン１００からイメージ１部品１６０を選択してサムネイル領域１１８にドロップしている。表示可能チャネル１０８がタイムライン８４全長にわたって表示ブロック１０９に変更される。
【００４１】
上記の現実の例で述べたように、アニメーションと音声が同時に開始し、停止した。本発明を使用することによって、開発者はこれが簡単に行われるようにすることができる。図１０を参照すると、まずアニメーション再生機能の再生領域１３１を選択し、次に音声再生機能の再生領域１４３を選択し、次に同時発生ツール７０を選択することによって、アニメーション再生機能部品と音声再生機能部品とが同時に開始し、停止する。音声の長さは約３０秒しかなかったため、音声はアニメーションの１００秒間の長さに達するまで繰り返し再生されなければならないのは明らかである。
【００４２】
同様に、図１１を参照すると、アニメーションが終了すると直ちにビデオが開始されることになっている。したがって、開発者はまずアニメーション再生機能再生領域１３１を選択し、次にビデオ再生機能再生領域１５３を選択し、最後に接合ツール７２を選択する。このようにすることによって、開発者は簡単かつ迅速に、アニメーションの終結と同時にビデオが開始されるようにしたことになる。
【００４３】
前述の同時発生ツールの使用には、本発明の重要な実施態様が含まれる。これらのツールによって、１）絶対時間、２）相対時間、および３）事象駆動時間の３つのタイプの時間位置合わせの自動実現が可能になる。背景知識として、絶対時間（ａＴ）、相対時間（ｒＴ）、および事象駆動時間（ｅＴ）について詳述すればわかりやすいであろう。絶対時間（ａＴ）とは、固定した始点を有する時間である。絶対時間は最初はいずれかの相対時間（ｒＴ）またはいずれかの事象駆動時点（ｅＴ）からのオフセットとして指定することができるが、ａＴは本明細書ではタイムライン上の目盛りマークを基準にして明示的に指定する。特定の時間シーケンスを仮定すれば、ａＴは他の部品とは独立して宣言される。相対時間（ｒＴ）は他の何らかの１つの部品（または複数の部品）を基準とした始点（または終点あるいはその両方）を有する時間である。相対時間（ｒＴ）は、他の何らかのオカレンスの開始または終了を基準として明示的に指定され、その特定の値は未知であるかまたは宣言されない。事象駆動時間（ｅＴ）は、何らかの事象のオカレンスによって定義される始点を有し、その事象は時間と何らかの関係を有していてもいなくてもよい。事象は押しボタンの選択によるユーザ対話またはエラー条件の場合がある。無限の数の事象タイプがある。ｅＴと同期させる部品の指定の後に、その時間が発生する時点を判断することはできない。その時間はその事象が発生したときに発生する。本明細書では、「適切な部品動作を開始する」とは、部品を時間ベースの媒体部品のタイプにとって適切な仕方で、たとえば表示または再生させることを意味する。適切な部品動作は、開発者が希望する任意の動作を含むことができるものと理解されたい。
【００４４】
ｒＴを本明細書の例に戻すと、同時発生ツールを使用した音声とアニメーションの同期は、アニメーションを基準にした音声の開始ｒＴと終了ｒＴの両方の指定の実現である。接合ツールを使用したビデオとアニメーションの同期は、アニメーションの終了時間を基準としたビデオの開始ｒＴの指定の実現である。
【００４５】
ａＴを本明細書の例に戻すと、タイムライン上の３０秒の絶対時間マークでのイメージの消去の同期は、タイムライン上の絶対時間を基準としたイメージ消去の開始ａＴの指定の実現である。この指定は、隠蔽ブロック開始時間を３０秒の目盛りマークに明示的にドラッグすることによって実現される。
【００４６】
ｅＴを本明細書の例に戻すと、時間ベースの処理のシーケンス全体の開始は、部品スタータ・ドロップ・ダウン・リストおよび事象スタータ・ドロップ・ダウン・リストによって指定された、押しボタン部品のクリックされた事象の選択という未知の時間に始まる。
【００４７】
次に図１２を参照すると、さらにイメージ１部品１６０を同期させる必要がある。この例では、イメージ１部品１６０はアニメーションの開始から１０秒後に現れ、画面を横切って移動しながら２０秒間表示された状態を維持してから消える必要がある。したがって、隠蔽アイコン１８０と隠蔽領域１８１によって示されているように、開発者は隠蔽スペーサ９０をドラッグして表示ブロック１０９にドロップする。便宜上、図の例は１０秒という所定の値の隠蔽領域幅を有する。したがって、隠蔽アイコン１８０によって、イメージ１部品１６０はアニメーションの開始後必要な１０秒間、隠蔽されることになる。隠蔽アイコン１８２によって示されているように、開発者は次に他の隠蔽スペーサ９０をグラブして表示ブロック１０９上にドロップする。次に、サイズ・ハンドル１８４をグラブし、ラップ・コラル１８６までドラッグすることによって、隠蔽領域１８３が示すように、イメージ１部品１６０は２０秒間表示された後で消え、再表示されないようになる。本発明ではラップ・コラルは無限大とみなすことができる。ラップ・コラルを使用することによって、開発者は表示ブロックまたは再生ブロックの終了時間を「フック」することができ、したがってそのブロックを無限大まで継続させることができる。
【００４８】
さらに、続けて上記の例を使用すると、研修生に対する歓迎メッセージであるイメージを、表示されている２０秒の間左から右に画面を横切って直線に移動させる必要がある。これを行うために、アイコン２１０と領域２１１（図１４）が示すように、開発者はツールのパレットから移動スペーサ９２を選択し、表示可能ブロック１０９上にドロップすることになる。この時、表示可能ブロック１０９（図１２）は、１０秒の絶対時間から３０秒の絶対時間までの領域２１１として示されている。当然、このシーケンスはクリックされた事象の事象時間を基準としている。移動スペーサ領域２１１の開始（左縁）を１０秒の絶対時間にドラッグする。移動スペーサ領域２１１（サイズ・ハンドル）の終了時間（右縁）を３０秒の絶対時間までドラッグする。これでこの移動スペーサ領域２１１は、その時間の進行中（すなわちａＴ１０からａＴ３０まで）、このイメージが表示されるだけでなく、何らかの経路に従って移動することを示している。アニメーションおよびコンピュータ・グラフィックスの技術分野の知識を有する者には、このような経路を定義する多くの周知の機構がある。たとえばマクロメディア社の「ディレクター」の場合は、その手引き書の１１３ページと１１４ページで、そのツールのユーザがイメージの移動の経路を指定することができる指定技法について説明している。本明細書には移動指定技法における新規性の請求項はない。その結果として、移動スペーサ・アイコンをイメージの表示可能ブロック上に配置した後はそのアイコンを「ダブル・クリックする」ことによって、ユーザは画面上を横切って移動するイメージの移動経路を指定することができるものとみなす。本発明における独自性は、いったん経路を指定した後は、本発明のシーケンス・エディタが、移動スペーサが占有している時間の長さと画面を横切る移動とを同期させる使いやすい機構を提供していることである。
【００４９】
図１３を参照すると、指定機能アイコン１９０が示すように、開発者は時間事象指定機能９８をビデオ再生領域１５３にドラッグし、ドロップする。次に、その上に時間事象指定機能アイコン１９０（任意の固有事象）を正しく配置することによって、開発者は所望の時間に別の固有事象をトリガすることができる。次にこの固有事象は、別のシーケンスを発生させるか、またはこの現実の例のように他の何らかの処理に押しボタンを表示させて、それによって希望する場合にビデオを終了させることができるようにする。
【００５０】
図１７を参照すると、使用されている図１３の事象指定機能が図示されている。図１６を参照しながら前述したように、マルチメディア・タイトル３００を作成する。開発者は、固有の任意の事象３２４によって新しい任意のシーケンス３２０または新しい任意の部品３２２を生成する（すなわち特定の時間に事象指定機能に遭遇する）ことを希望している。したがって、前述のようにして事象指定機能によって固有事象の生成が可能になる。
【００５１】
上記の例に加えて、ビデオの後半を通常速度の２倍の速度で再生させたい場合がある。これは、カリキュラムに課された時間要件のために必要となることがある。これを行うために、アイコン２２０と領域２２２が示すように、開発者はツールのパレットから速度スペーサ９６（図１５参照）を選択してビデオ再生領域１５３上にドロップする。通常のドラッグ技法とサイズ・ハンドルを使用して、ビデオ再生領域１５３の後半を占めるように領域２２２を調整する。本発明の一部ではないが、開発者は次に、たとえば速度スペーサ・アイコン２２０をダブル・クリックすることができ、開発者に必要な速度を問い合わせるダイアログ・ボックスが表示されるようにすることもできる。これでビデオの後半が新しい速度で再生されることになる。
【００５２】
したがって、本発明はマルチメディア・タイトル開発者のためにこれまでになかった使い易さを提供する。開発者には、使い易いビジュアル・インタフェース・タイプのアプリケーションで、同期化されたマルチメディア・タイトルを作成するのに必要なすべてのツールが与えられる。開発者に高い柔軟性を与えることができる絶対時間、相対時間、または事象時間あるいはそれらの組合せを使用して、事象と部品を同期させることができる。本明細書で教示されているように、シーケンス・エディタは、開発者が、従来利用可能であったデータ・フローまたはユーザ・インタフェースの視野ではなく、マルチメディア・タイトルの時間構造の視野からマルチメディア・タイトルを見ることができるようにする。
【００５３】
本発明について本発明の特定の好ましい実施例に関して説明したが、当業者なら様々な変更および修正が思いつくであろうし、本発明はそのような変更および修正も特許請求の範囲に入るものとして含むことを意図している。
【００５４】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００５５】
（１）コンピュータ・システム上で、マルチメディア・タイトルのための任意の部品によって起こされた任意の事象と同期した特定の時間に特定の部品のための固有事象を発生させるユーザ・インタフェース・ツールであって、
特定の部品を視覚的に指定する手段と、
固有事象を発生するために特定の時間に特定の部品上に配置する時間事象指定機能とを含むツール。
（２）特定の部品を視覚的に指定する前記手段が、
その時間構造によって複数の部品の一覧関係視覚レイアウトを可能にするユーザ・インタフェースを含むことを特徴とする、上記（１）に記載のツール。
（３）前記指定機能が、固有事象を所定の繰り返し間隔で発生させる手段をさらに含むことを特徴とする、上記（１）に記載のツール。
（４）前記時間事象指定機能が、ユーザによって直接操作可能なグラフィカル表現をさらに含むことを特徴とする、上記（１）に記載のツール。
（５）コンピュータ・システム上で、マルチメディア・タイトルのための任意の部品によって起こされた任意の事象と同期した特定の時間に特定の部品のための固有事象を発生させる方法であって、
特定の部品を視覚的に指定するステップと、
固有事象を発生させるために特定の時間に特定の部品上に時間指定機能を配置するステップとを含む方法。
（６）特定の部品を視覚的に指定する前記ステップが、
その時間構造によって複数の部品の一覧関係視覚レイアウトを可能にするユーザ・インタフェースを提供するステップを含むことを特徴とする、上記（５）に記載の固有事象を発生させる方法。
（７）特定の部品上に時間事象指定機能を配置する前記ステップが、
固有事象を所定の繰り返し間隔で発生させるステップをさらに含むことを特徴とする、上記（５）に記載の固有事象を発生させる方法。
（８）特定の部品上に時間事象指定機能を配置する前記ステップが、
前記時間事象指定機能のグラフィカル表現を直接操作するステップをさらに含むことを特徴とする、上記（５）に記載の固有事象を発生させる方法。
（９）コンピュータ・システム上でマルチメディア・タイトルのための任意の部品によって起こされた任意の事象と同期した特定の時間に特定の部品のための固有事象を発生させるコンピュータ可読媒体上に記録されたコンピュータ・プログラム製品であって、
特定の部品を視覚的に指定する手段と、
固有事象を発生するために特定の時間に特定の部品上に配置する時間事象指定機能とを含む製品。
（１０）特定の部品を視覚的に指定する前記手段が、
その時間構造によって複数の部品の一覧関係視覚レイアウトを可能にするユーザ・インタフェースを含むことを特徴とする、上記（９）に記載のコンピュータ可読媒体上に記録されたコンピュータ・プログラム製品。
（１１）前記指定機能が、
固有事象を所定の繰り返し間隔で発生させる手段をさらに含むことを特徴とする、上記（９）に記載のコンピュータ可読媒体上に記録されたコンピュータ・プログラム製品。
（１２）前記時間事象指定機能が、
ユーザによって直接操作可能なグラフィカル表現をさらに含むことを特徴とする、上記（９）に記載のコンピュータ可読媒体上に記録されたコンピュータ・プログラム製品。
【図面の簡単な説明】
【図１】その中で本発明が動作することができるコンピュータ・システムの一般的コンピュータ・アーキテクチャを示す図である。
【図２】本発明によるシーケンス・エディタを示す図である。
【図３】チャネル内に部品を配置した様子を示す図である。
【図４】再生ツールを示す図である。
【図５】音声再生機能部品を配置した様子を示す図である。
【図６】音声再生機能部品と共に再生ツールを示す図である。
【図７】ビデオ再生機能部品を配置した様子を示す図である。
【図８】ビデオ再生機能部品と共に再生ツールを配置した様子を示す図である。
【図９】イメージ部品を配置した様子を示す図である。
【図１０】同時発生ツールの使用を示す図である。
【図１１】接合ツールの使用を示す図である。
【図１２】隠蔽スペーサを示す図である。
【図１３】時間事象指定機能を配置した様子を示す図である。
【図１４】移動スペーサの使用を示す図である。
【図１５】レート・スペーサの使用を示す図である。
【図１６】マルチメディア・タイトルを示す略図である。
【図１７】マルチメディア・タイトルと事象指定機能の使用とを示す略図である。
【符号の説明】
６０シーケンス・エディタ画面
６２タイトル・バー
６４ツールバー
６６同時開始ツール
６８同時終了ツール
７０同時発生ツール
７２接合ツール
７４部品スタータ
７６事象スタータ
８２ズーマ
８４タイムライン
８８再生スペーサ
９０隠蔽スペーサ
９２移動スペーサ
９６速度スペーサ
９８時間事象指定機能
１００ブルペン
１０２表示可能チャネル
１０３表示ブロック
１１２サムネイル領域

Claims

複数の部品から構成されるマルチメディア・タイトルを編集するユーザ・インタフェース・ツール提供装置において、
ユーザに、選択時点において存在する任意の部品及び該部品に係る任意の事象を、同期元部品および該同期元部品に係る事象として選択させる選択表示部を表示器に表示するとともに、該選択表示部を介してユーザが選択した同期元部品および該同期元部品に係る事象に対し、該事象の発生時刻に同期させて再生させる複数の同期先部品についての再生領域が、タイムライン方向へレイアウトされ、かつ各再生領域のレイアウトは、各再生領域に対応付けられている同期先部品が、各再生領域がタイムライン上で占めている時間位置範囲に対応する時間範囲において再生状態になることを示す視覚レイアウトを前記表示器に表示する表示手段、
前記視覚レイアウトにおけるタイムライン方向の再生領域のレイアウト変更に関するユーザによるドラッグ機器のドラッグ操作を前記ドラッグ機器の出力から検出して、検出したドラッグ操作に基づきタイムライン方向の再生領域のレイアウト変更を行うレイアウト変更手段、
ユーザによるドラッグ・ドロップ機器を介する前記視覚レイアウトにおける同期先部品の再生領域への時間事象指定部品のアイコンのドラッグ・ドロップ操作を前記ドラッグ・ドロップ機器の出力から検出するとともに、検出したドラッグ・ドロップ操作に基づきタイムライン上の該アイコンの時間位置を検出し、該時間位置に対応する時刻を、前記ドラッグ・ドロップ機器の出力に基き検出する該時間事象指定部品と該時間事象指定部品に係る事象とに対応付けて、該事象の発生時刻に指定する事象発生時刻指定手段、および
前記選択表示部がユーザに選択させる任意の部品及び該部品に係る任意の事象として、前記時間事象指定部品および該時間事象指定部品に係る前記事象を前記任意の部品及び該部品に係る任意の事象に追加する追加手段、
を有することを特徴とするユーザ・インタフェース・ツール提供装置。
前記時間事象指定部品は、事象を特定の時点に発生させる第１の時間事象指定部品と、事象を特定の時点とその後間隔を置いた時点とに発生させる第２の時間事象指定部品とを含むことを特徴とする請求項１記載のユーザ・インタフェース・ツール提供装置。
複数の部品から構成されるマルチメディア・タイトルを編集するユーザ・インタフェース・ツール提供方法において、
ユーザに、選択時点において存在する任意の部品及び該部品に係る任意の事象を、同期元部品および該同期元部品に係る事象として選択させる選択表示部をコンピュータが表示器に表示するとともに、該選択表示部を介してユーザが選択した同期元部品および該同期元部品に係る事象に対し、該事象の発生時刻に同期させて再生させる複数の同期先部品についての再生領域が、タイムライン方向へレイアウトされ、かつ各再生領域のレイアウトは、各再生領域に対応付けられている同期先部品が、各再生領域がタイムライン上で占めている時間位置範囲に対応する時間範囲において再生状態になることを示す視覚レイアウトをコンピュータが前記表示器に表示する表示ステップ、
コンピュータが前記視覚レイアウトにおけるタイムライン方向の再生領域のレイアウト変更に関するユーザによるドラッグ機器のドラッグ操作を前記ドラッグ機器の出力から検出すると、検出したドラッグ操作に基づきタイムライン方向の再生領域のレイアウト変更を、コンピュータが行うレイアウト変更ステップ、
コンピュータが、ユーザによるドラッグ・ドロップ機器を介する前記視覚レイアウトにおける同期先部品の再生領域への時間事象指定部品のアイコンのドラッグ・ドロップ操作を前記ドラッグ・ドロップ機器の出力から検出すると、コンピュータが、検出したドラッグ・ドロップ操作に基づきタイムライン上の該アイコンの時間位置を検出し、かつ該時間位置に対応する時刻を、前記ドラッグ・ドロップ機器の出力に基き検出する該時間事象指定部品と該時間事象指定部品に係る事象とに対応付けて、該事象の発生時刻に指定する事象発生時刻指定ステップ、および
前記事象発生時刻指定ステップの実施後、前記選択表示部がユーザに選択させる任意の部品及び該部品に係る任意の事象として、前記時間事象指定部品および該時間事象指定部品に係る前記事象をコンピュータが前記任意の部品及び該部品に係る任意の事象に追加する追加ステップ、
を有することを特徴とするユーザ・インタフェース・ツール提供方法。
前記時間事象指定部品は、事象を特定の時点に発生させる第１の時間事象指定部品と、事象を特定の時点とその後間隔を置いた時点とに発生させる第２の時間事象指定部品とを含むことを特徴とする請求項３記載のユーザ・インタフェース・ツール提供方法。