JP2001292408A - 映像編集装置、映像編集方法、映像編集システム、および映像編集用プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ソフトウェアとハードウェアの混在が容易
で、処理対象の映像データのフォーマットの変更や処理
順序の変更等に柔軟に対応可能であり、かつ、高速レン
ダリング処理やリアルタイム処理を可能とする画像処理
方法等を得る。 【解決手段】 ディスク装置３０から取り出した映像フ
レームに対して、エフェクト処理段階ＥＳ１，ＥＳ２，
…においてそれぞれ種々の特殊効果処理を施す。ある段
階の処理と次の段階の処理との間には常にワークメモリ
１１２Ｂが介在し、また、１つのエフェクト処理段階に
おいては、複数の処理を並列的に行う。エフェクト処理
のすべて終了したフレームは、レイヤリング処理ＥＳＬ
を経て出力バッファ１１５に順不同に蓄えられる。出力
バッファ１１５に蓄えられた複数の編集済フレームは、
図示しない出力クロックに同期して、リアルタイムで出
力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも映像の
編集を行うための技術に係わり、特に、ノンリニア編集
が可能な映像編集装置、映像編集方法、映像編集システ
ム、および映像編集用プログラムを記録したコンピュー
タ読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】従来より、ノンリニア編集機と呼ばれる
編集装置によって映像の編集作業が行われている。この
ノンリニア編集機とは、オリジナルテープに記録された
映像や音声データ（以下、単に素材という。）を、ハー
ドディスクのようなランダムアクセスによる記録および
再生が可能なディスク状記録媒体（以下、単にディスク
という。）に一旦コピーし、このディスクに保存された
複数の素材をユーザが指定する時間長単位で読み出し、
これらの素材に様々な画像特殊効果（以下、単にエフェ
クトという。）を施して、モニタやテープに出力するこ
とができる装置である。この装置によれば、個々の編集
点（カット）に短時間にアクセスすることができること
から、テープ上でそのまま編集を行うリニア編集に比べ
て、編集作業に要する時間を短縮化することが可能とな
る。

【０００３】このようなノンリニア編集機においては、
上記した一連の作業をいかにリアルタイム処理以上の速
度で行うようにすることができるか、あるいは、処理が
複雑でリアルタイム処理ができないようなエフェクト処
理については如何に高速にレンダリング処理を行うこと
ができるか、という点が性能評価上の重要な要素とな
る。ここで、レンダリング処理とは、一般に、幾何学的
なデータ等に基づいて、表示されるべき画像を作り出す
ための画像信号変換を行い、その結果を記録媒体に書き
出す処理をいう。

【０００４】従来のノンリニア編集機においては、スト
リーミング(Streaming)処理と呼ばれる処理方式、ある
いは、フレーム−バイ−フレーム(Frame-by-Frame)処理
と呼ばれる処理方式を用いて内部処理を行うのが一般的
であった。

【０００５】ストリーミング処理方式とは、主にハード
ウェアを利用した編集機において用いられる処理形態で
あり、ディスクから非同期で取り出した素材をバッファ
リングしたうえで、パイプライン化された複数のエフェ
クト処理を相互に同期して行い、出力するようにしたも
のである。なお、ここにいう非同期処理とは、データを
出力する時刻よりも前に予めそのデータを先読みして行
われる処理をいい、同期処理とは、出力されるデータの
流れ（動き）に沿って（同期して）時間どおりに行われ
る処理をいう。パイプライン化とは、それぞれが予め決
められた処理を行うように直列に連結されて構成された
複数の機能ユニット（ステージ）において、各ステージ
が個々の処理を時間的にオーバーラップして、いわゆる
マルチタスク（並列）方式で行うことにより、全体とし
ての処理時間の短縮を図るようにすることをいう。

【０００６】図１７はストリーミング処理方式の概要を
表し、図１８はこの方式において各映像フレームが各ス
テージで処理される際のタイミング関係を表すものであ
る。なお、映像フレームとは、映像データを構成する基
本単位である１枚の静止画像であり、以下の説明では、
単にフレームと記す。図１８において、（Ａ）は時間軸
を示し、通常の映像再生状態における１フレームの長さ
Ｔを基本単位として描いている。（Ｂ）はディスク２０
１からの出力を示し、（Ｃ）はバッファ２０２の出力を
表し、（Ｄ）はエフェクトモジュール２０３の出力を表
し、（Ｅ）はエフェクトモジュール２０４の出力を示
す。（Ｂ）〜（Ｅ）において、Ｆ１〜Ｆ５はそれぞれ１
つのフレームを示している。ここで、ディスク２０１の
動作速度は他のリソース（エフェクトモジュール２０
３，２０４）に比べて低速であるとする。

【０００７】ストリーミング処理方式では、図１７およ
び図１８（Ｂ），（Ｃ）に示したように、ディスク２０
１から先読みした素材を数フレーム分だけバッファ２０
２上に格納してから、これらのフレームをリアルタイム
で（実時間に沿って）順次出力する。そして、図１７お
よび図１８（Ｄ），（Ｅ）に示したように、バッファ２
０２から順次出力される素材（各フレーム）に対し、エ
フェクトモジュール２０３，２０４により、それぞれ対
応するエフェクト処理を行う。ここで、エフェクトモジ
ュール２０３，２０４で行われるエフェクト処理がいず
れもあまり複雑な処理ではなく、リアルタイム性を保持
し得る程度に簡易な（軽い）処理であるならば、外部装
置（モニタやテープ等）への出力データ２０５と同期し
たエフェクト処理が可能である。

【０００８】一方、フレーム−バイ−フレーム処理方式
は、主にソフトウェアを利用した編集機において用いら
れる処理形態であり、いわば１フレーム完結型の処理方
式である。

【０００９】図１９はフレーム−バイ−フレーム処理方
式の概要を表し、図２０はこの方式において各映像フレ
ームが各ステージで処理される際のタイミング関係を表
すものである。図２０において、（Ａ）は時間軸を示
し、通常の映像再生状態における１フレームの長さＴを
基本単位として描いている。（Ｂ）はディスク２１１か
らの出力を示し、（Ｃ）はエフェクトモジュール２１３
の出力を表し、（Ｄ）はエフェクトモジュール２１４の
出力を示し、（Ｅ）はメモリ２１２からの出力を示す。
（Ｂ）〜（Ｅ）において、Ｆ１，Ｆ２はそれぞれ１つの
フレームを示している。ここで、ディスク２１１の動作
速度は他のリソース（エフェクトモジュール２１３，２
１４）に比べて低速であるとする。

【００１０】このフレーム−バイ−フレーム処理方式で
は、図１９および図２０に示したように、１つのフレー
ムに対する一連の処理が完結してから次のフレームに対
する一連の処理が開始するようになっている。具体的に
は、図２０（Ｂ）〜（Ｅ）に示したように、ディスク２
１１から読み出したフレームＦ１に対し、エフェクトモ
ジュール２１３，２１４によりそれぞれエフェクト処理
を施し、その最終結果（処理済みフレーム）を一旦メモ
リ２１５に書き込んだのち、このメモリ２１２からその
処理済みフレームを出力する。この後、次のフレームＦ
２をディスク２１１から読み出し、このフレームＦ２に
対して、上記と同様に、エフェクトモジュール２１３，
２１４によりそれぞれエフェクト処理を施し、その最終
結果である処理済みフレームを一旦メモリ２１２に書き
込んだのち、このメモリ２１２からその処理済みフレー
ムを出力する。以下同様である。

【００１１】

【発明が解決しようとする課題】上記したストリーミン
グ処理においては、ハードウェアによる処理なので、高
速処理可能であり、特に、エフェクト処理の内容があま
り複雑でない限り、ほぼリアルタイム処理に近い処理が
可能である。例えば図１８において、５つのフレームＦ
１〜Ｆ５に対するすべての処理に要する時間をτ１とす
ると、１フレーム当たりの処理所要時間はτ１／５とな
り、処理の短縮化が可能である。

【００１２】しかしながら、その反面、ストリーミング
処理には、次のような問題点があった。すなわち、 （ａ）ハードウェアによって構成されるので、例えば画
像のサイズやアスペクト比(縦横比)等のビデオ信号フォ
ーマットが変更されると、その変更に柔軟に対応するこ
とができない。言い換えると、複数の異なるビデオ信号
フォーマットに対応するためには、個々のビデオ信号フ
ォーマットごとにハードウェアを用意しなければならな
い。 （ｂ）各エフェクトを行うハードウェアモジュールは、
ほぼ固定されたものなので、ある１つのエフェクトが複
数の処理からなるものである場合に、その一部の処理を
利用して他のエフェクト処理を行ったり、あるいは、１
つのエフェクトを構成する複数の処理の間で相互に順序
を入れ換えることなどはできない。 （ｃ）一般に、ストリーミング処理方式はソフトウェア
によるレンダリングとの相性が悪い。その理由は、次の
通りである。すなわち、一般にハードウェア処理は、処
理を要求してから処理が実際に行われるまでに遅れを生
じるが、実際に処理を行っている期間自体はソフトウェ
ア処理の場合に比べて非常に短いという性格を持つ。一
方、ソフトウェア処理は処理が柔軟で精度の高い処理を
行えるのに対して、処理時間がハードウェア処理に比べ
て長くなる性格を持つ。したがって、ストリーミング処
理において、このようなハードウェア処理とソフトウェ
ア処理の混在を許すためには、処理効率を上げるために
ハードウェア処理を数フォーム連続して行う必要があ
る。つまり、ストリーミング処理方式のシステムでは、
ハードウェア処理とソフトウェア処理の双方を意識した
上で、それぞれに適したルーチン(経路)を用意しなけれ
ばならない。したがって、画像を処理または生成するた
めのレンダリングソフトウェアをストリーミング処理方
式の編集装置に組み込むことは容易ではない。

【００１３】一方、フレーム-バイ-フレーム処理におい
ては、上記したように、主にソフトウェアによって実現
されることから、ストリーミング処理方式とは異なり、
ビデオ信号フォーマットの変更や１つのエフェクト内で
の処理ステップの順序変更等に柔軟に対応することが可
能である。

【００１４】しかしながら、フレーム-バイ-フレーム処
理は、図２０に示したように、１つの１フレームに対し
て前段のステージ（エフェクトモジュール）から後段の
ステージへと順番に処理を行っていく、いわゆるシング
ルタスク方式による１フレーム完結型の処理方式であ
る。このため、ディスクから素材を読み出すのに要する
時間ｔ１と、エフェクト処理に要する時間ｔ２，ｔ３
と、メモリからの出力に要する時間ｔ４とを加えたもの
が、１フレームの処理所要時間τ２となる。したがっ
て、フレーム-バイ-フレーム処理方式では、レンダリン
グ処理の速度が極めて遅く、リアルタイム処理が困難で
ある。

【００１５】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、ソフトウェアとハードウェアの混在
が容易で、処理対象の映像データのフォーマットの変更
や処理順序の変更等に柔軟に対応可能であり、かつ、高
速レンダリング処理やリアルタイム処理を可能とする画
像処理装置、映像編集方法、映像編集システム、および
映像編集用プログラムを記録したコンピュータ読み取り
可能な記録媒体を提供することにある。

【００１６】

【課題を解決するための手段】本発明の映像編集装置
は、編集対象の映像素材を蓄積している記録再生装置か
ら映像素材の基本構成単位である映像フレームを取り出
し、これらの取り出した映像フレームに対してフレーム
処理を行うフレーム処理手段と、フレーム処理手段によ
るフレーム処理がすべて終了した映像フレームを複数蓄
積すると共に、これらの複数の映像フレームを順次出力
するフレーム蓄積手段と、フレーム処理手段によるフレ
ーム処理のうちの少なくとも一部分が並列に行われ、か
つ、フレーム蓄積手段からの映像フレームの出力が実時
間に沿って行われるように、フレーム処理手段を制御す
る制御手段とを備えている。

【００１７】ここで、「フレーム処理」とは、個々の映
像フレームに関して行われる様々な処理を意味するもの
で、例えば、映像特殊効果を実現するために映像フレー
ムに施す画像処理や、様々な記憶手段からの映像フレー
ムの読み出しや、それらの記憶手段への映像フレームの
書き込み処理等を含む。また、「実時間に沿って」と
は、映像素材を通常の速度で再生する場合に基準となる
時間軸に沿って、という意味である。また、「非実時間
的に」とは、映像素材を通常の速度で再生する場合に基
準となる時間軸とは無関係に、という意味である。

【００１８】本発明の映像編集方法は、編集対象の映像
素材を蓄積している記録再生装置から映像素材の基本構
成単位である映像フレームを取り出し、これらの取り出
した映像フレームに対してフレーム処理を行うフレーム
処理ステップと、フレーム処理ステップによるフレーム
処理がすべて終了した映像フレームを複数蓄積するフレ
ーム蓄積ステップと、蓄積された複数の映像フレームを
順次出力するフレーム出力ステップとを含み、フレーム
処理ステップにおけるフレーム処理のうちの少なくとも
一部分を並列に行うと共に、フレーム出力ステップにお
ける映像フレームの出力を実時間に沿って行うようにし
たものである。以下の説明では、この方法による編集処
理を「スーパーリアルタイム （SuperRT）処理」とも
呼称することにする。

【００１９】本発明の映像編集システムは、映像素材の
記録および再生が可能な記録再生装置と、記録再生装置
から映像素材の基本構成単位である映像フレームを取り
出し、これらの取り出した映像フレームに対してフレー
ム処理を行うフレーム処理手段と、フレーム処理手段に
よるフレーム処理がすべて終了した映像フレームを複数
蓄積すると共に、これらの複数の映像フレームを順次出
力するフレーム蓄積手段と、フレーム処理手段によるフ
レーム処理のうちの少なくとも一部分が並列に行われ、
かつ、フレーム蓄積手段からの映像フレームの出力が実
時間に沿って行われるように、フレーム処理手段を制御
する制御手段とを備えている。

【００２０】本発明の記録媒体は、編集対象の映像素材
を蓄積している記録再生装置から映像素材の基本構成単
位である映像フレームを取り出し、これらの取り出した
映像フレームに対してフレーム処理を行うフレーム処理
ステップと、フレーム処理ステップによるフレーム処理
がすべて終了した映像フレームを複数蓄積するフレーム
蓄積ステップと、蓄積された複数の映像フレームを順次
出力するフレーム出力ステップとを含み、フレーム処理
ステップにおけるフレーム処理のうちの少なくとも一部
分を並列に行うと共に、フレーム出力ステップにおける
映像フレームの出力を実時間に沿って行う映像編集用プ
ログラム、を記録したものである。

【００２１】本発明の映像編集装置、映像編集方法、映
像編集システム、またはコンピュータ読み取り可能な記
録媒体に記録された映像編集用プログラムでは、記録再
生装置から映像素材の基本構成単位である映像フレーム
がフレーム単位で取り出され、個々の映像フレームに対
してフレーム処理が行われる。少なくともフレーム処理
のうちの一部分は並列に行われる。フレーム処理がすべ
て終了した映像フレームは一旦蓄積される。これらの蓄
積された複数の映像フレームは順次実時間に沿って出力
される。このようにして、記録再生装置を用いて、映像
素材のノンリニア編集が行われる。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２３】まず、図１を参照して、本発明の一実施の
形態に係る映像編集装置およびこの装置を含む映像編集
システムについて説明する。なお、本発明の一実施の形
態に係る映像編集方法（スーパーリアルタイム処理方
法）、および映像編集用プログラムを記録したコンピュ
ータ読み取り可能な記録媒体については、本実施の形態
の映像編集装置および映像編集システムによって具現化
されるので、以下、併せて説明する。

【００２４】［映像編集システムの構成］まず、この映
像編集システムの構成を説明する。この映像編集システ
ムは、ディジタル化された映像素材等に対してノンリニ
ア編集を行う機能を有する編集装置本体部１０と、操作
ユニット２０と、ディスク装置３０と、表示装置４０
と、ディジタルビデオカセットレコーダ（以下、ディジ
タルＶＣＲという。）５０とを含んで構成されている。
編集装置本体部１０は、操作ユニット２０、ディスク装
置３０、表示装置４０およびディジタルＶＣＲ５０に接
続されている。ここで、編集装置本体部１０が本発明に
係る映像編集装置の一具体例に対応する。

【００２５】編集装置本体部１０は、メインコントロー
ラ１１と、操作Ｉ／Ｆ１２と、ディスクＩ／Ｆ１３と、
表示Ｉ／Ｆ１４と、ＶＣＲ・Ｉ／Ｆ１５と、画像処理ユ
ニット１６と、ＬＡＮ・Ｉ／Ｆ１７と、ハードディスク
等の記録媒体を備えた内蔵ディスク装置１８と、ＣＤ−
ＲＯＭ装置１９とを備えている。ここで、主としてメイ
ンコントローラ１１および画像処理ユニット１６が本発
明における「フレーム処理手段」の一具体例に対応す
る。

【００２６】メインコントローラ１１は、この映像編集
システムにおける編集動作を含む全体動作を制御するた
めのものである。操作Ｉ／Ｆ１２は、操作ユニット２０
とメインコントローラ１１との間のインタフェイスを行
うものである。ディスクＩ／Ｆ１３は、ディスク装置３
０とメインコントローラ１１との間のインタフェイスを
行うものであり、データ圧縮部、データ伸長部およびデ
ータフォーマット変換部等（図示せず）を含む。表示Ｉ
／Ｆ１４は、表示装置４０とメインコントローラ１１と
の間のインタフェイスを行うもので、ＧＵＩ(Graphycal
User Interface)を含む。ＶＣＲ・Ｉ／Ｆ１５は、ディ
ジタルＶＣＲ５０とメインコントローラ１１との間のイ
ンタフェイスを行うものである。具体的には、ＶＣＲ・
Ｉ／Ｆ１５は、ディジタルＶＣＲ５０からのシリアルデ
ータをパラレルデータに変換してメインコントローラ１
１に向けて出力すると共に、メインコントローラ１１か
らのパラレルデータをシリアルデータに変換してディジ
タルＶＣＲ５０に向けて出力するようになっている。

【００２７】画像処理ユニット１６は、メモリ１６Ａを
含むハードウェア回路からなる基板モジュールとして構
成されたもので、メモリ１６Ａをワークメモリとして利
用することにより、各種の画像処理を高速で行うことが
可能である。この画像処理には、例えば、輝度変換処
理、ワイプ処理、色変換処理、あるいはフェードイン／
フェードアウト処理等が含まれる。ＬＡＮ・Ｉ／Ｆ１７
は、メインコントローラ１１をＬＡＮ６０と接続するた
めの通信インタフェイスであり、これを介して図示しな
い他の装置（クライアントコンピュータ等）との間でデ
ータのやりとりが可能になっている。ここで、画像処理
ユニット１６が本発明における「画像処理手段」の一具
体例に対応する。

【００２８】ＣＤ−ＲＯＭ装置１８は、大容量の読出専
用記憶媒体であるＣＤ−ＲＯＭ１８Ａを駆動して、そこ
に記録された映像編集用プログラム等のアプリケーショ
ンプログラムを読み出すことが可能なものである。内蔵
ディスク装置１９は、例えばハードディスクを用いて構
成された読み書き可能な記憶装置であり、ここにＣＤ−
ＲＯＭ装置１８によってＣＤ−ＲＯＭ１８Ａから読み出
された映像編集用プログラムがインストールされるよう
になっている。ここにセットアップされた映像編集用プ
ログラムは、適宜読み出されて、少なくともその一部が
メインコントローラ１１のメインメモリ１１２Ａに格納
されるようになっている。ここで、ＣＤ−ＲＯＭ１８Ａ
が本発明における「映像編集用プログラムを記録したコ
ンピュータ読み取り可能な記録媒体」の一具体例に対応
する。

【００２９】ここで、メインコントローラ１１につい
て、より詳細に説明する。

【００３０】メインコントローラ１１は、ＣＰＵ（Cent
ral Processing Unit）１１１と、ＲＡＭ(Random Acces
s Memory)からなるメモリユニット１１２と、ＲＯＭ（R
eadOnly Memory）１１３と、入出力バッファ１１５とを
備えている。これらは内部バス１１８によって相互に接
続されている。

【００３１】ＣＰＵ１１１は、本システムの編集動作制
御の中心を担うもので、ワークメモリ１１２Ｂをワーキ
ングエリアとして、メインメモリ１１２Ａに格納された
映像編集用プログラムを実行することによって、映像編
集制御を行うようになっている。ここで、ＣＰＵ１１１
が本発明における「制御手段」の一具体例に対応する。

【００３２】メモリユニット１１２は、映像編集用プロ
グラム等の制御プログラムが格納されるメインメモリ１
１２Ａと、編集動作において作業領域として用いられる
ワークメモリ１１２Ｂとを有する。ワークメモリ１１２
Ｂは、画像処理ユニット１６の内蔵するメモリ１６Ａと
は物理的には別個のものであるが、実際の画像処理に際
しては、ワークメモリ１１２Ｂとメモリ１６Ａとが１つ
のメモリアドレス空間を構成して、あたかも単一のワー
クメモリであるかのように機能するようになっている。
ここで、ワークメモリ１１２Ｂおよびメモリ１６Ａによ
って構成されるメモリアドレス空間が本発明における
「第１の記憶手段」および「第２の記憶手段」に対応す
る。

【００３３】ＲＯＭ１１３は、ＢＩＯＳ(Basic Input O
utput System)等の基本プログラムや所定のシステムパ
ラメータ等を格納しており、これらが装置起動時に参照
されるようになっている。

【００３４】入出力バッファ１１５は、内部バス１１８
に接続されると共に、ディスクＩ／Ｆ１３、表示Ｉ／Ｆ
１４およびＶＣＲ・Ｉ／Ｆ１５に接続されている。この
入出力バッファ１１５は、ＣＰＵ１１１の制御の下に行
われる編集処理によって生成された映像データを、複数
フレーム分蓄え、これを表示Ｉ／Ｆ１４に向けて出力し
するようになっている。入出力バッファ１１５はまた、
ディスクＩ／Ｆ１３とＶＣＲ・Ｉ／Ｆ１５との間でのデ
ータの受け渡しにも利用されるようになっている。ここ
で、入出力バッファ１１５が本発明における「フレーム
蓄積手段」の一具体例に対応する。

【００３５】次に、操作ユニット２０、ディスク装置３
０、表示装置４０およびディジタルＶＣＲ５０について
説明する。

【００３６】操作ユニット２０は、トラックボールパネ
ル、キーボードおよびジョグ／シャトルパネル、あるい
はオーディオフェーダーパネル等の操作ツールを備えて
おり、編集装置本体部１０の操作Ｉ／Ｆ１２に接続され
ている。ユーザは、表示装置４０を見ながらこれらの操
作ツールを使用して編集装置本体部１０に編集指示等を
入力することにより、ディスク装置３０に蓄積された映
像素材に対して各種の編集操作を行うことができるよう
になっている。ここで、操作ユニット２０が本発明にお
ける「入力手段」の一具体例に対応する。

【００３７】ディスク装置３０は、例えばハードディス
クを記憶媒体として構成されたランダムアクセスによる
読み書きが可能な記憶装置であり、例えばファイバチャ
ネル（Fibre Channel)等の高速伝送路を介して編集装置
本体部１０のディスクＩ／Ｆ１３に接続されている。デ
ィスクＩ／Ｆ１３は、上記したように、ディスク装置３
０に書き込む映像データの圧縮符号化処理やディスク装
置３０から読み出された映像データの復号化（伸張）処
理、あるいは映像データのフォーマット変換等を行うた
めのものである。ディスク装置３０は、圧縮された映像
データやオーディオデータを蓄積すると共に、これらの
蓄積されたデータを映像フレーム単位で読み出して出力
することができるようになっている。ここで、ディスク
装置３０が本発明における「記録再生装置」に対応す
る。

【００３８】表示装置４０は、ＣＲＴ（陰極線管）やＬ
ＣＤ（液晶デバイス）等のような表示デバイスであり、
編集装置本体部１０が有するＧＵＩ機能による表示が可
能になっている。この表示装置４０は、編集装置本体部
１０の表示Ｉ／Ｆ１４に接続されている。

【００３９】ディジタルＶＣＲ５０は、図示しないディ
ジタルビデオカセットテープ（以下、ビデオテープとい
う。）に対する映像素材等の記録およびそこに記録され
た映像素材等の再生を行うためのものである。このディ
ジタルＶＣＲ５０は、編集装置本体部１０のＶＣＲ・Ｉ
／Ｆ１５に接続されている。

【００４０】なお、図１に示した映像編集システムで
は、オーディオ信号の編集に関する部分の図示および説
明を省略している。

【００４１】次に、図２を参照して、この映像編集シス
テムにおいて用いられる映像編集用プログラムの主要な
構成について説明する。

【００４２】図２は、内蔵ディスク装置１９にセットア
ップされた映像編集用プログラムの要部構成および各部
の処理概要を表すものである。本プログラムは、クライ
アントオブジェクト１と、フレーム−バイ−フレームコ
ントロールオブジェクト（以下ＦＢＦコントロールオブ
ジェクトという。）２と、ディスク読み出しオブジェク
ト５Ａと、ハード用画像変換オブジェクト５Ｂと、ソフ
ト用画像変換オブジェクト５Ｃ，５Ｄと、出力モジュー
ル７とを含んで構成されている。このプログラムはま
た、図２には図示していないが（後述する図１５および
図１６に図示）、メディア抽象化オブジェクト４Ａ，４
Ｂ，４Ｃと、エフェクト抽象化オブジェクト４Ｅ，４Ｆ
とを含んでいる。

【００４３】ここで、「オブジェクト」とは、データ
と、それを操作するメソッドと呼ばれる関数とがひとま
とまりとなって独立したものである。各オブジェクト
は、相互にメッセージをやり取りすることで協調動作す
るようになっている。このようなオブジェクトを用いた
プログラミングにより、プログラムのより進んだモジュ
ール化と、モジュールの再利用性の向上とが可能になっ
ている。

【００４４】以下、各オブジェクトについて説明する。
ここでは、各オブジェクトの説明の前に、その説明およ
び理解を容易にするために、まず、(i) 映像編集内容の
具体例を提示し、しかるのち、(ii)この具体例に沿って
各オブジェクトの具体的機能の説明を行うものとする。

【００４５】(i) 映像編集内容の具体例 本具体例は、図３に示したように、ある映像素材（ソー
スＳ１とする。）に対して第１のエフェクト処理である
輝度変換エフェクトＥ11を施すと共に、他の２つの映像
素材（ソースＳ２，Ｓ３とする。）に対して第２のエフ
ェクト処理であるワイプエフェクトＥ12を行い、このワ
イプエフェクトＥ12の結果得られた映像と輝度変換エフ
ェクトＥ11の結果得られた映像とを第３のエフェクト処
理であるレイヤリング処理ＥＳＬにより合成するように
したものである。ソースＳ１は、例えば合成後において
前景となる映像素材であり、ソースＳ２，Ｓ３は、例え
ば図４（Ａ），（Ｂ）に示したように、前景の上にオー
バーラップして配置されるような映像素材である。な
お、ワイプエフェクトとは、例えば図４（Ｃ）に示した
ように、当初において画面全体を占有していたソースＳ
２の映像「Ｙ」の上を左方向からソースＳ３の映像
「Ｘ」が覆っていき、最後は、画面全体がソースＳ３の
映像「Ｘ」によって占有されるようにする処理である。

【００４６】図３に示した映像編集を行うための指示
は、ユーザによって、操作ユニット２０（図１）を通じ
て入力され、編集装置本体部１０のワークメモリ１１２
Ｂに書き込まれると共に、表示装置４０の図示しない編
集画面のタイムラインウィンドウに、例えば図１０に示
したような編集チャートとして表示されるようになって
いる。ここで、この編集チャートの内容が本発明におけ
る「編集スケジュール」の一具体例に対応する。

【００４７】図１０において、横軸方向は時間を表し、
縦軸方向は各エフェクト期間およびソースデータ期間の
相互の関係を表す。ソースＳ１からのソースデータＳＤ
１は、その全期間において輝度変換エフェクトＥ11およ
びレイヤリング処理ＥＳＬとオーバーラップしている。
また、ソースＳ２からのソースデータＳＤ２の後半期間
は、ソースＳ３からのソースデータＳＤ３の前半期間と
オーバーラップしており、このオーバーラップ期間がワ
イプエフェクトＥ12の期間となっている。さらに、ソー
スデータＳＤ２の途中からソースデータＳＤ３の終端の
少し手前までの期間は、ソースデータＳＤ１、輝度変換
エフェクトＥ11およびレイヤリング処理ＥＳＬの３者と
オーバーラップしており、そのオーバーラップ期間の中
には、ソースデータＳＤ２とソースデータＳＤ３とのオ
ーバーラップ期間（ワイプエフェクトＥ12の期間）が含
まれている。

【００４８】(ii)各オブジェクトの具体的機能 次に、図２を参照して、各オブジェクトの機能について
具体例（図３）を用いて説明する。なお、図２におい
て、ステップＳ１０１はユーザによって行われる処理で
あり、ステップＳ１０２〜Ｓ１１０は、各オブジェクト
において行われる処理である。

【００４９】（１）クライアントオブジェクト１ このオブジェクトは、ユーザによって処理開始指示が入
力された場合に（ステップＳ１０１）、ＦＢＦコントロ
ールオブジェクト２に対して１映像フレーム分ずつ処理
を要求する（ステップＳ１０２）、という機能を有する
オブジェクトである。具体的には、クライアントオブジ
ェクト１は、図１０に示した編集チャートを時間軸に沿
って左から右の方向（時間の流れの方向）へ向かって順
次スライス（以下、タイムスライスという。）してい
き、例えば図１２〜図１６に示したような依存関係グラ
フＧ１〜Ｇ５を生成する。クライアントオブジェクト１
はさらに、これらの依存関係グラフＧ１〜Ｇ５と所定の
パラメータ（変数）とを含む処理要求メッセージ（以
下、特に断らない限り、単にメッセージという。）をＦ
ＢＦコントロールオブジェクト２に送る。このとき、メ
ッセージには、最終的な処理が完了したフレームを蓄積
するための入出力バッファ１１５上のアドレス（以下、
単にバッファアドレスという。）をも含めておく。タイ
ムスライスの間隔は、再生時の１フレームに相当する時
間間隔（例えば、１／３０秒間隔）である。但し、内部
的には、この時間間隔よりも短い間隔でタイムスライス
処理が行われる。時間軸上における各タイムスライスの
位置は、タイムコードＴＣで表される。図１０では、代
表的なタイムスライス位置としてのタイムコードＴＣ１
〜ＴＣ５におけるスライスの様子を示している。ここ
で、依存関係グラフが本発明における「処理管理デー
タ」の一具体例に対応する。

【００５０】ここで、図１２〜図１６に示した依存関係
グラフＧ１〜Ｇ５の意義についてそれぞれ説明する。

【００５１】図１２は、図１０のタイムコードＴＣ１の
位置におけるスライスにより生成された依存関係グラフ
Ｇ１を表すものである。タイムコードＴＣ１は、ソース
データＳＤ２のみが存在する期間内に位置している。し
たがって、このグラフには、ソースＳ２からソースデー
タＳＤ２を読み出すという処理のみが含まれる。

【００５２】図１３は、図１０のタイムコードＴＣ２の
位置におけるスライスにより生成された依存関係グラフ
Ｇ２を表すものである。タイムコードＴＣ２は、ソース
データＳＤ１と、ソースデータＳＤ２と、輝度変換エフ
ェクトＥ11と、レイヤリング処理ＥＳＬとがオーバーラ
ップしている期間内に位置している。したがって、この
グラフには、ソースＳ１，Ｓ２からそれぞれソースデー
タＳＤ１，ＳＤ２を読み出すという処理と、ソースデー
タＳＤ１に対して輝度変換エフェクトＥ11を施すという
処理と、この輝度変換エフェクトＥ11の結果とソースデ
ータＳＤ２とに対してレイヤリング処理ＥＳＬを施すと
いう処理とが含まれる。

【００５３】図１４は、図１０のタイムコードＴＣ３の
位置におけるスライスにより生成された依存関係グラフ
Ｇ３を表すものである。タイムコードＴＣ３は、ソース
データＳＤ１と、ソースデータＳＤ２と、ソースデータ
ＳＤ３と、輝度変換エフェクトＥ11と、ワイプエフェク
トＥ12と、レイヤリング処理ＥＳＬとがすべてオーバー
ラップしている期間内に位置している。したがって、こ
のグラフには、ソースＳ１，Ｓ２，Ｓ３からそれぞれソ
ースデータＳＤ１，ＳＤ２，ＳＤ３を読み出すという処
理と、ソースデータＳＤ１に対して輝度変換エフェクト
Ｅ11を施すという処理と、ソースデータＳＤ２およびソ
ースデータＳＤ３に対してワイプエフェクトＥ12を施す
という処理と、輝度変換エフェクトＥ11の結果とワイプ
エフェクトＥ12の結果とに対してレイヤリング処理ＥＳ
Ｌを施すという処理とが含まれる。

【００５４】図１５は、図１０のタイムコードＴＣ４の
位置におけるスライスにより生成された依存関係グラフ
Ｇ４を表すものである。タイムコードＴＣ４は、ソース
データＳＤ１と、ソースデータＳＤ３と、輝度変換エフ
ェクトＥ11と、レイヤリング処理ＥＳＬとがオーバーラ
ップしている期間内に位置している。したがって、この
グラフには、ソースＳ１，Ｓ３からそれぞれソースデー
タＳＤ１，ＳＤ３を読み出すという処理と、ソースデー
タＳＤ１に対して輝度変換エフェクトＥ11を施すという
処理と、輝度変換エフェクトＥ11の結果とソースデータ
ＳＤ３とに対してレイヤリング処理ＥＳＬを施すという
処理とが含まれる。

【００５５】図１６は、図１０のタイムコードＴＣ５の
位置におけるスライスにより生成された依存関係グラフ
Ｇ５を表すものである。タイムコードＴＣ５は、ソース
データＳＤ３のみが存在する期間内に位置している。し
たがって、このグラフには、ソースＳ３からソースデー
タＳＤ３を読み出すという処理のみが含まれる。

【００５６】（２）ＦＢＦコントロールオブジェクト２ このオブジェクトは、クライアントオブジェクト１から
受け取った依存関係グラフをキューイング（入力順に蓄
積すること）すると共に（ステップＳ１０３）、キュー
イングされている依存関係グラフを分析して実行すべき
処理を決定する（ステップＳ１０４）、という機能を有
する。具体的には、ＦＢＦコントロールオブジェクト２
は、クライアントオブジェクト１から受け取った依存関
係グラフＧ１〜Ｇ５等を、例えば図１１に示したような
実行管理表（Rendering Table)ＲＴに順次登録してい
く。次に、ＦＢＦコントロールオブジェクト２は、実行
管理表ＲＴに登録された依存関係グラフＧ１〜Ｇ５等の
中を探索し、依存関係を満足する（すなわち、時間的に
も順序的にも実行可能な）１つの処理を選択し、その処
理の実行を要求するメッセージを１つのスレッド(Threa
d)に渡す。ここで、「スレッド」とは、プロセスの実行
単位（または実行経路）を表わすものである。「オブジ
ェクト」が実行の客体（対象）であるのに対して、「ス
レッド」は実行の主体となるものである。以下、「スレ
ッド」について簡単に説明しておく。

【００５７】一般に複数のプログラムが同時に実行可能
なマルチタスクシステムでは、それらの各プログラム
に、見掛け上、独立したメモリ空間やＩ／Ｏ空間等を割
り当てることで、それぞれのプログラムに対し、あたか
もそれだけが動いているように見せ掛けるようになって
いる。これにより各プログラムは、同時に実行される他
のプログラムとの相互作用を意識しなくてすむ。マルチ
タスクシステムでは、このようにメモリやディスク等の
リソース（資源）を独立して所有するプログラムの実行
単位をプロセス（過程）と呼んでいる。しかしながら、
マルチタスクシステムにおいて、あるプロセスから別の
プロセスに実行を切り替えるには、プロセスの独立性が
保証されるようにするために、現在のＣＰＵレジスタの
内容をすべて保存したり、これから制御を切り替えるプ
ロセスのためのレジスタ値をロードする処理を行わなけ
ればならず、負荷が非常に大きい。そこで、このような
負荷の大きなプロセスの切り替え処理を必要とせず、同
一プロセス内でのマルチタスク処理を可能にしたものが
マルチスレッドシステムであり、この場合のタスクの実
行の単位（または実行経路）をスレッドと呼ぶ。このマ
ルチスレッドシステムでは、実行単位はすべてスレッド
で管理され、プロセスが生成されると、最低でも１つの
スレッドが同時に生成される。同一プロセス内のスレッ
ド間では、処理の切り替えにかかる負荷が小さく、また
メモリやＩ／Ｏリソース等を共有することから、負荷の
大きなプロセス間通信を伴わずにスレッド間での通信を
行うことができるというメリットがある。 （３）ディスク読み出しオブジェクト５Ａ このオブジェクトは、ＦＢＦコントロールオブジェクト
２からの要求に応じて、ハードウェアとしてのディスク
装置３０から映像素材をフレーム単位で読み出すディス
クマネージャとして機能する。具体的には、ディスク読
み出しオブジェクト５Ａは、ＦＢＦコントロールオブジ
ェクト２からマルチスレッド方式で渡されたフレーム単
位の読み出し要求メッセージをキューイングして蓄えて
おく（ステップＳ１０５）。そして、ディスク読み出し
オブジェクト５Ａは、ディスク装置３０に対する実際の
アクセス時には、キューイングされた複数のメッセージ
がそれぞれ指し示す複数の処理対象フレームの中から、
映像として連続しているフレームを探索し、それらの連
続しているフレームをディスク装置３０からまとめて読
み出してワークメモリ１１２Ｂ（図１）における指定さ
れたアドレス（以下、単にメモリアドレスという。）に
書き込むという処理を行うようになっている（ステップ
Ｓ１０６）。このように、キューイング後の連続フレー
ム読み出しという方法をとるのは、一般に他のリソース
よりも低速なディスク装置３０のパフォーマンスを最速
に保つためである。

【００５８】（４）ハード用画像変換オブジェクト５Ｂ このオブジェクトは、ＦＢＦコントロールオブジェクト
２からの要求に応じて、ハードウェアリソース（ここで
は、画像処理ユニット１６）を利用して、指定されたフ
レームに対して所定のエフェクト処理（ハードエフェク
ト処理）を行う（ステップＳ１０９）、という機能を有
する。具体的には、１つのフレームに対応するメモリア
ドレスを指定して、この指定されたメモリアドレスのフ
レームに所定の画像処理（ここでは、輝度変換エフェク
トＥ11）を行い、その処理結果を、指定されたメモリア
ドレスまたはバッファアドレスに書き込むという処理を
行う。このようなメモリから読み込んだデータを処理し
て再びメモリに返すという処理方式は、ソフトウェアに
よる画像処理において一般に用いられているものであ
り、この意味で、ハードウェア処理をソフトウェア処理
と同等に扱うことが可能になるのである。

【００５９】（５）ソフト用画像変換オブジェクト５
Ｃ，５Ｄ これらのオブジェクトは、ＦＢＦコントロールオブジェ
クト２からの要求に応じ、ソフトウェアを用いて、指定
されたフレームに対する所定のエフェクト処理（ソフト
エフェクト処理）を行う（ステップＳ１１０）、という
機能を有する。具体的には、指定されたメモリアドレス
から１フレームを読み出して、このフレームにソフトウ
ェア的に所定の画像処理（ここでは、ワイプエフェクト
Ｅ12やレイヤリング処理ＥＳＬ）を行い、その処理結果
を再び、指定されたメモリアドレスまたはバッファアド
レスに書き込むという処理を行う。

【００６０】（６）出力モジュール７ このモジュールは、ハード用画像変換オブジェクト５Ｂ
やソフト用画像変換オブジェクト５Ｃ，５Ｄにおいて非
同期並列的に処理された結果をメインコントローラ１１
の入出力バッファ１１５（図１）にフレーム単位で蓄え
ると共に（ステップＳ１０７）、これらのフレームをリ
アルタイムで順序正しく出力する（ステップＳ１０
８）、という機能を有する。具体的には、出力モジュー
ル７は、ハード用画像変換オブジェクト５Ｂやソフト用
画像変換オブジェクト５Ｃ，５Ｄにおけるエフェクト処
理が完了するごとに、これらのオブジェクトから、エフ
ェクト処理の完了したフレームが格納されているバッフ
ァアドレスとそのフレームに対応するタイムコードＴＣ
とをまとめてメッセージとして受け取り、このメッセー
ジをキューイングしておく。こうして受け取った複数の
メッセージの並びは、クライアントオブジェクト１が当
初要求した順番どおりではなく、順不同になっている。
ハード用画像変換オブジェクト５Ｂやソフト用画像変換
オブジェクト５Ｃ，５Ｄにおいては、互いに非同期並列
的に処理が行われており、どのような順番で処理が完了
するか不定だからである。出力モジュール７はさらに、
一定数のフレームが入出力バッファ１１５に溜まった時
点で、出力クロック（図示せず）に同期して、タイムコ
ードＴＣが示す順に入出力バッファ１１５からフレーム
を順次出力させる。これにより、編集処理の施された映
像が順序正しく出力されることになる。

【００６１】（７）メディア抽象化オブジェクト４Ａ，
４Ｂ，４Ｃ これらのオブジェクトは、図２には図示されていない
が、実際には、後述する図８に示したように、ＦＢＦコ
ントロールオブジェクト２とディスク読み出しオブジェ
クト５Ａとの間に介在し、実体として存在する記録媒体
としてのディスク装置３０を抽象化する機能を有する。

【００６２】ここにいう抽象化とは、具体的に存在する
様々なタイプのリソースを抽象的なものとして統一的に
表現し、外部からは、それがあたかも１個の共通化され
たものとして機能するものであるかのように取り扱うこ
とができるようにすることを意味する。例えば、ディス
ク装置３０からソースＳ１の第Ｎフレームを取り出す場
合を想定すると、ＦＢＦコントロールオブジェクト２
は、メディア抽象化オブジェクト４Ａに対し、ソースＳ
１を識別するためのソース識別子（個々のソースについ
て予め定められたユニークなＩＤ）と、タイムコードＴ
Ｃと、取り出したフレームを格納するためのメモリアド
レスとを渡すだけでよく、目的とするフレームがディス
ク上のどこに記録されているかを示すフレームアドレス
（具体的には、そのフレームがソースＳ１の第Ｎ番目の
フレームであること）を知っている必要はない。メディ
ア抽象化オブジェクト４Ａは、ＦＢＦコントロールオブ
ジェクト２から、ソース識別子、タイムコードＴＣおよ
びメモリアドレスを受け取ると、ディスク装置３０上の
フレームアドレス（ここでは、“Ｎ”）および取り出し
たフレームを格納すべきメモリアドレスをメッセージに
含めてディスク読み出しオブジェクト５Ａに渡す、とい
う機能を有する。すなわち、ＦＢＦコントロールオブジ
ェクト２は、リソースがどのようなものであるかを意識
することなく、そのリソースにアクセスすることができ
るようになる。なお、本具体例では、ソースＳ１、ソー
スＳ２、およびソースＳ３にそれぞれ対応して３つのメ
ディア抽象化オブジェクト４Ａ，４Ｂ，４Ｃが用意され
ている。

【００６３】（８）エフェクト抽象化オブジェクト４
Ｄ，４Ｅ，４Ｆ エフェクト抽象化オブジェクト４Ｄ，４Ｅ，４Ｆは、図
２には図示されていないが、実際には、後述する図９に
示したように、ＦＢＦコントロールオブジェクト２と、
ハード用画像変換オブジェクト５Ｂおよびソフト用画像
変換オブジェクト５Ｃ，５Ｄとの間にそれぞれ介在し、
ハードウェアによる画像処理手段としての画像処理ユニ
ット１６や、ソフトウェアによる画像処理手段としての
画像処理プログラム部分を抽象化する機能を有する。こ
こにいう抽象化の概念的意義は、上記（７）の場合と同
様である。なお、上記した画像処理プログラムは映像編
集用プログラムに含まれているものである。

【００６４】ＦＢＦコントロールオブジェクト２は、エ
フェクト抽象化オブジェクト４Ｄ，４Ｅ，４Ｆの各々に
対し、エフェクトを特定するためのエフェクト識別子
（個々のエフェクトについてユニークに定められたＩ
Ｄ）と、タイムコードＴＣと、処理対象のフレームが格
納されているメモリアドレスとを渡すだけでよく、目的
とするエフェクトが具体的にどのような画像処理手段に
よって行われるべきかを指定する必要はない。エフェク
ト抽象化オブジェクト４Ｄ，４Ｅ，４Ｆは、それぞれ、
エフェクト識別子と、各エフェクト処理の実行を管理す
る手段としてのハード用画像変換オブジェクト５Ｂおよ
びソフト用画像変換オブジェクト５Ｃ，５Ｄとを対応付
けたイフェクタ対応テーブル（図示せず）を保有してい
る。そして、エフェクト抽象化オブジェクト４Ｄ，４
Ｅ，４Ｆは、それぞれ、ＦＢＦコントロールオブジェク
ト２から受け取ったエフェクト識別子に基づいて、上記
イフェクタ対応テーブルから、実際に利用する画像変換
オブジェクト（ここでは、５Ｂ，５Ｃ，５Ｄのいずれ
か）を選択し、その選択した画像変換オブジェクトに対
し、実際のエフェクト処理に必要なパラメータを含むメ
ッセージを渡す。このパラメータには、処理対象のフレ
ームが格納されているメモリアドレスや、処理の終了し
たフレームを格納するメモリアドレス等が含まれる。こ
のように、イフェクト抽象化オブジェクト４Ｄ，４Ｅ，
４Ｆは、イフェクタというリソースを選択するための、
いわばセレクタとして機能するので、ＦＢＦコントロー
ルオブジェクト２は、リソースのタイプを意識すること
なく、必要なリソースを利用することができるようにな
る。なお、本具体例では、輝度変換エフェクトＥ11用と
してハード用画像変換オブジェクト５Ｂが用意され、ワ
イプエフェクトＥ12用およびレイヤリング処理ＥＳＬ用
として、それぞれ、ソフト用画像変換オブジェクト５
Ｃ，５Ｄが用意される。

【００６５】［映像編集システムの動作および作用］次
に、以上のような構成の映像編集システムの動作を説明
する。

【００６６】まず、映像編集システム全体の基本動作を
説明する。

【００６７】ディジタルＶＣＲ５０には、例えば図示し
ないビデオカメラ等によって撮影された映像素材が記録
されたビデオテープ（図示せず）、あるいは、例えばコ
ンピュータグラフィクスによって作成された映像素材が
記録されたビデオテープ（図示せず）等がセットされ
る。ディジタルＶＣＲ５０は、これらのビデオテープの
映像素材をデータストリームとして読み出し、編集装置
本体部１０に送る。編集装置本体部１０のメインコント
ローラ１１は、ディジタルＶＣＲ５０からＶＣＲ・Ｉ／
Ｆ１５を介して送られてきた映像データを、および入出
力バッファ１１５およびディスクＩ／Ｆ１３を介して出
力し、一旦、ディスク装置３０に格納する。ディスク装
置３０に格納された映像データは、編集装置本体部１０
によって映像フレーム単位で逐次読み出され、所望の内
容のノンリニア編集が行われる。その編集結果は、入出
力バッファ１１５に一旦蓄積されたのち、表示Ｉ／Ｆ１
４を介して表示装置４０に出力されて表示される。な
お、入出力バッファ１１５に一旦蓄積された編集結果
を、再び、ＶＣＲ・Ｉ／Ｆ１５を介してディジタルＶＣ
Ｒ５０に向けて出力し、他のビデオテープに記録するこ
とも可能である。あるいは、入出力バッファ１１５に一
旦蓄積された編集結果を、ディスクＩ／Ｆ１３を介して
ディスク装置３０に向けて出力して、記録することも可
能である。これらの出力先の選択制御はＣＰＵ１１１に
よって行われる。

【００６８】次に、図５〜図６を参照して、この映像編
集システムの編集処理に関する動作を詳細に説明する。

【００６９】図５は、図１の映像編集システムによるス
ーパーリアルタイム処理を映像フレームの流れに着目し
て概念的に（一般化して）表すものである。この図で
は、ハードウェアによる処理部分とソフトウェアによる
処理部分とを区別せずに描いている。また、図１に示し
たハードウェア部分と同一の要素には同一の符号を付し
ている。

【００７０】この図に示したように、本実施の形態で
は、ディスク装置３０から取り出した映像素材に対して
フレーム単位で様々な処理が行われる。ある段階の処理
と次の段階の処理との間には常にワークメモリ１１２Ｂ
が介在し、また、１つの段階の処理においては、複数の
処理が並列的に行われる。より具体的には、次の通りで
ある。

【００７１】まず、ディスク装置３０に格納された編集
対象の映像素材（ソースＳ１〜Ｓｉ）のソースデータＳ
Ｄ１〜ＳＤｉ（ｉは正の整数）は、それぞれ、フレーム
単位で読み出されて、ワークメモリ１１２Ｂの各指定領
域に一旦蓄えられる。このとき、各ソースごとに、連続
フレームがまとめて読み出される。ワークメモリ１１２
Ｂに一旦蓄えられたソースデータＳＤ１〜ＳＤｉは、適
宜読み出されて、第１段階のエフェクト処理ＥＳ１へと
進む。エフェクト処理ＥＳ１の段階では、複数のエフェ
クト処理Ｅ11〜Ｅ1j（ｊは正の整数）が並列的に行われ
る。

【００７２】エフェクト処理ＥＳ１の段階でそれぞれ処
理されたフレームは、ワークメモリ１１２Ｂの他の各指
定領域に一旦蓄えられる。ワークメモリ１１２Ｂに一旦
蓄えられたフレームは適宜読み出されて、次のエフェク
ト処理ＥＳ２の段階へと送られる。エフェクト処理ＥＳ
２の段階では、複数のエフェクト処理Ｅ21〜Ｅ2k（ｋは
正の整数）が並列的に行われる。エフェクト処理ＥＳ２
の段階でそれぞれ処理されたフレームは、ワークメモリ
１１２Ｂのさらに他の各指定領域に一旦蓄えられる。以
下同様にして、ある段階のエフェクト処理が終了するご
とに、その処理結果が一旦ワークメモリ１１２Ｂに蓄積
され、次の段階のエフェクト処理へと移行する。なお、
図５において、エフェクト処理については、エフェクト
処理ＥＳ１，ＥＳ２のみを図示し、他のエフェクト処理
の図示を省略している。

【００７３】エフェクト処理のすべて終了したフレーム
には、レイヤリング処理ＥＳＬが施されて編集済のフレ
ームＦ１〜Ｆｐが生成され、入出力バッファ１１５に順
次蓄えられる。但し、編集内容によっては、レイヤリン
グ処理ＥＳＬが行われない場合もある。入出力バッファ
１１５に蓄えられた複数のフレームは、図示しない出力
クロックに同期して、リアルタイムで（実時間に沿っ
て）出力される。出力映像Ｄは、例えば表示Ｉ／Ｆ１４
を介して表示装置４０（図１）に送られる。

【００７４】図６は、上記具体例（図３）に係る編集処
理を、映像フレームの流れに着目して具体的に表すもの
である。なお、この図は、図５の処理を、上記具体例に
おける図１４に示した依存関係グラフの内容に対応させ
て書き直したものである。この図においても、ハードウ
ェアによる処理部分とソフトウェアによる処理部分とを
区別せずに描いており、また、図５に示した部分と同一
の要素には同一の符号を付している。

【００７５】この具体例では、ワークメモリ１１２Ｂの
メモリ領域中に５つのメモリＭ１〜Ｍ５を確保すると共
に、これらのメモリを用いて、図５に示したエフェクト
処理ＥＳ１におけるエフェクトＥ11としてのハードウェ
アによる輝度変換エフェクト処理と、エフェクトＥ12と
してのソフトウェアによるワイプエフェクト処理とを行
い、それぞれの処理結果を合成するようにしている。こ
の具体例では、図５におけるエフェクト処理ＥＳ２等の
処理は行わず、エフェクト処理ＥＳ１およびレイヤリン
グ処理ＥＳＬのみを行うようにしている。具体的には、
次の通りである。

【００７６】まず、ディスク装置３０に格納された編集
対象のソースデータＳＤ１〜ＳＤ３は、それぞれ、フレ
ーム単位で読み出されて、ワークメモリ１１２Ｂのメモ
リＭ１〜Ｍ３に一旦蓄えられる。このとき、各ソースご
とに、連続する複数のフレームがまとめて読み出され
る。メモリＭ１〜Ｍ３にそれぞれ蓄えられたソースデー
タＳＤ１〜ＳＤ３は、準備が整い次第、適宜に読み出さ
れて、エフェクト処理ＥＳ１の段階へと進む。このエフ
ェクト処理ＥＳ１の段階では、２つのエフェクト処理Ｅ
11，Ｅ12が並列的に行われる。このとき、処理されるフ
レームの順序は、必ずしも元の映像中のフレーム順序で
はなく、実行可能なフレームから先に行われる。

【００７７】エフェクト処理Ｅ11は輝度変換エフェクト
であり、これにより、ソースデータＳＤ１（ソースＳ１
のフレーム）に対して画像の明るさを変更する処理が行
われる。エフェクト処理Ｅ12はワイプエフェクトであ
り、これにより、ソースデータＳＤ２（ソースＳ２のフ
レーム）からソースデータＳＤ３（ソースＳ３のフレー
ム）へのワイプによるフレーム切り換えが行われる。こ
のワイプ処理は、例えば次のようにして行われる。ま
ず、図４に示したように、ソースデータＳＤ３（図４
（Ｂ））の、画像部分“Ｙ”を含むフレームの全体を入
力として指定すると共に、出力画像Ｄ（図４（Ｃ））の
フレーム全体７４を出力先として指定する。次に、ソー
スデータＳＤ２（図４（Ｂ））の画像部分“Ｘ”を含む
枠線部７１を入力として指定すると共に、出力画像Ｄ
（図４（Ｃ））の枠線部７３を出力先として指定する。
これにより、ソースＳ２の一部がソースＳ３の画像によ
って置換される。そして、この処理結果（処理済みフレ
ーム）をメモリＭ５に格納する。以上の処理を１フレー
ムずつ矢印７５（図４（Ｃ））の方向に順次ずらしなが
ら行うことによりワイプ処理が実現される。

【００７８】エフェクト処理Ｅ11により処理されたフレ
ームは、ワークメモリ１１２ＢのメモリＭ４に一旦蓄え
られ、エフェクト処理Ｅ12により処理されたフレーム
は、上記したように、ワークメモリ１１２ＢのメモリＭ
５に一旦蓄えられる。これらのメモリＭ４，Ｍ５に一旦
蓄えられたフレームは、その後、適宜読み出されて、両
フレームを重ね合わせて合成するレイヤリング処理ＥＳ
Ｌが施される。こうして、編集済のフレームＦ１〜Ｆｐ
が順序不同に生成され、入出力バッファ１１５に蓄えら
れる。入出力バッファ１１５に蓄えられた複数のフレー
ムは、順序が並べ替えられ、図示しない出力クロックに
同期して、リアルタイム（実時間に沿って）かつ正しい
フレーム順序で出力される。出力映像Ｄは、例えば表示
Ｉ／Ｆ１４を介して表示装置４０（図１）に送られる。

【００７９】次に、図７〜図９を参照して、図３および
図６に具体例として示した編集処理を実現するための映
像編集用プログラムの処理内容を詳細に説明する。ここ
で、図７〜図９は、図２に示した処理フローを、上記具
体例に対応付けて詳細に表したものである。図８および
図９は、図７に示した処理に続く処理を表すものであ
る。

【００８０】最初に、図７を参照して説明する。本具体
例では、クライアントオブジェクト１は、出力モジュー
ル７に対し、最終的に処理の終了したフレームを一旦蓄
積するための入出力バッファ１１５のアドレスを要求す
るバッファアドレスリクエストＢＲＱを送る。このバッ
ファアドレスリクエストＢＲＱを受けた出力モジュール
７は、クライアントオブジェクト１に対し、適宜のバッ
ファアドレスＢＡＤを返す。

【００８１】次に、クライアントオブジェクト１は、例
えば図１０に示したような編集チャートを、タイムコー
ドＴＣに従って、時間軸の左から右の方向（時間の流れ
の方向）へ向かって順次タイムスライスしていき、例え
ば図１２〜図１６に示したような依存関係グラフＧを生
成する。クライアントオブジェクト１は、ＦＢＦコント
ロールオブジェクト２に対し、タイムコードＴＣと、依
存関係グラフＧＲと、ワークメモリ１１２Ｂのメモリア
ドレスＭ１〜Ｍ５と、バッファアドレスＢＡＤとをパラ
メータとして含むメッセージを送る。

【００８２】ＦＢＦコントロールオブジェクト２は、ク
ライアントオブジェクト１から次々と送られてくる依存
関係グラフＧをキューＣ１にキューイングすると共に、
キューイングされている依存関係グラフの中を探索す
る。そして、ＦＢＦコントロールオブジェクト２は、依
存関係を満足する（すなわち、時間的にも順序的にも実
行可能な）１または複数の処理を選択し、それらの処理
をそれぞれ担当するスレッド３Ａ〜３Ｆに対し、それぞ
れの処理に必要なパラメータを含むメッセージを渡す。
各スレッドに渡すパラメータは、次の通りである。

【００８３】ディスク装置３０からのソースＳ１のフレ
ーム読み出しを担当するスレッド３Ａに渡されるメッセ
ージに含まれるパラメータは、タイムコードＴＣ、ソー
ス識別子ＳＮ（ここでは、Ｓ１）、および、処理結果の
格納位置を示すメモリアドレスＭＡＤ（ここでは、／Ｍ
１）である。ここで、スラッシュ“／”の後ろに“Ｍ
１”を配置した表記“／Ｍ１”は、格納先のメモリがＭ
１であることを表す。以下同様である。

【００８４】ディスク装置３０からのソースＳ２のフレ
ーム読み出しを担当するスレッド３Ｂに対して渡される
メッセージに含まれるパラメータは、タイムコードＴＣ
と、ソース識別子ＳＮ（ここでは、Ｓ２）と、メモリア
ドレスＭＡＤ（ここでは、／Ｍ２）である。

【００８５】ディスク装置３０からのソースＳ３のフレ
ーム読み出しを担当するスレッド３Ｃに対して渡される
メッセージに含まれるパラメータは、タイムコードＴＣ
と、ソース識別子ＳＮ（ここでは、Ｓ３）と、メモリア
ドレスＭＡＤ（ここでは、／Ｍ３）である。

【００８６】輝度変換エフェクトを担当するスレッド３
Ｄに対して渡されるメッセージに含まれるパラメータ
は、タイムコードＴＣ、処理を実行するオブジェクトを
示すオブジェクトコードＯＢＪ、および、処理対象およ
び処理結果の格納位置を示すメモリアドレスＭＡＤ（こ
こでは、Ｍ１／Ｍ４）である。なお、ここでのオブジェ
クトコードＯＢＪは、ハード用画像変換オブジェクト５
Ｂを指定するためのものである。Ｍ１とＭ４とをスラッ
シュ“／”によって区切った表記“Ｍ１／Ｍ４”は、処
理対象が格納されているメモリがＭ１であり、処理結果
を格納するためのメモリがＭ４であることを意味してい
る。

【００８７】ワイプエフェクトを担当するスレッド３Ｅ
に対して渡されるメッセージに含まれるパラメータは、
タイムコードＴＣ、処理を実行するオブジェクトを示す
オブジェクトコードＯＢＪ、および、処理対象および処
理結果の格納位置を示すメモリアドレスＭＡＤ（ここで
は、Ｍ２，Ｍ３／Ｍ５）である。なお、ここでのオブジ
ェクトコードＯＢＪは、ソフト用画像変換オブジェクト
５Ｃを指定するためのものである。表記“Ｍ２，Ｍ３／
Ｍ５”は、処理対象が格納されているメモリがＭ２およ
びＭ３であり、処理結果を格納するためのメモリがＭ５
であることを意味している。

【００８８】レイヤリング処理を担当するスレッド３Ｆ
に対して渡されるメッセージに含まれるパラメータは、
タイムコードＴＣ、レイヤリング処理を実行するオブジ
ェクトを示すオブジェクトコードＯＢＪ、処理対象およ
び処理結果の格納位置を示すメモリアドレスＭＡＤ（こ
こでは、Ｍ４，Ｍ５／Ｂ）、およびバッファアドレスＢ
ＡＤである。なお、ここでのオブジェクトコードＯＢＪ
は、レイヤリング処理を行うソフト用画像変換オブジェ
クト５Ｄを指定するためのものである。表記“Ｍ４，Ｍ
５／Ｂ”は、処理対象が格納されているメモリがＭ４お
よびＭ５であり、処理結果の格納先が入出力バッファ１
１５であることを意味している。この場合の格納先のバ
ッファアドレスはバッファアドレスＢＡＤによって示さ
れる。

【００８９】続いて、図８を参照して説明する。

【００９０】ＦＢＦコントロールオブジェクト２からタ
イムコードＴＣ、ソース識別子ＳＮ（Ｓ１）、およびメ
モリアドレスＭＡＤ（／Ｍ１）を受け取ったスレッド３
Ａは、ソースＳ１を担当するメディア抽象化オブジェク
ト４Ａに対し、タイムコードＴＣと、読み出したフレー
ムの格納先であるメモリアドレスＭＡＤ（／Ｍ１）とを
含むメッセージを渡す。

【００９１】ＦＢＦコントロールオブジェクト２からタ
イムコードＴＣ、ソース識別子ＳＮ（Ｓ２）、およびメ
モリアドレスＭＡＤ（／Ｍ２）を受け取ったスレッド３
Ｂは、ソースＳ２を担当するメディア抽象化オブジェク
ト４Ｂに対し、タイムコードＴＣと、読み出したフレー
ムの格納先であるメモリアドレスＭＡＤ（／Ｍ２）とを
含むメッセージを渡す。

【００９２】ＦＢＦコントロールオブジェクト２からタ
イムコードＴＣ、ソース識別子ＳＮ（Ｓ３）、およびメ
モリアドレスＭＡＤ（／Ｍ３）を受け取ったスレッド３
Ｃは、ソースＳ３を担当するメディア抽象化オブジェク
ト４Ｃに対し、タイムコードＴＣと、読み出したフレー
ムの格納先であるメモリアドレスＭＡＤ（／Ｍ３）とを
含むメッセージを渡す。

【００９３】スレッド３Ａからメッセージを受け取った
メディア抽象化オブジェクト４Ａは、そのメッセージに
含まれるタイムコードＴＣを、ディスク上の記録位置を
示すフレームアドレスＦＡＤへ変換し、このフレームア
ドレスＦＡＤと、処理結果を格納するメモリアドレス
（／Ｍ１）とをディスク読み出しオブジェクト５Ａに渡
す。このとき、スレッド３Ａは、上記パラメータと一緒
に、未処理であることを示すイベント未処理フラグＥＶ
Ｔ０をディスク読み出しオブジェクト５Ａに渡す。

【００９４】スレッド３Ｂからメッセージを受け取った
メディア抽象化オブジェクト４Ｂは、そのメッセージに
含まれるタイムコードＴＣをフレームアドレスＦＡＤへ
変換し、このフレームアドレスＦＡＤと、処理結果を格
納するメモリアドレス（／Ｍ２）とをディスク読み出し
オブジェクト５Ａに渡す。このとき、スレッド３Ｂは、
上記パラメータと一緒にイベント未処理フラグＥＶＴ０
をディスク読み出しオブジェクト５Ａに渡す。

【００９５】スレッド３Ｃからメッセージを受け取った
メディア抽象化オブジェクト４Ｃは、そのメッセージに
含まれるタイムコードＴＣをフレームアドレスＦＡＤへ
変換し、このフレームアドレスＦＡＤと、処理結果を格
納するメモリアドレス（／Ｍ３）とをディスク読み出し
オブジェクト５Ａに渡す。このとき、スレッド３Ｃは、
上記パラメータと一緒にイベント未処理フラグＥＶＴ０
をディスク読み出しオブジェクト５Ａに渡す。

【００９６】メディア抽象化オブジェクト４Ａ，４Ｂ，
４Ｃからメッセージを受け取ったディスク読み出しオブ
ジェクト５Ａは、それらのメッセージをキューＣ２にキ
ューイングする。そして、ディスク読み出しオブジェク
ト５Ａは、キューイングされた複数のメッセージがそれ
ぞれ指し示す複数フレームの中から、映像として連続し
ているフレームを探索し、それらの連続しているフレー
ムをリソース６（ここでは、ディスク装置３０）からま
とめて読み出してワークメモリ１１２Ｂの指定されたメ
モリアドレス（Ｍ１〜Ｍ３のいずれか）に書き込む。そ
して、ディスク読み出しオブジェクト５Ａは、メディア
抽象化オブジェクト４Ａ，４Ｂ，４Ｃに対して、それぞ
れ、処理が終了したことを示すイベント終了フラグＥＶ
Ｔ１を返す。

【００９７】ディスク読み出しオブジェクト５Ａからイ
ベント終了フラグを受け取ったメディア抽象化オブジェ
クト４Ａ，４Ｂ，４Ｃは、それぞれ、スレッド３Ａ〜３
Ｃに対して、処理終了メッセージ（ＤＯＮＥ）を返す。
これにより、各スレッド３Ａ〜３Ｃは、ディスク装置３
０からワークメモリ１１２Ｂへの連続フレーム読み出し
が終了したことを知る。このように、キューイング後の
連続フレーム読み出しという方法をとることにより、他
のリソースよりも低速なディスク装置３０のパフォーマ
ンスを最速に保つことができる。

【００９８】続いて図９を参照して、説明する。

【００９９】ＦＢＦコントロールオブジェクト２（図
７）からタイムコードＴＣ、オブジェクトコードＯＢ
Ｊ、およびメモリアドレスＭＡＤ（Ｍ１／Ｍ４）を受け
取ったスレッド３Ｄは、輝度変換処理用のエフェクト抽
象化オブジェクト４Ｄに対し、これらのパラメータを含
むメッセージを渡す。ＦＢＦコントロールオブジェクト
２からタイムコードＴＣ、オブジェクトコードＯＢＪ、
およびメモリアドレスＭＡＤ（Ｍ２，Ｍ３／Ｍ５）を受
け取ったスレッド３Ｅは、ワイプ処理用のエフェクト抽
象化オブジェクト４Ｅに対し、これらのパラメータを含
むメッセージを渡す。ＦＢＦコントロールオブジェクト
２からタイムコードＴＣ、オブジェクトコードＯＢＪ、
およびメモリアドレスＭＡＤ（Ｍ４，Ｍ５／Ｂ）を受け
取ったスレッド３Ｆは、レイヤリング処理用のエフェク
ト抽象化オブジェクト４Ｆに対し、これらのパラメータ
を含むメッセージを渡す。

【０１００】スレッド３Ｄからメッセージを受け取った
エフェクト抽象化オブジェクト４Ｄは、処理対象および
処理結果の格納位置を示すメモリアドレス（Ｍ１／Ｍ
４）と、イベント未処理フラグＥＶＴ０とをハード用画
像変換オブジェクト５Ｂに渡す。ハード用画像変換オブ
ジェクト５Ｂは、ワークメモリ１１２ＢのメモリＭ１か
ら１フレームを読み出し、リソース６（ここでは、画像
処理ユニット１６（図１））を利用して、読み出したフ
レームに対して輝度変換エフェクトを実行し、その結果
をワークメモリ１１２ＢのメモリＭ４に格納する。そし
て、ディスク読み出しオブジェクト５Ｂは、エフェクト
抽象化オブジェクト４Ｄに対して、イベント終了フラグ
ＥＶＴ１を返す。

【０１０１】スレッド３Ｅからメッセージを受け取った
エフェクト抽象化オブジェクト４Ｅは、処理対象および
処理結果の格納位置を示すメモリアドレス（Ｍ２，Ｍ３
／Ｍ５）と、イベント未処理フラグＥＶＴ０とをソフト
用画像変換オブジェクト５Ｃに渡す。ソフト用画像変換
オブジェクト５Ｃは、ワークメモリ１１２ＢのメモリＭ
２，Ｍ３からそれぞれ１フレームずつ読み出し、リソー
ス６（ここでは、ＣＰＵ自身）を利用して、読み出した
フレームを用いたワイプ処理をソフト的に実行し、その
結果をワークメモリ１１２ＢのメモリＭ５に格納する。
そして、ソフト用画像変換オブジェクト５Ｃは、エフェ
クト抽象化オブジェクト４Ｅに対して、処理終了メッセ
ージ（ＤＯＮＥ）を返す。

【０１０２】スレッド３Ｆからメッセージを受け取った
エフェクト抽象化オブジェクト４Ｆは、処理対象および
処理結果の格納位置を示すメモリアドレス（Ｍ４，Ｍ５
／Ｂ）と、イベント未処理フラグＥＶＴ０とをソフト用
画像変換オブジェクト５Ｄに渡す。ソフト用画像変換オ
ブジェクト５Ｄは、ワークメモリ１１２ＢのメモリＭ
４，Ｍ５から１フレームずつ読み出し、ハードウェアリ
ソース６（ここでは、ＣＰＵ自身）を利用して、読み出
した２つのフレームをソフト的に合成し、その結果を入
出力バッファ１１５のバッファアドレスＢＡＤに格納す
る。そして、ソフト用画像変換オブジェクト５Ｄは、エ
フェクト抽象化オブジェクト４Ｆに対して、処理終了メ
ッセージ（ＤＯＮＥ）を返す。このようにして、入出力
バッファ１１５には、すべての編集処理の終了したフレ
ームが順次蓄積されていくことになる。

【０１０３】なお、メディア抽象化オブジェクト４Ａ，
４Ｂ，４Ｃとディスク読み出しオブジェクト５Ａとの
間、およびエフェクト抽象化オブジェクト４Ｄとハード
用画像変換オブジェクト５Ｂとの間では、イベント未処
理フラグＥＶＴ０とイベント終了フラグＥＶＴ１を用い
て処理の終了確認を行うようにしているが、これは、こ
れらの間ではハードウェアを利用して処理を行っている
ことによる。すなわち、ハードウェア内においては、プ
ロセス（プログラム）とは非同期で処理が行われること
から、プロセスとハードウェアとの同期をとる必要があ
り、そのために同期用フラグとして、イベント未処理フ
ラグＥＶＴ０およびイベント終了フラグＥＶＴ１が必要
となる。一方、エフェクト抽象化オブジェクト４Ｅ，４
Ｆとソフト用画像変換オブジェクト５Ｃ，５Ｄとの間で
は、フラグのやりとりは必要ない。この場合はソフト的
に処理を行っており、実行主体はＣＰＵ自身であるの
で、単に終了メッセージ（ＤＯＮＥ）を返せば十分だか
らである。

【０１０４】ハード用画像変換オブジェクト５Ｂからイ
ベント終了フラグＥＶＴ１を受け取ったエフェクト抽象
化オブジェクト４Ｄは、スレッド３Ｄに対して、処理終
了メッセージ（ＤＯＮＥ）を返す。また、ソフト用画像
変換オブジェクト５Ｃ，５Ｄからそれぞれ終了メッセー
ジ（ＤＯＮＥ）を受け取ったエフェクト抽象化オブジェ
クト４Ｅ，４Ｆは、スレッド３Ｅ，３Ｆに対して、それ
ぞれ処理終了メッセージ（ＤＯＮＥ）を返す。これによ
り、スレッド３Ｄ〜３Ｆは、各画像変換処理が終了した
ことを知る。この後、各スレッドはＦＢＦコントロール
オブジェクト２を介して、クライアントオブジェクト１
に１つのスレッド処理が終了したことを通知する。

【０１０５】図７に示したように、クライアントオブジ
ェクト１は、１つのフレームに対する処理が終了するご
とに、出力モジュール７に対して、タイムコードＴＣと
バッファアドレスＢＡＤとをパラメータとして含むメッ
セージを渡す。出力モジュール７は、クライアントオブ
ジェクト１から受け取ったメッセージをキューＣ３にキ
ューイングしておく。入出力バッファ１１５に一定数の
メッセージが溜まると、出力モジュール７は、入出力バ
ッファ１１５に蓄積されているフレームを所定の順序で
図示しない出力クロックに同期して連続的に出力する。
ここで、フレームの出力順序は、各フレームに対応する
タイムコードＴＣの値に基づいて決定される。具体的に
は、出力モジュール７は、タイムコードＴＣの値の小さ
い順に、そのタイムコードＴＣに対応する入出力バッフ
ァ１１５上のバッファアドレスＢＡＤからフレームを読
み出し、これを出力する。このようにして、入出力バッ
ファ１１５から、実時間に沿った形で、編集済みの映像
が出力され、表示装置４０において表示される。ユーザ
は、この映像を見ることにより、編集結果を確認するこ
とができる。

【０１０６】以上のように、本実施の形態に係る映像編
集システムによれば、各エフェクト処理の前後にメモリ
を介在させるようにしたので、クライアントオブジェク
ト１は、エフェクト処理をハードウェアとソフトウェア
のいずれで行うかを意識することなく処理を要求するこ
とができる。このため、ハードウェアとソフトウェアを
混在させた映像編集システムを容易に構築することがで
き、内部処理の順序の変更や機能の拡張（例えば、プラ
グイン機能）等を柔軟に行うことが可能となる。なお、
ここにいうプラグイン（plug-in)機能とは、それを編集
プログラムに組み込むことで、元の編集プログラムだけ
では処理できない処理を可能ならしめるような拡張機能
をいう。

【０１０７】また、本実施の形態によれば、ディスクか
らのフレーム読み出しやフレームに対するエフェクト処
理を含む複数の異なるフレーム処理を、マルチスレッド
方式を用いて並列的に行うようにしたので、１つのフレ
ーム処理に要する平均所要時間を短縮することができ、
編集処理全体としても処理時間の短縮が可能である。

【０１０８】また、本実施の形態によれば、フレーム処
理をフレーム単位で非実時間的かつ非同期で行い、その
処理結果をバッファリングしてから連続的に出力するよ
うにしたので、編集済の映像が途切れることなく実時間
に沿って出力されるようになる。また、ハードウェアに
よるフレーム処理に要する時間とソフトウェアによるフ
レーム処理に要する時間との差があったとしても、この
時間差が最終段のバッファリングによって吸収されるの
で、この点においてもハードウェアとソフトウェアの共
存が容易となる。

【０１０９】また、本実施の形態によれば、編集チャー
トに基づいて、各映像フレームに関して行うべきフレー
ム処理の内容と各フレーム処理間の依存関係とを表す依
存関係グラフを生成し、この依存関係グラフに基づいて
個々のフレーム処理を行うようにしたので、どのように
複雑な編集処理であっても、それを最小単位のフレーム
処理に分解して並列的に処理することを統一的に実現す
ることができる。

【０１１０】また、本実施の形態によれば、生成された
依存関係グラフを複数蓄えておき、蓄えられた複数の依
存関係グラフの中から実行可能なフレーム処理を選択
し、その選択されたフレーム処理を実行するようにした
ので、あるフレーム処理が他のフレーム処理の終了を待
つというような事態が殆どなくなり、無駄なく並列処理
を行うことができる。この点でも、編集処理に要する時
間の短縮化に寄与している。

【０１１１】このように、本実施の形態に係る映像編集
方法は、従来のストリーミング処理やフレーム−バイ−
フレーム処理方式がそれぞれ抱えていた欠点を解決した
リアルタイム処理モデルを提供するものであり、従来の
リアルタイム処理を超越したという点で、上記したよう
に「スーパーリアルタイム処理方式」ということができ
る。

【０１１２】以上、実施の形態を挙げて本発明を説明し
たが、本発明はこの実施の形態に限定されず、種々の変
更が可能である。例えば、上記実施の形態では図３に示
したような具体的な編集処理例を挙げて説明したが、本
発明はこれに限定されるものではなく、その他の様々な
編集処理パターンにも柔軟に対応し得るものである。例
えば、上記具体例では、映像編集のための特殊効果処理
として、輝度変換処理、ワイプ処理およびレイヤリング
処理を例示して説明したが、このほか、例えば、フェー
ドイン／フェードアウト処理、モザイク処理、およびそ
の他の任意の特殊効果処理を行う場合にも適用可能であ
る。

【０１１３】また、上記実施の形態における具体例で
は、輝度変換エフェクトをハードウェアにより行い、ワ
イプエフェクトとレイヤリング処理とをソフトウェアに
より行うようにしたが、輝度変換処理をソフトウェアに
より行い、ワイプエフェクトまたはレイヤリング処理を
ハードウェアにより行うようにしてもよい。もちろん、
これらのすべてをハードウェアのみまたはソフトウェア
のみによって処理するようにしてもよい。

【０１１４】また、上記実施の形態では、ノンリニアア
クセス（ランダムアクセス）が可能な記憶装置であるデ
ィスク装置３０としてハードディスク装置を用いるよう
にしたが、その他の装置、例えば、光磁気ディスクやＤ
ＶＤ（Digital Versatile Disc）等のディスク状の記憶
媒体、さらには、大容量の半導体記憶媒体等も使用可能
である。

【０１１５】また、上記実施の形態では、フレーム処理
と他のフレーム処理との間に介在するメモリＭ１〜Ｍ５
等を物理的に単一のワークメモリ１１２Ｂ内に確保する
ようにしたが、本発明はこれには限定されない。例え
ば、物理的に複数のワークメモリを用意して、それぞれ
をメモリＭ１〜Ｍ５等として使用するようにしてもよ
い。

【０１１６】また、本実施の形態では、「映像編集用プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体」としてＣＤ−ＲＯＭを利用するようにしたが、本発
明はこれに限定されず、その他の記憶媒体も利用可能で
ある。例えば、ＣＤ−Ｒ（Rewritable) 、ＣＤ−ＲＡ
Ｍ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、フ
ロッピー（登録商標）ディスク、リムーバブルハードデ
ィスク、あるいは大容量の半導体メモリ装置等、可搬性
のある記憶媒体を広く利用することが可能である。

【０１１７】また、本実施の形態では、上記のような可
搬性のある記憶媒体を介して映像編集用プログラムを映
像編集装置１０に導入するものとしたが、本発明はこれ
に限定されず、例えばＬＡＮ６０（図１）や図示しない
インターネットのような通信媒体を介して映像編集用プ
ログラムを取得し、これを映像編集装置１０の内蔵ディ
スク装置１９にインストールするようにしてもよい。

【０１１８】

【発明の効果】以上説明したように、請求項１ないし請
求項７のいずれか１項に記載の映像編集装置、請求項８
ないし請求項１４のいずれか１項に記載の映像編集方
法、請求項１５に記載の映像編集システム、または請求
項１６に記載の記録媒体に記録された映像編集用プログ
ラムによれば、記録再生装置から取り出した映像フレー
ムに対してフレーム処理を行う際に、フレーム処理のう
ちの少なくとも一部分を並列に行い、フレーム処理がす
べて終了した映像フレームを複数蓄積してから実時間に
沿って順次出力するようにしたので、処理時間を短縮で
きるという効果を奏する。

【０１１９】特に、請求項３に記載の映像編集装置また
は請求項１０に記載の映像編集方法によれば、映像フレ
ームを記憶可能な第１および第２の記憶手段を用いると
共に、フレーム処理が、個々の映像フレームに対してそ
れぞれ所定の画像処理を行う少なくとも１の画像処理段
階と、記録再生装置から映像フレームを読み出して第１
の記憶手段に書き込む第１の書き込み処理と、第１の記
憶手段から映像フレームを読み出していずれかの画像処
理に提供する第１の読み出し処理と、処理された映像フ
レームを第２の記憶手段に書き込む第２の書き込み処理
と、第２の記憶手段から映像フレームを読み出していず
れかの画像処理段階に提供する第２の読み出し処理とを
含むようにしたので、画像処理の前後にメモリを介在さ
せることを常套とするソフトウェア画像処理との相性が
良好である。したがって、ハードウェアとソフトウェア
とを混在させた映像編集装置を構築すること、および、
ハードウェアとソフトウェアとを混在させた映像編集処
理を行うことが可能になるという効果を奏する。

【０１２０】また、請求項４に記載の映像編集装置また
は請求項１１に記載の映像編集方法によれば、入力手段
により入力された編集スケジュールに基づいて、各映像
フレームに関して行うべきフレーム処理の内容と各フレ
ーム処理間の依存関係とを表す処理管理データを生成
し、この処理管理データに基づいて、フレーム処理を行
うようにしたので、どのように複雑な編集処理であって
も、それを最小単位のフレーム処理に分解して並列的に
処理することができるという効果を奏する。

【０１２１】また、請求項５に記載の映像編集装置また
は請求項１２に記載の映像編集方法によれば、生成され
た処理管理データを複数蓄えておき、蓄えられた複数の
処理管理データの中から実行可能なフレーム処理を選択
し、その選択されたフレーム処理を実行するようにした
ので、処理待ち時間等の無駄がなく効率のよい並列処理
を行うことができるという効果を奏する。

【０１２２】また、請求項６に記載の映像編集装置また
は請求項１３に記載の映像編集方法によれば、選択され
た実行可能なフレーム処理が、記録再生装置から映像フ
レームを読み出す処理であったときには、この読み出し
処理を直ちに実行せずにその実行を保留し、実行が保留
されている読み出し処理が複数集まった時点で、それら
の読み出し処理の対象である映像フレームの中から、連
続している複数の映像フレームを選択し、これらの選択
された複数の映像フレームを記録再生装置から一括して
読み出すようにしたので、記録再生装置からのフレーム
読み出し効率が向上し、これにより、編集処理全体とし
ての処理所要時間を短縮化できる。特に、記録再生装置
の動作速度が他のリソースよりも遅い場合にその有効性
は顕著である。

【０１２３】また、請求項７に記載の映像編集装置また
は請求項１４に記載の映像編集方法によれば、各映像フ
レームに対する画像処理を、ハードウェアおよびソフト
ウェアの双方を利用して行うようにしたので、システム
の柔軟性を高めることができる。例えば、処理対象の映
像素材のビデオ信号フォーマットに応じて、１つの画像
処理ステップ内における処理順序の変更や、機能の拡張
等を柔軟に行うことも可能である。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る映像編集システム
の概略のハードウェア構成を表すブロック図である。

【図２】図１の映像編集システムにおいて利用される映
像編集用プログラムの概略構成を表す図である。

【図３】図１の映像編集システムにより行われる編集処
理内容の一具体例を示す図である。

【図４】ワイプ処理の一例を説明するための図である。

【図５】図１の映像編集システムにより行われる編集処
理における映像フレームの流れを一般化して表す図であ
る。

【図６】図３に示した編集処理の具体例における映像フ
レームの流れを表す図である。

【図７】図３に示した編集処理の具体例における映像編
集用プログラムの流れを表す流れ図である。

【図８】図７における一部の処理ステップ部分に続く流
れ図である。

【図９】図７における他の処理ステップ部分に続く流れ
図である。

【図１０】図３に示した編集処理の具体例において生成
される編集チャートおよびタイムスライスの仕方を表す
図である。

【図１１】図１０に示した編集チャートから生成された
依存関係グラフが実行管理表に登録された状態を表す図
である。

【図１２】図１０に示した編集チャートから生成された
依存関係グラフの一例を示す図である。

【図１３】図１０に示した編集チャートから生成された
依存関係グラフの他の例を示す図である。

【図１４】図１０に示した編集チャートから生成された
依存関係グラフのさらに他の例を示す図である。

【図１５】図１０に示した編集チャートから生成された
依存関係グラフのさらに他の例を示す図である。

【図１６】図１０に示した編集チャートから生成された
依存関係グラフのさらに他の例を示す図である。

【図１７】従来のストリーミング処理方式における映像
フレームの流れを表す図である。

【図１８】図１７に示した方式におけるフレーム処理の
タイミングを表す図である。

【図１９】従来のフレーム−バイ−フレーム処理方式に
おける映像フレームの流れを表す図である。

【図２０】図１８に示した方式におけるフレーム処理の
タイミングを表す図である。

【符号の説明】

１…クライアントオブジェクト、２…ＦＢＦコントロー
ルオブジェクト、３Ａ〜３Ｆ…スレッド、４Ａ，４Ｂ，
４Ｃ…メディア抽象化オブジェクト、４Ｄ，４Ｅ，４Ｆ
…エフェクト抽象化オブジェクト、５Ａ…ディスク読み
出しオブジェクト、５Ｂ…ハード用画像変換オブジェク
ト、５Ｃ，５Ｄ…ソフト用画像変換オブジェクト、６…
ハードウェアリソース、１０…編集装置本体部、１１…
メインコントローラ、１６…画像処理ユニット、１８…
ＣＤ−ＲＯＭ装置、１８Ａ…ＣＤ−ＲＯＭ、２０…操作
ユニット、３０…ディスク装置、４０…表示装置、５０
…ディジタルＶＣＲ、１１１…ＣＰＵ、１１２…メモリ
部、１１２Ａ…メインメモリ、１１２Ｂ…ワークメモ
リ、１１５…出力バッファ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/78 Ｈ０４Ｎ 5/93 Ｅ 5/93 Ｇ１１Ｂ 27/02 Ａ (72)発明者 河村 健志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C023 AA12 AA13 AA40 BA11 CA03 DA04 DA08 EA03 5C052 AA01 AB03 AB04 CC03 DD04 5C053 FA14 FA21 FA23 GB08 HA33 JA22 JA24 KA04 KA24 LA06 LA15 5D044 AB07 BC01 CC04 CC08 FG09 HL14 5D110 AA04 AA13 AA14 AA28 BB04 BB06 BB16 BB20 BB24 CA05 CA16 CA42 CK02

Claims (16)

【特許請求の範囲】
1. 【請求項１】 映像素材の記録および再生が可能な記
   録再生装置を用いて映像素材のノンリニア編集を行う映
   像編集装置であって、 編集対象の映像素材を蓄積している前記記録再生装置か
   ら映像素材の基本構成単位である映像フレームを取り出
   し、これらの取り出した映像フレームに対してフレーム
   処理を行うフレーム処理手段と、 前記フレーム処理手段によるフレーム処理がすべて終了
   した映像フレームを複数蓄積すると共に、これらの複数
   の映像フレームを順次出力するフレーム蓄積手段と、 フレーム処理手段によるフレーム処理のうちの少なくと
   も一部分が並列に行われ、かつ、フレーム蓄積手段から
   の映像フレームの出力が実時間に沿って行われるよう
   に、前記フレーム処理手段を制御する制御手段とを備え
   たことを特徴とする映像編集装置。
2. 【請求項２】 前記制御手段は、前記フレーム処理手
   段によるフレーム処理を非実時間的に行わせることを特
   徴とする請求項１に記載の映像編集装置。
3. 【請求項３】 前記フレーム処理手段は、 個々の映像フレームに対してそれぞれ所定の画像処理を
   行う少なくとも１の画像処理手段と、 前記記録再生装置と前記フレーム処理手段との間に介在
   する第１の記憶手段と、 前記各フレーム処理手段の相互間に介在する第２の記憶
   手段とを含み、 前記制御手段は、 前記記録再生装置、前記第１の記憶手段、前記第２の記
   憶手段および前記各フレーム処理手段の相互間における
   映像フレームの受け渡し処理、ならびに各画像処理手段
   における映像フレームの画像処理、のうちの少なくとも
   ２つの処理が並列に行われるように、前記記録再生装
   置、前記第１および第２の記憶手段、ならびに前記各フ
   レーム処理手段を制御すると共に、前記フレーム蓄積手
   段に順不同に蓄積された複数の映像フレームが予め定め
   られた順序で出力されるように前記フレーム蓄積手段を
   制御することを特徴とする請求項１に記載の映像編集装
   置。
4. 【請求項４】 時間軸に沿った編集スケジュールを入
   力するための入力手段をさらに備え、 前記制御手段は、 前記入力手段により入力された編集スケジュールに基づ
   いて、各映像フレームに関して行うべきフレーム処理の
   内容と各フレーム処理間の依存関係とを表す処理管理デ
   ータを生成し、 前記処理管理データに基づいて、前記フレーム処理手段
   を制御することを特徴とする請求項１に記載の映像編集
   装置。
5. 【請求項５】 前記制御手段は、 前記生成された処理管理データを複数蓄えておき、 前記蓄えられた複数の処理管理データの中から、実行可
   能なフレーム処理を選択し、 前記フレーム処理手段を制御して前記選択されたフレー
   ム処理を実行させることを特徴とする請求項４に記載の
   映像編集装置。
6. 【請求項６】 前記制御手段は、 前記選択された実行可能なフレーム処理が、前記記録再
   生装置から映像フレームを読み出す処理であったときに
   は、この読み出し処理を直ちに実行せずにその実行を保
   留し、 前記実行が保留されている読み出し処理が複数集まった
   時点で、それらの読み出し処理の対象である映像フレー
   ムの中から、連続している複数の映像フレームを選択
   し、これらの選択された複数の映像フレームを前記記録
   再生装置から一括して読み出して前記第１の記憶手段に
   記憶させることを特徴とする請求項５に記載の映像編集
   装置。
7. 【請求項７】 前記画像処理手段は、 ハードウェアによって構成された第１の画像処理部と、 ソフトウェアによって構成された第２の画像処理部と を含むことを特徴とする請求項３記載の映像編集装置。
8. 【請求項８】 映像素材の記録および再生が可能な記
   録再生装置を用いて映像素材のノンリニア編集を行う映
   像編集方法であって、 編集対象の映像素材を蓄積している前記記録再生装置か
   ら映像素材の基本構成単位である映像フレームを取り出
   し、これらの取り出した映像フレームに対してフレーム
   処理を行うフレーム処理ステップと、 前記フレーム処理ステップによるフレーム処理がすべて
   終了した映像フレームを複数蓄積するフレーム蓄積ステ
   ップと、 前記蓄積された複数の映像フレームを順次出力するフレ
   ーム出力ステップとを含み、 前記フレーム処理ステップにおけるフレーム処理のうち
   の少なくとも一部分を並列に行うと共に、前記フレーム
   出力ステップにおける映像フレームの出力を実時間に沿
   って行うことを特徴とする映像編集方法。
9. 【請求項９】 前記フレーム処理ステップにおけるフ
   レーム処理を非実時間的に行うことを特徴とする請求項
   ８に記載の映像編集方法。
10. 【請求項１０】 映像フレームを記憶可能な第１およ
    び第２の記憶手段を用いると共に、 前記フレーム処理ステップが、 個々の映像フレームに対してそれぞれ所定の画像処理を
    行う少なくとも１の画像処理ステップと、 前記記録再生装置から映像フレームを読み出して第１の
    記憶手段に書き込む第１の書き込みステップと、 前記第１の記憶手段から映像フレームを読み出していず
    れかの画像処理ステップに提供する第１の読み出しステ
    ップと、 前記フレーム処理ステップで処理された映像フレームを
    第２の記憶手段に書き込む第２の書き込みステップと、 前記第２の記憶手段から映像フレームを読み出していず
    れかの画像処理ステップに提供する第２の読み出しステ
    ップとを含むようにし、 前記第１および第２の書き込みステップ、前記第１およ
    び第２の読み出しステップならびに前記画像処理ステッ
    プにおいて行われるフレーム処理のうちの少なくとも２
    つの処理を並列に行うと共に、前記フレーム蓄積ステッ
    プにおいて順不同に蓄積された複数の映像フレームを、
    前記フレーム出力ステップにおいて予め定められた順序
    で出力することを特徴とする請求項８に記載の映像編集
    方法。
11. 【請求項１１】 さらに、 時間軸に沿った編集スケジュールを入力する入力ステッ
    プと、 入力された編集スケジュールに基づいて、各映像フレー
    ムに関して行うべきフレーム処理の内容と各フレーム処
    理間の依存関係とを表す処理管理データを生成するステ
    ップとを含み、 前記処理管理データに基づいて、前記フレーム処理ステ
    ップを実行することを特徴とする請求項８に記載の映像
    編集方法。
12. 【請求項１２】 さらに、 前記生成された処理管理データを複数蓄えるステップ
    と、 前記蓄えられた複数の処理管理データの中から、実行可
    能なフレーム処理を選択するステップとを含み、 前記フレーム処理ステップにおいて、前記選択されたフ
    レーム処理を実行することを特徴とする請求項１１に記
    載の映像編集方法。
13. 【請求項１３】 前記フレーム処理ステップにおい
    て、 前記選択された実行可能なフレーム処理が、前記記録再
    生装置から映像フレームを読み出す処理であったときに
    は、この読み出し処理を直ちに実行せずにその実行を保
    留し、 前記実行が保留されている読み出し処理が複数集まった
    時点で、それらの読み出し処理の対象である映像フレー
    ムの中から、連続している複数の映像フレームを選択
    し、 これらの選択された複数の映像フレームを前記記録再生
    装置から一括して読み出すことを特徴とする請求項１２
    に記載の映像編集方法。
14. 【請求項１４】 前記画像処理ステップは、 ハードウェアを用いて画像処理を行うステップと、 ソフトウェアを用いて画像処理を行うステップと を含むことを特徴とする請求項１０に記載の映像編集方
    法。
15. 【請求項１５】 映像素材のノンリニア編集を行う映像
    編集システムであって、 映像素材の記録および再生が可能な記録再生装置と、 前記記録再生装置から映像素材の基本構成単位である映
    像フレームを取り出し、これらの取り出した映像フレー
    ムに対してフレーム処理を行うフレーム処理手段と、 前記フレーム処理手段によるフレーム処理がすべて終了
    した映像フレームを複数蓄積すると共に、これらの複数
    の映像フレームを順次出力するフレーム蓄積手段と、 フレーム処理手段によるフレーム処理のうちの少なくと
    も一部分が並列に行われ、かつ、フレーム蓄積手段から
    の映像フレームの出力が実時間に沿って行われるよう
    に、前記フレーム処理手段を制御する制御手段とを備え
    たことを特徴とする映像編集システム。
16. 【請求項１６】 映像素材の記録および再生が可能な
    記録再生装置を用いて映像素材のノンリニア編集を行う
    映像編集方法を記述したプログラムが記録された記録媒
    体であって、 編集対象の映像素材を蓄積している前記記録再生装置か
    ら映像素材の基本構成単位である映像フレームを取り出
    し、これらの取り出した映像フレームに対してフレーム
    処理を行うフレーム処理ステップと、 前記フレーム処理ステップによるフレーム処理がすべて
    終了した映像フレームを複数蓄積するフレーム蓄積ステ
    ップと、 前記蓄積された複数の映像フレームを順次出力するフレ
    ーム出力ステップとを含み、 前記フレーム処理ステップにおけるフレーム処理のうち
    の少なくとも一部分を並列に行うと共に、前記フレーム
    出力ステップにおける映像フレームの出力を実時間に沿
    って行うことを特徴とする映像編集用プログラムを記録
    したコンピュータ読み取り可能な記録媒体。