JP4250301B2 - 映像シーケンスを編集する方法及びシステム - Google Patents

映像シーケンスを編集する方法及びシステム Download PDF

Info

Publication number
JP4250301B2
JP4250301B2 JP2000111125A JP2000111125A JP4250301B2 JP 4250301 B2 JP4250301 B2 JP 4250301B2 JP 2000111125 A JP2000111125 A JP 2000111125A JP 2000111125 A JP2000111125 A JP 2000111125A JP 4250301 B2 JP4250301 B2 JP 4250301B2
Authority
JP
Japan
Prior art keywords
clip
scene
seconds
video
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000111125A
Other languages
English (en)
Other versions
JP2000350159A (ja
JP2000350159A5 (ja
Inventor
ラエ コウァルド ジュリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AUPP9705A external-priority patent/AUPP970599A0/en
Priority claimed from AUPP9704A external-priority patent/AUPP970499A0/en
Priority claimed from AUPP9706A external-priority patent/AUPP970699A0/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2000350159A publication Critical patent/JP2000350159A/ja
Publication of JP2000350159A5 publication Critical patent/JP2000350159A5/ja
Application granted granted Critical
Publication of JP4250301B2 publication Critical patent/JP4250301B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

【0001】
【発明が属する技術分野】
本発明は生の動画場面の編集に関し、特に、所望の結果を提供するために生の場面の編集を容易にするようにフィルム又は映像情報から得られる画像クリップのシーケンスから情報を抽出することに関する。特定の実現形態は、殆ど関心のない場面部分の再生を回避するように再生時間を短縮しつつ生の場面の重要部分を捕捉するクリップのシーケンスを提供するための供給元画像資料の自動編集に関し、また、場面における重大イベントの識別、タイトルの配置及びプリントのための、オリジナルの場面を代表するフレームである一連の個別フレームの抽出に関する。
【0002】
【従来の技術】
生のビデオ又は映画フィルムからよどみない、リズミカルな編集結果を作成するに当たり、興味を引く面白い成果を得るためには、特殊な技術が必要である。フィルムを処理する場合、代表的には、コンピュータの助けを借りて画像のシーケンスを容易に操作できるように、フィルムを映像フォーマットに変換する。映像編集を利用して特定のシーケンスが完成したならば、オリジナルのフィルムを従来の方式に従ってカットし、繋ぎ合わせて、高品質の再生作品を確保できる。従って、このようなプロセスは(アナログであれ、デジタルであれ)映像の操作に関連しており、デジタルフィルム効果、編集及び音響デザインを含めたいくつかの分野における熟練した技術を必要とする。このような技術を一人の人間が身に付けていることはまれであり、それぞれの技術は高いレベルの訓練を要し、何年間もフィルム製作業界で働いて初めて身に付けられるものである。
【0003】
アマチュアがビデオを製作する場合、同一の材料を与えられたときにプロが達成できると思われる成果をそのまま実現するのに必要な時間、専門知識、精巧な機器を備えているケースはまれである。多くの場合、アマチュアの作品はビデオの関係者にのみ個人的に面白く、関係のない視聴者の興味は早い段階で画面から失われてしまう。そのような無関心さは、ある意味で「ごく普通の」オリジナル場面を面白味に富んだ最終編集バージョンに変えることのできる編集技法を十分に適用していないことによって引き起こされることが多い。アマチュアのビデオに欠けているプロの一般的な編集・製作の基本的技法には、興味を引くタイトルの挿入、リズム感のある編集方式、場面転換及びカットの適切な使用、サウンドトラック及びバッキングトラック、色修正などのデジタル効果の適用、パーティクルアニメーション、異なる種類のショットの適用などがある。
【0004】
オリジナル場面の編集では、クリップが当初取り出された順序に対応するシーケンスでクリップを配置しなければならない。アマチュアとプロが同様に現時点で利用できるツールは、ビデオカードを伴って又はビデオカードなしでパーソナルコンピュータ(PC)で稼動し、編集を目的として線的な時刻表を管理するように構成されているソフトウェアを含む。オリジナル情報源テープから新たなテープへシーケンス付けを行うために、デュアルビデオカセットレコーダ(VCR)などのハードウェアを使用しても良い。いずれの方法をとっても、それぞれのクリップをシーケンス中の所定の場所に手作業で割り付けて行くという「手間のかかる」方式を必要とするため、編集は長い時間を要する作業である。ディゾルブ又はクロスフェードなどの場面転換も手作業で挿入しなければならず、多くの場合、コンピュータ補助製作装置に処理上の重い負荷を課すことになる。また、アマチュアのビデオ製作者は場面転換と、それらをどこで使用すべきかということを正しく理解する能力に欠けている場合が多く、そのため、製作システムからの資源の不適切な使用や、過剰な使用、即ち、垂れ流しになってしまい、とてもプロとは言えない仕上がりになる。現在のデュアルVCR方式には問題がある。例えば、編集が完了した後に、アマチュアがビデオの一部を手直ししたい場合、プロセス全体をもう一度実行しなければならない。
【0005】
編集済みビデオにタイトルを挿入する場合にも、まず、新たなシーンの場所を判定するために、場面を解析しなければならない。この作業では、in−outポイントを記録しながら場面を慎重に検討しなければならないため、ビデオ製作者が利用可能である場面の量に比べて多少の時間を要し、更に、タイトルマットを挿入するのに、また時間がかかる。最良の結果を得るためには、新たなシーンを挿入するときに、映像の残り部分に至る交互の場面転換を挿入しなければならない。
【0006】
「インタータイトル」としても知られている挿入タイトルは、以前、無声映画の製作に当たり、音声がないので視聴者に登場人物やストーリーに関する情報を伝えるのを助けるために使用されていた。今日の作品においても、アクションに対するコメントを容易にし、ユーモアを生み出し、時間や場所を設定し、また、全く異なるシーンの間につながりを生み出すために、挿入タイトルは使用されている。この挿入タイトルを作成する現在の方法は、植字工として知られている人によって実行されている。植字工は、映画又は作品の著者から内容を記した文書を渡される。植字工はそのテキストを写真製版や手書き或いはデスクトップパブリッシングシステムを使用して活字にする熟練工である。多くの場合、その言葉はストーリーの内容を知っている著者が考えたもので、ウィットに富んだ言い回しで書かれている。或いは、場所や時間のセッティングを伝える場合には、一般に直接的で、情報を提供する言葉となる。挿入タイトルは編集者の短いリストに組み込まれ、その後、映画の中に順次挿入される。挿入タイトルの持続時間は、主に、視聴者が理解しなければならない語と音節の数に従って設定される。作品のジャンルやスタイルによってもタイトルの時間は変わり、編集者が映画の中における連続性をどの程度まで維持できるかによっても異なる。
【0007】
【発明が解決しようとする課題】
従って、従来の方式により挿入タイトルを作成するには、それぞれが特殊技能を備えた多くの人が必要である。挿入タイトル向けのテキストを書くためには、映画のストーリー、ジャンルに関する知識と、視聴者の教養の程度に対する理解が必要である。映画のジャンルを良く表すようにテキストを活字組みするには、特殊なデザイン技術が必要であり、挿入タイトルを次々に流れて行く映画の適切な場所に挿入するためには、編集者の特殊な技能が要求される。そのため、挿入タイトルの作成は複雑で、費用もかかり、長い時間を要するプロセスである。
【0008】
現在の音声編集方法はきわめて特殊な方法であり、最終編集後のリズムにビート同期で装飾音を付加するという概念は大半のアマチュアビデオ製作者の範囲をはるかに超えている。選択されたサウンドトラックの音声波形を解析し、映像カットを同期させるのに要する時間は論外のものであり、機器は多くのアマチュアにとってとても正当であるとは言えないほど高価であり、その技法はデュアルVCRによる編集で管理するには困難すぎる。
【0009】
本発明の目的は、アマチュアであっても、簡単に最適な編集シーケンスの形成を可能とすることである。
【0010】
【課題を解決するための手段】
本開示の一態様によれば、少なくとも一つのクリップを有する映像シーケンスを編集する方法であって、それぞれ予め決められたセグメントの持続時間と前後の前記セグメントの間隔とを示す、複数の編集テンプレートの中から適用すべき編集テンプレートを選択し、前記選択した編集テンプレートと前記映像シーケンスの持続時間とに基づき、前記映像シーケンスを、前記間隔ごとに複数の前記セグメントに分割する適用工程と、前記映像シーケンスから前記分割された複数のセグメントを取り出して編集済みシーケンスを形成する編集工程とを有することを特徴とする方法が提供される。
【0013】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【0014】
本実施形態は、満足な再生を可能とするために生の映像場面の自動編集を補助することを全て目的とする多くの態様を含む。一つの態様においては、自動編集ツールは視聴者に面白くないと受け取られるおそれのある、又は視聴者の注目の限界を超える、過剰に長い映像カットを取り込むことを回避しつつ、オリジナルの生の場面の本質を捉えた編集済みのバージョンを提供するように、生の場面のリズム感のある編集を実行する。別の態様においては、生の場面のスチルショットによる概要を形成できるように、生の場面を代表する複数の個別フレームを映像カットの中から取り出す構成が提供される。更に別の態様においては、生の場面の様々に異なる段階を区別するために、編集済みのバージョンに挿入タイトルを配置する方法が開示される。
【0015】
図1A及び図1Bを参照すると、代表的な映像場面は、デジタルビデオカメラ10又はアナログビデオカメラ20の何れか一方から得られる。デジタルビデオカメラの場合、レコードボタン12を押すと、磁気テープ、磁気ディスク及び/又は半導体メモリに代表される記録媒体に映像信号がデジタル記録される。デジタルビデオカメラの特有の利点の1つは、デジタル映像が記録されることを含め、またそれに加えてメタデータ14をカメラ10により自動的に生成でき、及び/又はカメラ10のユーザの手動操作により生成できる構成を内蔵していることである。デジタルビデオカメラ10からはデジタル映像場面16が出力されるが、これは、図1Aでは番号1、2、3、4、…により表されている複数の個別のクリップにより代表される。通常、映像と共に記録されるメタデータは個々のクリップの開始と中断に対する参照ポイントを含み、それらの参照ポイントは記録が実行された特定の実時間と関連している場合が多い。それらの時間、及び日付は自動的に記録されても良い。例えば、ユーザによって入力されるか、又は他のメタデータツールによって生成されるその他の詳細な情報として、場所(例えばGPSロケータ装置により提供される)に関するデータ及び/又はその時間に記録されるべきイベント情報及びその他の所望の詳細な情報が考えられる。自動的に生成されたメタデータは、典型的にはレコードボタン12を押す及び/又は離す時点と同時に、クリップシーケンス16に挿入されるか、クリップシーケンス16と関連付けられる。このように、メタデータはクリップ及び/又はその内容の特徴を示す情報の格納庫となる。
【0016】
図1Bを参照すると、アナログビデオカメラ20は、典型的には磁気テープ記録媒体などへの映像場面の記録を可能にするレコードボタン22を含む。記録された場面の再生及び/又は編集のためにカメラ20から信号24が出力される。この信号24は、従来、記録された場面全体にわたり個々のクリップの開始又は中断に関する標識を全く伴わずに供給されていた。これは、異なるクリップを認識するための特定のメカニズムを通常含まない従来のセルロイドフィルムと同じ効果を持つ。この点に関して、従来のフィルム撮影の開始時に撮影された従来の「クリップボード」は、そのフィルムの編集担当者によって手作業で識別される1つの標識となっており、これは、いずれか1つのクリップの単なる識別用ではなく、フィルムと音声を同期させるために特別に与えられたものである。
【0017】
カメラ20から取り出されたアナログ映像又はフィルム映像26のいずれかをデジタルビデオカメラ16と同様の方式で処理するためには、それぞれの信号をデジタル画像信号に変換するディジタイザ28に信号24又はフィルム映像26のそれぞれを適宜入力しなければならない。ディジタイザ28の出力はクリップ検出器30に供給され、クリップ検出器30はクリップ間の場面転換を検出し、メタデータを形成する。そのメタデータは加算器32でディジタイザ28の出力と組み合わされて、デジタルビデオカメラ10から取り出される信号16に匹敵する有効性を備えたデジタルビデオ信号34が形成される。
【0018】
以上説明した構成は、Microsoft Corporationにより開発されたWindows(登録商標)オペレーティングシステムの環境をホストとするコンピュータアプリケーションプログラムとして実現されても良い。しかし、その他のオペレーティングシステムをホストとするコンピュータシステムにおいても上述の実施形態を実現し得ることは当業者には了承されるであろう。例えば、UNIX(登録商標)、OS/2(登録商標)、DOS(登録商標)を実行するコンピュータシステムで好適な実施形態を実行することができる。アプリケーションプログラムは、マウスやキーボードの操作に応答するメニュー項目及び制御要素を含むユーザインタフェースを有する。また、アプリケーションプログラムはホストコンピュータに直接に接続されるか又はネットワークを介してアクセスされる1台又は複数台の表示装置、プリンタ又は記憶装置に処理済データを送信する能力を有する。更に、アプリケーションプログラムは接続されるデジタル通信ネットワーク(例えば「インターネット」)との間でデータを送受信する能力を有する。
【0019】
上述した構成は、図10に示すコンピュータシステム40のような従来の汎用(ホスト)コンピュータシステムを使用して実施できる。他の図面を参照して、更に説明されるべき上述のアプリケーションプログラムはコンピュータシステム40で実行されるソフトウェアとして実現される。コンピュータシステム40はコンピュータモジュール41と、キーボード42及びマウス43などの入力装置と、プリンタ57及び音声視覚出力装置(ビデオ表示装置)56を含む出力装置とを備える。変復調器トランシーバ装置(モデム装置)52は、例えば電話回線又は他の機能媒体を介して接続可能である通信ネットワーク59との間で通信するために、コンピュータモジュール41によって使用される。このモデム52は、インターネット及び他のネットワークシステムに対するアクセスを得るために使用できる。
【0020】
代表的な構成として、コンピュータモジュール41は、少なくとも1つのプロセッサユニット45と、例えば半導体ランダムアクセスメモリ(RAM)及び読み取り専用メモリ(ROM)から形成されるメモリユニット46と、出力インタフェース47を含む入出力(I/O)と、キーボード42、マウス43及びオプションであるジョイスティックに対応するI/Oインタフェース48とを含む。出力インタフェース47は、代表的にはビデオ表示装置及びスピーカ構成を組み込んだ音声視覚出力装置56に結合している。記憶装置49が設けられており、代表的な構成としては、ハードディスクドライブ53と、フロッピーディスクドライブ64とを含む。CD−ROMドライブ55は、代表的には不揮発性データ供給源として設けられる。コンピュータモジュール41の構成要素45から49及び53から55は、典型的には接続バス50を介して、当業者に知られているコンピュータシステム40の従来通りの動作モードをもたらすように通信する。この実施形態を実施できるコンピュータの例は、IBM−PC及びコンパチブル、Sun Sparcstations又はそこから発展した類似のコンピュータシステムを含む。好適な実施形態の代表的なアプリケーションプログラムはハードディスクドライブ53に常駐しており、プロセッサ45を使用して読み取られ、制御される。プログラムや、取り出されるデータの中間格納は、可能であればハードディスクドライブ53と協調して、半導体メモリ46を使用して実行しても良い。場合によっては、アプリケーションプログラムをCD−ROM又はフロッピーディスクに符号化した形態でユーザに供給しても良いが、ユーザがモデム装置52を介してネットワークからアプリケーションプログラムを読み取ることもできる。
【0021】
特に、デジタル音声ストリーム16又は生の場面24は、コンピュータネットワーク及びモデム52を介することを含めた何らかの適切な方法によるか、又はCD−ROMドライブ55などの可搬形メモリ装置によってコンピュータに提供されるか、或いは、例えばI/Oインタフェース48の「映像」入力端子に直接提供される。このように、各々のクリップを含む生の映像場面の全体を利用して、コンピュータ41内でコンピュータ処理を実行することができる。
【0022】
図10に示すように、モデム装置52により、映像とそれに付随するサウンドトラックの双方を含むデジタル映像情報の供給源として機能し得るネットワーク59への接続が可能になる。或いは、例えばデジタルビデオカメラ10からデジタル映像情報を受信するように構成されたデジタル入力端子91と、アナログビデオカセットレコーダ95又はアナログビデオカメラ20のような装置から各々アナログ形態をとる映像情報93及び音声情報94を受信するように構成されたアナログ入力端子92とを含む映像入力インタフェース90が提供されても良い。これらの信号93及び94は対応するアナログ/デジタル変換器96及び97に入力され、変換器の出力は、デジタル入力91と同様に、分離バッファ78を介してシステムバス50に印加される。図1Bに示すようなクリップ検出をコンピュータモジュール41内部のソフトウェアにより実行しても良く、図1A及び図1Bのシーケンス16及び34に匹敵する画像とサウンドトラックから構成されるメタデータ補強デジタルビデオシーケンスを編集及びその他の操作や、出力インタフェース47及び音声映像出力装置56を介する再生のために、システム40内に格納しても良い。
【0023】
[リズム感のあるシーケンス編集]
図2に、場面の特定の1項目、この場合、海軍博物館への遠足の場面の特定の1項目から得られた様々な映像クリップ(01番から16番まで)のシーケンスを表すヒストグラム300を示す。図2から明らかなように、それぞれが約4秒(クリップ15)の最短時間から29秒(クリップ09)まで様々に異なる持続時間を有する個別のクリップが合わせて16個存在している。個々のクリップの間の描写は、各クリップに関連して格納されている上述したメタデータによって与えられる。
【0024】
直線的な(時系列)順序で見て行くと、オリジナルの場面のいくつかの部分は退屈で、面白くないなどということに気づく。リズム感のあるシーケンス編集は、見ている側に対するアピールをより高めるように生の映像場面を編集することをいう。プロよる編集作品の入念な見直しを通して、視聴者の関心はいくつかの短い期間の後に失われる、特に、焦点の合った画像が殆ど、或いは全くないところで失われると判定された。これは、特に、家庭で制作された(アマチュアの手になる)ビデオ作品に見られるケースであると理解された。この場合、記録されている内容は、通常多くの場合に家族、友人、同僚などからなる視聴者よりも、実際にフィルムを製作した人に対して多くの関連性を持っている。このビデオ作品は、何十分もの長すぎるクリップであると考えられても、視聴者が興味を保ち続けることができる登場人物及び/又はアクションを含む長編映画フィルム、テレビ映画などのプロの作品から区別されるべきである。
【0025】
そこで、どのような個別クリップであっても、その興味ある内容を最良の機会を捉えて再生できるように、このフィルムに自動的に適用できるいくつかの規則が判定された。本発明者により判定された規則は二倍の効果をもたらす。第一に、発明者はアマチュアが撮影する状況では、レコードボタン12(場合によっては22)を押した直後に得られるクリップの第1の部分は、通常、ほとんど関心を呼ばないか、又は低画質であると判定した。これは、ユーザがカメラの焦点をクリップの対象物に合わせるまでに、普通、時間を要するためである。この時間は、通常、クリップの約1秒間を占め、このため、好適な実現形態で編集を行う際に使用する第1の規則は、どのクリップについても、最初の1秒間を無視するということである。尚、1秒という期間は相対的なものであり、問題のクリップ又はオリジナルの場面を形成しているクリップの持続時間に応じて変わる。
【0026】
第2の本質的規則は、クリップの残り部分を複数のセグメントに分割することである。各セグメントは、それぞれが特定の時間周期を有する所定の数の間隔の中の1つである。この点に関して、発明者は、クリップをそれぞれが所定の時間周期を持つ複数のセグメントに分割し、所定の時間周期に整合しないクリップの他の部分を編集によりカットすることにより、再生すべき場面の量を有効に圧縮でき、しかも、クリップの本質と場面全体の連続性はそのまま維持されると判定した。好適な実現形態においては、発明者は、家庭で(アマチュアにより)撮影されたビデオ作品の編集には、約4秒から10秒の持続時間を有するクリップセグメントを使用するのが最良であると判定した。ユーザの特定の条件、提供される情報源資料の種類、又は使用される場所、選択した編集テンプレートの種類(後述する)によってそれらの時間周期が異なることは明白であろう。
【0027】
図3に、図2に示す海軍博物館への遠足の場面について、上記の規則に従って行ったクリップ解析を示す。図3から明らかなように、図3でも、生の場面は同様に、16の生のクリップ(09から16)から構成されるものとして示されており、各クリップは何らかの方法により再生のために希望される1つのクリップ又は編集済みクリップ(001から026)に分割されている。編集済みクリップ(001から026)は、それぞれ、各生のクリップ(01から16)の少なくとも1秒後に始まっていることが図3から明白であろう。更に、約7秒の長さであることがわかる第1の生のクリップ(クリップ01)は、4秒の持続時間を有する第1のクリップセグメント(クリップ001)を形成するように編集されている。生の場面のクリップ01のその他の部分は別の編集セグメントに対応するには不十分であり、次の編集済みセグメントは次の生のクリップ02から取り出されている。この特定の例においては、編集は4秒のクリップと10秒のクリップを交互に使用することにより行われており、第2の生のクリップ02で見ると、10秒の編集済みセグメント002はそのクリップから取り出されている。更に、第2の生のクリップ02は20秒の持続時間を有するので、次の4秒クリップ003をこの第2の生のクリップ02から取り出せるというメカニズムが働く。図3から明らかであるように、何れか1つの生のクリップから取り出された編集済みクリップを分離するために、この実施形態では2秒である所定の時間周期が規定されている。
【0028】
このようにして、海軍博物館への遠足の場面の生のクリップ01から16の各々は4秒セグメントと、10秒セグメントの交互配列を必要に応じて使用して編集される。図3から明白であるように、個々の生のクリップから取り出される編集済みセグメントの数はオリジナルの生のクリップの持続時間によって決まる。更に、生のクリップ15から明らかであるように、このクリップは5秒未満の持続時間であるので、上記の規則によれば、この生の場面からはクリップを編集できない結果となる。これは、クリップ15の最初の1秒間を取り除いてしまうと、4秒未満となり、シーケンスで望まれる10秒のセグメントが得られないからである。この例では、リズム感のあるシーケンス設定方法は、所望のセグメント間隔のシーケンス持続時間の70%に満たないと考えられる編集クリップは拒絶するように働く。好適な実施形態では、ある1つのクリップの一部が所望のセグメント持続時間の70%から200%である場合、1つの編集済みクリップを形成する修正後のその部分の再生時間が適切な10秒と4秒のセグメントの再生時間に整合するように、その部分は(時間圧縮又は時間伸張により)修正可能である。例えば、QUICKTIMEの商品名で販売されているソフトウェア製品を使用すると、約25%から400%の範囲で映像時間フレームの圧縮/伸張を行うことができる。
【0029】
図3の例からわかるように、生の場面の総持続時間は16の生のクリップにわたり327秒であるが、図示されている通り、これを編集すると、編集済みクリップの数は26となり、再生可能な画像の時間は合わせて176秒である。その結果、編集済みバージョン全体の再生時間はオリジナルの場面と比較してほぼ半減したことになる。更に、編集済み場面はリズム感のある4秒と10秒の変化を示すので、視聴者の関心は薄れない。
【0030】
以上のことに基づいて、クリップの集合体を提示するためのシステムは、ここでは「テンプレート」という用語で呼ばれる選択された一組の規則を適用するために、クリップの持続時間のプロファイルの作成と、その他の時間関連メタデータを基礎とすることができる。様々に異なる持続時間を有するクリップに対応するために、テンプレートの中に規則の階層を埋め込めば良い。例えば、数秒又は数フレーム分の持続時間しかないクリップは、何時間又は何十分にもわたる持続時間のクリップとは異なる方法で管理することができる。
【0031】
更に、オリジナルの場面から個々のセグメントをどのように編集するかは、その場面の実際の内容によって異なるであろう。例えば、図3は生のクリップから編集済みクリップを選択するために特定のタイミング規則を利用していたが、別の選択を行うことも可能である。一例を挙げると、図4に示すように、オリジナルの生の映像に付随するサウンドトラックの解析を利用して、関心領域を識別することができる。そのような関心領域の例として、スポーツの場面における観衆の歓声や、会議の場面での発言者の声などが挙げられる。このようにして、サウンドトラックを解析し、音声レベルが上昇した発言を識別することにより、その箇所で始めるか、又はその箇所にまたがって場面を設定するかなど、クリップの選択を行い、音声のピークの前、又はそれを含む期間、或いはそれに続けて関連性の高い、おそらくは興味を引くであろう内容を得ることができるのである。
【0032】
興味あるクリップセグメントを識別するための音声検出を行うときには、所定の閾値と比較してピーク値を検査するだけで良いのであるが、多くの場合、その閾値を可変とし、総雑音レベルより背景雑音レベルを閾値に反映させる方が有利である。これにより、システムは、閾値ピーク検査及び識別のために、クリップ集合体の提示毎又はクリップ毎のプロファイルを生成することができる。
【0033】
図6Aに、きわめて可変性の高いと思われる大きな背景雑音が存在するところで音声ピークを判別することを可能にする構成60を示す。音声信号62を比較器64の非反転入力端子と、低域フィルタ66とに入力する。この低域フィルタ66の時定数は、メタデータなどの提供をトリガするのには望まれない低レベルの背景雑音を十分に除去しうる周期に設定されている。低域フィルタ66の出力は比較器64の反転入力端子に供給され、実際には低域フィルタ66の時定数に沿って平均された音声信号である信号を形成する。比較器64は平均音声信号と瞬時音声信号とを比較して、瞬時信号が平均信号を越えた時点を示すトリガ信号68を発生する。トリガ信号68は(別の)メタデータとして映像シーケンスと共に取り込まれても良い。
【0034】
図6Bに、より洗練された音声検出構成70を示す。音声入力信号84を全波整流器82に入力し、全波整流器82は一対の低域フィルタ74及び76に全波整流信号72を供給する。低域フィルタ74及び76はそれぞれ対応する時定数τ1と、時定数τ2を有する。低域フィルタ74及び76の出力端子は、同様にトリガ信号80を供給するように構成されている比較器78の対応する入力端子に出力を供給する。この構成の場合、時定数τ1及びτ2は、背景雑音と所望の音声とを適切に判別するように設定されていても良い。例えば、τ2は背景雑音を判別できるようにするために、背景雑音を公正に表現するような相対的に長い周期(例えば、5秒)に設定されていても良い。τ1は、瞬間的な場面転換音声との判別は可能でありながら、所望の雑音内容(例えば、観衆の歓声又は所望の発言者の声)の検出が十分に行えるように、より短い周期に設定されても良い。この点に関して、τ1は約0.5秒の時間周期に設定されれば良い。その結果、回路70はいつ所望の音声ピークが判定されたかに関するマーカ又はメタデータを十分に提供し得る2つの論理レベルの間で変化するトリガ信号80を発生するように動作する。このメタデータは生の映像場面と組み合わされて、最終的な編集済みバージョンでおそらく選択されるであろう関心セグメントを識別するためのクリップ解析手続きに使用されても良い。
【0035】
図6A及び図6Bの構成は、例えば、音声−ADC97の入力端子の側で、アナログ回路を使用して実現されても良い。或いは、デジタルフィルタリング及びレベル比較を実行するハードウェア(コンピュータモジュール41内に構成されるDSP装置)又はソフトウェア(コンピュータモジュール41内で稼動する)の何れかによるデジタル構成を使用した実現も可能である。
【0036】
更に、生の場面の編集を実質的に、又は少なくとも知覚の上で、サウンドトラックと同期させて、サウンドトラックを編集済み場面にダビングすることも可能であろう。これは、適切なビートを識別するためにサウンドトラックを検査し、知覚の上での同期性を実現するために音声又は映像の一方、或いはその双方の再生速度を調整することを含む。例えば、毎分120回のビートを有する音楽は毎秒2ビートとなり、これを先に説明した10秒、4秒のシーケンスのような0.5秒の整数倍である持続時間を有する編集済みクリップを含むリズム感のあるシーケンスの中に均等に分割するのである。
【0037】
以上説明した自動検出方法及び後述するその他の方法により、1つ又は複数のクリップから構成される生の映像場面を処理し、視聴者の関心をより引き易く、且つ保ち易いリズム感のある画像のシーケンスを形成する編集作品において複数のクリップセグメントを形成する複数の関心部分を識別することが可能になる。特定の実現形態によれば、生の映像信号の解釈時に適用される実際の規則は、所定の映像作成スタイルに基づいて編集済み映像シーケンスの作成を行うと共に、様々に異なる種類の生の映像に適合し得るテンプレート構成によって判定される。1つの編集済みシーケンスを作成するために生の映像を編集すべく使用できる所定の編集規則の組み合わせをそれぞれ組み込んだテンプレートの例は、
・標準10−4フォーマット
・音楽ビデオ
・音楽トレーラ
・クイックルックサマリ
・ロマンス
・アクション
などである。
【0038】
それぞれ異なるテンプレートはそれぞれ異なるスタイル、構造の結果をもたらすように構成されており、生の映像場面が選択された特定のテンプレートに適合しているか否かに関わらず、生の映像場面の解釈を行うべく、ユーザにより選択される。
【0039】
[例1−標準テンプレート]
標準テンプレートは、多様な情報源場面の基本的編集を行うために適用できるテンプレートである。このテンプレートの様々な属性は次の通りである。
(1)シーケンス:
シーケンスは、最終編集結果を得るために場面をカットするための時間ベースである。即ち、ラインシーケンスは編集済みクリップの実際の持続時間を指定する。先の例では、10−4秒フォーマットに符合する。10−4フォーマットの代わりに、12−4又は12−6などの他のフォーマットを使用しても良い。
(2)持続時間:
持続時間は、一般的には、生の場面中のクリップの数の持続時間によって決まる。編集済みシーケンスの総持続時間は、必然的に編集済み映像にダビングすべき付随するサウンドトラックの持続時間にも反映される。しかし、これは7分を越える長いサウンドトラックには不適切である。
(3)場面転換:
編集済みクリップ間の場面転換は、各クリップ間の4フレームクロスフェードを使用して行われるのが好ましい。
(4)カット規則:
好適な実現形態においては、次のようないくつかのカット規則が適用される。
(a)クリップは古い順にカットされる。
(b)新たなクリップのカット長さを判定する前に、オリジナルの各クリップの始めと終わりの1秒間を取り除く。
(c)同じオリジナルの生のクリップから取り出された2つの編集済みクリップの間には、12フレームのクロスフェードを加える。
(d)可能であれば、10−4のリズム感のあるカットシーケンスを適用する。
(e)クリップの持続時間によって、2つ以上のクリップをカットできる場合、常に、残りの持続時間の中で、終わりから1秒間を省略し、且つ2つのクリップの間で4秒間省略できるだけの時間を確保する。
【0040】
[カット規則の例−標準テンプレート]
第1の生のクリップが7秒未満であれば、4秒にカットする。生のクリップが7秒以上、10秒未満であれば、オリジナルの生のクリップの時間を12秒に伸張した後、伸張クリップをカットして10秒(幾分スローモーションになった)クリップを作成する。次のオリジナルの生のクリップが14秒以上、20秒未満である場合には、初めの1秒を省略し、次の4秒をカットし、次の4秒を省略し、次の4秒をカットし、生のクリップの終わりに至るまで残り部分を省略する。次の生のクリップが20秒以上であれば、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、残る10秒をカットし、27秒に至るまで残り部分をカットする。次のクリップが28秒以上であれば、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、次に10秒をカットし、次の4秒を省略し、4秒をカットし、38秒に至るまで残り部分を省略する。
(5)効果:
これは、映像場面に適用し得る視覚効果に関する。標準テンプレートでは効果は適用されない。
(6)時間伸張:
編集済み映像の最終クリップを200%まで時間伸張し、新たに12秒の持続時間を作る。これを10秒にカットすることにより、クリップの始めと終わりの1秒ずつを省略する。終わりの3秒間は黒色又はテンプレートデフォルトにフェードアウトする。
(7)音声:
音声はシーケンスに適合するようにビート伸張される(起こりうる最良の整合を得るために増減する)。
(8)マット:
(a)シーケンス持続時間中の第1のクリップへのフェードが起こる最初の10秒間に編集自在のタイトルマットを配置する。シーケンスの編集済みクリップの終結時に編集自在の「終り」マットを設ける。
(b)編集自在のシーンマットやキャストマットを規定しても良いが、シーケンス中に配置する必要はない。
【0041】
[例2−ロマンスモンタージュ]
(1)シーケンス:12−4秒
この点に関して、ロマンス形の場面は典型的には落ち着いたものであるので、シーケンスの持続時間を10−4シーケンスと比較してわずかに延長して、よりリラックスし、ゆっくりしたペースを与える。
(2)持続時間:
持続時間は、一般的には、ディレクトリ中のクリップの数の持続時間によって決まる。持続時間シーケンスは必然的にサウンドトラックの持続時間に反映されるが、これは7分を越える長さのトラックには勧められない。
(3)場面転換:
12秒クリップの場合、次のクリップへのフェードインは現在のクリップが終了する前の最後の2秒と共に、0から100%の不透明状態である。各クリップの間で4フレームのクロスフェードを使用する。
(4)時間伸張:
(a)持続時間を150%に伸張することによりクリップをスピードダウンさせて、よりリラックスした、ロマンチックなフィーリングを与える。
(b)最終クリップの速度を200%まで伸張して、新たに12秒の持続時間を作り(スローモーションの効果を発生させ)、そのクリップを10秒にカットすることによりクリップの始めと終わりの1秒を省略し、その10秒のうち終わりの3秒間にわたり黒色テンプレートへのフェードアウトを適用する。
(5)カット規則:
(a)古い順にカットする。
(b)新たなクリップカット長さを判定するために、はじめから1秒間を取り除く。
(c)同じショットから取り出された2つのクリップの間に2秒間のクロスフェードを追加する。
(d)クリップの持続時間によって、2つ以上のクリップをカットできる場合、常に、残る持続時間の中で、終わりから1秒間を省略し、且つ2つのクリップの間から4秒間を省略できるだけの時間を確保する。
【0042】
[カット規則の例−ロマンスモンタージュ]
第1の生のクリップが8秒未満であれば、4秒にカットする。クリップが8秒以上、12秒未満であれば、14秒に時間伸張し、12秒までカットする。次の生のクリップが14秒以上、20秒未満であれば、初めの1秒を省略し、次を4秒にカットし、次の4秒を省略し、次のクリップを4秒にカットし、20秒に至るまで残る時間を省略する。次の生のクリップが20秒以上である場合には、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、27秒に至るまで残る時間を省略しつつ残る12秒をカットする。次の生のクリップが28秒以上であれば、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、続く12秒をカットし、次の4秒を省略し、38秒に至るまで残り時間を省略しつつ4秒をカットする。
(6)効果:
アニメーションのフォグフィルタを利用し、ぼんやりとした「ロマンチック」な雰囲気を出す。
(7)音声:
起こりうる最良の整合を得るために増減するように映像シーケンスに適合させるべく音声をビート伸張/圧縮する。
(8)マット:
(a)第1のクリップへのフェードを伴い、10秒の持続時間のシーケンス中に編集自在のタイトルマットを配置する。
(b)シーケンス中に編集自在の「終り」マットを設ける。
(c)編集自在のシーンマット及びキャストマットを設けても良いが、特定のシーケンス中に配置する必要はない。
【0043】
[例3−音楽ビデオクリップ]
(1)シーケンス:
この例では、映像が音声を補足し、音声が映像を補足するのではない(時には逆に見えることもあるだろうが)ため、シーケンスは音声ビートによって決まる。例えば、毎分100ビート未満の音楽の場合、基礎として10−4シーケンスを使用する。毎分100ビート以上の場合には、8−3ベースのシーケンスを使用できる。何れの場合にも、実際のクリップ間隔はほぼビート同期が成立するように調整される。例えば、96ビート/分の音楽では1.6ビート/秒となるので、場面を10秒と3.76秒のシーケンスにカットすることにより、それぞれ16秒と6秒に近くなり、知覚の上での同期性が得られることになる。
(2)場面転換:
各クリップの間に一般的には4フレームのクロスフェードを入れる。
(3)持続時間:
カットのシーケンスの持続時間は必然的にサウンドトラックの持続時間に反映される。これは6分より長いトラックについては勧められない。
(4)カット規則:
(a)古い順にカットする。
(b)新たなクリップカット長さを判定する前に、各オリジナルクリップの始めと終わりから1秒を取り除く。
(c)同じショットから取り出されたクリップの間に12フレームのクロスフェードを追加する。
(d)クリップの持続時間によって、2つ以上のクリップをカットできる場合、常に、残りの持続時間の中で、終わりから1秒を省略し、且つ2つのクリップの間から4秒を省略するだけの時間を確保する。
【0044】
[カット規則の例−音楽ビデオ(10−4シーケンスの場合)]
第1の生のクリップが7秒未満であれば、4秒にカットし、クリップが7秒以上、10秒未満であれば、12秒まで時間伸張し、10秒にカットする。次の生のクリップが14秒以上、20秒未満であれば、初めの1秒を省略し、次の4秒をカットし、次の4秒を省略し、次の4秒をカットし、20秒に至るまで残り時間を省略する。次の生のクリップが20秒以上であれば、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、27秒に至るまで残り時間を省略しつつ残る10秒をカットする。次の生のクリップが28秒以上である場合には、初めの1秒を省略し、4秒をカットし、次の4秒を飛び越し、次に10秒をカットし、次の4秒を省略し、4秒をカットし、38秒に至るまで残り時間を省略する。
(5)効果:なし
(6)時間伸張:
10−4シーケンスの場合、最終クリップを200%まで時間伸張し、12秒の新たな持続時間を作り、クリップの始めと終わりの1秒ずつを省略し、それを10秒にカットする。最後の3秒については黒色又はテンプレートディフォルトにフェードアウトする。
(7)音声:
音声の一体性を確保するためには好ましくないが、シーケンスを適合させ、起こりうる最良の整合を得るために、ビートを伸張又は圧縮しても良い。
(8)マット:
(a)第1のクリップについては10秒のシーケンス持続時間の中に編集自在のタイトルマットを配置し、第1のクリップへフェードインする。
(b)シーケンス中に編集自在の「終り」マットを設ける。編集自在のシーンマット及びキャストマットを設けても良いが、シーケンス中に配置する必要はない。
【0045】
[例4−クイックルックテンプレート]
クイックルックテンプレートにより、ユーザは生の映像内容の中で提示し得る場面の全てを短時間のうちに流しながらプレビューすることができる。このクイックルックテンプレートは、例えば30秒の指定ディフォルト時間の中で、又はユーザにより指定された時間でプレビューを提示する。所定の時間(30秒)の何倍も長い持続時間を有するオリジナルの生の場面に対応するために、クリップを長さがフレームのみの短い持続時間の集合にカットすることにより、リズム感のある編集シーケンスを適用する。クリップ速度は、例えば100から600%の範囲で変更自在であり、カット持続時間は数フレームから数秒の範囲である。希望に応じて多様なクイックルックテンプレートを形成できる。
【0046】
<クイックルックの例1:>
クリップを先に述べた10−4規則に対応する方式で10フレームと、4フレームの複数のセグメントに分割する。このような短い持続時間の中により多くの場面を盛りこむために、場面をオリジナルの再生速度の300%まで伸張することもあり、場合によっては、オリジナル場面のフレーム速度を遅くする。例えば、図3に示す構成を使用する場合、10−4秒規則を使用して176秒にわたる標準編集済みクリップを取り出していたが、それらと同じクリップを処理して、クリップ毎に10フレームセグメントと、4フレームセグメントとを取り出して、再生のために176フレームを得る。例えば、PAL再生システムで使用されているような毎秒25フレームのフレーム速度では、これは約7秒の再生時間に相当する。クイックルック方式によれば、4フレームセグメント及び10フレームセグメントから選択されたセグメント、或いはそれらセグメントの全てを伸張して30秒のプレビュー時間を実現する。ユーザはより長い生の場面の「プレビュー」を選択でき、フレーム速度や時間伸張などのシステムパラメータを調整することができる。
【0047】
<クイックルックの例2:>
この例では、10−4規則のようなリズム感のあるカット規則を適用しない。ユーザは、通常情報源場面の全長に関するクイックルックの持続時間を指定する。例えば、5分の生の場面を30秒のクイックルック再生に圧縮することを希望しても良い。そこで、ユーザはカット長さをその持続時間全体を均等に分割したものとなるように調整することができる。30秒の出力の場合、これは互いに継ぎ合わされた30個の1秒セグメントから形成されていても良い。各セグメントは、各クリップを、それぞれが1秒の(余り又はカット)部分により分離された複数の3秒部分に分割することにより得られる。各3秒部分を300%時間圧縮して所望の再生持続時間を得る。その後、それらの部分のうち30個を使用してクイックルックプレビューを形成する。生のクリップの持続時間が様々に異なっている場合には、テンプレートにおいて、各生のクリップから1つの部分を取り出すように保証することが望ましい。
【0048】
<クイックルック−比較例>
この例は、以下の表1に示すように、多くのクイックルックシーケンス規則をアクションシーケンスと比較したものである。
【0049】
【表1】
Figure 0004250301
【0050】
上記の例は、あるスタイルの編集済みビデオ作品を実現し得るいくつかの異なるテンプレート配列を表しているに過ぎない。自動編集に関わる上記の規則を修正して、別のテンプレート構成を設定できることは当業者には理解されるであろう。その一例は、操作すべき特定のジャンルに基づいて様々に異なる範囲の圧縮/伸張を使用できることである。その他の型のテンプレートの例として、「軍隊戦術」、「SF」、「ホラー」、「戦争」及び「ウェスタン」などの様々な既に確立されている映画のスタイルを反映したものが挙げられる。「スポーツ」や「アクション」などの他のスタイルを使用しても良い。希望に応じて生の場面に複数のテンプレートを適用しても良い。例えば、生の場面をロマンステンプレートに従って編集し、編集済みバージョンを今度はアクションテンプレートに従って編集しても良い。更に、複数のテンプレートを順次又は組み合わせて使用すれば、様々な規則が何らかの特定の効果を無効にすることなく、規則のその適用の優先順位を守るように、規則の階層を適用できるであろう。
【0051】
何れの場合も、特定のスタイルは、望まれる編集済み作品再生のスタイルに一般的には適用可能であるとわかっているいくつかの標準編集済みクリップの長さ(例えば、10−4,12−4)の使用を基礎としている。上記のテンプレートは2つの基本クリップ長さしか与えていないが、特定の状況に従って、更に多くのクリップ長さを使用して良い。例えば、野生生物や風景の場面は、少なくとも持続時間の短いクリップと交互に、より長いクリップの編集に適しているであろう。更に、先に説明した様々なテンプレートにおいては1−4及び12−4フォーマットが好ましいが、その他の持続時間を使用しても良い。代表的には、「より短い」持続時間は1秒から8秒の周期であり、より長い持続時間は12秒から20秒である。また、各クリップの始めから1秒間のカットも変更できる。通常、0.5秒から1秒の任意の周期を使用して良い。更に、編集済みセグメントの選択の間の2秒の間隔を変更しても良い。1秒から5秒の持続時間が適切であろう。更に、図3の実施形態は4秒の編集済みクリップ長さと、10秒の編集済みクリップ長さとを交互に示していたが、例えば、短い、短い−短い−長いといった別のパターンになるように様々なクリップ長さの選択を代えても良いし、或いは使用すべき特定の持続時間を擬似ランダム方式で選択しても良い。これは、基本持続時間が3つ以上ある場合に有用である。
【0052】
システムは、選択されたテンプレート構造に従って、そのリズム感のあるシーケンスを使用して適切な場面転換、ビート同期音楽で生の場面をカットし、デジタル効果を追加する。デジタル効果の例としては、オリジナルのカラーパレットの変更、フォッグフィルタ効果、画像を歪ませることなどがある。このように、ここで説明したリズム感のあるシーケンス編集システムはフィルムエディタ、サウンドエディタ及び特殊効果エディタの技術をアマチュアが撮影した情報源映像に適用することにより、アマチュアが結果を修正、調整又は単純に鑑賞するために、映像の再配列を自由に指示できるようになる。これらの効果を生の映像に適用するプロセスは高速であり、コンピュータシステム40内部におけるオフライン(即ち、リアルタイムでない)処理に適している。このプロセスは、アマチュアのフィルム製作者に、クリップ中に場面転換やin−outポイントを配置するという繰り返しの作業を通して時間を浪費するのではなく、編集中の映像の内容に関してより高いレベルの判断を自由に行わせることができる。また、この構成はリアルタイム動作も可能にする。例えば、ある生の映像源について、単純なキーストローク又はマウス43のクリックにより所望のテンプレートを選択すると、その結果システム40により映像源の自動編集が実行され、編集済みシーケンスはビデオ表示装置56にレンダリングされてユーザがそれを直ちに見ることができる。更に、複数のウィンドウを操作すれば、複数のテンプレートに従って情報源映像を同時にリアルタイムで編集、再生することができる。例えば、これにより、10−4テンプレートと12−4テンプレートとをリアルタイムで比較して、ユーザがよりアピールすると思う方を出力させることが可能になる。
【0053】
動作に関しては、上記のリズム感のあるシーケンス編集システムは、生の映像場面に関連するメタデータを検査して、上記のテンプレートから情報の組み合わせを表す編集判断リスト(EDL)を生成することにより編集結果を提供する。基本的なリズム感のあるシーケンス処理は、実際の映像内容をアクセスする必要も如何なる知識もなく、クリップ番号、持続時間、フレーム番号などを含むメタデータのみに基づき行われるので、編集判断リストの評価は、ビデオ製作者がin−outポイントを適切に設定する(通常何時間もの)時間を費やすことなく迅速に実行できる。一度編集判断リストが作成されたならば、そのリストは生の場面に適用され、再生のために適切なビットシーケンスが選択される。これはリアルタイムに実行されても良いし、或いは編集済み出力を連続する再生ファイルにコピーすることにより実行されても良い。
【0054】
図9は、生の映像場面をある特定の実現形態に従って編集する方法を示すデータの流れ図である。ステップ100では、ビデオ画像とそれに付随するサウンドトラックから構成される生のデジタル場面が、その場面と関連し、少なくとも場面の中の様々なクリップを識別するメタデータと共に入力される。入力された場面は抽出プロセス102に提供され、このプロセスは生のデジタル場面106からメタデータ104を取り出す。画像と付随する音声を含む生のデジタル場面106は適切な方法により、通常磁気ハードディスク記憶装置108に格納される。特定の構成が許すならば、入力される生の場面を線154により示すように記憶装置108から取り出しても良い。
【0055】
生のデジタル場面から更なるメタデータを取り出すことが望まれる場合には、その場面を記憶装置108から取り出し、メタデータ判定プロセス110に提供する。このプロセスは、追加のメタデータ112を取り出すように生のデジタル場面106を処理すべく動作し、メタデータ112は加算装置114においてオリジナルのメタデータ104と組み合わされる。メタデータ抽出プロセス110は、図4、図6A又は図6Bに示すような音声抽出構成を含んでいても良い。その代わりに、又はそれに加えて、別の抽出プロセスを使用しても良い。これは、例えば生の場面の個々のフレームを比較して、画像の各部分の動きや、それらの部分の間の衝突を識別することなどである。これは、例えばキャプション付き図形及び/又はサウンド効果を得るときに有用である。その他のメタデータ抽出プロセスには、面検出、線検出、動き検出を始めとして多くのものがある。図9に示すように、プロセス110は、ユーザに実行すべき特定のメタデータ抽出プロセスを選択させる入力111を含む。メタデータ112をプロセス110を使用して抽出した場合、それを生の映像と共に既存のメタデータに加えて記憶装置108にセーブしておいても良い。ディフォルトでは、追加メタデータ抽出プロセスは全く実行されない。加算器114は組み合わせメタデータ116を適用モジュール118へ出力する。
【0056】
最良の同期を実行するために、オーバーダブ音声源136をリズム感のあるシーケンス編集で使用できる音声源136のビートを識別するビート抽出プロセス138により解析する。抽出されたビート139は適用モジュール118に入力される。
【0057】
また、適用モジュール118には、ユーザによりテンプレートの格納庫124からマルチプレクサ122を介して選択された特定の編集テンプレート120が入力される。図9に示すように、ユーザに直接に提供される所定のテンプレートに加え、ユーザが独自に作成するか、1つ又は2つ以上の既存のテンプレートの変形として作成するユーザ自身のテンプレートを定義できるようになっている。適用モジュール118は選択されたテンプレートをメタデータ116及び抽出されたビート139に適用して、最終編集済みバージョンにおいて再生するために生のデジタル場面から選択されるべきクリップの実際のセグメント及びそれらの対応する周期を表す編集表示リスト(EDL)126を形成する。編集表示リスト126は、ユーザに編集済みバージョンと関連するタイトルセグメントを編集させる入力128を更に含む。
【0058】
組み合わせメタデータ116はリストとして表現され、編集表示リスト126と共に保持されても良く、また最終編集済みシーケンスにおいて重要な編集済みクリップをマーキングするために使用されても良い。
【0059】
編集表示リスト126は別の適用モジュール130に入力され、このモジュールは編集表示リストを解釈して、記憶装置108に格納されている生のデジタル場面をカットし、適切な編集済みセグメントを取り出す。また、適用モジュール130はアニメーション及びキャプションを含めた図形を、適切なサウンド効果と共に記憶装置132から取り出し、これらは編集済み映像と組み合わせて編集済み映像出力134を形成する。編集表示リスト126は、適用モジュール130により形成されるリズム感のあるシーケンス編集に整合するようにオーバーダブ音声源136の再生速度を変更するように構成されたビート調整ユニット158ヘビート制御指令156を適宜出力することができる。この点に関して、場合によっては音声再生速度を特定の編集間隔(例えば、10−4)にほぼ整合させるか、或いは音声源136のビートにほぼ整合するように編集間隔(例えば、12−4から11.5−3.5)を調整しても良い。
【0060】
その後、編集済み映像134は、音声源136から直接取り出されるか、又は必要に応じてビート調整ユニット158から取り出されるオーバーダブサウンドトラックと加算ユニット140で組み合わされる。加算ユニット140は音声・視覚場面142を出力し、それは記憶装置144に格納されるか、又は再生装置146へ直接出力され、ビデオ表示装置150及び音声スピーカ152を含む再生システム148において再生される。
【0061】
[挿入タイトルの生成]
編集済みビデオ作品へタイトルを挿入することができ、図9に示す構成では、編集表示リスト126への入力128を介して実現される。これにより、映像を構成する一連のクリップの中に文脈上正しく、図形により活字組みされた挿入タイトルを自動的に挿入することができる。これは、ユーザの時間と労力をほとんど必要とせずに実現可能である。挿入タイトル発生器が設けられており、これは、著者、植字工及び編集者の役割を果たし、語句データベース、規則ベース適用メタデータ解析及びユーザ側で入力されたメタデータに対応するインタフェースを使用する。そのような構成の一例を図11に示す。図11には、挿入タイトル発生器(ITG)200が示されている。ITG200は、ユーザ側で入力されるメタデータ214に対応する入力モジュール216を含む。ユーザが入力するメタデータ214は、オリジナルの生の場面100を供給源とするメタデータ104から直接取り出されても良い。そのようなメタデータの例としては、ユーザが実際に生の場面を記録する時点で実際の画像捕捉時間と共に挿入したメタデータがある。ユーザ入力メタデータ214は、更にユーザが選択した生成プロセス110から編集システムへ取り出される追加メタデータ112も含む。更に、ユーザが編集段階で直接メタデータを入力できるように、全く別個のユーザ入力メタデータ用入力部202を設けても良い。ユーザ入力メタデータ214はメタデータ解析ユニット204に供給され、解析ユニットはメタデータ214の特性を解析して、語句データベース208、活字組みデータベース210及び図形データベース212の組み合わせから挿入タイトル出力128を形成するように機能する規則ベースアプリケーション206を実現する。
【0062】
従来の挿入タイトル作成方法に関して言えば、「著者」の役割は、クリップの持続時間や記録日時に関する情報ばかりでなく、場面の基礎を成すストーリー、重要なシーン及び映画のジャンルに関する情報も提供するユーザ入力メタデータ214により容易になっている。メタデータ解析ユニット204がメタデータ214の内容を解析して、時間コード及びクリップ持続時間に関する情報を獲得する。時間コードメタデータを使用して、複数の相対的時間に撮影されたクリップをクラスタすることができる。
【0063】
例えば、生の映像が早朝、ほぼ午前7時、その後の午前9時、ほぼ正午にそれぞれ撮影されたいくつかのショットから構成されているとする。メタデータ解析ユニット204はこのメタデータを使用して、どこで挿入タイトルを入れれば良いかを表す3つの明確に異なるシーンを判定する。ユーザは、ITG200でプリセットされたディフォルトを変更したいときに、クリップ間の時間クラスタリングの閾値を調整することができる。
【0064】
ITG200は、解析されたメタデータを語句データベース208から取り出された生活様式に適合するキャッチフレーズ、ことわざ及び面白い俗語と相互参照することにより、挿入タイトルの内容又は文面を供給する。相互参照の結果は、文脈上はユーザ入力メタデータ214が元になるウィットに富んだ挿入タイトルを形成する。この文面は、活字組みデータベース210から取り出されたプロ並みのデザインのテンプレートに挿入される。このテンプレートは植字工の役割を果たし、テキストを操作する際に他の図形ツールを必要としない。希望に応じて、挿入タイトルのマット背景幕を形成するために、適宜、図形データベース212を取り出しても良い。時間コードメタデータと、挿入タイトルの配置及び持続時間を定義する一連の規則は挿入タイトルのシーケンスを決定し、それにより、作品中により高いレベルの連続性と面白さを与える上で、編集者の役割を完璧に果たす。挿入タイトルの持続時間は、オリジナルの場面に適用されるリズム感のあるシーケンス編集及び表示される、即ち、視聴者によって読み取られるべきテキストの長さを含むいくつかの要素に従って判定される。それらの要素はテンプレートに組み込まれても良い。
【0065】
例えば、ユーザがスカウトのキャンプ遠足のビデオを撮影していた場合、ITG200を使用して、そのイベントを全体として記述すると共に、システムにより識別される各々の特定のシーンを記述する一連のキーワードを入力する。1つのイベントとしての場面は、「キャンピング(camping)」、「スカウティング(scouting)」、「チームワーク(teamwork)」、「サバイバル(survival)」などと記述される。テントを張っている間に楽しんでいるスカウトたちを映した場面からなる第1のシーンは、ユーザにより「友達(friends)」、「楽しい(fun)」、「少年(boys)」、及び「助け(help)」と記述されている。そこで、システムはそれらのキーワードを使用して、イベントのコンテキストを判定し、次に1つのキャッチフレーズ又はキャッチフレーズのリストをユーザに提示し、そこから選択を行えば良い。この例におけるキャッチフレーズの例は、
「Boys will be boys」(男の子のいたずらはしょうがない)
「A friend in need is a friend indeed」(まさかの時の友こそ真の友)
「Survival of the fittest」(適者生存)
「Time flies when you're having fun」(光陰矢のごとし)
などとなるであろう。
【0066】
ユーザは入力218を介して選択を行い、ITG200はその選択された語句を受け入れ、記述されたシーンの始めに配置する。これは、選択されたタイトルを適切なシーンを識別するメタデータと関連付けることにより実行される。このように、ユーザはシーン毎にキーワードを提供することにより、又は単純に映画を全体として記述し、システムに時間コード又は他の種類のメタデータを相互参照させることにより、タイトルマットを生成することができる。特定の日時に行われる共通イベントを参照するタイトルマットを生成することができる。例えば、ほぼ正午に撮影されたクリップは「昼食時間(lunch time)」などの語句を示唆させるものになるであろう。クリップが午前7時に始まるのであれば、「夜明け(a new day dawns)」などの語句が代わりに示唆されるであろう。グローバルポジショニングシステム(GPS)構成から獲得されるメタデータを適宜使用して、イベントが行われる場所の位置関係を示す内容を有する挿入タイトルを示唆することも可能である。このような相互参照は、処理すべき特定のシーンに適合する正しいタイトルを集中的に探す上で有用であろう。
【0067】
最も基本的なシーンの識別は自動的に、生の場面と関連する記録時間メタデータを使用して実行される。これは図8に示されている。図8に、4分48秒の範囲内のクリップクラスタリングに基づいてタイトルを配置する場合のITGシステム200の結果を表す。先行するクリップの終了時から4分48秒を越えてリアルタイムでずれているクリップは、何れも、システムにより新たなシーンとして考えられる。
【0068】
図8に示すように、クリップ番号1から4(それぞれのクリップの持続時間は図8からは不確定であり、ここでの説明には無関係である)はそれぞれほぼ同じ時間(ほぼ午前9時30分)に撮影されており、各クリップの間には4分48秒を越える間隔は存在していない。その結果、クリップ01から04をオリジナル場面の第1のクリップのクラスタ(クラスタ01)として一纏めにする。図からわかるように、クリップ05はほぼ午前10時に撮影されており、クリップ01から04及びクリップ06以降の後続クリップから時間の上で離れている。従って、クリップ05は独自のクラスタ、この場合はクラスタ02を形成する。クリップ06はほぼ午前10時40分に撮影され、その後、クリップ07から11が続いているが、それぞれの撮影間隔は4分48秒を越えない。従って、クリップ06から11は第3のクリップのクラスタを形成する。このようにして、オリジナル場面の各クリップをクラスタに分割し、各クラスタの始まりがオリジナル場面における様々なシーンを記述するために挿入タイトルを配置できる場所を形成する。
【0069】
以上説明した時間コードの規則ベース解析は、類似した時間に撮影されたクリップのクラスタと、異なる日付で撮影されたクリップのクラスタとを定義する。この点に関して、クリップ27はほぼ午後5時30分に撮影され、クリップ28は明らかに次の日のほぼ午前6時45分に撮影されていることがわかる。この結果に従って、挿入タイトル発生器200を使用してシーンマットが自動的に挿入されるか、又は図形ユーザインタフェースを介して個々のシーンのユーザに指示がなされる。
【0070】
挿入タイトルテンプレート、並びに視聴者が読み取らなければならない音節、語及び文字の数の選択は、稼動するタイトルマットの持続時間を判定するように機能する。ITG200はこれらの要因を組み合わせるシステムを利用して、メッセージの理解の程度、編集リズム並びに最大限の読みやすさを確保するためにどの字体を選択するのが正しいかといった問題の妥協点を探る。更に、適切であれば、シーケンスのジャンルによって挿入タイトルの持続時間を判定しても良い。例えば、そのジャンルが緊張又は恐怖の一方(例えば、ホラー映画)である場合、持続時間を短縮して、挿入タイトルを読んでいるときに視聴者にストレスをかけるようにしても良い。
【0071】
タイトルマットの持続時間は、先に説明したテンプレート構造の編集リズムに整合しているのが好ましい。10−4規則から成るテンプレート構造は、4秒の持続時間に整合するタイトルマットを有するのが好ましい。同様に、8−3規則から成るテンプレート構造は3秒の持続時間に整合するタイトルマットを有していることになるであろう。ITG200は選択されたテンプレートの持続時間規則を解析して、挿入タイトルに適する持続時間を判定するように機能する。
【0072】
状況によっては、テンプレートがタイトルマットの持続時間に都合よく対応する構造を有している場合もある。例えば、3秒又は4秒の持続時間で十分に視聴者はメッセージを理解できるであろう。このように、ITG200は選択されたテンプレートを識別する、マルチプレクサ122からの入力120を含むことができる。このように、語句データベース208は、規則ベースアプリケーション206に理解に必要な利用可能な持続時間を超えるメッセージである場合に別の持続時間を指定させることができるように、タイトル持続時間に関する埋め込み規則を含んでいても良い。このようなことは、スタイルの整った有力テンプレートを使用する場合に起こり得る。そのようなテンプレートはニュース放送や音楽ビデオなどの特定の時間フォーマットの作品から構成されている。
【0073】
短い期間で流れる作品又は25フレーム未満のクリップ持続時間を有する高速カットを含む作品では、タイトルマットにおけるメッセージについて、視聴者がその内容を理解するために利用できる時間に適合するようにレイアウト、語数/音節数及び活字組みを整えなければならない。例えば、タイトルマットの持続時間がわずか14フレームである場合、ITG200は語句データベース208から、1語又は数語の短いメッセージのみを選択し、活字組みデータベース210が許すならば、メッセージを読みやすい太字の活字面で組む。
【0074】
図9の配列リズム感のあるシーケンス編集システムを参照してITG200を説明したが、その用途と動作はそのような特定の適用に限定されるものではない。メタデータの入力、語句や活字組みの選択に関する特定の規則を伴うシーンの変更などの識別を、オリジナル場面のリズム感のある編集に依存せずに実現しても良い。その結果、オリジナル場面の編集を必要とせずに、挿入タイトルをそのオリジナル場面に直接追加することができるであろう。
【0075】
挿入タイトル発生器200に関連して以上説明したシーンの識別は、タイトルマットの場所ホルダを識別するためばかりでなく、正しい場面転換の使用などの他の要素にも使用されて良い。特に、リズム感のあるシーケンス編集に関して言えば、1つのシーンの始まりに使用される「フェーディング」場面転換及びそのシーンの終了時の「フェードアウト」は、作品全体を通して他のカット技法とはスタイルの上で異なっている。これは、各々がビデオ作品のストーリーの中で異なる意味を表しているからである。
【0076】
シーン識別システムをタイトル及びリズム感のあるシーケンス編集のテンプレート構造と組み合わせると、サウンドトラック及びサウンド効果を自動的に配置することができる。システムはこの情報を処理し、その結果を使用して、どこでタイトル音楽を入れるべきか及びどこでサウンドトラックを始めるべきかを知る。サウンドトラックのビートは取り出された後、特定の映像テンプレート規則に応じて、編集シーケンスに整合させるために、又は編集シーケンスをビートに整合するように編集シーケンスを修正するために、又はその双方を修正するために修正されても良く、その結果、音楽と映像カットとが同期する。
【0077】
このようにして、リズム感のあるシーケンス編集システムはオリジナルの生の場面を検討するために余分の時間を費やす必要なくビデオを見ることを望んでいるユーザに対して、編集済みの面白味に富んだ結果を生成することができるのである。生の場面は多くの場合に所期の時間より長いショットを含んでおり、場合によっては、全く記録するはずではなかったショットをも含んでおり、それらを好都合で、ユーザにほぼ見えるような方式で編集できる。
【0078】
[プリントフレーム選択]
生の映像に適用し得るもう1つの編集プロセスは、プリント又はオリジナル場面を示すスライド表示を行うために望まれる個別のフレームの選択を実行する。図5を参照すると、海軍博物館への遠足の生の場面が再び、それぞれ持続時間の異なる16個の個別クリップの連続として示されている。更に、図12も併せて参照すると、クリップは場面全体を表す個別のサムネイルを形成するように分割される。
【0079】
図12に示すように、プリントフレーム選択を実行する方法250はステップ252で、場面の個々のクリップを区別し、且つそれらのクリップの持続時間を識別するために必要なメタデータなどのメタデータを含む生のデジタル場面の入力をもって始まる。ステップ254では、ユーザは特定の場面について必要なプリントフレームの数を識別することを要求される。選択された数のプリントフレームが場面全体の内容を表現するように、実際の数はオリジナルの生の場面の全体の長さ及び/又はその場面に含まれている個々のクリップの数に基づいて示唆されても良い。プリントフレームの数を選択したならば、生の場面、特に個々のクリップを分割して、複数のセグメントを形成する。それらのセグメントから個々のプリントフレームを選択することになる。図5に示すように、生の場面は64のプリントフレームを形成するように分割され、各々のクリップから4つのプリントフレームが選択されている。このように、各クリップはそのクリップから取り出す必要のあるプリントフレームの数により決まる等しい持続時間を有する4つのセグメントに分割されるのである。ステップ258では、各セグメントを処理して、プリントに最良のフレームを取り出す。ステップ260では、セグメントごとの最良フレームをサムネイル画像にフォーマッティングし、ステップ262では、選択されてフォーマッティングされた最良フレームをプリントに適する方式でフォーマッティングする。
【0080】
最良フレームを取り出すために個々のセグメントを処理するステップ258は、最良フレームを判定するようにセグメント中の個々のフレームにいくつかの規則を適用するように機能する。生の場面の状況に応じて及び/又はユーザが希望する特定のテンプレートに従って、何れか1つ又は複数の規則が適用される。発明者の研究によれば、何れか1つのクリップの最良又は最適の画質の画像はそのクリップの第3のセグメントにあることがわかっている。更に、何れか1つのセグメントの中では、発明者はそのセグメントの中央に最良フレームがあると判定している。セグメントの持続時間に応じて、これは他の規則に従って、更に検査されるべき個々のフレームの数を制限することがあり得る。
【0081】
他の選択規則は、セグメント内に現れるフレームに適用できる様々なプロセスに基づいている。1つの規則は、図4に示すような音声解析を含むことができ、この場合、生の場面と関連するサウンドトラック中のピークとほぼ一致するとして1つのフレームを選択する。そのようなピークは、スポーツイベントにおける観衆の歓声又は会議で発言している発言者の声を含むと考えられるであろう。
【0082】
複数の一致が起こった場合、その問題を1つのプリントフレームに解決するためにユーザインタフェースを適用しても良い。例えば、整合するフレームの各々をビデオ表示装置56にレンダリングすることにより、プリントのためにユーザが1つのフレームを選び出しても良い。
【0083】
別の規則は面解析のような画像解析を含むことができる。これによれば、背景である風景の情報などに対して人間の顔を示す特徴を検出することに基づいて1つのプリントフレームを選択する。面検出ソフトウェア及びそのプロセスは当業者には知られており、図12のステップ258を考慮しながら限られた数のフレームに容易に適用できる。その他の選択基準には、大きな相対運動を示すフレームはピント外れなどの画質の低い記録につながりやすいとして選択から排除する隣接フレームの間の動き検出がある。
【0084】
図5及び図12の構成から出力されるフォーマッティング済みプリント出力の一例を図7に示す。これは、グレートバリアリーフでのダイビングの場面を主題としている。24の個別のプリントフレームサムネイルが1つのページにフォーマッティングされており、それぞれのフレームがダイビングの異なる段階を示している。例えば、第1のフレームはダイバーをグレートバリアリーフへ運ぶボートの航跡を示し、次の3つのフレームはダイビングの準備をしているダイバーたちを示している。それ以降のフレームは、ダイビング中のクリップから取り出された様々なサンプルを示す。
【0085】
オリジナル場面を見ることを希望している人に負担をかけることなく、オリジナル場面の主題を要約したような生の映像場面の有用なバージョンを複数提供するために、生の映像場面の編集を可能にするいくつかの構成が提供されたことは以上の説明から明白であろう。リズム感のあるシーケンス編集方式は、編集後のバージョンの視聴者の関心を高め且つそれを維持するように考案されたスタイルの整った再生が行われるように、オリジナル場面のサイズを好都合に縮小するものである。また、リズム感のあるシーケンス編集はオリジナル場面とオーバーダブ音声との組み合わせを支援し、場面と音声をほぼ同期するように合わせるので、視聴者の関心は保たれる。リズム感のあるシーケンス生成を伴う場合も、伴わない場合もあるが、挿入タイトルを配置することにより、視聴者にあらすじなどを伝えるために再生すべき場面中の様々なシーンを識別することができる。プリントフレーム選択構成によれば、オリジナル映像場面のあらすじを静止画像によって捉え、都合よく再生することができる。それぞれがその生成に際して異なるプロセスの組み合わせを利用しているので、それらを別個に適用した場合、リズム感のあるシーケンス編集とプリントフレーム選択が各出力で同一の映像フレームを再生させるという保証はない。
【0086】
尚、本発明は複数の機器(例えば、ホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。
【0087】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPU若しくはMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0088】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0089】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0090】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0091】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【図1A】デジタル供給源からのデジタルビデオクリップの供給を示す図。
【図1B】アナログ供給源からのデジタルビデオクリップの供給を示す図。
【図2】一体となってオリジナルの生の場面を形成する複数のクリップの提示ヒストグラム。
【図3】本実施形態にて定義される「10−4」規則に従った図2のクリップの解析を表す図。
【図4】音声解析に基づくクリップの分割を示す図。
【図5】フレームプリントに使用するための図2の生の場面の分割を示す図。
【図6A】音声解析を実現するための様々な構成を示す図。
【図6B】音声解析を実現するための様々な構成を示す図。
【図7】図5のクリップ分割からサンプリングした映像フレームを示す図。
【図8】別のクリップ配列例に基づくタイトルの挿入を示す図。
【図9】好適な編集方法のデータ流れ図。
【図10】本実施形態における汎用コンピュータの構成を示す概略ブロック図。
【図11】挿入タイトル発生器の概略ブロック図。
【図12】プリントフレーム選択方法を示す流れ図。
【符号の説明】
10 デジタルビデオカメラ
20 アナログビデオカメラ
30 クリップ検出器
40 コンピュータシステム
41 コンピュータモジュール
42 キーボード
43 マウス
45 プロセッサユニット
46 メモリユニット
47 ビデオインタフェース
48 I/Oインタフェース
49 記憶装置
50 接続バス
52 モデム装置
53 ハードディスクドライブ
54 フロッピーディスクドライブ
55 CD−ROM
56 ビデオ表示装置
57 プリンタ
59 ネットワーク
102 抽出プロセス
108 記憶装置
110 メタデータ判定プロセス
114 加算装置
118 適用モジュール
122 マルチプレクサ
124 テンプレート格納庫
126 編集表示リスト
130 適用モジュール
132 記憶装置
136 オーバーダブ音声源
138 ビート抽出プロセス
144 記憶装置
146 再生プロセス
150 ビデオ表示装置
152 スピーカ
158 ビート調整ユニット
200 挿入タイトル発生器

Claims (5)

  1. 少なくとも一つのクリップを有する映像シーケンスを編集する方法であって、
    それぞれ予め決められたセグメントの持続時間と前後の前記セグメントの間隔とを示す、複数の編集テンプレートの中から適用すべき編集テンプレートを選択し、前記選択した編集テンプレートと前記映像シーケンスの持続時間とに基づき、前記映像シーケンスを、前記間隔ごとに複数の前記セグメントに分割する適用工程と、
    前記映像シーケンスから前記分割された複数のセグメントを取り出して編集済みシーケンスを形成する編集工程とを有することを特徴とする方法。
  2. 前記編集テンプレートは、持続時間が異なる複数種類の前記セグメントの持続時間と、複数種類の前記セグメントのパターンとを示しており、前記適用工程は、前記編集済みシーケンスにおける前記複数種類のセグメントのパターンが前記定義されたパターンになるように、分割する前記セグメントの持続時間を前記複数種類のセグメントの中から選択することを特徴とする請求項1記載の方法
  3. 前記適用工程は前記映像シーケンスのうち前記分割されたセグメントを示す編集表示リストを形成し、前記編集工程は前記編集表示リストに基づいて前記映像シーケンスから前記複数のセグメントを取り出して編集済みシーケンスを形成することを特徴とする請求項1又は2記載の方法
  4. 少なくとも一つのクリップを有する映像シーケンスを編集するシステムであって、
    それぞれ予め決められたセグメントの持続時間と前後の前記セグメントの間隔とを示す、複数の編集テンプレートの中から適用すべき編集テンプレートを選択し、前記選択した編集テンプレートと前記映像シーケンスの持続時間とに基づき、前記映像シーケンスを、前記間隔ごとに複数の前記セグメントに分割する適用手段と、
    前記映像シーケンスから前記分割された複数のセグメントを取り出して編集済みシーケンスを形成する編集手段とを有することを特徴とするシステム。
  5. 請求項1に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2000111125A 1999-04-12 2000-04-12 映像シーケンスを編集する方法及びシステム Expired - Fee Related JP4250301B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
AUPP9705A AUPP970599A0 (en) 1999-04-12 1999-04-12 Print frame selection
AUPP9704A AUPP970499A0 (en) 1999-04-12 1999-04-12 Insert title generator
AUPP9706A AUPP970699A0 (en) 1999-04-12 1999-04-12 Rythmic sequence editing system
AU9706 1999-04-12
AU9704 1999-04-12
AU9705 1999-04-12

Publications (3)

Publication Number Publication Date
JP2000350159A JP2000350159A (ja) 2000-12-15
JP2000350159A5 JP2000350159A5 (ja) 2007-06-07
JP4250301B2 true JP4250301B2 (ja) 2009-04-08

Family

ID=27158136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000111125A Expired - Fee Related JP4250301B2 (ja) 1999-04-12 2000-04-12 映像シーケンスを編集する方法及びシステム

Country Status (2)

Country Link
US (1) US7362946B1 (ja)
JP (1) JP4250301B2 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
EP1300019A2 (en) * 2000-04-05 2003-04-09 Sony United Kingdom Limited Audio and/or video generation apparatus and method of generating audio and/or video signals
US8006186B2 (en) * 2000-12-22 2011-08-23 Muvee Technologies Pte. Ltd. System and method for media production
US7827112B2 (en) * 2001-03-01 2010-11-02 Sony Corporation Digital signal processing apparatus, digital signal processing method, information center, and data delivery system
US7328153B2 (en) 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
JP2005526340A (ja) * 2001-08-27 2005-09-02 グレースノート インコーポレイテッド プレイリストの生成、配信およびナビゲーション
KR100912984B1 (ko) * 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
US7009655B2 (en) * 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
CN1768344B (zh) * 2003-03-28 2010-04-28 汤姆森特许公司 使用元数据自动生成信息板的***和方法
EP1494237A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt Gmbh Method and apparatus for editing a data stream
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
US7757174B2 (en) * 2004-11-30 2010-07-13 Panasonic Corporation Program list reproduction method and display method
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
US7840898B2 (en) * 2005-11-01 2010-11-23 Microsoft Corporation Video booklet
JP2007189473A (ja) * 2006-01-13 2007-07-26 Hitachi Ltd 動画再生装置
WO2008035022A1 (en) * 2006-09-20 2008-03-27 John W Hannay & Company Limited Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297120A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods an apparatus for creation and presentation of polymorphic media
US20090297121A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods and apparatus for creation, distribution and presentation of polymorphic media
JP2008085632A (ja) * 2006-09-27 2008-04-10 Toshiba Corp カメラ装置およびカメラ装置におけるタイトル編集方法
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US8943410B2 (en) * 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
KR100883119B1 (ko) * 2007-04-24 2009-02-11 삼성전자주식회사 동영상 파일 목록 편집 방법
JP2009033369A (ja) * 2007-07-26 2009-02-12 Sony Corp 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム
EP2260376B1 (en) * 2008-03-04 2011-11-16 SanDisk IL Ltd Digital random number generator based on digitally-controlled oscillators
GB2457968A (en) * 2008-08-06 2009-09-02 John W Hannay & Co Ltd Forming a presentation of content
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US20100088726A1 (en) * 2008-10-08 2010-04-08 Concert Technology Corporation Automatic one-click bookmarks and bookmark headings for user-generated videos
US20100094627A1 (en) * 2008-10-15 2010-04-15 Concert Technology Corporation Automatic identification of tags for user generated content
PL2239740T3 (pl) * 2009-03-13 2013-09-30 France Telecom Interakcja pomiędzy użytkownikiem a treścią multimedialną
FI20095415A0 (fi) * 2009-04-16 2009-04-16 Valtion Teknillinen Videoeditointijärjestelmä
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
US8769421B2 (en) * 2009-04-30 2014-07-01 Apple Inc. Graphical user interface for a media-editing application with a segmented timeline
US8701007B2 (en) * 2009-04-30 2014-04-15 Apple Inc. Edit visualizer for modifying and evaluating uncommitted media content
US8731373B2 (en) * 2009-06-30 2014-05-20 Rovi Technologies Corporation Managing and editing stored media assets
WO2011112640A2 (en) * 2010-03-08 2011-09-15 Vumanity Media Llc Generation of composited video programming
US8818175B2 (en) 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8819557B2 (en) 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips
US8555170B2 (en) 2010-08-10 2013-10-08 Apple Inc. Tool for presenting and editing a storyboard representation of a composite presentation
US9176575B2 (en) * 2011-05-20 2015-11-03 Magix, Ag System and method for utilizing geo location data for the generation of location-based transitions in a multimedia work
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
US9240215B2 (en) 2011-09-20 2016-01-19 Apple Inc. Editing operations facilitated by metadata
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10008238B2 (en) * 2013-05-02 2018-06-26 Waterston Entertainment (Pty) Ltd System and method for incorporating digital footage into a digital cinematographic template
JP6218668B2 (ja) * 2014-05-12 2017-10-25 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation メディアへのファイル書き込みに伴うメタ情報の効率的な利用
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
JP6519401B2 (ja) * 2015-08-21 2019-05-29 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10255947B2 (en) * 2015-08-31 2019-04-09 Netflix, Inc. Mitigating drift in audiovisual assets
US10587872B2 (en) * 2017-07-05 2020-03-10 Project Giants, Llc Video waveform peak indicator
CN110519655B (zh) * 2018-05-21 2022-06-10 阿里巴巴(中国)有限公司 视频剪辑方法、装置及存储介质
CN113767644B (zh) * 2019-04-22 2024-01-09 索可立谱公司 自动的音频-视频内容生成
CN113438500B (zh) 2020-03-23 2023-03-24 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
CN111695505B (zh) * 2020-06-11 2024-05-24 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
US11227637B1 (en) 2021-03-31 2022-01-18 Snap Inc. Synchronizing multiple images or videos to an audio track
CN115484399B (zh) * 2021-06-16 2023-12-12 荣耀终端有限公司 一种视频处理方法和电子设备
CN115052198B (zh) * 2022-05-27 2023-07-04 广东职业技术学院 一种智慧农场的影像合成方法、装置和***

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515101A (en) * 1989-04-28 1996-05-07 Minolta Co., Ltd. Title generator for a video camera
US5012334B1 (en) 1990-01-29 1997-05-13 Grass Valley Group Video image bank for storing and retrieving video image sequences
DE69127843T2 (de) * 1990-03-09 1998-03-12 Canon Kk Signalaufzeichnungssystem
US5434678A (en) * 1993-01-11 1995-07-18 Abecassis; Max Seamless transmission of non-sequential video segments
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5696866A (en) * 1993-01-08 1997-12-09 Srt, Inc. Method and apparatus for eliminating television commercial messages
KR960030218A (ko) * 1995-01-12 1996-08-17 김광호 영상신호 자동편집방법 및 장치
TW318906B (ja) * 1995-12-08 1997-11-01 Sony Co Ltd
JP3763153B2 (ja) * 1995-12-13 2006-04-05 ソニー株式会社 データ処理装置及びデータ処理方法
JP3752298B2 (ja) 1996-04-01 2006-03-08 オリンパス株式会社 画像編集装置
GB2312139B (en) * 1996-04-12 2000-09-20 Sony Uk Ltd Editing of recorded material
US5956453A (en) * 1996-04-12 1999-09-21 Hitachi Denshi Kabushiki Kaisha Method of editing moving image and apparatus of editing the same
GB2312138B (en) 1996-04-12 2000-09-20 Sony Uk Ltd Editing of recorded material
US5969716A (en) * 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
US5999689A (en) * 1996-11-01 1999-12-07 Iggulden; Jerry Method and apparatus for controlling a videotape recorder in real-time to automatically identify and selectively skip segments of a television broadcast signal during recording of the television signal
KR19990077225A (ko) * 1996-11-22 1999-10-25 이데이 노부유끼 편집 장치, 편집 시스템 및 편집 방법
JPH10243352A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像情報記録再生装置
JPH1169301A (ja) * 1997-08-08 1999-03-09 Sony Corp 復号方法及び復号再生装置、並びに記録媒体
WO1999031663A1 (fr) * 1997-12-17 1999-06-24 Sony Corporation Dispositif pour generer une liste de montage, procede et dispositif de montage
JP4412749B2 (ja) * 1997-12-26 2010-02-10 富士フイルム株式会社 デジタルカメラ及びデジタルカメラにおける画像処理方法
JP3305999B2 (ja) * 1997-12-26 2002-07-24 日本ビクター株式会社 画像圧縮ストリーム編集装置及びその方法
DE69917198T2 (de) * 1998-07-14 2005-05-04 Koninklijke Philips Electronics N.V. Schnitt von digitalen videoinformationssignalen

Also Published As

Publication number Publication date
JP2000350159A (ja) 2000-12-15
US7362946B1 (en) 2008-04-22

Similar Documents

Publication Publication Date Title
JP4250301B2 (ja) 映像シーケンスを編集する方法及びシステム
RU2440606C2 (ru) Способ и устройство автоматического генерирования сводки множества изображений
US7945142B2 (en) Audio/visual editing tool
JP4261644B2 (ja) マルチメディア編集方法及び装置
JP4125140B2 (ja) 情報処理装置、情報処理方法ならびにプログラム
US7027124B2 (en) Method for automatically producing music videos
US8812311B2 (en) Character-based automated shot summarization
Hua et al. Optimization-based automated home video editing system
US7873258B2 (en) Method and apparatus for reviewing video
US20100094441A1 (en) Image selection apparatus, image selection method and program
WO2007127695A2 (en) Prefernce based automatic media summarization
GB2354104A (en) An editing method and system
JP2003179849A (ja) ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
CN113676772A (zh) 视频生成方法及装置
KR20020074328A (ko) 키프레임을 이용한 동영상 재생방법 및 그 장치
JPH11266422A (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
US20070061133A1 (en) Recording/reproduction apparatus and recording/reproduction method
JP5025398B2 (ja) 画像再生装置、及びプログラム
JP3942471B2 (ja) データ編集方法、データ編集装置、データ記録装置および記録媒体
Amir et al. Automatic generation of conference video proceedings
Chu et al. Tiling slideshow: an audiovisual presentation method for consumer photos
AU745436B2 (en) Automated visual image editing system
JP7133367B2 (ja) 動画編集装置、動画編集方法、及び動画編集プログラム
JP2005167822A (ja) 情報再生装置及び情報再生方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070412

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees