JP4627679B2 - 動画像編集方法および動画像編集装置 - Google Patents

Description

本発明は、テレビジョン放送番組制作、ビデオ番組制作などの動画像の番組制作に使用する動画像編集方法および装置、特に、所要のプログラムソフトウエアを使用したコンピュータで制御し、ディスプレイ画面上のウインドウに表示される編集画像素材のM-アイコンを選択して画面表示操作による動画像の編集を行なう動画像編集方法に関するものである。

近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展しており、これらコンピュータ、ソフトウエアをテレビジョン放送番組やビデオ番組の制作設備に使用することで、番組制作等に用いられる動画像編集装置の高機能化が行われている。

特に、近年の番組制作は、画像データと音声データとからなる画像情報の編集に、例えば、取扱いや保存が容易で廉価なハードディスクを使用したランダムアクセスが可能な情報記憶装置を有する動画像編集装置を使用して画像情報の編集を行っており、更に、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますますの高機能化が行われている。

コンピュータ支援による動画像編集装置の例としてノンリニア編集システムがある。このシステムでは、ランダムアクセスが可能なディスク型記憶装置に映像素材をいったん格納しておき、編集装置の画面に記憶装置から読出した動画像の代表画像を表示してオペレータが表示画面上のグラフィック部品を操作することによって動画像の編集を行うものである。

図２は、動画像編集方法を実施するノンリニア編集システムの構成の一例を示すブロック図である。
この動画像編集装置は、所要のプログラムソフトウエアに従って動画像編集装置を構成する各装置の各種制御および編集の処理を行なうCPU（中央演算処理装置）201と、CPU201による制御情報や、動画像、シーン画像、カット画像および編集の状況を表す階層構造（ツリー構造）の情報など編集に関する情報を表示するディスプレイ208と、ディスプレイ208の画面上に表示されている情報を選択してCPU201へのコマンドの入力を行なうマウスやキーボードなどの入力装置209と、ディスプレイ208に表示する画像情報を記憶するフレームバッファメモリ207と、編集に使用する動画像の画像信号、音声信号を記録媒体から再生し出力する画像再生装置（例えば、ビデオテープレコーダ：VTR）205と、画像再生装置205から出力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置206などへ出力する、あるいは動画像編集装置で扱うフォーマットで編集され情報記憶装置206から出力される動画像の画像情報を画像信号に変換し画像信号出力201から出力するビデオインタフェース204と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像を異なるカット画像に属すると判定するカット変化点検出部203と、動画像編集装置で扱うフォーマットに変換しビデオインタフェース204から出力される画像情報を圧縮あるいは伸張する圧縮伸張部212と、CPU201の各種制御プログラムソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報などを一時記憶するメモリ202と、画像再生装置205から再生されビデオインタフェース204で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ202で一時記憶した動画像編集装置で使用されるさまざまな編集情報や制御情報（一連の動画像のフレーム番号、検出したカット変化点のカット画像のフレーム番号、入力した動画像（例えばサイズ640×480画素）をディスプレイ208の画面に表示される画像サイズ（例えば80×60画素）に縮小した縮小表示用画像（M-アイコン）、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）を記憶するランダムアクセス可能な、例えばハードディスクや光ディスクや光磁気ディスクなどの記録媒体を使用した情報記憶装置206と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス210とを備えている。なお、バス210に接続されている各装置は、バス210を介してCPU201からのアクセス信号により制御される。また、情報記憶装置206を伝送ネットワークを介したリモートファイルとしてもよい。更に、通信ネットワーク等を経由して外部より動画像データを取り込むこともできる。 また、所要の制御プログラムソフトウエアをメモリ202に記憶したものとして説明しているが、メモリ202と別のメモリに記憶させてもよく、例えばCPU201に内蔵されているメモリに記憶させてあってもよい。

上述のように構成され、所要のプログラムソフトウエアをメモリ202に備えている動画像編集装置を使用することにより、編集する動画像の画像情報を情報記憶装置206に記憶し管理することができ、ディスプレイ208の画面上に、情報記憶装置206に記憶している動画像をカット画像のM-アイコンやシーン画像のM-アイコンとして表示し、カット画像やシーン画像等を代表するM-アイコンで表示されたツリー構造を形成することで動画像の編集作業を行なうことができる。ディスプレイ208の画面では、M-アイコンが、動画像の編集に使用するカット画像やシーン画像および編集状態を表すツリー構造などの編集情報とのインタフェースであり、編集者は、入力装置209の例えばマウスを使用して、この編集情報を表示する画面の編集情報を選択することで動画像編集装置に指示を与えることができる。

次に、前記のように構成された動画像編集装置における動画像編集の動作を説明する。まず、ディスプレイ208に表示されている操作画面（図示していない）において、入力装置209、例えばマウスを使用して指示を行ない、画像再生装置205、例えばVTRを動作させ、装填済みのビデオテープに記録された画像信号を再生出力し、ビデオインタフェース204で所要フォーマットの画像情報に変換し、バス210を介して情報記憶装置206に画像情報を記憶する。ビデオインタフェース204で所要フォーマットに変換された画像情報は、さらに、バス210を介してカット変化点検出部203に入力される。カット変化点検出部203は、入力された画像情報の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定をする。このカット画像の変化点で切分けられたカット画像は、CPU201の制御により、カット画像ごとにカット画像番号を付与される。カット画像の変化点で切り分けられたカット画像のフレーム番号、カット画像ごとのカット画像番号、高速表示用画像（縮小画像：M-アイコン）用ファイル名、圧縮動画像ファイル名からなる動画像情報は、情報記憶装置206に記憶される。

また、ビデオインタフェース204で所要フォーマットに変換された画像情報は、バス210を介して圧縮伸張部212にも入力されており、圧縮伸張部212で圧縮された圧縮動画像情報は、情報記憶装置206に記憶される。また、複数のフレーム画像からなる動画像全体の確認、あるいはシーン画像の内容の確認、あるいは編集した番組の確認をするために、高速で読出しができる高速表示用画像も情報記憶装置206に登録記憶される。高速表示用画像は、高速で画像を再生するために、カット画像の代表画像として表示される画像サイズ（例えば80×60画素）に合わせて、画像の画素数を減少させ、縮小した動画像（縮小画像：M-アイコン）である。この高速表示用縮小動画像は、シーン画像の内容を確認したいとき、所要のシーン画像を、入力装置209、例えばマウスで指示を行ない、図８に示すように、高速表示用ウインドウ805へ表示される。即ち、この高速表示は、シーン画像中に含まれるすべてのフレーム画像を再生せず、カットの変化点毎の縮小画像だけを再生する。このため、再生に要する時間は、通常再生の時間に比べて遥かに早くなる。なお、カット画像の変化点の検出が正しくないとオペレータが判断した場合は、カットの変化点の修正を指示して、情報記憶装置206の動画像情報を、オペレータの指定する点に登録し直すことができる。

高速表示用縮小動画像（M-アイコン）はまた、動画像編集を行うはじめの段階として、図８の素材エリア803に、例えば、時間順に左上から右、下の方向に並べて表示される。
この図８は、動画像編集方法による編集画面の例で、ディスプレイ208の表示画面上に表示された編集用ウインドウ801、素材エリア803、編集エリア802、編集機能ボタンスイッチ群804などを示しており、素材エリア803にはカット画像の代表画像を表すM-アイコン307が複数表示され、（図面上には一枚のカット画像の代表画像として描かれているが、これは省略された図であって、実際のディスプレイ画面上では、M-アイコン307それぞれが、カット画像それぞれが持つフレーム画像数の枚数が重なった厚みのある形状で表示されている）、編集エリア802には編集されたツリー構造が示されている。また、編集者により入力装置209、例えばマウスを使用して動画像編集が指示されると、情報記憶装置206、あるいはメモリ202から階層構造管理情報を読出して、指示されたツリー構造の登録（編集）が行われることになる。

次に、図１４によってVTR等の画像再生装置205から動画像を取込み、階層構造に動画像編集を行う動作の一部を説明する。図９は画像再生装置205から動画像を取込み高速表示用縮小画像（M-アイコン）の作成と素材エリア803への表示までの処理動作を説明するフローチャートである。図１４において、マウスまたはキーボード等の入力装置209によって、画像再生装置205から情報記憶装置206へ動画像を記録するように指示がなされる（記録指示ステップ101）。更に、入力装置209から該当する動画像に関する高速表示用ファイル名、動画像ファイル名、動画像情報ファイル名を入力する（ファイル名入力ステップ102）。次に、ステップ102で入力されたファイル名がメモリ202に記録され（ファイル名記録ステップ103）、画像再生装置205から情報記憶装置206への記録が開始され（記録開始ステップ104）、かつ、カット番号として“1”がつけられる（カット番号“N=1”入力ステップ105）。次に、記録が終了していればステップ123へ進み、終了していなければステップ107へ進む（記録終了分岐ステップ106）。ステップ107は、画像再生装置205から映像信号を1フレームずつ出力する映像信号出力ステップ107で、出力された映像信号（フレーム画像）はビデオインタフェース204を介して、バス210へ送られ（バス入力ステップ108）、バス210からカット変化点検出部203とCPU201と圧縮伸張部212へ送られる（映像信号伝達ステップ109）。CPU201は、送られたフレーム画像を例えば1/64の画素数（640×480画素から８０×６０画素）に縮小し（縮小ステップ110）、この縮小したデータを高速表示用ファイルとして情報記憶装置206に格納し（高速表示用ファイル格納ステップ111）、更に、高速表示用ファイルに書込まれたアドレスをメモリ202に格納する（アドレス格納ステップ112）。また、圧縮伸張部212では、送られたフレーム画像をデータ圧縮し、圧縮したデータを情報記憶装置206に送り（データ圧縮ステップ113）、情報記憶装置206では送られてきた圧縮データを動画像ファイルとして格納する（動画像ファイル格納ステップ114）。次にカット変化点検出部203では、送られてきたフレーム画像からカットの変化点を検出しており、カット変化点として検出されなければステップ106に進み、カットの変化点であればステップ116に進む（カット変化点検出ステップ115）。ステップ116以降の処理では、まず、カウンタ値Cを“1”増やし（カウンタ値増加ステップ116）、次に、カット番号を１つ増やし“カット番号”=“カット番号”+ 1とし（カット番号変更ステップ117）、次に、カットの長さを“カット長さ= N - N₁”（N₁は前回のカット点のタイムコード、Nは現在のカット点のタイムコード）を算出し（カット長さ算出ステップ118）、更に、“N₁＝ N”として（ステップ119）、メモリ202から高速表示用ファイル名と高速表示用画像アドレスNを読出す（アドレス読出しステップ120）。アドレス読出しステップ120で読出したアドレスNから、メモリ202にカット番号（= h + 4 × C），カットの長さ（= h + 4 × C + 1），高速表示用ファイル名（= h + 4 × C + 2），高速表示用画像のアドレス（= h + 4 × C + 3）を格納し、ステップ106へ戻る（動画像情報格納ステップ121）。ステップ123では、メモリ202のアドレスhからアドレスh + 4 × C + 3までを読出し、動画像情報ファイルとして情報記憶装置206に格納する。

図１１〜図１３及び図９と図１０によって、階層構造管理情報ファイルが生成される過程を説明する。図１１〜図１３は編集中のツリー構造を表す図で、図９は動画像情報ファイルの構成例を示した図で編集画面の編集エリアだけを抜粋した図、図１０は動画像情報の階層構造を管理する階層構造管理情報ファイルの構成例を示した図である。図１１〜図１３及び図９と図１０によって、階層構造管理情報ファイルが生成される過程を説明する。図１２と図１３は編集中のツリー構造を表す図で、802-1と802-2はツリー構造表示用ウインドウ、366-1と366-2はツリー構造、351はカットAのM-アイコン、352はカットBのM-アイコン、353はカットCのM-アイコン、354はカットDのM-アイコン、355はシーンAのM-アイコン、356はシーンCのM-アイコンである。また、図９は動画像ファイルのデータ構造を説明する図である。901は動画像情報ファイル、551-1と551-2はカット番号に対応するデータ領域、552-1と552-2はカットの長さに対応するデータ領域、553-1と553-2は高速表示用ファイル名に対応するデータ領域、554-1と554-2は高速表示用画像のアドレスに対応するデータ領域である。今、カットA351とカットB352とを１つのシーンにまとめ、シーンA355とする指示があった時、情報記憶装置206からカットA351とカットB352に対応するデータを、図９のデータ構造を持つ動画像情報ファイル901を読出して、シーン番号をA、子となるカットA351とカットB352のそれぞれのカット番号のアドレスにそれぞれの値を“A”，“B”を入力し、更に、２つのカットの表示座標からのシーンAの座標（所定の距離だけ離した相対座標）を計算して図１０のような階層構造管理情報ファイルとして情報記憶装置206に格納する。その結果、例えば図１２に示すように、ツリー構造表示用ウインドウ802-1にM-アイコン351，352，355のツリー構造366-1に表示される。

図１０は生成された階層構造情報ファイルのデータ構造を説明するための図である。902は階層構造管理情報ファイル、500はシーン管理情報ファイル、501は階層番号に対応するデータ領域、502は動画像番号に対応するデータ領域、503は子となるシーン番号(1)（例えば、後述する図１１のシーン番号A355）に対応するデータ領域、504は子となるシーン番号(2)（例えば、後述する図１１のシーン番号C356）に対応するデータ領域、505はM-アイコンの表示座標に対応するデータ領域、510はカット情報管理ファイル、511は階層番号に対応するデータ領域、512は親となる動画像番号（例えば、後述する図１１の動画像A357）に対応するデータ領域、514は子となるカット番号（例えば、図１２のカットA351）に対応するデータ領域、515は子となるカット番号（例えば、図１２のカットB352）に対応するデータ領域、516はM-アイコンの表示座標に対応するデータ領域、520はカット画像情報ファイル、521は階層番号に対応するデータ領域、522はカット番号（例えば、図１２のカットA351）に対応するデータ領域、523はカットの長さに対応するデータ領域、524は高速表示用ファイル名に対応するデータ領域、525は高速表示用画像のアドレスに対応するデータ領域、526はM-アイコンの表示座標に対応するデータ領域である。

図９において、動画像情報ファイル901には、高速表示用およびカット一欄ウインドウ303（図８参照）に表示されたM-アイコン307（図８参照）の情報が格納されている。即ち、データ領域551-1，551-2にはM-アイコン（例えば、図１２のカットA351）のカット番号、データ領域552-1，552-2にはM-アイコンが代表するカットの長さ（フレーム数）、データ領域553-1，553-2にはM-アイコンのM-アイコンファイル名、データ領域554-1，554-2にはM-アイコンを格納したアドレスが格納されている。（“カット番号”のデータ領域のアドレスをh番目とすると、h+ 1番目のアドレスは“カットの長さ”のデータ領域、h+ 2番目のアドレスは“高速表示用ファイル名”のデータ領域、h+ 3番目のアドレスは“高速表示用画像のアドレス”のデータ領域、h+ 4番目のアドレスは“カット番号”のデータ領域、・・・・・・・・）
図１２のツリー構造に、更にシーンCを追加した場合も同様で、図１３に示すように、カットC353，カットD354，シーンC356の情報が階層構造管理情報ファイルに登録され、ツリー構造表示用ウインドウ802-2にM-アイコン353，354，356のツリー構造366-2に表示される。更に、複数のシーンから動画像を生成する場合も同様で、情報記憶装置206から階層構造管理情報を読出し、親の動画像のデータ領域（シーン管理情報ファイル）の子となるシーン番号に該当する値をつけて、それらの子となるシーンのデータ領域（カット管理情報ファイル）にそれらの所属する親となる動画像番号をつける。例えば、図１１のツリー構造表示用ウインドウ802-3に示すように、図１３で説明したシーンA355とシーンC356とによって動画像A357を生成した場合には、ツリー構造366のような階層状に表示され、図１０の階層構造管理情報ファイルのシーン管理情報ファイル500、カット管理情報ファイル510、カット画像情報ファイル520のようなデータ構造が生成されている。

図１１は編集されたツリー構造を表す図で、802-3はツリー構造表示用ウインドウ、366はツリー構造、351はカットAのM-アイコン、352はカットBのM-アイコン、353はカットCのM-アイコン、354はカットDのM-アイコン、355はシーンAのM-アイコン、356はシーンCのM-アイコン、357は動画像AのM-アイコンである。図１１において、カットA351とカットB352とで、シーンA355が組上げられ、カットC353とカットD354とで、シーンC356が組上げられている。更に、シーンA355とシーンB356とで複数のシーン（動画像A）367が組上げられて全体のツリー構造ができている。

以上述べた図９〜図１０と図１１〜図１３に示すように、カットA351とカットB352をツリー構造に組上げて一つのシーンA355とする指示がされたとき、情報記憶装置206からカットA351、カットB352に対応するデータと、図９に例を示した構造の動画像情報ファイルを読出してツリー構造の情報を付加して図１０に示すような階層構造管理情報ファイルとして登録する。

以上のように、CPU201は、情報記憶装置206に記憶された動画像のカットの変化点としての各カットごとにカット番号を付与する。また、カットの変化点が正しくないと指示された場合、CPU201は情報記憶装置206の動画像情報を登録し直す。また、オペレータにより入力装置209で動画像編集等が指示されると、情報記憶装置206あるはメモリ202からツリー構造管理情報を読出して変更して再登録する。

上述の編集操作を順次繰り返すことにより、CPU201がアイコンの表示座標にもとづいて処理を行ない、ディスプレイ208の画面上の編集エリア802（図８参照）に、図１１に示すようなツリー構造を表示する。上述のようなノンリニア編集では、あらかじめ動画像が記憶装置に格納されていて、代表画像と映像素材とが対応づけられていることが前提である。しかし、番組制作の場合、番組の構成は決まっていても映像素材が未だ記憶装置に格納されていない場合とか、映像素材がすでに記憶装置に格納されていても、どの映像を使用するか決まっていない場合がある。例えば、定時のニュース番組では、番組の時間と構成はあらかじめ決っていても、最新のニュース映像は実際の番組の開始時間近くでないと集まってこない場合がある。そのような場合には、使用する映像素材が決まる前に、番組の編集を開始することができないために、編集作業に十分な時間をかけることができないし、編集のための時間に余裕がなくなる。また、番組の構成を決定した後に、その番組構成に適した映像素材を集めて番組を構成するというやり方も採用できない。

上述のように、従来の動画像編集方法および装置では、あらかじめ記憶装置に編集画像素材が記録されないと編集ができない。したがって、ビデオ再生ユニットから、または衛星回線から、または放送局のキー局の専用線などから送られてきた映像入力情報を情報記憶装置へ記録後に、ツリー構造を作成するため事前に記憶する必要がある。画像編集は極めてデリケートかつ重要な作業で、単に映像を情報記憶装置に記憶するより時間がかかるため、報道番組のようにきわめて緊急性の高い番組を編集するような場合に編集作業ができないことは重大な問題である。
特開平１１−０７５１５０号公報

従来技術による動画像編集方法および装置は、編集する動画像を、例えばビデオテープに記録し、画像再生装置205で再生して、所要の画像情報として情報記憶装置206へ記憶後に、はじめて、ツリー構造を作成するために所要の編集操作を行なうことで動画像が編集されることになり、情報記憶装置206に編集する動画像が記憶されていないと、ツリー構造を作成することができず、編集を行なうことはできない。また、情報記憶装置206に記憶されていた画像情報、例えば高速表示用縮小動画像ファイルが消去された場合、すでに動画像編集を行ない、動画像情報ファイルとして情報記憶装置206に記憶してあったファイルを読み出して動画像編集状態を変更しようとしても、動画像情報ファイルに登録されていた高速表示用縮小動画像ファイルが存在しないため、情報記憶装置206から動画像情報ファイルを読み出すことはできない。また、情報記憶装置206の容量に制限があるため、不要と判断した動画像情報ファイルを情報記憶装置206から消去することがある。しかし、編集に使用した動画像情報ファイルを誤って消去した場合には編集情報が失われ、改めて編集をやり直さなければならない。動画像情報ファイルに登録してあったファイルが一つでも存在しなくなると、もう一度、編集画像素材を情報記憶装置206に記憶し、もう一度編集操作を行ない、ツリー構造を作成しなければならないため、手間がかかるという問題もある。

本発明は、前記問題を解決し、編集する動画像が情報記憶装置に記憶されてない場合でもツリー構造を作成することができ、また、すでに動画像編集を行ない情報記憶装置に記憶されていた画像情報が消去されている場合でも、再度編集画像素材を情報記憶装置に記憶し、再度編集操作を行ない、ツリー構造を作成しなくても動画像編集を行なうことができる動画像編集方法および装置を提供することを目的とする。

上記の目的を達成するために、本発明の動画像編集方法は、表示装置に表示された編集画面上で、編集画面上の表示を操作することにより、映像素材源から供給される映像素材によって動画像を編集する動画像編集装置において、映像素材を複数のフレーム画像からなる複数のカット画像に分割し、各々のカット画像を代表する代表フレーム画像を編集画面に表示し、代表フレーム画像はカット画像に分割した状態のままの順序で表示するものである。

また、本発明の動画像編集方法は、表示装置に表示された編集画面上で、編集画面上の表示を操作することにより、映像素材源から供給される映像素材によって動画像を編集する動画像編集装置において、映像素材を複数のフレーム画像からなる複数のカット画像に分割し、各々のカット画像を代表する代表フレーム画像を編集画面に表示し、代表フレーム画像の１つあるいは複数の集まりをシーン画像とし、指定に応じて、前記シーン画像にカット画像の長さ設定可能な仮表示画像を組入れ、仮表示画像に任意の映像素材を結合するものである。

更に、本発明の動画像編集方法は、表示装置に表示された編集画面上で、編集画面上の表示を操作することにより、映像素材源から供給される映像素材によって動画像を編集する動画像編集装置において、動画像の少なくともカット番号、カットの長さ、ファイル名、画像のアドレスからなる動画像情報ファイルから１つあるいは複数のファイルを消去する場合に、ファイルは削除せずに画像のアドレスに所定の文字を挿入して再登録可能な状態にしておくものである。

また、本発明の動画像編集装置は、表示装置に表示された編集画面上で、編集画面上の表示を操作することにより、映像素材源から供給される映像素材によって動画像を編集する動画像編集装置において、映像素材を複数のフレーム画像からなる複数のカット画像に分割する手段と、各々のカット画像を代表する代表フレーム画像を編集画面に表示する手段と、代表フレーム画像はカット画像に分割した状態のままの順序で表示する手段とを有するものである。

本発明によれば、編集する動画像が情報記憶装置に記憶されてない場合でもツリー構造を作成することができる。また、映像素材がない場合でも画像編集を行なうことができるため、緊急報道番組の放送等を予定してあらかじめ編集を終わっておいてから緊急の映像素材の到着を待つことができるので、柔軟な番組編集を行なうことができる。また、すでに動画像編集を行ない情報記憶装置に記憶されていた画像情報が消去されている場合でも、再度編集画像素材を情報記憶装置に記憶し、再度編集操作を行ない、ツリー構造を作成しなくても動画像編集を行なうことができる動画像編集方法および装置を提供することができる。

また、本発明の別の効果として、ニュース番組等構成が一定である場合には、一度テンプレートとして保存しておけば、その構成の枠内に別の画像を更新するだけで、新しい番組を簡単にかつ短時間で制作することができる。

本発明による動画像編集方法について説明をする。従来技術で説明した図２のような構成の動画像編集装置において、所要のプログラムソフトウエアを備えているメモリ202を使用することにより、編集する動画像の画像情報をメモリ202、更に情報記憶装置206に記憶して管理することができ、情報記憶装置206に記憶し管理している動画像をディスプレイ208の画面上の編集用ウインドウにカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位とした編集作業を行ない、編集し登録したカット画像やシーン画像をツリー構造で表示し、一連の動画像を編集した番組を作成することができる。なお、前述の「カット画像」というのは、一般的に、テレビジョンカメラによる１回の撮像開始から終了までの間で撮像されたフレーム単位の画像の集合として定義され、通常は動画像であり、本発明の動画像編集装置においては、ディスプレイ208の画面に表示されるアイコンがカット画像と１対１に対応するユーザインタフェースとなっている。「M-アイコン」は、複数のフレーム画像からなる動画像全体、あるいはシーン画像を高速で表示して見る場合に、高速表示用として、あるいはカット画像の代表画像として表示される画像のサイズを所要の比率で縮小した表示用画像である。

また、「シーン画像」というのは、ある決まった対象を撮像した複数のカット画像の集合として定義され、複数のシーン画像は、更に特定の撮像テーマで取りまとめることで１つの番組とすることができる。このように、１つの番組として編集された動画像は、複数のカット画像、複数のカット画像を集合したシーン画像、複数のシーン画像を集合した撮像テーマを有する一連の動画像（番組）というような情報のツリー構造としてディスプレイ画面上に表示し整理することができる。

本発明の動画像編集方法および装置による動画像の編集の一例を説明する。動画像の編集においては、まず、画像再生装置205、例えばVTRを動作させ、編集をして番組に使用したい動画像が記憶されている記憶媒体、例えばビデオテープから動画像（信号）を再生し、ビデオインタフェース204で所定フォーマットの画像情報に変換し、バス210を介して情報記憶装置206へ伝送し、情報記憶装置206に動画像（情報）を記憶する。また、ビデオインタフェース204で所定フォーマットに変換された画像情報は、バス210を介してカット変化点検出部203に入力される。カット変化点検出部203は、入力された画像情報の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定する。カット変化点を検出されたカット画像のフレーム番号、高速表示用ファイル名、圧縮画像ファイル名などからなる動画像情報は、情報記憶装置206に記憶される。前述のようにして情報記憶装置206に記憶された動画像を使用して動画像の編集を行なうが、情報記憶装置206に記憶された動画像は、所要数のカット画像が記憶されており、それぞれのカット画像が編集する番組の画像素材となる。

図３は、本発明の動画像編集方法により、動画像編集装置のディスプレイ208の画面上に表示される編集画面の一例で、従来技術の説明でも使用した図８に示すディスプレイ208の画面上に表示された編集用ウインドウ801の編集機能ボタンスイッチ群804に、さらに空白アイコン作成ボタンスイッチ305と、結合ボタンスイッチ306とを設けたものであり、素材エリア303にカット画像のアイコン310〜317が登録され表示されているもので、いまだ編集エリア302にはカット画像が編集されておらずツリー構造が形成されていない図である。

以下、本発明の動画像編集方法および装置による編集を、編集作業を進める手順に従って説明する。まず、例えばニュース番組では、番組の始りに番組名のテロップが５秒間放送されるシーン、そしてテロップ終了後にアナウンサーが放送スタジオでニュース原稿を読むシーンが２０秒間続き、アナウンサーが原稿を読み終えた後に３０秒間のニュース映像シーンが放送される。このアナウンサーが原稿を読むシーンとその後の音声・文字情報等を含むニュース映像シーンの組合わせが、３回繰り返し放送され、最後にコマーシャル（CM）映像シーンが１５秒間放送されるという構成のように、繰り返し使用される構成が決まっている番組の編集作業の場合について説明する。

図３に示す編集用ウインドウ301の表示において、動画像編集装置の入力装置209、例えばマウスを使用して、画面上のポインタを編集機能ボタンスイッチ群304の空白アイコン作成ボタンスイッチ305に重ね、クリックすることで、空白アイコン作成ボタンスイッチ305を押し、“オン”とする動作の指示をする。空白アイコン作成ボタンスイッチ305をオンとすると、編集用ウインドウ301のあらかじめ定められた位置（例えば、この位置は、編集用ウインドウ301の右上や、左下、その他任意の位置に設定できるだけでなく、編集中にマウス等で自由に移動することができる）に、図４に示すような、カット画像の長さを設定するための、カット画像の長さ設定用ウインドウ401が表示される。

ニュース番組は、最初に、番組名のテロップが５秒間放送されるシーンとなっているから、カット画像長さデータエリア402に、入力装置209のキーボードを使用して５秒に相当する数値、例えば「００：００：０５：００」を入力する。ここで、「００：００：０５：００」は、順に“００”時、“００”分、“０５”秒、“００”フレームを表す。次に、入力装置209のマウスを使用して、OKボタンスイッチ403を押すと、図９に示した動画像情報ファイル901の、カット画像番号のアドレス（例えば、データ領域551-1）に値“1”、カット画像の長さのアドレス（例えば、データ領域552-1）に“００：００：０５：００”、高速表示用ファイル名のアドレス（例えば、データ領域553-1）に“NULL”、高速表示用画像アドレス（例えば、データ領域554-1）に“NULL”と記録される。“NULL”は、対応するカット画像が未だ登録されていないか、あるいは、存在しないことを示す。

次に、CLOSEボタンスイッチ405を押すと、カット画像長さ設定用ウインドウ401の表示が消され（クローズし）、図３に示す素材エリア303に、動画像情報ファイル901に記録された長さの値のデータ長を持つカット画像の代表画像であるM-アイコン310が表示される。このカット画像の代表画像であるM-アイコン310は、動画像情報ファイル901に記録されている高速表示用画像のアドレスにはNULLが記録されていることにより、カット画像と対応づけられていないことを示す仮表示画像、例えば、空白アイコンである。以下、番組を構成する別の画像についても、同様の操作手順を繰返すことにより、図３の素材エリア303に示す別のカット画像の仮表示画像である空白アイコン311〜317が表示される。空白アイコンには、後から任意の画像と関連づける（結合する）ことができる。また空白アイコンのカット画像としては、黒信号等の一定レベルの縮小画像を空白のフレーム画像として挿入したり、文字、記号、数字の少なくとも１つあるいは、空白アイコンであることを示す特別の画像を挿入することができる。

上述のようにして作成された、空白アイコンによる編集画面は、繰返し使用されるので、ニュース番組の編集用テンプレートとして保存し何度も利用することができる。
なお、カット画像長さ設定用ウインドウ401のCANCELボタンスイッチ404を押すと、動画像情報ファイル901には何も記録せずに、カット画像長さ設定用ウインドウ401をクローズする。つぎに、素材エリア303のカット画像の空白のM-アイコン310〜317を選択し、編集エリア302へ登録し、編集結果として、図５の編集エリア302に示すようにカット画像のM-アイコン310〜317とシーン画像のM-アイコン318とからなるツリー構造を得る。このツリー構造の作成については、図８〜図１４を参照して説明した。

次に、空白となっている各カット画像の部分に、画像素材の中からニュース番組として使用するニュース画像を選択し登録して、ニュース番組とする場合を説明する。ニュース画像は、例えば取材され記録されたビデオテープを画像再生装置205で再生して、あるいは衛星受信回線、あるいは放送局間の専用回線などから伝送されてきて、所要フォーマットに変換され情報記憶装置206に記憶される。 入力装置209の例えばマウスを使用して、情報記憶装置206に記憶されたニュース画像を読出すと（前述の説明と同様に、ディスプレイ208の画面上に表示されるウインドウにおける画面操作で読出すが、詳細な説明は省略する）、カット変化点検出部203で検出され判定されたカット画像の変化点ごとに切分けられた各カット画像の代表画像がそれぞれアイコンとして、図６、あるいは図７に示すように素材エリア303に表示される。図６はカット変化点検出部203でカット画像の変化点ごとに切分けられた状態のままの順序で表示されているカット画像のM-アイコン、図７は図６に表示されているカット画像のM-アイコンを整理し表示されているカット画像のM-アイコンを示しており、このM-アイコンの画像データは、メモリ202に一時記憶される。動画像の変化点を検出してカット分割し、代表カット画像を組合せて階層構造を生成して編集する詳しい動作については、平成９年特許願第２３４７０６号「動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体」に記載している。

この素材エリア303に表示されているニュース画像の複数のM-アイコンのカット画像と、編集エリア302にツリー構造で表示されているあらかじめ用意した空白のアイコン310〜317の空白のカット画像との結合は、結合させる所要の空白のカット画像、例えば空白のM-アイコン311と、この空白のM-アイコン311の空白のカット画像の部分に結合する所要のニュース画像のカット画像、例えばM-アイコン322とに、入力装置209のマウスによりポインタを重ねクリックして結合を指示後、編集機能ボタンスイッチ群304の結合ボタンスイッチ306を入力装置209のマウスにより押しオンとする指示をすると、カット画像が結合され、図１に示すように素材エリア303のニュース画像のM-アイコン322が編集エリア302のM-アイコン311として表示される。素材エリア303のニュース画像のM-アイコン322が表示されていた部分は、カット画像が結合されファイルが移動したので、空白となっており、結合されたことが認識できる。同様の手順で、編集エリア302の空白アイコン313の空白のカット画像の部分とニュース画像のカット画像のアイコン321とが、また、空白アイコン315の空白のカット画像の部分とニュース画像のカット画像のアイコン323とが結合され表示されており、素材エリア303のカット画像のアイコン321とカット画像のアイコン３２３の部分が空白となっている。なお、上述した図１の実施例では、例えば空白アイコン311と結合した素材エリア303の“V”のニュース画像アイコン322は“移動して”もとの場所があいているが、“複写して”もとの場所にも残っているようにすることも可能である。

次に、情報記憶装置206の動画像情報ファイル901（図９参照）に登録してあったファイルが、１つでも情報記憶装置206から消去され、現在すでに存在してなかった場合に、消去されたファイルを再登録するため、もう一度、画像素材を情報記憶装置206に記憶し、ツリー構造を作成しなければならなくなることを回避するための動作を説明する。入力装置209、例えばマウスを使用して指示を行ない、情報記憶装置206に記憶されている動画像、アイコンのファイル群がディスプレイ208に一覧表示されるようにする。入力装置209のマウスを使用して、情報記憶装置206からファイルを消去する指示をした時、消去を行なうファイル名が記憶されている動画像情報ファイル、階層構造管理情報ファイルを検索し、それぞれのファイルの高速表示用ファイル名に“NULL”、高速表示用画像アドレスに“NULL”と書込みを行なう。以上のように、この書き込みにより、動画像情報ファイルの高速表示用画像アドレスにNULLが記憶され、空白アイコンが表示されるため、その部分に入れる画像に変更の必要はあるがさしあたって適当な画像素材がない場合にも、もう一度ツリー構造を作成し編集をする必要がなくなる。

本発明の動画像編集方法による編集画面説明図。 動画像編集装置の一例を示すブロック構成図。 本発明の動画像編集方法による編集画面説明図。 本発明の動画像編集方法で使用される編集ウインドウ説明図。 本発明の動画像編集方法による編集画面説明図。 本発明の動画像編集方法による編集画面説明図。 本発明の動画像編集方法による編集画面説明図。 動画像編集方法による編集画面説明図。 動画像情報ファイルの構成例を示した図。 動画像情報の階層構造を管理する階層構造管理情報ファイルの構成例を示した図。 動画像編集方法による編集画面の編集エリアの説明図。 動画像編集方法による編集画面の編集エリアの説明図。 動画像編集方法による編集画面の編集エリアの説明図。 動画像編集動作の一部を説明するフローチャート。

符号の説明

201：CPU、 202：メモリ、 203：カット変化点検出部、 204：ビデオインタフェース、 205：画像再生装置、 206：情報記憶装置、 207：フレームバッファメモリ、 208：ディスプレイ、 209：入力装置、 210：バス、 211：画像信号出力、 212：圧縮伸張部、301：編集用ウインドウ、 302：編集エリア、 303：素材エリア、 304：編集機能ボタンスイッチ群、 305：空白アイコン作成ボタンスイッチ、 305-1，305-2，305-3，305-4：M-アイコン、 306：結合ボタンスイッチ、 307：M-アイコン、 310〜317：空白アイコン、 351〜356：M-アイコン、 366，366-1，366-2：ツリー構造、 401：カット画像長さ設定用ウインドウ、 402：カット画像長さデータエリア、 403：OKボタンスイッチ、 404：CANCELボタンスイッチ、 405：CLOSEボタンスイッチ、 500：シーン管理情報ファイル、 501：階層番号に対応するデータ領域、 502：動画像番号に対応するデータ領域、 503，504：子となるシーン番号に対応するデータ領域、 505：M-アイコンの表示座標に対応するデータ領域、 510：カット情報管理ファイル、 511：階層番号に対応するデータ領域、 512：親となる動画像番号に対応するデータ領域、 514，515：子となるカット番号に対応するデータ領域、 516：M-アイコンの表示座標に対応するデータ領域、 520：カット画像情報ファイル、 521：階層番号に対応するデータ領域、 522：カット番号に対応するデータ領域、 523：カットの長さに対応するデータ領域、 524：高速表示用ファイル名に対応するデータ領域、 525：高速表示用画像のアドレスに対応するデータ領域、 526：M-アイコンの表示座標に対応するデータ領域、 551-1，551-2：カット番号に対応するデータ領域、 552-1，552-2：カットの長さに対応するデータ領域、 553-1，553-2：高速表示用ファイル名に対応するデータ領域、 554-1，554-2：高速表示用画像のアドレスに対応するデータ領域、802-1，802-2，802-3：ツリー構造表示用ウインドウ、 801：編集用ウインドウ、 802：編集エリア、 803：素材エリア、 804：編集機能ボタンスイッチ群、901：動画像情報ファイル、 902：階層構造管理情報ファイル。

Claims (4)

1. コンピュータの表示装置に表示された編集画面上で、該編集画面上の表示されたアイコンに対する操作をして、映像素材源から供給される映像素材を編集する動画像編集方法において、
   所定の操作を受けて、長さの定まった複数の空のカット画像を作成し、該複数の空のカット画像を示す複数の空白アイコンを前記編集画面の素材エリアに各々表示する、空白アイコン編集ステップと、
   空のカット画像に対するツリー構造の作成の操作を受けて、該複数の空白アイコンを、該作成されたツリー構造でもって前記編集画面の編集エリアに各々表示する登録ステップと、
   該登録ステップの後に、供給された前記映像素材を、変化点に応じて、複数のフレーム画像からなる複数のカット画像に分割する分割ステップと、
   各々の前記カット画像を代表するアイコンである代表フレーム画像を、映像素材中における時間の順序に応じた並びで、前記素材エリアに各々表示する素材表示ステップと、
   前記編集エリアに表示された１つの前記空白アイコンと前記素材エリアに表示された前記代表フレーム画像とを指定した所定の操作を受けて、該指定した代表フレーム画像で示されるカット画像を、該指定した空白アイコンで示されるカット画像に関連付ける統合ステップと、を有する動画像編集方法。
2. 前記統合ステップは、前記関連付けの操作を、該指定した代表フレーム画像が、該指定した空白アイコンで示されるカット画像の代表フレーム画像に移動若しくは複写される態様で、該編集画面上に表示することを特徴とする、請求項２記載の動画像編集方法。
3. 前記分割ステップは、分割したカット画像毎に順次シリアルに付与されるカット番号とカットの長さとを動画像情報ファイルに格納し、
   空白アイコン編集ステップは、前記空のカット画像を、カット番号、カットの長さ、及び前記代表フレーム画像のファイル名若しくはアドレスを含むカット画像情報ファイルとして記録し、前記ファイル名若しくはアドレスとしては、対応するカット画像が未だ登録されていないか或いは存在しないことを示す所定の情報を記録するものであり、
   前記登録ステップは、前記ツリー構造を、カット画像情報ファイルを含む階層構造管理情報ファイルとして記録装置に格納することを特徴とする請求項２記載の動画像編集方法。
4. 表示装置に表示された編集画面上で、表示されたアイコンに対する操作をして、映像素材源から供給される映像素材を編集する動画像編集装置において、
   所定の操作を受けて、長さの定まった複数の空のカット画像を作成し、該複数の空のカット画像を示す複数の空白アイコンを前記編集画面の素材エリアに各々表示する、空白アイコン編集手段と、
   空のカット画像に対するツリー構造の作成の操作を受けて、該複数の空白アイコンを、該作成されたツリー構造でもって前記編集画面の編集エリアに各々表示する登録手段と、
   該登録手段による処理の後に、供給された前記映像素材を、変化点に応じて、複数のフレーム画像からなる複数のカット画像に分割する分割手段と、
   各々の前記カット画像を代表するアイコンである代表フレーム画像を、映像素材中における時間の順序に応じた並びで、前記素材エリアに各々表示する素材表示手段と、
   前記編集エリアに表示された１つの前記空白アイコンと前記素材エリアに表示された前記代表フレーム画像とを指定した所定の操作を受けて、該指定した代表フレーム画像で示されるカット画像を、該指定した空白アイコンで示されるカット画像に関連付ける統合手段と、を有することを特徴とする動画像編集装置。