JP3325809B2 - 映像制作方法及び装置及びこの方法を記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像と音楽を組
み合わせて映像を制作する方法および装置に関するもの
である。その際に問題となる動画像と音楽の時間同期を
自動的に行うため、音楽及び動画像から抽出した特徴点
から同期に用いる基準点を設定し、その基準点に従って
一部を削除する等の操作を行って同期を行う。ただし、
音楽または動画像にある特徴的な内容が含まれている場
合には、一部を削除するなどの操作を行わない区間を動
画像や音楽に与えることで、重要なコンテンツを残した
まま、時間同期が自動的に行われた映像を制作すること
ができ、映像の自動制作といった分野への応用が考えら
れる。

【０００２】

【従来の技術】ディジタル技術の進歩により、映像を放
送局やプロダクション以外の一般の人々が気軽に扱える
ようになった。一般の人々は各々の興味のある対象を小
型ビデオカメラで撮影したり、ネットワークでそれに類
する映像を入手したりして、映像作品を制作することが
可能な時代になっている。

【０００３】一方で、こうした映像を視聴する側には、
膨大な映像の中から自分に有益な映像を選択する必要が
生じる。そこで、視聴者の目に付きやすいように内容を
要約し、かつ宣伝するための映像を提供する必要があ
る。また、本編にあたる映像作品においても、その冒頭
だけを見て、視聴者が飽きて視聴を止めてしまうことを
防ぐために、興味を惹くような映像を冒頭や途中、乃至
は全編に渡って必要とする。

【０００４】こうした映像は、音楽が付加してあった
り、映像作品の一部を名場面としてつないだりなどの工
夫が凝らされているのが一般的である。これらの映像を
制作するためには、良い動画像素材と良い音楽素材を、
最適に組み合せる必要がある。

【０００５】こうした映像は、現在のテレビ番組や映画
における次回予告、上映予告、番組宣伝、または、オー
プニング映像と同等の利用価値が見出されることもあ
る。これらは、本編よりも十分に短く、かつ、本編の魅
力を十分に伝える効果が求められる。これらの映像の作
成方法は、様々なノウハウの積み重ねで作られている
が、なかでも、代表的な制作方法として、映像本編の内
容の雰囲気や魅力を効果的にあらわすテーマを表す音楽
と、本編で用いられた、または、深く関連する映像の一
部を組み合わせて制作する方法である。こうすることで
本編の一部がわかり、かつ、テーマ音楽の利用によって
映像本編の雰囲気を伝える効果を有する。なお、便宜
上、テーマ音楽に動画像情報を付加することで制作され
た映像をテーマ音楽映像と呼ぶ。

【０００６】上述のテーマ音楽映像を初めとする動画像
と音楽との組み合せによる映像の作成には、まず素材と
して利用する音楽と動画像が重要となる。次に、音楽と
動画像の時間長が一致していることが最低条件である。
さらに、音楽のメロディの変化や音量の変化と共にシー
ンが変化する等の工夫が行われている方がより完成度の
高い映像になることが知られている。

【０００７】例えば、テーマ音楽映像の制作において、
従来の映像制作プロダクション等では、全てを人手を用
いて制作、編集している。しかし、これは本編に加えて
新たに一本の作品を構成することと等しい。

【０００８】そこで、テーマ音楽映像の制作を目的の一
つとして、映像中の音楽、人の声、等を分類し、映像中
のより重要な部分を自動的に抽出して映像のダイジェス
トを制作する試みが（Ｅｎｈａｎｃｅｄ Ｖｉｄｅｏ
Ｈａｎｄｌｉｎｇ ｂａｓｅｄ ｏｎ Ａｕｄｉｏ Ａ
ｎａｌｙｓｉｓ：Ｋ．Ｍｉｎａｍｉ，Ａ．Ａｋｕｔｓ
ｕ，Ｈ．Ｈａｍａｄａ，Ｙ．Ｔｏｎｏｍｕｒａ：Ｐｒｏ
ｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＩＥＥＥ Ｍｕｌｔｉ
ｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅ
ｍｓ １９９７，ｐ．２１９）によって行われている。
しかし、こうした自動処理によって作成された映像は、
最適な動画像や音楽が素材として選択されているとは言
い難く、次回予告や番組宣伝などの目的を十分満たして
いるとは言い難い。すなわち、素材の選択には、内容把
握の能力が必要となるため、自動化が困難な面がある。

【０００９】テーマ音楽映像の場合には、その素材とな
る動画像は、本編の動画像から選択すれば良いだけなの
で、従来の映像作品の制作とは異なって素材を集めると
いう労力は軽減され人手を介しても十分容易に行うこと
ができる。しかし、それら素材を編集する作業は従来と
同様の困難が伴う。編集作業の労力を軽減する目的で作
成されたノンリニア編集機は、頭出しや反復して表示す
るなどの編集作業時の労力を軽減する目的には対応して
いるが、音楽と動画像に工夫を加えながら自動的に同期
する機能はない。

【００１０】

【発明が解決しようとする課題】上述したように動画像
と音楽を組み合せによる映像の作成のための従来技術の
問題点は、映像の作成に用いる良い素材を自動抽出でき
ないこと、と、素材としての音楽及び動画像を簡単に同
期させる機能が不十分であることの２点があげられる。
しかし、素材の選択方法は非常に困難を伴うため、自動
化することは困難である。従って、本発明ではこれは取
り上げない。

【００１１】本発明は、前述した問題点のうちの素材を
編集し映像を制作する処理における問題点である音楽と
動画像の同期処理及び同期の際に良い映像ができるよう
な工夫を含めた編集処理、すなわち自動同期を行う映像
制作方法および装置を実現することを課題とし、その課
題を解決するためのものである。

【００１２】

【課題を解決するための手段】前述の課題解決のため、
本発明は、以下の（１）〜（１３）の発明によって利用
者が音楽と動画像をあらかじめ選択した後、音楽と動画
像からより効果的な映像を作成しつつ、自動的に音楽と
動画像の同期を行なうことを可能にする。

【００１３】（１）の発明は、動画像と音楽を組み合わ
せて、音楽付き映像を制作する映像制作方法または装置
において、音楽からあらかじめ定められた一種類乃至は
複数種類の特徴的なイベントが発生したことを示す特徴
点を算出しておく音楽特徴点算出工程または音楽特徴点
算出部と、利用者が対象としたい音楽区間を指定する音
楽指定工程または音楽指定部と、動画像からあらかじめ
定められた一種類乃至は複数種類の特徴的なイベントが
発生したことを示す特徴点を算出しておく動画像特徴点
算出工程または動画像特徴点算出部と、利用者が対象と
したい動画像区間を指定する動画像指定工程または動画
像指定部と、指定された該音楽区間に、指定された該動
画像区間を組み合わせて映像を構成するために必要な時
間長を、該音楽区間に含まれる特徴点を基準点として該
動画像区間を時間同期させて切り替えるとともに、該切
り替えた動画像区間の一部を削除してあわせる時間長調
整工程または時間長調整部と、時間長を調整した該音楽
区間と該動画像区間を組み合わせて構成された映像を保
存、表示する映像保存表示工程または映像保存表示部
と、を具備することを特徴とする。

【００１４】あるいは、動画像と音楽を組み合わせて、
音楽付き映像を制作する映像制作方法または装置におい
て、音楽からあらかじめ定められた一種類乃至は複数種
類の特徴的なイベントが発生したことを示す特徴点を算
出しておく音楽特徴点算出工程または音楽特徴点算出部
と、利用者が対象としたい音楽区間を指定する音楽指定
工程または音楽指定部と、動画像からあらかじめ定めら
れた一種類乃至は複数種類の特徴的なイベントが発生し
たことを示す特徴点を算出しておく動画像特徴点算出工
程または動画像特徴点算出部と、利用者が対象としたい
動画像区間を指定する動画像指定工程または動画像指定
部と、指定された該音楽区間に、指定された該動画像区
間を組み合わせて映像を構成するために必要な時間長
を、該動画像区間に含まれる特徴点を基準点として該音
楽区間を時間同期させて切り替えるとともに、該切り替
えた音楽区間の一部を削除してあわせる時間長調整工程
または時間長調整部と、時間長を調整した該音楽区間と
該動画像区間を組み合わせて構成された映像を保存、表
示する映像保存表示工程または映像保存表示部と、を具
備することを特徴とする。

【００１５】この（１）の発明により、音楽付き映像を
制作する際の素材となる音楽と動画像とを選択し、より
効果的な映像となるように時間同期をとってこれらを組
み合わせて構成することで、効果的な映像の制作、表
示、保存を可能とする。また、音楽と動画像からなる映
像を制作する際に、音楽及び動画像の両素材をより効果
的な同期をとる際に必要な基準点に用いる特徴的なイベ
ントが発生したことを示す特徴点を算出できる。また、
これらの特徴点は素材に用いる情報区間の選択にも有効
利用できるため、効果的な映像制作を可能とする。ま
た、音楽から抽出された特徴点を動画像切り替えの為の
基準点に用いるため、音楽の変化にあわせて動画像のシ
ーンチェンジを発生させることを可能にし、完成度の高
い映像の制作を可能にしている。

【００１６】（２）の発明は、（１）の発明の映像制作
方法または装置における前記時間長調整工程または時間
長調整部では、該動画像区間の時間短縮を目的とした削
除を行う場合において、該動画像区間の削除を禁止する
区間を設ける機能を有すること、または該音楽区間の時
間短縮を目的とした削除を行う場合において、該音楽区
間の削除を禁止する区間を設ける機能を有することを特
徴とする。

【００１７】（３）の発明は、（２）の発明の映像制作
方法または装置における時間長調整工程または時間長調
整部において、該動画像区間における時間短縮を目的と
した削除を禁止する区間を設ける場合に、その区間を動
画像区間に含まれる特徴点を基に設定すること、また
は、該音楽区間における時間短縮を目的とした削除を禁
止する区間を設ける場合に、その区間を音楽区間に含ま
れる特徴点を基に設定することを特徴とする。

【００１８】これらの（２），（３）の発明により、時
間同期のための時間短縮を目的とした動画像の一部の削
除において、より重要と思われるカメラワークや動き被
写体が存在している動画像の削除を防ぐことが可能とな
る。従って、より効果的な映像を作成できる。

【００１９】（４）の発明は、（１）〜（３）のいずれ
かの発明の映像制作方法または装置において、前記音楽
特徴点算出工程または音楽特徴点算出部では、特徴的な
イベントとして音量極点、同一音量継続区間、周波数分
布変曲点、周波数類似区間の一種類以上が発生したこと
を示す特徴点を算出しておくことを特徴とする。

【００２０】（５）の発明は、（１）〜（４）のいずれ
かの発明の映像制作方法または装置において、前記動画
像特徴点算出工程または動画像特徴点算出部では、特徴
的なイベントとしてシーン変化点、カメラワーク、動き
被写体の有無、動き被写体の領域の大きさ、動き被写体
の速度の一種類以上が発生したことを示す特徴点を算出
しておくことを特徴とする。

【００２１】これらの（４），（５）の発明により、時
間同期のための時間短縮を目的とした動画像の一部の削
除や削除の禁止において、より重要性を考慮した動画像
や音声の削除や削除の禁止が可能となる。従って、より
効果的な映像を作成できる。

【００２２】（６）の発明は、（１）〜（５）のいずれ
かの発明の映像制作方法または装置にける動画像指定工
程または動画像指定部において、動画像区間の指定に際
して、あらかじめ抽出された該特徴点を基準に、一つ乃
至複数の動画像区間を選択することを特徴とする。この
発明により、複数の動画像を抽出することで、映像作品
の様々な動画像の一部ずつを抽出して利用することがで
きる。

【００２３】なお、以上の（１）〜（６）の発明におけ
る映像制作装置は、（１）〜（６）の発明における映像
制作方法を実施することを可能としている。

【００２４】（７）の発明は、コンピュータに、（１）
〜（６）のいずれかの発明の映像制作方法を機能させる
ための処理プログラムを、コンピュータが読み取り可能
な媒体に記録した記録媒体であり、（１）〜（６）の発
明の映像制作方法ないしそれに準ずるアルゴリズムを記
述した処理プログラムやそれに準ずるコンピュータ制御
方法を、コンピュータに与え、制御、実行、処理させる
ことで、実現することが可能である。なお、上記は、処
理プログラムやそれに準ずるコンピュータ制御方法を、
コンピュータが実行する際に読み出すことが可能なディ
スク等やそれに準ずる記録媒体に格納されていることを
示す。

【００２５】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳しく説明する。

【００２６】本発明の第１の実施形態例として、音楽と
動画像によって映像を制作する映像制作方法についての
その流れ図を図１に示す。本映像制作方法は、入力され
る音楽１及び動画像２から、それぞれ音楽特徴点算出工
程１１及び動画像特徴点算出工程１２によってそれぞれ
の特徴点を算出する。そして、算出された特徴点の一部
乃至全部をインデクスとして双方の情報に付加する。こ
れによって、インデクス付き音楽情報３及びインデクス
付き動画像情報４を得る。このインデクス付き音楽情報
３及びインデクス付き動画像情報４からそれぞれ利用者
が、音楽区間指定工程１３及び動画像区間指定工程１４
によって、利用したい音楽区間５と動画像区間６を指定
する。それぞれ指定された音楽区間５及び動画像区間６
に対して、同期をとって時間長を適合させるため、それ
ぞれのインデクス同士を基準に同期を行う。この際に行
われる時間長調整工程１５では、様々なアプローチがあ
るが、音楽区間５乃至動画像区間６の一方乃至双方から
一部を削除し、時間長をあわせ、最適な切り替えのタイ
ミングで双方の情報区間を同期させることを目的として
いる。なお、一方的に動画像区間６を削除しても良い
し、逆に一方的に音楽区間５を削除しても良い。また、
情報区間の時間長に応じて適宜変更しても構わない。時
間長を同期をさせるための制御信号として同期信号７を
出力後、映像保存表示工程１６にて、同期信号７を基
に、指定された音楽区間５及び動画像区間６から音楽と
動画像からなる映像８を出力する。

【００２７】図２は、本実施形態の映像制作方法を実施
する映像制作装置の一実施形態例の構成の概要を示すブ
ロック線図であり、２１は音楽入力バッファ、２２は動
画像入力バッファであり、それぞれ音楽１及び動画像２
を保管しておくバッファである。なお、音楽１及び動画
像２は、あらかじめデジタルデータ化されているもので
あり、様々な圧縮形式で圧縮されていても良く、ランダ
ムなアクセスが可能であれば良い。したがって本ブロッ
ク線図上では、便宜上バッファとしているが、ＣＤ−Ｒ
ＯＭやハードディスク等のデジタルデータを保管する記
録メディアであっても良い。

【００２８】情報入力バッファに格納された音楽１及び
動画像２を、それぞれの特徴的なイベントを表す特徴点
を算出するために、音楽特徴量算出部２３及び動画像特
徴量算出部２４へ入力する。なお、音楽１を解析して得
られる特徴的なイベントとは、音量変化、周波数変化、
等であり、動画像２で得られる特徴的なイベントとは、
シーン変化点、カメラワーク、動き被写体の有無、動き
被写体の領域の大きさや速度等である。音楽特徴量算出
部２３及び動画像特徴量算出部２４についてはその詳細
を後述する。

【００２９】音楽特徴量算出部２３と動画像特徴量算出
部２４にて算出された特徴点をインデクスとして、それ
ぞれの情報に付加することで、インデクス付き音楽情報
３及びインデクス付き動画像情報４を得る。音楽と動画
像から成る映像の作成にあたっては、利用者が素材とし
て利用したい音楽１と動画像２のうちの一部を選択、指
定する必要がある。音楽１と動画像２のうちの一部の指
定にあたっては、タイムコード等の時間情報だけを手が
かりとして指定しても良いし、撮影した場所や時刻等の
情報を手がかりとしても良い。しかし、ある程度の単位
にあらかじめ分類されている方が区間単位で選択しやす
いため、本実施形態例では、インデクス付き音楽情報３
及びインデクス付き動画像情報４のそれぞれのインデク
スを分類の手がかりとし、利用者が指定しやすいよう
に、インデクス毎に分類した結果を音楽区間分類表示部
２５及び動画像区間分類表示部２６にて行う。利用者２
７は、利用者指示部２８を通じて、インデクスによって
分類表示された動画像及び音楽から映像として利用した
い音楽区間５と動画像区間６をそれぞれ音楽区間指定部
２９及び動画像区間指定部３０によって指定する。

【００３０】次に、指定された両区間５，６を時間長調
整部３１にて同期を取る。動画像区間５または音楽区間
６の一部を除去し、つなげ、同期を行う処理が必要とさ
れる。この詳細な方法については、後述する。時間長調
整部３１では、音楽区間５及び動画像区間６をどのよう
なタイミングでそれぞれ再生させると効果的な映像にな
るを考慮して同期を行う。この再生を行うべきタイミン
グを時間調長整部３１から同期信号７として出力する。
この同期信号７に基いて、音楽区間５と動画像区間６を
互いにどのタイミングで区間の先頭乃至途中から区間の
途中乃至最後までを再生させ、メモリ３２へ出力する。
この出力メモリ３２には、テーマ音楽付き映像８が格納
されており、利用者２７が利用者指示部２８を介して行
った指示に従って、再生表示部３３で映像８を再生した
り、ファイル等として保存したりするといった処理を行
なう。

【００３１】なお、上述の実施形態例で映像素材の指定
を行う音楽区間指定部２９と動画像区間指定部３０にお
いて、音楽に時間連続性を持たせた映像を制作したい場
合には、指定される音楽区間５は時間的に連続した音楽
の一部乃至全部であることが望ましく、動画像区間６
は、動画像２から切り出した時間的に異なる短い区間を
複数個指定する方が映像の制作が容易となる。一方で、
動画像に連続性を持たせた映像を制作したい場合には、
上述の例と全く逆の特性を持つように区間を指定する方
が制作が容易となる。そこで、利用者指示部２８で、音
楽、動画像のいずれに連続性を持たせた映像を制作した
いかという指示を利用者に指定させ、その指定にかなう
ような区間指定を行わせるような機能を含んでも良い。

【００３２】以下、上述した音楽特徴量算出部２３の詳
細について述べ、図３に音楽特徴量算出部２３を実現す
る場合のブロック線図の例を示す。この例で、音楽特徴
量算出部２３は、音量極点算出部４１と、同一音音量継
続区間算出部４２と、周波数分布算出部４３と、周波数
分布相関算出部４４を具備する。

【００３３】音楽特徴点はインデクスとしても用いら
れ、時間長を調節し同期をとる際の基準点として用いら
れる。本実施形態例では、音量のパワー変化の際の極大
点、極小点、最大点及び最小点４５、と、音量が一定し
ている区間である同一音量区間の開始点及び終了点４
６、周波数分布変曲点４７、周波数分布類似区間の開始
点、終了点４８、を特徴的なイベントが発生した特徴点
として用いる。これら特徴点として用いる例を図４に示
す。

【００３４】それぞれの特徴点算出の具体的な方法を以
下に述べる。図４は、この一連の特徴点算出のプロセス
を、音声波形１０１から周波数分布１０３、周波数分布
の個数変化１０４、周波数分布の相関１０７を通じて説
明している。

【００３５】音量変化の極大点、極小点、最大点、最小
点については、音量極点算出部４１により、音量分布１
０２での音量の変化を追跡し、その変化から算出するこ
とができる。

【００３６】また、同一音量区間の開始点と終了点につ
いては、同一音量継続区間算出部４２により、音量分布
１０２での音量変化を追跡し、単位時間当たりの変化の
微分値を計算し、微分値が十分０に近い区間がどの程度
続くかを観察することで算出することができる。

【００３７】周波数変曲点については、周波数分布算出
部４３により、ＦＦＴ等によって得られた周波数分布１
０３をサンプリングしたもの（単位時間当たりの分布１
０６）から、高周波数領域である閾値１０５を上回るパ
ワーをもつ周波数帯域の個数と、低周波領域である閾値
１０５を上回るパワーをもつ周波数帯域との個数とを比
較し、それぞれの周波数分布の個数の差分を算出し、個
数の＋，−の値が変化した点を周波数変曲点としてい
る。この周波数変曲点は、周波数分布１０３の変化を表
していることになり、高周波数成分主体の音楽から低周
波数成分主体の音楽への移行やその逆の移行を示し、曲
調の変化を反映しやすい。

【００３８】周波数分布類似区間の開始点及び終了点に
ついては、周波数分布相関算出部４４により、単位時間
当たりの周波数分布の相関１０６の高い区間の開始点と
終了点としている。分布が類似している区間は同一メロ
ディが連続して何度も繰り返されていることになる重要
な区間だと思われるため、その開始点、終了点を特徴点
としている。

【００３９】次に、上述した動画像特徴点算出部２４の
詳細について述べ、図５に動画像特徴点算出工程１２を
実現するための動画像特徴点算出部２４のブロック線図
の例を示す。本例で、動画像特徴点算出部１２は、シー
ン変化算出部５１と、カメラワーク算出部５２と、動き
被写体算出部５３とを具備する。

【００４０】動画像特徴点はインデクスとしても用いる
ことができ、時間長を調節する際に、同期を取る際の基
準点や時間短縮のために行う削除を禁止する動画像区間
の範囲の選択にも利用される。本実施形態例では、シー
ン変化点５４とカメラワークの開始点及び終了点５５、
動き被写体の出現点及び消滅点５６、動き被写体の領域
の大きさと速度を算出する。なお、これら特徴点の例を
図６に示す。

【００４１】それぞれの特徴点の算出するための具体的
な方法について述べる。

【００４２】シーン変化の検出は、シーン変化算出部５
１により、連続する動画像の類似度を算出し、大きく類
似度が変化したところをシーン変化として算出する（図
６（ａ））。

【００４３】カメラワークに関しては、カメラワーク算
出部５２により、連続する画像中で対応する注目点同士
を追跡する。注目点同士の間の距離と方向が画面全体で
均一だった場合には、カメラワークがあったと判定す
る。こうして、カメラワークの有無を判定し、同一シー
ン内でのカメラワークの開始点および終了点を決定でき
る（図６（ｂ））。

【００４４】動き被写体の有無については、動き被写体
算出部５３により、動き被写体領域をカメラワークの有
無の抽出方法と同様の方法で抽出する。ただし、カメラ
ワークの場合と動き被写体の場合で異なる点は、画像間
で類似している注目点同士の距離と方向の分布が、カメ
ラワークの場合は、画面全体に出現するのに対し、動き
被写体の場合には、これらの分布がある時空間の特定の
部分に集中する点である。そこで、注目点同士の距離と
方向の分布をみて、類似している分布がある時空間に集
中的に出現している場合は、動き被写体が存在すると判
定する。動き被写体の有無から、同一シーン内での動き
被写体出現点及び消滅点を決定することができる（図６
（ｃ））。また動き被写体の有無が判定された、動き被
写体の領域の速度と大きさを特徴量として算出すること
ができる。

【００４５】以上のようにして、音楽及び動画像から特
徴点を算出し、インデクスとして各情報に付加すること
で、インデクス付き音楽情報３及びインデクス付き動画
像情報４を得る。

【００４６】次に、インデクス付き音楽情報３及びイン
デクス付き動画像情報４から利用者２７によって指定さ
れた音楽区間５及び動画像区間６を同期させて映像を制
作する時間長調整部３１に関する詳細な説明を加える。

【００４７】時間長調整部３１では、音楽区間と動画像
区間の双方ないし一方から区間の一部を除去する処理を
行っている。その場合には、音楽を動画像に同期させる
ために、音楽の方を一方的に除去する、乃至は、その逆
など様々な場合を考えることができる。

【００４８】ただし、本実施形態例では、映像と音楽を
組み合せて制作させる際の最も簡単な実施形態例とし
て、テーマ音楽に複数の動画像を付加させる例を取り上
げて、説明を行う。従って、本実施形態例の場合、音楽
区間における音楽は、時系列上での連続性を重んじて、
除去されることはないものとする一方で、動画像に関し
ては、適宜音楽との同期を行うため、その一部を除去す
ることにしている。この場合の実施形態例の説明図を図
７から図１０で示す。また、説明を簡単に行うため、音
楽の連続性を重視するための条件として、音楽区間５
は、音楽１のある連続する区間が選択されているものと
し、動画像区間６は、動画像２の時間的に不連続な複数
の区間が選択され、かつ、音楽区間の時間長よりも、動
画像区間の時間長の累計の方が短いとする。

【００４９】まず、映像の作成の際に用いる素材とし
て、音楽区間５と、動画像区間６が与えられる。その与
えられ方は、一つの音楽に対し、複数の動画像情報、シ
ーン１、シーン２、…、シーンＮまでが与えられる。

【００５０】それぞれ選択された情報を基に音楽に同期
させて動画像の時間長を調整する。図７の例では、音楽
情報インデクス同士の間にあたる音楽パートの時間長に
あわせて、動画像情報の各シーンを同期させている。動
画像情報のシーンの時間長が音楽パートよりも長けれ
ば、動画像情報のシーンの一部を削除し、動画像情報の
シーンの時間長の方が短ければ、対象としている動画像
情報の次のシーンとあわせて同期をとるというルールを
用いている。また、カメラワークと動き被写体がある場
合には動画像の削除を行わないという禁則処理も行なっ
ている。この条件下での処理プロセスをより詳細に説明
する。

【００５１】まず、音楽区間の先頭と音楽情報インデク
ス１の間にあたるパート１に、複数の動画像区間の先頭
区間にあたるシーン１を付加させる。このとき、動画像
区間のシーン１の時間長が対象としている音楽区間の時
間長よりも長いので、シーン１の一部のみを付加させ
る。この場合、シーン１には特に動画像インデクスがな
いため、先頭からパート１と同じ時間長分だけ切り出
す。

【００５２】次に、インデクス１とインデクス２に挟ま
れたパート２に対して、動画像区間を同期させる試みを
行う。この場合、同期に用いる動画像区間にあたるシー
ン２の時間長は、パート２の時間長よりも短いため、シ
ーン２だけでなく、次のシーン３を用いてパート２に同
期させる。シーン２とシーン３をあわせた時間長とパー
ト２の時間長を比較し、映像区間が十分な長さであれ
ば、シーン２の先頭からシーン３の途中のパート２と同
じ時間長さ分を切り出す。

【００５３】次に、音楽区間のパート３に動画像区間を
付加させる。パート３に対応する動画像区間は、図１の
場合、それまでの動画像区間の利用から、シーン４が第
一の候補となる。この実施形態例では、パート１とシー
ン１の場合と同様、シーン４の時間長の方がパート３の
時間長よりも長いので、シーン４の一部を切り出して、
パート３に同期させる。しかし、シーン４には、カメラ
ワークが存在するというインデクスが含まれている。そ
こで、カメラワークに関わる部分には、時間短縮のため
の削除を行わないと言う禁則処理を適用し、先頭からカ
メラワーク以前の前半部分の一部を切り出したシーン４
をパート３に同期させる。これは、カメラワークには重
要と思われる情報が含まれており、さらにカメラワーク
後の画像の方により重要な情報が含まれているといわれ
ていることから、上述の処理を適用する。

【００５４】パート４に対するシーン５の同期処理で
は、カメラワークではなく、動き被写体を含む場合を示
している。シーン４と同様に動き被写体を含む動画像部
分をシーン５から切り出して、パート４に同期させてい
る。ただし、動き被写体の場合には、カメラワークの終
了時と異なり、動き被写体を含む領域に加えて、その前
後時間長が等しくなるような区間を、パート４の時間長
分だけシーン５から切り出して、パート４に同期させて
いる。これにより、音楽区間と同期のとれた映像を得
る。

【００５５】以上の処理の結果、図７の例では、音楽区
間と動画像区間の同期によって映像（動画像情報７１）
を得ることができた。

【００５６】次に、別の例を図８にて示す。これは、音
楽区間のパート１１、パート１２に動画像区間のシーン
１１を同期させる方法である。この例では、音楽区間の
パート１１とパート１２をあわせた時間長よりも動画像
区間シーン１１の方の時間長の方が長い場合である。こ
の場合、シーン１１に含まれているカメラワークを途中
で切断するような同期の方法は行わず、音楽区間のパー
ト１１とパート１２を含めて、カメラワークを含めた同
期を行うこととする。

【００５７】また、別の例を図９にて示す。これは、音
楽区間のパート２１、パート２２、パート２３に、動画
像区間のシーン２１、シーン２２を同期させる場合であ
る。このときパート２１の時間長は、シーン２１の時間
長よりも長い為、パート２１に同期させる動画像区間と
してシーン２２までを用いる。しかし、シーン２２の大
半には動き被写体を多く含み、シーン２１とシーン２２
中の動き被写体部分を含んだ時間長は、パート２１の時
間長よりも長く、このままでは同期が不可能であるの
で、図７の例に基いて、パート２１とパート２２とパー
ト２３にシーン２１とシーン２２を用いて同期を行うこ
とを提案している。なお、それ以上に動画像区間の時間
長が、音楽区間の時間長よりも長い場合には、パート２
１を含めて同期を行うことにしている。すなわち、図９
に示したように、音楽区間において必ず同期が取れるよ
うに、音楽区間のパートないし動画像区間のシーンの部
分を逐次延長していき、最終的に動画像区間の一部を削
ることで、同期がとれる処理を行う。

【００５８】以上の図７から図９のように、シーンの一
部を削っていくと、想定したよりもシーンの組み合わせ
による動画像区間の時間長が短縮されてしまう場合があ
る。その場合には、シーンの中で最も多く削ったシーン
について、シーンの構成を見直し、削除を行わず、パー
トの延長を行うことにする。図１０に示すように一度削
ったものを基に戻して再度検討をする。図１０では、パ
ート３１、パート３２に、シーン３１、シーン３２をあ
わせるため、シーン３２の一部を除去している。その場
合、動画像区間がなくなってしまい、パート３３にあわ
せる動画像区間が存在しないことになってしまう（７４
の時間長調整中動画像情報）。そのような場合には、パ
ート３２にあわせて、シーン３２の一部を削ることな
く、パート３２とパート３３とをあわせて、シーン３２
を削るようにしている（７５の時間長調整後動画像情
報）。この補正は、全パート及び全シーンが終了した時
点で、同期がうまく取れなかった場合に行われる。ただ
し、後述するように、ある音楽区間及びある動画像区間
を必ず同期させるような指示が与えられた場合には、そ
の同期情報より前とその同期情報よりも後にわけてそれ
ぞれ時間長調整処理を行う。

【００５９】図７から図１０で示した例は、映像制作方
法の一つの実施形態例であり、その時間調整のルールに
は他にも様々なバリエーションが考えられる。

【００６０】図７から図１０の例では、音楽情報インデ
クスの音量の最大、最小、極小、極大点、同一音量継続
区間の開始点、終了点、周波数変曲点の全てのインデク
スの全てのインデクスの間に含まれるものをパートとし
てみなした。そうではなく、極大点だけを基準としてパ
ートを分割する等の例も考えられる。

【００６１】動画像インデクスでは、シーン変化を一つ
の単位とし、同期の基準とし、動画像情報から必要な情
報を抜き出す際に、カメラワークのある部分や動き被写
体のある場合には、一部の除去を行わないことにした
が、実際には、この限りでなく、カメラワークや動き被
写体のある間でも、一部を削除して構わない。

【００６２】また、インデクスとして、上述したインデ
クス以外を用いても構わない。また、利用者等の指定に
よって特定のパートに特定のシーンを必ず同期させると
いった指定も例としてあげられる、特定のシーンに関し
ては、パートの時間長に関わらず、その一部を削除し、
切り抜いて同期するのではなく、必ず利用するなどの指
定が考えられる。

【００６３】こうしたルールのバリエーションを持たせ
ることで、より完成度の高い映像を制作することが可能
となる。

【００６４】なお、上述の映像制作装置において、時間
長調整部３１は、音楽区間と動画像区間を組み合わせて
いる。その際に、音楽区間に基準点を設定し、かつ、動
画像区間のあらかじめ指定された条件を除いて削除する
ことにより、音楽区間と動画像区間の同期を行なってい
る。利用者２７が利用者指示部２８を介することで、基
準点とするインデクスや、削除をおこわない動画像の特
定の区間を指定しても良い。一方で、必ず同期させる音
楽区間と動画像区間を設定するなどしてもよい。また、
自動的な同期が行われた後、その結果に操作を加えるな
どの拡張を行っても良い。本実施形態例では、素材とす
る音楽区間及び動画像区間はそれぞれオリジナルな情報
があるとしているが、複数の素材から任意に選択する等
の拡張も構わない。

【００６５】本発明では、音楽と動画像から映像を自動
制作するために、各区間を指定し、時間長調整部にて音
楽と同期をとっている。時間長調整部では、双方の同期
を行う際に一方の情報から他方の情報の切り替え基準点
を設定し、その部分で切り替えるような設定を与えてい
る。その処理過程において、情報の一部を削除する場合
には、その内容を特徴量から推定し、削除することを防
ぐといった禁則処理を設けている。

【００６６】この時間長調整部における時間同期と禁則
処理を応用した他の実施形態例も考えられる。上述の実
施形態例では、あらかじめ素材を全て選択した段階で時
間長調整部に全素材を投入しているが、逐次素材が投入
される毎に最適な時間同期を自動的に行うという逐次時
間同期を時間長調整部において適用も可能である。

【００６７】例えば、ノンリニア編集機では、音楽、動
画像、の適当な区間をＧＵＩ（グラフィカル ユーザ
インタフェース）を通じて逐次配置することで映像を徐
々に構築している。そこで、一つ一つの音楽や動画像が
与えられた際、与えられた音楽及び動画像の内容を特徴
量から推測し、すでに過去に与えられた音楽や動画像の
情報とを自動的に時間同期させる。例えば、動画像が与
えられていて、さらに音楽が与えられた際に、音楽のメ
ロディやリズムの変わり目を自動検出する。実際に音楽
がある時系列上に配置したい際に、既に時系列上に配置
された動画像からあらかじめ検出されているシーンチェ
ンジが時系列上の近傍に存在したら、そこにあわせて自
動的に配置するとといった応用例も考えられる。

【００６８】この実施形態例を、本発明の第２の実施形
態例として以下に説明する。本実施形態例を構成するブ
ロック線図を図１１に示す。

【００６９】従来のノンリニア編集機と同様に時間情報
を基に編集に用いる動画像区間５及び音楽区間６を切り
出す。次に、それら区間をタイムコードをベースとした
編集フィールドに配置する前にそれら区間から特徴的な
イベントを算出し、特徴点を算出し、インデクスとして
動画像及び音楽に付加して、インデクス付き音楽情報３
乃至インデクス付き動画像情報４を得る。

【００７０】指定された動画像乃至音楽区間を映像編集
フィールド３４の利用者の配置したい時系列に配置す
る。その際に、既存の編集済映像９が映像編集フィール
ド３４にあるため、編集フィールド３４では、既存の編
集済み映像９にインデクス付き音楽情報３乃至インデク
ス付き動画像情報４を追加していく。映像編集フィール
ド３４上の編集済映像９は、あらかじめインデクス付き
音楽及び動画像から構成された映像であるため、インデ
クスが存在している。そこで、追記する動画像乃至音楽
のインデクスと、既存の編集済み映像上のインデクスと
の比較を行う。追記したい音楽乃至動画像にあるインデ
クスの近傍に、既存の編集済み映像上のインデクスが存
在していれば、それらのインデクスが適合するように時
間同期を行う。もしインデクス付き動画像区間に、複数
の特徴点が存在し、禁則処理にかかるような特徴を持つ
区間（例えば、動き被写体が存在する区間）が存在する
場合には、既に編集済みの音楽区間に含まれる特徴点
と、そうした禁則処理に関わる区間とが同期しないよう
に、自動同期を行う。

【００７１】この実施形態例を実装したインタフェース
上での例を図１２に示す。この例では、あらかじめ動画
像と音楽から編集済の映像９が映像編集フィールド３４
で編集対象となっている。そこへ、新たに動画像区間が
指定され、動画像時系列上に挿入を試みる。動画像区間
は、あらかじめ指定された時点で動画像特徴点算出部２
６によって、インデクス付き動画像情報となっていると
する。そこで、動画像へ挿入する際に、既に編集済みの
音楽情報に特徴点と、挿入したインデクス付き動画像情
報の特徴点とを比較し、それらが時系列上である閾値以
内に収まっている場合には、自動的に同期を行うように
処理する。この同期処理により３５に示す映像が得られ
る。利用者２７は、そのような同期が適切であれば、そ
れを基に映像編集を続ければ良いし、同期が不適切であ
ると思えば任意の時系列上に動画像を挿入すれば良い。

【００７２】この第２の実施形態例では、編集済みの映
像に、動画像区間を新たに編集素材として加える場合
に、逐次、時間同期を行う例を示した。もちろん、動画
像区間だけでなく音楽区間も同様に扱って良い。また、
今回は特徴点としてどのような特徴点を用いるか限定し
ていないが、シーン変化だけといった特徴点に限定を加
えてももちろん構わない。

【００７３】なお、本発明は、音楽データ及び動画像デ
ータを保存し、それらを自由に読み出し可能なハードデ
ィスクやそれに準ずる装置と、データを処理する際に必
要なバッファやそれに準ずる装置と、最終的に検出され
たカット点を表示、出力するディスプレイなどの装置を
備え、それらハードディスク、バッファ及びディスプレ
イなどをあらかじめ定められた手順に基いて制御する中
央演算装置などを備えたコンピュータやそれに準ずる装
置を基に、上述した実施形態の処理、乃至は、図１から
図１２までの一連の図に示した方法ないしアルゴリズム
を記述した処理プログラムやそれに準ずる物を、該コン
ピュータに対して与え、制御、実行させることで実現す
ることが可能である。そこで、該処理プログラムやそれ
に準ずる物が、コンピュータが実行する際に読み出しを
実行できるフロッピーディスク（ＦＤ）、光磁気ディス
ク（ＭＯ）やそれに準ずる記憶媒体に格納されていても
構わない。

【００７４】また、本装置を小型のビデオカメラに搭載
し、ビデオカメラで撮影したあとすぐに編集し、音楽付
きの映像作品を作り出す装置などへの拡張や、ビデオデ
ッキに搭載し、あちらこちらで録画した映像から自分な
りの映像作品を作り出す装置などへの拡張等様々な発
展、応用が考えられる。

【００７５】

【発明の効果】以上説明したように本発明は、音楽を動
画像へ同期させる、または、動画像を音楽へ同期させる
ようにしたので、より効果的に映像を制作することが可
能となる。これによって、音楽と動画像を組み合せる音
楽付き映像の制作が容易になる。例えば、既存の映像作
品に対し、その雰囲気を伝えるテーマ音楽と、内容の一
部を抽出し、それらを組み合せることで、短い映像でか
つ重要な意味を含み、次回予告や、宣伝、等に利用でき
る映像を制作することが容易になる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施形態例を示す映像制作方法
の流れ図である。

【図２】上記第１の実施形態例の映像制作方法を実施す
るための映像制作装置の実施形態例を示すブロック線図
である。

【図３】上記映像制作装置の実施形態例での音楽特徴点
算出部の例を示すブロック線図である。

【図４】上記第１の実施形態例での音楽インデクスの例
を示す説明図である。

【図５】上記映像制作装置の実施形態例での動画像特徴
点算出部の例を示すブロック線図である。

【図６】（ａ），（ｂ），（ｃ）は、上記第１の実施形
態例での動画像インデクスの例を示す説明図である。

【図７】上記映像制作装置の実施形態例での時間長調整
部の時間長調整例（その１）を示す説明図である。

【図８】上記映像制作装置の実施形態例での時間長調整
部の時間長調整例（その２）を示す説明図である。

【図９】上記映像制作装置の実施形態例での時間長調整
部の時間長調整例（その３）を示す説明図である。

【図１０】上記映像制作装置の実施形態例での時間長調
整部の時間長調整例（その４）を示す説明図である。

【図１１】本発明の第２の実施形態例を示す映像制作装
置のブロック線図である。

【図１２】上記第２の実施形態例でのインタフェース上
での映像編集例を示す模式図である。

【符号の説明】

１…音楽 ２…動画像 ３…インデクス付き音楽情報 ４…インデクス付き動画像情報 ５…音楽区間 ６…動画像区間 ７…同期信号 ８…音楽付き映像 ９…編集済映像 １１…音楽特徴点算出工程 １２…動画像特徴点算出工程 １３…音楽区間指定工程 １４…動画像区間指定工程 １５…時間長調整工程 １６…映像保存表示工程 ２１…音楽入力バッファ ２２…動画像入力バッファ ２３…音楽特徴量算出部 ２４…動画像特徴量算出部 ２５…音楽区間分類表示部 ２６…動画像区間分類表示部 ２７…利用者 ２８…利用者指示部 ２９…音楽区間指定部 ３０…動画像区間指定部 ３１…時間長調整部 ３２…出力メモリ ３３…再生表示部 ３４…映像編集フィールド ４１…音量極点算出部 ４２…同一音音量継続区間算出部 ４３…周波数分布算出部 ４４…周波数分布相関算出部 ５１…シーン変化算出部 ５２…カメラワーク算出部 ５３…動き被写体算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 外村 佳伸 東京都新宿区西新宿３丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平６−203009（ＪＰ，Ａ) 特開 平９−107517（ＪＰ，Ａ) 特開 平９−214879（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 H04N 5/262 - 5/278

Claims (19)

(57)【特許請求の範囲】
1. 【請求項１】 動画像と音楽を組み合わせて、音楽付き
   映像を制作する映像制作方法において、音楽からあらかじめ定められた一種類乃至は複数種類の
   特徴的なイベントが発生したことを示す特徴点を算出し
   ておく音楽特徴点算出工程と、 利用者が対象としたい音楽区間を指定する音楽指定工程
   と、動画像からあらかじめ定められた一種類乃至は複数種類
   の特徴的なイベントが発生したことを示す特徴点を算出
   しておく動画像特徴点算出工程と、 利用者が対象としたい動画像区間を指定する動画像指定
   工程と、 指定された該音楽区間に、指定された該動画像区間を組
   み合わせて映像を構成するために必要な時間長を、該音
   楽区間に含まれる特徴点を基準点として該動画像区間を
   時間同期させて切り替えるとともに、該切り替えた動画
   像区間の一部を削除してあわせる時間長調整工程と、 時間長を調整した該音楽区間と該動画像区間を組み合わ
   せて構成された映像を保存、表示する映像保存表示工程
   と、 を具備することを特徴とする映像制作方法。
2. 【請求項２】 前記時間長調整工程では、該動画像区間
   の時間短縮を目的とした削除を行う場合において、該動
   画像区間の削除を禁止する区間を設ける、 ことを特徴とする請求項１に記載の映像制作方法。
3. 【請求項３】 前記時間長調整工程では、該動画像区間
   における時間短縮を目的とした削除を禁止する区間を設
   ける場合に、その区間を動画像区間に含まれる特徴点を
   基に設定する、 ことを特徴とする請求項２に記載の映像制作方法。
4. 【請求項４】 動画像と音楽を組み合わせて、音楽付き
   映像を制作する映像制作方法において、 音楽からあらかじめ定められた一種類乃至は複数種類の
   特徴的なイベントが発生したことを示す特徴点を算出し
   ておく音楽特徴点算出工程と、 利用者が対象としたい音楽区間を指定する音楽指定工程
   と、 動画像からあらかじめ定められた一種類乃至は複数種類
   の特徴的なイベントが 発生したことを示す特徴点を算出
   しておく動画像特徴点算出工程と、 利用者が対象としたい動画像区間を指定する動画像指定
   工程と、 指定された該音楽区間に、指定された該動画像区間を組
   み合わせて映像を構成するために必要な時間長を、該動
   画像区間に含まれる特徴点を基準点として該音楽区間を
   時間同期させて切り替えるとともに、該切り替えた音楽
   区間の一部を削除してあわせる時間長調整工程と、 時間長を調整した該音楽区間と該動画像区間を組み合わ
   せて構成された映像を保存、表示する映像保存表示工程
   と、 を具備することを特徴とする映像制作方法。
5. 【請求項５】 前記時間長調整工程では、該音楽区間の
   時間短縮を目的とした削除を行う場合において、該音楽
   区間の削除を禁止する区間を設ける、 ことを特徴とする請求項４に記載の映像制作方法。
6. 【請求項６】 前記時間長調整工程では、該音楽区間に
   おける時間短縮を目的とした削除を禁止する区間を設け
   る場合に、その区間を音楽区間に含まれる特徴点を基に
   設定する、 ことを特徴とする請求項５に記載の映像制作方法。
7. 【請求項７】 前記音楽特徴点算出工程では、特徴的な
   イベントとして音量極点、同一音量継続区間、周波数分
   布変曲点、周波数類似区間の一種類以上が発生したこと
   を示す特徴点を算出しておく、 ことを特徴とする請求項１乃至６のいずれか１項に記載
   の映像制作方法。
8. 【請求項８】 前記動画像特徴点算出工程では、特徴的
   なイベントとしてシーン変化点、カメラワーク、動き被
   写体の有無、動き被写体の領域の大きさ、動き被写体の
   速度の一種類以上が発生したことを示す特徴点を算出し
   ておく、 ことを特徴とする請求項１乃至７のいずれか１項に記載
   の映像制作方法。
9. 【請求項９】 前記動画像指定工程では、動画像区間の
   指定に際して、あらかじめ算出された該特徴点を基準
   に、一つ乃至複数の動画像区間を選択する、 ことを特徴とする請求項１乃至８のいずれか１項に記載
   の映像制作方法。
10. 【請求項１０】 請求項１乃至９のいずれか１項に記載
    の映像制作方法における各工程の手順をコンピュータに
    実行させるための処理プログラムを、該コンピュータが
    読み取り可能な媒体に記録した、 ことを特徴とする映像制作方法を記録した記録媒体。
11. 【請求項１１】 動画像と、音楽を組み合わせて、音楽
    付き映像を制作する映像制作装置において、音楽からあらかじめ定められた一種類乃至は複数種類の
    特徴的なイベントが発生したことを示す特徴点を算出し
    ておく音楽特徴点算出部と、 利用者が対象としたい音楽区間を指定する音楽指定部
    と、動画像からあらかじめ定められた一種類乃至は複数種類
    の特徴的なイベントが発生したことを示す特徴点を算出
    しておく動画像特徴点算出部と、 利用者が対象としたい動画像区間を指定する動画像指定
    部と、 指定された該音楽区間に、指定された該動画像区間を組
    み合わせて映像を構成するために必要な時間長を、該音
    楽区間に含まれる特徴点を基準点として該動画像区間を
    時間同期させて切り替えるとともに、該切り替えた動画
    像区間の一部を削除してあわせる時間長調整部と、 時間長を調整した該音楽区間と該動画像区間を組み合わ
    せて構成された映像を保存、表示する映像保存表示部
    と、 を具備することを特徴とする映像制作装置。
12. 【請求項１２】 前記時間長調整部は、該動画像区間の
    時間短縮を目的とした削除を行う場合において、該動画
    像区間の削除を禁止する区間を設ける機能を具備する、 ことを特徴とする請求項１１に記載の映像制作装置。
13. 【請求項１３】 前記時間長調整部は、該動画像区間に
    おける時間短縮を目的とした削除を禁止する区間を設け
    る場合に、その区間を動画像区間に含まれる特徴点を基
    に設定するものである、 ことを特徴とする請求項１２に記載の映像制作装置。
14. 【請求項１４】 動画像と、音楽を組み合わせて、音楽
    付き映像を制作する映像制作装置において、 音楽からあらかじめ定められた一種類乃至は複数種類の
    特徴的なイベントが発生したことを示す特徴点を算出し
    ておく音楽特徴点算出部と、 利用者が対象としたい音楽区間を指定する音楽指定部
    と、 動画像からあらかじめ定められた一種類乃至は複数種類
    の特徴的なイベントが発生したことを示す特徴点を算出
    しておく動画像特徴点算出部と、 利用者が対象としたい動画像区間を指定する動画像指定
    部と、 指定された該音楽区間に、指定された該動画像区間を組
    み合わせて映像を構成するために必要な時間長を、該動
    画像区間に含まれる特徴点を基準点として該音楽区間を
    時間同期させて切り替えるとともに、該切り替えた音楽
    区間の一部を削除してあわせる時間長調整部と、 時間長を調整した該音楽区間と該動画像区間を組み合わ
    せて構成された映像を保存、表示する映像保存表示部
    と、 を具備することを特徴とする映像制作装置。
15. 【請求項１５】 前記時間長調整部は、該音楽区間の時
    間短縮を目的とした削除を行う場合において、該音楽区
    間の削除を禁止する区間を設ける機能を具備する、 ことを特徴とする請求項１４に記載の映像制作装置。
16. 【請求項１６】 前記時間長調整部は、該音楽区間にお
    ける時間短縮を目的とした削除を禁止する区間を設ける
    場合に、その区間を音楽区間に含まれる特徴点を基に設
    定するものである、 ことを特徴とする請求項１５に記載の映像制作装置。
17. 【請求項１７】 前記音楽特徴点算出部は、特徴的なイ
    ベントとして音量極点、同一音量継続区間、周波数分布
    変曲点、周波数類似区間の一種類以上が発生したことを
    示す特徴点を算出しておくものである、 ことを特徴とする請求項１１乃至１６のいずれか１項に
    記載の映像制作装置。
18. 【請求項１８】 前記動画像特徴点算出部は、特徴的な
    イベントとしてシーン変化点、カメラワーク、動き被写
    体の有無、動き被写体の領域の大きさ、動き被写体の速
    度の一種類以上が発生したことを示す特徴点を算出して
    おくものである、 ことを特徴とする請求項１１乃至１７のいずれか１項に
    記載の映像制作装置。
19. 【請求項１９】 前記動画像指定部は、動画像区間の指
    定に際して、あらかじめ算出された該特徴点を基準に、
    一つ乃至複数の動画像区間を選択するものである、 ことを特徴とする請求項１１乃至１８のいずれか１項に
    記載の映像制作装置。