JP2005025715A - ショートフィルム生成再生装置およびその方法 - Google Patents

Abstract

【課題】 静止画、音楽、スタイル等の各要素のいずれかを選択すれば、それにマッチした他の要素を決定してショートフィルムを生成し、再生することができ、また静止画中のオブジェクトを視覚効果に反映させることによって、エンターテイメント性を向上させたショートフィルムを生成し、再生することができるショートフィルム生成再生装置を提供する。
【解決手段】 入力画像から画像特徴量を抽出する画像特徴量抽出部１１０７と、画像特徴量をスタイル特徴量に変換する画像−スタイル特徴量変換部１１１５と、画像特徴量を音楽特徴量に変換する画像−音楽特徴量変換部１１１８と、スタイル特徴量に基づいてスタイルを決定するスタイル決定部１１１６と、音楽特徴量に基づいて音楽を決定する音楽決定部１１１９と、静止画、音楽、スタイルを用いてシナリオを生成するシナリオ生成部１１１７とを備えている。
【選択図】 図１

Description

本発明は、少なくとも１つ以上の静止画を用いて、短編の映像を生成し、再生するショートフィルム生成再生装置およびその方法に関する。

2001年日本国内のカメラ市場において、デジタルスチルカメラ（Digital Still Camera）の出荷数が銀塩カメラの出荷数を超え、2002年にはさらにその格差が広がると予測されている。また、近年の携帯電話市場では、デジタルカメラ付の携帯電話が多数リリースされ、それらのモデルは多大な人気を集めている。このようなことから、デジタルスチルカメラのユーザは増加しており、これらユーザの多くは大量のデジタル静止画（Digital Still Picture、以下、ＤＳＰという）を保有している。

これらのＤＳＰは、一般的にパソコンのディスクドライブに溜め込まれている。この大量のＤＳＰを閲覧・管理するために、いわゆるデジカメソフトと呼ばれる画像閲覧、管理用のアプリケーションソフトウェアが市販されている。これらのアプリケーションは、従来の紙のアルバムのイメージをパソコン上に実現することに加えて、サムネイルによる全体の閲覧、ディレクトリによる階層管理などの機能を有している。

また、これらのアプリケーションでは、ディスクドライブ内に保存されたＤＳＰを見る場合の一つの機能として、スライドショーと呼ばれる機能がある（例えば、特許文献１参照。）。このスライドショーは、スライド映写機と同様に一定時間間隔、あるいは、ユーザの指示等のトリガによって、表示するＤＳＰを切り替えていくもの、いわゆる”デジタルな紙芝居”である。アプリケーションによっては、ＢＧＭを付加したり、ＤＳＰの切り替えの際にフェード、ワイプ、回転などのトランジションを付加したりして、よりエンターテイメント性を向上させたものもある。

しかしながら、これらのアプリケーションは、従来の紙のアルバムをパソコン上で仮想的に実現したものであって、スライドショーは基本的には紙芝居と同じであり、ページをめくりながら一枚一枚写真を見るのと何ら変わらない。したがって、デジタルデータとしての特性を積極的に活用するものでも、デジタルならではの楽しさを提供するものでもない。

そこで、デジタルならではの楽しさを提供するために、入力された静止画から映画のような短編の映像（ショートフィルム）を作成するアプリケーションが開発されている。このアプリケーションは、素材となる静止画、ＢＧＭ（音楽）およびスタイルセットをユーザが選択するだけで、ショートフィルムを自動的に生成する。スタイルセットは、出来上がるショートフィルムに対する全般的なイメージ（色調や効果）と、そのイメージに従った視覚効果（静止画に促す効果、エフェクト）とを規定したものである。このアプリケーションによって生成されるショートフィルムは、静止画に動画のような動きが与えられ、デジタル静止画を使った新しいエンターテイメントの世界を切り開いた点で画期的である。
特開平０１−９２８７５号公報（第１頁、第１図）

しかしながら、上記のアプリケーションでは、以下のような問題点がある。
まず、第１に、ユーザが静止画、音楽およびスタイルを選択した場合は、ときにスタイル（エフェクト）にアンマッチングなＢＧＭ、ＤＳＰが選ばれてしまい、ショートフィルムを見ていて、違和感を感じることがある。
第２に、静止画、音楽およびスタイルをユーザが全て選択しなければならず、非常に煩わしい。例えば、ユーザが使いたいＤＳＰを選ぶのはともかく、ユーザが選んだ画像にマッチした音楽、スタイルを選ぶのは面倒である。また逆に、ユーザが夏らしい音楽を選択したときに、夏らしいＤＳＰとアクティブなスタイルを選択したいと思ったとしても、莫大なＤＳＰのライブラリの中から、適切な画像セットを選択するのは至難である。

第３に、ショートフィルム中で実現されている効果は、ＤＳＰ中に写っている、例えば「顔」等のオブジェクトを認識し、その位置関係を考慮した上で、ＤＳＰに視覚効果を適用しているわけではない。従って、意味のない部分を切り取って挿入するカットに使用したり、人物の顔が切れたり、意味のない部分を中心としてズームインしたりといったことが頻繁に起こる。

第４に、パソコンでの使用を前提としているので、ユーザはキーボードにより操作することになり、複雑かつ手間がかかる。また、家電の情報化に伴い、テレビ等の家電機器でもショートフィルムを再生することが望まれるが、家電機器ではショートフィルムを再生することができない。
第５に、オブジェクトの種類、例えば顔のパーツを認識した上で、視覚効果を適用していない。したがって、顔パーツの途中で切れたり、パーツの重要性を識別してスライドイン／アウトする順序が決定されないので、見ている側に違和感をもたらす。

第６に、オブジェクトの名前を認識した上で、視覚効果を適用していない。その結果、全てのオブジェクトが平等に扱われることになって、任意の人にフォーカスしたショートフィルムを生成することができない。故に結婚式の披露宴、誕生日会など特定の人を中心としたパーティーで、撮影した静止画を用いてショートフィルムを生成し、再生する場合、従来のアプリケーションによって生成されたショートフィルムであれば、フォーカスがボケてしまって主役が誰であるかわからないので、再生する場によっては目的に沿わないことがあり得る。

そこで、本発明は上記の事情に鑑みてなされたものであり、静止画、音楽およびスタイル等の各要素のいずれかを選択すれば、それにマッチした他の要素を決定してショートフィルムを生成し、再生することができ、また静止画中のオブジェクトを視覚効果に反映させることによって、エンターテイメント性を向上させたショートフィルムを生成、再生することができるショートフィルム生成再生装置およびその方法等を提供することを第１の目的とする。

また、家電機器においても、ユーザが手間をかけることなく、ショートフィルムを生成し、再生することができるショートフィルム生成再生装置およびその方法等を提供することを第２の目的とする。
また、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することによって、エンターテイメント性を向上させたショートフィルムを生成し、再生することができるショートフィルム生成再生装置およびその方法を提供することを第３の目的とする。

また、オブジェクトの名前を認識した上で、視覚効果に反映させることによって、特定のオブジェクトにフォーカスしたショートフィルムを生成することができるショートフィルム生成再生装置およびその方法を提供することを第４の目的とする。

上記第１の目的を達成するために、本発明に係るショートフィルム生成再生装置においては、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、前記静止画、前記静止画の特徴を表す画像特徴量、生成する映像の全体的なイメージを表すスタイル、当該スタイルの特徴を表すスタイル特徴量、音楽および当該音楽の特徴を表す音楽特徴量を記憶するデータベース手段と、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルのいずれか１つを選択するための選択手段と、前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を前記データベース手段から読み出す特徴量読出手段と、前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、前記特徴量変換手段により変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択手段により選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定手段と、前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定手段により決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段とを備えることを特徴とすることができる。

これによって、映像を作成する際に用いる静止画、音楽およびスタイルのいずれか１つを選択するだけで、シナリオひいては映像を作成することができるので、ユーザは映像を作成するときに従来のように静止画、音楽およびスタイルの全てを選ぶ必要がない。

ここで、本発明に係るショートフィルム生成再生装置においては、前記選択手段により静止画が選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出された画像特徴量を音楽特徴量およびスタイル特徴量に変換することを特徴とすることもできる。
これによって、映像を生成する際に用いる最適な音楽およびスタイルを決定することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記選択手段により音楽が選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出された音楽特徴量を画像特徴量およびスタイル特徴量に変換することを特徴とすることもできる。
これによって、映像を生成する際に用いる最適な音楽および静止画を決定することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記選択手段によりスタイルが選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出されたスタイル特徴量を画像特徴量および音楽特徴量に変換することを特徴とすることもできる。
これによって、映像を生成する際に用いる最適な静止画および音楽を決定することができる。

具体的には、本発明に係るショートフィルム生成再生装置においては、前記データベース手段は、さらに、生成する映像のテーマおよび当該テーマの特徴を表すテーマ特徴量を記憶し、前記選択手段は、映像を生成する際に用いる前記静止画、前記音楽、前記スタイルおよび前記テーマのいずれか１つを選択し、前記特徴量読出手段は、前記選択手段により選択された前記静止画、前記音楽、前記スタイルおよび前記テーマのいずれか１つの特徴量を前記データベース手段から読み出すことを特徴としてもよい。

これによって、静止画、音楽、スタイルおよびテーマの４つに選択枝を広げることができるとともに、映像を作成する際に用いる静止画、音楽、スタイルおよびテーマのいずれか１つを選択するだけで、シナリオひいては映像を作成することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記特徴量変換手段は、前記特徴量読出し手段により読み出されたテーマ特徴量を画像特徴量、音楽特徴量およびスタイル特徴量に変換することを特徴とすることもできる。
これによって、映像を生成する際に用いる最適な静止画、音楽およびスタイルを決定することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、静止画を取得する静止画取得手段と、前記静止画取得手段により取得された静止画から画像特徴量を抽出する画像特徴量抽出手段とを備えることを特徴としてもよい。
これによって、画像特徴量を作成する煩雑を防止しつつ、静止画に合致した画像特徴量を取得することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、前記静止画取得手段により取得された静止画からオブジェクト情報を抽出するオブジェクト情報抽出手段を備えることを特徴とすることもできる。

これによって、抽出されたオブジェクト情報を用いて映像を構成する最適な静止画を選択することが容易になる。
また、本発明に係るショートフィルム生成再生装置においては、前記スタイルは、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトおよび属性を含むパラメータを有し、前記シナリオ生成手段は、前記エフェクトの対象である静止画の前記オブジェクト情報を前記エフェクトに関連付けることを特徴とすることもできる。

これによって、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することによって、オブジェクトに着目した静止画を選択し、エンターテイメント性を向上させたショートフィルムを生成し、再生することができる。
具体的には、本発明に係るショートフィルム生成再生装置においては、前記シナリオ生成手段は、前記スタイルが備える一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置手段と、前記エフェクト配置手段が時間軸上に配置したエフェクト毎に、前記オブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴量を満たす静止画を割り当てる静止画割当手段と、前記エフェクト配置手段が時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成し、生成したシナリオを前記データベース手段に登録するパラメータ設定手段とを有することを特徴とすることができる。

これによって、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することによって、オブジェクトが分断されるような事態が回避され、オブジェクトに着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。
また、本発明に係るショートフィルム生成再生装置においては、前記エフェクトが要求する画像の特徴量は、オブジェクトの特徴量であることを特徴としてもよい。

また、本発明に係るショートフィルム生成再生装置においては、前記オブジェクトの特徴は、オブジェクトの種類、色、形および数の少なくとも１つであることを特徴としてもよい。
また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらにオブジェクトに含まれる特徴的な部分を示す特徴点を抽出し、抽出した特徴点を前記オブジェクト情報に登録する特徴点抽出手段を備え、前記パラメータ設定手段は、オブジェクトに含まれる特徴点の位置に対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。
これによって、オブジェクトの特徴点に着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記データベース手段は、さらに、個人の顔を特定するための個人認証用顔情報を記憶し、前記ショートフィルム生成再生装置は、さらに、前記オブジェクト情報抽出手段が抽出したオブジェクトが人の顔である場合、前記個人認証用顔情報を用いてオブジェクトの名前を認証し、認証したオブジェクトの名前を前記オブジェクト情報に登録する顔認証手段を有し、前記パラメータ設定手段は、名前で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。

これによって、オブジェクトの名前を認識した上で、視覚効果に反映させることによって、特定のオブジェクトにフォーカスしたショートフィルムを生成し、再生することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに個人の名前とその個人の属性とを対応付けた個人情報を記憶する個人情報記憶手段と、顔認証手段が認証したオブジェクトの名前に対応する個人の属性を前記個人情報から検索し、検索した個人の属性を前記オブジェクト情報に登録する個人情報検索手段とを有し、前記パラメータ設定手段は、個人の属性で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。
これによって、個人の属性で特定されるオブジェクトに対する処理を行う視覚効果を有するショートフィルムを生成し、再生することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記スタイルは、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトおよび属性を含むパラメータを有し、前記シナリオ生成手段は、前記スタイルが有する前記属性および前記エフェクトが有する属性に基づいて、前記エフェクトの配列を行うことを特徴としてもよい。
これによって、スタイルでシナリオの骨格を決めた後、その視覚効果をきめ細かく決めることができる。

また、本発明に係るショートフィルム生成再生装置においては、前記エフェクトは、１つのエフェクトだけで構成される基本エフェクトおよび複数の基本エフェクトの組み合わせで構成されるエフェクトブロックのいずれかであり、前記シナリオ生成手段は、前記スタイルが有する前記属性および前記エフェクトが有する属性に基づいて、前記基本エフェクトまたは前記エフェクトブロックの配列を行うことを特徴とすることもできる。
これによって、スタイルでシナリオの骨格を決めた後、その視覚効果をよりきめ細かく決めることができる。

また、本発明に係るショートフィルム生成再生装置においては、前記シナリオ生成手段は、前記エフェクトに当該エフェクトの種類に応じた静止画を割り当てることを特徴とすることもできる。
これによって、エフェクトに対して最適な静止画を割り当てることができる。
また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、再生する映像の選択を行うためのショートフィルム選択手段と、前記ショートフィルム選択手段により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記データベース手段から読み出し、前記シナリオに基づいて前記映像を再生するショートフィルム再生手段とを備えることを特徴としてもよい。
これにより、作成済みのショートフィルムの中から好みのショートフィルムを選んで再生することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、前記ショートフィルム再生手段により再生された前記映像を表示するための表示手段を備えることを特徴とすることもできる。

また、上記第２の目的を達成するために、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、当該装置および当該装置に接続される前記映像を表示するための表示装置の操作を行うための操作手段を備え、前記ショートフィルム再生手段は、前記映像を再生した信号をＲＦ信号に変調して出力するとともに、前記操作手段に設けられ、前記ＲＦ信号が割り当てられた所定のチャンネルボタンが押下されると、前記映像の再生を開始することを特徴とすることもできる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム再生手段は、前記チャンネルボタンが押下される毎に、再生を行っている前記映像を他の映像に切り替えることを特徴とすることもできる。
また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム再生手段は、前記映像を同時に複数再生し、前記ＲＦ信号を複数出力することを特徴とすることもできる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに、当該装置および当該装置に接続される前記映像を表示するための表示装置の操作を行うための操作手段を備え、前記ショートフィルム再生手段は、前記映像を再生した信号をビデオ信号に変調して出力するとともに、前記操作手段に設けられ、前記ビデオ信号が割り当てられた所定のボタンが押下されると、前記映像の再生を開始することを特徴とすることもできる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム再生手段は、前記ボタンが押下される毎に、再生を行っている前記映像を他の映像に切り替えることを特徴とすることもできる。
また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、ホームサーバであることを特徴とすることもできる。

また、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、当該装置および当該装置に接続される映像を表示するための表示装置の操作を行うための操作手段と、映像を再生した信号をＲＦ信号に変調して出力するとともに、前記操作手段に設けられ、前記ＲＦ信号が割り当てられた所定のボタンが押下されると、映像の再生を開始するショートフィルム再生手段を備えることを特徴としてもよい。

また、本発明に係るショートフィルム生成再生装置においては、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、前記静止画、前記静止画の特徴を表す画像特徴量、音楽、前記音楽の特徴を表す音楽特徴量および対象となる１以上の静止画をどのような視覚効果を用いて再生するかを規定したエフェクトを記憶するデータベース手段と、映像を生成する際に用いる前記静止画および前記音楽のいずれか１つを選択するための選択手段と、前記選択手段により選択された前記静止画および前記音楽のいずれかの特徴を表す特徴量を前記データベース手段から読み出す特徴量読出手段と、前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、前記特徴量変換手段により変換された前記他の特徴量に基づいて、それぞれ映像を生成する際に用いる前記静止画および前記音楽の内、前記選択手段により選択されなかった前記静止画および前記音楽を決定する決定手段と、前記選択手段により選択され前記静止画および前記音楽のいずれか並びに前記決定手段により決定された前記静止画および前記音楽に基づいて、映像を生成する際に用いる所定数の前記エフェクトおよびパラメータを決定し、生成する映像の全体的なイメージを表すスタイルを生成するスタイル生成手段と、前記選択手段により選択され前記静止画および前記音楽のいずれか、前記決定手段により決定された前記静止画および前記音楽並びに前記スタイル生成手段により生成された前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段とを備えることを特徴とすることができる。

これによって、映像を作成する際に用いる静止画および音楽のいずれか１つを選択するだけで、シナリオひいては映像を作成することができるので、ユーザは映像を作成するときに従来のように静止画、音楽およびスタイルの全てを選ぶ必要がない。しかも、映像を生成する際に用いる最適なスタイルを決定することができる。

また、本発明に係るショートフィルム生成再生装置においては、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、静止画を取得する静止画取得手段と、前記静止画を記憶するデータベース手段と、前記静止画取得手段により取得された静止画から、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を前記データベース手段に登録するオブジェクト情報抽出手段とを備えることを特徴とすることもできる。

また、上記第３の目的を達成するために、本発明に係るショートフィルム生成再生装置においては、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、外部から入力された静止画を入力する入力手段と、前記静止画、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトとパラメータとを有するスタイルおよび生成する映像に用いられる音楽を記憶するデータベース手段と、予め決定されたスタイルおよび音楽の特徴に基づいて、映像のシナリオを生成するシナリオ生成手段とを備え、前記入力手段は、外部から静止画が入力される毎に、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を前記データベース手段に登録するオブジェクト情報抽出手段を有し、前記シナリオ生成手段は、前記データベース手段に記憶される一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置手段と、前記エフェクト配置手段が時間軸上に配置したエフェクト毎に、前記データベース手段に登録されたオブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴量を満たす静止画を割り当てる静止画割当手段と、前記エフェクト配置手段が時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成し、生成したシナリオを前記データベース手段に登録するパラメータ設定手段とを有することを特徴とすることもできる。

これによって、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することによって、オブジェクトが分断されるような事態が回避され、オブジェクトに着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。
また、本発明に係るショートフィルム生成再生装置においては、前記エフェクトが要求する画像の特徴量は、オブジェクトの特徴量であることを特徴としてもよい。

これによって、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することが容易になる。
また、本発明に係るショートフィルム生成再生装置においては、前記オブジェクトの特徴は、オブジェクトの種類、色、形および数の少なくとも１つであることを特徴としてもよい。

これによって、静止画のオブジェクト情報、つまりオブジェクトの種類、色、形および数の少なくとも１つを元にエフェクトの動作を確定するパラメータを決定することが容易になる。
また、本発明に係るショートフィルム生成再生装置においては、前記入力手段は、さらにオブジェクトに含まれる特徴的な部分を示す特徴点を抽出し、抽出した特徴点を前記オブジェクト情報に登録する特徴点抽出手段を備え、前記パラメータ設定手段は、オブジェクトに含まれる特徴点の位置に対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。
これによって、オブジェクトの特徴点に着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。

また、上記第４の目的を達成するために、本発明に係るショートフィルム生成再生装置においては、前記データベース手段は、さらに、個人の顔を特定するための個人認証用顔情報を記憶し、前記入力手段は、さらに、前記オブジェクト情報抽出手段が抽出したオブジェクトが人の顔である場合、前記個人認証用顔情報を用いてオブジェクトの名前を認証し、認証したオブジェクトの名前を前記オブジェクト情報に登録する顔認証手段を有し、前記パラメータ設定手段は、名前で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。

これによって、オブジェクトの名前を認識した上で、視覚効果に反映させることによって、特定のオブジェクトにフォーカスしたショートフィルムを生成し、再生することができる。

また、本発明に係るショートフィルム生成再生装置においては、前記ショートフィルム生成再生装置は、さらに個人の名前とその個人の属性とを対応付けた個人情報を記憶する個人情報記憶手段を備え、前記入力手段は、さらに顔認証手段が認証したオブジェクトの名前に対応する個人の属性を前記個人情報から検索し、検索した個人の属性を前記オブジェクト情報に登録する個人情報検索手段を有し、前記パラメータ設定手段は、個人の属性で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成することを特徴とすることもできる。
これによって、個人の属性で特定されるオブジェクトに対する処理を行う視覚効果を有するショートフィルムを生成し、再生することができる。

さらに、本発明に係るショートフィルム生成再生システムにおいては、少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置と、ネットワークを介して前記ショートフィルム生成再生装置と接続されるショートフィルム再生装置とを備えるショートフィルム生成再生システムであって、前記ショートフィルム生成再生装置は、前記静止画、前記静止画の画像特徴量、生成する映像の全体的なイメージを表すスタイル、前記スタイルのスタイル特徴量、音楽および前記音楽の音楽特徴量を記憶するデータベース手段と、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルのいずれか１つを選択するための選択手段と、前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を前記データベース手段から読み出す特徴量読出手段と、前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、前記特徴量変換手段により変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択手段により選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定手段と、前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定手段により決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段と、前記ショートフィルム再生装置により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記データベース手段から読み出し、前記ネットワークを介して前記ショートフィルム再生装置へ送信する通信手段とを備え、前記ショートフィルム再生装置は、再生する映像の選択を行うためのショートフィルム選択手段と、前記ネットワークを介して前記ショートフィルム生成再生装置と通信を行う通信手段と、前記ショートフィルム生成再生装置より受信した映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを一時的に保持する記憶手段と、前記ショートフィルム選択手段により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記記憶手段から読み出し、前記シナリオに基づいて前記映像を再生するショートフィルム再生手段と、前記ショートフィルム再生手段により再生された前記映像を表示するための表示手段とを備えることを特徴とすることもできる。
これによって、ユーザはショートフィルム再生装置だけを手軽に持ち運ぶことができるので、外出先等で映像を再生することができる。

なお、本発明は、このようなショートフィルム生成再生装置として実現することができるだけでなく、このようなショートフィルム生成再生装置が備える特徴的な手段をステップとするショートフィルム生成再生方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

以上の説明から明らかなように、本発明に係るショートフィルム生成再生装置によれば、ショートフィルムを生成するために必要な３つの素材（静止画、音楽、スタイル）またはテーマの内、一つを選択することによって、その特徴量に適合する残りの素材を決定した上で、ショートフィルムを生成するので、ユーザは、膨大なデータベースで検索に費やす時間を節約して、非常に簡単、かつ気楽にショートフィルムを生成することが可能になるという効果が奏される。

また、静止画からオブジェクト情報を抽出し、このオブジェクト情報を反映させたショートフィルムを作成しているので、よりエンターテイメント性を高めた視覚効果を与えることができる。
よって、静止画、音楽、スタイルといったショートフィルムの素材の特徴量を利用することで、より簡単、安易、手軽にショートフィルムを生成することができ、また、静止画内のオブジェクト情報を抽出することによって、より効果的にエフェクトを生かすことができるという点において、実用的価値は極めて高い。

さらに、ユーザは所定のボタンが押すだけで、ショートフィルムを再生することができるので、ユーザの操作の手間を省き、簡単にショートフィルムを視聴することができる。
また、静止画のオブジェクト情報を元にエフェクトの動作を確定するパラメータを決定することができるので、オブジェクトが分断されるような事態が回避され、オブジェクトに着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。

また、本発明に係るショートフィルム生成再生装置によれば、オブジェクトに含まれる特徴点の位置に対する処理を示すパラメータを記述することによってシナリオを生成するので、オブジェクトの特徴点に着目したエンターテイメント性を向上させたショートフィルムを生成し、再生することができる。
また、本発明に係るショートフィルム生成再生装置によれば、名前で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成するので、オブジェクトの名前を認識した上で、視覚効果に反映させることによって、特定のオブジェクトにフォーカスしたショートフィルムを生成し、再生することができる。

さらに、本発明に係るショートフィルム生成再生装置によれば、個人の属性で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成するので、個人の属性で特定されるオブジェクトに対する処理を行う視覚効果を有するショートフィルムを生成し、再生することができる。
よって、本発明により、静止画のオブジェクトに着目した種々の画像処理が可能となり、エンターテイメント性の高いショートフィルムを生成し、再生することが可能となり、デジタルカメラが普及してきた今日における本願発明の実用的価値は極めて高い。

以下、本発明に係る実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係るショートフィルム生成再生装置の構成を示す機能ブロック図である。
ショートフィルム生成再生装置１００１ａは、入力された１つ以上の静止画を用いて、短編の映像（ショートフィルム）を生成し、再生する装置であり、図１に示されるように、入力部１１０１、データベース部１１０２、再生部１１０３、内部バス１１０４およびショートフィルム生成部１１０５ａを備えている。また、再生部１１０３には、表示装置１００２が接続されている。表示装置１００２は、ＬＣＤや、ブラウン管など、映像を表示するためのデバイスであり、再生されたショートフィルムを表示する。

静止画は、画像データと、その属性を示すメタデータを含み、メタデータの大部分は、静止画を生成した、例えばデジタルスチルカメラ等のデバイスによって生成されたデータである。このメタデータの代表的なデータとしては、撮影日時、撮影場所（ＧＰＳによる位置情報）、撮影条件（シャッター速度、焦点距離、露光時間等）など（以下、これらを総称して「意味情報」ともいう。）があり、これらはＥＸＩＦとして、ＪＥＩＤＡ（日本電子工業振興協会）によって仕様が策定されている。

入力部１１０１は、静止画が記録されているメディアから静止画を入力する部であり、静止画入力部１１０６、画像特徴量抽出部１１０７および画像内オブジェクト抽出部１１０８を備えている。
データベース部１１０２は、少なくとも一つのデータ記録装置を含み、静止画、音楽および予め設定された一つ以上のスタイルを記憶しており、データベース１１０９内のデータを検索する機能を有している。

静止画入力部１１０６は、メディアに記録されている静止画を本ショートフィルム生成再生装置１００１ａ内のメモリ（図示せず）に読み出すとともに、データベース１１０９に記録する。メディアは、例えば、コンパクトフラッシュ（Ｒ）メモリカード、ＳＤメモリカード（Ｒ）等の半導体メモリメディア、CD-R/ROM/RW 、DVD-R/RAM/RW等の光ディスクメディア、テープ、フレキシブルディスク等の磁気メディア、ＭＯ等の光磁気ディスク等である。

画像特徴量抽出部１１０７は、読み出された画像データから画像特徴量を抽出する。ここで、画像特徴量とは、色合い、色の広がり、色の位置、明るさ、明るさの位置等を示す指標であって、これらを抽出するために色ヒストグラム、周波数ヒストグラムなどを計算する。
画像内オブジェクト抽出部１１０８は、入力された画像データから、例えば人物等のオブジェクトを抽出し、オブジェクト情報を生成する。ここで、オブジェクト情報は、抽出したオブジェクトが接する円の中心の座標と半径の大きさによって表される位置情報と、オブジェクトの種類を含んでいる。オブジェクトの種類としては、人の顔であるか否かがある。この場合、例えば個人を識別する情報をオブジェクトの種類として持たせることもできる。なお、オブジェクトの位置情報は、円の中心と半径によって表現する方法に依らず、例えば四角形の一つの対角線の始点と終点の座標でも表すことが可能である。

上記ショートフィルム生成部１１０５ａは、画像選択部１１１３、画像特徴量読出部１１１４、画像−スタイル特徴量変換部１１１５、画像−音楽特徴量変換部１１１８、スタイル決定部１１１６、音楽決定部１１１９およびシナリオ生成部１１１７を備えている。
画像選択部１１１３は、静止画を選択するためのＧＵＩ（グラフィカルユーザインタフェース）をユーザに提供する。画像特徴量読出部１１１４は、画像選択部１１１３を用いてユーザが選択した静止画の特徴量をデータベース１１０９から読み出す。画像−スタイル特徴量変換部１１１５は、画像特徴量読出部１１１４によって読み出された画像特徴量をスタイル特徴量に変換する。スタイル決定部１１１６は、スタイル特徴量に基づいてデータベース１１０９に記録されているスタイルを検索し、最適なスタイルを決定する。一方、画像−音楽特徴量変換部１１１８は、画像特徴量読出部１１１４によって読み出された画像特徴量を音楽特徴量に変換する。音楽決定部１１１９は、音楽特徴量に基づいてデータベース１１０９に記録されている音楽を検索し、最適な音楽を決定する。そして、シナリオ生成部１１１７は、ユーザが選択した静止画、スタイル決定部１１１６により決定されたスタイルおよび音楽決定部１１１９により決定された音楽を用いてシナリオを生成する。

図２は、スタイルとシナリオの関係を示した概念図である。
スタイルは、生成するショートフィルム全般に共通する項目や属性を記述した“ヘッダ”と、一つのコンセプトの元に集められた任意の数の“エフェクトの集合”を含む構成である。このエフェクトは、対象となる１枚以上の静止画をどのような視覚効果を用いて再生するかを規定しており、実際の視覚効果を提供する関数と、その属性とが記述されている。このとき、スタイルの有する“エフェクトの集合”内においては、エフェクト間の時間軸における順列や対象となる静止画へのポインタは確定していない。属性としては、例えばスピード属性（例えば、“slow”、“normal”、“fast”）、配列属性（例えば、“prologue”、“body”、“epilogue”、“anywhere”）等がある。これら属性は、後述するシナリオ中でのエフェクトの配列順を決定する際に参照される。

ヘッダは、名前、色調、共通効果、シナリオの構成、リズム、スタイルの特徴量などを含んでいる。この内、色調、共通効果は、ショートフィルム全般で共通な設定項目である。
シナリオの構成は、エフェクトの配列に関する属性であって、例えば、シナリオの構成が＜“prologue”−“body”−“epilogue”＞である場合、エフェクトが持つ配列属性に基づいて、１）プロローグ、２）本題、３）エピローグの順にそれぞれエフェクトを配列する。リズムは、エフェクトを配列する際において、スピード属性“fast”と“slow”を有するエフェクトを配列する比率を示す。例えば、リズムが＜２−１＞であるならば、“fast”の属性のあるエフェクトを２つ配列した後には必ず“slow”のスピード属性のあるエフェクトを配列する。スタイルの特徴量は、「激しさ」、「躍動感」、「爽快さ」、「素朴さ」、「ソフトさ」の５つのキーワードについて、それぞれ５段階のレベルで表している。

図３は、エフェクトの一例を絵コンテで模式的に示した図である。
このエフェクトでは、図３（ａ）〜図３（ｅ）に示すように人物が写った１枚の画像に対して、スポットライトがオブジェクトである顔を探索している。次に、図３（ｆ）に示すように顔を探し当て、スポットライトを顔に合わせる。さらに、図３（ｇ）に示すようにスポットライトの部分だけを切り取り、他の部分は消去する。最後に、図３（ｈ）に示すようにスポットライトの部分にズームインして、画面いっぱいに拡大して表示している。

シナリオは、図２に示すように音楽の時間長に合わせて、“エフェクトの集合”からエフェクトをピックアップして配列を決定し、各エフェクトで使用する静止画を決定したものである。
上記再生部１１０３は、ショートフィルム選択部１１１０およびショートフィルム再生部１１１２を備えている。

ショートフィルム選択部１１１０は、再生しようとするショートフィルムを選択するためのＧＵＩをユーザに提供する。ショートフィルム再生部１１１２は、選択されたショートフィルムのシナリオ並びにそこに定義された静止画と音楽とをデータベース１１０９から読み出し、シナリオをデコードしてショートフィルムを再生し、表示装置１００２へ出力する。

次に、上記のように構成されたショートフィルム生成再生装置１００１ａで静止画を入力するときの動作について説明する。
図４は、入力部１１０１における静止画入力時のアルゴリズムを示すフローチャートである。
静止画入力部１１０６は、メディアに記録されている静止画を本ショートフィルム生成再生装置１００１ａ内のメモリに読み出す（Ｓ１１０１）。次に、画像特徴量抽出部１１０７は、読み出された画像データの画像特徴量を抽出する（Ｓ１１０２）。さらに、画像内オブジェクト抽出部１１０８は、静止画中のオブジェクトを抽出し、オブジェクト情報を生成する（Ｓ１１０３）。

最後に、画像特徴量抽出部１１０７により抽出された画像特徴量と、画像内オブジェクト抽出部１１０８により生成されたオブジェクト情報とは、静止画の有するメタデータに追加され、静止画データと共にデータベース１１０９に登録される（Ｓ１１０４）。なお、画像データの保存形式は、ＪＰＥＧ形式に代表されるような圧縮形式であっても、非圧縮形式であっても構わない。

次に、ショートフィルム生成再生装置１００１ａでショートフィルムのシナリオを生成するときの動作について説明する。
図５は、ショートフィルム生成部１１０５でのシナリオの生成時のアルゴリズムを示すフローチャートである。
最初に、画像選択部１１１３は、ユーザから作成するショートフィルムの対象とする静止画（１枚以上）の選択範囲の決定を受け付ける（Ｓ１２０１）。ショートフィルムで使用する静止画は、この範囲内の静止画が対象となる。画像特徴量読出部１１１４は、選択された静止画（群）の画像特徴量および意味情報をデータベース１１０９から読み出す（Ｓ１２０２）。

また、画像特徴量読出部１１１４は、読み出された画像特徴量の色ヒストグラムに基づいて、それぞれの静止画において最も多数を占める色を求める。この色の数を集計し、最多数となった色を静止画（群）の代表色として決定する（Ｓ１２０３）。
次に、画像−音楽特徴量変換部１１１８は、画像特徴量読出部１１１４により決定された代表色を音楽感性イメージに変換する（Ｓ１２０４）。表１は、色に対する色感性イメージおよび音楽感性イメージの対応の一例を示す対応表である。ここで、音楽感性イメージは、それぞれの色に対する色感性イメージに基づいて予め設定されており、代表色が決まれば音楽感性イメージは決定する。また、音楽感性イメージは、スタイル特徴量と同様に、「激しさ」、「躍動感」、「爽快さ」、「素朴さ」、「ソフトさ」の５つのキーワードについて、それぞれ５段階のレベルで表されている。

次に、画像−音楽特徴量変換部１１１８は、予め設定された所定の方法で音楽感性イメージを音楽特徴量に変換する（Ｓ１２０５）。表２は、音楽特徴量の一例を示す表である。本実施の形態１では、音楽特徴量として、「テンポ」、「ビート白色性」、「基本ビート」、「ビート強度１」、「ビート強度２」、「ビート強度比」、「平均音数」、「スペクトル変化度」の８つを用いている。

次に、音楽決定部１１１９は、画像特徴量読出部１１１４により読み出された意味情報中の撮影日時から撮影季節を、撮影位置から大まかな撮影場所を取得する。ここで、大まかな撮影場所とは、例えば海の近く、山の中、街中、地方/市内、日本/国外、など情報である。そして、音楽決定部１１１９は、音楽特徴量をキーとしてデータベース１１０９を検索し、絞られた音楽の中から取得した撮影季節、撮影場所を考慮して、一つの音楽を決定する（Ｓ１２０６）。例えば、７月の海の近くで撮られた静止画であるならば、音楽特徴量で絞られた音楽の中からよりアップテンポな曲を選ぶ。

一方、画像−スタイル特徴量変換部１１１５は、画像特徴量読出部１１１４により決定された代表色をスタイル特徴量に変換する（Ｓ１２０７）。表３は、色に対する色感性イメージおよびスタイル特徴量の対応の一例を示す対応表である。ここで、スタイル特徴量は、音楽感性イメージと同様にそれぞれの色に対する色感性イメージに基づいて予め設定されており、代表色が決まればスタイル特徴量は決定する。

次に、スタイル決定部１１１６は、スタイル特徴量と意味情報をキーとしてデータベース１１０９を検索し、スタイルを決定する（Ｓ１２０８）。
シナリオ生成部１１１７は、上記のように決定された静止画、音楽およびスタイルを用いてシナリオを生成する（Ｓ１２０９）。

以下、このシナリオ生成部１１１７が行うシナリオの生成について詳細に説明する。
図６は、エフェクトの配列を決めるアルゴリズムを示すフローチャートである。
まず、シナリオ生成部１１１７は、音楽決定部１１１９で決定されたＢＧＭとなる音楽を読み出し、その時間長を得る（Ｓ１３０１）。次に、シナリオ生成部１１１７は、スタイル決定部１１１６で決定されたスタイルを読み出し、その属性であるシナリオの構成およびリズムを得る（Ｓ１３０２）。

シナリオの構成およびリズムを取得すると、以下の処理を音楽の時間長の９５％を超えるまで繰り返し行う（Ｓ１３０３）。なお、本実施の形態１では音楽の時間長の９５％を超えるまでエフェクトの配列を行っているが、９５％という数値は変更することも可能である。
シナリオ生成部１１１７は、シナリオの構成および配列履歴に基づいて、次に配列すべきエフェクトの配列属性を決定する（Ｓ１３０４）。例えば、シナリオ構成が＜“prologue”−“body”−“epilogue”＞である場合、音楽の初めから０〜３０％以内に配置するエフェクトは、“prologue”もしくは“anywhere”の配列属性を持つエフェクトである。また、音楽の初めから３０〜８０％に配置するエフェクトは、“body”もしくは“anywhere”の配列属性を持つエフェクトである。音楽の初めから８０〜１００％に配置するエフェクトは、“epilogue”もしくは“anywhere”の配列属性を持つエフェクトである。

また、シナリオ生成部１１１７は、配列履歴を参照して、既に配列されているエフェクトのスピード属性の比率“slow”：“fast”を獲得する。この比率とリズムの示された比率に基づいて次に配列すべきエフェクトのスピード属性を決定する（Ｓ１３０４）。例えば、リズムが＜３−１＞である場合、エフェクトのスピード属性の比率“slow”：“fast”が３対１になるように選択時の重み付けを決定し、“slow”のスピード属性を持つエフェクトが４回以上連続しないようにする。

次に、シナリオ生成部１１１７は、この決定した配列属性およびスピード属性の論理積によって、スタイルの有する“エフェクトの集合”の中から配列すべきエフェクトを決定する（Ｓ１３０５）。そして、シナリオ生成部１１１７は、決定したエフェクトをシナリオのエフェクト配列の最後尾に追加して、配列履歴を更新する（Ｓ１３０６）。
エフェクトの配列属性およびスピード属性を決定する処理および配列すべきエフェクトを決定する処理について、音楽の時間長の９５％を超えるまでエフェクトの配列を行うと（Ｓ１３０７）、シナリオ生成部１１１７は、スタイルのスピード属性を読み出し、時間的な調整を行う対象とするエフェクトを決定する（Ｓ１３０８）。例えば、スタイルの動き属性が“slow”である場合は、配列された全てのエフェクトが実行時間を伸張する対象である。スタイルの動き属性が“normal”である場合には、エフェクトのスピード属性が“slow”か“normal”であるエフェクトが対象である。スタイルの動き属性が“fast”である場合には、エフェクトのスピード属性が“slow”であるエフェクトが対象である。

図７は、時間的な調整が行われる前と後での音楽の時間に対するエフェクトの配列の様子を示す概念図であり、スタイルのスピード属性が“fast”である場合の例である。
シナリオ生成部１１１７は、時間的な調整の対象に決定したエフェクトの実行時間を伸張し、エフェクト配列の総実行時間が音楽と同じになるように調整する（Ｓ１３０９）。これによって、音楽の時間長に合わせて、エフェクトが配置されたことになる。

次に、シナリオ生成部１１１７は、各エフェクト中で定義された画像特徴量を有する静止画をデータベース１１０９で検索し、決定する。シナリオ生成部１１１７は、このように各エフェクトと静止画とのリンクを決定した上で、静止画、音楽、スタイルの関係をシナリオとして記述する。
以上のように、シナリオ生成部１１１７はシナリオを生成する（図５、ステップＳ１２０９）。最後に、シナリオ生成部１１１７は、生成したシナリオをデータベース１１０９に保存する（Ｓ１２１０）。

次に、上記のように生成されたショートフィルムを再生するときの動作について説明する。
再生部１１０３のショートフィルム選択部１１１０は、データベース部１１０２に登録されているショートフィルムのリストを取得し、ユーザに表示する。ユーザが見たいショートフィルムを選択すると、ショートフィルム選択部１１１０は、その選択されたショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しを指示する。ショートフィルム再生部１１１２は、データベース１１０９から読み出されたシナリオをデコードし、読み出された音楽と静止画を用いてショートフィルムを再生し、表示装置１００２へ出力する。

以上のように、ユーザが選択した静止画から抽出した画像特徴量に基づいて、静止画に最適なＢＧＭとしての音楽および最適なスタイルを決定し、ショートフィルムを作成しているので、ユーザはショートフィルムを作成するときに膨大な音楽の中から最適な音楽を選んだり、複数のスタイルの中から最適なスタイルを選んだりする煩わしさを避けることができる。また、静止画を選択するだけで静止画に合ったショートフィルムを作成することが可能となり、ユーザにとって快適な作成環境が構築できる。

また、上記のようにエフェクトを配列することによって、出来上がったショートフィルムにストーリー性を感じさせることができる。例えば、家族旅行の静止画を使ってショートフィルムを作成する場合、プロローグでは、複数枚の静止画を使って全体を概観できるエフェクトを用意する。本題には、それぞれの静止画をゆっくりと見せるエフェクトを配置し、エピローグでは、家族の集合写真を生かすことができるようなエフェクトを配置する。これによって、ショートフィルムにメリハリを持たせ、見ているユーザにストーリー性を感じさせることができるようになる。

また、スローなエフェクトとアップテンポなエフェクトとのバランスを考慮してエフェクトを配列することができるので、ユーザを飽きさせることのないショートフィルムを作成することができる。
なお、本実施の形態１では、静止画の持つ画像特徴量の内、色ヒストグラムだけに着目して、静止画の代表色の色感性イメージをベースとして、音楽特徴量、スタイル特徴量に変換している。色ヒストグラムに限らず、空間周波数、オブジェクトの数等、他の特徴量に着目して、音楽特徴量、スタイル特徴量に変換しても構わない。また、それらの複合によって、音楽特徴量、スタイル特徴量に変換する方法であっても構わない。さらに、集計による方法に依らず、特徴的な静止画を抽出して、これを選択された静止画群の代表画像として、音楽特徴量およびスタイル特徴量を決定する方法であっても構わない。

また、本実施の形態１では、スタイルの属性であるシナリオの構成およびリズムに基づいてエフェクトの配列を決定しているが、これに限られるものではない。例えば、音楽特徴量のテンポに基づいて、スローな部分では、動きがスローで一枚一枚の静止画をゆっくりと見せることができるエフェクトを選択し、逆にアップテンポな部分では、複数枚の静止画を使って躍動感のあるエフェクトを選択するようにすることも可能である。

（実施の形態２）
次に、ユーザが音楽を選択することによって、その音楽のイメージに合ったショートフィルムを生成する場合について説明する。
図８は、本発明の実施の形態２に係るショートフィルム生成再生装置の他の構成を示すブロック図である。なお、実施の形態１のショートフィルム生成再生装置１００１ａと対応する部分に同じ番号を付し、その説明を省略する。

図８に示されるショートフィルム生成再生装置１００１ｂにおいては、ショートフィルム生成部１１０５ｂの構成が、画像からその画像のイメージに合ったショートフィルムを生成するショートフィルム生成部１１０５ａと相違しており、その他は同様である。
ショートフィルム生成部１１０５ｂは、ユーザが音楽を選択することによって、その音楽のイメージに合ったショートフィルムを生成する装置であって、上記したスタイル決定部１１１６およびシナリオ生成部１１１７の他、音楽選択部１１２０、音楽特徴量読出部１１２１、音楽−画像特徴量変換部１１２２、音楽−スタイル特徴量変換部１１２４および画像決定部１１２３を備えている。

音楽選択部１１２０は、音楽を選択するためのＧＵＩをユーザに提供する。音楽特徴量読出部１１２１は、ユーザが選択した音楽の特徴量をデータベース１１０９から読み出す。音楽−画像特徴量変換部１１２２は、音楽特徴量読出部１１２１によって読み出された音楽特徴量を画像特徴量に変換する。画像決定部１１２３は、画像特徴量に基づいてデータベース１１０９に記録されている静止画を検索し、最適な静止画を決定する。一方、音楽−スタイル特徴量変換部１１２４は、音楽特徴量読出部１１２１によって読み出された音楽特徴量をスタイル特徴量に変換する。スタイル決定部１１１６は、スタイル特徴量に基づいてデータベース１１０９に記録されているスタイルを検索し、最適なスタイルを決定する。そして、シナリオ生成部１１１７は、ユーザが選択した音楽、画像決定部１１２３により決定された静止画およびスタイル決定部１１１６により決定されたスタイルを用いてシナリオを生成する。

次に、上記のように構成されたショートフィルム生成部１１０５ｂでショートフィルムのシナリオを生成するときの動作について説明する。
図９は、ショートフィルム生成部１１０５ｂでのシナリオの生成時のアルゴリズムを示すフローチャートである。
最初に、ユーザは、作成するショートフィルムのＢＧＭとしたい曲（音楽１）を音楽選択部１１２０により選択する（Ｓ１４０１）。音楽特徴量読出部１１２１は、選択された音楽１の音楽特徴量をデータベース１１０９から読み出す（Ｓ１４０２）。なお、本実施の形態２では、音楽特徴量をデータベース１１０９から読み出す形式としたが、音楽特徴量読出部１１２１に音楽特徴量を抽出する機能を持たせ、直接に選択された音楽から音楽特徴量を抽出しても構わない。次に、音楽特徴量読出部１１２１は、読み出した音楽特徴量を音楽感性イメージに変換する（Ｓ１４０３）。

音楽−スタイル特徴量変換部１１２４は、変換された音楽感性イメージをそのままスタイル特徴量とする（Ｓ１４０４）。これは、本実施の形態２では音楽感性イメージおよびスタイル特徴量共に、「激しさ」、「躍動感」、「爽快さ」、「素朴さ」、「ソフトさ」の５つのキーワードについて、それぞれ５段階のレベルで表しているためである。そして、スタイル決定部１１１６は、スタイル特徴量（＝音楽感性イメージ）をキーとしてデータベース１１０９を検索して、スタイルを決定する（Ｓ１４０５）。

一方、音楽−画像特徴量変換部１１２２は、変換された音楽感性イメージを画像特徴量に変換する（Ｓ１４０６）。そして、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索し、所定数の静止画を決定する（Ｓ１４０７）。
シナリオ生成部１１１７は、上記のように決定された静止画、音楽およびスタイルを用いて上記実施の形態１と同様にシナリオを生成する（Ｓ１４０８）。最後に、シナリオ生成部１１１７は、生成したシナリオをデータベース１１０９に保存する（Ｓ１４０９）。

以上のように、ユーザが選択した音楽の音楽特徴量に基づいて、音楽に最適なスタイルおよび最適な静止画を決定し、ショートフィルムを作成しているので、ユーザはショートフィルムを作成するときに膨大な画像データベースの中から適切な静止画を選んだり、複数のスタイルの中から最適なスタイルを選んだりする煩わしさを避けることができる。また、ＢＧＭとなる音楽を選択するだけでその音楽に合ったショートフィルムを作成することが可能となり、ユーザにとって快適な作成環境が構築できる。このように音楽を選択するだけでショートフィルムを作成できるので、例えばカラオケのＢＧＶを生成する場合等に有効である。

なお、本実施の形態２では、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索しているが、これに限られるものではない。例えば、データベース１１０９に記録されている音楽に意味情報を持たせ、この意味情報と画像特徴量によってデータベース１１０９に記録されている静止画を検索することも可能である。この場合、例えば音楽の意味情報が「夏」という季節感を含むものであれば、撮影日時を７月から９月に限定して検索することができる。

（実施の形態３）
次に、ユーザがスタイルを選択することによって、そのスタイルのイメージに沿ったショートフィルムを生成する場合について説明する。
図１０は、本発明の実施の形態３に係るショートフィルム生成再生装置の他の構成を示すブロック図である。なお、実施の形態１，２のショートフィルム生成再生装置１００１ａ，１００１ｂと対応する部分に同じ番号を付し、その説明を省略する。

図１０に示されるショートフィルム生成再生装置１００１ｃにおいては、ショートフィルム生成部１１０５ｃの構成が上記実施の形態１、２に示すショートフィルム生成部１１０５ａ，１１０５ｂと相違しており、その他は同様である。
ショートフィルム生成部１１０５ｃは、ユーザがスタイルを選択することによって、そのスタイルのイメージに沿ったショートフィルムを生成する装置であり、上記画像決定部１１２３、音楽決定部１１１９およびシナリオ生成部１１１７の他、スタイル選択部１１２５、スタイル特徴量読出部１１２６、スタイル−画像特徴量変換部１１２７およびスタイル−音楽特徴量変換部１１２８を備えている。

スタイル選択部１１２５は、スタイルを選択するためのＧＵＩをユーザに提供する。スタイル特徴量読出部１１２６は、ユーザが選択したスタイルの特徴量をデータベース１１０９から読み出す。スタイル−画像特徴量変換部１１２７は、スタイル特徴量読出部１１２６によって読み出されたスタイル特徴量を画像特徴量に変換する。画像決定部１１２３は、画像特徴量に基づいてデータベース１１０９に記録されている静止画を検索し、最適な静止画を決定する。一方、スタイル−音楽特徴量変換部１１２８は、スタイル特徴量読出部１１２６によって読み出されたスタイル特徴量を音楽特徴量に変換する。音楽決定部１１１９は、音楽特徴量に基づいてデータベース１１０９に記録されている音楽を検索し、最適な音楽を決定する。そして、シナリオ生成部１１１７は、ユーザが選択したスタイル、画像決定部１１２３により決定された静止画および音楽決定部１１１９により決定された音楽を用いてシナリオを生成する。

次に、上記のように構成されたショートフィルム生成再生装置１００１ｃでショートフィルムのシナリオを生成するときの動作について説明する。
図１１は、ショートフィルム生成部１１０５ｃでのシナリオの生成時のアルゴリズムを示すフローチャートである。
最初に、ユーザは、作成するショートフィルムで使用したいスタイルをスタイル選択部１１２５により選択する（Ｓ１５０１）。スタイル特徴量読出部１１２６は、選択されたスタイルをデータベース１１０９から読み出し、そのスタイルのヘッダ部分に図２に示すように記述されたスタイル特徴量を取得する（Ｓ１５０２）。次に、スタイル−音楽特徴量変換部１１２８は、スタイル特徴量を音楽特徴量に変換する（Ｓ１５０３）。本実施の形態３では、スタイル特徴量として、そのスタイルにマッチする音楽感性イメージを記述しておき、その音楽感性イメージを音楽特徴量に変換する。次に、音楽決定部１１１９は、音楽特徴量をキーとしてデータベース１１０９を検索し、ショートフィルムのＢＧＭとする一つの音楽を決定する（Ｓ１５０４）。

一方、スタイル−画像特徴量変換部１１２７は、スタイル特徴量（＝音楽感性イメージ）を画像特徴量に変換する（Ｓ１５０５）。そして、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索し、所定数の静止画を決定する（Ｓ１５０６）。
シナリオ生成部１１１７は、上記のように決定された静止画、音楽およびスタイルを用いて上記実施の形態１，２と同様にシナリオを生成する（Ｓ１５０７）。最後に、シナリオ生成部１１１７は、生成したシナリオをデータベース１１０９に保存する（Ｓ１５０８）。

以上のように、ユーザが選択したスタイルのスタイル特徴量に基づいて、スタイルに最適な音楽および最適な静止画を決定し、ショートフィルムを作成しているので、ユーザはショートフィルムを作成するときに膨大な画像および音楽データベースの中から適切な静止画および最適な音楽を選んだりする煩わしさを避けることができる。また、ショートフィルムの全体的なイメージを表すスタイルを選択するだけでそのスタイルに合ったショートフィルムを作成することが可能となり、ユーザにとって快適な作成環境が構築できる。

なお、本実施の形態３では、音楽決定部１１１９は、音楽特徴量をキーとしてデータベース１１０９に記録されている音楽を検索しているが、これに限られるものではない。例えば、データベース１１０９に記録されている音楽に意味情報を持たせ、音楽決定部１１１９は、意味情報と音楽特徴量によってデータベース１１０９に記録されている音楽を検索することも可能である。この場合、例えば音楽決定部１１１９は、現在の時間情報から現在の季節を取得し、データベース１１０９を検索する際のキーに追加することで、同じ音楽特徴量であっても季節に応じた曲を選択することができる。

また、本実施の形態３では、スタイル特徴量をそのスタイルにマッチする音楽感性イメージで表しているが、これに限られるものではない。例えば、スタイル特徴量を音楽感性イメージとは別のキーワードを用いて表し、このスタイル特徴量と音楽特徴量を対比する表に基づいて、スタイル特徴量を音楽特徴量に変換しても構わない。
さらに、本実施の形態３では、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索しているが、これに限られるものではない。例えば、スタイル特徴量の一つとしてオブジェクト情報を定義し、画像決定部１１２３は、オブジェクト情報と画像特徴量によってデータベース１１０９に記録されている静止画を検索することも可能である。この場合、スナップ写真を中心とした静止画を見せるスタイルでは、人（顔）のオブジェクトがたくさん含まれる静止画を選択する方が好ましい。

（実施の形態４）
次に、ユーザがテーマを選択することによって、そのテーマのイメージに沿ったショートフィルムを生成する場合について説明する。
図１２は、本発明の実施の形態４に係るショートフィルム生成再生装置の他の構成を示すブロック図である。なお、実施の形態１〜３のショートフィルム生成再生装置１００１ａ〜１００１ｃと対応する部分に同じ番号を付し、その説明を省略する。

図１２に示されるショートフィルム生成再生装置１００１ｄにおいては、ショートフィルム生成部１１０５ｄの構成が上記実施の形態１〜３のショートフィルム生成部１１０５ａ〜１１０５ｃと相違しており、その他は同様である。
ショートフィルム生成部１１０５ｄは、ユーザがテーマを選択することによって、そのテーマのイメージに沿ったショートフィルムを生成する装置であり、画像決定部１１２３、スタイル決定部１１１６、音楽決定部１１１９およびシナリオ生成部１１１７の他、テーマ選択部１１２９、テーマ特徴量読出部１１３０、テーマ−画像特徴量変換部１１３１、テーマ−スタイル特徴量変換部１１３２およびテーマ−音楽特徴量変換部１１３３を備えている。

ここで、テーマとは、予め開発者あるいはユーザによって定義され、そのテーマに合わせて画像特徴量、音楽感性イメージ（音楽特徴量）、スタイル特徴量を決定したものである。テーマとしては、例えば季節（春夏秋冬、初夏、晩秋など）、去年の今ごろ、最近の出来事のような曖昧な時期指定のワード、また２０００年とか１９９０年とかのように具体的な西暦年を指定するワード等がある。

テーマ選択部１１２９は、テーマを選択するためのＧＵＩをユーザに提供する。テーマ特徴量読出部１１３０は、ユーザが選択したテーマのテーマ定義ファイルをデータベース１１０９から読み出す。テーマ−画像特徴量変換部１１３１は、テーマ定義ファイルに記述された画像特徴量を取り出す。画像決定部１１２３は、画像特徴量に基づいてデータベース１１０９に記録されている静止画を検索し、最適な静止画を決定する。テーマ−スタイル特徴量変換部１１３２は、テーマ定義ファイルに記述されたスタイル特徴量を取り出す。一方、スタイル決定部１１１６は、スタイル特徴量に基づいてデータベース１１０９に記録されているスタイルを検索し、最適なスタイルを決定する。テーマ−音楽特徴量変換部１１３３は、テーマ定義ファイルに記述された音楽特徴量を取り出す。他方、音楽決定部１１１９は、音楽特徴量に基づいてデータベース１１０９に記録されている音楽を検索し、最適な音楽を決定する。そして、シナリオ生成部１１１７は、画像決定部１１２３により決定された静止画、スタイル決定部１１１６により決定されたスタイルおよび音楽決定部１１１９により決定された音楽を用いてシナリオを生成する。

次に、上記のように構成されたショートフィルム生成再生装置１００１ｄでショートフィルムのシナリオを生成するときの動作について説明する。
図１３は、ショートフィルム生成部１１０５ｄでのシナリオの生成時のアルゴリズムを示すフローチャートである。
最初に、ユーザは、作成するショートフィルムで使用したいテーマをテーマ選択部１１２９により選択する（Ｓ１６０１）。テーマ特徴量読出部１１３０は、選択されたテーマのテーマ定義ファイルをデータベース１１０９から読み出す（Ｓ１６０２）。次に、テーマ−スタイル特徴量変換部１１３２は、テーマ定義ファイルに記述されたスタイル特徴量を取り出す（Ｓ１６０３）。そして、スタイル決定部１１１６は、スタイル特徴量をキーとしてデータベースを検索して、スタイルを決定する（Ｓ１６０４）。

次に、テーマ−音楽特徴量変換部１１３３は、テーマ定義ファイルに記述された音楽感性イメージを取り出し、この音楽感性イメージを音楽特徴量に変換する（Ｓ１６０５）。そして、音楽決定部１１１９は、音楽特徴量をキーとしてデータベース１１０９を検索し、ショートフィルムのＢＧＭとする一つの音楽を決定する（Ｓ１６０６）。
次に、テーマ−画像特徴量変換部１１３１は、テーマ定義ファイルに記述された画像特徴量を取り出す（Ｓ１６０７）。そして、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索し、所定数の静止画を決定する（Ｓ１６０８）。

シナリオ生成部１１１７は、上記のように決定された静止画、音楽およびスタイルを用いて上記実施の形態１と同様にシナリオを生成する（Ｓ１６０９）。最後に、シナリオ生成部１１１７は、生成したシナリオをデータベース１１０９に保存する（Ｓ１６１０）。
以上のように、ユーザが選択したテーマに基づいて、テーマに最適なスタイル、最適な音楽および最適な静止画を決定し、ショートフィルムを作成しているので、ユーザはショートフィルムを作成するときに膨大な画像、音楽およびスタイルの中から最適な静止画、音楽およびスタイルを選んだりする煩わしさを避けることができる。また、テーマを選択するだけでそのテーマに合ったショートフィルムを作成することが可能となり、ユーザにとって快適な作成環境が構築できる。

なお、本実施の形態４では、画像決定部１１２３は、画像特徴量をキーとしてデータベース１１０９に記録されている静止画を検索しているが、これに限られるものではない。例えば、テーマ定義ファイルにテーマに沿った制限条件を持たせ、この制限条件と画像特徴量によってデータベース１１０９に記録されている静止画を検索することも可能である。この場合、例えば「夏」をテーマにしたものであれば、撮影日時＝６月から９月、撮影場所＝山、海、プール、色調＝青、白などを制限条件とし、それらの制限によって夏らしい静止画だけを選択できる。

また、上記各実施の形態１〜４では、ショートフィルム生成再生装置１００１ｄに表示装置１００２を接続する構成としているが、これに限られるものではなく、例えば表示装置１００２をショートフィルム生成再生装置１００１ｄに備える構成とすることも可能である。

（実施の形態５）
次に、シナリオ生成部１１１７におけるエフェクトと静止画の対応付けについて述べる。ここでは、図３に示すエフェクトに静止画を割り当てる場合について説明する。このエフェクトは、上記のように人物が写った１枚の静止画に対して、スポットライトがオブジェクトである顔を探索して、最終的に顔を探し当てて、最後にズームインするエフェクトを示したものである。

図１４は、シナリオ生成部１１１７において、エフェクトに静止画を割り当て、そのオブジェクト情報によって、視覚効果を生成するときのアルゴリズムを示すフローチャートである。
シナリオ生成部１１１７は、エフェクトの属性を読み出す（Ｓ１７０１）。このエフェクトの属性は、予め設定している静止画の検索ルールであって、例えば表４に示すように“顔の数”、“顔の位置”、“顔の大きさ”、“類似画像の数”等が設定されている。図３に示すエフェクトでは、人が一人で写っている静止画であれば効果的に見せることができるので、例えば検索ルールは「顔の数＝１」と設定されている。

シナリオ生成部１１１７は、上記の検索ルールに基づいてデータベース１１０９を検索し、本エフェクトに割り当てるべき静止画を決定する（Ｓ１７０２）。次に、シナリオ生成部１１１７は、決定した静止画のオブジェクト情報をデータベース１１０９より読み出す（Ｓ１７０３）。シナリオ生成部１１１７は、エフェクトに必要なオブジェクト情報をエフェクトにセットする（Ｓ１７０４）。図３に示すエフェクトでは、オブジェクトである顔の位置とサイズが必要であるので、それらを静止画のオブジェクト情報から取得して、エフェクトにセットする。

以上のように、図３に示すエフェクトでは、人が一人で写っている静止画をデータベース１１０９から選択し、顔のオブジェクト情報（重心の座標位置、半径）をエフェクトにセットするので、あたかも顔の位置、大きさを知って、スポットライトが顔を探索して顔を探し当てて、最後にズームインするという視覚効果を与えているように見せることができる。

このように、エフェクトと最もマッチングの良い静止画をデータベースから選択することができるので、よりエンターテイメント性を高めた視覚効果を与えることができる。また、顔を初めとする静止画内のオブジェクトを認識した上で静止画に効果を付与しているので、よりその楽しさが増す上にストーリーを付与することが可能である。

（実施の形態６）
上記各実施の形態１〜５では、シナリオ生成部１１１７は、上記のように最初にエフェクトを配列し、次にエフェクトに対して、エフェクトの要求する画像特徴量を有する静止画をデータベース１１０９から選択することによって、エフェクトと静止画とのリンクを確定している。これに対して、本実施の形態６は、最初に静止画を配列した後、静止画の画像特徴量およびオブジェクト情報に基づいてエフェクトを選択することによって、エフェクトと静止画とのリンクを確定する場合である。

図１５は、時間軸上に並べられた静止画に対するエフェクトの割り当てを示す概念図である。ここで、静止画Ａ〜Ｆは時間軸上にデータベース１１０９に登録された順に配列されている。また、それぞれ画像特徴量およびオブジェクト情報に基づいて分類すると、静止画Ａは被写体が二人のスナップ写真である。静止画Ｂ〜Ｄは類似性の高い写真である。静止画Ｅは人が写っていない風景写真である。静止画Ｆは人が一人写っているスナップ写真である。また、表５は画像特徴量による分類と対応するエフェクトを示す表である。

シナリオ生成部１１１７が、決定されている静止画、音楽およびスタイルを用いてシナリオを生成するときの動作について説明する。
図１６は、静止画に対してエフェクトを割り当てるアルゴリズムを示すフローチャートである。
シナリオ生成部１１１７は、決定されている静止画（複数）をデータベース１１０９に登録された順に読み出し、時間軸上に並べる（Ｓ１８０１）。次に、シナリオ生成部１１１７は、各静止画の画像特徴量およびオブジェクト情報に基づいて静止画の類似性および種類を決定する（Ｓ１８０２）。次に、シナリオ生成部１１１７は、例えば表５に示すような変換テーブルにより各静止画の類似性および種類に応じたエフェクトを割り当て、エフェクトと静止画とのリンクを確定する（Ｓ１８０３）。図１５に示す例では、静止画Ａにはスナップ写真（二人）の項から“spotlight2”を選択する。同様に、静止画Ｂ〜Ｄ、Ｅ、Ｆに“pan ”、“ still ”、 “zoomin1 ”といった視覚効果を選択する。なお、このときのエフェクトの選択は、同一項目内であればどれを選んでも構わないので、例えばランダム、ラウンドロビン等のルールにより選択すればよい。

最後に、シナリオ生成部１１１７は、配列の確定したエフェクトについて、例えばオブジェクトの位置、サイズ等のオブジェクト情報をセットする（Ｓ１８０４）。
以上のように、最初に静止画を配列した後、静止画の画像特徴量およびオブジェクト情報に基づいてエフェクトと静止画とのリンクを確定しているので、ユーザにより選択された静止画、または画像決定部１１２３により決定された静止画を全て素材として使用したシナリオを生成することが可能となる。また、静止画の画像特徴量およびオブジェクト情報に基づいて、静止画に適切なエフェクトを選択することができる。

なお、本実施の形態６では、静止画を時間軸上に並べる際に、データベース１１０９に登録された順に並べているが、これに限られるものではなく、例えば静止画が撮影された日時の順に並べても構わない。
また、最初に静止画を時間軸上に並べずに、静止画の画像特徴量およびオブジェクト情報に基づいてエフェクトと静止画とのリンクを確定した後、リンクが確定したエフェクトのみを時間軸上に配列することによってシナリオを生成しても構わない。

また、上記実施の形態１〜６では、ショートフィルム生成再生装置１００１ａ〜１００１ｄと表示装置１００２とを別に構成しているが、これに限られるものではなく、例えば全てを一体に構成しても構わない。

（実施の形態７）
図１７は、本発明の実施の形態７に係るショートフィルム生成再生装置の他の構成を示す機能ブロック図である。

ショートフィルム生成再生装置２００１は、入力された１つ以上の静止画を用いて、短編映像（ショートフィルム）のシナリオを生成したり、生成されたシナリオを用いてショートフィルムを再生したりするコンピュータ装置であり、図１７に示されるように、入力部２０１０と、データベース２０２０と、シナリオ生成部２０３０と、再生部２０４０と、表示部２０５０と、これらの入力部２０１０〜表示部２０５０を接続する内部バス２０６０等とから構成される。なお、ここでは、上記のショートフィルム生成部１１０５ａ〜１１０５ｄの内、シナリオ生成部１１１７に対応するシナリオ生成部２０３０だけが示されている。

ここで、シナリオは、ＭＰＥＧに代表されるような動画像データそのものではなく、時系列に視覚効果（エフェクト）、エフェクトの動作を規定するパラメータ、エフェクトの対象となる静止画へのポインタなどを、ＸＭＬに代表されるようなスクリプト言語によって、記述したものである。そして、本実施の形態７では、時間軸上に配置された「エフェクト」に対して、静止画をマッピングしてシナリオを生成するものである。

入力部２０１０は、デジタルカメラや、デジタルカメラによって静止画が記録されているメディアから静止画を入力する部であり、静止画選択部２１１０と、オブジェクト情報抽出部２１２０等とからなる。
静止画選択部２１１０は、メディアに記録されている静止画を本ショートフィルム生成再生装置２００１内のメモリ（図示せず）に読み出すとともに、データベース２０２０に登録する。メディアは、例えば、コンパクトフラッシュ（Ｒ）メモリカード、ＳＤメモリカード（Ｒ）等の半導体メモリメディア、ＣＤ−Ｒ／ＲＯＭ／ＲＷ、ＤＶＤ−Ｒ／ＲＡＭ／ＲＷ等の光ディスクメディア、テープ、フレキシブルディスク等の磁気メディア、ＭＯ等の光磁気ディスク等である。

なお、静止画選択部２１１０を介してデータベース２０２０に登録される静止画２２１０は、例えばＪＰＥＧ形式の画像データであり、静止画本体と、その属性を示すメタデータを含み、メタデータの大部分は、静止画を生成した、例えばデジタルスチルカメラ等のデバイスによって生成されたデータである。このメタデータの代表的なデータとしては、撮影日時、撮影場所（ＧＰＳによる位置情報）、撮影条件（シャッター速度、焦点距離、露光時間等）など（以下、意味情報という）があり、これらはＥＸＩＦとして、ＪＥＩＤＡ（日本電子工業振興協会）によって仕様が策定されている。

オブジェクト情報抽出部２１２０は、入力された画像データから、例えば人物の顔等のオブジェクトを抽出し、オブジェクト情報を生成する。生成されたオブジェクト情報は、データベース２０２０に登録される。
図１８は、データベース２０２０に登録されたオブジェクト情報２２２０の構成例を示す図である。

オブジェクト情報２２２０は、図１８に示されるように、抽出したオブジェクトが接する円の中心の座標と、半径の大きさによって表される位置情報２２１３と、オブジェクトの種類２２１２と、対応する静止画のファイル名２２１１とを含んでいる。オブジェクトの種類としては、人の顔であるか否かがある。なお、オブジェクトの位置情報は、円の中心と半径によって表現する方法に依らず、例えば四角形の一つの対角線の始点と終点の座標でも表すことが可能である。

データベース２０２０は、入力部２０１０の静止画選択部２１１０から入力された静止画２２１０や、オブジェクト情報抽出部２１２０によって生成されるオブジェクト情報２２２０の他、エフェクトテーブル２２３０、ショートフィルム再生時にＢＧＭとして用いられる音楽２２４０、生成する映像の全体的なイメージを表すスタイル２２５０、生成する映像のテーマ２２６０、シナリオ２２７０などを登録したり、検索したりする機能を有している。

なお、データベース２０２０は、ハードディスクやＲＡＭなどの記憶媒体で構成することができる。そしてこの場合には、静止画２２１０等を、記憶媒体に格納したり、記憶媒体から読み出したりする手段を別途設けるようにすればよい。
エフェクトテーブル２２３０は、エフェクト群に含まれる各エフェクトのエフェクト名と、そのエフェクトが要求するオブジェクトの数との関係を示すテーブルである。

図１９は、エフェクトテーブル２２３０の構成例を示す図である。
図１９に示されるように、エフェクトテーブル２２３０は、エフェクト名の欄と、要求するオブジェクトの数の欄とから構成される。
エフェクト名の欄には、対象となる１枚以上の静止画をどのような視覚効果を用いて再生するかを規定するエフェクト名、例えば、スポットライトｅｆｆ１、ズームｅｆｆ２、トリミングｅｆｆ３、クロストークｅｆｆ４、スライドインｅｆｆ５、スライドアウトｅｆｆ６などの一覧が格納される。要求するオブジェクトの数の欄には、スポットライトｅｆｆ１〜スライドアウトｅｆｆ６に対応して、「１〜４」、「１〜４」、「１，２」、「２」、「いくつでもＯＫ」、「いくつでもＯＫ」がそれぞれ格納される。

例えば、スポットライトｅｆｆ１は、一つのオブジェクトに着目して、スポットライトが写真内をサーチした後に、最終的にターゲットとなるオブジェクトにフォーカスするエフェクトであって、一つ以上４つまでのオブジェクトが写っている写真がマッピングされる。また、スライドインｅｆｆ５やスライドアウトｅｆｆ６は、静止画が縦、横あるいは斜めに分割され、縦、横あるいは斜めにスライドインあるいはスライドアウトしたり、４角写真を４分割し、それぞれの断片を４つのコーナー方向へスライドインあるいはスライドアウトするエフェクトであって、オブジェクトの数が多く写っている写真であってもマッピングされる。

なお、静止画全体をいずれかの方向に動かすパンをエフェクト名の欄に格納し、オブジェクトの位置を検出して、最も遠い位置を開始位置とすることによって、動きが大きくなって、見栄えが良くなる視覚効果を得たり、２枚の写真を重ねるとき、オブジェクトのパーツの位置合わせをするモンタージュをエフェクト名の欄に格納し、上位の写真をスライドアウトすると、モンタージュ風に下位の写真が見えてくる視覚効果を得たり、特定のオブジェクトを中心に拡大／縮小するズームイン／アウトをエフェクト名の欄に格納したり、αブレンドしながら、消えていく／見えてくるフェードイン／アウトをエフェクト名の欄に格納し、オブジェクトの座標位置を読み出して、遠い位置からα値を小さくする視覚効果を得たり、特定のオブジェクトにフォーカスしながら、背景をマスクするフォーカスイン／アウトをエフェクト名の欄に格納し、フォーカスする図形の重心位置とオブジェクトの座標位置との関係を決め、両者を重ねず、別な位置に（最も遠い位置など）に設定する視覚効果を得たりするようにしてもよい。この場合には、エフェクトの属性に応じて要求するオブジェクトの数を設定すればよい。

シナリオ２２７０は、音楽の時間長に合わせて、エフェクトの集合からエフェクトをピックアップして配列を決定し、時間軸上に配置されたエフェクトに対して、静止画をマッピングして生成されたものである。
シナリオ生成部２０３０は、ユーザが予め選択した静止画や、決定されたスタイルおよび音楽あるいは決定されたスタイル、音楽およびテーマを用いてシナリオを生成し、生成したシナリオをデータベース２０２０に登録するものであり、エフェクト配置部２３１０と、静止画割当部２３２０と、パラメータ設定部２３３０等とを備える。

エフェクト配置部２３１０は、予め定められた音楽およびスタイルあるいは音楽、スタイルおよびテーマに基づき、エフェクトの集合から一つのエフェクトを取り出して、時間軸上に配置するブロックであり、これを繰り返していくことにより、ある再生時間の長さを持つシナリオの骨格を形成する。このとき、シナリオの再生時間の長さは、ＢＧＭとなる音楽の長さであっても、ユーザ、あるいはシステムが定義する時間長であっても構わない。

静止画割当部２３２０は、エフェクト配置部２３１０が形成したシナリオの骨格のそれぞれのエフェクトに対して、その属性中の記述を読み出して、そこで要求されている属性を持つ静止画をデータベース２０２０から検索して、マッピングする。より詳しくは、本実施の形態７では、静止画割当部２３２０は、各エフェクトが要求するオブジェクトの数に基づいて、静止画を検索し、検索の結果得られた静止画をエフェクトに対して割り当てる。すなわち、マッピングする。したがって、エフェクトがスポットライトである場合、静止画割当部２３２０は、１つ以上、４つ以下のオブジェクトが写った写真を検索して、その結果得られる写真を１枚決定し、スポットライトにマッピングする。

パラメータ設定部２３３０は、エフェクトと静止画のマッピングが確定した状態で呼び出され、シナリオにおける各エフェクトの動作を確定するためのパラメータを決定する。
例えば、エフェクトがスライドアウトｅｆｆ６である場合を例に挙げると、
１．方向スライドアウトするブロックが動く方向（縦、横、斜め、中央から４角）
２．大きさスライドアウトするブロックの幅
３．順序ブロックがスライドアウトする順序
の３つのパラメータを確定することによって、スライドアウトの動作を確定することができる。

再生部２０４０は、シナリオを読み込んで、複数のフレームデータを生成し、時系列に表示するものであって、ショートフィルム選択部２４１０と、ショートフィルム再生部２４２０等とからなる。
ショートフィルム選択部２４１０は、再生しようとするショートフィルムを選択するためのＧＵＩをユーザに提供する。

ショートフィルム再生部２４２０は、選択されたショートフィルムのシナリオ、並びにそこに定義された静止画と音楽をデータベース２０２０から読み出し、シナリオをデコードしてショートフィルムを再生し、表示部２０５０へ出力する。これによって、ユーザは動画として視聴することができる。
表示部２０５０は、ＬＣＤ、ブラウン管など映像を表示するためのデバイスと、内蔵されるスピーカとから構成され、再生されたショートフィルムの映像などを表示する。

次に、上記のように構成されたショートフィルム生成再生装置で静止画を入力するときの動作について説明する。
図２０は、入力部２０１０における静止画入力時のアルゴリズムを示すフローチャートである。
静止画選択部２１１０およびオブジェクト情報抽出部２１２０は、メディアに記録されている全ての静止画について、各静止画毎に以下の処理を繰り返し実行する（Ｓ２０１１）。

まず、静止画選択部２１１０は、メディアに記録されている静止画を本ショートフィルム生成再生装置２００２内のメモリに読み出し（Ｓ２０１２）、読み出した静止画をデータベース２０２１に登録する（Ｓ２０１３）。なお、画像データの保存形式は、ＪＰＥＧ形式に代表されるような圧縮形式であっても、非圧縮形式であっても構わない。
次に、オブジェクト情報抽出部２１２０は、読み出された静止画に含まれるオブジェクト（この実施の形態７では人の顔）を全て抽出し、当該オブジェクトの位置情報などから構成されるオブジェクト情報を生成する（Ｓ２０１４）。オブジェクト情報の生成が終わると、入力部２０１０は、オブジェクト情報をデータベース２０２０に登録する（Ｓ２０１５）。これによって、静止画２２１０に対応するオブジェクト情報２２２０（図１８参照）がデータベース２０２０に登録される。

全ての静止画について、データベース２０２０への全ての静止画２２１０およびオブジェクト情報２２２０の登録が終わると（Ｓ２０１６）、入力部２０１０は、静止画のデータ入力処理を終了する。
以上の処理により、画像処理の対象となる全ての静止画につき、それぞれオブジェクトの位置等が取得され、オブジェクトを中心とした画像処理が可能となる。

次に、ショートフィルムのシナリオを生成するときの動作について説明する。
図２１は、シナリオ生成部２０３０の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。なお、このシナリオ生成処理は、ショートフィルムで使用する静止画の対象範囲の指示をユーザから受け付けたり、このショートフィルムで使用する音楽や、スタイル、テーマが決定された後、実行される。

最初に、エフェクト配置部２３１０は、エフェクトテーブル２２３０に格納されている複数のエフェクトの中からエフェクトを一つ選出し、選出した時間軸上に配置する（Ｓ２０２１）。具体的には、決定された音楽の時間長に合わせて、エフェクトのスティルや、ズーム、スライドイン、スライドアウト、…を、この順番に配置するような場合である。これによって、シナリオの骨格が形成される。

エフェクトの時間軸上への配置が終わると、静止画割当部２３２０およびパラメータ設定部２３３０は、時間軸上に配置された全てのエフェクトについてマップする静止画を決定し、種々のパラメータを設定する（Ｓ２０２２）。
まず、静止画割当部２３２０は、エフェクトの属性情報中のオブジェクトの数をキーとして、要求するオブジェクトの数を満たす静止画をオブジェクト情報２２２０を用いて検索し、検索により得られた複数の静止画の中から１つ選択した静止画を、マップする静止画に決定する（Ｓ２０２３）。具体的には、エフェクトがスライドアウトｅｆｆ６である場合、静止画割当部２３２０は、１つ以上のオブジェクトが写った写真を検索して、その結果得られる写真を１枚決定し、スライドアウトｅｆｆ６にマッピングする。

次いで、パラメータ設定部２３３０は、マップされた静止画に対応するオブジェクト情報に基づいて、パラメータを決定する（Ｓ２０２４）。具体的には、パラメータ設定部２３３０は、マップされた静止画に対応するオブジェクト情報（各オブジェクトの位置情報（重心座標・大きさ）を読み出し、それぞれのエフェクトのパラメータを決定する。
全てのエフェクトについて、マップされる静止画の決定およびパラメータの決定が終わると（Ｓ２０２５）、シナリオが完成したので、シナリオ生成部２０３０は、生成したシナリオをデータベース２０２０に登録し（Ｓ２０２６）、シナリオ生成処理を終了する。

次いで、ステップＳ２０２４のパラメータ決定処理を説明する。
図２２は、パラメータ設定部２３３０がエフェクトのバリエーションおよびパラメータを決定するアルゴリズムを説明するためのサブルーチンを示すフローチャートである。なお、説明を簡略化するため、「スライドアウト」を例に挙げて、パラメータの決定処理を具体的に説明する。

ここで、スライドアウトは、表示されている静止画を１〜ｎ個（ｎは２以上の自然数）のブロックに分割して、そのブロックを順番に画面外へ動かすエフェクトであって、ブロックをスライドアウトする方向によって、縦、横、斜め、４角の４つのバリエーションがある（図２３参照）。

１．縦のバリエーションでは、垂直線によって縦長の長方形のブロックに静止画を分割し、上、あるいは下へブロックを動かす（図２３（ａ））。

２．横のバリエーションでは、水平線によって横長の長方形のブロックに静止画を分割し、右、あるいは左にスライドアウトする（図２３（ｂ））。

３．斜めのバリエーションでは、傾き：θ（０゜＜θ＜９０゜）の直線によって、右斜めに傾いたブロック（台形、両端は三角形になることもある）に分割して、右斜め上方か左斜め下方へブロックを動かす（図２３（ｃ））。

４．４角のバリエーションでは、静止画の重心で交差する水平線と垂直線によって、静止画を均等に４分割して、それぞれを最も近いコーナーの方向へ（従って各ブロックが４方向に動く）動かす（図２３（ｄ））。

なお、斜めのバリエーションにおいて、θ＝−９０゜，０゜の場合は、それぞれ横、縦のバリエーションと等価であるので、実施の可否については同じアルゴリズム中で考慮する。また、本実施の形態７では、静止画のオブジェクトは人の顔である。

まず、パラメータ設定部２３３０は、オブジェクト情報２２２０を用いて、エフェクトにマッピングされた静止画に含まれるオブジェクトＯ［ｉ］（ｉ＝０，１，２，…）のｘ−ｏ−ｙ座標系における重心座標ｘ［ｉ］，ｙ［ｉ］と、大きさｒ［ｉ］とを読み出す（Ｓ２４０１）。
次いで、パラメータ設定部２３３０は、回転角：θ（θ＝−９０゜，θ＝０゜，０゜＜θ＜９０゜）について、ブロック境界線を取得し、縦、横、斜めでのフラグをセットする（Ｓ２４０２）。

まず、パラメータ設定部２３３０は、回転座標（ｓ−ｏ−ｔ）系における各オブジェクトＯ［ｉ］の重心座標ｓ［ｉ］，ｔ［ｉ］を算出する（Ｓ２４０３）。
図２４は、オリジナルの座標系（ｘ−ｏ−ｙ）をθ°（０゜＜θ＜９０゜）回転させた回転座標系：ｓ−ｏ−ｔ座標系を説明する図である。
図２４（ａ）において、オブジェクトＯ［ｉ］は、ｘ−ｏ−ｙ座標系におけるオブジェクトの重心の座標（ｘ［ｉ］，ｙ［ｉ］）と、オブジェクトに外接する円の半径：ｒ［ｉ］によって表されるものとする。Ｈは、静止画の高さである。ｓ−ｏ−ｔ座標系における座標（ｓ［ｉ］，ｔ［ｉ］）は、下記に示される式によって求めることができる。

重心座標の算出が終わると、パラメータ設定部２３３０は、各オブジェクトＯ［ｉ］をｔ軸上にマッピングする（Ｓ２４０４）。なお、図中に示されるｔ［ｉ］はオブジェクトＯ［ｉ］のｔ軸への写像である。これにより、各オブジェクトＯ［ｉ］がｔ軸上に並ぶことになる。

次いで、パラメータ設定部２３３０は、各オブジェクトＯ［ｉ］のｔ軸上における重心座標ｔ［ｉ］とそれを中心とする±Ｒの領域を点を置くことができない、すなわちｓ軸に平行なブロック境界線を引くことができない禁止領域Ｐ［ｉ］として設定する（Ｓ２４０５）。ここで、Ｒは、ｒ［ｉ］よりも大きく、髪の毛等が確実に含まれる値に設定される。

このような禁止領域の設定、つまり、禁止帯の設定が終わると、パラメータ設定部２３３０は、ｔ軸上における各重心座標ｔ［ｉ］について、ｔ軸上の正側にオブジェクトが存在するかを調べた上で、ブロック境界線を取得し、縦、横、斜めでのフラグをセットする（Ｓ２４０６）。
まず、パラメータ設定部２３３０は、対象のオブジェクトＯ［ｉ］のｔ軸上における正側にオブジェクトが存在するか、すなわち、ｔ［ｉ＋１］があるか否か判断する（Ｓ２４０７）。ｔ［ｉ＋１］が存在する場合（Ｓ２４０７でＹｅｓ）、オブジェクトＯ［ｉ］とｔ軸上における正側のオブジェクトＯ［ｉ＋１］の禁止帯間に隙間があるか否か判断する（Ｓ２４０８）。

隙間がある場合には（Ｓ２４０８でＹｅｓ）、その隙間の間の点を通りｓ軸と平行な直線（傾き：θ）で静止画を分割できることを意味し（図２４（ｂ）参照）、オブジェクトを分断することなく静止画をブロック境界線で分割することが可能となる。このため、パラメータ設定部２３３０は、隙間の中心を算出し、隙間の中心を通るｓ軸に平行なθでのブロック境界線ＢＬ［ｊ］を取得し（Ｓ２４０９）、θでのバリエーションにフラグをセットする（Ｓ２４１０）。なお、ブロック境界線は、ｙ軸上の位置ｙＢＬ［ｊ］や、ｘ軸上の位置と、θとで規定される。

そして、ブロック境界線を取得できた場合や、禁止帯間に隙間がなかった場合（Ｓ２４０８でＮｏ）には、その正側のオブジェクトＯ［ｉ＋１］についてステップＳ２４０７〜Ｓ２４１０をｔ軸上における正側のオブジェクトが存在しなくなるまで繰り返し実行する。なお、静止画の端と、ｔ軸上における正側のオブジェクトの禁止領域との間が予め定められたしきい値より広い場合には、図２３（ｂ）中に示されるＢＬ１のように、その中間にブロック境界線を設けるようにしてもよい。

ある回転角θでのブロック境界線の取得およびそのθでのバリエーションにフラグをセットし終わると（Ｓ２４１１）、回転角θを変更し、変更したθでのブロック境界線の取得およびそのθでのバリエーションにフラグをセットを実行する。
全ての回転角θでのブロック境界線の取得およびそのθでのバリエーションにフラグをセットを実行すると（Ｓ２４１２）、パラメータ設定部２３３０は、静止画の中心を通るｘ軸に平行なブロック境界線と、ｙ軸に平行なブロック境界線とで、静止画を４ブロックに分割する（Ｓ２４１３）。そして、パラメータ設定部２３３０は、全てのオブジェクトＯ［ｉ］が４ブロックのいずれかに収まるか否か判断する（Ｓ２４１４）。

全てのオブジェクトＯ［ｉ］が４ブロックのいずれかに収まる場合（Ｓ２４１４でＹｅｓ）、全てのオブジェクトが分断されることがないので、４角のフラグをセットし（Ｓ２４１５）、ステップＳ２４１４に進む。
これに対して、オブジェクトＯ［ｉ］の少なくとも１つが４ブロックのいずれかに収まらない場合（Ｓ２４１４でＮｏ）、そのオブジェクトが分断されることになるので、４角のフラグをセットすることなく、ステップＳ２４１４に進む。

実施可能なバリエーションが求まると、パラメータ設定部２３３０は、実施可能なバリエーションの中から一つのバリエーションをランダムに選択する（Ｓ２４１６）。なお、ここでは、バリエーションの一つを選択するために乱数を使ってランダムに選択する方法を選択したが、実施可能なバリエーションの実施に必要な全ての情報や、エフェクトの履歴を保存することによって、前回に選択したエフェクトのバリエーションと被らないように選択するように設定することも可能である。

バリエーションが決定したら、パラメータ設定部２３３０は、スライドアウトするブロックの幅をブロック境界線を元に決定し、スライドアウトするブロックの移動順序および移動する方向をオブジェクトの座標、大きさを元に決定する（Ｓ２４１７）。具体的には、４角のバリエーションを除き、ｎ個のブロックに分割されている場合、最も中央よりにあるオブジェクトを含むブロックをｎ番（最後にスライドアウトする）として、そのブロックから最も遠い位置にあるブロックを１番にスライドアウトするブロックとする。以下、次に遠い位置にあるブロックを２番、その次に遠いブロックを３番、…と決定する。

なお、ブロックをスライドアウトさせる順番の決定方法は、本方法によらず、逆に最も中央よりにあるオブジェクトを含むブロックが１番であっても構わない。４角のバリエーションの場合には、４つのブロックを同時に４方向にスライドアウトさせるので、スライドアウトの順序は無関係である。
ブロックの幅、移動順序および移動方向、すなわち、スライドアウトに必要な全てのパラメータの決定が終わると、メインルーチンにリターンする。これによって、スライドアウトを含むシナリオがデータベース２０２０に登録される。

図２５は、データベース２０２０に登録されたシナリオ２２７０の構成例を示す図である。なお、シナリオ２２７０は、上述したようにスクリプトで記載されているが、説明の便宜上、テーブル形式で図示されている。
図２５に示されるように、シナリオ２２７０は、時間軸上の時間割り当てを示す開始時刻および終了時刻と、当該時間軸上に割り当てられるエフェクトと、各エフェクトに割り当てられる静止画と、パラメータとから構成される。エフェクトがスライドアウトｅｆｆ６の場合、パラメータには、選択されたバリエーション（θでのバリエーションを示すフラグＦ０＝１およびそのθ）の他、スライドアウトするブロックの幅（当該ブロックを規定するブロック境界の位置ｙＢＬ［ｊ］およびθ）、スライドアウトするブロックの順序（Ｂ０、Ｂ１、…）、スライドアウトするブロックの方向（Ｂ０：右斜め上、Ｂ１：右斜め下、…）が記載される。

このように構成されたシナリオを用いてショートフィルム再生すると、再生部２０４０のショートフィルム選択部２４１０によって、ショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しが指示され、ショートフィルム再生部２４２０は、指示されたシナリオに従って音楽と静止画を用いてショートフィルムを再生し、表示部２０５０へ出力する。この場合、ショートフィルム再生部２４２０は、各エフェクト毎の静止画から、そのエフェクトに対応するパラメータで定義されている処理を行ってフレーム画像を生成し、ショートフィルムを再生する。

このように実施の形態７の発明によれば、静止画のオブジェクト情報に基づいて、エフェクトのバリエーション、エフェクトの動作を確定するパラメータが決定する。
したがって、オブジェクトである人の顔が分断されるような事態が回避され、同じエフェクトであっても、マッピングされている静止画に最適なバリエーションのエフェクトを実行することができる。一方、見る側からすれば、同じエフェクトであってもマッピングされている静止画によって動作が異なることになる。その結果、再生時にユーザが見るショートフィルムは、同じエフェクトが続いた場合でも、あたかも異なるエフェクトが続くように見え、ワンパターンですぐに飽きてしまうものではなく、非常にエンターテイメント性の高いコンテンツを生成できる。さらに、同じエフェクトと静止画のマッピングであっても、複数のバリエーションから選択することも可能であり、異なる見せ方を実現することも可能である。

なお、本実施の形態７に係る発明ではバリエーションが有効であるか否かを判定するために回転座標系への変換を行ったが、その他にも、それぞれのバリエーションに対して、テンプレートを用意して、ブロックに分割する直線を一定の範囲内でオブジェクトに重ならないように動かすことが可能であるかどうかを判定する方法もある。
また、図２３（ｃ）と逆の傾きのブロック境界線を取得する場合には回転角θを９０゜＜θ＜１８０゜の範囲で変更するようにすればよい。

（実施の形態８）
次いで、本発明の実施の形態８に係るショートフィルム生成再生装置について説明する。
図２６は、本発明の実施の形態８に係るショートフィルム生成再生装置の他の構成を示す機能ブロック図である。なお、実施の形態７のショートフィルム生成再生装置２００１と対応する部分に同じ番号を付し、その説明を省略する。

図２６に示されるように、ショートフィルム生成再生装置２００２は、入力部２０１１と、データベース２０２１と、シナリオ生成部２０３１と、再生部２０４０と、表示部２０５０と、これら入力部２０１１〜表示部２０５０を接続する内部バス２０６０等とから構成される。入力部２０１１は、上記静止画選択部２１１０およびオブジェクト情報抽出部２１２０の他、顔特徴点抽出部２１３０をさらに備えて構成される。シナリオ生成部２０３１は、エフェクト配置部２３１０の他、静止画割当部２３２１およびパラメータ設定部２３３１を備えて構成される。なお、ここでは、実施の形態７の場合と同様に、上記のショートフィルム生成部１１０５ａ〜１１０５ｄの内、シナリオ生成部１１１７に対応するシナリオ生成部２０３１だけが示されている。

ところで、ショートフィルム生成再生装置２００１の入力部２０１０ではオブジェクト（人の顔）の位置だけを抽出するように構成していたが、このショートフィルム生成再生装置２００２の入力部２０１１は、入力部２０１０の構成に加えて顔の特徴点（顔のパーツ、例えば目、鼻、口等）を抽出する顔特徴点抽出部２１３０をさらに備えて構成され、この顔特徴点抽出部２１３０を追加することによって、顔のパーツを意識したエフェクト（例えば、モンタージュ）に対応したシナリオを作成し、このシナリオを用いてショートフィルムを再生する点がショートフィルム生成再生装置２００１と大きく異なっている。

図２７は、その一例を示す絵コンテである。
図２７（ａ）〜図２７（ｇ）に示されるように、絵コンテにおいては、頭、目、鼻、口を含むパーツのブロックを順次スライドアウトさせる横のスライドアウトの一種の処理によって、いわゆるモンタージュ風のエフェクトを実現したものが示されている。
本エフェクトでは、顔のパーツである目、鼻、口の位置と大きさを取得することによって、ブロックの幅を決め、モンタージュ風の視覚効果を得ることがミソである。

このような処理を実現するため、データベース２０２１に格納されるエフェクトテーブル２２３１、オブジェクト情報２２２１およびシナリオ２２７１は、モンタージュ風のエフェクトが実現されるように構成される。
具体的には、エフェクトテーブル２２３１は、図２８に示されるように、エフェクト名の欄と、要求するオブジェクトの数の欄と、要求するオブジェクトの特徴点の欄から構成される。そして、エフェクト名の欄には、モンタージュｅｆｆ１０が格納され、モンタージュｅｆｆ１０に対応する要求するオブジェクトの数の欄には「１」または「２」が格納され、要求するオブジェクトの特徴点の欄には頭、目、鼻、口が格納される。

図２９は、モンタージュ風のエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。
静止画選択部２１１０およびオブジェクト情報抽出部２１２０は、メディアに記録されている全ての静止画について、各静止画毎に以下の処理を繰り返し実行する（Ｓ２０１１）。

まず、静止画選択部２１１０は、メディアに記録されている静止画を本ショートフィルム生成再生装置２００１内のメモリに読み出し（Ｓ２０１２）、読み出した静止画をデータベース２０２０に登録する（Ｓ２０１３）。次に、オブジェクト情報抽出部２１２０は、読み出された静止画に含まれるオブジェクトを全て抽出し（Ｓ２０１４）、当該オブジェクトの位置情報（座標・大きさ）などをオブジェクト情報に登録する（Ｓ２０１５）。

オブジェクトが顔であると識別された場合、オブジェクトの位置情報の取得が終わると、顔特徴点抽出部２１３０は、顔特徴点を抽出し（Ｓ２１０１）、抽出した顔特徴点をオブジェクト情報に登録する（Ｓ２１０２）。ここで、顔特徴点情報は、顔上の特徴点の座標（複数）を含む情報である。例えば、目頭、目尻、鼻の頂点、口の両端、眉の始まりと終わり等である。顔上の特徴点を抽出する技術としては、例えば、センシング技術応用研究会によって主催された２００２センシング技術応用セミナー「安心・安全のための危機管理とセキュリティ」において、「顔認識技術とセキュリティへの応用」の中で紹介されている技術があり、このような既存の技術を用いればよい。

全てのオブジェクト情報の生成が終わると、入力部２０１１は、オブジェクト情報をデータベース２０２１に登録する。これによって、静止画２２１０に対応するオブジェクト情報２２２１（図３０参照）がデータベース２０２１に登録される。
全ての静止画について、データベース２０２１に対してその静止画２２１０およびオブジェクト情報２２２１の登録が終わると（Ｓ２０１６）、入力部２０１１は、データ入力処理を終了する。

図３０は、上記のデータ入力処理でデータベース２０２１に格納されたオブジェクト情報２２２１の構成例を示す図である。
オブジェクト情報２２２１は、図３０に示されるように、抽出したオブジェクトが接する円の中心の座標と、半径の大きさによって表される位置情報と、対応する静止画のファイル名との他、特徴点を含んで構成される。特徴点としては、上記したように目頭、目尻、鼻の頂点、口の両端、眉の始まりと終わりの位置座標である。

このように構成されたオブジェクト情報２２２１により、画像処理の対象となる全ての静止画につき、それぞれオブジェクトの位置および顔特徴点等が取得され、オブジェクトのパーツを中心とした画像処理が可能となる。
次いで、シナリオ生成処理について説明する。
図３１は、シナリオ生成部２０３１の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。なお、このシナリオ生成処理は、ショートフィルムで使用する静止画の対象範囲の指示をユーザから受け付けたり、このショートフィルムで使用する音楽や、スタイル、テーマが決定された後、実行される。

最初に、エフェクト配置部２３１０は、エフェクトテーブル２２３０に格納されている複数のエフェクトの中からエフェクトを一つ選出し、選出した時間軸上に配置する（Ｓ２０２１）。具体的には、決定された音楽の時間長に合わせて、エフェクトのモンタージュや、ズーム等を、この順番に配置するような場合である。これによって、シナリオの骨格が形成される。

エフェクトの時間軸上への配置が終わると、静止画割当部２３２１およびパラメータ設定部２３３１は、時間軸上に配置された全てのエフェクトについてマップする静止画を決定し、種々のパラメータを設定する（Ｓ２０２２）。
まず、静止画割当部２３２１は、エフェクトの属性情報中のオブジェクトの数および特徴点をキーとして、要求するオブジェクトの数を満たす静止画をオブジェクト情報２２２１を用いて検索し、検索により得られた複数の静止画の中から１つ選択した静止画を、マップする静止画に決定する（Ｓ２０２３）。具体的には、エフェクトの属性が要求するオブジェクトの数および特徴点を有する静止画を検索して、エフェクトにマッピングする。

次いで、パラメータ設定部２３３１は、マップされた静止画に対応するオブジェクト情報に基づいて、パラメータを決定する（Ｓ２０２４）。具体的には、パラメータ設定部２３３１は、まず、オブジェクト情報を読み出す。そして、顔の特徴点中の頭、目、鼻、口に関する情報から、それらの重心座標と大きさを取得し、スライドアウトするブロックの幅と、ブロックがスライドアウトする順序を決定する。ブロックがスライドアウトする順序は、ランダムでもよいが、顔以外の部分を最初に、次に口が含まれるブロック、鼻が含まれるブロック、頭が含まれるブロック、そして最後に目が含まれるブロックというように目が含まれるブロックを最後にスライドアウトさせると、見る側への違和感の少ないエフェクトを実現できる。なお、パーツ間のブロック境界は、パーツの重要度や、重心座標と大きさを勘案し、パーツの分割が少なくなるように定められる。また、オブジェクトの位置情報は、円の中心と半径によって表現する方法に依らず、例えば四角形の一つの対角線の始点と終点の座標でも表すことが可能である。

全てのエフェクトについて、マップされる静止画の決定およびパラメータの決定が終わると（Ｓ２０２５）、シナリオが完成したので、シナリオ生成部２０３１は、生成したシナリオをデータベース２０２１に登録し（Ｓ２０２６）、シナリオ生成処理を終了する。
図３２は、データベース２０２１に登録されたシナリオ２２７１の構成例を示す図である。

図３２に示されるように、シナリオ２２７１は、時間軸上の時間割り当てを示す開始時刻および終了時刻と、当該時間軸上に割り当てられるエフェクトと、各エフェクトに割り当てられる静止画と、パラメータとから構成される。エフェクトがモンタージュの場合、パラメータには、スライドアウトするブロックの幅、スライドアウトするブロックの順序、スライドアウトするブロックの方向が記載される。

このように構成されたシナリオ２２７１を用いてショートフィルム再生すると、再生部２０４０のショートフィルム選択部２４１０によって、ショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しが指示され、ショートフィルム再生部２４２０は、指示されたシナリオに従って音楽と静止画を用いてショートフィルムを再生し、表示部２０５０へ出力する。この場合、ショートフィルム再生部２４２０は、各エフェクト毎の静止画から、そのエフェクトに対応するパラメータで定義されているフレーム画像を生成し、ショートフィルムを再生する。そして、フレーム画像を生成する場合、静止画のオブジェクト（顔）中の顔パーツ情報（頭、目、鼻、口）に基づいて、ブロックの位置、大きさを確定するパラメータを決定する。

したがって、本実施の形態８に係る発明によれば、顔の途中で切られるエフェクトでありながら、見るものに違和感を与えず、さらなる面白さを含んだエンターテイメント性の高い視覚効果を生み出すことができる。
なお、図３３（ａ）に示すように、モンタージュにマップされた静止画に２人の顔が含まれている場合、２人の顔の部分をトリミングし、顔の大きさがほぼ同一となるように正規化し、オブジェクトのパーツの位置合わせをして、２枚の写真を重ね（図３３（ｂ）参照）、上位の写真をパーツのブロック毎にスライドアウトさせ、下位の写真がパーツ毎に見えてくるモンタージュ風の処理を行うようにしてもよい（図３３（ｃ）〜図３３（ｈ））。

このような処理によって、エンターテイメント性がさらに高められた視覚効果を生み出すことができる。
（実施の形態９）
図３４は、本発明の実施の形態９に係るショートフィルム生成再生装置２００３の機能構成を示すブロック図である。

図３４に示されるように、ショートフィルム生成再生装置２００３は、入力部２０１２と、データベース２０２２と、シナリオ生成部２０３２と、再生部２０４０と、表示部２０５０と、これら入力部２０１２〜表示部２０５０を接続する内部バス２０６０とから構成される。なお、実施の形態７のショートフィルム生成再生装置２００１と対応する部分に同じ番号を付し、その説明を省略する。また、ここでは、実施の形態７，８の場合と同様に、上記のショートフィルム生成部１１０５ａ〜１１０５ｄの内、シナリオ生成部１１１７に対応するシナリオ生成部２０３２だけが示されている。

入力部２０１２は、上記静止画選択部２１１０およびオブジェクト情報抽出部２１２０の他、顔認証部２１４０をさらに備えて構成される。また、シナリオ生成部２０３２は、エフェクト配置部２３１０の他、静止画割当部２３２２およびパラメータ設定部２３３２を備えて構成される。
ところで、ショートフィルム生成再生装置２００１の入力部２０１０ではオブジェクト（人の顔）の位置だけを抽出するように構成していたが、このショートフィルム生成再生装置２００３の入力部２０１２は、入力部２０１０の構成に加えてそのオブジェクトが誰であるかを認証する顔認証部２１４０をさらに備えて構成され、この顔特徴点抽出部２１３０を追加することによって、認証された者を意識したエフェクト（例えば、スポットライト）に対応したシナリオを作成し、このシナリオを用いてショートフィルムを再生する点がショートフィルム生成再生装置２００１と大きく異なっている。

顔認証部２１４０は、静止画中で検出された顔をデータベース２０２２に予め登録された顔情報２２８０と照合して、誰であるかを判定し、顔情報に加えて、名前をオブジェクト情報の一つとして追加するブロックであり、既存の顔認証技術を用いることができる。ここで、顔認証の技術を用いたアプリケーションは、様々な会社から商品化され、オムロン社のＦａｃｅＫｅｙ、ＮＥＣ社のＮｅｏＦａｃｅ等がある。これらのアプリケーションは、セキュリティシステムで使用され、予め登録された顔画像と取得した画像中の顔を比較して、登録された人であれば、ドアの施錠を開くものであり、顔認証部２１４０としてこれらの既存の顔認証の技術を用いることができる。

図３５は、特定の人にフォーカスするエフェクト（スポットライト）の一例を示す絵コンテである。この絵コンテは、３人（左から、シュチアート，ナッシュ，ニキータとする）が写った静止画があって（図３５（ａ）参照）、その上をスポットライトが動き回り（図３５（ｂ）〜図３５（ｄ）参照）、最後にニキータさんにスポットライトをフォーカスする（図３５（ｅ）参照）様子を示したものである。この効果によって、ニキータさんを含めて複数人が被写体として写っている写真であっても、ニキータさん一人に見るものの注意を集めることができるので、出来上がったショートフィルムは、ニキータさんにフォーカスしたものとなる。

本エフェクトでは、人が誰であるかを認証することによって、特定の者にスポットライトを当てるような視覚効果を得ることがミソである。
このような処理を実現するために、データベース２０２２に格納されているエフェクトテーブル２２３２、オブジェクト情報２２２２およびシナリオ２２７２は、特定の者にスポットライトを当てるようなエフェクトが実現されるように構成される。

具体的には、エフェクトテーブル２２３２は、図３６に示されるように、エフェクト名の欄および要求するオブジェクトの数の欄の他、１人へのフォーカスの可否の欄をさらに備えて構成される。１人へのフォーカスの可否の欄には、「可」および「否」のいずれか一方が格納される。例えば、スポットライトｅｆｆ１の場合には「可」が格納され、この場合には、１人へのフォーカスを行うような視覚効果を得ることが可能となる。

図３７は、１人にスポットライトを当てるようなエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。
静止画選択部２１１０、オブジェクト情報抽出部２１２０および顔認証部２１４０は、メディアに記録されている全ての静止画について、各静止画毎に以下の処理を繰り返し実行する（Ｓ２０１１）。

まず、静止画選択部２１１０は、メディアに記録されている静止画を本ショートフィルム生成再生装置２００３内のメモリに読み出し（Ｓ２０１２）、読み出した静止画をデータベース２０２２に登録する（Ｓ２０１３）。次に、オブジェクト情報抽出部２１２０は、読み出された静止画に含まれるオブジェクトを全て抽出し、当該オブジェクトの位置情報などから構成されるオブジェクト情報を生成する（Ｓ２０１４，Ｓ２０１５）。

オブジェクトが顔であると識別された場合、オブジェクトの位置情報の取得が終わると、顔認証部２１４０は、顔認証処理を実行し、各オブジェクトの名前を取得し（Ｓ２１１１）、取得した名前をオブジェクト情報に登録する（Ｓ２１１２）。具体的には、顔認証部２１４０は、データベース２０２２に予め登録された個人認証用の顔情報２２８０とオブジェクト情報抽出部２１２０から渡された顔情報とを比較して、名前を探す。見つかった場合は、名前をオブジェクト情報の一部として、顔情報と一緒にデータベース２０２２に登録する。なお、見つからなかった場合は、名前を登録しないのはいうまでもない。

全てのオブジェクト情報の生成が終わると、入力部２０１２は、オブジェクト情報をデータベース２０２２に登録する。これによって、静止画２２１０に対応するオブジェクト情報２２２２（図３８参照）がデータベース２０２２に登録される。
全ての静止画について、データベース２０２２への全ての静止画２２１０およびオブジェクト情報２２２２の登録が終わると（Ｓ２２１６）、入力部２０１２は、データ入力処理を終了する。

図３８は、上記のデータ入力処理でデータベース２０２２に格納されたオブジェクト情報２２２２の構成例を示す図である。
オブジェクト情報２２２２は、図３８に示されるように、抽出したオブジェクトが接する円の中心の座標と、半径の大きさによって表される位置情報と、対応する静止画のファイル名との他、名前を含んで構成される。

このように構成されたオブジェクト情報２２２２により、画像処理の対象となる全ての静止画につき、それぞれオブジェクトの位置および名前等が取得され、ユーザにより指定されたオブジェクトの名前を中心とした画像処理が可能となる。
図３９は、シナリオ生成部２０３２の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。なお、このシナリオ生成処理は、ショートフィルムで使用する静止画の対象範囲の指示をユーザから受け付けたり、このショートフィルムで使用する音楽や、スタイル、テーマが決定された後、実行される。

最初に、エフェクト配置部２３１０は、エフェクトテーブル２２３２に格納されている複数のエフェクトの中から一人にフォーカスした視覚効果を実行できるエフェクトを一つ選出し、選出した時間軸上に配置する（Ｓ２０２１）。具体的には、決定された音楽の時間長に合わせて、エフェクトのスポットライトや、ズーム等を、この順番に配置するような場合である。これによって、シナリオの骨格が形成される。

エフェクトの時間軸上への配置が終わると、静止画割当部２３２２およびパラメータ設定部２３３２は、時間軸上に配置された全てのエフェクトについてニキータさんが写った写真をデータベース２０２２から検索し、マップする静止画を決定し、種々のパラメータを設定する（Ｓ２０２２）。このとき、ニキータさん一人が写った写真だけでなく、ニキータさんを含めて複数人が写った写真であっても構わない。

まず、静止画割当部２３２２は、エフェクトの属性情報をキーとして、要求する属性情報の数を満たす静止画をエフェクトテーブル２２３２を用いて検索し、検索により得られた複数の静止画の中から１つ選択した静止画を、マップする静止画に決定する（Ｓ２０２３）。具体的には、エフェクトの属性が要求するオブジェクトの数および１人（ニキータさん）へのフォーカスの可否を有する静止画を検索して、エフェクトにマッピングする。

次いで、パラメータ設定部２３３２は、マップされた静止画に対応するオブジェクト情報に基づいて、パラメータを決定する（Ｓ２０２４）。具体的には、パラメータ設定部２３３２は、オブジェクト情報を読み出し、そこに含まれるニキータさんの顔の位置、大きさをセットして、スポットライトの到着位置（デスティネーション）を決定する。なお、スポットライトのエフェクトではなく、スライドアウトのエフェクトの場合には、ニキータさんの顔を含むブロックが最後にスライドアウトするように設定することによって、見る側にニキータさんをより長く見せることができ、ニキータさんを印象づけることができる。逆にスライドインのエフェクトの場合には、ニキータさんの顔が含まれるブロックを最初にスライドインするように設定することにより、ニキータさんを長く見せることができ、ニキータさんを印象づけることができる。

全てのエフェクトについて、マップされる静止画の決定およびパラメータの決定が終わると（Ｓ２０２５）、シナリオが完成したので、シナリオ生成部２０３２は、生成したシナリオをデータベース２０２２に登録し（Ｓ２０２６）、シナリオ生成処理を終了する。
図４０は、データベース２０２２に登録されたシナリオ２２７２の構成例を示す図である。

図４０に示されるように、シナリオ２２７２は、時間軸上の時間割り当てを示す開始時刻および終了時刻と、当該時間軸上に割り当てられるエフェクトと、各エフェクトに割り当てられる静止画と、パラメータとから構成される。エフェクトがスポットライトの場合、パラメータには、スポットライトを当てるオブジェクト（位置、大きさを含む）が記載される。

このように構成されたシナリオ２２７２を用いてショートフィルム再生すると、再生部２０４０のショートフィルム選択部２４１０によって、ショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しが指示され、ショートフィルム再生部２４２０は、指示されたシナリオに従って音楽と静止画を用いてショートフィルムを再生し、表示部２０５０へ出力する。この場合、ショートフィルム再生部２４２０は、各エフェクト毎の静止画から、そのエフェクトに対応するパラメータで定義されているフレーム画像を生成し、ショートフィルムを再生する。そして、フレーム画像を生成する場合、静止画の名前によって特定されるオブジェクト（顔）の位置情報にスポットライトを当てるパラメータを決定する。

以上のように、実施の形態９の発明によれば、顔認証部２１４０によって、静止画内のオブジェクトの名前を認識できるので、任意の人が含まれる写真を使って、その人にフォーカスしたエフェクトを実行することができる。その結果、出来上がったショートフィルムは、任意の人にフォーカスしたものであって、ショートフィルムを再生する目的に沿った使い方が可能となる。例えば、結婚式の披露宴は新郎新婦が主役である場であるので、彼らを含め多数の友人が写った写真を使って生成したショートフィルムであっても、新郎新婦にフォーカスしたショートフィルムであることが望ましい。本発明の実施の形態９に係るショートフィルム生成再生装置２００３を使えば、新郎新婦が写った写真を選択した上で、彼らをエフェクトの中心として設定することが可能であるので、新郎新婦にフォーカスしたショートフィルムを容易に生成できる。

（実施の形態１０）
図４１は、本発明の実施の形態１０に係るショートフィルム生成再生装置２００４の機能構成を示すブロック図である。
図４１に示されるように、ショートフィルム生成再生装置２００４は、入力部２０１３と、データベース２０２３と、シナリオ生成部２０３３と、再生部２０４０と、表示部２０５０と、これら入力部２０１３〜表示部２０５０を接続する内部バス２０６０との他、アドレス帳２０７０を含んで構成される。なお、実施の形態９のショートフィルム生成再生装置２００３と対応する部分に同じ番号を付し、その説明を省略する。また、また、ここでは、実施の形態７，８の場合と同様に、上記のショートフィルム生成部１１０５ａ〜１１０５ｄの内、シナリオ生成部１１１７に対応するシナリオ生成部２０３３だけが示されている。

実施の形態９の入力部２０１２では顔認証部２１４０によってオブジェクトの名前を取得していたが、入力部２０１３では顔認証部２１４０によって得られた名前を使って、名前と個人のパーソナルデータを登録しているｌｏｏｋ ｕｐ ｔａｂｌｅ（例えば、アドレス帳）を検索する個人情報検索部２１５０をさらに備え、静止画内のオブジェクト（被写体）の属性（例えば、性別、年齢、趣味、所属など）をオブジェクト情報として追加し、追加されたオブジェクト情報を使って、同じエフェクトであっても、さらなる付加価値としての楽しさ、面白さ、エンターテイメント性を追加することが可能となるように構成されている点が大きく異なっている。

なお、アドレス帳２０７０は、図４２に示されるように、名前の他、住所、電話番号、メールアドレス、性別、年齢、生年月日、所属、趣味などの属性で構成されている。
図４３は、性別を用いたエフェクトの一例を示す絵コンテである。本エフェクトは、従来のスライドインのエフェクトに対して、オブジェクトが男女である場合には、その関係を暗示するようなキャラクタ（図４３ではハートマーク）を表示するものである。男性の顔が含まれるブロックと女性の顔が含まれるブロックがスライドインしてきて、一枚の絵を生成する（図４３（ａ）、図４３（ｂ））。その後、両者の関係を暗示するようなキャラクタ、例えばハートマークなどを表示する（図４３（ｃ）、図４３（ｄ））。これに対して、性別が男女でない場合には、図４４に示されるように、通常の円によって、二人の顔にフォーカスする。

このような処理を実現するために、データベース２０２３に格納されているエフェクトテーブル２２３３、オブジェクト情報２２２３およびシナリオ２２７３は、特定の者の性別を考慮したエフェクトが実現されるように構成される。
具体的には、エフェクトテーブル２２３３は、図４５に示されるように、エフェクト名の欄および要求するオブジェクトの数の欄の他、要求するオブジェクトの性別およびキャラクタの欄をさらに備えて構成される。要求するオブジェクトの性別の欄には、男１人、かつ女１人や、その他の組み合わせも可が格納され、キャラクタの欄には男女の組の場合には「ハートマーク」が、その他の組み合わせの場合には「○」が格納される。これにより、性別の組み合わせに合致したキャラクタを表示するような視覚効果を得ることが可能となる。

図４６は、性別の組み合わせによって表示されるキャラクタを変えるようなエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。
静止画選択部２１１０、オブジェクト情報抽出部２１２０、顔認証部２１４０および個人情報検索部２１５０は、メディアに記録されている全ての静止画について、各静止画毎に以下の処理を繰り返し実行する（Ｓ２０１１）。

まず、静止画選択部２１１０は、メディアに記録されている静止画を本ショートフィルム生成再生装置２００４内のメモリに読み出し（Ｓ２０１２）、読み出した静止画をデータベース２０２３に登録する（Ｓ２０１３）。次に、オブジェクト情報抽出部２１２０は、読み出された静止画に含まれるオブジェクトを全て抽出し、当該オブジェクトの位置情報などから構成されるオブジェクト情報を生成する（Ｓ２０１４，Ｓ２０１５）。

オブジェクトが顔であると識別された場合、オブジェクトの位置情報の取得が終わると、顔認証部２１４０は、顔認証処理を実行し、各オブジェクトの名前を取得し（Ｓ２１１１）、取得した名前をオブジェクト情報２２２３に登録する（Ｓ２１１２）。
名前が登録されると、個人情報検索部２１５０は、名前でアドレス帳２０７０を検索し、その名前に対応する個人情報をオブジェクト情報２２２３に追加する（Ｓ２１２１）。全てのオブジェクト情報の生成が終わると、入力部２０１３は、オブジェクト情報２２２３をデータベース２０２３に登録する。これによって、静止画２２１０に対応するオブジェクト情報２２２３（図４７参照）かデータベース２０２３に登録される。

全ての静止画について、データベース２０２３への全ての静止画２２１０およびオブジェクト情報２２２３の登録が終わると（Ｓ２０１６）、入力部２０１３は、データ入力処理を終了する。
図４７は、上記のデータ入力処理でデータベース２０２３に格納されたオブジェクト情報２２２３の構成例を示す図である。

オブジェクト情報２２２３は、図４７に示されるように、抽出したオブジェクトが接する円の中心の座標と、半径の大きさによって表される位置情報と、対応する静止画のファイル名と、オブジェクトの名前の他、個人情報、すなわちオブジェクトの属性を含んで構成される。
このように構成されたオブジェクト情報２２２３により、画像処理の対象となる全ての静止画につき、それぞれオブジェクトの位置および名前等が取得され、ユーザにより指定されたオブジェクトの性別の組を中心とした画像処理が可能となる。

図４８は、シナリオ生成部２０３３の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。なお、このシナリオ生成処理は、ショートフィルムで使用する静止画の対象範囲の指示をユーザから受け付けたり、このショートフィルムで使用する音楽や、スタイル、テーマが決定された後、実行される。
最初に、エフェクト配置部２３１０は、エフェクトテーブル２２３３に格納されている複数のエフェクトの中からユーザによって指定された性別の組に合致した視覚効果を実行できるエフェクトを一つ選出し、選出した時間軸上に配置する（Ｓ２０２１）。具体的には、決定された音楽の時間長に合わせて、エフェクトのスティルや、ズーム等を、この順番に配置するような場合である。これによって、シナリオの骨格が形成される。

エフェクトの時間軸上への配置が終わると、静止画割当部２３２３は、時間軸上に配置された全てのエフェクトについて性別の組に合致した写真を検索し、マップする静止画を決定し、種々のパラメータを設定する（Ｓ２２１１）。具体的には、エフェクトの属性は、そのエフェクトにマッピングすると良い静止画の特徴量を記述したもので、ここでは、オブジェクトの数＝２、その性別＝男１、女１である。このとき、指定された性別の組を満たす２人が写った写真だけでなく、この２人を含めて複数人が写った写真であっても構わない。

マッピングが終わると、パラメータ設定部２３３３は、マップされた静止画に対応するオブジェクト情報に基づいて、オブジェクトが男女か否か判断する（Ｓ２２１３）。静止画中のオブジェクトが男女である場合には（Ｓ２２１３でＹｅｓ）、男女用に定義されたキャラクタであるハートマークを付与する（Ｓ２２１４）。そうでない場合には（Ｓ２２１３でＮｏ）、男女以外用に定義されたキャラクタである「○」を付与する（Ｓ２２１５）。

キャラクタの付与が終わると、シナリオが完成したので、シナリオ生成部２０３３は、生成したシナリオをデータベース２０２３に登録し（Ｓ２０２６）、シナリオ生成処理を終了する。
このように構成されたシナリオ２２７３を用いてショートフィルム再生すると、再生部２０４０のショートフィルム選択部２４１０によって、ショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しが指示され、ショートフィルム再生部２４２０は、指示されたシナリオに従って音楽と静止画を用いてショートフィルムを再生し、表示部２０５０へ出力する。この場合、ショートフィルム再生部２４２０は、各エフェクト毎の静止画から、そのエフェクトに対応するパラメータで定義されているフレーム画像を生成し、ショートフィルムを再生する。そして、フレーム画像を生成する場合、静止画のオブジェクトの性別の組によって特定されるキャラクタを決定する。

なお、この実施の形態１０においては、オブジェクトの属性として性別を用いたが、年齢、生年月日等の他の属性を用いてシナリオを生成するようにしてもよく、キャラクタとともに名前や、年齢、生年月日等の他の属性を表示するようにしてもよい。
以上のように、実施の形態１０の発明によれば、顔認証部２１４０によって得られた静止画内のオブジェクトの名前を使って、アドレス帳とリンクすることによって、名前に付随する様々な属性（性別、年齢、所属、趣味など）をオブジェクト情報に追加することができる。したがって、それらの情報を使えば、同じエフェクトであっても新たなエンターテイメント性を見出すことができる。

なお、上記実施の形態７〜１０では、オブジェクトが人の顔である場合について説明したが、本願発明はオブジェクトが人の顔である場合に限られず、人の姿態全体や、犬、猫等の動物、リンゴ、レモン等の植物、机、椅子等の動産、観光案内地図等の不動産等、あらゆる種類のオブジェクトに適用できるのはいうまでもない。
また、上記実施の形態７では、静止画割当部２３２０は、エフェクト配置部２３１０が時間軸上に配置したエフェクト毎に、データベース２０２０に登録されたオブジェクト情報に基づいて、当該エフェクトが要求するオブジェクトの数を満たす静止画を割り当てるようにしたが、本実施の形態における静止画割当部２３２０は、エフェクトが要求するオブジェクトの種類、色、形および数の少なくとも１つを満たす静止画を割り当てるようにしてもよい。この場合にはオブジェクト情報抽出部２１２０でオブジェクトの色および形も抽出するようにすればよい。

さらに、静止画割当部２３２０は、エフェクトが要求する画像の特徴量（色合い、色の広がり、色の位置、明るさ、明るさの位置等を示す画像の指標）を満たす静止画を割り当てるようにしてもよい。この場合には入力部２０１３で静止画毎に色ヒストグラム、周波数ヒストグラムなどを計算し、画像の特徴量を予め抽出するようにすればよい。
（実施の形態１１）
次に、エフェクトブロックを選択することによって、シナリオ、すなわちショートフィルムを生成する場合について説明する。

ところで、上記実施の形態１〜１０では、エフェクトの集合の集合からエフェクト、つまりｐａｎ，ｓｔｉｌｌ，ｗｉｐｅｉｎ等の視覚的に一つの動きを示した基本エフェクトを選択している。これに対して、本実施の形態１１においては、一つ以上の基本エフェクトの並びを複数集めたエフェクトブロックの集合からエフェクトブロックを選択するように構成される点が上記実施の形態１〜１０の場合と大きく異なっている。

データベースは、音楽、画像、エフェクトブロックの集合を記憶している。音楽は音楽特徴量を、画像は画像特徴量をメタデータとして実際の情報に加えて保持している。
エフェクトブロックの集合は、図４９に示されるように、一つ以上の基本エフェクトの並びを複数集めたものである。そして、各エフェクトブロックは、ｐａｎ，ｓｔｉｌｌ，ｗｉｐｅｉｎ等の視覚的に一つの動きを示す基本エフェクトと、この基本エフェクトと同じ基本エフェクトや、この基本エフェクトと異なる基本エフェクトを少なくとも１つ組み合わせたものである。エフェクトブロックがその集合に含まれている状態（初期状態）では、それを再生するときのパラメータが何も決まっていない。

このようにエフェクトブロックで構成されている場合、シナリオ生成部は、
音楽特徴量か、画像特徴量のいずれかを元に、下記に示される１）〜４）を順次実行することにより、シナリオ、すなわちショートフィルムを生成することができる。
１）コンテンツを生成するために使用するエフェクトブロック（複数）を選出する。
２）コンテンツの特徴を決定するエフェクトブロックのパラメータを生成する。
３）音楽にマッチするようエフェクトブロックを時間軸上に配列する。
４）エフェクトブロックにマッチした画像をアロケー卜（割り当て）する。

ここで、音楽特徴量を元にシナリオを生成する例を挙げる。
音楽特徴量は，楽譜的情報と感性的情報の２つに分類できる。楽譜的情報はテンポ、変化点など、楽譜から取得できる情報であり、テンポは音楽全体のリズムの速さを表し、変化点は曲中の曲調が変化するポイントであったり、打楽器等の特徴的な音が入るポイントを示す。一方、感性的情報は、人がその音楽を聴いたときに感じる情報であり、人が音楽を聞いたときに感じるであろう感性を激しさ、躍動感、爽快感、素朴さ、ソフトさ等の感性キーワードについて１０段階評価によるポイントによって表す。なお、１０段階評価でなく、５段階でも３段階でもよい。他方、エフェクトブロックは１つ以上の基本エフェクトの順列であり、初期状態においては、その順列だけが決定済みであって、実際のエフェクトブロックのあらゆる動作、見え方を定義するパラメータである時間の長さ、開始位置、終了位置、色相などは何一つ未定義である。

ショートフィルム生成再生装置は、複数のエフェクトブロックを所有する。
基本エフェクトは、Ｐａｎ、Ｓｌｉｄｅｉｎ、Ｓｔｉｌｌ、Ｗｉｐｅｉｎ、Ｆｏｃｕｓｉｎなどのように視覚的に一つの動きを示したものである。エフェクトブロックは、任意の個数の基本エフェクトを時間軸上に並べることによって、例えば映画の１シーンのような一連のまとまりのある動きを定義したものである。

例えば、Ｓｔｉｌｌ → Ｓｔｉｌｌ → Ｓｔｉｌｌ → ＢｏｘＯｕｔと言う４つの基本エフェクトの順列から成るエフェクトブロックは、写真を静止状態で３枚見せた後、最後の一枚を縮小表示しながら消失させることによって、一つのシーンを完結させるものである。
以下、音楽を選択したとき、その音楽特徴量を元に、エフェクトブロック、写真を素材として、ショートフィルム（コンテンツ）を自動生成するための構成およびアルゴリズムを示す。

図５１は、本発明の実施の形態１１に係るショートフィルム生成再生装置３０００の機能構成を示すブロック図である。
図５１に示されるように、ショートフィルム生成再生装置３０００は、データベースに格納される音楽特徴量、画像特徴量や上記したエフェクトブロックの集合の他、エフェクトブロック選出部３００２、パラメータ決定部３００３、エフェクトブロック配列部３００４、写真割当部３００５および座標データ生成部３００６を含んで構成される。なお、ここでは、ショートフィルム生成再生装置３０００として、データベースおよびシナリオ生成部の部分だけが示されている。

図５２は、ショートフィルム生成再生装置３０００の各部が実行するショートフィルム生成処理を示すフローチャートである。
ショートフィルム生成再生装置３０００は、先ずショートフィルムのＢＧＭとして再生する音楽をデータベースから選出する（Ｓ３００１）。この選出方法は、ショートフィルム生成再生装置３０００がＧＵＩなどのインターフェースを提供して、ユーザが自分で好みの曲を選択する方法であっても、あるいは、ショートフィルム生成再生装置３０００によってデータベースから自動的に選出する方法であっても構わない。音楽の選出が終わると、ショートフィルム生成再生装置３０００は、音楽データとその音楽特徴量のデータをデータベースから読み出す。なお、データベースに音楽特徴量が存在しないような場合には、データベースから音楽データを読み出した際に、その音楽データから音楽特徴量データを抽出すればよい。

音楽データおよび音楽特徴量データを取得すると、エフェクトブロック選出部３００２は、音楽特徴量から今回のコンテンツ生成に使用するエフェクトブロックをエフェクトブロックの集合から選出する（Ｓ３００２、図４９参照）。例えば、全てのエフェクトブロックに予め添付するタグ情報の一つとして、テンポ情報を与えておく。このテンポ情報を使って、エフェクトブロック選出部３００２は、楽譜的情報からアップテンポな曲の場合は変化の激しいエフェクトブロックを選出し、スローテンポな曲の場合は変化の小さいエフェクトブロックを選出する。

エフェクトブロックの選出が終わると、パラメータ決定部３００３は、選出したエフェクトブロックのパラメータ値を決定する（Ｓ３００３、図５０参照）。より詳しくは、パラメータ決定部３００３は、感性的情報を元にコンテンツ全体の色調、フレームパターン、バックグランドカラー等を決定し、また、各基本エフェクトの実行時間の長さ、動き（ｐａｎの最初と最後の座標値で決まる）、割り当てる写真の検索ルール等を決める。例えば、感性的情報が、激しさ（２）、躍動感（２）、爽快感（３）、素朴さ（８）、ソフトさ（６）である場合、ゆったりとしたモノクロ調のコンテンツのシナリオを生成するために、色調＝モノクロ、バックグランドカラー＝黒、実行時間＝長め、動き＝大きく、写真検索ルール＝時系列等と、パラメータを決定する。

なお、上記ステップＳ３００２による選出されたエフェクトブロックの集合とステップＳ３００３による決定されたパラメータの集合により、スタイルが生成されることになる。ここで、このスタイルはこの実施の形態においてはエフェクトの上位レイヤとして規定されるが、同じレイヤとして規定してもよい。
パラメータの決定が終わると、エフェクトブロック配列部３００４は、音楽特徴量の楽譜的情報を元に選出した複数のエフェクトブロックの中から順次一つを選択して、時間軸上に配列していく（Ｓ３００４）。より詳しくは、特に変化点の情報により、曲中の曲調が変化するポイントや打楽器のような特徴的な音が入るポイントにおいて、エフェクトの変化が一致するように配置する。例えば、変化点が連続する場合にはｓｔｉｌｌ → ｓｔｉｌｌ → ｓｔｉｌｌのように表示する静止画が連続的に切り替わるエフェクトブロックを配置する。

エフェクトブロックの時間軸上への配列が終わると、写真割当部３００５は、各エフェクトブロックに写真（静止画）を割り当てる（Ｓ３００５）。より詳しくは、エフェクトブロック中の基本エフェクトが要求する画像特徴量と上記検索ルールに基づき、データベース内の写真を検索する。例えば、ｆｏｃｕｓｉｎは写真内の特定のオブジェクトの中心点を中心として、表示領域を縮小していく基本エフェクトであるが、写真内にオブジェクトが一つ以上あって、その縦もしくは横の長さが静止画に対して６０％以上である写真を選出するなどである。

写真の割当が終わると、座標データ生成部３００６は、割り当てた写真の画像特徴量から、基本エフェクトを実際に動かす上で必要な座標値を生成する（Ｓ３００６）。より詳しくは、ＦｏｃｕｓＯｕｔを例に挙げると、ＦｏｃｕｓＯｕｔは画像上のいずれかのポイントにフォーカスを当てて、興味領域を指示しておき、徐々にそのフォーカスを表す図形を拡大表示することによって、静止画全体を見せる基本エフェクトであるが、最初と最後のフォーカス図形の大ききを表すための座標値が必要である。なお、図形を正方形や円などに固定した場合、その中心点と最初と最後の半径の大きさでも指定できる。この座標値を取得するために、座標データ生成部３００６は、割り当てた画像の画像特徴量のオブジェクト情報から座標値を使用する。

座標データの生成が終わると、シナリオの生成を完了し（Ｓ３００７）、ショートフィルム生成再生装置３０００は、生成したシナリオ、すなわちショートフィルムをデータベースに格納し、ショートフィルム生成処理を終了する。
なお、ステップＳ３００２，Ｓ３００３において，音楽特徴量を用いたが、音楽特徴量に代えて画像特徴量を用いることも可能である。つまり、ステップＳ３００２では、画像特徴量として画像から抽出した代表色を用い、代表色が「赤」の場合には、変化の激しいエフェクトブロックを選出し、代表色が「青」の場合には、変化のゆったりとしたエフェクトブロックを選出するようにしてもよい。

また、ステップＳ３００３では、画像特徴量からエフェクトブロックのパラメータを決定する。例えば、代表色が「赤」の場合、躍動的なコンテンツを生成するため、色調＝ノーマル、バックグランドカラー＝白、実行時間＝短め、動き＝大きく、写真検索ルール＝時系列などとするようにしてもよい。
したがって、本実施の形態１１に係る発明によれば、エフェクトのつながりがスムーズになり、さらなる面白さを含んだエンターテイメント性の高い視覚効果を生み出すことができる。

（実施の形態１２）
図５３は、本発明の実施の形態に係るショートフィルム生成再生システムの構成を示す機能ブロック図である。なお、上記各実施の形態と同様の部分については同じ記号を付し、説明を省略する。
本実施の形態１２のショートフィルム生成再生システムは、上記各実施の形態に示す再生部１１０３をショートフィルム生成再生装置とは別に表示装置１００２とともにショートフィルム再生装置１４００として構成し、ショートフィルム生成再生装置１００１ｅに通信部１４０１を備えている点が上記各実施の形態と相違しており、その他は同様である。

ショートフィルム生成再生装置１００１ｅの通信部１４０１は、ネットワーク１４０２を介して外部の装置との通信を行う。一方、ショートフィルム再生装置１４００は、ショートフィルム選択部１１１０、表示部１１１１、ショートフィルム再生部１１１２、記憶部１４０３および通信部１４０４を備えている。
ショートフィルム選択部１１１０は、再生しようとするショートフィルムを選択するためのＧＵＩをユーザに提供する。ショートフィルム再生部１１１２は、選択されたショートフィルムのシナリオ、並びにそこに定義された静止画と音楽を記憶部１４０３から読み出し、シナリオをデコードしてショートフィルムを再生する。通信部１４０４は、ネットワーク１４０２を介して外部の装置との通信を行う。記憶部１４０３は、外部の装置より通信部１４０４を経て受信したデータを一時的に保持する。表示部１１１１は、ＬＣＤなど映像を表示するためのデバイスであり、再生されたショートフィルムを表示する。

次に、上記のように構成されたショートフィルム再生装置１４００でショートフィルムを再生するときの動作について説明する。
ショートフィルム選択部１１１０は、通信部１４０４およびネットワーク１４０２を介して、ショートフィルム生成再生装置１００１ｅのデータベース部１１０２に登録されているショートフィルムのリストを取得し、ユーザに表示する。ユーザが見たいショートフィルムを選択すると、ショートフィルム選択部１１１０は、その名前を含む情報を通信部１４０４を介してショートフィルム生成再生装置１００１ｅに送信し、選択されたショートフィルムのシナリオ、音楽および静止画の送信を要求する。

ショートフィルム生成再生装置１００１ｅの通信部１４０１は、ショートフィルム再生装置１４００より要求されたショートフィルムのシナリオ、音楽および静止画をデータベース部１１０２より読み出し、ショートフィルム再生装置１４００へ送信する。
要求したショートフィルムのシナリオ、音楽および静止画を受信したショートフィルム再生装置１４００の通信部１４０４は、そのシナリオ、音楽および静止画を記憶部１４０３に記憶する。次に、ショートフィルム再生部１１１２は、選択されたショートフィルムのシナリオ、静止画および音楽を記憶部１４０３から読み出し、シナリオをデコードしてショートフィルムを再生し、表示部１１１１へ出力する。

以上のように、再生部１１０３をショートフィルム生成再生装置とは別に表示装置１００２とともにショートフィルム再生装置１４００として構成することによって、ユーザはショートフィルム再生装置１４００だけを持ち運ぶことができる。また、ショートフィルム再生装置１４００を携帯電話として構成することも可能であり、手軽に持ち運ぶことができる。この結果、家庭内で作成したショートフィルムを出かけた先で出会った人々に見せることができ、楽しさ、うれしさが飛躍的に増大する。

（実施の形態１３）
次に、上記各実施の形態１〜１２のように構成されたショートフィルム生成再生装置でショートフィルムを再生する場合の他の実施の形態について説明する。
図５４は、本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。なお、上記各実施の形態１〜１２と同様の部分については同じ記号を付し、説明を省略する。

ショートフィルム生成再生装置１００１ｆは、表示装置であるテレビ１０２０に接続されており、リモコン１００４の操作信号を受信するリモコン受信部（図示しない）を備えている。
ショートフィルム生成再生装置１００１ｆの再生部１１０３は、再生したショートフィルムをＲＦ信号に変調してテレビ１０２０へ出力している。ここで、ＲＦ信号はテレビチャンネルの周波数帯に変調された信号である。通常、周波数帯としてＵ／ＶＨＦ帯が使われ、テレビのチャンネル（例えば５、７等）に対応する。

テレビ１０２０は、チャンネル選択部１０２１、表示部１０２２およびリモコン１００４の操作信号を受信するリモコン受信部（図示しない）を備えており、チャンネル選択部１０２１にはアンテナ１００３が接続されている。
チャンネル選択部１０２１は、チューナおよび復調回路等（図示しない）を備えており、ショートフィルム生成再生装置１００１ｆから入力されたＲＦ信号およびアンテナ１００３からの信号を受信し、所望の周波数を選択して表示部１０２２へ出力する。表示部１０２２は、ＬＣＤ、ブラウン管など映像を表示するためのデバイスであり、再生されたショートフィルムを表示する。

リモコン１００４は、メニューボタン１０４１および複数のチャンネルボタン１０４２を備えている。ユーザは、リモコン１００４により操作を行い、メニューボタン１０４１でショートフィルムのテーマを選択する。また、チャンネルボタン１０４２の所定のチャンネル（例えば５）には、ショートフィルム生成再生装置１００１ｆから入力されたＲＦ信号が割り当てられており、このチャンネルボタン１０４２でショートフィルムと通常のテレビ番組との選択を行う。

上記のように構成されたショートフィルム生成再生装置１００１ｆで、ショートフィルムを再生する場合の動作を説明する。
ユーザは、リモコン１００４のチャンネルボタン１０４２でショートフィルム生成再生装置１００１ｆから入力されたＲＦ信号が割り当てられたチャンネル（例えば５）を押下する。これを受けて、再生部１１０３のショートフィルム選択部１１１０は、データベース部１１０２に登録されているテーマを取得し、テーマ選択画面としてＲＦ信号に変調してテレビ１０２０へ出力する。このテーマの選択については、後で詳しく説明する。

ユーザは、表示部１０２２に表示されたテーマ選択画面より、見たいテーマをメニューボタン１０４１により選択する。これを受けて、再生部１１０３のショートフィルム選択部１１１０は、その選択されたテーマに該当するショートフィルムのシナリオおよびそこに定義された音楽と静止画との読み出しを指示する。ショートフィルム再生部１１１２は、データベース１１０９から読み出されたシナリオをデコードし、読み出された音楽と静止画を用いてショートフィルムを再生し、ＲＦ信号に変調してテレビ１０２０へ出力する。

次に、テーマの選択について説明する。
図５５はテーマ選択画面の表示イメージ図であり、図５６はユーザ選択画面のイメージ図である。
テーマ選択には、手動選択と自動選択とがあり、ユーザは予めどちらかを選択することができる。

手動選択には、ユーザが予め設定するテーマ（デフォルト設定）を用いる場合と、ユーザが毎回選択する場合とがある。デフォルト設定の設定例としては、前回のテーマ、よく使うテーマなどの固定テーマである。一方、ユーザが毎回選択する場合は、例えば図５５に示すように提示された複数のテーマからメニューボタン１０４１を操作することにより選択する。テーマとしては、上記実施の形態１で説明したように、例えば時系列的な「去年の今ごろ」「最近の出来事」、イベントである「クリスマス」「運動会」等のテーマがある。

また、自動選択には、日時によってテーマを変える場合と、見る人によりテーマを変える場合とがある。日時によってテーマを変える場合は、例えば定期イベント（誕生日、クリスマス等）の日には対応するテーマを選択する。一方、見る人によりテーマを変える場合は、例えば図５６に示すようなユーザ選択画面でユーザ名を選択し、選択したユーザが生成したショートフィルムや、そのユーザの写っているショートフィルムを中心に再生する。

以上のように、ショートフィルム生成再生装置１００１ｆから再生出力を所定のチャンネルに割り当てているので、ユーザ操作上はテレビ番組とショートフィルムの区別はなく、テレビ操作とほぼ同等の手順でショートフィルムを視聴することができる。また、いわゆるザッピング（明確な目的がなく、チャンネルを頻繁に切り替えて面白そうな番組を探す）の感覚でテレビ番組およびショートフィルムをシームレスに選択、視聴できるので、ユーザの操作の手間を省くことができる。

なお、上記動作の説明は、手動選択でユーザが毎回テーマを選択する場合を例にしている。これ以外の場合には、ユーザがチャンネルボタン１０４２でショートフィルム生成再生装置１００１ｆからのＲＦ信号が割り当てられたチャンネルを押下すれば、ショートフィルム再生部１１１２は、すぐにショートフィルムを再生し、ＲＦ信号に変調してテレビ１０２０へ出力することになる。

また、ショートフィルムに割り当てたチャンネルボタンを押すたびに、再生中のショートフィルムが切り替わるようにすることも可能である。この場合、ユーザは飽きることなくショートフィルムを楽しむことができる。
また、テレビ１０２０の表示部１０２２を親子画面として構成し、ショートフィルムの再生を例えば子画面で表示させることも、逆に親画面で表示させることも可能である。

（実施の形態１４）
図５７は、本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。上記実施の形態１３と同様の部分については同じ記号を付し、説明を省略する。
本実施の形態１４は、ショートフィルム生成再生装置１００１ｇからのＲＦ信号出力を複数設けている点が上記実施の形態１３と相違しており、その他は同様である。

ショートフィルム生成再生装置１００１ｇの再生部１１０３は、再生したショートフィルムをＲＦ信号に変調してテレビ１０２０へ出力しており、このＲＦ信号出力を複数設けている。
テレビ１０２０のチャンネル選択部１０２１は、ショートフィルム生成再生装置１００１ｇから入力された複数のＲＦ信号およびアンテナ１００３からの信号を受信し、所望の周波数を選択して表示部１０２２へ出力する。

リモコン１００４のチャンネルボタン１０４２には、所定の複数のチャンネル（例えば５、７等）それぞれに、ショートフィルム生成再生装置１００１ｇから入力された複数のＲＦ信号が割り当てられている。すなわち、ショートフィルムは、例えば異なるチャンネルに異なるテーマに対応するものが割り当てられる。また、テーマ選択はそれぞれのチャンネル毎にメニューボタン１０４１で行なう。

以上のように、ショートフィルム生成再生装置１００１ｇからのＲＦ信号出力を複数設けているので、チャンネルを変えるとショートフィルムが切り替わるというさらにテレビに近づいた操作感覚でショートフィルムを視聴することができる。
なお、選択中のチャンネルボタン１０４２を押すたびに、テーマはそのままで再生中のショートフィルムが切り替わるようにすることも可能である。すなわち、チャンネルボタン１０４２でテーマ選択、同じボタンを押すたびにショートフィルムが切り替わる。この場合、ユーザは飽きることなくショートフィルムを楽しむことができる。

（実施の形態１５）
図５８は、本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。上記実施の形態１３と同様の部分については同じ記号を付し、説明を省略する。
本実施の形態１５は、ショートフィルム生成再生装置１００１ｈからのショートフィルムの再生出力をビデオ信号で行っている点が上記実施の形態１３と相違しており、その他は同様である。

ショートフィルム生成再生装置１００１ｈの再生部１１０３は、再生したショートフィルムをビデオ信号に変換し、テレビ１０２０へ出力している。
テレビ１０２０は、ショートフィルム生成再生装置１００１ｈから入力されたビデオ信号をビデオ入力端子（図示しない）で受信している。
リモコン１００４は、メニューボタン１０４１およびショートフィルムボタン１０４３を備えている。ユーザは、リモコン１００４により操作を行い、メニューボタン１０４１でショートフィルムのテーマを選択する。また、ショートフィルムボタン１０４３で、ショートフィルムを視聴する。すなわち、ショートフィルムボタン１０４３が押されると、テレビ１０２０は、ショートフィルム生成再生装置１００１ｈから入力されたビデオ信号を選択して、表示する。ここで、ショートフィルムボタン１０４３を押すたびに再生中のショートフィルムが切り替わるようにすることも可能である。この場合、ユーザは飽きることなくショートフィルムを楽しむことができる。

以上のように、ショートフィルム生成再生装置１００１ｈからのショートフィルムの再生出力をビデオ信号で行っているので、ビデオを操作する感覚でショートフィルムを視聴することができる。
なお、上記実施の形態１３〜１５では、ショートフィルム生成再生装置１００１ｅ〜１００１ｈとテレビ１０２０とに分割して別に構成しているが、これに限られるものではなく、例えば全てを一体に構成しても構わない。

また、上記各実施の形態で述べたショートフィルム生成再生装置１００１ａ〜１００１ｈ，２００１〜２００４は、例えばホームサーバ、パーソナルコンピュータ、携帯電話装置、携帯情報端末、カーナビゲーション装置等として実現することが可能である。
また、上記各実施の形態では静止画が記録されているメディアから静止画を入力するようにしたが、カメラ付き携帯電話機のように自装置で撮影した静止画や、メールに添付されて送られてくる静止画、ネットワークを介して受信した静止画などであってもよい。つまり、取得された静止画であれば、その取得の方式の如何に関係なく本願発明の範囲に含まれるのはいうまでもない。

さらに、上記実施の形態ではＢＧＭとなる音楽の時間長に基づいてエフェクトやエフェクトブロックを配列したが、この時間長は、ＧＵＩなどでユーザによって指定された時間長であってもよいのはいうまでもない。

本発明のショートフィルム生成再生装置は、パーソナルコンピュータや、携帯電話機などの携帯情報端末装置などにおいて、ユーザが保有する膨大な静止画と所望の音楽とからエンターテイメント性を向上した短編の映像を生成し、再生するのに適している。

本発明に係るショートフィルム生成再生装置の一実施の形態の構成を示すブロック図である。 上記ショートフィルム生成再生装置でのスタイルとシナリオの関係を示した概念図である。 上記ショートフィルム生成再生装置でのエフェクトの一例を絵コンテで模式的に示した図である。 上記ショートフィルム生成再生装置の入力部における静止画入力時のアルゴリズムを示すフローチャートである。 上記ショートフィルム生成再生装置のショートフィルム生成部でのシナリオの生成時のアルゴリズムを示すフローチャートである。 上記ショートフィルム生成部におけるエフェクトの配列を決めるアルゴリズムを示すフローチャートである。 上記ショートフィルム生成部で時間的な調整が行われる前と後での音楽の時間に対するエフェクトの配列の様子を示す概念図である。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。 上記ショートフィルム生成再生装置のショートフィルム生成部でのシナリオの生成時のアルゴリズムを示すフローチャートである。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。 上記ショートフィルム生成再生装置のショートフィルム生成部でのシナリオの生成時のアルゴリズムを示すフローチャートである。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。 上記ショートフィルム生成再生装置のショートフィルム生成部でのシナリオの生成時のアルゴリズムを示すフローチャートである。 上記ショートフィルム生成再生装置のシナリオ生成部で、オブジェクト情報によって視覚効果を生成するときのアルゴリズムを示すフローチャートである。 上記ショートフィルム生成再生装置のシナリオ生成部で、時間軸上に並べられた静止画に対するエフェクトの割り当てを示す概念図である。 上記ショートフィルム生成再生装置のシナリオ生成部で、静止画に対してエフェクトを割り当てるアルゴリズムを示すフローチャートである。 本発明の実施の形態７に係るショートフィルム生成再生装置の構成を示す機能ブロック図である。 データベースに登録されたオブジェクト情報の構成例を示す図である。 エフェクトテーブルの構成例を示す図である。 入力部における静止画入力時のアルゴリズムを示すフローチャートである。 シナリオ生成部の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。 パラメータ設定部がエフェクトのバリエーションおよびパラメータを決定するアルゴリズムを説明するためのフローチャートである。 スライドアウトにおける縦、横、斜め、４角の４つのバリエーションを示す図である。 オリジナルの座標系（ｘ−ｏ−ｙ）をθ°（０゜＜θ＜９０゜）回転させた回転座標系：ｓ−ｏ−ｔ座標系を説明する図面である。 データベースに登録されたシナリオの構成例を示す図である。 本発明の実施の形態８に係るショートフィルム生成再生装置の機能構成を示すブロック図である。 モンタージュにおける一例を示す絵コンテである。 エフェクトテーブルの構成例を示す図である。 モンタージュ風のエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。 オブジェクト情報の構成例を示す図である。 シナリオ生成部の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。 データベースに登録されたシナリオの構成例を示す図である。 モンタージュにおける変形例を示す絵コンテである。 本発明の実施の形態９に係るショートフィルム生成再生装置の機能構成を示すブロック図である。 特定の人にフォーカスするエフェクト（スポットライト）の一例を示す絵コンテである。 エフェクトテーブルの構成例を示す図である。 １人にスポットライトを当てるようなエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。 オブジェクト情報の構成例を示す図である。 シナリオ生成部の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。 データベースに登録されたシナリオの構成例を示す図である。 本発明の実施の形態１０に係るショートフィルム生成再生装置の機能構成を示すブロック図である。 アドレス帳の構成例を示す図である。 性別（男−女）を用いたエフェクトの一例を示す絵コンテである。 性別（男−男）を用いたエフェクトの一例を示す絵コンテである。 エフェクトテーブルの構成例を示す図である。 性別の組み合わせによって表示されるキャラクタを変えるようなエフェクトを実現するオブジェクト情報を生成するアルゴリズムを示すフローチャートである。 データベースに格納されたオブジェクト情報の構成例を示す図である。 シナリオ生成部の各部が実行するシナリオを生成するまでのアルゴリズムを示したフローチャートである。 エフェクトブロックの集合およびエフェクトブロックの選択の様子を示す図である。 選出したエフェクトブロックに対するパラメータ生成および生成したパラメータ値の設定の様子を示す図である。 本発明の実施の形態１１に係るショートフィルム生成再生装置の機能構成を示すブロック図である。 ショートフィルム生成再生装置の各部が実行するショートフィルム生成処理を示すフローチャートである。 本発明に係るショートフィルム生成再生システムの一実施の形態の構成を示すブロック図である。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。 表示部でのテーマ選択画面の表示イメージ図である。 表示部でのユーザ選択画面の表示イメージ図である。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。 本発明に係るショートフィルム生成再生装置の他の実施の形態の構成を示すブロック図である。

符号の説明

１００１ａ〜１００１ｈ，
２００１〜２００４，３０００ ショートフィルム生成再生装置
１００２ 表示装置
１０２０ テレビ
１０２２，１１１１，２０５０ 表示部
１０３０，１１１７，２０３０〜２０３３ シナリオ生成部
１０４３ ショートフィルムボタン
１１０１，２０１０〜２０１３ 入力部
１１０３，２０４０ 再生部
１１０５ａ〜１１０５ｄ ショートフィルム生成部
１１０６ 静止画入力部
１１０７ 画像特徴量抽出部
１１０８ 画像内オブジェクト抽出部
１１０９，２０２０〜２０２３ データベース
１１１０，２４１０ ショートフィルム選択部
１１１２，２４２０ ショートフィルム再生部
１１１３ 画像選択部
１１１４ 画像特徴量読出部
１１１５ 画像−スタイル特徴量変換部
１１１６ スタイル決定部
１１１８ 画像−音楽特徴量変換部
１１１９ 音楽決定部
１１２０ 音楽選択部
１１２１ 音楽特徴量読出部
１１２２ 音楽−画像特徴量変換部
１１２３ 画像決定部
１１２４ 音楽−スタイル特徴量変換部
１１２５ スタイル選択部
１１２６ スタイル特徴量読出部
１１２７ スタイル−画像特徴量変換部
１１２８ スタイル−音楽特徴量変換部
１１２９ テーマ選択部
１１３０ テーマ特徴量読出部
１１３１ テーマ−画像特徴量変換部
１１３２ テーマ−スタイル特徴量変換部
１１３３ テーマ−音楽特徴量変換部
１２０２ 画像特徴量抽出部
１４００ ショートフィルム再生装置
１４０１，１４０４ 通信部
１６０３ 画像−スタイル特徴量変換部
１６０４ スタイル決定部
１６０５ 画像−音楽特徴量変換部
１６０６ 音楽決定部
２０７０ アドレス帳
２１１０ 静止画選択部
２１２０ オブジェクト情報抽出部
２１３０ 顔特徴点抽出部
２１４０ 顔認証部
２１５０ 個人情報検索部
２２１０ 静止画
２２１３ 位置情報
２２２０〜２２２３ オブジェクト情報
２２３０〜２２３３ エフェクトテーブル
２２４０ 音楽
２２５０ スタイル
２２６０ テーマ
２２７０〜２２７３ シナリオ
２２８０ 顔情報
２３１０ エフェクト配置部
２３２０〜２３２３ 静止画割当部
２３３０〜２３３３ パラメータ設定部
３００２ エフェクトブロック選出部
３００３ パラメータ決定部
３００４ エフェクトブロック配列部
３００５ 写真割当部
３００６ 座標データ生成部

Claims (40)

1. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、
   前記静止画、前記静止画の特徴を表す画像特徴量、生成する映像の全体的なイメージを表すスタイル、当該スタイルの特徴を表すスタイル特徴量、音楽および当該音楽の特徴を表す音楽特徴量を記憶するデータベース手段と、
   映像を生成する際に用いる前記静止画、前記音楽および前記スタイルのいずれか１つを選択するための選択手段と、
   前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を前記データベース手段から読み出す特徴量読出手段と、
   前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、
   前記特徴量変換手段により変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択手段により選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定手段と、
   前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定手段により決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段と
   を備えることを特徴とするショートフィルム生成再生装置。
2. 前記選択手段により静止画が選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出された画像特徴量を音楽特徴量およびスタイル特徴量に変換する
   ことを特徴とする請求項１記載のショートフィルム生成再生装置。
3. 前記選択手段により音楽が選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出された音楽特徴量を画像特徴量およびスタイル特徴量に変換する
   ことを特徴とする請求項１記載のショートフィルム生成再生装置。
4. 前記選択手段によりスタイルが選択された場合、前記特徴量変換手段は、前記特徴量読出し手段により読み出されたスタイル特徴量を画像特徴量および音楽特徴量に変換する
   ことを特徴とする請求項１記載のショートフィルム生成再生装置。
5. 前記データベース手段は、さらに、生成する映像のテーマおよび当該テーマの特徴を表すテーマ特徴量を記憶し、
   前記選択手段は、映像を生成する際に用いる前記静止画、前記音楽、前記スタイルおよび前記テーマのいずれか１つを選択し、
   前記特徴量読出手段は、前記選択手段により選択された前記静止画、前記音楽、前記スタイルおよび前記テーマのいずれか１つの特徴量を前記データベース手段から読み出す
   ことを特徴とする請求項１記載のショートフィルム生成再生装置。
6. 前記特徴量変換手段は、前記特徴量読出し手段により読み出されたテーマ特徴量を画像特徴量、音楽特徴量およびスタイル特徴量に変換する
   ことを特徴とする請求項２記載のショートフィルム生成再生装置。
7. 前記ショートフィルム生成再生装置は、さらに、静止画を取得する静止画取得手段と、
   前記静止画取得手段により取得された静止画から画像特徴量を抽出する画像特徴量抽出手段と
   を備えることを特徴とする請求項１記載のショートフィルム生成再生装置。
8. 前記ショートフィルム生成再生装置は、さらに、前記静止画取得手段により取得された静止画から、当該静止画に含まれるオブジェクトの情報を表すオブジェクト情報を抽出するオブジェクト情報抽出手段
   を備えることを特徴とする請求項７記載のショートフィルム生成再生装置。
9. 前記スタイルは、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトおよび属性を含むパラメータを有し、
   前記シナリオ生成手段は、前記エフェクトの対象である静止画の前記オブジェクト情報を前記エフェクトに関連付ける
   ことを特徴とする請求項８記載のショートフィルム生成再生装置。
10. 前記シナリオ生成手段は、
    前記スタイルが備える一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置手段と、
    前記エフェクト配置手段が時間軸上に配置したエフェクト毎に、前記オブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴量を満たす静止画を割り当てる静止画割当手段と、
    前記エフェクト配置手段が時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成し、生成したシナリオを前記データベース手段に登録するパラメータ設定手段とを有する
    ことを特徴とする請求項９記載のショートフィルム生成再生装置。
11. 前記エフェクトが要求する画像の特徴量は、オブジェクトの特徴量である
    ことを特徴とする請求項１０記載のショートフィルム生成再生装置。
12. 前記オブジェクトの特徴は、オブジェクトの種類、色、形および数の少なくとも１つである
    ことを特徴とする請求項１０記載のショートフィルム生成再生装置。
13. 前記ショートフィルム生成再生装置は、さらにオブジェクトに含まれる特徴的な部分を示す特徴点を抽出し、抽出した特徴点を前記オブジェクト情報に登録する特徴点抽出手段を備え、
    前記パラメータ設定手段は、オブジェクトに含まれる特徴点の位置に対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項１０記載のショートフィルム生成再生装置。
14. 前記データベース手段は、さらに、個人の顔を特定するための個人認証用顔情報を記憶し、
    前記ショートフィルム生成再生装置は、さらに、前記オブジェクト情報抽出手段が抽出したオブジェクトが人の顔である場合、前記個人認証用顔情報を用いてオブジェクトの名前を認証し、認証したオブジェクトの名前を前記オブジェクト情報に登録する顔認証手段を有し、
    前記パラメータ設定手段は、名前で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項１０記載のショートフィルム生成再生装置。
15. 前記ショートフィルム生成再生装置は、さらに
    個人の名前とその個人の属性とを対応付けた個人情報を記憶する個人情報記憶手段と、
    顔認証手段が認証したオブジェクトの名前に対応する個人の属性を前記個人情報から検索し、検索した個人の属性を前記オブジェクト情報に登録する個人情報検索手段とを有し、
    前記パラメータ設定手段は、個人の属性で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項１４記載のショートフィルム生成再生装置。
16. 前記スタイルは、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトおよび属性を含むパラメータを有し、
    前記シナリオ生成手段は、前記スタイルが有する前記属性および前記エフェクトが有する属性に基づいて、前記エフェクトの配列を行う
    ことを特徴とする請求項１記載のショートフィルム生成再生装置。
17. 前記エフェクトは、１つのエフェクトだけで構成される基本エフェクトおよび複数の基本エフェクトの組み合わせで構成されるエフェクトブロックのいずれかであり、
    前記シナリオ生成手段は、前記スタイルが有する前記属性および前記エフェクトが有する属性に基づいて、前記基本エフェクトまたは前記エフェクトブロックの配列を行う
    ことを特徴とする請求項１６記載のショートフィルム生成再生装置。
18. 前記シナリオ生成手段は、前記エフェクトに当該エフェクトの種類に応じた静止画を割り当てる
    ことを特徴とする請求項１６記載のショートフィルム生成再生装置。
19. 前記ショートフィルム生成再生装置は、さらに、再生する映像の選択を行うためのショートフィルム選択手段と、
    前記ショートフィルム選択手段により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記データベース手段から読み出し、前記シナリオに基づいて前記映像を再生するショートフィルム再生手段と
    を備えることを特徴とする請求項１記載のショートフィルム生成再生装置。
20. 前記ショートフィルム生成再生装置は、さらに、前記ショートフィルム再生手段により再生された前記映像を表示するための表示手段
    を備えることを特徴とする請求項１９記載のショートフィルム生成再生装置。
21. 前記ショートフィルム生成再生装置は、さらに、当該装置および当該装置に接続される前記映像を表示するための表示装置の操作を行うための操作手段を備え、
    前記ショートフィルム再生手段は、前記映像を再生した信号をＲＦ信号に変調して出力するとともに、前記操作手段に設けられ、前記ＲＦ信号が割り当てられた所定のチャンネルボタンが押下されると、前記映像の再生を開始する
    ことを特徴とする請求項１９記載のショートフィルム生成再生装置。
22. 前記ショートフィルム再生手段は、前記チャンネルボタンが押下される毎に、再生を行っている前記映像を他の映像に切り替える
    ことを特徴とする請求項２１記載のショートフィルム生成再生装置。
23. 前記ショートフィルム再生手段は、前記映像を同時に複数再生し、前記ＲＦ信号を複数出力する
    ことを特徴とする請求項２２記載のショートフィルム生成再生装置。
24. 前記ショートフィルム生成再生装置は、さらに、当該装置および当該装置に接続される前記映像を表示するための表示装置の操作を行うための操作手段を備え、
    前記ショートフィルム再生手段は、前記映像を再生した信号をビデオ信号に変調して出力するとともに、前記操作手段に設けられ、前記ビデオ信号が割り当てられた所定のボタンが押下されると、前記映像の再生を開始する
    ことを特徴とする請求項１９記載のショートフィルム生成再生装置。
25. 前記ショートフィルム再生手段は、前記ボタンが押下される毎に、再生を行っている前記映像を他の映像に切り替える
    ことを特徴とする請求項２４記載のショートフィルム生成再生装置。
26. 前記ショートフィルム生成再生装置は、ホームサーバである
    ことを特徴とする請求項１記載のショートフィルム生成再生装置。
27. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、
    当該装置および当該装置に接続される映像を表示するための表示装置の操作を行うための操作手段と、
    映像を再生した信号をＲＦ信号に変調して出力するとともに、前記操作手段に設けられ、前記ＲＦ信号が割り当てられた所定のボタンが押下されると、映像の再生を開始するショートフィルム再生手段
    を備えることを特徴とするショートフィルム生成再生装置。
28. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、
    前記静止画、前記静止画の特徴を表す画像特徴量、音楽、前記音楽の特徴を表す音楽特徴量および対象となる１以上の静止画をどのような視覚効果を用いて再生するかを規定したエフェクトを記憶するデータベース手段と、
    映像を生成する際に用いる前記静止画および前記音楽のいずれか１つを選択するための選択手段と、
    前記選択手段により選択された前記静止画および前記音楽のいずれかの特徴を表す特徴量を前記データベース手段から読み出す特徴量読出手段と、
    前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、
    前記特徴量変換手段により変換された前記他の特徴量に基づいて、それぞれ映像を生成する際に用いる前記静止画および前記音楽の内、前記選択手段により選択されなかった前記静止画および前記音楽を決定する決定手段と、
    前記選択手段により選択され前記静止画および前記音楽のいずれか並びに前記決定手段により決定された前記静止画および前記音楽に基づいて、映像を生成する際に用いる所定数の前記エフェクトおよびパラメータを決定し、生成する映像の全体的なイメージを表すスタイルを生成するスタイル生成手段と、
    前記選択手段により選択され前記静止画および前記音楽のいずれか、前記決定手段により決定された前記静止画および前記音楽並びに前記スタイル生成手段により生成された前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段と
    を備えることを特徴とするショートフィルム生成再生装置。
29. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、
    静止画を取得する静止画取得手段と、
    前記静止画を記憶するデータベース手段と、
    前記静止画取得手段により取得された静止画から、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を前記データベース手段に登録するオブジェクト情報抽出手段と
    を備えることを特徴とするショートフィルム生成再生装置。
30. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置であって、
    外部から入力された静止画を入力する入力手段と、
    前記静止画、対象となる１つ以上の静止画をどのような視覚効果を用いて再生するかを規定した所定数のエフェクトとパラメータとを有するスタイルおよび生成する映像に用いられる音楽を記憶するデータベース手段と、
    予め決定されたスタイルおよび音楽の特徴に基づいて、映像のシナリオを生成するシナリオ生成手段とを備え、
    前記入力手段は、
    外部から静止画が入力される毎に、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を前記データベース手段に登録するオブジェクト情報抽出手段を有し、
    前記シナリオ生成手段は、
    前記データベース手段に記憶される一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置手段と、
    前記エフェクト配置手段が時間軸上に配置したエフェクト毎に、前記データベース手段に登録されたオブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴量を満たす静止画を割り当てる静止画割当手段と、
    前記エフェクト配置手段が時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成し、生成したシナリオを前記データベース手段に登録するパラメータ設定手段とを有する
    ことを特徴とするショートフィルム生成再生装置。
31. 前記エフェクトが要求する画像の特徴量は、オブジェクトの特徴量である
    ことを特徴とする請求項３０記載のショートフィルム生成再生装置。
32. 前記オブジェクトの特徴は、オブジェクトの種類、色、形および数の少なくとも１つである
    ことを特徴とする請求項３１記載のショートフィルム生成再生装置。
33. 前記入力手段は、さらにオブジェクトに含まれる特徴的な部分を示す特徴点を抽出し、抽出した特徴点を前記オブジェクト情報に登録する特徴点抽出手段を備え、
    前記パラメータ設定手段は、オブジェクトに含まれる特徴点の位置に対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項３０記載のショートフィルム生成再生装置。
34. 前記データベース手段は、さらに、個人の顔を特定するための個人認証用顔情報を記憶し、
    前記入力手段は、さらに、前記オブジェクト情報抽出手段が抽出したオブジェクトが人の顔である場合、前記個人認証用顔情報を用いてオブジェクトの名前を認証し、認証したオブジェクトの名前を前記オブジェクト情報に登録する顔認証手段を有し、
    前記パラメータ設定手段は、名前で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項３０記載のショートフィルム生成再生装置。
35. 前記ショートフィルム生成再生装置は、さらに個人の名前とその個人の属性とを対応付けた個人情報を記憶する個人情報記憶手段を備え、
    前記入力手段は、さらに顔認証手段が認証したオブジェクトの名前に対応する個人の属性を前記個人情報から検索し、検索した個人の属性を前記オブジェクト情報に登録する個人情報検索手段を有し、
    前記パラメータ設定手段は、個人の属性で特定されるオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成する
    ことを特徴とする請求項３４記載のショートフィルム生成再生装置。
36. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生装置と、ネットワークを介して前記ショートフィルム生成再生装置と接続されるショートフィルム再生装置とを備えるショートフィルム生成再生システムであって、
    前記ショートフィルム生成再生装置は、
    前記静止画、前記静止画の画像特徴量、生成する映像の全体的なイメージを表すスタイル、前記スタイルのスタイル特徴量、音楽および前記音楽の音楽特徴量を記憶するデータベース手段と、
    映像を生成する際に用いる前記静止画、前記音楽および前記スタイルのいずれか１つを選択するための選択手段と、
    前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を前記データベース手段から読み出す特徴量読出手段と、
    前記特徴量読出手段により読み出された前記特徴量を他の特徴量に変換する特徴量変換手段と、
    前記特徴量変換手段により変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択手段により選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定手段と、
    前記選択手段により選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定手段により決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成手段と、
    前記ショートフィルム再生装置により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記データベース手段から読み出し、前記ネットワークを介して前記ショートフィルム再生装置へ送信する通信手段とを備え、
    前記ショートフィルム再生装置は、
    再生する映像の選択を行うためのショートフィルム選択手段と、
    前記ネットワークを介して前記ショートフィルム生成再生装置と通信を行う通信手段と、
    前記ショートフィルム生成再生装置より受信した映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを一時的に保持する記憶手段と、
    前記ショートフィルム選択手段により選択された映像のシナリオおよび前記シナリオに定義された前記静止画と前記音楽とを前記記憶手段から読み出し、前記シナリオに基づいて前記映像を再生するショートフィルム再生手段と、
    前記ショートフィルム再生手段により再生された前記映像を表示するための表示手段とを備える
    ことを特徴とするショートフィルム生成再生システム。
37. 少なくとも１つの静止画を用いて、映像を生成し、再生するショートフィルム生成再生方法であって、
    映像を生成する際に用いる静止画、音楽および生成する映像の全体的なイメージを表すスタイルのいずれか１つを選択するための選択ステップと、
    前記選択ステップにより選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を読み出す特徴量読出ステップと、
    前記特徴量読出ステップにより読み出された前記特徴量を他の特徴量に変換する特徴量変換ステップと、
    前記特徴量変換ステップにより変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択手段により選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定ステップと、
    前記選択ステップにより選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定ステップにより決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成ステップと
    を含むことを特徴とするショートフィルム生成再生方法。
38. 少なくとも１つの静止画を用いて、映像を生成再生するショートフィルム生成再生方法であって、
    外部から入力された静止画を入力する入力ステップと、
    予め決定された生成する映像の全体的なイメージを表すスタイルおよび生成する映像に用いられる音楽の特徴に基づいて、映像のシナリオを生成するシナリオ生成ステップとを含み、
    前記入力ステップは、
    外部から静止画が入力される毎に、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を生成するオブジェクト情報抽出ステップを含み、
    前記シナリオ生成ステップは、
    一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置ステップと、
    前記エフェクト配置ステップが時間軸上に配置したエフェクト毎に、前記オブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴を満たす静止画を割り当てる静止画割当ステップと、
    前記エフェクト配置ステップが時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成するパラメータ設定ステップとを含む
    ことを特徴とするショートフィルム生成再生方法。
39. 少なくとも１つ以上の静止画を用いて、映像を生成し、再生するためのプログラムであって、
    映像を生成する際に用いる静止画、音楽および生成する映像の全体的なイメージを表すスタイルのいずれか１つを選択するための選択ステップと、
    前記選択ステップにより選択された前記静止画、前記音楽および前記スタイルのいずれか１つに対応する特徴量を読み出す特徴量読出ステップと、
    前記特徴量読出ステップにより読み出された前記特徴量を他の特徴量に変換する特徴量変換ステップと、
    前記特徴量変換ステップにより変換された前記他の特徴量に基づいて、映像を生成する際に用いる前記静止画、前記音楽および前記スタイルの内、前記選択ステップにより選択されなかった前記静止画、前記音楽および前記スタイルをそれぞれ決定する決定ステップと、
    前記選択ステップにより選択された前記静止画、前記音楽および前記スタイルのいずれか１つ並びに前記決定ステップにより決定された前記静止画、前記音楽および前記スタイルに基づいて映像のシナリオを生成するシナリオ生成ステップと
    をコンピュータに実行させることを特徴とするプログラム。
40. 少なくとも１つの静止画を用いて、映像を生成再生するためのプログラムであって、
    外部から入力された静止画を入力する入力ステップと、
    予め決定された生成する映像の全体的なイメージを表すスタイルおよび生成する映像に用いられる音楽の特徴に基づいて、映像のシナリオを生成するシナリオ生成ステップとを含み、
    前記入力ステップは、
    外部から静止画が入力される毎に、当該静止画に含まれるオブジェクトを抽出し、抽出したオブジェクトの位置を含むオブジェクト情報を生成するオブジェクト情報抽出ステップを含み、
    前記シナリオ生成ステップは、
    一群のエフェクトの中から１つのエフェクトを１つずつ選択し、選択したエフェクトを時間軸上に順次配置するエフェクト配置ステップと、
    前記エフェクト配置ステップが時間軸上に配置したエフェクト毎に、前記オブジェクト情報に基づいて、当該エフェクトが要求する画像の特徴を満たす静止画を割り当てる静止画割当ステップと、
    前記エフェクト配置ステップが時間軸上に配置したエフェクトに合致したオブジェクトに対する処理を示すパラメータを記述することによってシナリオを生成するパラメータ設定ステップとを含む
    をコンピュータに実行させることを特徴とするプログラム。
    

Images