JP2010166608A - ショートフィルム生成装置、ショートフィルム生成方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減したショートフィルム生成装置を提供する。
【解決手段】ショートフィルム生成装置５００は、静止画像を取得する画像入力部５０２と、静止画像にオブジェクトが含まれているか否かを判定し、静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成する文字領域抽出部５０３と、予め定められた複数の視覚効果の中から静止画像に施す視覚効果を決定し、静止画像と、その静止画像に対応する少なくとも１つ以上のオブジェクト情報とに基づいて、静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された視覚効果を施し、シナリオを生成するシナリオ生成部５０５とを備える。
【選択図】図２２

Description

本発明は、静止画像の画像処理および表示技術に関し、特に、画像表示の際に抽出するオブジェクトを考慮した領域制御や、少なくとも１つ以上の静止画像を用いて短編の映像を生成および再生する技術に関する。

２００１年日本国内のカメラ市場において、デジタルスチルカメラ（以下、「デジタルカメラ」という。）の出荷数が銀塩カメラの出荷数を超え、今後、さらにその格差が広がると予測されている。また、近年の携帯電話市場では、デジタルカメラ付の携帯電話機が多数リリースされ、それらのモデルは多大な人気を集めている。このように、デジタルカメラのユーザは増加の一途を辿っている。

一方、画像表示機能を有する携帯型端末（例えば、携帯電話機など）も、一人１台ずつ所持するほど普及しており、その携帯型端末の画像表示装置（以下、単に「画像表示装置」とも記す。）にデジタルカメラで撮影した画像を表示させたいといった要求が日増しに増大している。

一般に、デジタルカメラ等の画像形成装置は、被写体を１２８０×９６０画素で撮影して、その１２８０×９６０画素の画像（以下、この画像を「原画像」とも記す。）と、１６０×１２０画素のサムネイル画像とを、ＥＸＩＦ形式で、ＳＤメモリーカード（登録商標）などの記録媒体に記録する。一方、画像表示装置の表示器は、最大で２４０×３２０画素（ＱＶＧＡ）程度の表示である。

このように、画像表示装置の表示器と画像表示装置に表示しようとする画像（表示用画像）との間の解像度に差がある場合は、どちらかの解像度にあわせて表示用画像を拡大・縮小する必要がある。

そのため、従来の画像形成装置に関する技術として、携帯電話機等において、表示しようとする画像が表示領域に収まるかどうかを判断し、原画像が表示領域のサイズに収まらない場合には、別途記憶しているサムネイル画像を表示する手法が提案されている（例えば、特許文献１参照。）。

ところで、デジタルカメラやカメラ付き携帯電話機等の普及に伴って、大量のデジタル静止画像（Digital Still Picture、以下、「静止画像」という。）を保有するユーザの
増加も著しい。これらの静止画像は、一般的には、パーソナルコンピュータのディスクドライブに溜め込まれており、この大量の静止画像を再生する装置として、静止画像から映画のような短編の映像（ショートフィルム）を生成し、再生するショートフィルム生成装置も提案されている。例えば、特許文献２には、動的画像処理内容および時間的処理手順（シナリオ）に基づいて視覚効果を施しながら、静止画像を再生する技術が開示されている。

図３８は、従来におけるショートフィルム生成装置の構成を示すブロック図である。
この従来におけるショートフィルム生成装置９００は、操作入力部９０１、画像入力部９０２、画像蓄積部９０３、シナリオ生成部９０４、画像再生部９０５および表示部９０６から構成される。

操作入力部９０１は、静止画像データの取り込み指示や、静止画像の選択等、ユーザからの操作入力を受け付ける。

画像入力部９０２は、デジタルカメラ９１０等で撮影されたＪＰＥＧ圧縮形式の静止画像データを、装置内に取り込む。

画像蓄積部９０３は、取り込まれた静止画像データを蓄積する。
シナリオ生成部９０４は、ユーザの選択した静止画像を元に、静止画像の再生順および視覚効果を決定し、再生情報であるシナリオを生成してメモリに保持する。ここで、シナリオとは、ＭＰＥＧに代表されるような動画像データそのものではなく、時系列に視覚効果（エフェクト）、エフェクトの動作を規定するパラメータ、エフェクトの対象となる静止画へのポインタ、再生時間などを、ＸＭＬに代表されるようなスクリプト言語によって、記述したものである。

画像再生部９０５は、生成されたシナリオに従って画像蓄積部９０３から静止画像データを読み出して、指定された視覚効果を施しながら１５フレーム／秒で再生する動作を繰り返す。

表示部９０６は、シナリオ生成部９０４や画像再生部９０５からの制御を受けてユーザインタフェース画面や再生画像を表示する。

以上のように構成されたショートフィルム生成装置９００は、次のように動作する。
まず、ユーザがデジタルカメラ９１０で撮影した画像は、画像入力部９０２を介して装置内に取り込まれ、そのまま画像蓄積部９０３に伝送され格納される。

ここで、操作入力部９０１が、ユーザからショートフィルム生成ボタンを押下する操作を受け付けると、シナリオ生成部９０４は、シナリオを生成する。

図３９は、従来におけるシナリオ生成部９０４の処理手順を示すフロー図である。
まず、シナリオ生成部９０４は、ユーザに画像蓄積部９０３に格納されている画像から複数枚を選択するように促す画面（画像選択画面）を生成して、表示部９０６に出力する（Ｓ９００）。

ここで、操作入力部９０１が、ユーザから、表示部９０６に表示される画像の中から再生する静止画像を選択する操作を受け付けると（Ｓ９０２のＹｅｓ）、シナリオ生成部９０４は、選択された画像の撮影時刻情報をチェックし、各画像の再生情報を撮影時刻順に並べて連結リスト化したシナリオ外枠を生成する（Ｓ９０４）。

ここで、操作入力部９０１は、ユーザから、５枚の静止画像（画像３１、画像３２、画像３３、画像３４および画像３５）の選択を受け付けた場合に生成されるシナリオ外枠を図４０に示す。なお、この５枚の静止画像の撮影時刻は、画像３１、画像３２、画像３３、画像３４、画像３５の順に時系列に並んでいるとする。

図４０は、従来におけるシナリオ外枠を示す図である。
従来におけるシナリオ外枠は、シナリオヘッダ９２０、シナリオ先頭リスト９２１、シナリオ第２リスト９２２、シナリオ第３リスト９２３、シナリオ第４リスト９２４およびシナリオ第５リスト９２５が連結リスト化されることにより構成される。

このとき、シナリオヘッダ９２０には、シナリオ名と画像数がセットされ、シナリオ外枠の各リスト９２１〜９２５には、各画像の再生情報のうち、画像ファイル名、画像蓄積部９０３における格納場所がセットされる。

そして、シナリオヘッダ９２０の全再生時間や、シナリオ外枠の各リスト９２１〜９２５の視覚効果情報や再生時間情報は、空白状態となっている。

シナリオ生成部９０４は、このようなシナリオ外枠を生成した後、画像の再生順に各画像に対して割り当てる視覚効果を決定する。

再び図３９を参照して説明すると、シナリオ生成部９０４は、まず、シナリオ外枠のシナリオ先頭リスト９２１を参照し（Ｓ９０６）、画像３１に割り当てる視覚効果を決定する。

このとき、シナリオ生成部９０４は、ランダム関数により乱数を発生させて４で除算して（Ｓ９０８）、除算した余りを求めることにより、画像３１に割り当てる視覚効果を決定する。

すなわち、シナリオ生成部９０４は、余りが１ならば（Ｓ９１０のＹｅｓ）、画像を徐々に鮮明にするフェードイン効果をシナリオ先頭リスト９２１の視覚効果情報に追加し（Ｓ９１２）、余りが２ならば（Ｓ９１４のＹｅｓ）、画像を徐々に消すフェードアウト効果をシナリオ先頭リスト９２１の視覚効果情報に追加する（Ｓ９１６）。また、余りが０ならば（Ｓ９１８のＹｅｓ）、画像中央へ向けて画像を拡大させるズームイン効果をシナリオ先頭リスト９２１の視覚効果情報に追加し（Ｓ９２０）、余りが３ならば（Ｓ９１８のＮｏ）、画像の１部分を拡大表示し表示部分を移動させるＰａｎ効果をシナリオ先頭リスト９２１の視覚効果情報に追加する（Ｓ９２２）。

さらに、シナリオ生成部９０４は、割り当てる視覚効果をシナリオ先頭リスト９２１の視覚効果情報に追加する際に、併せて画像の再生時間を設定して、シナリオ先頭リスト９２１の再生時間情報に追加する。ここではズームイン効果を施す画像の再生時間は３秒（４５フレーム）、それ以外の画像の再生時間は２秒（３０フレーム）に設定する。

その後、シナリオ生成部９０４は、視覚効果情報および再生時間情報を追加したリストが最後のリストであるか否かを判断し（Ｓ９２４）、最後のリストであれば（Ｓ９２４のＹｅｓ）、シナリオ生成の処理動作を終了し、最後のリストでなければ（Ｓ９２４のＮｏ）、シナリオ外枠の次のリストを参照し（Ｓ９２６）、視覚効果を決定する処理動作を繰り返す。

このようにして、シナリオ生成部９０４が、再生順において最後の画像まで視覚効果を割り当てる処理動作を繰り返すと図４１に示すシナリオが完成する。

図４１は、従来における完成したシナリオの第１例を示す図である。
この完成したシナリオにおいて、シナリオヘッダ９３０には、全再生時間１２秒を示す情報が記述され、画像３１の再生情報が記述されるシナリオ先頭リスト９３１には、フェードイン効果を割り当てる視覚効果情報が記述され、再生時間２秒の再生時間情報が記述されている。同様に、各画像の再生情報が記述されるリストにも、それぞれ割り当てられる視覚効果情報と再生時間情報とが記述されている。

すなわち、この完成したシナリオによれば、画像３１、画像３２、画像３３、画像３４、画像３５の順に再生され、画像３１にはフェードイン効果、画像３２にはズームアウト効果、画像３３にはフェードアウト効果、画像３４はＰａｎ効果、画像３５にはズームイン効果の視覚効果をそれぞれに施すことが示されている。また、再生時間はそれぞれ２秒、３秒、２秒、２秒、３秒（計１２秒）であることが示されている。

ここで、操作入力部９０１が、ユーザからショートフィルムのタイトルの入力を受け付けると、シナリオ生成部９０４は、完成したシナリオのリストの先頭にタイトル画像（タイトル用に用意された黒画面の画像）の再生情報を挿入する場合もある。

このとき、シナリオ生成部９０４は、画像中央部分にユーザが入力した文字を埋め込むことを示す視覚効果情報および再生時間情報（２秒）をシナリオのリストの先頭に追加する。このようにして完成したシナリオを図４２に示す。

図４２は、従来における完成したシナリオの第２例を示す図である。
この完成したシナリオでは、タイトル画像、画像３１、画像３２、画像３３、画像３４、画像３５の順に再生され、タイトル画像には、文字埋め込み効果、画像３１にはフェードイン効果、画像３２にはズームアウト効果、画像３３にはフェードアウト効果、画像３４はＰａｎ効果、画像３５にはズームイン効果を施すことを示している。再生時間はそれぞれ２秒、２秒、３秒、２秒、２秒、３秒（計１４秒）である。

すなわち、シナリオヘッダ９４０には、全再生時間１４秒を示す情報が記述され、タイトル画像の再生情報が記述されるシナリオ先頭リスト９４１には、画像中央部分にユーザが入力した文字を埋め込む文字埋め込み効果を割り当てる視覚効果情報が記述され、再生時間２秒の再生時間情報が記述されている。同様に、各画像の再生情報が記述されるリストにも、それぞれ割り当てられる視覚効果情報と再生時間情報とが記述されている。

続いて、画像再生部９０５は、シナリオ生成部９０４において以上のような手順で生成されたシナリオのアドレス情報を受け取り、シナリオの先頭リストに格納された画像の再生情報を参照する。

そして、画像再生部９０５は、参照した再生情報に基づいて画像蓄積部９０３から圧縮形式の画像を読み出して解凍し、再生時間情報（フレーム数）に基づいて時間管理を行いながら視覚効果情報において指示された視覚効果を施して表示部９０６に出力する。先頭の画像の再生が終了すると、画像再生部９０５は、シナリオにおける次の画像の再生情報を参照して再生処理を実行し、最後の画像（画像３５）の再生処理が終了するまでこれを繰り返す。

ここで、図４３を用いて、表示部９０６に出力表示される画像の視覚効果について説明する。

図４３は、従来におけるショートフィルム生成装置９００の画面表示例を示す図である。

ここでは、画像の対角線方向へ移動するＰａｎ効果について説明することとする。
画像対角線方向へのＰａｎ効果によれば、ショートフィルム生成装置９００は、表示画面例９５０を表示した後、第１表示領域９５１を拡大して表示し、表示推移線９５２に沿って表示部分を移動させて第２表示領域９５３を表示して、再生を終了する。

このようにして、従来におけるショートフィルム生成装置９００は、複数の静止画像にズームイン、フェードイン、フェードアウト、Ｐａｎ等の視覚効果を施しながら、あたかも動画のように、短編の映像（ショートフィルム）を生成して再生する。このような従来のショートフィルム生成装置９００は、静止画に動画のような動きを与えて、デジタル静止画を使った新しいエンターテイメントの世界を切り開いた点で画期的である。

特開２００２−２３９１４号公報 特開平１１−１５９９３号公報

しかしながら、上述した従来の画像表示装置では、表示用画像の解像度（画素数）が表示器の解像度（画素数）に比べて大きい（多い）場合には、画像全体を表示するために、表示器の画素数より少ない画素数のサムネイル画像を記憶する必要がある。このような事態は、携帯電話機など表示部分が極めて小さい表示端末で、非常に顕著であり、原画像の１／６４の解像度のサムネイル画像を、ＱＶＧＡ（３２０ｘ２４０画素＝約８万画素（７６８００））サイズの表示領域を持つ表示装置上で、全体表示することになる。

すなわち、こういったケースでは、画像全体の解像度が下がるため、視覚的な画質の劣化が生じてしまうという問題がある。

また、画像内の見たい場所（興味領域；ＲＯＩ；Region Of Interest；例えば人の顔）も相対的に小さくなるので、画質の劣化とともに視認性も低下してしまうという問題もある。

このような問題点を解決するために、原画像を格納し、原画像を表示器に表示することが考えられるが、小さな表示装置（画面）で大きな画像の一部を見ることになり、ユーザに操作負荷をかけてしまうという問題を生じさせてしまう。より詳しく説明すると、まず、ＸＧＡサイズの画像は、ＱＶＧＡサイズの表示領域に対して約１０倍の大きさであるので、ユーザがＲＯＩを探そうとすれば、スクロールなどをさせながら探す手間が必要となってしまう。また、人の顔が小さく写っているようなときには、ユーザは、その部分をズームインして表示させる操作が必要となり、ユーザの操作負荷は高いものとなる。

同様に、表示器にサムネイル画像を９つ程度、一覧表示するような場合についても、サムネイル画像をさらに８０×６０画素程度まで縮小しなければならない。このような場合についても、一つ一つのサムネイル画像について解像度低下による視認性の低下が指摘でき、「何が映っているか判り難い」という問題がある。

また、上記従来のショートフィルム生成装置によれば、予めユーザにより選択された画像に対し視覚効果をランダムまたは固定的に決定して、再生に必要なシナリオを生成するので、インパクトのあるシナリオを生成することができない。つまり、各画像に割り当てる視覚効果を決定する際に、画像の内容が考慮されることなく、恣意的に視覚効果が割り当てられるので、画像の特徴を生かしたインパクトのあるシナリオを生成できないという問題がある。

また、上記従来のショートフィルム生成装置によれば、シナリオ生成に際して、ユーザがタイトル入力や画像選択を行なう必要があるため、手間がかかってしまうという問題もある。

そこで、本発明は、かかる問題点に鑑みなされたものであり、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減した画像表示装置、画像表示方法ならびにそれらを有する携帯型端末を提供し、また、サムネイル画像の一覧表示の際にも、何が映っているか判別しやすい画像表示装置を提供することを第１の目的とする。

また、本発明は、画像に相応しい視覚効果を施して再生することができるショートフィルム生成装置を提供し、また、タイトル入力や画像選択を行なう等のユーザの手間を省いて、シナリオを生成することができるショートフィルム生成装置を提供することを第２の目的とする。

上記の目的を達成するため、本発明は、以下のような技術的手段を講じている。
すなわち、本発明に係るショートフィルム生成装置は、少なくとも１つの静止画像を用いて、映像を生成するショートフィルム生成装置であって、外部から入力された１つ以上の静止画像を取得する静止画像入力手段と、前記入力された静止画像にオブジェクトが含まれているか否かを判定し、前記入力された静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成するオブジェクト判定手段と、予め定められた複数の視覚効果の中から前記静止画像に施す視覚効果を決定し、前記静止画像と、当該静止画像に対応する少なくとも１つ以上の前記オブジェクト情報とに基づいて、前記静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された前記視覚効果を施し、前記静止画像を映像として再生するためのシナリオを生成するシナリオ生成手段とを備えることを特徴とする。

また、本発明に係る画像表示装置は、画像を表示する表示手段を備える画像表示装置であって、前記表示手段における表示可能な画素数よりも多い画素数で形成された原画像を保持する原画像保持手段と、前記原画像保持手段に保持されている原画像にオブジェクトが含まれているか否かを判別し、オブジェクトが含まれている場合に、当該オブジェクトに関するオブジェクト情報を生成するオブジェクト判定手段と、ユーザから指定された原画像と、当該原画像に対応するオブジェクト情報とに基づいて、前記原画像におけるオブジェクトが含まれている領域であるオブジェクト領域の少なくとも一部を前記原画像から抽出して、前記表示手段における表示可能な画素数にあわせた表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。

これによって、オブジェクト領域の少なくとも一部を含む表示用画像を原画像から生成するので、オブジェクト領域の少なくとも一部を含む部分が大きく表示される。したがって、視認性を向上させ、ユーザの操作負荷も軽減した画像表示装置を提供することが可能となる。

ここで、前記オブジェクト判定手段は、前記原画像に含まれるオブジェクトの位置および大きさを抽出し、抽出したオブジェクトの位置および大きさを前記オブジェクト情報に埋め込むオブジェクト抽出部を備え、前記表示用画像生成手段は、前記オブジェクト情報に埋め込まれたオブジェクトの位置および大きさに基づいて、前記原画像から抽出する部分を決定することを特徴とする。

この構成によれば、オブジェクト領域の少なくとも一部を含む原画像の部分の決定が容易になる。

また、前記オブジェクト抽出部は、パターンマッチング、色分布情報、エッジ情報、領域分割情報およびレイアウト情報の少なくとも一つを用いて前記オブジェクトを抽出するとしてもよい。

また、前記オブジェクト判定手段は、さらに、前記オブジェクト抽出部が抽出したオブジェクトの種別を判定し、判定したオブジェクトの種別を前記オブジェクト情報に埋め込むオブジェクト種別判定部を備え、前記表示用画像生成手段は、前記オブジェクト情報に埋め込まれたオブジェクトの位置、大きさおよび種別に基づいて、前記原画像から抽出する部分を決定することを特徴としてもよい。

これによっても、オブジェクト領域の少なくとも一部を含む原画像の部分の決定が容易になる。

また、前記オブジェクトの種別には、人物、人の顔、犬、猫および書籍ならびに文字列を含む物品、看板および値札の少なくとも一つが含まれることを特徴とすることもできる。

これによって、種々の種別のオブジェクト領域の少なくとも一部を含む部分が大きく表示される。

また、前記オブジェクト判定手段は、さらに、前記オブジェクト種別判定部が判定したオブジェクトの種別に対応した優先度を、前記オブジェクト情報に埋め込むオブジェクト優先度設定部を備え、前記表示用画像生成手段は、前記オブジェクト情報に埋め込まれたオブジェクトの優先度に基づいて、前記原画像から抽出する部分を決定することを特徴とすることもできる。

これによっても、オブジェクト領域の少なくとも一部を含む原画像の部分の決定が容易になる。

また、前記オブジェクト判定手段は、原画像に含まれるオブジェクトの位置および大きさを抽出し、抽出したオブジェクトの候補の位置および大きさを前記オブジェクト情報に埋め込むオブジェクト抽出部を備え、前記表示用画像生成手段は、前記オブジェクト情報に埋め込まれたオブジェクトの位置の中心が含まれるように、前記原画像から抽出する部分を決定することを特徴としてもよい。

これによって、オブジェクトの視認性を高めることができる。
また、前記画像表示装置は、さらに、原画像を撮像する撮像手段、および、記憶媒体または伝送媒体を介して原画像を入力する画像入力手段の少なくとも一方と、前記撮像手段および前記画像入力手段の少なくとも一方によって取得された原画像を前記原画像保持手段に格納する格納手段とを備えることを特徴とすることもできる。

この構成によれば、種々の方策で原画像を取得することができる。
さらに、前記表示用画像生成手段は、さらに、前記オブジェクト情報に基づいて、前記原画像におけるオブジェクトが含まれている領域であるオブジェクト領域の少なくとも一部を前記原画像から抽出して、予め定められた画素数のサムネイル画像を生成するサムネイル画像生成手段を備えることを特徴とする。ここで、前記原画像保持手段には、複数の原画像が保持されており、前記表示用画像生成手段は、前記サムネイル画像生成手段が生成した各原画像のサムネイル画像を、前記表示手段に一覧表示させるのが好ましく、前記予め定められた画素数は、前記表示手段において１のサムネイル画像の表示に割り当てられた画素数であるのが、より好ましい。

これによって、サムネイル画像の一覧表示の際にも、何が映っているか判別しやすくすることが可能となる。

また、前記表示用画像生成手段は、前記原画像から抽出した部分を拡大または縮小することによって、前記表示手段における表示可能な画素数にあわせた表示用画像を生成するとしてもよいし、前記表示用画像生成手段は、前記原画像から抽出する部分の画素数が、前記表示手段における表示可能な画素数となるように、前記原画像から抽出する部分を決定するとしてもよい。

これによって、オブジェクト領域の少なくとも一部を含む部分が大きく表示されるように、原画像から表示用画像を生成するので、視認性を向上させ、ユーザの操作負荷も軽減した画像表示装置を実現することが可能となる。

また、本発明に係るショートフィルム生成装置は、少なくとも１つの静止画像を用いて、映像を生成するショートフィルム生成装置であって、外部から入力された１つ以上の静止画像を取得する静止画像入力手段と、前記入力された静止画像ごとにオブジェクトが含まれているか否かを判別し、前記入力された静止画像にオブジェクトが含まれている場合に、前記オブジェクトに関する情報を抽出するオブジェクト抽出手段と、前記入力された静止画像の再生順と、前記オブジェクト抽出手段の判別結果に応じて、前記静止画像に含まれるオブジェクトに施す視覚効果とを決定することにより、映像の再生情報であるシナリオを生成するシナリオ生成手段とを備えることを特徴とする。ここで、前記オブジェクトは、文字領域であり、前記オブジェクト抽出手段は、前記入力された静止画像ごとに文字領域が含まれているか否かを判別し、前記入力された静止画像に文字領域が含まれている場合に、前記文字領域に関する情報を抽出する文字領域抽出部を備え、前記シナリオ生成手段は、前記入力された静止画像の再生順と、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域に施す視覚効果とを決定することにより、映像の再生情報であるシナリオを生成するとしてもよい。

この構成によれば、静止画像に含まれるオブジェクト（文字領域）を抽出して、そのオブジェクト（文字領域）に視覚効果を施すので、そのオブジェクト（文字領域）が強調され、インパクトのあるショートフィルムを生成することができる。

ここで、前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域に拡大効果を施すシナリオを生成するとしてもよい。また、前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域にＰａｎ効果を施すシナリオを生成することもできる。さらに、前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域を修正するシナリオを生成するとしてもよい。

また、前記シナリオ生成手段は、前記文字領域抽出部が抽出した文字領域に関する情報のうち、前記文字領域の形状、サイズまたは色彩の少なくとも１つに基づいて、その文字領域に施す視覚効果を決定することにより、シナリオを生成するのが好ましい。

これによって、静止画像の文字領域の特性に応じて、文字領域に施す視覚効果が選択されるので、その文字領域に相応しい視覚効果が施され、よりインパクトのあるショートフィルムを生成することができる。

また、前記ショートフィルム生成装置は、さらに、前記文字領域抽出部が文字領域を含むと判別した静止画像の撮影時刻を基準に、再生する静止画像を選択する画像選択手段を備え、前記シナリオ生成手段は、前記画像選択手段が選択した再生画像のシナリオを生成することを特徴としてもよい。

これによって、キー画像と時間的に関連付けられる画像グループが自動的に選択されるので、ショートフィルムに使用する静止画像をユーザが一々選択する必要がなくなる。

さらに、前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域をタイトルとして使用するシナリオを生成することもできる。

これによって、画像の文字領域がタイトル画像に自動的に取り込まれるので、ユーザがタイトル文字をキーボード等から入力する手間を省くことが可能となる。

また、前記シナリオ生成手段で決定される視覚効果は、少なくとも、オブジェクトを拡大して、または、縮小して、前記静止画像を表示する拡大縮小効果、オブジェクトへ、または、オブジェクトから、視点を移動させて前記静止画像を表示する視点移動効果、オブジェクトを焦点とするズームイン、または、ズームアウトを行なって前記静止画像を表示するズームイン・アウト効果、および、前記静止画像のうちオブジェクトが含まれる領域を切り出す切り出し効果のいずれかであることを特徴としてもよい。

これによって、オブジェクトに種々の視覚効果のいずれかを施すことができ、視認性を向上させるとともに、インパクトのあるショートフィルムを生成することが可能なショートフィルム生成装置が実現される。

なお、本発明は、このような画像表示装置として実現することができるだけでなく、このような画像表示装置が備える特徴的な手段をステップとする画像表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、このような画像表示装置を有する携帯型端末としても実現することもできる。

同様に、本発明は、このようなショートフィルム生成装置として実現することができるだけでなく、このようなショートフィルム生成装置が備える特徴的な手段をステップとするショートフィルム生成方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上説明したように、本発明に係る画像表示装置によれば、オブジェクト領域の少なくとも一部を含む原画像の部分から表示用画像が生成されるので、オブジェクト領域の少なくとも一部を含む部分が大きく表示される。したがって、視認性を向上させ、ユーザの操作負荷も軽減した画像表示装置を提供することが可能となる。

また、本発明に係る画像表示装置によれば、オブジェクト領域の少なくとも一部を含む原画像の部分からサムネイル画像が生成されるので、サムネイル画像においてもオブジェクト領域の少なくとも一部を含む部分が大きく表示される。したがって、サムネイル画像の一覧表示の際にも、何が映っているか判別しやすくすることが可能となる。

よって、本発明により、原画像のオブジェクトに着目した種々の画像処理が可能となり、画素数の少ない表示器においても視認性の高い画像を表示することが可能となり、デジタルカメラや携帯電話機が普及してきた今日における本願発明の実用的価値は極めて高い。

また、本発明に係るショートフィルム生成装置によれば、画像に対して相応しい視覚効果を選択して施すことができるので、よりインパクトのあるショートフィルムを生成することができる。

さらに、ユーザにより選択された画像をキー画像として、関連する画像を自動選択して再生するので、ユーザ自身が全ての画像を選択する手間を省くことができる。

またさらに、文字領域をタイトル画像に自動で埋め込むので、ユーザ自らがタイトルを手入力する必要がなくなる。

よって、ユーザは、インパクトのあるショートフィルムを簡単な操作で楽しむことができ、大量の静止画像を保有するユーザの増加が著しい今日における本発明の実用的価値は極めて高いと言える。

図１は、デジタルカメラおよび画像表示装置を有する携帯電話機の外観構成を示す図である。 図２は、実施の形態１における画像表示装置のブロック構成を模式的に示した図である。 図３は、外部インタフェース部およびオブジェクト判定部における原画像入力時のアルゴリズムを示すフローチャートである。 図４は、画像保持部に格納される原画像を示す図である。 図５は、オブジェクト情報の構成例を示す図である。 図６は、オブジェクト候補の抽出例を示す図である。 図７は、オブジェクト優先度設定テーブルの構成例を示す図である。 図８は、表示用画像生成部のサムネイル画像生成処理部におけるサムネイル画像生成時のアルゴリズムを示すフローチャートである。 図９（ａ）は、本発明に係る画像表示装置において、サムネイル画像について一覧表示した例を示す図であり、図９（ｂ）は、従来の画像表示装置において、サムネイル画像について一覧表示した例を示す図である。 図１０は、表示用画像生成処理を示すフローチャートである。 図１１は、エフェクトの種別に応じた表示用画像生成処理のサブルーチンを示すフローチャートである。 図１２（ａ）は、拡大画像を示す図であり、図１２（ｂ）は、全体画像を示す図である。 図１３（ａ）は、視点移動前の表示画像を示す図であり、図１３（ｂ）は、視点移動後の表示画像を示す図である。 図１４（ａ）は、ズームインしたときの表示画像を示す図であり、図１４（ｂ）は、ズームアウトしたときの表示画像を示す図である。 図１５（ａ）は、切り取り処理したときの、処理前の表示画像を示す図であり、図１５（ｂ）は、処理後の表示画像を示す図である。 図１６は、スライドショー部が実行する処理を示すフローチャートである。 図１７は、拡大画像と縮小画像とを交互に自動的に表示する場合の表示画像を示す図である。 図１８は、画面中に、拡大画像の表示の際には「戻る」、「全体」、「保存」のアイコンを、縮小画像の表示の際には「戻る」、「拡大」、「保存」のアイコンを、表示した場合の表示例を示す図である。 図１９は、全体画像から人の顔の拡大画像まで徐々に倍率を変更して滑らかに移行する場合の表示画像の表示例を示す図である。 図２０は、図２０（ａ）および図２０（ｂ）は、所定の視覚効果を加えながら表示する場合の処理を説明するための図である。 図２１は、図２０（ａ）および図２０（ｂ）に示される処理を行った場合の時間軸で推移する表示例を示す図である。 図２２は、実施の形態２におけるショートフィルム生成装置の構成を示すブロック図である。 図２３は、実施の形態２における文字領域抽出部の処理手順を示すフロー図である。 図２４は、実施の形態２におけるシナリオ生成部の処理手順を示すフロー図である。 図２５は、実施の形態２におけるシナリオ外枠を示す図である。 図２６は、実施の形態２における完成したシナリオを示す図である。 図２７は、実施の形態２における画像再生部の処理手順を示すフロー図である。 図２８は、実施の形態２のショートフィルム生成装置による画面表示の第１例を示す図である。 図２９は、実施の形態２のショートフィルム生成装置による画面表示の第２例を示す図である。 図３０は、実施の形態２のショートフィルム生成装置による画面表示の第３例を示す図である。 図３１は、実施の形態３におけるショートフィルム生成装置の構成を示すブロック図である。 図３２は、実施の形態３におけるシナリオ生成部の処理手順を示すフロー図である。 図３３は、実施の形態３における画像選択を模式的に示す図である。 図３４は、実施の形態３におけるシナリオ外枠を示す図である。 図３５は、実施の形態３における完成したシナリオを示す図である。 図３６は、実施の形態３のショートフィルム生成装置による画面表示の第１例を示す図である。 図３７は、実施の形態３のショートフィルム生成装置による画面表示の第２例を示す図である。 図３８は、従来におけるショートフィルム生成装置の構成を示すブロック図である。 図３９は、従来におけるシナリオ生成部の処理手順を示すフロー図である。 図４０は、従来におけるシナリオ外枠を示す図である。 図４１は、従来における完成したシナリオの第１例を示す図である。 図４２は、従来における完成したシナリオの第２例を示す図である。 図４３は、従来におけるショートフィルム生成装置による画面表示例を示す図である。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１に係る画像表示装置について図１〜２１を用いて説明する。

図１は、デジタルカメラおよび画像表示装置を有する携帯電話機の外観構成を示す図である。

デジタルカメラ１００は、例えば３００万画素のＣＣＤなどを備えており、被写体を１２８０×９６０画素で撮影して、その１２８０×９６０画素の原画像と、１６０×１２０画素のサムネイル画像とを、ＥＸＩＦ形式で、記録メディア２０７に記憶させる。

一方、携帯電話機１１５は、基地局との間で電波を送受信するためのアンテナ２０１、フラッシュ等を備えており、動画像や静止画像を撮影可能なカメラ部２０３、カメラ部２０３で撮影した映像やアンテナ２０１で受信した映像等のデータを表示する液晶ディスプレイ等の表示部２０２、操作キー２０４から構成される本体部、音声出力をするためのスピーカ等の音声出力部２０８、音声入力をするためのマイク等の音声入力部２０５、および、携帯電話機１１５に記録メディア２０７を装着可能とするためのスロット部２０６を有している。

カメラ部２０３は、例えば１３０万画素のＣＣＤなどを備えており、表示部２０２における表示可能な画素数（２４０×３２０）よりも多い最大１０２４×１２８０画素で、被写体を撮像する。記録メディア２０７は、プラスチックケース内に、電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したＳＤメモリーカード（登録商標）等の記録媒体であり、撮影した動画像もしくは静止画像のデータ、受信したメールのデータや、符号化または復号化された動画像のデータもしくは静止画像のデータ等を保存するためのものである。

図２は、本実施の形態１における画像表示装置のブロック構成を模式的に示した図である。

画像表示装置１は、上記の携帯電話機１１５に実装され、外部インタフェースとして機能する外部インタフェース部１０と、記憶装置として機能するメモリ部２０と、メモリ部２０に記憶される原画像にオブジェクトが含まれるか否かを判断し、オブジェクトが含まれると判断した場合に、当該オブジェクトに関するオブジェクト情報を生成するオブジェクト判定部３０と、ユーザから指定された原画像および原画像に対応するオブジェクト情報とに基づいて、オブジェクト領域の少なくとも一部を含む原画像の部分から表示器５０の画素数にあわせた表示用画像を少なくとも１枚生成し、生成した表示用画像を表示器５０に表示するように制御する表示用画像生成部４０と、画像を表示する部分である表示器５０とを備える。なお、オブジェクト判定部３０および表示用画像生成部４０は、所定の演算処理を行うためのプログラムおよび当該プログラムを実行するＤＳＰ等により構成される。

外部インタフェース部１０は、画像撮像部１１０と、画像入力部１２０と、ユーザＩＦ部１３０を備えている。

画像撮像部１１０は、ＣＣＤなどに代表される任意の画像撮像手段を用いて画像を撮像し、画像表示装置１に取り込むものである。

画像入力部１２０は、ＳＤメモリーカード（登録商標）やマルチメディアカードに代表される任意の記録媒体から、もしくはイーサネット（登録商標）ケーブル・無線ＬＡＮなどに代表される任意のネットワークを介して、画像を取得し、画像表示装置１に取り込むものである。

ユーザＩＦ部１３０は、キーボード、テンキー、タッチパネル、音声認識などに代表される任意の入力手段を介して、画像表示装置１のユーザインタフェースを提供するものである。このユーザＩＦ部１３０は、アイコンの表示やヘルプの表示などを通じてユーザの利便性を上げることもできる。

なお、外部インタフェース部１０の構成要素は、画像撮像部１１０、画像入力部１２０およびユーザＩＦ部１３０に限定されるものではなく、必要に応じて任意の外部環境・外部装置との接続・入出力を行うことができる。

例えば、音声認識用のマイク部２０５や、ヘルプ・音楽情報など画像表示装置１内部のデータを出力するスピーカ部２０８、画像撮像部１１０で撮影する場合のフラッシュなどの光源部、電源のＯＮ／ＯＦＦ状態など任意の画像表示装置１内部の状態を光で示す内部状態表示部、など一般の携帯電話機やＰＤＡ、パーソナルコンピュータ、ゲーム機、カメラ（デジタルカメラ、ムービー）が有する任意の外部入出力装置を、外部インタフェース部１０の構成要素とすることができる。

メモリ部２０は、画像保持部２１０と、オブジェクト情報保持部２２０と、サムネイル画像保持部２３０と、ユーザ指定画像保持部２４０と、表示用画像保持部２５０とを備えている。このメモリ部２０は、必要に応じて揮発性メモリ・不揮発性メモリの他、ＳＤメモリーカード（登録商標）やハードディスクなど任意の記録媒体をメモリとして用いることができる。

画像保持部２１０は、画像表示装置に入力された画像データを保存するものである。この画像保持部２１０は、必要に応じて、一つの原画像データに対して複数のフォーマットや解像度、トリミングサイズでデータを保存することができる。例えば、ＪＰＥＧとビットマップなどの複数のフォーマットでの保存や、ＶＧＡ・ＸＧＡ・ＱＶＧＡなど、それぞれ異なる複数の解像度での保存、画像の一部のみをトリミング（切り抜き）した画像として保存することができる。ここで挙げた保存例に限ることなく、任意の組み合わせで画像保持部２１０はデータを保存できる。

オブジェクト情報保持部２２０は、オブジェクト判定部３０によって生成されるオブジェクト情報を保持する。

サムネイル画像保持部２３０は、表示用画像生成部４０によって生成されるサムネイル画像を保持する。

ユーザ指定画像保持部２４０は、ユーザによって指定された表示用画像を保持する。
表示用画像保持部２５０は、特に表示器５０に表示する画像の画像データを一時的に保持するものであり、例えば一般のパーソナルコンピュータにおけるＶＲＡＭに相当するものである。

オブジェクト判定部３０は、オブジェクト候補抽出部３１０と、オブジェクト候補判定部３２０と、オブジェクト優先度判定部３３０とを有している。

オブジェクト候補抽出部３１０は、画像内からオブジェクトの候補を推定し、抽出する。

ここで、オブジェクト候補抽出部３１０における候補抽出手法およびオブジェクト候補判定部３２０における判定手法は、特開２００２−３０４６２７号公報や、特開平１０−２１３９４号公報などに開示されている既存の任意の画像処理技術を用いることができる。

例えば、オブジェクト候補抽出部３１０では、テンプレートによるパターンマッチを利用することによって、または、周波数・色・レイアウトなどの相関を領域分割形状・２値化画像・エッジ抽出画像などを利用することによって、オブジェクトの候補を抽出する。

オブジェクト候補判定部３２０は、オブジェクト候補についてその真偽や種別を判定する。

また、オブジェクト候補判定部３２０では、オブジェクトの候補とされた領域について任意の処理を用いてオブジェクトの種別の判定や、オブジェクトであるかどうかの判定を行う。例えば、色情報・エッジ情報などを用いることができる。

ここで、オブジェクトを人の顔として、具体例を挙げる。まず、人の顔の候補判定を行うためのグレイカラーテンプレートを用意する。グレイカラーテンプレートと対象画像との相関を計算し、相関値の高い領域を「人の顔の候補領域」とする。さらに、候補領域に対して、肌色の含まれる割合を求めることで、「人の顔かどうかの判定」を行うことができる。

オブジェクト優先度判定部３３０は、オブジェクト候補判定部３２０が判定したオブジェクトの種別に対応した優先度をオブジェクト情報に埋め込む。

表示用画像生成部４０は、サムネイル画像生成処理部４１０と、拡大縮小処理部４２０と、視点移動処理部４３０と、ズームイン・アウト処理部４４０と、切り出し処理部４５０等とを備え、表示用画像保持部２５０を通じて表示器５０で表示する画像を生成する。

サムネイル画像生成処理部４１０は、画像保持部２１０に記憶された全ての原画像ごとに、オブジェクト情報に含まれる位置に基づいて、原画像におけるオブジェクトの少なくとも一部を含む表示領域を設定する。そして、サムネイル画像生成処理部４１０は、原画像から、予め定められた画素数で、設定した表示領域のサムネイル画像を生成し、生成したサムネイル画像を表示器５０に一覧表示する。これによって、原画像に何が映っているか、被写体が何かをユーザに分かりやすく提示することができる。

拡大縮小処理部４２０は、原画像を拡大および縮小するものである。これによって、原画像に含まれるオブジェクトを大きく見せたり、オブジェクトの細部までよく見せたり、全体を見せたりすることができる。

なお、自動的にオブジェクトを拡大する条件としては、
１）事前にユーザが「自動拡大表示」を行う旨の設定を行っている場合、
２）初期設定として「自動拡大表示」となっている場合、
３）オブジェクトが認識された場合に「拡大表示する」設定になっている場合、など、
オブジェクトの存在に依存して、もしくは非依存に、任意の条件を設定することができる。

視点移動処理部４３０は、ｐａｎ（パン）およびｔｉｌｔ（ティルト）に相当する処理を行うものである。ここでｐａｎ（パン）とは、撮影時のカメラ操作の一種で「カメラの位置を固定したまま、左右に動かしながら広い範囲を撮影する」ことに相当する。この視点移動処理部４３０の場合では、表示器５０で表示されている画像が「左右に動きながら広い範囲を表示」しているように処理することを意味する。

同様にｔｉｌｔ（ティルト）とは、「三脚に固定されたカメラを上下に動かすこと」に相当するが、この視点移動処理部４３０の場合では、「上下に動きながら広い範囲を表示」しているように処理することを意味する。なお、視点移動処理部４３０の視点移動方法は、左右・上下といった方向に限定されるものではなく、任意のタイミングで任意の方向に視点移動できる。

ズームイン・アウト処理部４４０は、ｚｏｏｍ−ｉｎ（ズームイン）およびｚｏｏｍ−ｏｕｔ（ズームアウト）に相当する処理を行うものである。ここで、ｚｏｏｍ−ｉｎ（ズームイン）とは、撮影時のカメラ操作の一種で「カメラの位置は固定したままズームレンズによって連続的に接近する映像を得る」ことに相当する。

ｚｏｏｍ−ｏｕｔ（ズームアウト）は逆に、「連続的に離れていく映像を得る」ことに相当する。先の視点移動処理部４３０と同じように、このズームイン・アウト処理部４４０の場合では、表示器５０で表示されている画像が「視点を固定したまま、連続的に接近もしくは離脱しているように」処理することを意味する。なお、ズームイン・アウト処理部４４０の視点は必ずしも固定されている必要は無く、処理中に視点が移動してもよい。これにより、ズームインの場合には、視線を集中させて、関心を高めたり、明確に見せたり、盛り上げたりすることができる。ズームアウトの場合には、回りの状況を見せたりすることができる。

次に、切り出し処理部４５０は、画像をｔｒｉｍｍｉｎｇ（トリミング）することに相当する。

ここで、ｔｒｉｍｍｉｎｇ（トリミング）とは、「写真の原版を引き伸ばすとき、周囲の不要な部分を省いて画面を整える」ことであるが、この切り出し処理部４５０においては、画像の一部を任意の形状に切り取って表示することに相当している。ここで、オブジェクトを切り出した背景には、任意の画像・テキスト・テクスチャ（貼り付ける模様・絵柄）を表示することができる。これらのデータは予め画像保持部２１０に保持しておいたものを利用してもよく、また、新しく表示用画像生成部４０が生成してもよく、あるいは、外部インタフェース部１０を通じて取得してもよい。

スライドショー部４６０は、ユーザ指定画像保持部２４０に記憶された表示用画像を、表示器５０に映像として表示させる。

表示器５０は、液晶パネル等により構成され、水平２４０画素×垂直３２０画素で画像を表示する。

次に、上記のように構成された画像表示装置１で静止画像（原画像）を入力する時の動作について説明する。

図３は、外部インタフェース部１０およびオブジェクト判定部３０における原画像入力時のアルゴリズムを示すフローチャートである。

画像入力部１２０およびオブジェクト判定部３０は、記録メディア２０７に記録されている全ての原画像について、原画像ごとに以下の処理を繰り返し実行する（ループＡ）。

まず、画像入力部１２０は、記録メディア２０７に記録されている原画像を本画像表示装置１内のワークメモリに読み出し（Ｓ１００）、読み出した原画像を画像保持部２１０に格納する（Ｓ１０２）。なお、画像データの保存形式は、ＪＰＥＧ形式に代表されるような圧縮形式であっても、非圧縮形式であっても構わない。

次に、オブジェクト判定部３０のオブジェクト候補抽出部３１０は、画像保持部２１０に格納された原画像をワークメモリに読み出し（Ｓ１０４）、原画像に含まれるオブジェクトの候補を全て抽出し（Ｓ１０６）、当該オブジェクト候補の位置や、大きさを取得する。オブジェクト候補の位置、大きさの取得が終わると、オブジェクト候補判定部３２０は、オブジェクト候補の種別を判定し、オブジェクト候補の種別を取得する（Ｓ１０８）。オブジェクト候補の種別の取得が終わると、オブジェクト優先度判定部３３０は、種別ごとに予め設定されたオブジェクト優先度を取得する（Ｓ１１０）。

オブジェクト優先度の取得が終わると、オブジェクト判定部３０は、原画像のファイル名と、オブジェクト候補の位置、大きさと、オブジェクト候補の種別と、オブジェクト優先度とをテーブル形式にまとめることによってオブジェクト情報を生成し、生成したオブジェクト情報をオブジェクト情報保持部２２０に格納する（Ｓ１１２）。

全ての原画像について、画像保持部２１０への格納と、対応するオブジェクト情報のオブジェクト情報保持部２２０への格納が終わると、画像入力部１２０およびオブジェクト判定部３０は、原画像入力処理・オブジェクト判定処理を終了する。

このような上記の処理により、記録メディア２０７に格納された全ての原画像（図４参照）が、順次画像保持部２１０に格納されるとともに、各原画像に対応するオブジェクト情報（図５参照）が生成されてオブジェクト情報保持部２２０に格納される。

ここで、オブジェクトの判定例を図６に示す。
オブジェクト候補抽出部３１０は、図６に示される原画像１３０１に対して、例えば「顔」、「ネクタイ」、「りんご」、「マーカ」のオブジェクトテンプレートを作用させ（具体的な手法は上述のテンプレートとの相互相関を計算する、など任意の既存技術を用いる）、原画像１３０１から、図６に示されるように、最も「顔らしい領域」としてオブジェクト候補１３１１を、最も「ネクタイらしい領域」としてオブジェクト候補１３１２を、最も「リンゴらしい領域」としてオブジェクト候補１３１３を、「マーカらしい領域」としてオブジェクト候補１３１４をそれぞれ抽出する。これらの候補１３１１〜１３１４が、オブジェクト候補群１３０２である。

なお、オブジェクトの位置、大きさは、抽出したオブジェクトを囲む四角形の一つの対角線の始点と終点の座標で表すことが可能である。また、抽出したオブジェクトを囲む円の中心の座標と、半径の大きさによってオブジェクトの位置、大きさを表すようにしてもよい。この場合、オブジェクトの大きさは、この実施の形態１においてはオブジェクトの周囲を含め、余裕をみて表されているが、余裕なしに表すようにしてもよい。

次に、オブジェクト候補判定部３２０は、それぞれの領域の候補１３１１〜１３１４について、上述のようにオブジェクト判定を行うことにより「顔か否か」、「ネクタイか否か」、「リンゴか否か」が判定され、オブジェクトの種別が決定される。判定方法は例えば、上述のような色分布による手法（顔であれば肌色が多い）や、形状による手法（ネクタイの典型的な形を利用する）がある。なお、オブジェクト候補１３１３は「リンゴらしい色」を含んでいないため、「リンゴではない」と判定され、オブジェクトの種別は「不明」とされる。

さらに、オブジェクト優先度判定部３３０は、図７に示されるオブジェクト優先度設定テーブル３３１を予め保持しており、このオブジェクト優先度設定テーブル３３１を用いて、それぞれの領域の候補１３１１〜１３１４について、種別との対応関係からオブジェクトの優先度「５」、「３」、「１」、「３」をそれぞれ取得する。

これにより図６に示される原画像１３０１（ファイル名：ａ００１．ｊｐｇ）に対応するオブジェクト情報（図５参照）が生成されてオブジェクト情報保持部２２０に格納される。

なお、図７に示されるオブジェクト優先度設定テーブル３３１においては、オブジェクトの種類として、「人の顔」、「ネクタイ」、「ネックレス」、…、「リンゴ」、「ミカン」、…、「マーカ」、「イレーザ」、…、「不明」が予め登録されているが、オブジェクト候補判定部３２０で種別を判定できる限り、人物（全身）、人物（ウエストショット）、人物（ブレストショット）、犬、猫などの動物、レモン等の植物、机、椅子、書籍、値札等の動産、観光案内地図や、駅名、会社名など文字列を含む看板等の不動産等、あらゆる種類のオブジェクトに適用できるのはいうまでもない。

また、「人の顔」、「ネクタイ」、「ネックレス」、…のオブジェクトについてその優先度が「５」、「３」、「３」、…に予め設定されているが、ユーザが自己の嗜好にあわせて設定するようにしてもよい。

これによって、表示の対象となる全ての原画像につき、それぞれオブジェクトの位置等が取得され、オブジェクトを中心とした画像処理が可能となる。

次に、上記のように構成された画像表示装置１でサムネイル画像を生成する時の動作について説明する。

図８は、表示用画像生成部４０のサムネイル画像生成処理部４１０におけるサムネイル画像生成時のアルゴリズムを示すフローチャートである。

なお、この画像表示装置１では表示器５０に９個のサムネイル画像を一覧表示するため、１つのサムネイル画像を４８００（水平８０×垂直６０）画素で形成するように構成されている。

サムネイル画像生成処理部４１０は、画像保持部２１０に保持される全ての原画像について、原画像ごとに以下の処理を繰り返し実行する（ループＢ）。

まず、サムネイル画像生成処理部４１０は、対応するオブジェクト情報を参照し、原画像にオブジェクトが存在するか否か判断する（Ｓ２００）。存在する場合（Ｓ２００でＹｅｓ）、サムネイル画像の対象をオブジェクトの領域に決定する（Ｓ２０２）。なお、オブジェクトが複数存在する場合、優先度が高い領域に決定される。領域の決定が終わると、サムネイル画像生成処理部４１０は、オブジェクト領域と表示器５０との画素数の割合から、オブジェクト領域の縮小率を算出し（Ｓ２０４）、算出した割合に基づいて間引き等を行うことによって、オブジェクトについてのサムネイル画像を生成し（Ｓ２０６）、そのサムネイル画像をサムネイル画像保持部２３０に保存する（Ｓ２０８）。

一方、オブジェクトが存在しないと判断した場合（Ｓ２００でＮｏ）、サムネイル画像生成処理部４１０は、サムネイル画像の対象を原画像の全体に決定し（Ｓ２１０）、原画像の全体と表示器５０との画素数の割合から、原画像の縮小率を算出し（Ｓ２１２）、算出した割合に基づいて間引き等を行うことによって、原画像全体についてのサムネイル画像を生成し（Ｓ２１４）、そのサムネイル画像を保存する（Ｓ２１６）。

画像保持部２１０に保持される全ての原画像について、原画像ごとにサムネイル画像の生成が終わると、サムネイル画像生成処理部４１０は、サムネイル画像の生成を終了する。

ここで、図９（ａ）および（ｂ）は、サムネイル画像について一覧表示を行った例を示している。

図９（ａ）は、オブジェクトを中心としたサムネイル画像について一覧表示した場合を示している。この表示例のようにオブジェクトを抽出して表示することで、画像の中に含まれているものが何かをユーザに分かりやすく提示することができる。

図９（ｂ）は、従来例と同様に原画像全体から作成したサムネイル画像である。このサムネイルの一覧表示では、画像一枚一枚の表示される大きさが非常に小さくなるため、画像の中に含まれているものが何かを視認することは、大変困難になるのがよくわかる。

次いで、表示用画像生成処理について説明する。
図１０は、表示用画像生成処理を示すフローチャートである。

まず、表示用画像生成部４０のサムネイル画像生成処理部４１０は、サムネイル画像を一覧表示し（Ｓ３００）、サムネイル画像が選択されるのを待つ（Ｓ３０２）。この選択は、サムネイル画像に付された番号の入力や、カーソルキーの移動によって行われる。サムネイル画像が選択されると、表示用画像生成部４０は、対応する原画像を読み出し（Ｓ３０４）、続いて、オブジェクト情報を読み出して（Ｓ３０６）、原画像にオブジェクトが存在するか否かを判断する（Ｓ３０８）。

オブジェクトが存在する場合（Ｓ３０８でＹｅｓ）、表示用画像生成部４０は、エフェクトの種別を決定し（Ｓ３１０）、エフェクトの種別に応じた表示用画像を生成する（Ｓ３１２）。生成された表示用画像は、表示用画像保持部２５０を介して表示器５０に転送され、表示器５０によって表示される（Ｓ３１４）。

一方、オブジェクトが存在しない場合（Ｓ３０８でＮｏ）、表示用画像生成部４０は、原画像全体から表示用画像を生成する（Ｓ３１６）。生成された表示用画像（全体画像）は、表示用画像保持部２５０を介して表示器５０に転送され、表示器５０によって表示される（Ｓ３１４）。

表示器５０への転送が終わると、表示用画像生成部４０は、戻るボタン（Ｆ１ボタン）が押下されたか否か判断する（Ｓ３１８）。戻るボタンが押下された場合（Ｓ３１８でＹｅｓ）、画像の閲覧が終了したとみなしてステップＳ３００に戻り、サムネイル画像が選択されるのを待つ。これにより図９（ａ）に示されるサムネイル画像に対応する表示用画像を順次閲覧することができる。

戻るボタンが押下されていない場合（Ｓ３１８でＮｏ）、表示用画像生成部４０は、保存ボタンが押下されたか否かを判断する（Ｓ３２０）。保存ボタンが押下された場合（Ｓ３２０でＹｅｓ）、表示用画像をユーザ指定画像保持部２４０に保存し（Ｓ３２２）、ステップＳ３２４に進む。保存ボタンが押下されていない場合（Ｓ３２０でＮｏ）、表示用画像生成部４０は、ステップＳ３２４に進む。これにより、ユーザが気に入った表示用画像だけをユーザ指定画像保持部２４０に保存しておき、気に入った表示用画像だけを表示させることが可能となる。

ステップＳ３２４においては、表示用画像生成部４０は、オンフックボタンが押下された否か判断する（Ｓ３２４）。オンフックボタンが押下されていない場合（Ｓ３２４でＮｏ）、表示用画像生成部４０は、ユーザが表示用画像を閲覧中であるとみなしてステップＳ３１２に戻り、表示用画像を生成する。

オンフックボタンが押下された場合（Ｓ３２４でＹｅｓ）、表示用画像生成部４０は、ユーザによる表示用画像の閲覧が終了したとみなして、表示用画像生成処理を終了する。

図１１は、エフェクトの種別に応じた表示用画像生成処理のサブルーチンを示すフローチャートである。

まず、表示用画像生成部４０は、エフェクトの種別を決定する（Ｓ４００）。この決定は、拡大・縮小処理、視点移動処理、ズームイン・アウト処理および切り出し処理をランダムに選択することにより行われる。

決定されたエフェクトが拡大・縮小処理である場合、拡大縮小処理部４２０は、まず表示用画像生成の初期であるか否かを判断する（Ｓ４０２）。表示用画像生成の初期である場合（Ｓ４０２でＹｅｓ）、拡大縮小処理部４２０は、原画像中のオブジェクト（人の顔）の領域と、全体画像の領域とを表示領域に決定し（Ｓ４０４）、拡大フラグに「１」をセットし（Ｓ４０６）、オブジェクト（人の顔）の領域から拡大表示画像を生成し（Ｓ４０８）、図１０に示されるメインルーチンにリターンする。

この拡大表示画像は、原画像中のオブジェクト（人の顔）の領域と表示器５０との画素数の割合から、オブジェクト（人の顔）の領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１２（ａ）に示されるように、オブジェクト（人の顔）の領域だけが表示される。

一方、表示用画像生成の初期でない場合（Ｓ４０２でＮｏ）、拡大縮小処理部４２０は、拡大フラグが「１」であるか否か（Ｓ４１０）と、センターボタンが押下されたか否か（Ｓ４１２）とを、順次判断する。判断の結果、拡大フラグが「１」で（Ｓ４１０でＹｅｓ）、センターボタンが押下された場合（Ｓ４１２でＹｅｓ）、拡大縮小処理部４２０は、拡大画像の閲覧が終了したとみなして、拡大フラグに「０」をセットし（Ｓ４１４）、全体画像の領域から縮小画像を生成し（Ｓ４１６）、図１０に示されるメインルーチンにリターンする。

この縮小表示画像は、原画像全体の領域と表示器５０との画素数の割合から、原画像の縮小率を算出し、算出した割合に基づいて間引き等を行うことによって、生成される。これにより表示器５０には図１２（ｂ）に示されるように、全体画像が表示される。

これに対して、判断の結果、拡大フラグが「０」で（Ｓ４１０でＮｏ）、センターボタンが押下された場合（Ｓ４１２でＹｅｓ）、縮小画像の閲覧が終了したとみなして、ステップＳ４１４に戻り、拡大フラグに「１」をセットし（Ｓ４０６）、オブジェクト（人の顔）の領域から拡大表示画像を生成する（Ｓ４０８）。

センターボタンが押下されていない場合（Ｓ４１２でＮｏ）、拡大縮小処理部４２０は、拡大画像または縮小画像の閲覧中であるとみなして、図１０に示されるメインルーチンにリターンする。

このような拡大画像によって、被写体を大きく見せたり、細部までよく見せたりすることができ、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

また、縮小表示画像についても原画像全体から作成されているので、従来よりも視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

ステップＳ４００において、決定されたエフェクトが視点移動処理である場合、視点移動処理部４３０は、まず表示用画像生成の初期であるか否かを判断する（Ｓ４２０）。表示用画像生成の初期である場合（Ｓ４２０でＹｅｓ）、視点移動処理部４３０は、原画像中のオブジェクト（ブレストショット）の領域と、視点を右横に移動した領域とを表示領域に決定し（Ｓ４２２）、右横に移動した領域から表示用画像を生成し（Ｓ４２４）、図１０に示されるメインルーチンにリターンする。

この表示画像は、原画像中の視点を右横に移動した領域と表示器５０との画素数の割合から、オブジェクトの領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１３（ａ）に示されるように、オブジェクト（ブレストショット）の半分とその人の回りの領域が表示される。

一方、表示用画像生成の初期でない場合（Ｓ４２０でＮｏ）、視点移動処理部４３０は、所定時間（例えば、２秒）が経過するのを待つ（Ｓ４２６）。所定の時間が経過すると（Ｓ４２６でＹｅｓ）、視点移動処理部４３０は、右横画像の閲覧が終了したとみなして、オブジェクト（ブレストショット）の領域から表示用画像を生成し（Ｓ４２８）、図１０に示されるメインルーチンにリターンする。

この表示画像は、原画像中のオブジェクトの領域と表示器５０との画素数の割合から、オブジェクトの領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１３（ｂ）に示されるように、オブジェクト（ブレストショット）の画像だけが表示される。

このような表示画像によって、オブジェクトの周囲からオブジェクトまで広い範囲にわたって大きく見せたり、細部までよく見せたりすることができ、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

ステップＳ４００において、決定されたエフェクトがズームイン・アウト処理である場合、ズームイン・アウト処理部４４０は、まず表示用画像生成の初期であるか否かを判断する（Ｓ４３０）。表示用画像生成の初期である場合（Ｓ４３０でＹｅｓ）、ズームイン・アウト処理部４４０は、原画像中のオブジェクト（ウエストショット）の領域と、視点を固定したままズームインした領域とを表示領域に決定し（Ｓ４３２）、ズームインした領域から表示用画像を生成し（Ｓ４３４）、図１０に示されるメインルーチンにリターンする。

このズームイン画像は、原画像中のズームインした領域と表示器５０との画素数の割合から、オブジェクトの領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１４（ａ）に示されるように、視点を画面中央とし、オブジェクト（ブレストショット）にズームアップした領域が表示される。

一方、表示用画像生成の初期でない場合（Ｓ４３０でＮｏ）、ズームイン・アウト処理部４４０は、所定時間（例えば、２秒）が経過するのを待つ（Ｓ４３６）。所定の時間が経過すると（Ｓ４３６でＹｅｓ）、ズームイン・アウト処理部４４０は、ズームアップした画像の閲覧が終了したとみなして、オブジェクト（ブレストショット）の領域から表示用画像を生成し（Ｓ４３８）、図１０に示されるメインルーチンにリターンする。

このズームアウト画像は、原画像中のズームアウトした領域と表示器５０との画素数の割合から、オブジェクトの領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１４（ｂ）に示されるように、オブジェクト（ウエストショット）とその回りの画像が表示される。

このようなズームイン画像やズームアウト画像によって、オブジェクトまで接近することによって、オブジェクトを大きく見せたり、細部までよく見せたり、オブジェクトから離れることによって、その周囲の広い範囲にわたってよく見せたり、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

なお、ズームイン・アウト処理部４４０の視点は必ずしも固定されている必要は無く、処理中に視点が移動してもよい。

ステップＳ４００において、決定されたエフェクトが切り出し処理である場合、切り出し処理部４５０は、まず表示用画像生成の初期であるか否かを判断する（Ｓ４４０）。表示用画像生成の初期である場合（Ｓ４４０でＹｅｓ）、切り出し処理部４５０は、原画像中のオブジェクト（ブレストショット）の領域と、その人の顔を切り出した領域とを表示領域に決定し（Ｓ４４２）、オブジェクト（ブレストショット）の領域から表示用画像を生成し（Ｓ４４４）、図１０に示されるメインルーチンにリターンする。

この表示画像は、原画像中のオブジェクト（ブレストショット）の領域と表示器５０との画素数の割合から、オブジェクトの領域の拡大率・縮小率を算出し、算出した割合に基づいて補完や、間引き等を行うことによって、生成される。これにより表示器５０には図１５（ａ）に示されるように、オブジェクト（ブレストショット）の領域が表示される。

一方、表示用画像生成の初期でない場合（Ｓ４４０でＮｏ）、切り出し処理部４５０は、所定時間（例えば、２秒）が経過するのを待つ（Ｓ４４６）。所定の時間が経過すると（Ｓ４４６でＹｅｓ）、切り出し処理部４５０は、ブレストショット画像の閲覧が終了したとみなして、オブジェクト（人の顔）の領域だけを切り出して表示用画像を生成し（Ｓ４４８）、図１０に示されるメインルーチンにリターンする。

この切り出し画像は、オブジェクト（人の顔）の領域の外側をカットし、カットした領域に黒色を描くこと等により生成される。これにより表示器５０には図１５（ｂ）に示されるように、オブジェクト（人の顔）だけを切り出した画像が表示される。

このような切り出し画像によって、不要な領域の画像をマスクしたり、撮影時のコメント等で飾ったりすることができ、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

なお、オブジェクトを切り出した背景には、任意の画像・テキスト・テクスチャ（貼り付ける模様・絵柄）を表示することができる。これらのデータは予め画像保持部２１０に保持しておいたものを利用しても、新しく表示用画像生成部４０が生成しても、外部インタフェース部１０を通じて取得してもよい。

次いで、スライドショー部４６０が実行する処理について説明する。
図１６は、スライドショー４６０部が実行する処理を示すフローチャートである。

スライドショー部４６０は、画像保持部２１０に保持されている全ての表示用画像について、表示用画像ごとに以下の処理を繰り返し実行する（ループＣ）。

スライドショー部４６０は、ユーザ指定画像保持部２４０からユーザの指定によって記憶された表示用画像を読み出し（Ｓ５００）、その表示用画像を表示器５０に表示させ（Ｓ５０２）、所定時間（例えば、２秒）経過するのを待つ（Ｓ５０４）。

このような処理を繰り返すことにより全ての表示用画像について、一定時間ずつの表示が終わると、スライドショー部４６０は、スライドショーを終了する。

ここで、ユーザ指定画像保持部２４０には、ユーザが気に入った画像のうち、視認性を向上させた画像が保持されるのが一般的である。

したがって、スライドショーにおいても、視覚的な画質の劣化を軽減し、視認性を向上させ、ユーザの操作負荷も軽減することができる。

なお、この実施の形態１においては、拡大画像が表示されている場合においてセンターボタンが押下されたとき縮小画像を生成して表示し、縮小画像が表示されている場合においてセンターボタンが押下されたとき拡大画像を生成して表示したが、図１７に示されるように、拡大画像４２１と縮小画像４２２とを交互に自動的に表示するようにしてもよい。これによって、ユーザの操作負荷を軽減することが可能となる。

また、上記実施の形態１においては、表示器５０に画像だけを表示したが、図１８に示されるように画面中に、拡大画像４２３の表示の際には「戻る」、「全体」、「保存」のアイコンを、縮小画像４２４の表示の際には「戻る」、「拡大」、「保存」のアイコンを、表示するようにしてもよい。これにより、ＧＵＩによる操作性を向上させることができ、ユーザの操作負荷も軽減される。

また、上記実施の形態１では、全体画像と人の顔の拡大画像との２つの画像を生成して表示するようにしたが、図１９に示されるように全体画像４２５ａから人の顔の拡大画像４２５ｄまで徐々に倍率を変更して滑らかに移行することもできる。これによって、視覚効果を向上させることができる。

さらに、上記実施の形態１では、視点移動処理部４３０において、狭い範囲での視点移行を行ったが、さらに所定の視覚効果を加えながら表示することもできる。この具体例を以下述べる。

ここでは、原画像を図２０（ａ）に示される撮影画像であるとする。これまで説明してきた実施の形態１により、自動的に全体表示もしくはオブジェクトの拡大表示を行うことが可能であるが、ここでは、画像の全体像をつかみながらＲＯＩに徐々に注目していく表示手法を説明する。

ここで、オブジェクト判定部３０により、撮影画像中のＲＯＩとしてオブジェクト（顔）が抽出されたとし、最終的に表示したい領域（最終表示領域）を、図２０（ｂ）に示される左側の四角で囲まれる領域とする。一方、最終表示領域や、他のオブジェクトから最も遠い図２０（ａ）に示される四角で囲まれる領域を初期表示領域とする。この場合、当然であるが表示領域の大きさは初期表示領域と最終表示領域とで等しい。そして、初期表示領域から、オブジェクトの「マーカ」、「不明」、「ネクタイ」、最終表示領域までを結ぶ表示領域移動線（オブジェクトを巡回するスプライン線）を引くことができる。このスプライン線に沿って視点を移動し、初期表示領域から徐々に最終表示領域に至るような表示もできる。

この場合、表示器５０に表示される画像は、図２１に示す初期表示領域画像４２６ａ〜最終表示領域画像４２６ｇのように時間軸で推移する。これによって初期表示領域から徐々に最終表示領域に至るパノラマ画像が表示され、視覚効果を飛躍的に高めることができる。

もちろん、初期表示の位置／大きさや最終表示領域の位置／大きさ、表示領域の移動方法などは上記の限りではなく、全ては任意である。

即ち、拡大縮小処理部４２０、視点移動処理部４３０、ズームイン・アウト処理部４４０、切り出し処理部４５０の組み合わせによって可能な任意の処理であり、任意形状領域を任意の拡大率で任意の視点移動を組み合わせながら、ズームイン・アウト処理を加えて全体画像とオブジェクトを表示することができる。

また、上記実施の形態１を通じて、縮小表示される画像と拡大表示される画像データとは、それぞれ原画像から独立に生成することも、従属的に生成することもできる。独立生成する場合は、縮小化された画像を改めて拡大することなく拡大表示ができるため、より良い画質が得られる。従属生成する場合には、特に縮小表示される画像をベースにすることにより内部メモリの削減が可能である。

また、携帯電話機やＰＤＡ、ゲーム機、デジタルカメラ、ビデオカメラ、パーソナルコンピュータ（ＰＣ）、ノート型のＰＣ、カーナビゲーションなどのように表示装置をもつ一般の電気機器を画像表示装置とみなして利用することができる。

また、単一の画像表示だけではなくスライドショー（ショートフィルム）的に、複数の画像を連続的に表示する場合にも適用することができる。この場合、例えばカメラ付き携帯電話機やデジタルカメラのように、撮像素子数（ＣＣＤ画素数）が端末表示画面の画素数よりも大きく、且つ一般に画像データが多数（複数枚）保存されていることが自然である端末で、端末内の画像を連続表示する際に、単に縮小画像をスライドショー的に見るだけでなく、ＲＯＩへのズームアップなど、見たい場所の拡大表示などを加えつつ、動画編集されたようにスタイリッシュな表示を行なうこともできる。

また、外部出力を持ち、特に連続表示（上記のスタイリッシュなスライドショー的再生表示）を動画として、もしくは静止画と再生方法を記述したデータファイルとして保存することや、ビデオ出力として外部に出力することもできる。

さらに、拡大・縮小時に任意の効果音を付与することや、上記のスライドショー的再生時に音楽を付与することもできる。

（実施の形態２）
次に、本発明の実施の形態２に係るショートフィルム生成装置について図２２〜３０を用いて説明する。

図２２は、本発明の実施の形態２に係るショートフィルム生成装置の機能的な構成を示すブロック図である。

このショートフィルム生成装置５００は、入力された１つ以上の静止画を用いて、短編映像（ショートフィルム）のシナリオを生成したり、静止画をシナリオに従ってショートフィルムを再生したりするコンピュータ装置であり、操作入力部５０１、画像入力部５０２、文字領域抽出部５０３、画像蓄積部５０４、シナリオ生成部５０５、画像再生部５０６および表示部５０７を備える。

操作入力部５０１は、静止画像データの取り込み指示や、静止画像の選択等、ユーザからの操作入力を受け付けるキーボードやマウス等の入力装置である。

画像入力部５０２は、デジタルカメラ１００等で撮影されたＪＰＥＧ圧縮形式等の静止画像データを、装置内に取り込む処理部であり、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ(Institute of Electrical and Electronic Engineers)１３９４等のインタフェースによって実現される。

文字領域抽出部５０３は、装置内に取り込まれた静止画像に四角形の文字領域が含まれているか否かを判別し、文字領域が含まれている場合にその文字領域に関する文字領域情報を抽出する処理部であり、パターンマッチング法、エッジ検出法などを用いたＯＣＲ(Optical Character Reader)によって実現される。ここで、文字領域情報には、静止画像中における文字領域の位置や、文字領域の形状、サイズおよび色彩等が含まれ、文字領域抽出部５０３は、抽出した文字領域情報を装置内のメモリに保持する。

画像蓄積部５０４は、デジタルカメラ１００で撮影されたＪＰＥＧ圧縮形式等の静止画像データを蓄積するハードディスク等の記憶装置である。

シナリオ生成部５０５は、ユーザから受け付けた画像の選択結果を操作入力部５０１から取得し、選択された画像の再生順および視覚効果を決定し、再生情報であるシナリオを生成する処理部であり、ＣＰＵやメモリによって実現される。

画像再生部５０６は、シナリオ生成部５０５において生成されたシナリオに従って画像蓄積部５０４から静止画像を読み出し、シナリオで指定された視覚効果を施しながら１５フレーム／秒で再生する動作を繰り返す処理部であり、ＣＰＵやメモリによって実現される。

表示部５０７は、シナリオ生成部５０５や画像再生部５０６からの制御を受けてユーザインタフェース画面や画像を表示するＣＲＴディスプレイや液晶ディスプレイ等である。

このように構成されたショートフィルム生成装置５００の各部の処理動作について、以下、詳しく説明する。

図２３は、文字領域抽出部５０３の処理手順を示すフロー図である。
まず、ユーザがデジタルカメラ１００で撮影した静止画像のデータは、画像入力部５０２を介して直接ショートフィルム生成装置５００に取り込まれる（Ｓ６００）。

このとき、文字領域抽出部５０３は、画像入力部５０２から取り込まれた静止画像データから文字領域の抽出を行なう（Ｓ６０２）。また、このとき、文字領域抽出部５０３は、その静止画像データのファイル名と、文字領域の種別を示す文字領域抽出情報を記述するためのフィールドを生成して、メモリに保持しておく。

ここで、静止画像データに文字領域が含まれていない場合（Ｓ６０４のＮｏ）、文字領域抽出部５０３は、メモリに保持している文字領域抽出情報のフィールドに、"抽出なし"を追加し、静止画像データを画像蓄積部５０４に格納して処理動作を終了する（Ｓ６０６）。

一方、静止画像データに文字領域が含まれている場合（Ｓ６０４のＹｅｓ）、文字領域抽出部５０３は、文字領域情報を参照して、その画像に含まれる文字領域が縦長領域（縦横の比率が２対１以上）であるか否かを判断する（Ｓ６０８）。

文字領域が縦長領域である場合（Ｓ６０８のＹｅｓ）、文字領域抽出部５０３は、メモリに保持している文字領域抽出情報のフィールドに、"縦長領域"を追加し、静止画像データを画像蓄積部５０４に格納して処理動作を終了する（Ｓ６１０）。

文字領域が縦長領域でない場合は（Ｓ６０８のＮｏ）、文字領域抽出部５０３は、文字領域情報を参照して、その画像に含まれる文字領域が横長領域（縦横の比率が１対２以上）であるか否かを判断する（Ｓ６１２）。

ここで、文字領域が横長領域である場合（Ｓ６１２のＹｅｓ）、文字領域抽出部５０３は、メモリに保持している文字領域抽出情報のフィールドに、"横長領域"を追加し、静止画像データを画像蓄積部５０４に格納して処理動作を終了する（Ｓ６１４）。

一方、文字領域が横長領域でない場合（Ｓ６１２のＮｏ）、すなわち、文字領域が正方形に近い形の場合、文字領域抽出部５０３は、メモリに保持している文字領域抽出情報のフィールドに、"正方形領域"を追加し、静止画像データを画像蓄積部５０４に格納して処理動作を終了する（Ｓ６１６）。

図２４は、シナリオ生成部５０５の処理手順を示すフロー図である。
まず、操作入力部５０１が、ユーザからショートフィルム生成ボタンを押下する操作を受け付けると、操作入力部５０１は、シナリオ生成部５０５にシナリオ生成指示を出力する。

シナリオ生成部５０５は、シナリオ生成指示を取得すると、ユーザに画像蓄積部５０４に格納されている画像から複数枚を選択するように促す画面（画像選択画面）を生成して、表示部５０７に出力する（Ｓ６５０）。

ここで、操作入力部５０１は、ユーザから、表示部５０７に表示される画像の中から再生する静止画像を選択する操作を受け付けると（Ｓ６５２のＹｅｓ）、シナリオ生成部５０５に選択された画像の情報を出力する。

そして、シナリオ生成部５０５は、選択された画像の撮影時刻情報をチェックし、各画像の再生情報を撮影時刻順に並べて連結リスト化したシナリオ外枠を生成する（Ｓ６５４）。

ここで、操作入力部５０１が、ユーザから、５枚の静止画像（画像１、画像２、画像３、画像４および画像５）の選択を受け付けた場合に生成されるシナリオ外枠を図２５に示す。なお、この５枚の静止画像の撮影時刻は、画像１、画像２、画像３、画像４、画像５の順に時系列に並んでいるとする。

図２５に示すように、シナリオ外枠は、シナリオヘッダ６００、シナリオ先頭リスト６０１、シナリオ第２リスト６０２、シナリオ第３リスト６０３、シナリオ第４リスト６０４およびシナリオ第５リスト６０５が、連結リスト化されることにより構成される。

このとき、シナリオヘッダ６００には、シナリオ名と画像数がセットされ、シナリオ外枠の各リスト６０１〜６０５には、各画像の再生情報のうち画像ファイル名、画像蓄積部５０４における格納場所および文字領域抽出情報がセットされる。

そして、シナリオヘッダ６００の全再生時間や、シナリオ外枠の各リスト６０１〜６０５の視覚効果情報や再生時間情報は、この段階では空白状態となっている。

再び図２４を参照してシナリオ生成部５０５の処理手順の説明を続けると、シナリオ生成部５０５は、生成したシナリオ外枠のシナリオ先頭リスト６０１を参照し（Ｓ６５６）、シナリオ先頭リスト６０１に示される画像に対して割り当てる視覚効果を決定する。

このとき、シナリオ生成部５０５は、視覚効果を決定するためにシナリオ外枠にセットされた文字領域抽出情報をチェックして、シナリオ先頭リスト６０１に示される画像（画像１）が、文字領域が抽出された画像であるか否かを判断する（Ｓ６５８）。

文字領域が抽出された画像である場合（Ｓ６５８のＹｅｓ）、シナリオ生成部５０５は、さらに、その文字領域抽出情報を参照して画像に含まれる文字領域が縦長領域であるか否かを判断する（Ｓ６６０）。

文字領域が縦長領域であれば（Ｓ６６０のＹｅｓ）、シナリオ生成部５０５は、その文字領域に対する上から下方向へのＰａｎ効果を、シナリオ先頭リスト６０１の視覚効果情報に追加する（Ｓ６６２）。なお、上記実施の形態１では、上下方向へ表示領域を移動させる視覚効果をｔｉｌｔ（ティルト）と称しているが、以下では、上下方向へのＰａｎ効果と称することにする。

一方、文字領域が縦長領域でなければ（Ｓ６６０のＮｏ）、シナリオ生成部５０５は、その文字領域抽出情報を参照して画像に含まれる文字領域が横長領域であるか否かを判断する（Ｓ６６４）。

文字領域が横長領域である場合（Ｓ６６４のＹｅｓ）、シナリオ生成部５０５は、その文字領域に対する左から右方向へのＰａｎ効果を、シナリオ先頭リスト６０１の視覚効果情報に追加する（Ｓ６６６）。

文字領域が横長領域でない場合（Ｓ６６４のＮｏ）、すなわち、文字領域が正方形領域である場合、シナリオ生成部５０５は、その文字領域に対するズームイン効果を、シナリオ先頭リスト６０１の視覚効果情報に追加する（Ｓ６６８）。

これに対して、シナリオ先頭リスト６０１に示される画像が、文字領域が抽出された画像でない場合（Ｓ６６８のＮｏ）、シナリオ生成部５０５は、ランダム関数により乱数を発生させて３で除算して（Ｓ６７０）、除算した余りを求めることにより、画像に割り当てる視覚効果を決定する。

すなわち、シナリオ生成部５０５は、余りが１ならば（Ｓ６７２のＹｅｓ）、画像に対するフェードイン効果をシナリオ先頭リスト６０１の視覚効果情報に追加し（Ｓ６７４）、余りが２ならば（Ｓ６７６のＹｅｓ）、画像に対するフェードアウト効果をシナリオ先頭リスト６０１の視覚効果情報に追加する（Ｓ６７８）。また、余りが０ならば（Ｓ６７６のＮｏ）、シナリオ先頭リスト６０１の視覚効果情報に視覚効果を施さないことを示すフラグを追加する。

さらに、シナリオ生成部５０５は、割り当てる視覚効果をシナリオ先頭リスト６０１の視覚効果情報に追加する際に、併せて画像の再生時間を設定して、シナリオ先頭リスト６０１の再生時間情報に追加する。ここでは、文字領域に対する上下もしくは左右のＰａｎ効果、または、ズームイン効果を施す画像の再生時間は３秒、それ以外の画像の再生時間は２秒に設定する。

その後、シナリオ生成部５０５は、視覚効果情報および再生時間情報を追加したリストが最後のリストであるか否かを判断し（Ｓ６８０）、最後のリストであれば（Ｓ６８０のＹｅｓ）、シナリオ生成の処理動作を終了し、最後のリストでなければ（Ｓ６８０のＮｏ）、シナリオ外枠の次のリストを参照し（Ｓ６８２）、画像または画像に含まれる文字領域に対する視覚効果を決定する処理動作を繰り返す。

このようにして、シナリオ生成部５０５が、再生順において先頭の画像（画像１）から最後の画像（画像５）まで視覚効果を割り当てる処理動作を繰り返すと、図２６に示すシナリオが完成する。

図２６は、完成したシナリオを示す図である。
この完成したシナリオにおいて、シナリオヘッダ６１０には、全再生時間１２秒を示す情報が記述され、画像１の再生情報が記述されるシナリオ先頭リスト６１１には、フェードアウト効果を割り当てる視覚効果情報が記述され、再生時間２秒の再生時間情報が記述されている。同様に、各画像の再生情報が記述されるリスト６１１〜６１５にも、それぞれ割り当てられる視覚効果情報と再生時間情報とが記述されている。

すなわち、この完成したシナリオによれば、画像１、画像２、画像３、画像４、画像５の順に再生され、画像１には、フェードアウト効果、画像２には、文字領域に対するズームイン効果、画像３には、文字領域に対する左右方向へのＰａｎ効果、画像４には、フェードイン効果の視覚効果をそれぞれに施すことが示されており、画像５には、視覚効果を施さないことが示されている。また、画像の再生時間は、それぞれ２秒、３秒、３秒、２秒、２秒（計１２秒）であることが示されている。

図２７は、画像再生部５０６が、このようにして生成されたシナリオを用いて、画像を再生する処理手順を示すフロー図である。

まず、画像再生部５０６は、シナリオ生成部５０５により生成されたシナリオのアドレス情報を受け取り、シナリオ先頭リストを参照して（Ｓ７００）、シナリオ先頭リストに格納された画像（画像１）の再生情報、すなわち、画像ファイル名、画像蓄積部５０４における格納場所、文字領域抽出情報、視覚効果情報、再生時間情報および次リスト情報を取得する。

次に、画像再生部５０６は、取得した再生情報に基づいて、画像蓄積部５０４における格納場所から、画像ファイル名と一致する圧縮形式の静止画像データを読み出す（Ｓ７０２）。画像再生部５０６は、読み出した圧縮形式の静止画像データを解凍すると、取得した再生時間情報（フレーム数）に基づいて、時間管理を行いながら、視覚効果情報において示される視覚効果（フェードアウト効果）を施して、画像を再生し表示部５０７に出力表示させる（Ｓ７０４）。

画像の再生が終了すると、画像再生部５０６は、取得した次リスト情報を参照して、そのリストがシナリオにおける最後のリストであるか否かを判断する（Ｓ７０６）。

最後のリストでなければ（Ｓ７０６のＮｏ）、画像再生部５０６は、次リスト情報に基づいて、シナリオの次のリストを参照して（Ｓ７０８）、次の画像（画像２）の再生情報を取得し、最後の画像（画像５）の再生処理が終了するまで、上記の処理動作を繰り返す。

一方、シナリオにおける最後のリストであれば（Ｓ７０６のＹｅｓ）、すなわち、次リスト情報が、"ＮＵＬＬ"であれば、画像再生部５０６は、画像再生の処理動作を終了する。

ここで、図２８を用いて、画像に含まれる文字領域に対する視覚効果について説明する。

図２８は、ショートフィルム生成装置５００における画面表示の第１例を示す図である。

ここでは、画像に含まれる文字領域に左右方向へのＰａｎ効果が施されている場合について説明する。

まず、ショートフィルム生成装置５００の画像再生部５０６は、表示部５０７に第１表示画像例６２３を出力表示する。図２８に示すように、この第１表示画像例６２３には、横長領域の第１文字領域６２４が含まれており、この第１文字領域６２４に左右方向へのＰａｎ効果が施されている。

次に、ショートフィルム生成装置５００の画像再生部５０６は、第１表示画像例６２３に含まれる第１文字領域６２４を拡大して、表示部５０７に、第２表示画像例６２３ａを出力表示する。そして、画像再生部５０６は、第１文字領域６２４の表示部分を右方向へ移動させて、第３表示画像例６２３ｂおよび第４表示画像例６２３ｃを順次、表示部５０７に出力表示する。第４表示画像例６２３ｃを表示した後、画像再生部５０６は、この画像の再生を終了して、次の画像の再生処理に移行する。

画像に含まれる文字領域に対して、このような視覚効果を施すことによって、その画像の特性（撮影場所など）を強調することができ、ショートフィルムを閲覧するユーザに大きなインパクトを与えることができる。

なお、上記シナリオ生成部５０５において、画像に含まれる文字領域に施される視覚効果は、上下または左右方向へのＰａｎ効果やズームイン効果に限られるものではない。例えば、画像全体を表示した後に文字領域に焦点を当てるフォーカスイン効果や、反対に、文字領域に焦点を当てた後に画像全体を表示するフォーカスアウト効果を施したり、また、文字領域を複数のパーツに分けて、文字領域を構成する各パーツを表示画面外から順次スライドさせて表示するスライドイン効果や、反対に、各パーツを表示画面外へ順次スライドさせて消すスライドアウト効果を施したりしてもよい。

図２９を用いて、画像に含まれる文字領域にフォーカスアウト効果が施されている場合について説明する。

図２９は、ショートフィルム生成装置５００における画面表示の第２例を示す図である。

まず、ショートフィルム生成装置５００の画像再生部５０６は、表示部５０７に第２表示画像例６３３ａを出力表示する。図２９に示すように、この第２表示画像例６３３ａには、横長領域の第１文字領域６３４が含まれており、この第１文字領域６３４にフォーカスアウト効果が施されている。

次に、ショートフィルム生成装置５００の画像再生部５０６は、第１文字領域６３４に当てられている焦点を拡大させて、表示部５０７に、画像全体を示す第１表示画像例６３３を出力表示し、その後、この画像の再生を終了して、次の画像の再生処理に移行する。

なお、図２９における画像表示の推移を示す矢印を逆方向にすれば、すなわち、第１表示画像例６３３を表示した後、第１文字領域６３４へ順次焦点を絞るように表示して、第２表示画像例６３３ａを表示すれば、フォーカスイン効果が施されていることになる。

また、図３０を用いて、画像に含まれる文字領域にスライドイン効果が施されている場合について説明する。

図３０は、ショートフィルム生成装置５００における画面表示の第３例を示す図である。

まず、ショートフィルム生成装置５００の画像再生部５０６は、表示部５０７に第２表示画像例６４３ａを出力表示する。図３０に示すように、この第２表示画像例６４３ａには、横長領域の第１文字領域６４４が含まれており、この第１文字領域６４４にスライドイン効果が施されている。

次に、ショートフィルム生成装置５００の画像再生部５０６は、第１文字領域６４４のパーツ（"奈良駅"の"奈"の部分）を表示画面の外からスライドさせて表示することで、表示部５０７に第３表示画像例６４３ｂを表示出力する。

続いて、ショートフィルム生成装置５００の画像再生部５０６は、第１文字領域６４４の次のパーツ（"奈良駅"の"良"の部分）を表示画面の外からスライドさせて表示することで、表示部５０７に第４表示画像例６４３ｃを表示出力する。

最後に、ショートフィルム生成装置５００の画像再生部５０６は、第１文字領域６４４の最後のパーツ（"奈良駅"の"駅"の部分）を表示画面の外からスライドさせて表示することで、表示部５０７に第１表示画像例６４３を表示出力し、その後、この画像の再生を終了して、次の画像の再生処理に移行する。

このように、本実施の形態２に係るショートフィルム生成装置５００によれば、文字領域抽出部５０３が静止画像に含まれる文字領域を抽出し、シナリオ生成部５０５が静止画像に含まれる文字領域に対して相応しい視覚効果を選択するので、よりインパクトのあるショートフィルムを生成することができる。

なお、本実施の形態２では、文字領域情報のうち、文字領域の形状（縦横比）に基づいて画像に含まれる文字領域に施す視覚効果を選択するとしているが、文字領域の他のサイズ（面積または縦または横の長さ）や、色彩（文字や下地の色）に基づいて画像に含まれる文字領域に施す視覚効果を選択するとしてもよい。具体的には、所定の面積よりも小さい文字領域に対して拡大効果を施したり、道路標識の地名のように、青地に白で描かれている文字領域や、緑地に白で描かれている文字領域等に対して拡大効果を施したりすることが考えられる。

また、画像に含まれる文字領域に対して、その文字領域の色彩を変更したり、予め用意した他の文字で置き換えたりする視覚効果を施すことによって、文字領域を強調し、広告宣伝等の用途に適したショートフィルムを生成するとしてもよい。

さらに、本実施の形態２では、デジタルカメラ１００で撮影された画像は、画像入力部５０２を介して装置内に直接取り込まれるとしたが、デジタルカメラ１００で撮影された画像をメモリカード等の記録媒体を介して装置内に取り込むようにしてもよい。

またさらに、本実施の形態２における画像または画像に含まれる文字領域に施す視覚効果は、例示に過ぎず、これらの視覚効果に限定されるものでないことは、言うまでもない。

（実施の形態３）
続いて、本発明の実施の形態３に係るショートフィルム生成装置について図３１〜３７を用いて説明する。

本実施の形態３に係るショートフィルム生成装置の構成および処理動作は、上記実施の形態２に係るショートフィルム生成装置５００と略共通するが、シナリオ生成部における構成および処理動作が異なる。

以下、この異なる点を中心に説明する。なお、上記実施の形態２と同一の構成要素には、同一の符号を付して説明を省略することとする。

図３１は、実施の形態３におけるショートフィルム生成装置の構成を示すブロック図である。

図３１に示すように、このショートフィルム生成装置５１０は、操作入力部５０１、画像入力部５０２、文字領域抽出部５０３、画像蓄積部５０４、シナリオ生成部５０８、画像再生部５０６および表示部５０７を備える。

操作入力部５０１は、静止画像に含まれる文字領域の選択等、ユーザからの操作入力を受け付ける。

シナリオ生成部５０８は、ユーザが選択した文字領域の情報（文字領域選択情報）を操作入力部５０１から取得し、選択された文字領域に関する文字領域情報等に基づいて、再生画像の選択、タイトル画像の生成、選択された画像の再生順および視覚効果の決定、および、再生情報であるシナリオの生成を行なう処理部であり、選択画像決定部５０９を備える。

選択画像決定部５０９は、選択された文字領域を含む静止画像（キー画像）の撮影時刻情報に基づいて、そのキー画像の前後所定時間内（例えば、３時間以内等）に撮影された静止画像を再生する画像として選択する処理部であり、ＣＰＵやメモリによって実現される。

このような構成を備えるショートフィルム生成装置５１０の各部の処理動作について、シナリオ生成部５０８を中心に、以下、詳しく説明する。

図３２は、シナリオ生成部５０８の処理手順を示すフロー図である。
まず、操作入力部５０１が、ユーザからショートフィルム生成ボタンを押下する操作を受け付けると、操作入力部５０１は、シナリオ生成部５０８にシナリオ生成指示を出力する。

シナリオ生成部５０８は、シナリオ生成指示を取得すると、文字領域を選択するように促す画面（文字領域選択画面）を生成して、表示部５０７に出力する（Ｓ８００）。このとき、シナリオ生成部５０８は、画像蓄積部５０４に格納されている画像のうち、文字領域抽出部５０３において文字領域が抽出された画像について、例えば、その文字領域部分を破線で囲む等して、その文字領域部分を明示することによって、文字領域選択画面を生成する。また、文字領域が抽出された画像が複数存在する場合には、シナリオ生成部５０８は、次ボタンを含む文字領域選択画面を生成し、操作入力部５０１が、ユーザから次ボタンを押下する操作を受け付けると、シナリオ生成部５０８は、次の文字領域が抽出された画像に文字領域選択画面を切り替える。

ここで、操作入力部５０１は、ユーザから、表示部５０７に表示される文字領域選択画面の中から文字領域を選択する操作を受け付けると（Ｓ８０２のＹｅｓ）、文字領域選択情報をシナリオ生成部５０８に出力する。

続いて、シナリオ生成部５０８は、選択画像決定部５０９において、その文字領域を含む画像（キー画像）の撮影時刻情報に基づいて、キー画像の前後所定時間以内に撮影された画像を全て、再生する画像として選択する（Ｓ８０４）。

この選択画像決定部５０９における画像選択について、図３３を用いて説明する。
図３３は、選択画像決定部５０９の画像選択を模式的に示す図である。

図３３において、撮影時刻順に、撮影画像（画像７〜１５）が並べられている様子が示されている。

ここで、操作入力部５０１が、ユーザから画像１０に含まれる文字領域を選択する操作を受け付けると、選択画像決定部５０９は、画像１０をキー画像７００に決定する。

そして、選択画像決定部５０９は、このキー画像７００の撮影時刻から前後所定時間ｔ内に撮影された画像を全て、再生する画像として選択する。

図３３では、画像８と画像１３とがキー画像の撮影時刻から前後所定時間ｔ内に撮影された画像であることが示されているので、選択画像決定部５０９は、画像８〜画像１３までを選択画像７０１として扱うことになる。

このようにして、選択画像決定部５０９において、再生する画像が選択されると、シナリオ生成部５０８は、選択された画像の撮影時刻情報をチェックし、各画像の再生情報を撮影時刻順に並べて連結リスト化したシナリオ外枠を生成する（図３２のＳ８０６）。

ここで、図３３に示したように、選択画像決定部５０９において、６枚の静止画像（画像８〜画像１３）が選択された場合に生成されるシナリオ外枠を図３４に示す。

図３４は、シナリオ外枠を示す図である。
図３４に示すように、シナリオ外枠は、シナリオヘッダ７１０、シナリオ先頭リスト７１１、シナリオ第２リスト７１２、シナリオ第３リスト７１３、シナリオ第４リスト７１４、シナリオ第５リスト７１５、シナリオ第６リスト７１６およびシナリオ第７リスト７１７が、連結リスト化されることにより構成される。

このとき、シナリオヘッダ７１０には、シナリオ名と画像数がセットされ、シナリオ先頭リスト７１１には、ショートフィルムのタイトル用に予め画像蓄積部５０４に格納されているタイトル画像（例えば、黒などの単一色の画面）の再生情報のうち画像ファイル名および画像蓄積部５０４における格納場所がセットされる。また、残りのシナリオ外枠の各リスト７１２〜７１７には、各画像の再生情報のうち画像ファイル名および画像蓄積部５０４における格納場所がセットされる。

そして、シナリオヘッダ２１０の全再生時間や、シナリオ外枠の各リスト７１１〜７１７の視覚効果情報や再生時間情報は、この段階では空白状態となっている。

再び図３２を参照してシナリオ生成部５０８の処理手順の説明を続けると、シナリオ生成部５０８は、生成したシナリオ外枠のシナリオ先頭リスト７１１を参照し（Ｓ８０８）、シナリオ先頭リスト７１１に示される画像に対して割り当てる視覚効果を決定する。

このとき、シナリオ生成部５０８は、画像ファイル名をチェックして、シナリオ先頭リスト７１１に示される画像が、タイトル画像であるか否かを判断する（Ｓ８１０）。

タイトル画像である場合（Ｓ８１０のＹｅｓ）、シナリオ生成部５０８は、そのタイトル画像の画像中央部にユーザの選択した文字領域を埋め込むことを表す文字埋め込み効果を、シナリオ先頭リスト７１１の視覚効果情報に追加する（Ｓ８１２）。

タイトル画像ではなく、その他の画像の場合には（Ｓ８１０のＮｏ）、シナリオ生成部５０８は、ランダム関数により乱数を発生させて４で除算して（Ｓ８１４）、除算した余りを求めることにより、画像に割り当てる視覚効果を決定する。

すなわち、シナリオ生成部５０８は、余りが１ならば（Ｓ８１６のＹｅｓ）、画像に対するフェードイン効果をシナリオ先頭リスト７１１の視覚効果情報に追加し（Ｓ８１８）、余りが２ならば（Ｓ８２０のＹｅｓ）、画像に対するフェードアウト効果をシナリオ先頭リスト７１１の視覚効果情報に追加する（Ｓ８２２）。また、余りが０ならば（Ｓ８２４のＹｅｓ）、画像の中央部分へのズームイン効果をシナリオ先頭リスト７１１の視覚効果情報に追加し（Ｓ８２６）、余りが３ならば（Ｓ８２４のＮｏ）、シナリオ先頭リスト７１１の視覚効果情報に視覚効果を施さないことを示すフラグを追加する。

さらに、シナリオ生成部５０８は、割り当てる視覚効果をシナリオ先頭リスト７１１に追加する際に、併せて画像の再生時間情報を設定して、シナリオ先頭リスト７１１の再生時間情報に追加する。ここでは、ズームイン効果を施す画像の再生時間は３秒（４５フレーム）、それ以外の画像の再生時間は２秒（３０フレーム）に設定する。

その後、シナリオ生成部５０８は、視覚効果情報および再生時間情報を追加したリストが最後のリストであるか否かを判断し（Ｓ８２８）、最後のリストであれば（Ｓ８２８のＹｅｓ）、シナリオ生成の処理動作を終了し、最後のリストでなければ（Ｓ８２８のＮｏ）、シナリオ外枠の次のリストを参照して（Ｓ８３０）、画像に対する視覚効果を決定する処理動作を繰り返す。

このようにして、シナリオ生成部５０８が、再生順において先頭の画像（タイトル画像）から最後の画像（画像１３）まで視覚効果を割り当てる処理動作を繰り返すと、図３５に示すシナリオが完成する。

図３５は、完成したシナリオを示す図である。
この完成したシナリオにおいて、シナリオヘッダ７２０には、全再生時間１６秒を示す情報が記述され、タイトル画像の再生情報が記述されるシナリオ先頭リスト７２１には、文字埋め込み効果を割り当てる視覚効果情報が記述され、再生時間２秒の再生時間情報が記述されている。同様に、各画像の再生情報が記述されるリスト７２２〜７２７にも、それぞれ割り当てられる視覚効果情報と再生時間情報とが記述されている。

すなわち、この完成したシナリオによれば、タイトル画像、画像８、画像９、画像１０、画像１１、画像１２、画像１３の順に再生され、タイトル画像には文字埋め込み効果、画像８にはフェードイン効果、画像９にはズームイン効果、画像１０にはフェードアウト効果、画像１２にはズームイン効果をそれぞれに施すことが示されており、画像１１および画像１３には、視覚効果を施さないことが示されている。また、画像の再生時間は、それぞれ２秒、２秒、３秒、２秒、２秒、３秒、２秒（計１６秒）であることが示されている。

この後、画像再生部５０６は、シナリオ生成部５０８により生成されたシナリオのアドレス情報を受け取り、シナリオ先頭リストを参照して、シナリオ先頭リストに格納された画像（タイトル画像）の再生情報を取得する。そして、画像再生部５０６は、取得した再生情報に基づいて画像蓄積部５０４から圧縮形式の静止画像データを読み出して解凍し、再生時間情報（フレーム数）に基づいて、時間管理を行いながら、視覚効果情報において指示された視覚効果（文字埋め込み効果）を施して、画像を再生し表示部５０７に出力表示させる。

画像の再生が終了すると、画像再生部５０６は、シナリオの次のリストを参照して、次の画像（画像８）の再生情報を取得し、最後の画像（画像１３）の再生処理が終了するまで、上記の処理動作を繰り返す。

このような処理動作を経て、ショートフィルム生成装置５１０が再生するショートフィルムの画面表示例を、図３６および図３７に示す。

図３６は、ショートフィルム生成装置５１０の画面表示の第１例を示す図である。
図３６では、タイトル画像の表示例である第１表示画像例７３０と、画像８〜１３の表示例である第１表示画像例７３１〜第７表示画像例７３６との合計７枚の表示画像例が示されており、ショートフィルム生成装置５１０が第１表示画像例７３０から順に再生を開始していく様子が示されている。

ここで、第１表示画像例７３０は、図３６のシナリオ先頭リスト７２１に従って再生されるタイトル画像であり、キー画像とされた画像１０の文字領域、すなわち、第４表示画像例７３３に含まれる横長領域の第１文字領域７３３ａ（"Ｂｒｏａｄｗａｙ"）を埋め込む視覚効果が割り当てられており、ショートフィルム生成装置５１０は、この第１表示画像例７３０を２秒間表示した後、第２表示画像例７３１に表示を切り替える。

そして、第２表示画像例７３１は、図３６のシナリオ第２リスト７２２に従って再生される画像８であり、フェードイン効果が割り当てられており、ショートフィルム生成装置５１０は、第１表示画像例７３０から第２表示画像例７３１に表示を切り替える際に、画像を徐々に鮮明にさせて第２表示画像例７３１を表示する。

続いて、ショートフィルム生成装置５１０は、再生順に並べられた画像９〜画像１３までを、同様にシナリオのリストに従って再生し、第３表示画像例７３２〜第７表示画像例７３６までを順に表示する。

なお、文字領域抽出部５０３において、抽出される文字領域は、漢字やアルファベットに限られるものでなく、平仮名文字などであってもよい。文字領域抽出部５０３が、パターンマッチング用のテンプレートを言語ごとに保持することによって、多言語に及ぶ文字領域の抽出を行なうことが可能となる。このことは、上記実施の形態１におけるオブジェクト判定部３００や、上記実施の形態２においても同様である。

図３７は、ショートフィルム生成装置５１０の画面表示の第２例を示す図である。
図３７においても、図３６と同様に、タイトル画像の表示例である第１表示画像例７４０と、第１表示画像例７４１〜第７表示画像例７４６の合計７枚の表示画像例が示されており、ショートフィルム生成装置５１０が第１表示画像例７４０から順に再生を開始していく様子が示されている。

ここでは、第１表示画像例７４０に、第４表示画像例７４３（キー画像）に含まれる縦長領域の第１文字領域７４３ａ（"鎌倉大仏"）を埋め込む視覚効果が割り当てられていることが分かる。このように、縦長領域の文字領域をタイトル画像に埋め込むことも可能である。

また、第５表示画像例７４４では、これに含まれる平仮名の第２文字領域７４４ｂ（"おみくじ"）が抽出されていることが分かる。このように、平仮名の文字領域を抽出することも可能である。

このように、本実施の形態３のショートフィルム生成装置５１０によれば、ユーザにより選択された文字領域を含む静止画像をキー画像として、シナリオ生成部５０８が再生する画像を自動選択するので、ユーザが再生する画像を選択するという手間を省くことができる。

また、ユーザにより選択された文字領域を、タイトル画像に自動で埋め込むので、ユーザがタイトルに使用する文字をキーボード等を用いて入力する必要をなくすこともできる。

なお、本実施の形態３では、ユーザが操作入力部５０１を介して文字領域を候補から選択するようにしたが、シナリオ生成部５０８が文字領域の大きさ等の条件から判断して、自動決定するようにしてもよい。ここで、ショートフィルム生成装置５１０は、デフォルト値でタイトル画像に用いる文字領域を自動決定することとし、操作入力部５０１がユーザからタイトル用の文字入力を受け付けた場合には、ユーザの所望するタイトル文字をタイトル画像に用いることとしてもよい。

また、選択画像決定部５０９は、ユーザにより選択されたキー画像の撮影時刻を基準に前後所定時間内に撮影された画像を再生する画像として選択するとしたが、選択画像決定部５０９は、キー画像からの時間範囲ではなく、画像を撮影時刻順に並べて次の画像との撮影時刻間隔をチェックして所定時間以上の間隔がある場合に、その次の画像を別グループとして区切ってグループ分けを行ない、キー画像が含まれるグループに属する画像を再生する画像として選択することとしてもよい。

さらに、シナリオ生成部５０８は、シナリオの先頭リストにタイトル画像の再生情報を配置しているが、シナリオ中に配置せずに、画像再生部５０６がシナリオ実行前に文字領域を組み込んだタイトル画像を表示部５０７に出力表示するとしてもよい。また、タイトル画像についても、黒画面でなく、キー画像そのものをタイトル画像として使用してもよい。

また、上記実施の形態２と同様に、デジタルカメラ１００で撮影された画像は、画像入力部５０２を介して装置内に直接取り込まれるとしたが、デジタルカメラ１００で撮影された画像をメモリカード等の記録媒体を介して装置内に取り込むようにしてもよい。

また、上記実施の形態２と同様に、本実施の形態３における画像または画像に含まれる文字領域に施す視覚効果は、例示に過ぎず、これらの視覚効果に限定されるものでないことは、言うまでもない。

本発明に係る画像表示装置は、携帯型端末、例えば、携帯電話機やＰＤＡなどのような、原画像の画素数よりも少ない画素数の表示装置を備える画像表示装置として有用である。

また、本発明に係るショートフィルム生成装置は、画像再生機能付き携帯電話機やパーソナルコンピュータ等への適用が可能であり、特に、大量の静止画像データを格納しているパーソナルコンピュータ等に好適である。

１ 画像表示装置
１０ 外部インタフェース部
２０ メモリ部
３０ オブジェクト判定部
４０ 表示用画像生成部
５０ 表示器
１００、９１０ デジタルカメラ
１１０ 画像撮像部
１２０ 画像入力部
１３０ ユーザＩＦ部
２１０ 画像保持部
２５０ 表示用画像保持部
３１０ オブジェクト候補抽出部
３２０ オブジェクト候補判定部
３３０ オブジェクト優先度判定部
４１０ サムネイル画像生成処理部
４２０ 拡大縮小処理部
４３０ 視点移動処理部
４４０ ズームイン・アウト処理部
４５０ 切り出し処理部
４６０ スライドショー
５００、５１０、９００ ショートフィルム生成装置
５０１、９０１ 操作入力部
５０２、９０２ 画像入力部
５０３ 文字領域抽出部
５０４、９０３ 画像蓄積部
５０５、５０８、９０４ シナリオ生成部
５０６、９０５ 画像再生部
５０７、９０６ 表示部
５０９ 選択画像決定部
６００、６１０、７１０、７２０、９２０、９３０、９４０ シナリオヘッダ
６０１、６１１、７１１、７２１、９２１、９３１、９４１ シナリオ先頭リスト
６０２、６１２、７１２、７２２、９２２、９３２、９４２ シナリオ第２リスト
６０３、６１３、７１３、７２３、９２３、９３３、９４３ シナリオ第３リスト
６０４、６１４、７１４、７２４、９２４、９３４、９４４ シナリオ第４リスト
６０５、６１５、７１５、７２５、９２５、９３５、９４５ シナリオ第５リスト
６２３、６３３、６４３、７３０、７４０ 第１表示画像例
６２３ａ、６３３ａ、６４３ａ、７３１、７４１ 第２表示画像例
６２３ｂ、６４３ｂ、７３２、７４２ 第３表示画像例
６２３ｃ、６４３ｃ、７３３、７４３ 第４表示画像例
６２４、６３４、６４４、７３１ａ〜７３６ａ、７４１ａ〜７４６ａ 第１文字領域
７００ キー画像
７０１ 選択画像
７１６、７２６、９４６ シナリオ第６リスト
７１７、７２７ シナリオ第７リスト
７３４、７４４ 第５表示画像例
７４４ｂ 第２文字領域
７３５、７４５ 第６表示画像例
７３６、７４６ 第７表示画像例
９５０ 表示画像例
９５１ 第１表示領域
９５２ 表示推移線
９５３ 第２表示領域

Claims (19)

1. 少なくとも１つの静止画像を用いて、映像を生成するショートフィルム生成装置であって、
   外部から入力された１つ以上の静止画像を取得する静止画像入力手段と、
   前記入力された静止画像にオブジェクトが含まれているか否かを判定し、前記入力された静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成するオブジェクト判定手段と、
   予め定められた複数の視覚効果の中から前記静止画像に施す視覚効果を決定し、前記静止画像と、当該静止画像に対応する少なくとも１つ以上の前記オブジェクト情報とに基づいて、前記静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された前記視覚効果を施し、前記静止画像を映像として再生するためのシナリオを生成するシナリオ生成手段と
   を備えるショートフィルム生成装置。
2. 前記オブジェクトは、文字領域であり、
   前記オブジェクト判定手段は、前記入力された静止画像ごとに文字領域が含まれているか否かを判別し、前記入力された静止画像に文字領域が含まれている場合に、前記文字領域に関する情報を抽出する文字領域抽出部を備え、
   前記シナリオ生成手段は、前記入力された静止画像の再生順と、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域に施す視覚効果とを決定することにより、映像の再生情報であるシナリオを生成する
   ことを特徴とする請求項１記載のショートフィルム生成装置。
3. 前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域に拡大効果を施すシナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
4. 前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域にＰａｎ効果を施すシナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
5. 前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域を修正するシナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
6. 前記シナリオ生成手段は、前記文字領域抽出部が抽出した文字領域に関する情報のうち、前記文字領域の形状、サイズまたは色彩の少なくとも１つに基づいて、その文字領域に施す視覚効果を決定することにより、シナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
7. 前記ショートフィルム生成装置は、さらに、
   前記文字領域抽出部が文字領域を含むと判別した静止画像の撮影時刻を基準に、再生する静止画像を選択する画像選択手段を備え、
   前記シナリオ生成手段は、前記画像選択手段が選択した再生画像のシナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
8. 前記シナリオ生成手段は、前記文字領域抽出部の判別結果に応じて、前記静止画像に含まれる文字領域をタイトルとして使用するシナリオを生成する
   ことを特徴とする請求項２記載のショートフィルム生成装置。
9. 前記ショートフィルム生成装置は、さらに、
   前記入力された静止画像を蓄積させる画像蓄積手段と、
   前記画像蓄積手段から蓄積された静止画像を読み出して、前記シナリオ生成手段が生成したシナリオに従って、指定された視覚効果を施しながら前記静止画像を再生する画像再生手段とを備える
   ことを特徴とする請求項１記載のショートフィルム生成装置。
10. 前記ショートフィルム生成装置は、さらに、
    前記画像蓄積手段に蓄積された静止画像の中から静止画像の指定を受け付ける受付手段を備え、
    前記シナリオ生成手段は、指定された静止画像ごとにオブジェクトが含まれているか否かを判別し、前記指定された静止画像にオブジェクトが含まれている場合に、前記オブジェクトに関する情報を抽出する
    ことを特徴とする請求項９記載のショートフィルム生成装置。
11. 前記シナリオ生成手段で決定される視覚効果は、
    少なくとも、オブジェクトを拡大して、または、縮小して、前記静止画像を表示する拡大縮小効果、オブジェクトへ、または、オブジェクトから、視点を移動させて前記静止画像を表示する視点移動効果、オブジェクトを焦点とするズームイン、または、ズームアウトを行なって前記静止画像を表示するズームイン・アウト効果、および、前記静止画像のうちオブジェクトが含まれる領域を切り出す切り出し効果のいずれかである
    ことを特徴とする請求項１記載のショートフィルム生成装置。
12. 少なくとも１つの静止画像を用いて、映像を生成するショートフィルム生成方法であって、
    外部から入力された１つ以上の静止画像を取得する静止画像入力ステップと、
    前記入力された静止画像にオブジェクトが含まれているか否かを判定し、前記入力された静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成するオブジェクト判定ステップと、
    予め定められた複数の視覚効果の中から前記静止画像に施す視覚効果を決定し、前記静止画像と、当該静止画像に対応する少なくとも１つ以上の前記オブジェクト情報とに基づいて、前記静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された前記視覚効果を施し、前記静止画像を映像として再生するためのシナリオを生成するシナリオ生成ステップと
    を含むショートフィルム生成方法。
13. 前記オブジェクトは、文字領域であり、
    前記オブジェクト判定ステップは、前記入力された静止画像ごとに文字領域が含まれているか否かを判別し、前記入力された静止画像に文字領域が含まれている場合に、前記文字領域に関する情報を抽出する文字領域抽出サブステップを含み、
    前記シナリオ生成ステップにおいて、前記入力された静止画像の再生順と、前記文字領域抽出サブステップにおける判別結果に応じて、前記静止画像に含まれる文字領域に施す視覚効果とを決定することにより、映像の再生情報であるシナリオを生成する
    ことを特徴とする請求項１２記載のショートフィルム生成方法。
14. 前記シナリオ生成ステップにおいて、前記文字領域抽出サブステップにおいて抽出した文字領域に関する情報のうち、前記文字領域の形状、サイズまたは色彩の少なくとも１つに基づいて、その文字領域に施す視覚効果を決定することにより、シナリオを生成する
    ことを特徴とする請求項１３記載のショートフィルム生成方法。
15. 前記ショートフィルム生成方法は、さらに、
    前記文字領域抽出サブステップにおいて文字領域を含むと判別された静止画像の撮影時刻を基準に、再生する静止画像を選択する画像選択ステップを含み、
    前記シナリオ生成ステップにおいて、前記画像選択ステップにおいて選択された再生画像のシナリオを生成する
    ことを特徴とする請求項１３記載のショートフィルム生成方法。
16. 前記シナリオ生成ステップにおいて、前記文字領域抽出サブステップにおける判別結果に応じて、前記静止画像に含まれる文字領域をタイトルとして使用するシナリオを生成する
    ことを特徴とする請求項１３記載のショートフィルム生成方法。
17. 前記ショートフィルム生成方法は、さらに、
    前記入力された静止画像を蓄積させる画像蓄積ステップと、
    前記画像蓄積ステップにおいて蓄積された静止画像を読み出して、前記シナリオ生成ステップにおいて生成されたシナリオに従って、指定された視覚効果を施しながら前記静止画像を再生する画像再生ステップとを含む
    ことを特徴とする請求項１２記載のショートフィルム生成方法。
18. 少なくとも１つの静止画像を用いて、映像を生成するショートフィルム生成装置のためのプログラムであって、
    外部から入力された１つ以上の静止画像を取得する静止画像入力ステップと、
    前記入力された静止画像にオブジェクトが含まれているか否かを判定し、前記入力された静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成するオブジェクト判定ステップと、
    予め定められた複数の視覚効果の中から前記静止画像に施す視覚効果を決定し、前記静止画像と、当該静止画像に対応する少なくとも１つ以上の前記オブジェクト情報とに基づいて、前記静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された前記視覚効果を施し、前記静止画像を映像として再生するためのシナリオを生成するシナリオ生成ステップとをコンピュータに実行させることを特徴とするプログラム。
19. プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    外部から入力された１つ以上の静止画像を取得する静止画像入力ステップと、
    前記入力された静止画像にオブジェクトが含まれているか否かを判定し、前記入力された静止画像に少なくとも１つ以上のオブジェクトが含まれている場合に、それぞれのオブジェクトに関するオブジェクト情報を生成するオブジェクト判定ステップと、
    予め定められた複数の視覚効果の中から前記静止画像に施す視覚効果を決定し、前記静止画像と、当該静止画像に対応する少なくとも１つ以上の前記オブジェクト情報とに基づいて、前記静止画像におけるオブジェクトが含まれている領域であるオブジェクト領域に対して、決定された前記視覚効果を施し、前記静止画像を映像として再生するためのシナリオを生成するシナリオ生成ステップとをコンピュータに実行させるプログラムが記録されている
    ことを特徴とするコンピュータ読み取り可能な記録媒体。

Images