JP2013182332A

JP2013182332A - 画像表示プログラムおよび画像表示装置

Info

Publication number: JP2013182332A
Application number: JP2012044313A
Authority: JP
Inventors: Hiroyuki Akitani; 裕之秋谷; Yasuhiro Takada; 靖弘高田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2013-09-12

Abstract

【課題】地図上の任意の線上の被写体が写っている画像を検索する。
【解決手段】使用者が設定した地図上の線を入力する入力処理と、画像データに含まれる画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、画像の中に線上の被写体が写り込んでいるか否かを判定する判定処理と、複数の画像データの中から、線上の被写体が写り込んでおり、かつ画像データに含まれる撮影日または撮影時間帯が使用者により指定された撮影日または撮影時間帯の画像データを検索する検索処理とをコンピューターに実行させる。
【選択図】図７

Description

本発明は、画像表示プログラムおよび画像表示装置に関する。

現在位置を検索用位置データに、カメラが向いている方位を検索用方位データに設定し、現在位置を中心としたカメラが向いている方位の所定角度範囲を検索対象とし、メモリカードに記録されている複数の画像データの中から、属性情報として付加された撮影位置が検索対象の範囲に含まれる画像データを表示候補として検索するようにした画像表示装置が知られている（例えば、特許文献１参照）。

特開２００９−２８４１２３号公報

しかしながら、上述した従来の画像表示装置は、あくまでも特定範囲の撮影位置で撮影された画像データを検索するものであって、地図上の任意のルート沿いの被写体が写っている画像データを検索するものではないため、例えば、多くの人が撮影した画像データの中からあるルート沿いの被写体が写っている画像データを検索し、これらの画像データを用いてスライドショーなどを作成するようなことはできない。

(１) 請求項１の発明は、使用者が設定した地図上の線を入力する入力処理と、画像データに含まれる画像の撮影位置および撮影方位に基づいて、画像の中に線上の被写体が写り込んでいるか否かを判定する判定処理と、複数の画像データの中から、線上の被写体が写り込んでいる画像データを検索する検索処理とをコンピューターに実行させる画像表示プログラムである。
(２) 請求項２の発明は、請求項１の画像表示プログラムにおいて、判定処理は、画像データに含まれる画像の撮影位置、撮影方位および撮影画角に基づいて、画像の中に線上の被写体が写り込んでいるか否かを判定する。
(３) 請求項３の発明は、請求項２に記載の画像表示プログラムにおいて、判定処理は、画像データに含まれる画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、画像の中に線上の被写体が写り込んでいるか否かを判定する。
(４) 請求項４の発明は、請求項１〜３のいずれか一項に記載の画像表示プログラムにおいて、線は、使用者が設定した幅を有する帯状の領域である。
(５) 請求項５の発明は、請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、検索処理は、複数の画像データの中から、線上の被写体が写り込んでおり、かつ画像データに含まれる撮影日または撮影時間帯が使用者により指定された撮影日または撮影時間帯の画像データを検索する。
(６) 請求項６の発明は、請求項１〜５のいずれか一項に記載の画像表示プログラムにおいて、画像データに対して使用者が指定した人物の顔を認識する顔認識処理をさらにコンピューターに実行させ、検索処理は、使用者が指定した人物の顔が写り込んでいる画像データを検索する。
(７) 請求項７の発明は、請求項１〜６のいずれか一項に記載の画像表示プログラムにおいて、検索された複数の画像データを所定の順に並べ替える並べ替え処理と、複数の画像データを前記所定の順に表示するスライドショーを作成するスライドショー作成処理とをさらにコンピューターに実行させる。
(８) 請求項８の発明は、請求項７に記載の画像表示プログラムにおいて、並べ替え処理は、複数の画像データを線に沿った順に並べ替える。
(９) 請求項９の発明は、請求項７に記載の画像表示プログラムにおいて、並べ替え処理は、複数の画像データを撮影時刻の順に並べ替える。
(１０) 請求項１０の発明は、複数の画像データを入力するインターフェースと、画像および地図を表示する表示装置と、表示装置に表示された地図上で線を設定する操作装置と、請求項１〜９のいずれか一項に記載の画像表示プログラムを実行するマイクロコンピューターとを備えた画像表示装置である。

本発明によれば、多くの画像の中から地図上の任意の線上の被写体が写っている画像を検索することができる。

一実施の形態の画像表示装置の構成を示す図一実施の形態の画像表示制御プログラムを示すフローチャート図２に続く、一実施の形態の画像表示制御プログラムを示すフローチャート画像表示制御の画面を示す図スライドショー作成ウインドウを示す図スライドショー作成ウインドウを示す図スライドショー作成ウインドウを示す図スライドショー作成ウインドウを示す図スライドショー作成ウインドウを示す図スライドショー作成ウインドウを示す図ルートエリアの設定方法を説明するための図撮影位置Ａから撮影方位ｐを撮影画角αで撮影した場合の撮影範囲と被写体Ｂおよび被写体Ｃとの位置関係を示す図他の一実施の形態の画像表示制御を示すフローチャート図１３に続く、他の一実施の形態の画像表示制御を示すフローチャート他の一実施の形態のスライドショー作成ウインドウを示す図他の一実施の形態のスライドショー作成ウインドウを示す図他の一実施の形態のスライドショー作成ウインドウを示す図他の一実施の形態のスライドショー作成ウインドウを示す図他の一実施の形態のスライドショー作成ウインドウを示す図他の一実施の形態のスライドショー作成ウインドウを示す図

ローカル・コンピューターにおいて、ネットワーク上のサーバーに記憶されている画像データの中から、あるいはローカル・コンピューターに内蔵または外付の記憶装置に記憶されている画像データの中から、地図上の任意のルート沿いの被写体が写っている画像データを検索して取り込み、それらの画像データを用いて任意のルート沿いの画像のスライドショーを生成するようにした画像表示装置および画像表示プログラムの一実施の形態を説明する。なお、インターネットを介したウエブアプリケーションとして、ウエブサーバー上で動作する画像表示プログラムであってもよい。

図１は一実施の形態の画像表示装置の構成を示す。画像表示装置１は記憶装置２、操作装置３、インターフェース４、コンピューター５、表示装置６、通信装置７などを備えている。記憶装置２はハードディスクメモリなどから構成され、インターフェース４を介してカメラから入手した画像データや、通信装置７を介してインターネット上のサーバーから入手した画像データなどを記憶するとともに、地図データを記憶する。

なお、一実施の形態において画像データとは、デジタルカメラで撮影された静止画像はもちろんのこと、ビデオカメラで撮影された動画像を構成するフレーム画像なども含まれる。また、一実施の形態の画像データには、撮影位置や撮影方位などを示す撮影位置データ、カメラなどの撮影機種や製造番号を示す撮影機種データ、撮影年月日時刻を示す撮影日時データ、焦点距離や撮影画角などの撮影条件を示す撮影条件データなどが画像データと対応付けて記録されている。

操作装置３は図示しないキーボードやマウスなどの操作部材を備えており、使用者が画像処理装置１に対するあらゆる操作、例えば情報や数値などの入力、表示に関する操作、画像出力に関する操作などを行うためのものである。インターフェース４は各種の記録媒体用スロットおよびコネクターを備え、各種記録媒体から画像データを入力したり、専用ケーブルを介してデジタルカメラやビデオカメラから直接、画像データを入力したり、あるいは記録媒体やプリンターなどの外部機器へ画像データを出力する。

コンピューター５はＣＰＵ５ａやメモリ５ｂを備え、後述する一実施の形態の画像表示制御プログラムを実行し、多くの画像データの中から地図上のルート沿いの被写体が写っている画像データを検索し、それらの画像データにより地図上の任意のルート沿いの画像のスライドショーを作成する。表示装置６は、入力した画像、地図上の任意のルートを中心とする地図および地図上の撮影位置と撮影範囲、選択した画像から作成されたスライドショーなどを表示する。通信装置７はインターネットを介して画像や種々の情報の授受を行う。

図２〜図３は、一実施の形態の画像表示制御プログラムを示すフローチャートである。これらのフローチャートにより一実施の形態の画像表示動作を説明する。画像処理装置１において、使用者が操作装置３により画像表示制御プログラムを起動すると、ＣＰＵ５ａはメモリ５ｂに記憶されている画像表示制御プログラムの実行を開始する。

ステップ１において、図４に示すように、表示装置６の表示画面６ａに画像表示制御の画面を表示するとともに、前回終了時のフォルダの画像をサムネイル表示する。図４に示す表示画面６ａにおいて、各画像１１の下には画像ファイル名が表示される。また、ＧＰＳ情報すなわち撮影位置情報が付加された画像１１には、それらの右下にＧＰＳアイコン１２が表示される。サムネイル画像表示領域の下には、フォルダ選択ボタン１３、処理選択ボタン１４、終了ボタン１５などが表示される。

図４に示すフォルダ画像の表示例では、ＯＳのファイル管理対象のフォルダに収納されている画像を表示する例を示すが、データベースを利用した場合には画像選択は画像表示制御プログラムでデータベース登録された仮想的なファイル管理であっても構わない。また、画像を選択するのではなく、画像表示制御プログラムでデータベース登録されている全画像を対象としてもよい。

使用者が操作装置３のマウスポインタをフォルダ選択ボタン１３に設定してクリックすると、コンピューター５はフォルダ選択プルダウンメニュー(不図示)を表示し、画像を収納したフォルダの一覧表示を行う。使用者はこれらのフォルダの中から処理対象の画像が収納されたフォルダを選択することができる。また、使用者がマウスポインタを処理選択ボタン１４に設定してクリックすると、コンピューター５は処理選択プルダウンメニュー(不図示)を表示し、実行したい処理の一覧表示を行う。なお、使用者がマウスポインタを終了ボタン１５に設定してクリックすると、コンピューター５は画像表示プログラムの実行を終了する。

ステップ２で、フォルダ選択プルダウンメニューから使用者が選択したフォルダを入力する。ここでは、使用者が「旅行」フォルダを選択した場合を例に挙げて説明する。ステップ３では、使用者が選択した「旅行」フォルダに収納されている画像を図４に示すようにサムネイル表示する。

ステップ４において、サムネイル表示されている「旅行」フォルダの画像の中から、使用者がスライドショーを作成したいとして選択したルート沿いの画像を複数枚入力する。ここでは、使用者がある鉄道路線の特定区間を写した複数の画像のスライドショー作成を希望した場合を例に挙げて説明する。使用者がある鉄道路線の特定区間の画像にマウスポインタを当てて右クリックすると、コンピューター５は選択画像を入力し、図４に示すように表示画面６ａに表示されている選択画像に枠１７を表示する。

なお、スライドショーを作成したいとして選択する画像は複数あってもよいが、選択対象の画像はＧＰＳによる撮影位置と方位センサによる撮影方位や撮影レンズの撮影画角などの情報が記録されていなければならない。撮影方位については、撮影時に記録されるＧＰＳユニットなどに内蔵される電子コンパスのデータが利用できる。

ステップ５において、処理選択プルダウンメニューから使用者が選択した処理を入力し、「スライドショー作成」処理が選択されたか否かを判別する。「スライドショー作成」処理が選択されていない場合はステップ６へ進み、処理選択プルダウンメニューから使用者が選択した処理を実行する。ここではそれらの処理内容の説明を省略する。処理選択プルダウンメニューから使用者が「スライドショー作成」処理を選択した場合はステップ７へ進み、図４に示す画面を閉じてスライドショーを作成するためのスライドショー作成ウインドウを表示する。

図５はスライドショー作成ウインドウ２０の一例を示す。このスライドショー作成ウインドウ２０は、サムネイル表示領域２１、地図表示領域２２、選択画像表示領域２３およびスライドショープレビュー領域２４の４つの領域に分割されている。まず、サムネイル表示領域２１はスライドショー作成ウインドウ２０の左端に配置され、ステップ４で入力された選択画像がサムネイル表示される。図４では２枚の画像が選択された例を示したが、選択されたすべての画像がサムネイル表示され、選択画像が多くて表示領域内に収まらない場合にはスクロールバーが表示され、スクロールにより表示画像の入れ替えが可能になる。

次に、地図表示領域２２はスライドショー作成ウインドウ２０の中央左に配置され、ステップ４で入力された選択画像のＧＰＳ情報によりそれらの画像の撮影位置を包含する範囲の地図が表示される。地図上には撮影位置を示す小さな円形マーク２２ａと、撮影位置からの被写体写り込み範囲（撮影位置からの撮影範囲）を示す２本の直線２２ｂとが表示される。これら円形マーク２２ａと２本の直線２２ｂで囲まれる範囲が撮影位置からの撮影範囲を示す。なお、同一の撮影位置で異なる撮影方位を撮影した画像がある場合には、同一地点に一つの円形マーク２２ａが表示され、それぞれの撮影範囲を示す直線２２ｂが表示される。この直線２２ｂは撮影画像の撮影方位や使用レンズの画角から計算できる。

なお、地図表示領域２２に表示する地図は、一実施の形態の画像表示プログラムとともに画像表示装置１にインストールされて記憶装置２に記憶されている地図データを用いて表示してもよいし、通信装置７を介して外部の地図データサーバからダウンロードした地図データを用いて表示してもよい。

地図表示領域２２の下方には、地図上に線を描画するための操作ボタン類が配置される。「線描画ボタン」２２ｃは線を描画するための操作ボタン、「線幅設定スライダー」２２ｄは描画する線の幅を設定する操作ボタン、「消しゴムボタン」２２ｅは描画した線を消去するための操作ボタン、「対象画像距離設定スライダー」２２ｆは被写体対象範囲、すなわち描画した線からどの程度まで離れた撮影位置の画像をスライドショーの対象画像にするかを設定するための操作ボタンである。

選択画像表示領域２３はスライドショー作成ウインドウ２０の右上に配置され、スライドショー候補の画像を順番に表示するための領域である。選択画像表示領域２３の上方には「おすすめ度」の表示領域２３ａがあり、すでにスライドショー用画像として採用されている画像を参照して、現在表示されている画像のスライドショー用画像としてのおすすめ度が表示される。おすすめ度は、画像データファイルに記録されているメタデータを参照して画質の良否、被写体の大きさ、撮影距離などを判断して決定する。

選択画像表示領域２３の左下には、スライドショーの候補画像を入れ替えるための「表示送りボタン」２３ｂが配置される。左から先頭画像へ移動するボタン、前の画像に移動するボタン、次の画像に移動するボタン、最後の画像へ移動するボタンである。また、選択画像表示領域２３の右下には、表示されている画像をスライドショー用画像に採用するための「採用するボタン」２３ｃが配置される。

スライドショープレビュー領域２４はスライドショー作成ウインドウ２０の右下に配置され、現在スライドショー用画像として採用が決定している複数の画像から作成されたスライドショーのプレビューを表示するための領域である。このスライドショープレビュー領域２４の下方には、「採用しないボタン」２４ａ、「エフェクトプルダウンメニューボタン」２４ｂ、「インターバルテキストボックス」２４ｃ、スライドショープレビューの「表示送りボタン」２４ｄおよび「スライドショー作成ボタン」２４ｅが配置されている。

「採用しないボタン」２４ａは、表示されているスライドショー用画像の採用を取り消すための操作ボタン、「エフェクトプルダウンメニューボタン」２４ｂはトレンジションで用いるエフェクト、例えばフェードなどを選択するための操作ボタン、「インターバルテキストボックス」２４ｃはスライドショーの画像の表示間隔を設定するためのボックスである。また、「表示送りボタン」２４ｄには、左から順に先頭画像に移動するボタン、逆方向に早送りをするボタン、再生／一時停止を行うボタン、順方向に早送りをするボタン、最後の画像に移動するボタンがある。

「スライドショー作成ボタン」２４ｅは、スライドショープレビュー領域２４でスライドショーのプレビューを見た後、採用した画像のスライドショー作成を決定した場合に操作するボタンである。

なお、地図表示／画像合成ウインドウ２０の右上には、地図表示／画像合成ウインドウ２０を閉じて図４に示す画面表示に戻るための「閉じる」ボタン２０ａが配置されている。

以下、図６〜図１０に示すスライドショー作成ウインドウ２０を参照しながら、スライドショー作成動作を説明する。なお、図６〜図１０に示すスライドショー作成ウインドウ２０において、画面上の各種操作ボタン等は図５に示すそれらと同様であり、説明を省略する。

図６において、使用者は、地図表示領域２２の「線描画ボタン」２２ｃにマウスポインタを設定してクリックした後、表示されている地図上でスライドショーを作成したい被写体の位置を線２２ｇで描画する。線の描画はマウスのドラッグ操作による。地図上の開始地点Ｓにマウスポインタを設定してクリックしたまま任意の線に沿ってマウスポインタを移動した後、終了地点（Ｅ；不図示）でマウスのドラッグ操作を停止する。このとき、線幅は「線幅設定スライダー」２２ｄで設定された幅となる。この線描画操作で地図上に描かれた帯状の領域を以下では「ルートエリア」２２ｇと呼ぶ。

図２のステップ８で、使用者がスライドショーを作成したい被写体の位置を地図上にルートエリアとして描画したか否かを確認し、ルートエリアを描画したらステップ９へ進み、ルートエリア２２ｇを設定する。図１１によりルートエリア２２ｇの設定方法を説明する。まず、図１１(ａ)に示すように地図から取得できる緯度、経度の精度内でマウスドラッグした線をグループ化した点とする。次に、図１１(ｂ)に示すように、設定された線幅（例えば緯度、経度ともに１．５秒）を参照して各点位置に関して緯度および経度をこの線幅で内部加減する値とする。実際に計算するときにはこの内部加減した値を用いる。概念的には図１１(ｃ)に示すような線幅を有したエリアとなる。これを地図上で表示する。実際には、地図上で図１１(ｄ)に示すように表示が変化する。

地図上に幅のあるルートエリア２２ｇが設定されたら、使用者が選択した「旅行」フォルダに収納されている画像の中から、ルートエリア２２ｇの被写体が写っている画像を抽出してサムネイル表示領域２１にサムネイル表示するとともに、図７に示すように、抽出した画像の撮影位置を示す円形マーク２２ａと撮影範囲を示す２本の直線２２ｂを地図表示領域２２に表示する。なお、画像の撮影位置がルートエリア内にあっても構わない。

なお、この一実施の形態ではルートエリア２２ｇの被写体が写っているサムネイル画像と撮影範囲内にルートエリア２２ｇの被写体を包含する円形マーク２２ａおよび直線２２ｂのみを表示する例を示すが、フォルダ内のすべてのサムネイル画像と撮影範囲を示す円形マーク２２ａおよび直線２２ｂを表示し、ルートエリア２２ｇの被写体が写っているサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂと、それら以外のサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂとを異なる色で表示したり、あるいは前者を点滅表示するなど、両者を容易に識別できる形態で表示するようにしてもよい。

ここで、使用者が設定した被写***置の緯度および経度から、その被写***置を撮影範囲に含む撮影位置と撮影方位の画像、すなわち使用者が設定した被写体が写り込んでいる画像を検索する手法を説明する。図１２は、撮影位置Ａから撮影方位ｐを撮影画角αで撮影した場合の撮影範囲と被写体Ｂおよび被写体Ｃとの位置関係を示す図である。図１２において、紙面の上方を地図上の真北の方位とし、撮影位置Ａの位置（緯度，経度）を（ｘａ，ｙａ）、被写体Ｂの位置（緯度，経度）を（ｘｂ、ｙｂ）、被写体Ｃの位置（緯度，経度）を（ｘｃ，ｙｃ）とする。また、撮影方位ｐは真北から時計回りβ度の方位とし、２本の直線ｍ、ｎは撮影方位ｐを中心として撮影画角α度の撮影範囲を示す。

撮影画角αから形成される写り込み範囲すなわち撮影範囲は、二次元に投影した場合、撮影位置Ａを基点とした２本の直線ｍとｎの扇状の範囲で示される。ここで、撮影位置Ａから被写体Ｂと被写体Ｃにそれぞれ直線（一点鎖線で示す）ｂと直線（一点鎖線で示す）ｃを引いた場合に、それらの直線の傾きが直線ｎの傾き以上でかつ直線ｍの傾き以下であれば、被写体Ｂと被写体Ｃは撮影範囲に含まれ、撮影位置Ａから撮影方位ｐを撮影画角αで撮影した画像に被写体Ｂと被写体Ｃが写り込んでいる。

図１２から下記の関係が成立する。
直線ｍの傾き：ｍａ＝tan(９０°−β＋α／２)，
直線ｎの傾き：ｎａ＝tan(９０°−β−α／２) ・・・(１)
今、仮想の被写体Ｘの位置(緯度，経度)を(ｘｘ，ｙｙ)としたとき、撮影位置Ａと被写体Ｘの位置は近距離のために平面を仮定でき、撮影位置Ａと被写体Ｘとを結ぶ直線ｘの傾きは次式で表すことができる。
ｘａ＝(ｙｘ−ｙａ)／(ｘｘ−ｘａ) ・・・(２)
したがって、次式が成立すれば、被写体Ｘは画像に写り込んでいると判定できる。
ｎａ＜ｘａ＜ｍａ・・・(３)

以下に具体例を示す。撮影画角α＝３０°、撮影方位β＝３５°、撮影位置Ａ：(ｘａ，ｙａ)＝(東経１３９度４１分２３秒，北緯２５度４１分１６秒)、被写***置Ｂ：(ｘｂ，ｙｂ)＝(東経１３９度４１分３０秒，北緯３５度４１分２３秒)、被写***置Ｃ：(ｘｃ，ｙｃ)＝(東経１３９度４１分３２秒，北緯３５度４１分１８秒)の場合には、撮影画角αを示す直線ｍと直線ｎの傾きは、
直線ｍの傾き：ｍａ＝tan(９０°−３５°＋３０°／２)＝tan７０°＝２．７４７，
直線ｎの傾き：ｎａ＝tan(９０°−３５°−３０°／２)＝tan４０°＝０．８３９・・・(４)
となる。

一方、被写体Ｂと被写体Ｃの撮影位置Ａとの傾き、つまり直線ｂと直線ｃの傾きは、それぞれ、
ｂａ＝(ｙｂ−ｙａ)／(ｘｂ−ｘａ)＝(２３−１６)／(３０−２３)＝７／７＝１．０，
ｃａ＝(ｙｃ−ｙａ)／(ｘｃ−ｘａ)＝(１８−１６)／(３２−２３)＝２／９＝０．２２２・・・(５)
となる。したがって、ｎａ＜ｂａ＜ｍａの関係が成立し，被写体Ｂは撮影画像に写り込む。一方、ｃａ＜ｎａとなるため、被写体Ｃは撮影画像に写り込まない。

以上の判定方法では、撮影位置から被写体までの距離すなわち撮影距離を考慮していない。撮影距離を考慮するのであれば、被写体の横幅にもよるが、被写体が撮影画像に示す割合の目安になる。

なお、誤ったルートエリア２２ｇを描画してしまった場合には、該当箇所を「消しゴムボタン」２２ｅで消去する。消去して変更されたルートエリア２２ｇにしたがって、上述したサムネイル画像および撮影位置と撮影範囲の表示が変更される。

ステップ１０において、ルートエリア２２ｇの被写体が写っている画像をルートエリア２２ｇの開始地点Ｓから終了地点Ｅまでの順番に並べ替え、図７に示すように並べ替えた順に選択画像領域２３に画像を表示する。上述したように、地図上をマウスドラッグして描画されたルートエリアはグループ化された連続地点として表現されるが、そのプロットされる地点の順番を記憶することによって、どの順番でルートエリアが描画されたのかを判断できる。ルートエリアを構成する各地点の被写体が写り込んでいる画像をルートエリアに沿って取り出し、並べ替える。

ところで、ルートエリア２２ｇから撮影位置が遠くなるにしたがって、画像に写り込んでいるルートエリア２２ｇの被写体像が小さくなって不鮮明になる。そこで、地図表示領域２２の「対象画像距離設定スライダー」２２ｆによって、ルートエリア２２ｇからどの程度離れた撮影位置の画像をスライドショーの対象画像にするかを予め設定することができる。

図８は、「対象画像距離設定スライダー」２２ｆによりルートエリア２２ｇから撮影位置までの距離を所定距離以内に設定した場合の一例を示す。この例では、ルートエリア２２ｇから設定距離までの範囲２２ｈにある被写***置（円形マーク２２ａで示す）の画像をスライドショーの対象画像とする。

また、いったん設定したルートエリア２２ｇに加え、途中から分岐するような“二股ルートエリア”を後から描画し、ルートエリア２２ｇを追加することもできる。図９に、先に描いたルートエリア２２ｇの途中から別の二股に分岐したルートエリア２２ｇを追加した場合を示す。ルートエリア２２ｇの追加にともない、追加部分のルートエリアの被写体が写り込んでいる画像がサムネイル表示領域２１に追加され、それらの画像の撮影位置および撮影範囲を示す円形マーク２２ａと直線２２ｂが地図表示領域２２に追加される。

使用者は、選択画像表示領域２３に写し出された画像（図７参照）を見てスライドショーを作成したい被写体が実際にどのように写っているのかを確認することができる。このとき、「表示送りボタン」２３ｂを操作して任意の画像を表示させることができ、「採用するボタン」２３ｃを操作してスライドショー用画像として採用を決定する。

図２のステップ１１で選択画像表示領域２３に表示されている画像をスライドショー用画像として採用したか否かを確認し、「採用するボタン」２３ｃが操作されて採用されたらステップ１２へ進む。ステップ１２では、採用された画像のデータを１枚目のスライドショー用画像としてメモリ５ｂに記憶するとともに、図９に示すように、採用された画像をスライドショープレビュー領域２４にも表示し、地図表示領域２２において採用された画像の撮影位置を示す円形マーク２２ａを他の撮影位置の円形マーク２２ａと異なる色で表示する。

図３のステップ２１において、選択画像表示領域２３に表示されている画像を２枚目以降のスライドショー用画像として採用したか否かを確認し、「採用するボタン」２３ｃが操作されて採用されたらステップ２２へ進む。２枚目以降のスライドショー用画像の採用決定に際して、選択画像表示領域２３の「おすすめ度」の表示領域２３ａに上述した方法で決定されたおすすめ度を表示する。

ステップ２２では、採用された画像を２枚目以降のスライドショー用画像としてメモリ５ｂに記憶するとともに、採用された画像をスライドショープレビュー領域２４にも表示する。また、図１０に示すように、採用された画像の撮影位置を示す円形マーク２２ａを異なる色で表示するとともに、これまでにスライドショー用として採用された画像の撮影位置を示す円形マーク２２ａを枠２２ｉで結び採用グループとしてグループ表示する。

使用者は、スライドショー用画像を選別したら、スライドショープレビュー領域２４の「表示送りボタン」２４ｄを操作してスライドショーのプレビューを行うことができる。このとき、必要に応じて「エフェクトプルダウンメニューボタン」２４ｂを操作してトレンジションで用いるエフェクト、例えばフェードなどを選択したり、「インターバルテキストボックス」２４ｃにスライドショーの画像の表示間隔を設定することができる。また、「採用しないボタン」２４ａを操作して再生途中の任意の画像の採用を取り消すことができる。

ステップ２３において「表示送りボタン」２４ｄによりスライドショープレビューの操作がなされたらステップ２４へ進み、メモリ５ｂに記憶されているスライドショー用画像を開始地点Ｓから終了地点Ｅまでの順番にスライドショープレビュー領域２４に表示する。このとき、エフェクトやインターバルの設定操作があれば、操作に応じた設定を行ってスライドショープレビューに反映させる。

ステップ２５で「採用しないボタン」２４ａによりプレビュー表示中の画像の採用取り消しがあったらステップ２６へ進み、その画像データをメモリ５ｂから消去してスライドショー用画像から取り消す。

使用者は、スライドショープレビューを見てスライドショーを作成するか否かを判断することができる。ステップ２７において、「スライドショー作成ボタン」２４ｅが操作されてスライドショー作成要求があるか否かを確認し、スライドショー作成の要求があればステップ２８へ進み、なければステップ３１へ進む。スライドショー作成要求がない場合は、ステップ３１で「閉じるボタン」２０ａが操作されてスライドショー作成の終了要求があるか否かを確認し、終了要求があれば図２のステップ１へ戻って画面を表示し、終了要求がなければステップ２１へ戻ってスライドショー用画像の採用処理を継続する。

一方、スライドショーの作成要求がある場合には、ステップ２８で採用画像によるスライドショーを作成するとともに、表示装置６にファイル出力ダイアログ(不図示)を表示して、生成されたスライドショーのファイル名の入力を促す。操作装置３により使用者がファイル名を設定すると、ステップ２９でファイル名を入力し、続くステップ３０で新しいスライドショーデータをファイル名を付けて記憶装置２に記憶する。

なお、実際に作成するスライドショーデータは、静止画を一定間隔ごとに表示する汎用の動画データフォーマットでもよいし、ある特定のアプリケーションでサポートするスライドショーの型式でも構わない。

上述した一実施の形態では、スライドショー作成に用いる画像の選択からスライドショー作成までを半自動で処理する例を示したが、ルートエリア設定後にスライドショー用画像の選択からスライドショー画像の作成、保存までの処理をすべて自動で実行するためのモードを設け、上述した半自動モードかまたは全自動モードかを選択可能としてもよい。

《他の実施の形態》
運動会などのトラック競技の画像のスライドショーを作成する他の一実施の形態を説明する。ここでは、学校の運動場のトラック周りにルートエリアを設定し、トラック競技の選手をスタート地点からゴール地点まで撮影した画像を検索してスライドショーを作成する。なお、この実施の形態の画像表示装置の構成は図１に示す構成と同様であり、図示と説明を省略する。

図１３〜図１４は、他の実施の形態の画像表示制御プログラムを示すフローチャートである。これらのフローチャートにより他の実施の形態の画像表示動作を説明する。画像処理装置１において、使用者が操作装置３により画像表示制御プログラムを起動すると、ＣＰＵ５ａはメモリ５ｂに記憶されている画像表示制御プログラムの実行を開始する。

ステップ４１において、図４に示すように、表示装置６の表示画面６ａに画像表示制御の画面を表示するとともに、前回終了時のフォルダの画像をサムネイル表示する。この実施の形態の画像表示プログラムの画面については図４に示す内容と同様であり、図示と説明を省略する。ステップ４２で、フォルダ選択プルダウンメニューから使用者が選択したフォルダを入力する。ここでは、使用者が「運動会」フォルダを選択した場合を例に挙げて説明する。ステップ４３では、使用者が選択した「運動会」フォルダに収納されている画像を画面にサムネイル表示する。

ステップ４４において、サムネイル表示されている「運動会」フォルダの画像の中から、使用者がスライドショーを作成したいとして選択したルート、ここでは運動場のトラック沿いの画像を複数枚入力する。使用者が運動場のトラックで徒競走をしている選手の画像にマウスポインタを当てて右クリックすると、コンピューター５は選択画像を入力し、上述したように画面に表示されている選択画像に枠１７を表示する(不図示)。

ステップ４５において、処理選択プルダウンメニューから使用者が選択した処理を入力し、「スライドショー作成」処理が選択されたか否かを判別する。「スライドショー作成」処理が選択されていない場合はステップ４６へ進み、処理選択プルダウンメニューから使用者が選択した処理を実行する。ここではそれらの処理内容の説明を省略する。処理選択プルダウンメニューから使用者が「スライドショー作成」処理を選択した場合はステップ４７へ進み、図４に示す画面を閉じてスライドショーを作成するためのスライドショー作成ウインドウを表示する。

図１５はスライドショー作成ウインドウ２０の一例を示す。なお、この他の一実施の形態のスライドショー作成ウインドウ２０は、図５〜図９に示すスライドショー作成ウインドウ２０と一部を除き同様であり、同様な部分に対しては同一の符号を付して相違点を中心に説明する。このスライドショー作成ウインドウ２０は、サムネイル表示領域２１、地図表示領域２２、選択画像表示領域２３およびスライドショープレビュー領域２４の上述した４つの領域と、タイムライン表示領域２５の合計５個の領域に分割されている。サムネイル表示領域２１、地図表示領域２２、選択画像表示領域２３およびスライドショープレビュー領域２４については、図５〜図９に示すそれらと同様であり説明を省略する。

タイムライン表示領域２５は、スライドショー作成ウインドウ２０の中央、地図表示領域２２の下方に配置され、サムネイル表示領域２１に表示されている画像および地図表示領域２２に表示されている撮影位置（円形マーク２２ａ）と撮影範囲（直線２２ｂ）に対応する画像の撮影日時を時間順にプロット表示する領域である。なお、各画像の撮影日時は画像データの撮影日時データから取得する。

このタイムライン表示領域２５において、ある特定幅の同一位置で撮影された画像は同じ行にプロット表示する。すなわち、タイムライン表示領域２５の縦方向が撮影位置の分布を示し、横方向が撮影時刻の分布を示す。タイムライン表示領域２５の左上には、撮影年月日を入力するテキストボックス２５ａがあり、使用者がここに入力した日付の画像のみが表示対象となる。

以下、図１６〜図２０に示すスライドショー作成ウインドウ２０を参照しながら、他の実施の形態のスライドショー作成動作を説明する。なお、図１６〜図２０に示すスライドショー作成ウインドウ２０において、画面上の各種操作ボタン等は図１５に示すそれらと同様であり、説明を省略する。

図１６において、使用者は、地図表示領域２２の「線描画ボタン」２２ｃにマウスポインタを設定してクリックした後、表示されている地図上でスライドショーを作成したい被写体の位置を線２２ｇで描画する。線の描画はマウスのドラッグ操作による。地図上の開始地点Ｓにマウスポインタを設定してクリックしたまま任意の線、ここでは運動場のトラックに沿ってマウスポインタを移動した後、終了地点（Ｅ；不図示）でマウスのドラッグ操作を停止する。このとき、線幅は「線幅設定スライダー」２２ｄで設定された幅となる。この線描画操作で地図上に描かれた帯状の線を以下では「ルートエリア」２２ｇと呼ぶ。

図１３のステップ４８で、使用者がスライドショーを作成したい被写体の位置を地図上にルートエリアとして描画したか否かを確認し、ルートエリアを描画したらステップ４９へ進み、上述したようにルートエリア２２ｇを設定する。

地図上に幅のあるルートエリア２２ｇが設定されたら、使用者が選択した「運動会」フォルダに収納されている画像の中から、ルートエリア２２ｇの被写体が写っている画像を抽出してサムネイル表示領域２１にサムネイル表示するとともに、図１７に示すように、抽出した画像の撮影位置を示す円形マーク２２ａと撮影範囲を示す２本の直線２２ｂを地図表示領域２２に表示する。なお、画像の撮影位置がルートエリア内にあっても構わない。

なお、この他の実施の形態ではルートエリア２２ｇの被写体が写っているサムネイル画像と撮影範囲内にルートエリア２２ｇの被写体を包含する円形マーク２２ａおよび直線２２ｂのみを表示する例を示すが、フォルダ内のすべてのサムネイル画像と撮影範囲を示す円形マーク２２ａおよび直線２２ｂを表示し、ルートエリア２２ｇの被写体が写っているサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂと、それら以外のサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂとを異なる色で表示したり、あるいは前者を点滅表示するなど、両者を容易に識別できる形態で表示するようにしてもよい。

また、使用者が設定した被写***置の緯度および経度から、その被写***置を撮影範囲に含む撮影位置と撮影方位の画像、すなわち使用者が設定した被写体が写り込んでいる画像を検索する手法については、上述した一実施の形態の手法による。

誤ったルートエリア２２ｇを描画してしまった場合には、該当箇所を「消しゴムボタン」２２ｅで消去する。消去して変更されたルートエリア２２ｇにしたがって、上述したサムネイル画像および撮影位置と撮影範囲の表示が変更される。

ステップ５０では、地図表示領域２２に表示された撮影位置（円形マーク２２ａ）と撮影範囲（直線２２ｂ）に対応する画像の撮影日時を、図１７に示すようにタイムライン表示領域２５にプロットする。なお、この時点では撮影日時の異なる画像が含まれている。

使用者は、タイムライン表示領域２５の撮影日入力用テキストボックス２５ａにスライドショーを作成する画像の撮影年月日を書き込み、指定することができる。ステップ５１でスライドショーを作成する画像の撮影日が入力されたか否かを確認し、撮影日が入力されたらステップ５２へ進む。ステップ５２では、指定撮影日の画像の撮影位置（円形マーク２２ａ）と撮影範囲（直線２２ｂ）のみを地図表示領域２２に表示するとともに、指定撮影日の画像のプロットのみをタイムライン表示領域２５に表示する。なお、撮影時間帯についても絞り込みの条件に加えてもよい。

ステップ５３において、ルートエリア２２ｇの被写体が写っている画像をルートエリア２２ｇの開始地点Ｓから終了地点Ｅまでの順番に並べ替え、図１８に示すように並べ替えた順に選択画像領域２３に画像を表示する。上述したように、地図上をマウスドラッグして描画されたルートエリアはグループ化された連続地点として表現されるが、そのプロットされる地点の順番を記憶することによって、どの順番でルートエリアが描画されたのかを判断できる。ルートエリア２２ｇを構成する各地点の被写体が写り込んでいる画像をルートエリア２２ｇに沿って取り出し、並べ替える。

また、いったん設定したルートエリア２２ｇに加え、途中から分岐するような“二股ルートエリア”を後から描画し、ルートエリア２２ｇを追加することもできる。ルートエリア２２ｇの追加にともない、追加部分のルートエリアの被写体が写り込んでいる画像の撮影位置(円形マーク２２ａ）と撮影範囲（直線２２ｂ）が地図表示領域２２に追加され、それらの画像の撮影日プロットがタイムライン表示領域２５に追加される。

使用者は、選択画像表示領域２３に写し出された画像（図１８参照）を見てスライドショーを作成したい被写体が実際にどのように写っているのかを確認することができる。このとき、「表示送りボタン」２３ｂを操作して任意の画像を表示させることができ、「採用するボタン」２３ｃを操作してスライドショー用画像として採用を決定する。

ステップ５４で選択画像表示領域２３に表示されている画像をスライドショー用画像として採用したか否かを確認し、「採用するボタン」２３ｃが操作されて採用されたらステップ５５へ進む。ステップ５５では、採用された画像のデータを１枚目のスライドショー用画像としてメモリ５ｂに記憶するとともに、図１８に示すように、採用された画像をスライドショープレビュー領域２４にも表示する。さらに、地図表示領域２２では採用画像の撮影位置を示す円形マーク２２ａを他の撮影位置の円形マーク２２ａと異なる色で表示するとともに、タイムライン表示領域２５では採用画像のプロットを他のプロットと異なる色で表示する。

図１５のステップ６１において、選択画像表示領域２３に表示されている画像を２枚目以降のスライドショー用画像として採用したか否かを確認し、「採用するボタン」２３ｃが操作されて採用されたらステップ６２へ進む。２枚目以降のスライドショー用画像の採用決定に際して、選択画像表示領域２３の「おすすめ度」の表示領域２３ａに上述した方法で決定されたおすすめ度を表示する。

ステップ６２では、採用された画像を２枚目以降のスライドショー用画像としてメモリ５ｂに記憶するとともに、採用された画像をスライドショープレビュー領域２４にも表示する。さらに、地図表示領域２２では採用画像の撮影位置を示す円形マーク２２ａを他の撮影位置の円形マーク２２ａと異なる色で表示するとともに、タイムライン表示領域２５では採用画像のプロットを他のプロットと異なる色で表示する。

ステップ６３において「表示送りボタン」２４ｄによりスライドショープレビューの操作がなされたらステップ６４へ進み、メモリ５ｂに記憶されているスライドショー用画像を開始地点Ｓから終了地点Ｅまでの順番にスライドショープレビュー領域２４に表示する。このとき、エフェクトやインターバルの設定操作があれば、操作に応じた設定を行ってスライドショープレビューに反映させる。

ステップ６５で「採用しないボタン」２４ａによりプレビュー表示中の画像の採用取り消しがあったらステップ６６へ進み、その画像データをメモリ５ｂから消去してスライドショー用画像から取り消す。

使用者は、スライドショープレビューを見てスライドショーを作成するか否かを判断することができる。ステップ６７において、「スライドショー作成ボタン」２４ｅが操作されてスライドショー作成要求があるか否かを確認し、スライドショー作成の要求があればステップ６９へ進み、なければステップ６８へ進む。スライドショー作成要求がない場合は、ステップ６８で「閉じるボタン」２０ａが操作されてスライドショー作成の終了要求があるか否かを確認し、終了要求があれば図１３のステップ４１へ戻って画面を表示し、終了要求がなければステップ６１へ戻ってスライドショー用画像の採用処理を継続する。

一方、スライドショーの作成要求がある場合には、ステップ６９で採用画像によるスライドショーを作成するとともに、表示装置６にファイル出力ダイアログ(不図示)を表示して、生成されたスライドショーのファイル名の入力を促す。操作装置３により使用者がファイル名を設定すると、ステップ７０でファイル名を入力し、続くステップ７１で新しいスライドショーデータをファイル名を付けて記憶装置２に記憶する。

上述した他の実施の形態では、スライドショー作成に用いる画像の選択からスライドショー作成までを半自動で処理する例を示したが、ルートエリア設定後にスライドショー用画像の選択からスライドショー画像の作成、保存までの処理をすべて自動で実行するためのモードを設け、上述した半自動モードかまたは全自動モードかを選択可能としてもよい。

ところで、被写体が人物である場合には、作成したいスライドショーはある特定人物が写っている画像を素材として使用したい場合が多い。そこで、図２０に示すように、選択画像表示領域２３に選択画像が表示されているときに、使用者が、特定人物の顔部分にマウスポインタを設定して右クリックし、表示されるテキストメニューから「顔認識」項目を選択すると、その人物の顔を認識し、これ以降の処理において選択画像表示領域２３で画像選択を行う際に、当該人物の顔が認識された画像に対してはおすすめ度を高くする。あるいは、自動的に当該人物のみをスライドショーに採用する専用の操作ボタンを設け、その操作ボタンが操作されたら当該人物が写っている画像のみを抽出し、スライドショー作成用に採用する。

タイムライン表示領域２５に並ぶ時間順にスライドショーを作成した場合に、例えば、撮影位置の異なる二カ所で同時間に連写した画像が数多く存在すると、極端な場合には一枚ずつ交互にそれぞれの場所で撮影された画像がスライドショーに採用される。結果として面白い演出効果が得られる場合もあるが、多くの場合、同じ位置で撮影された画像を何枚か纏めてグループ化し、これらの各グループを順にスライドショーで表示した方が好ましい。なお、タイムライン表示領域２５の変形例として、別のダイアログを表示してプロット表示に当たる部分をサムネイル表示とし、使用者が任意でスライドショーの素材リストの順番を設定できるようにしてもよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、使用者が設定した地図上の線を入力し、画像データに含まれる画像の撮影位置および撮影方位に基づいて、画像の中に設定線上の被写体が写り込んでいるか否かを判定する。そして、複数の画像データの中から、設定線上の被写体が写り込んでいる画像データを検索するようにしたので、多くの画像の中から地図上の任意の線上の被写体が写っている画像を検索することができる。

上述した実施の形態とその変形例によれば、画像データに含まれる画像の撮影位置、撮影方位および撮影画角に基づいて、画像の中に設定線上の被写体が写り込んでいるか否かを判定するようにしたので、多くの画像の中から設定線上の被写体が写り込んでいる画像を正確に抽出することができる。

上述した実施の形態とその変形例によれば、画像データに含まれる画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、画像の中に設定線上の被写体が写り込んでいるか否かを判定するようにしたので、多くの画像の中から設定線上の被写体が鮮明に写り込んでいる画像を正確に抽出することができる。

上述した実施の形態とその変形例によれば、使用者が設定した地図上の幅を有する帯状の領域を入力し、画像データに含まれる画像の撮影位置および撮影方位に基づいて画像の中に設定領域の被写体が写り込んでいるか否かを判定する。そして、複数の画像データの中から設定領域の被写体が写り込んでいる画像データを検索するようにしたので、多くの画像の中から地図上の帯状の領域の被写体が写っている画像を検索することができる。

上述した実施の形態とその変形例によれば、複数の画像データの中から、設定線上の被写体が写り込んでおり、かつ画像データに含まれる撮影日または撮影時間帯が使用者により指定された撮影日または撮影時間帯の画像データを検索するようにしたので、天候などの撮影環境が同じ画像を検索することができ、これらの画像によりスライドショーを作成した場合でも違和感のないスライドショーを生成することができる。

上述した実施の形態とその変形例によれば、画像データに対して使用者が指定した人物の顔を認識するとともに、使用者が指定した人物の顔が写り込んでいる画像データを検索するようにしたので、任意の人物が写り込んでいる画像を容易に検索することができる。

上述した実施の形態とその変形例によれば、検索された複数の画像データを所定の順に並べ替え、複数の画像データを所定の順に表示するスライドショーを作成するようにしたので、地図上の任意の線上の被写体が写っている複数の画像によりスライドショーを作成することができる。

上述した実施の形態とその変形例によれば、複数の画像データを線に沿った順に並べ替えるようにしたので、地図上の任意の線に沿った被写体のスライドショーを作成することができる。

上述した実施の形態とその変形例によれば、複数の画像データを撮影時刻の順に並べ替えるようにしたので、地図上の任意の線に沿った被写体を撮影時刻の順に表示するスライドショーを作成することができる。

１；画像表示装置、３；操作装置、４；インターフェース、５；コンピューター、６；表示装置

Claims

使用者が設定した地図上の線を入力する入力処理と、
画像データに含まれる画像の撮影位置および撮影方位に基づいて、前記画像の中に前記線上の被写体が写り込んでいるか否かを判定する判定処理と、
複数の前記画像データの中から、前記線上の被写体が写り込んでいる画像データを検索する検索処理とをコンピューターに実行させることを特徴とする画像表示プログラム。
請求項１の画像表示プログラムにおいて、
前記判定処理は、前記画像データに含まれる画像の撮影位置、撮影方位および撮影画角に基づいて、前記画像の中に前記線上の被写体が写り込んでいるか否かを判定することを特徴とする画像表示プログラム。
請求項２に記載の画像表示プログラムにおいて、
前記判定処理は、前記画像データに含まれる画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、前記画像の中に前記線上の被写体が写り込んでいるか否かを判定することを特徴とする画像表示プログラム。
請求項１〜３のいずれか一項に記載の画像表示プログラムにおいて、
前記線は、使用者が設定した幅を有する帯状の領域であることを特徴とする画像表示プログラム。
請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、
前記検索処理は、複数の前記画像データの中から、前記線上の被写体が写り込んでおり、かつ前記画像データに含まれる撮影日または撮影時間帯が使用者により指定された撮影日または撮影時間帯の前記画像データを検索することを特徴とする画像表示プログラム。
請求項１〜５のいずれか一項に記載の画像表示プログラムにおいて、
前記画像データに対して使用者が指定した人物の顔を認識する顔認識処理をさらにコンピューターに実行させ、
前記検索処理は、使用者が指定した人物の顔が写り込んでいる前記画像データを検索することを特徴とする画像表示プログラム。
請求項１〜６のいずれか一項に記載の画像表示プログラムにおいて、
検索された複数の前記画像データを所定の順に並べ替える並べ替え処理と、
複数の画像データを前記所定の順に表示するスライドショーを作成するスライドショー作成処理とをさらにコンピューターに実行させることを特徴とする画像表示プログラム。
請求項７に記載の画像表示プログラムにおいて、
前記並べ替え処理は、複数の前記画像データを前記線に沿った順に並べ替えることを特徴とする画像表示プログラム。
請求項７に記載の画像表示プログラムにおいて、
前記並べ替え処理は、複数の前記画像データを撮影時刻の順に並べ替えることを特徴とする画像表示プログラム。
複数の画像データを入力するインターフェースと、
画像および地図を表示する表示装置と、
前記表示装置に表示された地図上で線を設定する操作装置と、
請求項１〜９のいずれか一項に記載の画像表示プログラムを実行するマイクロコンピューターとを備えることを特徴とする画像表示装置。