JP6231387B2 - サーバ、クライアント端末、システム、および記録媒体 - Google Patents

Description

本開示は、サーバ、クライアント端末、システム、および記録媒体に関する。

近年、被写体画像をデジタル画像信号として記憶媒体に記憶して保存するデジタルカメラが普及している。このようなデジタルカメラは、ビューファインダーに表示されたその時点の画像を、記録して保存するものである。

これに対し下記特許文献１では、特定の対象画像の過去や未来の画像を取得できるデジタルカメラが提案されている。具体的には、下記特許文献１に記載のデジタルカメラは、ユーザにより過去の年月日が指定された場合、指定された年月日およびデジタルカメラの位置情報等をサーバにアップし、サーバから該当する過去の画像をサーバから取得する。そして、デジタルカメラは、シャッターボタンが押されると、取得した過去の画像を表示する。

また、下記特許文献１に記載のデジタルカメラは、ユーザにより未来の年月日が指定され、シャッターボタンが押された場合、指定された未来の年月日およびデジタルカメラの位置情報等をサーバにアップし、画像検索予約を行う。そして、サーバは、予約された年月日の時点で、デジタルカメラからアップされた各情報に基づいて検索した画像をデジタルカメラに送信する。

このように、下記特許文献１では、ユーザにより指定された過去または未来の年月日に基づいて対象画像の過去や未来の画像を取得していた。

特開２００６−２６０３３８号公報

しかしながら、特許文献１に開示されている技術では、年月日の指定により過去／未来の画像を取得するので、ユーザが特定の状況における撮像画像を見たい場合は、特定の状況の年月日が正確に分からなければならなかった。例えば、現在見ている景色（被写体画像）の夜景が見たい、紅葉の季節の景色が見たい、晴天での景色が見たい、または現在改修中の建物の本来の姿が見たい等の特定の状況を指定したい場合、ユーザはそれらの状況の正確な年月日を指定しなければならなかった。このような作業はユーザにとって負担であり、また、ユーザが正確な年月日が分からない場合もあった。

そこで、本開示では、ユーザ指定の状況に適合する画像を提供することが可能な、新規かつ改良されたサーバ、クライアント端末、システム、および記録媒体を提案する。

本開示によれば、クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する受信部と、前記受信部により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する検索部と、前記検索部により検索した画像を前記クライアント端末に送信する送信部と、を備えるサーバを提案する。

本開示によれば、対象物に対するユーザ指定の状況に関する情報をサーバに送信する送信部と、前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する受信部と、前記受信部により受信した前記ユーザ指定の状況に適合する前記対象物の画像に基づいて表示を制御する表示制御部と、を備えるクライアント端末を提案する。

本開示によれば、対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、を備えるシステムを提案する。

本開示によれば、クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。

本開示によれば、対象物に対するユーザ指定の状況に関する情報をサーバに送信する処理と、前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、前記受信する処理により受信した前記対象物の画像に基づいて表示を制御する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。

本開示によれば、対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。

以上説明したように本開示によれば、ユーザ指定の状況に適合する画像を提供することが可能となる。

本開示の一実施形態によるタイムシフト表示システムの概要を説明するための図である。 本開示の一実施形態によるサーバの構成を示すブロック図である。 本開示の一実施形態によるデジタルカメラの構成を示すブロック図である。 本開示の一実施形態によるタイムシフト表示システムの動作処理を示すフローチャートである。 本開示の昼夜シフトにおいて、指定状況に適合する夜景画像を複数表示する画面例を示す図である。 本開示の季節シフトを説明するための図である。 本開示の季節シフトにおいて、桜ダイヤルによりさらに状況を指定する場合について説明するための図である。 本開示の天候シフトを説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるタイムシフト表示システムの概要
２．基本構成
３．動作処理
４．各状況のタイムシフト
４−１． 昼夜シフト
４−２． 季節シフト
４−３． 天候シフト
４−４． 工事シフト
５．まとめ

＜１．本開示の一実施形態によるタイムシフト表示システムの概要＞
まず、本開示の一実施形態によるタイムシフト表示システムの概要について図１を参照して説明する。図１に示すように、本開示の一実施形態によるタイムシフト表示システムは、サーバ１、およびクライアント端末であるデジタルカメラ２を有する。また、サーバ１およびデジタルカメラ２は、ネットワーク３を介して接続することが可能である。

図１に示すように、ユーザがデジタルカメラ２で被写体を撮影した際、ユーザは、表示装置３１に表示される現在の被写体（対象物）の撮影画像のみならず、特定の状況における被写体画像を見たい場合もある。

具体的には、例えばユーザが観光地などを訪問したときに、時間帯や天候によって所望の景観が見られず不満である場合や、現在の景観には満足していても、異なる状況下の景観を見てみたいという欲求がある場合がある。

例えば、
・昼間に来たが、夜景はどうなのだろう
・夜に来たが、日中の風景はどうなのだろう
・紅葉の時期より早く来てしまったが、紅葉の景色はどうなのだろう
・ここの雪景色はどうなのだろう
・天気が悪くて山や湖がぼやけてしまっているが、澄み渡った晴れの日の風景はどうなのだろう
・改修中で建物に覆いがかぶさっているが、本来はどんな建物なのだろう
といったユーザニーズがある。

例えば図１に示す例では、ユーザが昼間に撮影を行うと、表示装置３１には、現在の、すなわち昼間の町並み（撮像画像４）が表示される。しかし、ユーザには、この町並みの夜の風景も見てみたいという欲求がある場合もある。

そこで、本開示の一実施形態によれば、昼夜シフトモードにおいて、ユーザが夜景シフトボタン４１を選択して対象物に対する状況を指定した場合、図１に示すように、デジタルカメラ２は、この町並みの夜景の画像４Ｓを表示することができる。

本開示の一実施形態によるタイムシフト表示システムでは、このようにユーザニーズに応えることでユーザの満足度を高めることができる。また、本実施形態によるタイムシフト表示システムでは、ユーザは現在の景観が見られるだけでなく、所望の状況（シチュエーション）の景観を見ることができる。また、本実施形態によるタイムシフト表示システムは、特に旅行者にとっては好適な表示システムである。

上記ユーザニーズに応えるために、本実施形態によるデジタルカメラ２は、対象物に対するユーザ指定の状況に適合した画像をネットワーク上から取得する（サーバ１から提供される）必要がある。以下、図１に示す例を用いて、ユーザが所望する夜景の画像４Ｓの取得について簡潔に説明する。

図１に示すように、デジタルカメラ２は、ユーザにより指定された対象物の状況に関する情報（ここでは、夜景指定、およびデジタルカメラ２の位置情報）をサーバ１に送信する。サーバ１は、当該対象物の状況に関する情報に基づいて、適合する画像を検索する。

具体的には、例えばサーバ１は、デジタルカメラ２の位置情報から、デジタルカメラ２の被写体である対象物を推定し、推定した対象物のユーザ指定の状況（ここでは、夜景）に適合する画像（推定された対象物の夜景の画像４Ｓ）を検索する。

そしてサーバ１は、検索した夜景の画像４Ｓをデジタルカメラ２に送信する。デジタルカメラ２は受信した夜景の画像４Ｓを表示し、ユーザは所望する状況における対象物の画像を見ることができる。

このように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ２は、対象物に対するユーザ指定の状況に適合した画像をネットワーク上から取得し（サーバ１から提供され）、表示することができる。

以上、本開示の一実施形態におけるタイムシフト表示システムの概要について説明した。以下、タイムシフト表示システムに含まれるサーバ１、およびデジタルカメラ２（クライアント端末）の構成について詳細に説明する。

なお、図１では、クライアント端末としてデジタルカメラ２を示すが、本実施形態によるクライアント端末はこれに限定されず、例えばビデオカメラ、カメラ付きのスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。また、本実施形態によるクライアント端末はカメラ付きの装置に限定されず、例えばＧＰＳ付きの装置など、対象物を推定する情報を取得できる装置にはいずれも適用可能である。

＜２．基本構成＞
［２−１．サーバ１］
図２は、本実施形態によるサーバ１の構成を示すブロック図である。図１に示すように、サーバ１は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、画像データベース（ＤＢ）１３、検索エンジン１４、およびネットワークインターフェース（Ｉ／Ｆ）１５を有する。以下、各構成について説明する。

（画像ＤＢ１３）
画像ＤＢ１３は、撮像画像を、撮像された時の情報（年、月、日、時、分、秒）、撮影場所の情報（位置情報／経度および緯度）、および撮像方位の情報などのメタ情報と対応付けた状態で格納する。

また、本実施形態によるメタ情報は、上述した例の他、撮像時におけるデジタルカメラ２の高度、方位、仰角、対象物との距離、および倍率の情報、対象物（自然物／人工物）の状態や、撮影時の周囲の状況である。以下、「対象物（自然物／人工物）の状態」、および「撮影時の状況」について、さらに具体例を列挙して説明する。

・対象物(自然物)の状態
始まり以前−始まり−３分−５分−８分−最盛期−盛り過ぎ−終わり
（Ａ）対象物が桜の場合；青葉−開花−３分咲き−５分咲き−８分咲き−満開−散り始め−散り終わり
（Ｂ）対象物が紅葉の場合；青葉−色づき始め−５分−見ごろ−色あせ始め−落葉

・対象物(人工物)の状態
建物の建設、改築、改修、補修、修理などの工事における工程の状態
（Ｃ）大分類；工事前−工事中−工事後
（Ｄ）中分類；工事前−工事初期−工事中期−工事後期−工事後

・撮影時の状況
「昼夜」
（Ｅ）大分類；朝−昼−夜
（Ｆ）中分類；日の出−早朝−朝−正午−１４時−夕方−日の入−晩−夜−深夜
「季節」
（Ｇ）大分類；春−夏−秋−冬
（Ｈ）中分類；早春−春−晩春−初夏−盛夏−晩夏−初秋−秋−晩秋−初冬−冬−晩冬
「天候」
（Ｉ）大分類；晴れ−曇り−雨−雪−霧
（Ｊ）中分類；快晴−晴−雲の多い晴−薄い雲−曇り−雨雲−小雨−雨−大雨−雷雨

以上説明したような種々のメタ情報は、画像ＤＢ１３に格納する撮像画像に予め付加されていたメタ情報であってもよいし、撮像画像の解析結果として取得されてもよいし、ユーザより入力されてもよい。

（検索エンジン１４）
検索エンジン１４は、画像ＤＢ１３に格納されている画像の中から、デジタルカメラ２から受信した、対象物に対するユーザ指定の状況に関する情報（以下、指定情報とも称す）に適合する画像を検索する。

ここで、指定情報には、対象物の撮像画像、または撮影場所の情報（デジタルカメラ２の位置情報）が少なくとも含まれる。検索エンジン１４は、指定情報に含まれる撮像画像と画像ＤＢ１３に格納される画像の一致度または類似度マッチングを行うことにより、画像ＤＢ１３から適合する画像を検索してもよい。また、画像の一致度または類似度マッチングは、例えば画像の輪郭情報を用いて行われる。

また、検索エンジン１４は、指定情報に含まれる位置情報と画像ＤＢ１３に格納されるメタ情報に含まれる撮影場所の位置情報をマッチングすることにより、画像ＤＢ１３から適合する画像を検索してもよい。例えば、指定情報に含まれる位置情報が、富士山の位置情報と近い場合、検索エンジン１４は、対象物は富士山と推定し、画像ＤＢ１３を検索する。

さらに、指定情報には、ユーザ指定の状況を示す情報が少なくとも含まれる。検索エンジン１４は、ユーザ指定の状況を示す情報と適合するメタ情報を画像ＤＢ１３から検索し、検索されたメタ情報に対応する対象物の画像を検索結果とする。

このように、検索エンジン１４は、指定情報に含まれる対象物の撮像画像または／および位置情報に基づいて推定される対象物の画像を検索し、さらにユーザ指定の状況に適合する画像を検索結果とする。

さらに、撮像時におけるデジタルカメラ２の高度、方位、仰角、対象物との距離、および倍率等が指定情報に含まれている場合、検索エンジン１４は、これらの情報に基づき、ユーザが撮影した撮像画像により近いアングルの適合画像を検索することができる。

（ネットワークＩ／Ｆ１５）
ネットワークＩ／Ｆ１５は、ネットワーク３を通じてクライアント端末（デジタルカメラ２）との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態によるネットワークＩ／Ｆ１５は、デジタルカメラ２から指定情報を受信したり、指定情報に適合する画像（検索結果）をデジタルカメラ２に送信したりする。

（ＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２）
ＲＯＭ１１は、上述した検索エンジン１４による適合画像の検索や、検索結果を指定情報の送信元のデジタルカメラ２にネットワークＩ／Ｆ１５により送信するためのソフトウェアプログラム等が記憶されている。ＣＰＵ１０は、ＲＯＭ１１に記憶されている上記ソフトウェアプログラムにしたがって、ＲＡＭ１２をワークエリアとして用いて処理を実行する。

［２−２．デジタルカメラ２（クライアント端末）］
次に、クライアント端末の構成について図３を参照して説明する。図３に示すクライアント端末は、無線通信機能を有する撮像装置、この例ではデジタルカメラ２の構成である。なお、本実施形態では、静止画を撮像するデジタルカメラの場合として説明するが、動画も合わせて撮像記録することができるデジタルカメラであってもよい。

図３に示すように、デジタルカメラ２は、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、高度センサ２３、方位センサ２４、仰角センサ２５、ＧＰＳ測位部２６、カメラモジュール２７、カメラ操作入力部２８、撮像画像メモリ２９、表示制御部３０、表示装置３１、ネットワークインターフェース（Ｉ／Ｆ）３２、およびタイムシフト操作入力部３５を有する。以下、各構成について説明する。

ＲＯＭ２１には、撮像機能を遂行するためのプログラムの他、サーバ１へ指定情報を送信し、サーバ１から当該指定情報に応じて送られてくる適合画像を取得して表示および記録処理するためのプログラムなどが記憶されている。ＲＯＭ２１に記憶されているプログラムは、ＣＰＵ２０により、ＲＡＭ２２をワークエリアとして用いながら実行されるものである。

高度センサ２３は、デジタルカメラ２が現在存在している場所の高度を検知し、検知した高度の情報を出力する。

方位センサ２４は、カメラモジュール２７のレンズ光学系の光軸の方向、つまり、撮像方向を検知し、検知した撮像方向の情報を出力する。

仰角センサ２５は、カメラモジュール２７のレンズ光学系の光軸の方向と、水平面とのなす角（仰角または伏角）、つまり、デジタルカメラ２の撮像方向の上下方向のアングル（いわゆる撮像アングル）を検知し、検知した撮像アングルの情報を出力する。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部２６は、ＧＰＳ衛星からの電波を受信して、デジタルカメラ２が存在している位置を検知し、検知した位置の情報を出力する。なお、ＧＰＳ測位部２６は、外部からの取得信号に基づいてデジタルカメラ２の位置を検知することにより位置情報を取得する取得部の一例である。本実施形態による取得部は、ＧＰＳ測位部２６の他、例えばＷｉＦｉ、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等であってもよい。

本実施形態では、これら高度センサ２３からの高度情報、方位センサ２４からの撮像方向情報、仰角センサ２５からの撮像アングルの情報、およびＧＰＳ測位部２６からの位置情報は、撮像画像と共に当該撮像画像のメタ情報として撮像画像メモリ２９に記録される。

カメラモジュール２７は、撮像素子、撮像レンズを含む撮像光学系、および撮像画像信号処理部を含み、デジタル信号とされた撮像画像のデータを出力する。なお、撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。また、カメラモジュール２７は、撮像時の倍率の情報を出力し、本実施形態では、撮像時の倍率の情報が撮像画像のメタ情報として撮像画像メモリ２９に記憶される。

カメラ操作入力部２８は、ズームキーやシャッターボタンなどの撮像のために操作するキー群を含む。ＣＰＵ２０は、カメラ操作入力部２８において、いずれのキーが操作されたかを監視して、操作されたキーに応じた処理を、ＲＯＭ２１のプログラムにしたがって実行する。

表示制御部３０は、ＲＯＭ２１のプログラムに基づくＣＰＵ２０による制御にしたがって、これに接続される表示装置３１に表示する表示画面の表示内容を表示制御する。表示装置３１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより実現される。

カレンダー時計部３３は、年、月、日、時、分、秒のカレンダー時計情報を発生するものである。このカレンダー時計情報は、撮像時に、その撮像時間情報として保持される。また、タイマー動作をする場合には、このカレンダー時計部３３からの時刻情報に基づいて、タイマー時間が計測される。

ネットワークＩ／Ｆ２７は、ネットワーク３を通じてサーバ１との間でデータの送受信を行なうための通信モジュールである。例えば、本実施形態によるネットワークＩ／Ｆ２７は、サーバ１に指定情報を送信したり、サーバ１から指定情報に応じた適合画像（検索結果）を受信したりする。

撮像画像メモリ２９は、例えば、カード型メモリなどのフラッシュメモリが用いられる。また、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体であっても良い。さらには、このようなリムーバルなメモリ媒体ではなく、ハードディスク装置を用いても良い。また、撮像画像メモリ２９は、カメラモジュール２７から出力された撮像画像と共に、上述した高度情報、撮像方向（方位）情報、撮像アングル（仰角）の情報、位置情報および倍率等を、当該撮像画像のメタ情報として記録する。

タイムシフト操作入力部３５は、ユーザが対象物に対する状況の指定を行う際に用いられるスイッチ、ボタン、およびダイヤル等である。ユーザは、タイムシフト操作入力部３５により、昼夜、季節、天候および工事工程等における所望の状況を指定する。タイムシフト操作入力部３５により入力されたユーザ指定の状況の情報は、撮像画像や当該撮像画像のメタ情報と共にネットワークＩ／Ｆ３２からサーバ１に送信される。

なお、タイムシフト操作入力部３５を構成するスイッチ、ボタン、およびダイヤル等は物理的なものであってもよいし、表示装置３１に表示される画像であってもよい。本実施形態では、ユーザによる操作入力を検知できるタッチパネルが表示装置３１上に積層され設けられる。これにより、ユーザは、タイムシフト操作入力用に表示されたボタン等を操作し、状況指定を行なうことがきる。

以上、本開示の一実施形態によるクライアント端末（デジタルカメラ２）の構成について詳細に説明した。続いて、本実施形態によるタイムシフト表示システムの具体的な動作処理について説明する。

＜３．動作処理＞
上述したように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ２がユーザ指定された状況に適合する画像をネットワーク上から取得し、表示する。このようなタイムシフト表示システムの動作処理について図４を参照して説明する。

図４は、本実施形態によるタイムシフト表示システムの動作処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、デジタルカメラ２は画像撮影処理を行う。具体的には、ユーザによりシャッターボタン（不図示）が押下されると、カメラモジュール２７により対象物を撮像し、カメラモジュール２７から出力される撮像画像を撮像画像メモリ２９に記憶し、さらに、表示装置３１に表示する。

次いで、ステップＳ１０６において、デジタルカメラ２は、ＧＰＳ測位部２６によりデジタルカメラ２が現在存在している位置を検知し、ＧＰＳ測位部２６から出力される位置情報を、上記ステップＳ１０３において撮像した撮像画像のメタ情報として撮像画像メモリ２９に記憶する。

次に、ステップＳ１０９において、タイムシフト操作入力部３５から、ユーザにより対象物（被写体）に対する状況の指定が行われると、続くステップＳ１１２において、デジタルカメラ２は、ユーザ指定の状況に関する情報をサーバ１に送信する。ユーザ指定の状況に関する情報は、例えば撮像画像、位置情報、および指定された状況の情報である。

次いで、ステップＳ１１５において、サーバ１は、デジタルカメラ２から受信したユーザ指定の状況に関する情報に基づいて、ユーザ指定の状況に適合する対象物の画像をサーバ１の画像ＤＢ１３から検索する。

次に、ステップＳ１１８において、サーバ１は、検索した適合画像を、ユーザ指定の状況に関する情報の送信元であるデジタルカメラ２に送信する。

次いで、ステップＳ１２１において、デジタルカメラ２は、サーバ１から受信した適合画像に基づいて表示制御を行い、ユーザが指定した状況における対象物の画像を表示する。

なお、上記ステップＳ１１５において、ユーザ指定の状況に適合する対象物の画像が画像ＤＢ１３から検索できなかった場合、ステップＳ１１８において、サーバ１は、適合画像が無い旨をデジタルカメラ２に送信してもよい。この場合、ステップＳ１２１において、デジタルカメラ２は、適合画像が無い旨を表示し、ユーザに通知する。

以上、本実施形態によるタイムシフト表示システムの動作処理について詳細に説明した。続いて、上記ステップＳ１０９におけるタイムシフト操作において、ユーザによりどのような状況の指定が行われ得るか、以下具体例を挙げて説明する。

＜４．各状況のタイムシフト＞
上述したように、ユーザは、対象物に対する状況指定として、昼夜、季節、および天候等において所望する状況を指定することができる。以下、ユーザによる状況指定により現在の撮像画像が変化するタイムシフトの具体例について説明する。

［４−１． 昼夜シフト］
昼夜シフトでは、昼景または夜景といった１日の時間帯の区分を指定することができる。例えば、ユーザが観光地の函館に昼間に来た際に、「夜景はどうなのだろう。綺麗なら夜も来たいな」というニーズがある場合がある。

そこで、ユーザがタイムシフト操作入力部３５から夜景指定を行うと、デジタルカメラ２は、対象物に対して指定された状況に適合する画像、ここでは函館の過去の夜景画像をサーバ１から取得し、表示する。これにより、ユーザは、所望した函館の夜景画像を見ることができる。

（夜景シフトボタン）
ここで、夜景指定を行うためのタイムシフト操作入力部３５は、例えば図１に示すような夜景シフトボタン４１であってもよい。また、昼夜シフトモードにおいて、デジタルカメラ２は、時間情報や撮像画像の解析結果に基づいて、現在の時間帯の区分が昼間であることを判断した場合、昼夜切替ボタンとして図１に示すような夜景シフトボタン４１のみを表示してもよい。

また、タイムシフト操作入力部３５からは、上述した昼夜の指定の他、朝の指定や、さらに時間帯の区分を細分化して、日の出、早朝、および日の入等を指定できるようにしてもよい。

（複数表示）
また、デジタルカメラ２は、サーバ１から対象物に対して指定された状況に適合する画像を複数受信した場合、表示装置３１にこれら複数の適合画像を表示してもよい。

例えば、図５に示すように、対象物に対する夜景指定に適合する過去の複数の夜景画像４Ｓ−１、４Ｓ−２、４Ｓ−３を一画面に表示したり、スライドショーで表示したりしてもよい。

［４−２． 季節シフト］
季節シフトでは、春夏秋冬といった季節の状況を指定することができる。例えば、ユーザが観光地の京都・嵐山に、２０１１年の夏に来た際に、「紅葉になったらどうなのだろう。秋にまた京都に来ようかな」というニーズがある場合がある。

そこで、ユーザがタイムシフト操作入力部３５から秋指定を行うと、デジタルカメラ２は、対象物に対して指定された状況に適合する画像、ここでは京都・嵐山の、例えば去年の秋の画像をサーバ１から取得し、表示する。これにより、ユーザは、所望した嵐山の秋の画像を見ることができる。

（季節シフトボタン）
ここで、季節指定を行うためのタイムシフト操作入力部３５は、例えば図６に示すような季節シフトボタン５１であってもよい。また、季節シフトモードにおいて、デジタルカメラ２は、時間情報や撮像画像の解析結果に基づいて、現在の季節が冬であることを判断した場合、季節切替ボタンとして図６に示すような、「冬」を除いた「春夏秋」のみの季節シフトボタン５１を表示してもよい。

このような季節シフトボタン５１に対して、例えば春シフトボタン５１ａを選択すると、図６に示すように、現在の、すなわち冬の撮像画像５に代わり、サーバ１から取得した、ユーザが居る場所の過去の春の画像５Ｓが表示される。

また、ユーザ指定の状況を含む一連の画像を取得し、一画面に並べて表示してもよいし、スライドショーにより表示してもよい。これにより、ユーザは現在居る場所の季節の変化を見ることができる。なお、「一連の画像」とは、複数の静止画であってもよいし、単数または複数の動画であってもよい。

また、タイムシフト操作入力部３５からは、上述した春夏秋冬の指定の他、さらに季節を細分化して、初夏・盛夏・晩夏等を指定できるようにしてもよい。

（桜ダイヤル）
また、さらに季節を細分化して状況指定できるよう、対象物に応じたタイムシフト操作入力部３５を実現してもよい。例えば、対象物が桜の木であった場合、図７に示すように、桜の木の撮像画像６と共に、桜ダイヤル６１を表示し、「つぼみ−開花−３分咲き−５分咲き−満開−散り始め−散り終わり」を指定できるようにしてもよい。桜ダイヤル６１は、ユーザのタッチ操作によりダイヤル６１ａが回り、ユーザは桜の状況指定を行うことができる。

また、同様に、対象物が新緑であれば新緑ダイヤル、対象物が紅葉であれば紅葉ダイヤルによりタイムシフト操作入力部３５を実現してもよい。

［４−３． 天候シフト］
天候シフトでは、晴れ、曇、および雨等の天候の状況を指定することができる。例えば、ユーザが観光名所の北海道・摩周湖に来た際、摩周湖が霧で覆われていた場合、「『霧の摩周湖』は有名だけども、晴天の摩周湖も見てみたかったな」というニーズがある場合がある。

そこで、ユーザがタイムシフト操作入力部３５から晴れ指定を行うと、デジタルカメラ２は、対象物に対して指定された状況に適合する画像、ここでは北海道・摩周湖の過去の晴れた日の画像をサーバ１から取得し、表示する。これにより、ユーザは、所望した摩周湖の晴れの日の画像を見ることができる。

（天候シフトボタン）
ここで、天候指定を行うためのタイムシフト操作入力部３５は、例えば図８に示すような天候シフトボタン７１であってもよい。また、天候シフトモードでは、デジタルカメラ２は、時間情報や撮像画像の解析結果に基づいて現在の天候が晴れであることを判断した場合、天候切替ボタンとして図８に示すような、「晴れ」を除いた「曇、雨、雪、雷」のみの天候シフトボタン７１を表示してもよい。

このような天候シフトボタン７１に対して、例えば雨シフトボタン７１ａを選択すると、図８に示すように、現在の、すなわち晴れの撮像画像７に代わり、サーバ１から取得した、ユーザが居る場所の過去の雨の日の画像７Ｓが表示される。

［４−４． 工事シフト］
工事シフトでは、工事前、工事中、工事後等の工事の工程を指定することができる。ここで、本明細書において工事とは、建造物の改修、改装、改築、および新築等を広く含む。

例えば、ユーザが観光名所の兵庫県・姫路城に来た際、姫路城が改修工事中であった場合、「別名『白鷺城』とも呼ばれる名城の全貌が見たかったな」というニーズがある場合がある。

そこで、ユーザがタイムシフト操作入力部３５から改修工事前の工程を指定すると、デジタルカメラ２は、対象物に対して指定された状況に適合する画像、ここでは姫路城の改修工事前の画像（姫路城の全貌画像）をサーバ１から取得し、表示する。また、姫路城の改修工事後の完成予想写真や完成予想イラストを表示してもよい。これにより、ユーザは、所望した姫路城の全貌を画像で見ることができる。

＜５．まとめ＞
上述したように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ２においてユーザにより指定された対象物に対する状況に適合した画像がサーバ１から提供され、デジタルカメラ２において表示することができる。これにより、現在の景観だけでなく、ユーザが所望の状況（シチュエーション）の景観を提供することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。

例えば、上述したデジタルカメラ２がサーバ１から取得する画像は静止画に限られず、例えば動画であってもよい。

また、適合画像の取得先は、図１に示すような特定のサーバ１に限定されず、画像ＤＢ１３および検索エンジン１４の機能を有する、インターネット上の不特定多数のサーバやＰＣ（パーソナルコンピュータ）であってもよい。

また、上述した例では、デジタルカメラ２の表示制御部３０は、撮像画像に代えて、サーバ１から取得した適合画像を表示している。しかし、本実施形態による表示制御はこれに限定されず、例えば表示制御部３０は、撮像画像から、人物など撮像画像の一部を抜き出し、適合画像に合成した上で表示してもよい。また、表示制御部３０は、適合画像のアングル等を、撮像画像に応じて調整した上で表示してもよい。このようにサーバ１から取得した適合画像を加工して表示することで、よりリアルに、現在とは異なる状況（過去／未来）を撮影したような画像を表示することができる。

また、図４を参照して説明した動作処理では、シャッターボタン押下により対象物を撮像した後に、ユーザが対象物に対して特定の状況を指定しているが、本実施形態による動作処理はこれに限定されない。例えば、予め各シフト（昼夜シフト、季節シフト、および天候シフト等）のモードにおいて状況を指定した後、シャッターボタンを押下すると、デジタルカメラ２は、撮像画像および指定情報等をサーバ１に送信し、サーバ１から取得した適合画像を表示する。これにより、ユーザは、シャッターボタンを押下して所望の状況における対象物を撮影したかのような感覚を得ることができる。

また、本実施形態によるクライアント端末の構成は、図３に示す例に限られない。例えば、クライアント端末は、さらに画像ＤＢ、および検索エンジンを有してもよい。このような構成を有するクライアント端末では、クライアント端末内の画像ＤＢから、ユーザ指定の状況に適合する画像を検索し、検索した適合画像を表示制御することが可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する受信部と、
前記受信部により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する検索部と、
前記検索部により検索した画像を前記クライアント端末に送信する送信部と、
を備えるサーバ。
（２）
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末の位置情報を含み、
前記検索部は、前記クライアント端末の位置情報と、前記対象物の画像に対応付けられている前記対象物の位置情報をマッチングすることにより、前記対象物の画像を検索する、前記（１）に記載のサーバ。
（３）
前記対象物に対するユーザ指定の状況に関する前記情報は、さらに前記クライアント端末の方位、高度、仰角、または倍率の情報を含み、
前記検索部は、前記位置情報のマッチングに加え、前記クライアント端末の方位、高度、仰角、または倍率の情報に基づき前記対象物の画像を検索する、前記（２）に記載のサーバ。
（４）
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末により撮像された前記対象物の撮像画像を含み、
前記検索部は、前記撮像画像と、前記対象物の画像の一致度または類似度マッチングにより、前記対象物の画像を検索する、前記（１）から前記（３）のいずれか１項に記載のサーバ。
（５）
前記一致度または類似度マッチングは、画像の輪郭情報を用いて行われる、前記（４）に記載のサーバ。
（６）
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末の位置情報、および前記クライアント端末により撮像された前記対象物の撮像画像を含み、
前記検索部は、前記クライアント端末の位置情報と前記対象物の画像に対応付けられている前記対象物の位置情報のマッチング、および前記撮像画像と前記対象物の画像の一致度または類似度マッチングに基づき、前記対象物の画像を検索する、前記（１）から前記（５）のいずれか１項に記載のサーバ。
（７）
前記対象物に対するユーザ指定の状況に関する前記情報は、前記対象物に対する時間帯の区分指定、季節指定、天候指定、または工事の工程指定の情報を含む、前記（１）から前記（６）のいずれか１項に記載のサーバ。
（８）
前記送信部は、前記検索部により前記対象物の画像が検索できなかった場合、適合する前記対象物の画像がなかった旨を前記クライアント端末に送信する、前記（１）から前記（７）のいずれか１項に記載のサーバ。
（９）
対象物に対するユーザ指定の状況に関する情報をサーバに送信する送信部と、
前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する受信部と、
前記受信部により受信した前記ユーザ指定の状況に適合する前記対象物の画像に基づいて表示を制御する表示制御部と、
を備えるクライアント端末。
（１０）
前記クライアント端末は、
外部からの取得信号に基づいて前記クライアント端末の位置情報を取得する取得部をさらに備え、
前記送信部は、前記取得部により取得した前記位置情報を、前記ユーザ指定の状況に関する情報に含めて送信する、前記（９）に記載のクライアント端末。
（１１）
前記受信部は、前記サーバから前記ユーザ指定の状況に適合する前記対象物の複数の画像を受信し、
前記表示制御部は、前記複数の画像に基づいて表示を制御する、前記（９）または前記（１０）に記載のクライアント端末。
（１２）
前記受信部は、前記サーバから前記ユーザ指定の状況に適合する前記対象物の一連の過程の画像を受信し、
前記表示制御部は、前記一連の過程の画像に基づいて表示を制御する、前記（９）から前記（１０）のいずれか１項に記載のクライアント端末。
（１３）
前記クライアント端末は、
前記対象物の撮像画像を取得する撮像部をさらに備え、
前記送信部は、前記撮像部により取得した前記撮像画像を、前記ユーザ指定の状況に関する情報に含めて送信する、前記（９）から前記（１２）のいずれか１項に記載のクライアント端末。
（１４）
前記表示制御部は、前記撮像画像から一部を抽出し、前記抽出した前記撮像画像の一部を前記ユーザ指定の状況に適合する前記対象物の画像に合成して表示する、前記（１３）に記載のクライアント端末。
（１５）
前記クライアント端末は、
前記対象物に対する状況を指定するための操作入力部をさらに備え、
前記送信部は、前記操作入力部からユーザにより指定された状況の情報を、前記ユーザ指定の状況に関する情報に含めて送信する、前記（９）から前記（１４）のいずれか１項に記載のクライアント端末。
（１６）
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、
前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、
を備えるシステム。
（１７）
クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、
前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、
前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
（１８）
対象物に対するユーザ指定の状況に関する情報をサーバに送信する処理と、
前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、
前記受信する処理により受信した前記対象物の画像に基づいて表示を制御する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
（１９）
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、
前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。

１ サーバ
２ デジタルカメラ（クライアント端末）
３ ネットワーク
４、５、６、７ 撮像画像
４Ｓ、４Ｓ−１、４Ｓ−２、４Ｓ−３ 夜景画像
１３ 画像データベース（ＤＢ）
１４ 検索エンジン
１５、３２ ネットワークインターフェース（Ｉ／Ｆ）
２３ 高度センサ
２４ 方位センサ
２５ 仰角センサ
２６ ＧＰＳ測位部
２７ カメラモジュール
２８ カメラ操作入力部
２９ 撮像画像メモリ
３０ 表示制御部
３１ 表示装置
３３ カレンダー時計部
３５ タイムシフト操作入力部
４１ 夜景シフトボタン
５１ 季節シフトボタン
７１ 天候シフトボタン

Claims (19)

1. クライアント端末から撮像対象物に対するユーザ指定の状況に関する情報を受信する受信部と、
   前記受信部により受信した前記撮像対象物に対するユーザ指定の状況に適合する対象物の画像を検索する検索部と、
   前記検索部により検索した画像を前記クライアント端末に送信する送信部と、
   を備え、
   前記ユーザ指定の状況は、前記クライアント端末においてタイムシフト操作入力部により入力された前記撮像対象物の経過状態を指定する情報を含む、サーバ。
2. 前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の工事工程を指定する情報である、請求項１に記載のサーバ。
3. 前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の開花状態または紅葉状態を指定する情報である、請求項１に記載のサーバ。
4. ユーザ指定の状況に関する前記情報は、前記クライアント端末の現在位置情報を含み、
   前記検索部は、前記クライアント端末の現在位置情報と、前記撮像対象物の位置情報をマッチングすることにより、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項１〜３のいずれか１項に記載のサーバ。
5. ユーザ指定の状況に関する前記情報は、前記クライアント端末による撮影時の方位、高度、仰角、または倍率の情報を含み、
   前記検索部は、前記現在位置情報に加え、前記クライアント端末による撮影時の方位、高度、仰角、または倍率の情報に基づき前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項４に記載のサーバ。
6. ユーザ指定の状況に関する前記情報は、前記クライアント端末により撮像された前記撮像対象物の撮像画像を含み、
   前記検索部は、前記撮像画像との画像の一致度または類似度マッチングにより、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項１〜５のいずれか１項に記載のサーバ。
7. 前記一致度または類似度マッチングは、画像の輪郭情報を用いて行われる、請求項６に記載のサーバ。
8. ユーザ指定の状況に関する前記情報は、前記クライアント端末の現在位置情報、および前記クライアント端末により撮像された前記撮像対象物の撮像画像を含み、
   前記検索部は、前記クライアント端末の現在位置情報と前記撮像対象物の位置情報とのマッチング、および前記撮像画像と前記対象物の画像の一致度または類似度マッチングに基づき、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項１〜３のいずれか１項に記載のサーバ。
9. 対象物の撮像画像を取得する撮像部と、
   撮像対象物の経過状態を指定する情報の入力を受け付けるタイムシフト操作入力部と、
   前記撮像部により取得した撮像対象物の画像と、前記タイムシフト操作入力部により入力された経過状態を指定する情報を、対象物に対するユーザ指定の状況に関する情報に含めてサーバに送信する送信部と、
   前記サーバから前記経過状態を指定する情報に適合する対象物の画像を受信する受信部と、
   前記受信部により受信した画像を表示するよう制御する表示制御部と、
   を備えるクライアント端末。
10. 前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の工事工程を指定する情報である、請求項９に記載のクライアント端末。
11. 前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の開花状態または紅葉状態を指定する情報である、請求項１０に記載のクライアント端末。
12. 前記表示制御部は、撮像対象物の画像と共に、前記撮像対象物の経過状態を指定する情報の入力を受け付ける操作部の画像を表示する、請求項９〜１１のいずれか１項に記載のクライアント端末。
13. 前記クライアント端末は、
    外部からの取得信号に基づいて前記クライアント端末の位置情報を取得する取得部をさらに備え、
    前記送信部は、前記取得部により取得した前記位置情報を、前記ユーザ指定の状況に関する情報に含めて送信する、請求項９〜１２のいずれか１項に記載のクライアント端末。
14. 前記表示制御部は、前記撮像画像から人物画像を抽出し、前記抽出した人物画像を、前記受信した画像に合成して表示する、請求項９〜１３のいずれか１項に記載のクライアント端末。
15. 前記表示制御部は、前記タイムシフト操作入力部から予め前記撮像対象物の経過状態を指定する情報が入力されている際、シャッターボタンの押下に応じて、前記受信部により受信したユーザ指定の状況に適合する対象物の画像を表示するよう制御する、請求項９〜１４のいずれか１項に記載のクライアント端末。
16. 対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、
    ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、
    前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、
    を備え、
    前記ユーザにより指定された前記対象物に対する状況は、クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報を含む、システム。
17. クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、
    前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、
    前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、
    をコンピュータに実行させるプログラムが記録され、
    前記ユーザ指定の状況は、前記クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報を含む、記録媒体。
18. 撮像部により取得した撮像対象物の画像と、撮像対象物の状況を指定するユーザによるシフト情報の入力を受け付けるタイムシフト操作入力部により入力された前記撮像対象物の経過状態を指定する情報を、対象物に対するユーザ指定の状況に関する情報に含めてサーバに送信する処理と、
    前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、
    前記受信した画像を表示するよう制御する処理と、
    をコンピュータに実行させるプログラムが記録された記録媒体。
19. 対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、
    ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、
    前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、
    をコンピュータに実行させるプログラムが記録され、
    前記ユーザにより指定された前記対象物に対する状況は、クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報シフト情報を含む、記録媒体。

Images