JPWO2019026919A1 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

従来よりも時間及び手間を要することなく、被写体を撮影することにより得られた画像を素材として、画像表示の際にユーザによる操作や動作に応じたイベントを発生させるデータを作成ことができる画像処理システム等を提供する。画像処理システムは、被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、所定のトリガーに応じて、撮影部により生成された動画を構成するフレーム又は静止画に識別情報を付与するマーキング処理部と、撮影部により生成された動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成する画像処理部と、画像処理部により生成された画像データを記憶する画像データ記憶部とを備える。

Description

本発明は、被写体を撮影して得られた画像を表示する画像処理システム、画像処理方法、及びプログラムに関する。

近年、観光業や不動産業などのビジネス分野では、観光地や不動産物件を撮影して得られた画像を様々な技術を用いて加工し、顧客に閲覧させるサービスが行われている。例えば、撮影地点の周囲３６０°の被写体が写った画像（全天球画像とも呼ばれる）を、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置に表示させ、ＨＭＤを装着したユーザの頭の動きに合わせて、画像の表示範囲を変化させることにより、ユーザはあたかも、表示された画像の空間内に入り込んだような感覚を得ることができる。このように、仮想ではあるが現実のような感覚を体験させる技術は、仮想現実（ヴァーチャルリアリティ：ＶＲ）とも呼ばれ、ＶＲにより３次元（３Ｄ）的に認識される仮想的な空間は、ＶＲ空間とも呼ばれる。

ＶＲに関連する技術として、例えば特許文献１には、３次元都市ＶＲ情報表示を行う都市ＶＲ表示部と、２次元地図情報表示を行う地図表示部とを備え、都市ＶＲ空間の中で視点位置に関する情報を地図上に、また、表示された地図上の視点を動かすことで都市ＶＲ空間に関連する情報をそれぞれリアルタイムに映し出す表示装置が開示されている。

また、特許文献２には、球面全方位カメラにより撮像された球面全方位動画を、ジャイロセンサを有する画像再生装置により再生する際の画像再生方法であって、再生中に、視聴者の視線に応じて、視線先に映像に対応したイベントを起動する画像再生方法が開示されている。

特開２００２−３５１３０９号公報 特開２０１６−１３４７４２号公報

ところで、３Ｄ空間を表現するための画像をＣＧ（コンピュータグラフィックス）技術により作成しようとすると、レンダリングなど演算コストの高い画像処理を行わなければならない。従って、そのような画像処理を実行できる高スペックな専用の機器が必要となってしまう。

これに対し、被写体を撮影して得られた静止画や動画を素材として画像を加工し、人の両眼の視差を利用して立体視させることにより疑似的に３Ｄ空間を表現する技術も知られている。或いは、２次元画像を球面上に配置されているように表示（パノラマ表示）することにより、ユーザに３Ｄ空間に囲まれているような感覚にさせる技術も知られている。これらのような技術を用いる場合、画像の加工に要する演算コストを大幅に抑制することができる。

しかしながら、ＨＭＤ等に３Ｄ空間を表示又はパノラマ表示させ、その間になされた操作やユーザの動作に応じて何らかのイベントを発生させるためには、予め画像データに特定の情報を埋め込んでおかなければならない。そのため、被写体を撮影して得られた静止画や動画を素材として用いる場合には、撮影後に、必要な情報を画像データに埋め込むための編集作業が必要となり、多くの時間及び作業コストを要してしまう。

本発明は上記に鑑みてなされたものであって、従来よりも時間及び手間を要することなく、被写体を撮影することにより得られた画像を素材として、画像表示の際にユーザによる操作や動作に応じたイベントを発生させるデータを作成することができる画像処理システム、画像処理方法、及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様である画像処理システムは、被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、所定のトリガーに応じて、前記撮影部により生成された動画を構成するフレーム又は静止画に識別情報を付与するマーキング処理部と、前記撮影部により生成された前記動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成する画像処理部と、前記画像処理部により生成された画像データを記憶する画像データ記憶部と、を備えるものである。

上記画像処理システムは、１種類以上の識別情報を記憶するマーキングリスト記憶部と、外部からなされる操作に従って、前記１種類以上の識別情報の中から１つの識別情報を選択する操作入力部と、をさらに備え、前記マーキング処理部は、前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記操作入力部により選択された識別情報を付与しても良い。

上記画像処理システムは、前記撮影部の位置を検出して位置情報を出力する位置検出部をさらに備え、前記マーキング処理部は、前記トリガーに応じたタイミングで前記位置検出部から出力された位置情報を、前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記識別情報として付与しても良い。

上記画像処理システムにおいて、前記トリガーは、動画の撮影中になされる所定の操作手段への操作であっても良い。

上記画像処理システムにおいて、前記トリガーは、静止画を撮影する際に操作される操作手段への操作であっても良い。

上記画像処理システムは、前記画像データ記憶部に記憶された画像データに基づいて、動画又は静止画を表示可能な表示部と、前記表示部における画像表示を制御する表示制御部と、外部からなされる操作を検出する操作検出部と、をさらに備え、前記表示制御部は、前記表示部に表示中の動画のフレーム又は静止画に識別情報が付与されている場合に、該識別情報が付与されている旨を示す情報を前記表示部に表示させ、前記操作検出部が前記情報を選択する操作を検出した場合に、前記表示部における画像表示を、表示中の動画のフレーム又は静止画に付与されている識別情報と同じ識別情報が付与された動画のフレーム又は静止画に切り替えても良い。

上記画像処理システムにおいて、前記画像データ記憶部は、複数の動画の画像データを記憶し、前記複数の動画の各々は、同じ識別情報が付与されたフレームを含み、前記表示制御部は、前記複数の動画の間で前記表示部における画像表示を切り替えても良い。

上記画像処理システムにおいて、前記動画は、互いに異なる時刻に生成され、同じ識別情報が付与された複数のフレームを含み、前記表示制御部は、前記複数のフレームの間で前記表示部における画像表示を切り替えても良い。

上記画像処理システムにおいて、前記動画は、前記静止画に付与された識別情報と同じ識別情報が付与されたフレームを含み、前記表示制御部は、前記静止画と、前記同じ識別情報が付与されたフレームとの間で前記表示部における画像表示を切り替えても良い。

上記画像処理システムにおいて、前記画像処理部は、さらに、前記撮影部により生成された前記動画又は静止画の画像データをもとに、３次元的なモデルの画像データを構築すると共に、前記マーキング処理部により前記動画又は静止画に付与された識別情報をもとに、前記モデルの各所に当該位置を表す情報を付与し、前記表示制御部は、前記モデルの各所に付与された前記情報と、前記動画又は静止画に付与された識別情報とに基づき、前記モデルと前記動画又は静止画との間で前記表示部における画像表示を切り替えても良い。

上記画像処理システムは、前記撮影部により生成された前記動画又は静止画の画像データをもとに、３次元的に表示される動画又は静止画の画像データを生成する第２の画像処理部をさらに備えても良い。

本発明の別の態様である画像処理方法は、被写体を撮影することにより動画又は静止画の画像データを生成するステップ（ａ）と、所定のトリガーに応じて、前記撮影部により生成された動画を構成するフレーム又は静止画に識別情報を付与するステップ（ｂ）と、ステップ（ａ）において生成された前記動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成するステップ（ｃ）と、ステップ（ｃ）において生成された画像データを記憶するステップ（ｄ）と、を含むものである。

本発明のさらに別の態様であるプログラムは、被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、記憶部と、外部からなされる操作を受け付ける操作入力部と、を備える撮影装置に実行させるプログラムであって、前記記憶部は、１種類以上の識別情報を予め記憶し、前記操作入力部に対する操作に応じて、前記１種類以上の識別情報の中から１つの識別情報を選択するステップと、所定のトリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記１つの識別情報を付与するステップと、を実行させるものである。

本発明のさらに別の態様であるプログラムは、被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、前記撮影部の位置を検出して位置情報を出力する位置検出部と、を備える撮影装置に実行させるプログラムであって、所定のトリガーに応じたタイミングで前記位置検出部からに位置情報を出力させるステップと、前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記位置情報を識別情報として付与するステップと、を実行させるものである。

本発明のさらに別の態様であるプログラムは、動画又は静止画を表示可能な表示部と、前記表示部における画像表示を制御する表示制御部と、外部からなされる操作を検出する操作検出部と、を備える表示装置に実行させるプログラムであって、前記表示部に表示中の動画のフレーム又は静止画に所定の識別情報が付与されている場合に、該所定の識別情報が付与されている旨を示す情報を前記表示部に表示させるステップと、前記操作検出部が前記情報を選択する操作を検出した場合に、前記表示部における画像表示を、表示中の動画のフレーム又は静止画に付与されている前記所定の識別情報と同じ識別情報が付与された動画のフレーム又は静止画に切り替えるステップと、を実行させるものである。

本発明によれば、被写体を撮影しながら動画又は静止画に識別情報を付与するとともに、これらの動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成するので、画像データに必要な情報を埋め込むための編集作業を別途行う必要がなくなる。従って、従来よりも時間及び手間を要することなく、被写体を撮影することにより得られた画像を素材として、画像表示の際にユーザによる操作や動作に応じたイベントを発生させるデータを作成することが可能となる。

本発明の第１の実施形態に係る画像処理システムの概略構成を示すブロック図である。 図１に示す表示装置をユーザに装着させた状態を示す模式図である。 図１に示す表示装置の表示部に表示される画面の一例を示す模式図である。 本発明の第１の実施形態における撮影装置の動作を示すフローチャートである。 不動産物件の撮影手順の一例を説明するための模式図である。 撮影装置の表示部に表示される画面を例示する模式図である。 撮影装置の表示部に表示される画面を例示する模式図である。 撮影装置の表示部に表示される画面を例示する模式図である。 撮影装置の表示部に表示される画面を例示する模式図である。 不動産物件の撮影手順の別の例を説明するための模式図である。 不動産物件の撮影手順の別の例を説明するための模式図である。 表示装置における画像の切替手順の例を説明するための模式図である。 表示装置における画像の切替手順の例を説明するための模式図である。 表示装置における画像の切替手順の例を説明するための模式図である。 図１に示す表示装置の動作を示すフローチャートである。 表示装置における画像の表示例を示す模式図である。 表示装置における画像の表示例を示す模式図である。 表示装置における画像の表示例を示す模式図である。 表示装置における画像の表示切替タイミングを示すタイミングチャートである。 表示装置における画像の表示切替タイミングを示すタイミングチャートである。 表示装置における画像の表示切替タイミングを示すタイミングチャートである。 表示装置における画像の表示切替タイミングを示すタイミングチャートである。 本発明の第１の実施形態の変形例における表示装置の動作を示すフローチャートである。 本発明の第１の実施形態の変形例における表示装置での表示例を示す模式図である。 本発明の第２の実施形態における撮影装置の動作を示すフローチャートである。 撮影装置の表示部に表示される画面を例示する模式図である。 本発明の第３の実施形態における撮影装置の動作を示すフローチャートである。 ３Ｄモデルの表示例を示す模式図である。 本発明の第３の実施形態における表示装置の動作を示すフローチャートである。 本発明の第４の実施形態に係る画像処理装置の概略構成を示すブロック図である。

以下、本発明の実施形態に係る画像処理システム、画像処理方法、及びプログラムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理システムの概略構成を示すブロック図である。本実施形態に係る画像処理システム１は、被写体を撮影することにより画像を生成し、これらの画像を用いて３次元的な空間を仮想的に表示するシステムである。

以下においては、画像処理システム１により撮影する対象（被写体）として、個人の住宅やオフィスビル等の不動産の内部を例示するが、被写体の例はこれに限定されない。例えば、観光地、秘境、大型家具の販売店、建築物の模型など、一般的なデジタル式の光学カメラによって撮影可能な被写体であれば、画像処理システム１における被写体とすることができる。

図１に示すように画像処理システム１は、被写体を撮影して画像データを生成する撮影装置１０と、画像データを格納するサーバ２０と、被写体の画像を表示する表示装置３０とを備える。これらの撮影装置１０と、サーバ２０と、表示装置３０とは、通信ネットワークＮを介して接続されている。

通信ネットワークＮとしては、例えばインターネット回線や電話回線、ＬＡＮ、専用線、移動体通信網、ＷｉＦｉ（Wireless Fidelity）、ブルートゥース（登録商標）等の通信回線、又はこれらの組み合わせが用いられる。通信ネットワークＮは、有線、無線、又はこれらの組み合わせのいずれであっても良い。

撮影装置１０は、被写体を撮影して画像データを生成する機器であり、デジタルカメラや、専用のアプリケーションをインストールしたスマートフォン等によって実現することができる。本実施形態においては、撮影装置１０としてスマートフォンを使用するものとする。詳細には、撮影装置１０は、通信部１１と、撮影部１２と、操作入力部１３と、表示部１４と、位置検出部１５と、記憶部１６と、プロセッサ１７とを備える。

通信部１１は、撮影装置１０を通信ネットワークＮに接続し、通信ネットワークＮに接続された他の機器との間で情報の送受信を行う。通信部１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成される。

ここで、撮影装置１０としてデジタルカメラを用いる場合、機種によっては通信機能が設けられていないことがある。そのような場合には、撮影装置１０において生成された画像データを、ケーブルを介してパーソナルコンピュータ（ＰＣ）に一旦転送し、このＰＣから通信ネットワークＮを介して画像データをサーバ２０等にアップロードすれば良い。或いは、撮影装置１０から表示装置３０に、ケーブルを介して画像データを直接転送しても良い。

撮影部１２は、スマートフォンに内蔵され、静止画及び動画の撮影が可能なカメラである。撮影部１２に、市販の広角レンズ（又は超広角レンズ）や魚眼レンズを取り付けることにより、画角の広い（例えば１８０°以上）の画像を取得することも可能である。

或いは、撮影部１２として、スマートフォンと有線又は無線により外付けされるカメラを用いても良い。例えば、画角が１８０°以上の２つの超広角レンズを備えた、所謂全天球カメラを撮影部１２として用いることにより、撮影装置１０の周囲３６０°の被写体が写った全天球画像を取得することができる。

操作入力部１３は、操作ボタンや、表示部１４上に設けられたタッチセンサ等の入力デバイスであり、外部からなされる操作を受け付け、該操作に応じた信号をプロセッサ１７に入力する。
表示部１４は、液晶又は有機ＥＬ（エレクトロルミネッセンス）によって形成された表示パネル及び駆動部を含むディスプレイである。
位置検出部１５は、ＧＰＳモジュールを含み、撮影装置１０の位置を検出して位置情報を出力する。

記憶部１６は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部１６は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。詳細には、記憶部１６は、各種プログラムを記憶するプログラム記憶部１６１と、画像データを記憶する画像データ記憶部１６２と、マーキングリストを記憶するマーキングリスト記憶部１６３とを含む。

ここで、マーキングリストとは、画像のコンテンツを識別するための識別情報として画像データに付与されるタグの名称をリスト化して記録したものである。例えば、不動産物件を撮影する場合、「玄関」、「キッチン」、「ベッドルーム」などがタグの名称として用いられる。

プロセッサ１７は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部１６１に記憶された各種プログラムを読み込むことにより、撮影装置１０の各部を統括的に制御すると共に、撮影部１２により撮影された画像を表示装置３０で表示させるための各種処理を実行する。詳細には、プロセッサ１７が実行する機能部には、撮影制御部１７１と、画像処理部１７２と、マーキングリスト登録部１７３と、マーキング処理部１７４とが含まれる。

撮影制御部１７１は、操作入力部１３から入力される信号に従って、撮影部１２における撮影動作を制御する。
画像処理部１７２は、撮影部１２により生成された画像データに対してデモザイキング、ホワイトバランス処理、ガンマ補正等の画像処理を施すことにより、表示用の画像データを生成する。

マーキングリスト登録部１７３は、操作入力部１３から入力される信号に従って、撮影部１２により生成される画像データに識別情報として付与されるタグの名称を、マーキングリストに登録する。

マーキング処理部１７４は、操作入力部１３から入力される信号をトリガーとして、マーキングリストに登録されたタグの中から選択されたタグを画像データに付与する処理（以下、マーキング処理という）を実行する。

このような撮影装置１０は、被写体を撮影することにより、静止画又は動画の画像データを生成しつつ、所定のトリガーに応じて画像データにタグを付与し、所定のファイル形式で画像データ記憶部１６２に記憶させる。画像データ記憶部１６２に蓄積された画像ファイルは、ユーザの操作により、サーバ２０に送信される。

サーバ２０は、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現する。詳細には、サーバ２０は、当該サーバ２０を通信ネットワークＮに接続し、通信ネットワークＮに接続された他の機器との間で情報の送受信を行う通信部２１と、サーバ２０の動作を統括的に制御するプロセッサ２２と、撮影装置１０からアップロードされた画像データ（動画及び静止画の画像ファイル）を格納する画像データ記憶部２３と、被写体である不動産物件に関する情報（不動産物件名や所在地等の情報）を格納する物件情報データベース２４とを備える。

プロセッサ２２は、画像データ記憶部２３に格納された画像データに対して所定の画像処理を行う画像処理部２２１を有しても良い。具体的には、画像処理部２２１は、撮影装置１０からアップロードされた動画又は静止画の画像データをもとに、３次元的に表示される動画又は静止画の画像データを生成する処理を行う。具体的には、視差を利用した立体視用の画像データを生成する。もっとも、このような画像処理は、必ずしもサーバ２０において行う必要はなく、撮影装置１０や、後述する表示装置３０や、別途設けた画像処理用のコンピュータにおいて行っても良い。

サーバ２０は、撮影装置１０からアップロードされた画像に対して必要に応じて画像処理を施し、物件情報と関連付けて記憶すると共に、表示装置３０からの要求に従って、画像ファイルを表示装置３０に送信する。

表示装置３０は、２次元の静止画又は動画を表示することにより、３次元的な仮想空間をユーザに認識させる機器である。表示装置３０としては、ユーザの頭部に直接装着して用いられるゴーグル型の専用装置（所謂ヘッドマウントディスプレイ（ＨＭＤ））を用いても良いし、汎用のスマートフォンに専用のアプリケーションをインストールしたものをゴーグル型のホルダーに取り付けて用いても良い。

表示装置３０は、通信部３１と、操作入力部３２と、表示部３３と、向き及び姿勢検出部３４と、記憶部３５と、プロセッサ３６とを備える。通信部３１、操作入力部３２、表示部３３、記憶部３５、及びプロセッサ３６のハードウェアの構成は、撮影装置１０の通信部１１、操作入力部１３、表示部１４、記憶部１６、及びプロセッサ１７とそれぞれ同様である。

向き及び姿勢検出部３４は、ジャイロセンサ及び加速度センサ等の各種センサを含み、表示装置３０の向きや姿勢（鉛直軸に対する傾き）を検出する。

記憶部３５は、各種プログラム及びプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部３５１と、サーバ２０からダウンロードした画像データ（動画及び静止画の画像ファイル）を記憶する画像データ記憶部３５２とを含む。

プロセッサ３６は、プログラム記憶部３５１に記憶された各種プログラムを読み込むことにより、表示装置３０の各部を統括的に制御すると共に、画像データ記憶部３５２に記憶された画像データを表示部３３に表示させるための各種処理を実行する。プロセッサ３６が実行する機能部には、表示制御部３６１及び操作検出部３６２が含まれる。

表示制御部３６１は、画像データ記憶部３５２に記憶された画像データに基づいて、表示部３３に動画又は静止画を表示させる。また、表示制御部３６１は、操作検出部３６２による検出結果に基づいて、表示部３３に表示させる画像の範囲を変化させる制御や、表示部３３に表示させる画像を切り替える制御などを行う。

操作検出部３６２は、操作入力部３２から入力される信号や、向き及び姿勢検出部３４から出力される検出信号に従って、表示装置３０を装着したユーザが行った操作を検出する。例えば、操作検出部３６２は、向き及び姿勢検出部３４から出力された検出信号に基づいて、表示装置３０を装着したユーザの頭部の向きを検出することにより、ユーザが、表示中の画像内のどのオブジェクトに対して視線を向けているのか、或いは、そのオブジェクトに対して所定時間以上視線を向けているかといったことを判別する。

図２は、表示装置３０をユーザに装着させた状態を示す模式図である。図３は、表示部３３に表示される画面の一例を示す模式図である。表示装置３０としてスマートフォンを用いる場合、表示部３３が設けられた側をユーザに向けてホルダー３７に取り付けることにより、ユーザはハンズフリーで表示部３３を見ることができる。ホルダー３７の内部には、ユーザの左右の眼に対応する位置に２つのレンズがそれぞれ取り付けられている。ユーザに画像を立体視させる場合には、図３に示すように、表示部３３内の２つの領域３３ａ、３３ｂに、視差が設けられた２つの画像をそれぞれ表示させる。ユーザは、ホルダー３７内の２つのレンズを通して領域３３ａ、３３ｂを見ることにより、領域３３ａ、３３ｂに映った画像を３次元的に認識することができる。

次に、画像処理システム１の動作について説明する。
図４は、本発明の第１の実施形態における撮影装置１０の動作を示すフローチャートである。図５は、本発明の第１の実施形態における撮影手順の一例を説明するための模式図である。図６〜図９は、撮影装置１０の表示部１４に表示される画面を例示する模式図である。このうち、図６はマーキングリスト登録画面を示し、図７は撮影モードの選択画面を示し、図８は動画の撮影画面を示し、図９は静止画の撮影画面を示す。図１０Ａ及び図１０Ｂは、撮影装置１０による撮影手順の別の例を説明するための模式図である。

以下においては、一例として、図５に示す物件（マンションの１室）を撮影するものとして説明する。撮影する順序は特に限定されないが、ここでは、ユーザが、動画撮影ルートＲ１〜Ｒ４に沿って移動しながら４回動画撮影を行い、静止画撮影ポイントＰ１〜Ｐ１１において１１回静止画を撮影するものとする。

撮影装置１０において撮影部１２を起動することにより、図６に示すマーキングリスト登録画面が表示部１４に表示され、以下に説明する一連の撮影動作が開始される。

まず、ステップＳ１００において、撮影装置１０は、操作入力部１３から入力される信号に従って、マーキングリストを登録する。詳細には、例えば図５に示す不動産物件を撮影する場合、撮影を行うユーザは、間取り図を参照し、図６に示す入力欄１４ａに、各部屋の名称（例えば、玄関、キッチン、ベッドルーム等）をテキストで入力し、ＯＫボタン１４ｂをタップする。撮影装置１０は、ＯＫボタン１４ｂに対する操作を検知すると、入力欄１４ａに入力されたテキストをタグの名称としてマーキングリスト１４ｃに登録する。なお、タグの名称として入力するテキストは、部屋の名称に限定されない。要は、撮影を行うユーザ自身が、被写体（不動産物件）のどの位置（部分）を撮影しているのかを識別できる情報であれば良い。

続くステップＳ１０１において、撮影装置１０は、撮影モードが動画に設定されているか否かを判断する。詳細には、図７に示す撮影モード選択画面において、撮影モードを示すアイコン１４ｅのうち、「写真（静止画）」と「動画」のいずれが選択されているかを判断する。「動画」のアイコンが選択されている場合、撮影モードは動画に設定されており（ステップＳ１０１：Ｙｅｓ）、処理はステップＳ１０２に移行する。

ステップＳ１０２において、撮影装置１０は、マーキングリスト１４ｃに対する選択操作があったか否かを判定する。詳細には、図７に示すマーキングリスト１４ｃに表示されたタグの名称のいずれかに対して所定の操作（例えばタップ操作）がなされたか否かを判定する。

マーキングリスト１４ｃに対する選択操作を検知しない場合（ステップＳ１０２：Ｎｏ）、処理はステップＳ１０１に戻る。他方、マーキングリスト１４ｃに対する選択操作を検知した場合（ステップＳ１０２：Ｙｅｓ）、撮影装置１０は、選択されたタグを、動画撮影開始時点におけるタグとして登録する（ステップＳ１０３）。

なお、動画撮影開始時点におけるタグの登録は、動画撮影開始直後に手動で行っても良い（後述するステップＳ１０５〜Ｓ１０７参照）。その場合には、ステップＳ１０２、Ｓ１０３を省略しても良い。

続くステップＳ１０４において、撮影装置１０は、操作入力部１３に対する所定の操作（例えば撮影ボタンへの操作）に応じて動画撮影を開始する。これにより、図８に例示する動画撮影画面が表示部１４に表示され、撮影部１２により取り込まれた画像１４ｄが動画として記録される。ユーザは、動画を撮影しながら、不動産物件内を移動する。

ステップＳ１０５において、撮影装置１０は、マーキングリスト１４ｃに対する選択操作があったか否かを判定する（ステップＳ１０５）。詳細には、図８に示すマーキングリスト１４ｃに表示されたタグの名称のいずれかに対して所定の操作（例えばタップ操作）がなされたか否かを判定する。

マーキングリスト１４ｃに対する選択操作を検知しない場合（ステップＳ１０５：Ｎｏ）、撮影装置１０はそのまま待機する。他方、マーキングリスト１４ｃに対する選択操作を検知した場合（ステップＳ１０５：Ｙｅｓ）、撮影装置１０は続いて、登録ボタン１４ｆへの操作（例えばタップ操作）を検知したか否かを判定する（ステップＳ１０６）。図８は、「ベッドルーム」のタグが選択されている状態を示している。登録ボタン１４ｆへの操作を検知しない場合（ステップＳ１０６：Ｎｏ）、処理はステップＳ１０５に戻る。

他方、登録ボタン１４ｆへの操作を検知した場合（ステップＳ１０６：Ｙｅｓ）、撮影装置１０は、マーキング処理を行う（ステップＳ１０７）。即ち、登録ボタン１４ｆが操作されたタイミングで生成されたフレームの画像データに対して、ステップＳ１０５において選択されたタグを付与する。タグを付与するフレームは、登録ボタン１４ｆが操作されている間に生成されたフレームのみであっても良いし、登録ボタン１４ｆが操作されている間に生成されたフレームを含む所定範囲のフレームであっても良い。

ユーザは、動画撮影を行いながら随時マーキング処理（タグの選択及び付与）を行う。それにより、動画撮影ルートＲ１の複数箇所で撮影されたフレームに、選択されたタグＴ１〜Ｔ８が付与される。

ここで、ユーザは、マーキング処理を行うタグを、マーキングリストの中から任意に選択することができる。そのため、互いに異なる動画を構成するフレーム同士や、同じ動画の中でも撮影した位置（時刻）が異なるフレーム同士に、同じタグが付与されることがある。例えば、図５に示すように、動画撮影ルートＲ１においてタグＴ３（例えば、「廊下」のタグ）を選択してマーキング処理を行い、別の動画撮影ルートＲ４において同じタグＴ３を選択してマーキング処理を行うと、２つの動画の中に、同じタグＴ３が付与されたフレームが存在することになる。このように、同じタグＴ３が付与されたフレーム同士は、付与されたタグＴ３をキーとして紐付けられる。

続くステップＳ１０８において、撮影装置１０は、動画撮影の終了操作（例えば撮影ボタンの再押下操作）を検知したか否かを判定する。動画撮影の終了操作を検知しない場合（ステップＳ１０８：Ｎｏ）、処理はステップＳ１０５に戻る。他方、動画撮影の終了操作を検知した場合（ステップＳ１０８：Ｙｅｓ）、処理は後述するステップＳ１０９に移行する。例えば、図５に示すように、動画撮影ルートＲ１の撮影が終了し、次の動画撮影ルートＲ２で撮影を行うときには、動画撮影ルートＲ１の終点（リビング）において動画撮影を一旦終了し（ステップＳ１０８：Ｙｅｓ）、動画撮影ルートＲ２の始点（キッチンの入口）に移動して動画撮影を再開する（ステップＳ１０９：Ｎｏ、Ｓ１０１：Ｙｅｓ）。なお、動画の撮影順はこれに限定されず、任意の順序で行って良い。

ステップＳ１０９において、撮影装置１０は、動画又は静止画の撮影動作を終了するか否かを判定する。例えば、撮影装置１０の電源がオフにされる、所定の終了操作がなされるといった場合、撮影動作はそのまま終了する（ステップＳ１０９：Ｙｅｓ）。他方、撮影動作を終了しない場合（ステップＳ１０９：Ｎｏ）、処理はステップＳ１０１に戻る。

また、ステップＳ１０１において、撮影モードが動画に設定されていない場合（ステップＳ１０１：Ｎｏ）、即ち、撮影モードが静止画モードの場合、図９に例示する静止撮影画面が表示部１４に表示される。

撮影装置１０は、マーキングリスト１４ｃへの選択操作を検知したか否かを判定する（ステップＳ１１１）。マーキングリスト１４ｃに対する選択操作を検知しない場合（ステップＳ１１１：Ｎｏ）、処理はステップＳ１０９に移行する。

他方、マーキングリスト１４ｃへの選択操作を検知した場合（ステップＳ１１１：Ｙｅｓ）、撮影装置１０は続いて、登録ボタン１４ｆへの操作（例えばタップ操作）を検知したか否かを判定する（ステップＳ１１２）。なお、静止画の撮影モードにおいては、登録ボタン１４ｆが撮影ボタンを兼ねている。登録ボタン１４ｆ（撮影ボタン）への操作を検知しない場合（ステップＳ１１２：Ｎｏ）、処理はステップＳ１０９に移行する。

他方、登録ボタン１４ｆ（撮影ボタン）への操作を検知した場合（ステップＳ１１２：Ｙｅｓ）、撮影装置１０は、静止画を撮影すると共に、当該静止画にマーキング処理を行う。詳細には、登録ボタン１４ｆ（撮影ボタン）がタップ操作されたタイミングで撮影部１２により取り込まれた画像１４ｄを静止画として記録すると共に、その画像データに、選択されたタグを付与する。その後、処理はステップＳ１０９に移行する。

ここで、ステップＳ１１１〜Ｓ１１３に示すように、静止画モードの場合、ユーザは、マーキングリストから任意のタグを選択しないと静止画を撮影することができない。言い換えると、全ての静止画にはいずれかのタグが付与されることになる。従って、全ての静止画は、動画を構成するいずれかのフレームと、同一のタグによって紐付けられる。例えば、動画撮影ルートＲ１の撮影中にタグＴ５（「ベランダ」のタグ）によるマーキング処理が行われ、その後、タグＴ５を選択して静止画撮影ポイントＰ６の静止画撮影が行われたとする。この場合、動画のうちタグＴ５が付与されたフレームと、タグＴ５が付与された静止画とが、同じタグＴ５をキーとして紐付けられる。

このような撮影動作により生成された画像データは、画像データ記憶部１６２に一旦記憶された後、通信ネットワークＮを介してサーバ２０にアップロードされ、必要に応じて画像処理が施される。

ここで、動画撮影ルートＲ１〜Ｒ４における動画の撮影順序と、静止画撮影ポイントＰ１〜Ｐ１１における静止画の撮影順序は、特に限定されない。例えば、全ての動画の撮影が終わった後で、静止画の撮影を開始しても良いし、その逆であってもよい。或いは、動画の撮影と静止画の撮影を交互に行っても良い。例えば、動画撮影ルートＲ１における動画撮影が終了した後、静止画撮影ポイントＰ５、Ｐ６、Ｐ７の静止画撮影を行い、その後で、動画撮影ルートＲ２における動画撮影を行う、といった具合である。

上述したように、本実施形態においては、予めマーキングリストを登録し、登録ボタン１４ｆに対する操作をトリガーとして、マーキングリストの中から選択されたタグを動画又は静止画の画像データに付与する。そのため、撮影順を気にすることなく動画及び静止画の撮影を行っても、撮影中に行われたマーキング処理により、動画内の所望のフレーム同士、又は動画内の所望のフレームと静止画とを紐付けることができる。従って、任意の画像（フレーム）同士の関係が整理された動画及び静止画の画像データを取得することができる。

上記説明においては、動画撮影を複数回行ったが（図５参照）、動画撮影は１回のみであっても良い。例えば、図１０Ａに示すように、動画撮影ルートＲ２０に沿って、一筆書きのように全ての部屋を巡りながら動画撮影を行い、随時マーキング処理を行う（タグＴ２１〜Ｔ２７参照）。その後、ユーザ所望の箇所で、静止画の撮影兼マーキング処理を行っても良い（静止画撮影ポイントＰ２１〜Ｐ２６及びタグＴ２２〜Ｔ２７参照）。

ここで、動画撮影ルートＲ２０中の異なる箇所に、同じタグによるマーキング処理が行われることがある。例えば図１０Ａにおいては、玄関からリビング＆キッチンに入った直後に、タグＴ２１によるマーキング処理が行われ、洋室（２）から再びリビング＆キッチンに入ったところで、再度、タグＴ２１によるマーキング処理が行われているため、撮影時刻が異なるフレームが互いに紐付けられていることになる。後で詳しく説明するが、タグは、表示装置３０に表示された画像を切り替える際の目印として用いられる。従って、図１０Ａに示すように、動画撮影ルートＲ２０に沿って撮影された動画において、同じタグＴ２１が付与されたフレームが異なる箇所に存在するということは、図１０Ｂに示すように、時系列順に動画を表示して方向Ａに進むか、フレームをスキップして方向Ｂに進むかの選択肢が得られるということになる。

また、動画を撮影する際には、１つの動画撮影ルートを一度通るだけでなく、同じルートを往復しても良い。この場合、往路と復路とにおいて、同じ位置で同じタグによるマーキング処理を行うことにより、位置は同じであっても向きの異なる画像を取得することができる。つまり、視野の広い画像を得ることができる。従って、画角が１８０°以上の広角レンズを用い、同じルートを往復して動画撮影を行うことにより、全天球画像に相当する動画を取得することも可能である。

次に、撮影装置１０により撮影された画像を表示装置３０において表示する動作について説明する。以下においては、ある不動産物件において撮影された２つの動画Ｉ_V1、Ｉ_V2及び２つの静止画Ｉ_S1、Ｉ_S2を表示する場合を説明する。表示装置３０において画像を表示する際には、これらの動画及び静止画の画像ファイルをサーバ２０から順次、又はまとめてダウンロードする。画像ファイルを順次ダウンロードする場合には、画像表示を早く開始できるという利点がある。これに対し、全ての画像ファイルを予めダウンロードしておく場合には、画像の表示切替がスムーズになるという利点がある。いずれの方法にするかについては、通信環境その他の条件に応じて適宜選択すれば良い。本実施形態においては、前者とする。

図１１Ａ〜図１１Ｃは、表示装置３０における画像の表示切替動作を説明するための模式図である。図１１Ａ〜図１１Ｃは、動画Ｉ_V1、Ｉ_V2及び静止画Ｉ_S1の間における画像の表示切替動作を示している。

図１１Ａ〜図１１Ｃにおいては、動画Ｉ_V1、Ｉ_V2及び静止画Ｉ_S1のいずれも、撮影装置１０の周囲３６０°の被写体が写った全天球画像であるとしている。また、表示範囲Ｖは、これらの動画Ｉ_V1、Ｉ_V2及び静止画Ｉ_S1のうち、表示装置３０の表示部３３（各表示領域３３ａ、３３ｂ）に一度に表示される範囲を示している。動画Ｉ_V1、Ｉ_V2及び静止画Ｉ_S1に対する表示範囲Ｖの位置は、向き及び姿勢検出部３４の検出結果（即ち、表示装置３０を装着したユーザの頭部の向きや姿勢）に応じて変化する。つまり、画像を鑑賞するユーザにとっては、頭部を動きに合わせて、視界に入る景色が変化することになる。

表示範囲Ｖは、一般的な人の視野角度を考慮して決定すると良い。例えば、静止している人の一般的な視野角度は左右に１８０°程度（片側９０°程度）であるが、運動（例えば歩行）している場合には、視野の中心領域以外（左右の端部など）の視認性が低下する。そのため、動画の表示中には、１８０°よりも狭い範囲（例えば１５０°）を表示範囲Ｖとして設定し、静止画の表示中には、１８０°若しくはそれよりも広い範囲を表示範囲Ｖとして設定するなど、適宜調整しても良い。言い換えると、動画の場合には、撮影者の移動方向を中心とする所定範囲のみを撮影し、静止画の場合には、ユーザが立ち止まって振り返り、周りを見渡すといった動作を考慮して、全天球画像を撮影するなど、動画と静止画とで撮影方法を変えても良い。それにより、トータルの画像ファイルのサイズを抑制しつつ、ユーザにとって自然に画像を鑑賞することができるコンテンツを作成することができる。

表示装置３０は、動画Ｉ_V1を表示部３３に表示するときには、動画Ｉ_V1の画像ファイルを読み込んで再生する一方（図１１Ａの実線参照）、動画Ｉ_V2及び静止画Ｉ_S1の画像ファイルは非表示にしておく（図１１Ａの破線参照）。その後、静止画Ｉ_S1を表示するときには、静止画Ｉ_S1の画像ファイルを読み込み、動画Ｉ_V1の再生を一時停止して静止画Ｉ_S1に表示を切り替える（図１１Ｂ参照）。次に動画Ｉ_V1の再生を再開するときには、動画Ｉ_V1の一時停止を解除して、静止画Ｉ_Sを非表示にして、動画Ｉ_V1に表示を切り替える（図１１Ａ参照）。これにより、先に動画Ｉ_V1を一時停止したタイミングから動画Ｉ_V1の表示を再開することができる。

また、動画Ｉ_V1から動画Ｉ_V2に表示を切り替えるときには、動画Ｉ_V2の画像ファイルを読み込んで再生を開始すると共に（図１１Ｃの実線参照）、動画Ｉ_V1の再生を一時停止する。その後、動画Ｉ_V1の画像ファイルを閉じる（図１１Ｃの破線参照）。これは、ユーザが、動画Ｉ_V1から動画Ｉ_V2に表示を切り替えた後で、再び動画Ｉ_V1の同じ箇所から再生させるとは限らないからである。

図１２は、表示装置３０の動作を示すフローチャートである。図１３〜図１５は、表示装置３０における画像の表示例を示す模式図である。以下においては、表示装置３０の表示部３３に表示され、視差を利用した立体視により３次元的に認識される動画又は静止画のことを、ＶＲ動画又はＶＲ静止画ともいう。表示部３０においてＶＲ動画又はＶＲ静止画を表示することをＶＲ表示ともいう。

まず、ステップＳ２００において、表示装置３０は、サーバ２０から読み込んだ動画の画像ファイルを開き、ＶＲ動画の再生を行う。例えば不動産物件の画像を表示する場合には、図１３に例示するように、玄関に入ったシーンからスタートする動画（例えば図５に示す動画撮影ルートＲ１の動画）を最初に表示するなど、予め設定しておく。

続くステップＳ２０１において、表示装置３０は、動画の再生を開始してから現在に至るまでの時間（再生時間）、言い換えると、動画のフレーム番号を取得する。

続くステップＳ２０２において、表示装置３０は、現在の再生時間が、マーキングされたフレームの再生時間内であるか否かを判定する。つまり、現在表示しているフレームにタグが付与されているか否かを判定する。マーキングされたフレームの再生時間内でない場合（ステップＳ２０２：Ｎｏ）、処理はステップＳ２１９に移行する。

ステップＳ２１９において、表示装置３０は画像の表示を終了するか否かを判断する。例えば、表示装置３０の電源がオフにされる、画像の表示を中止させるための所定の入力操作が行われる、表示中のＶＲ動画が最終フレームに至るといった場合には、画像の表示を終了すると判断する。画像の表示を終了すると判断した場合（ステップＳ２１９：Ｙｅｓ）、表示装置３０は画像の表示を終了する。他方、画像の表示を終了しないと判定した場合（ステップＳ２１９：Ｎｏ）、処理はステップＳ２００に戻る。

他方、現在の再生時間が、マーキングされたフレームの再生時間内である場合（ステップＳ２０２：Ｙｅｓ）、表示装置３０は、表示中のフレームと紐付けられた画像（紐付き先の画像）を検索する（ステップＳ２０３）。つまり、表示中のフレームに付与されたタグと同じタグが付与された静止画、又は動画内のフレームを検索する。

続くステップＳ２０４において、表示装置３０は、紐付き先の画像が、現在表示中の画像（動画）ファイル内に含まれるか否かを判定する。紐付き先の画像が現在表示中の画像ファイル内に含まれない場合（ステップＳ２０４：Ｎｏ）、表示装置３０は、紐付き先の画像を含む画像ファイルをサーバ２０から読み込む（ステップＳ２０５）。

続いて、表示装置３０は、現在表示中の画像（フレーム）に付与されているタグを画面に表示する（ステップＳ２０６）。例えば図１３は、「応接室」の名称を付けられたタグＴが表示されているシーンを示している。或いは、テキストが記載されたタグＴの代わりに、アイコン状のタグＴ’を表示しても良い。

続くステップＳ２０７において、表示装置３０は、表示されたタグが選択されたか否かを判定する。例えば、操作検出部３６２により、ユーザがタグに対して所定時間以上視線を向けたことが検出された、或いは、操作入力部３２に対して所定の操作（例えば操作ボタンの押下）が行われた、といった場合に、タグが選択されたと判定される。

表示されたタグが選択されなかった場合（ステップＳ２０７：Ｎｏ）、処理はステップＳ２１９に移行する。この場合、画像の表示を終了する判断がなされない限り（ステップＳ２１９：Ｎｏ）、処理はステップＳ２００に戻り、動画が引き続き再生される。例えば、図１３に示すシーンにおいて「応接室」のタグＴが選択されなかった場合、ＶＲ動画はそのまま再生され続け、廊下の奥にあるリビングルーム（図１４参照）までの道筋が連続的に表示される。

他方、表示されたタグが選択された場合（ステップＳ２０７：Ｙｅｓ）、表示装置３０は、現在表示中のＶＲ動画の再生を一時停止させる（ステップＳ２０８）。

続くステップＳ２０９において、表示装置３０は、ステップＳ２０５において読み込まれた画像ファイルが動画であるか否かを判定する。画像ファイルが動画でない場合、即ち静止画である場合（ステップＳ２０９：Ｎｏ）、表示装置３０は、読み込まれた画像ファイルをもとに、表示部３３にＶＲ静止画を表示させる（ステップＳ２１０）。

続くステップＳ２１１において、表示装置３０は、ＶＲ静止画が表示された画面に、終了タグを表示させ、終了タグが選択されたか否かを判定する（ステップＳ２１２）。タグが選択されたか否かの判定方法は、ステップＳ２０７と同様である。

終了タグが選択されなかった場合（ステップＳ２１２：Ｎｏ）、処理はステップＳ２１０に戻る。この場合、同じＶＲ静止画が表示され続ける。他方、終了タグが選択された場合（ステップＳ２１２：Ｙｅｓ）、表示装置３０は、ＶＲ静止画を非表示とし（ステップＳ２１３）、処理はステップＳ２１９に移行する。この場合、画像の表示を終了する判断がなされない限り（ステップＳ２１９：Ｎｏ）、処理はステップＳ２００に戻り、一時停止されていた動画（ステップＳ２０８参照）が引き続き再生される。

また、ステップＳ２０５で読み込まれた画像ファイルが動画である場合（ステップＳ２０９：Ｙｅｓ）、表示装置３０は、読み込まれた画像ファイルのうち、ステップＳ２０７で選択されたタグと紐付けられたフレームにジャンプする（ステップＳ２１４）。そして、表示部３３における表示を、紐付き先のＶＲ動画に切り替える（ステップＳ２１５）。その後、処理はステップＳ２１９（ステップＳ２１９：Ｎｏ）を経てステップＳ２００に戻り、ジャンプしたフレームからＶＲ動画の再生が行われる。

また、ステップＳ２０４において、表示中のフレームの紐付き先の画像が、表示中の画像（動画）ファイルに含まれる場合（ステップＳ２０４：Ｙｅｓ）、表示装置３０は、表示中の画像（フレーム）に付与されているタグを画面に表示する（ステップＳ２１６）。

続くステップＳ２１７において、表示装置３０は、表示されたタグが選択されたか否かを判定する。タグが選択されたか否かの判定方法は、ステップＳ２０７と同様である。

タグが選択された場合（ステップＳ２１７：Ｙｅｓ）、表示装置３０は、紐付き先のフレームにスキップする（ステップＳ２１８）。その後、処理はステップＳ２００に移行し、スキップしたフレームからＶＲ動画の再生が行われる。

以上説明した表示装置３０の動作を、図１６〜図１８Ｂを参照しながら、より詳しく説明する。図１６〜図１８Ｂは、表示装置３０における画像の表示切替タイミングを示すタイミングチャートである。

図１６に示すように、動画Ｉ_V1の再生開始後、時刻ｔ１に至ると、タグＭ１が付与されたフレームの再生時間となる（ステップＳ２０２：Ｙｅｓ）。このタグＭ１は動画Ｉ_V1とは異なる画像ファイル（静止画Ｉ_S1）と紐付けられているため（ステップＳ２０４：Ｎｏ）、静止画Ｉ_S1の画像ファイルの読み込みが行われる（ステップＳ２０５）。しかしながら、画面に表示されたタグＭ１が選択されない場合（ステップＳ２０６、Ｓ２０７：Ｎｏ）、そのまま動画Ｉ_V1の表示が継続される（ステップＳ２０１）。

他方、動画Ｉ_V1の再生開始後、時刻ｔ２に至ると、タグＭ２が付与されたフレームの再生時間となる（ステップＳ２０２：Ｙｅｓ）。このタグＭ２は動画Ｉ_V1とは異なる画像ファイル（静止画Ｉ_S2）と紐付けられているため（ステップＳ２０４：Ｎｏ）、静止画Ｉ_S2の画像ファイルの読み込みが行われる（ステップＳ２０５）。そして、画面に表示されたタグＭ２が選択されると（ステップＳ２０６、Ｓ２０７：Ｙｅｓ）、動画Ｉ_V1の表示が一時停止される（ステップＳ２０８）。そして、ステップＳ２０５において読み込まれた画像ファイルが静止画Ｉ_S2の画像ファイルであるため（ステップＳ２０９：Ｎｏ）、この静止画Ｉ_S2のＶＲ表示が行われる（ステップＳ２１０）。その後、画面に表示された終了タグが時刻ｔ４において選択されると（ステップＳ２１１、Ｓ２１２：Ｙｅｓ）、それまで表示されていた静止画（静止画Ｉ_S2）が非表示とされ（ステップＳ２１３）、動画Ｉ_V1の表示が再開される（ステップＳ２１９：Ｎｏ、Ｓ２００）。このとき、動画Ｉ_V1は、時刻ｔ３において一時停止された続きから再生される。

また、図１７に示すように、動画Ｉ_V1の再生開始後、時刻ｔ５に至ると、タグＭ３が付与されたフレームの再生時間となる（ステップＳ２０２：Ｙｅｓ）。このタグＭ３は動画Ｉ_V1とは異なる画像ファイル（動画Ｉ_V2）と紐付けられているため（ステップＳ２０４：Ｎｏ）、動画Ｉ_V2の画像ファイルの読み込みが行われる（ステップＳ２０５）。そして、画面に表示されたタグＭ３が選択されると（ステップＳ２０６、Ｓ２０７：Ｙｅｓ）、動画Ｉ_V1の表示が停止され（ステップＳ２０８）、タグＭ３の紐付き先である動画Ｉ_V2のフレームにジャンプする（ステップＳ２０９：Ｙｅｓ、Ｓ２１４）。そして、表示部３３における表示が、動画Ｉ_V2に切り替えられ、ジャンプしたフレームからＶＲ動画の再生が行われる（ステップＳ２１９：Ｎｏ、Ｓ２００）。この後、動画Ｉ_V1の画像ファイルは一旦閉じられる。動画Ｉ_V2の再生開始後、タグＭ４が付与されたフレームの再生時間に至った後の処理についても同様である。

また、図１８Ａに示すように、動画Ｉ_V1を構成するフレームに対し、時刻ｔ６及びｔ９近傍のフレームにタグＭ５が付与され、時刻ｔ７及びｔ８近傍のフレームにタグＭ６が付与されているとする。この場合、図１８Ｂに示すように、動画Ｉ_V1の再生開始後、時刻ｔ６に至ると、タグＭ５が付与されたフレームの再生時間となる（ステップＳ２０２：Ｙｅｓ）。このタグＭ５は、同じ動画Ｉ_V1の画像ファイル内のフレームと紐付けられている（ステップＳ２０４：Ｙｅｓ）。そのため、タグＭ５が表示され（ステップＳ２１６）、このタグＭ５が選択されると（ステップＳ２１７：Ｙｅｓ）、表示部３３における表示が紐付き先のフレーム、即ち、同じタグＭ５が付与された時刻ｔ９からのフレームにスキップし（ステップＳ２１８）、そこから動画Ｉ_V1の再生が行われる（ステップＳ２００）。

以上説明したように、本発明の第１の実施形態によれば、ユーザは、動画及び静止画によって構成される３次元的な空間内をリアルな感覚で移動することができる。

また、本発明の第１の実施形態によれば、従来よりも時間及び手間を要することなく、被写体を撮影することにより得られた画像を素材として、画像表示の際にユーザによる操作や動作に応じたイベントを発生させるデータを作成し、このデータに基づいて画像表示を行うことが可能となる。

詳細には、本発明の第１の実施形態によれば、予め設定したタグによりマーキングしながら動画又は静止画を撮影するので、ＶＲ表示するための画像データを生成する際に、画像の表示切替等のイベントを発生させるために必要な情報を画像データに埋め込むための編集作業を改めて行う必要がなくなる。従って、従来よりも低い作業コストで、短時間に、ＶＲ表示のための画像データを生成することが可能となる。

また、本発明の第１の実施形態によれば、予め設定したタグによりマーキングしながら被写体を撮影するので、画像の表示順序を考慮して撮影順序を決定したり、撮影後に時系列を整えるための編集作業を行ったりする必要がなくなる。つまり、ユーザは、所望の順序で、又はやり易い順序で被写体を撮影すれば良い。

また、本発明の第１の実施形態によれば、タグによって紐付けられた画像間で表示を切り替える際に、次に表示される可能性のある画像の画像ファイルの読み込みを開始した後で、画面にタグを表示するので、画像の切替えをスムーズに行うことができる。

また、本発明の第１の実施形態によれば、被写体を撮影することによって得られた２次元の動画や静止画を用いて、３Ｄ空間をＶＲ表示するための画像データを生成するので、３ＤＣＧを作成するときのような高度且つ演算コストの高い画像処理を行う必要がなくなる。従って、高スペックな機器を使用して長時間作業をする必要もなくなり、ＶＲ表示のための画像データを従来よりも低コスト且つ簡単に作成することが可能となる。

次に、本発明の第１の実施形態の変形例について説明する。図１９は、第１の実施形態の変形例における表示装置３０の動作を示すフローチャートである。図２１は、本変形例における表示装置３０での表示例を示す模式図である。上記第１の実施形態においては、一連の画像表示を行う際に、動画の表示から開始することとしたが、動画と静止画の表示の順はこれに限定されるものではない。

まず、ステップＳ２３０において、表示装置３０は、サーバ２０から読み込んだ画像ファイルが、動画の画像ファイルであるか否かを判定する。画像ファイルが動画の画像ファイルである場合（ステップＳ２３０：Ｙｅｓ）、処理はステップＳ２００に移行する。その後のステップＳ２００〜Ｓ２１５及びＳ２１６〜Ｓ２１８は、上記第１の実施形態と同様である。ただし、ステップＳ２０９において、読み込んだ画像ファイルが静止画の画像ファイルである場合（ステップＳ２０９：Ｎｏ）、処理はステップＳ２３１に移行する。

また、ステップＳ２４０において、表示装置３０は、表示中のＶＲ動画（ステップＳ２０２：Ｎｏ、ステップＳ２０７：Ｎｏ）、又は、表示切替（ステップＳ２１５参照）をしたＶＲ動画が終了したか否か、即ち、最終フレームに至ったか否かを判定する。そして、ＶＲ動画がまだ終了していない場合（ステップＳ２４０：Ｎｏ）、処理はステップＳ２００に移行する。他方、ＶＲ動画が終了した場合（ステップＳ２４０：Ｙｅｓ）、処理はステップＳ２４１に移行する。

ステップＳ２４１において、表示装置３０はさらに、画像の表示を終了するか否かを判断する。例えば、表示装置３０の電源がオフにされる、或いは、画像の表示を中止させるための所定の入力操作が行われるといった場合、画像の表示を終了すると判断する。画像の表示を終了すると判断した場合（ステップＳ２４１：Ｙｅｓ）、表示装置３０は画像の表示を終了する。他方、画像の表示を終了しないと判断した場合（ステップＳ２４１：Ｎｏ）、処理はステップＳ２３０に戻る。

他方、サーバ２０から読み込んだ画像ファイルが動画の画像ファイルでない場合（ステップＳ２３０：Ｎｏ）、即ち、静止画の画像ファイルである場合、表示装置３０は、当該画像ファイルに基づき、静止画を画面に表示させる（ステップＳ２３１）。例えば、図２０は、ある建物の入り口を入った所にある玄関ホールと、入口付近から見える３つの会議室のドアとが写った静止画を示している。

続く、ステップＳ２３２において、表示装置３０は、ＶＲ静止画が表示された画面に、当該ＶＲ静止画の画像ファイルと紐付けられた画像ファイルにジャンプするためのタグを表示させる。例えば、図２０に示す静止画の画像ファイルに対し、３つの会議室の内部をそれぞれ表す３つの画像ファイルが紐付けられている場合、表示装置３０は、３つの会議室の名称（例えば、Ａ会議室、Ｂ会議室、及びＣ会議室）をそれぞれ表すタグＴ（ａ）、Ｔ（ｂ）、Ｔ（ｃ）を画面に表示させる。なお、各会議室の内部を表す画像ファイルは、動画の画像ファイルであっても良いし、静止画の画像ファイルであっても良い。また、会議室の内部を表す画像ファイルに対し、上記第１の実施形態と同様にマーキング処理が施されていても良い。

続くステップＳ２３３において、表示装置３０は、画面に表示されたタグのうちのいずれかが選択されたか否かを判定する。タグが選択されたか否かの判定方法は、ステップＳ２０７と同様である。

いずれのタグも選択されない場合（ステップＳ２３３：Ｎｏ）、表示装置３０はＶＲ静止画の表示を継続する（ステップＳ２３１）。他方、表示されたタグのいずれかが選択された場合（ステップＳ２３３：Ｙｅｓ）、表示装置３０は、選択されたタグに対応する画像ファイルをサーバ２０から読み込む（ステップＳ２３４）。その後、処理はステップＳ２４１に移行する。その後、画像の表示を終了しない場合（ステップＳ２４１：Ｎｏ）、表示装置３０は、ステップＳ２３４において読み込んだ画像ファイルが動画の画像ファイルであるか否かを判定し（ステップＳ２３０）、判定結果に応じて、動画又は静止画を表示する（ステップＳ２００、Ｓ２３１）。その後のステップは上述したとおりである。

以上説明したように本変形例によれば、ユーザは、静止画に表示されるタグを選択することにより、画像によって構成される３次元的な空間内の所望の場所に移動することができる。

なお、上記変形例においては、タグの選択後（ステップＳ２３３：Ｙｅｓ）に、選択されたタグに対応する画像ファイルを読み込むこととしたが、タグが選択される前に、表示された全てのタグに対応する画像ファイルを読み込むこととしても良い。この場合、タグが選択されてから、選択されたタグに対応する画像ファイルに基づく画像が表示されるまでの時間を短縮することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理システムの構成は、全体として第１の実施形態と同様であり（図１参照）、撮影装置１０の動作の一部が第１の実施形態と異なっている。

図２１は、本発明の第２の実施形態における撮影装置１０の動作を示すフローチャートである。図２２は、撮影装置１０の表示部１４に表示される画面を例示する模式図である。

まず、ステップＳ３００において、撮影装置１０は、撮影モードが動画に設定されているか否かを判断する。撮影モードが動画に設定されている場合（ステップＳ３００：Ｙｅｓ）、撮影装置１０は、操作入力部１３に対する所定の操作（例えば撮影ボタンへの操作）に応じて動画撮影を開始する（ステップＳ３０１）。これにより、撮影部１２により取り込まれた画像が動画として記録される。

続くステップＳ３０２において、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、動画撮影開始位置として登録する。

続くステップＳ３０３において、撮影装置１０は、登録ボタン１４ｆ（図２２参照）への操作（例えばタップ操作）を検知したか否かを判定する（ステップＳ３０３）。登録ボタン１４ｆへの操作を検知しない場合（ステップＳ３０３：Ｎｏ）、撮影装置１０は動画の撮影を継続しながら登録ボタンへの操作を待機する。

他方、登録ボタン１４ｆへの操作を検知した場合（ステップＳ３０３：Ｙｅｓ）、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、画像の識別情報として登録する（ステップＳ３０４）。詳細には、マーキング処理部１７４が、登録ボタン１４ｆへの操作を検知したタイミングで生成されたフレームを識別する情報（例えばフレーム番号）と位置情報とを対応づけるリストを作成し、記憶部１６に記憶させておく。或いは、生成されたフレームの画像データに対し、位置情報を直接埋め込んでも良い。ここで登録される位置情報は、ステップＳ３０２において登録された初期位置に対する相対位置としても良い。

続くステップＳ３０５において、撮影装置１０は、動画撮影の終了操作（例えば撮影ボタンの再押下操作）を検知したか否かを判定する。動画撮影の終了操作を検知しない場合（ステップＳ３０５：Ｎｏ）、処理はステップＳ３０３に戻る。他方、動画撮影の終了操作を検知した場合（ステップＳ３０５：Ｙｅｓ）、処理はステップＳ３０６に移行する。

ステップＳ３０６において、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、動画撮影終了位置として登録する。

ステップＳ３０７において、撮影装置１０は、動画又は静止画の撮影動作を終了するか否かを判定する。例えば、撮影装置１０の電源がオフにされる、所定の終了操作がなされるといった場合、撮影動作はそのまま終了する（ステップＳ３０７：Ｙｅｓ）。他方、撮影動作を終了しない場合には（ステップＳ３０７：Ｎｏ）には、処理はステップＳ３００に戻る。

また、ステップＳ３００において、撮影モードが動画に設定されていない場合（ステップＳ３００：Ｎｏ）、即ち、撮影モードが静止画モードの場合、撮影装置１０は、静止画の撮影ボタンへの操作を検知したか否かを判定する（ステップＳ３１１）。撮影ボタンへの操作を検知した場合（ステップＳ３１１：Ｙｅｓ）、撮影装置１０は静止画撮影を行う（ステップ３１２）。これにより、撮影部１２により取り込まれた画像が静止画として記録される。

続くステップＳ３１３において、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、画像の識別情報として登録する（ステップＳ３１３）。詳細には、マーキング処理部１７４が、ステップＳ３１２において撮影された静止画の画像データに対し、位置情報を付与する。このときの位置情報は、ステップＳ３０２において登録された初期値に対する相対位置としても良い。
その後、処理はステップＳ３０７に移行する。

このようにして撮影された動画及び静止画は、それぞれの画像データに付与された位置情報を識別情報として、互いに紐付けられる。識別情報として用いる場合、位置情報はピンポイントである必要はなく、例えば、ある画像データに付与された位置情報を中心とする所定範囲（例えば数１０ｃｍ〜数メートル）に、別の画像データの位置情報が含まれる場合、それらの画像には同じ識別情報が付与されているものと判断される。

以上説明したように、本発明の第２の実施形態によれば、自動で検出された位置情報によって画像をマーキングするので、撮影時に手動でマーキング処理を行う手間を省くことができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像処理システムの構成は、全体として第１の実施形態と同様であり（図１参照）、本実施形態においては、撮影装置１０により生成した動画又は静止画の画像データをもとに、３Ｄモデルの画像データを構築する点で、上記第１及び第２の実施形態と異なっている。

図２３は、本発明の第３の実施形態における撮影装置１０の動作を示すフローチャートであり、３Ｄモデルの画像データを構築するための画像を取得するための動作を示している。ただし、撮影装置１０が生成する画像データは、第１及び第２の実施形態と同様、２次元的な動画又は静止画の画像データで良い。以下においては、動画を撮影する場合の動作を説明する。

まず、ステップＳ４０１において、撮影装置１０は、３Ｄ画像用の撮影を開始する。詳細には、撮影装置１０は、操作入力部１３に対する所定の操作（例えば撮影ボタンへの操作）に応じて動画撮影を開始する。

続くステップＳ４０２において、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、動画撮影開始位置として登録する。

続くステップＳ４０３において、撮影装置１０は、所定の登録ボタン（例えば図２２に示す登録ボタン１４ｆ）への操作（例えばタップ操作）を検知したか否かを判定する。登録ボタン１４ｆへの操作を検知しない場合（ステップＳ４０３：Ｎｏ）、撮影装置１０は動画の撮影を継続しながら登録ボタンへの操作を待機する。

他方、登録ボタンへの操作を検知した場合（ステップＳ４０３：Ｙｅｓ）、撮影装置１０は、位置検出部１５から出力された位置情報を取得し、画像の識別情報として登録する（ステップＳ４０４）。詳細には、マーキング処理部１７４が、撮影中の画像（フレーム）の画像データに対して、位置情報を付与ことによりマーキングを行う。このときの位置情報は、ステップＳ４０２において登録された初期位置に対する相対位置としても良い。

続くステップＳ４０５において、撮影装置１０は、撮影終了操作（例えば撮影ボタンの再押下操作）を検知したか否かを判定する。撮影終了操作を検知しない場合（ステップＳ４０５：Ｎｏ）、処理はステップＳ４０３に戻る。他方、撮影終了操作を検知した場合（ステップＳ４０５：Ｙｅｓ）、処理は終了する。

このようにして生成された画像データは、サーバ２０にアップロードされる。サーバ２０は、第１及び第２の実施形態と同様に、アップロードされた画像データに対し、３Ｄ空間をＶＲ表示するための画像処理を実行する。これに加えて、本実施形態において、サーバ２０は、アップロードされた画像データをもとに３Ｄモデルの画像データを構築する。平面の画像から３Ｄモデルの画像データを構築する方法としては、公知の種々の手法を用いることができる。一例として、動画内の複数のフレームに写った共通のオブジェクトの動きを検出し、動いた距離が大きいほど手前に存在するという原理に基づいてオブジェクトの奥行きを推定することにより、３Ｄモデルを構築する手法が知られている。

図２４は、撮影装置１０により撮影された動画又は静止画の画像データをもとに構築された３Ｄモデルの表示例を示す模式図である。この３Ｄモデルの各所には、撮影時に画像データに付与された位置情報に対応するタグが埋め込まれている。これにより、３Ｄモデルの各所は、ＶＲ表示される動画又は静止画と紐付けられる。例えば、３Ｄモデルにおける玄関Ｐ３０は、動画のうち玄関が写ったフレームと紐付けられ、３ＤモデルにおけるトイレＰ３１は、動画のうちトイレが写ったフレームと紐付けられている。

図２５は、本発明の第３の実施形態における表示装置３０の動作を示すフローチャートである。
まず、ステップＳ４１０において、表示装置３０は、サーバ２０から３Ｄモデルの画像データをダウンロードし、表示部３３に表示させる。

続くステップＳ４１１において、表示装置３０は、ユーザの視野に現在入っている３Ｄモデルの位置情報を取得する。

続くステップＳ４１２において、表示装置３０は、ステップＳ４１１において取得された位置情報が、撮影時にマーキングされた範囲（図２３のステップＳ４０４において位置情報が登録された範囲）内であるか否かを判定する。マーキングされた範囲内でない場合（ステップＳ４１２：Ｎｏ）、処理はステップＳ４３３に移行する。

ステップＳ４３３において、表示装置３０は動作を終了するか否かを判定する。この判定方法は、図１２のステップＳ２１９と同様である。動作を終了すると判定した場合（ステップＳ４３３：Ｙｅｓ）、そのまま終了する。他方、動作を終了しないと判定した場合（ステップＳ４３３：Ｎｏ）、処理はステップＳ４１０に戻る。

他方、ステップＳ４１１において取得された位置情報がマーキングされた範囲内である場合（ステップＳ４１２：Ｙｅｓ）、表示装置３０は、取得された位置情報と紐付けられた紐付き先を検索する（ステップＳ４１３）。

紐付き先が３Ｄモデル内に存在する場合（ステップＳ４１４：Ｙｅｓ）、表示装置３０は、表示中の３Ｄモデルにタグを表示する（ステップＳ４１５）。例えば、図２４の場合、玄関Ｐ３０にタグＴ３０が表示される。

続くステップＳ４１６において、表示装置３０は、表示されたタグが選択されたか否かを判定する。タグが選択されたか否かの判定方法は、図１２のステップＳ２０７と同様である。表示されたタグが選択された場合（ステップＳ４１６：Ｙｅｓ）、表示装置３０は、ユーザの視野に表示させる領域を、選択されたタグと紐付けられた３Ｄモデル内の位置にジャンプさせる（ステップＳ４１７）。その後、処理はステップＳ４１０に移行する。この場合、ステップＳ４１０においては、ジャンプ先の領域の３Ｄモデルが表示される。例えば、図２４において、玄関Ｐ３０に表示されたタグＴ３０が、廊下Ｐ３２に埋め込まれたタグと紐付けられていた場合、３Ｄモデルの向きが変わり、廊下Ｐ３２がユーザ側を向くように表示される。他方、ステップＳ４１６においてタグが選択されなかった場合（ステップＳ４１６：Ｎｏ）、処理はそのままステップＳ４１０に戻る。この場合、従前の３Ｄモデルが表示される。

また、ステップＳ４１４において、紐付き先が３Ｄモデル内に存在しない場合（ステップＳ４１４：Ｎｏ）、表示装置３０は、紐付き先の静止画又は動画の画像ファイルをサーバ２０から読み込む（ステップＳ４１８）。そして、表示装置３０は、表示中の３Ｄモデルにタグを表示する（ステップＳ４１９）。

続くステップＳ４２０において、表示装置３０は、表示されたタグが選択されたか否かを判定する。タグが選択されたか否かの判定方法は、図１２のステップＳ２０７と同様である。タグが選択されない場合（ステップＳ４２０：Ｎｏ）、処理はステップＳ４３３に移行する。

他方、表示されたタグが選択された場合（ステップＳ４２０：Ｙｅｓ）、表示装置３０は続いて、ステップＳ４１８において読み込まれた画像ファイルが動画であるか否かを判定する（ステップＳ４２１）。

画像ファイルが動画でない場合（ステップＳ４２１：Ｎｏ）、即ち静止画である場合、表示装置３０は、読み込まれた画像ファイルをもとに、表示部３３にＶＲ静止画を表示させる（ステップＳ４２２）。

続くステップＳ４２３において、表示装置３０は、ＶＲ静止画が表示された画面に、終了タグを表示させ、終了タグが選択されたか否かを判定する（ステップＳ４２４）。タグが選択されたか否かの判定方法は、ステップＳ２０７と同様である。

終了タグが選択されなかった場合（ステップＳ４２４：Ｎｏ）、処理はステップＳ４２２に戻る。この場合、ＶＲ静止画が表示され続ける。他方、終了タグが選択された場合（ステップＳ４２４：Ｙｅｓ）、表示装置３０は、再び３Ｄモデルを表示すると共に（ステップＳ４２５）、ＶＲ静止画を非表示にする（ステップＳ４２６）。その後、処理はステップＳ４３３に移行する。

他方、ステップＳ４２１で読み込まれた画像ファイルが動画である場合（ステップＳ４２１：Ｙｅｓ）、表示装置３０は、読み込まれた画像ファイルのうち、ステップＳ４２０で選択されたタグと紐付けられたフレームにジャンプする（ステップＳ４２７）。そして、表示部３３における表示を、紐付き先のＶＲ動画に切り替え（ステップＳ４２８）、紐付き先のＶＲ動画を再生する（ステップＳ４２９）。

ここで、ＶＲ動画の再生が開始された後は、第１の実施形態における表示動作と同様に、異なるＶＲ動画内の紐付き先のフレームへのジャンプ、同一のＶＲ画像内でのフレームのスキップ、紐付けされた静止画の表示／非表示などを行っても良い（図１２参照）。

その後、紐付き先のＶＲ動画の再生が終了（又は一時停止）すると（ステップＳ４３０）、表示装置３０は、再び３Ｄモデルを表示すると共に（ステップＳ４３１）、ＶＲ動画を非表示にする（ステップＳ４３２）。その後、処理はステップＳ４３３に移行する。

以上説明したように、本発明の第３の実施形態によれば、撮影装置１０により生成された動画又は静止画の画像データをもとに３Ｄモデルを構築すると共に、この３Ｄモデルに位置情報を埋め込み、ＶＲ表示される動画又は静止画と紐付けるので、被写体をより多様な形態で表示することができる。例えば、３Ｄモデルにより被写体（例えば不動産物件）の全容を直感的に把握し、ＶＲ動画により動線を確認し、ＶＲ静止画により被写体の詳細を確認するといった利用方法も可能である。

なお、本実施形態においては、３Ｄモデルの画像データをサーバ２０において構築することとしたが、これに限定されない。例えば、撮影装置１０の画像処理部１７２において３Ｄモデルの画像データを構築しても良いし、撮影装置１０において生成した動画又は静止画の画像データを３Ｄモデル構築専用のコンピュータに転送し、このコンピュータにおいて３Ｄモデルの画像データを構築しても良い。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。図２６は、本発明の第４の実施形態に係る画像処理装置の概略構成を示すブロック図である。

図２６に示す画像処理装置６０は、被写体を撮影して動画又は静止画の画像データを生成する機能と、該画像データに基づいてＶＲ表示を行う機能とを備えるものである。このような画像処理装置６０は、図１に示す撮影装置１０及び表示装置３０と同様に、汎用のスマートフォン等を用いて構成することができる。図２６に示す各部のうち、撮影部６１、操作入力部６２、表示部６３、及び位置検出部６５の構成及び動作は、図１に示す撮影部１２、操作入力部１３、表示部１４、及び位置検出部１５の構成及び動作とそれぞれ同様である。また、図２６に示す向き及び姿勢検出部６４の構成及び動作は、図１に示す向き及び姿勢検出部３４の構成及び動作と同様である。図２６に示す記憶部６６は、図１に示す撮影装置１０と同様に、プログラム記憶部６６１と、画像データ記憶部６６２と、マーキングリスト記憶部６６３とを有している。図２６に示すプロセッサ６７は、図１に示すプロセッサ１７の各部と同様に機能する撮影制御部６７１、画像処理部６７２、マーキングリスト登録部６７３、及びマーキング処理部６７４と、図１に示すプロセッサ３６の各部と同様に機能する表示制御部３６１及び操作検出部６７６とを有している。

このように、撮影装置１０及び表示装置３０がそれぞれ担う機能を同一の機器によって実現することで、サーバ２０を介して画像データをアップロード及びダウンロードする手間が不要になると共に、紐付き先の画像にスムーズに表示切替をすることができるという利点も生じる。

以上説明した第１〜第４の実施形態及び変形例においては、動画、静止画、又は３Ｄモデルを、ユーザが頭部に装着して用いる表示装置３０（又は画像処理装置６０）において表示することとしたが、画像の表示形態はこれに限定されない。例えば、タブレット端末やパーソナルコンピュータ等の画面にこれらの画像を表示することとしても良い。この場合、画面に表示されたタグの選択は、例えば、マウス等のポインティングデバイスや、タッチパネルにより行っても良い。

また、上記第１〜第４の実施形態及び変形例においては、ユーザが頭部に装着して用いる表示装置３０（又は画像処理装置６０）に、動画又は静止画を３次元的に表示することとしたが、表示装置３０（又は画像処理装置６０）に、全天球画像の一部をパノラマ画像として表示しても良いし、平面的な２次元画像として表示しても良い。また、タブレット端末やパーソナルコンピュータ等に、パノラマ画像や平面的な２次元画像を表示することとしても良い。

本発明は、上記第１〜第４の実施形態及び変形例に限定されるものではなく、上記第１〜第４の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第１〜第４の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第１〜第４の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理システム
１０ 撮影装置
１１、２１、３１ 通信部
１２、６１ 撮影部
１３、３２、６２ 操作入力部
１４、３３、６３ 表示部
１５、６５ 位置検出部
１６、３５、６６ 記憶部
１７、２２、３６、６７ プロセッサ
２０ サーバ
２３ 画像データ記憶部
２４ 物件情報データベース
３０ 表示装置
３３ａ、３３ｂ 領域
３４、６４ 向き及び姿勢検出部
３７ ホルダー
６０ 画像処理装置
１６１、３５１、６６１ プログラム記憶部
１６２、３５２、６６２ 画像データ記憶部
１６３、６６３ マーキングリスト記憶部
１７１、６７１ 撮影制御部
１７２、２２１、６７２ 画像処理部
１７３、６７３ マーキングリスト登録部
１７４、６７４ マーキング処理部
３６１、６７５ 表示制御部
３６２、６７６ 操作検出部

Claims (15)

1. 被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、
   所定のトリガーに応じて、前記撮影部により生成された動画を構成するフレーム又は静止画に識別情報を付与するマーキング処理部と、
   前記撮影部により生成された前記動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成する画像処理部と、
   前記画像処理部により生成された画像データを記憶する画像データ記憶部と、
   を備える画像処理システム。
2. １種類以上の識別情報を記憶するマーキングリスト記憶部と、
   外部からなされる操作に従って、前記１種類以上の識別情報の中から１つの識別情報を選択する操作入力部と、
   をさらに備え、
   前記マーキング処理部は、前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記操作入力部により選択された識別情報を付与する、
   請求項１に記載の画像処理システム。
3. 前記撮影部の位置を検出して位置情報を出力する位置検出部をさらに備え、
   前記マーキング処理部は、前記トリガーに応じたタイミングで前記位置検出部から出力された位置情報を、前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記識別情報として付与する、
   請求項１に記載の画像処理システム。
4. 前記トリガーは、動画の撮影中になされる所定の操作手段への操作である、請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記トリガーは、静止画を撮影する際に操作される操作手段への操作である、請求項１〜３のいずれか１項に記載の画像処理システム。
6. 前記画像データ記憶部に記憶された画像データに基づいて、動画又は静止画を表示可能な表示部と、
   前記表示部における画像表示を制御する表示制御部と、
   外部からなされる操作を検出する操作検出部と、
   をさらに備え、
   前記表示制御部は、前記表示部に表示中の動画のフレーム又は静止画に識別情報が付与されている場合に、該識別情報が付与されている旨を示す情報を前記表示部に表示させ、前記操作検出部が前記情報を選択する操作を検出した場合に、前記表示部における画像表示を、表示中の動画のフレーム又は静止画に付与されている識別情報と同じ識別情報が付与された動画のフレーム又は静止画に切り替える、
   請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記画像データ記憶部は、複数の動画の画像データを記憶し、
   前記複数の動画の各々は、同じ識別情報が付与されたフレームを含み、
   前記表示制御部は、前記複数の動画の間で前記表示部における画像表示を切り替える、
   請求項６項に記載の画像処理システム。
8. 前記動画は、互いに異なる時刻に生成され、同じ識別情報が付与された複数のフレームを含み、
   前記表示制御部は、前記複数のフレームの間で前記表示部における画像表示を切り替える、
   請求項６に記載の画像処理システム。
9. 前記動画は、前記静止画に付与された識別情報と同じ識別情報が付与されたフレームを含み、
   前記表示制御部は、前記静止画と、前記同じ識別情報が付与されたフレームとの間で前記表示部における画像表示を切り替える、
   請求項６に記載の画像処理システム。
10. 前記画像処理部は、さらに、前記撮影部により生成された前記動画又は静止画の画像データをもとに、３次元的なモデルの画像データを構築すると共に、前記マーキング処理部により前記動画又は静止画に付与された識別情報をもとに、前記モデルの各所に当該位置を表す情報を付与し、
    前記表示制御部は、前記モデルの各所に付与された前記情報と、前記動画又は静止画に付与された識別情報とに基づき、前記モデルと前記動画又は静止画との間で前記表示部における画像表示を切り替える、
    請求項６に記載の画像処理システム。
11. 前記撮影部により生成された前記動画又は静止画の画像データをもとに、３次元的に表示される動画又は静止画の画像データを生成する第２の画像処理部をさらに備える、請求項１〜１０のいずれか１項に記載の画像処理システム。
12. 被写体を撮影することにより動画又は静止画の画像データを生成するステップ（ａ）と、
    所定のトリガーに応じて、前記撮影部により生成された動画を構成するフレーム又は静止画に識別情報を付与するステップ（ｂ）と、
    ステップ（ａ）において生成された前記動画又は静止画の画像データをもとに、表示用の動画又は静止画の画像データを生成するステップ（ｃ）と、
    ステップ（ｃ）において生成された画像データを記憶するステップ（ｄ）と、
    を含む画像処理方法。
13. 被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、記憶部と、外部からなされる操作を受け付ける操作入力部と、を備える撮影装置に実行させるプログラムであって、
    前記記憶部は、１種類以上の識別情報を予め記憶し、
    前記操作入力部に対する操作に応じて、前記１種類以上の識別情報の中から１つの識別情報を選択するステップと、
    所定のトリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記１つの識別情報を付与するステップと、
    を実行させるプログラム。
14. 被写体を撮影することにより動画又は静止画の画像データを生成する撮影部と、前記撮影部の位置を検出して位置情報を出力する位置検出部と、を備える撮影装置に実行させるプログラムであって、
    所定のトリガーに応じたタイミングで前記位置検出部からに位置情報を出力させるステップと、
    前記トリガーに応じたタイミングで前記撮影部により生成された前記フレーム又は静止画に対し、前記位置情報を識別情報として付与するステップと、
    を実行させるプログラム。
15. 動画又は静止画を表示可能な表示部と、前記表示部における画像表示を制御する表示制御部と、外部からなされる操作を検出する操作検出部と、を備える表示装置に実行させるプログラムであって、
    前記表示部に表示中の動画のフレーム又は静止画に所定の識別情報が付与されている場合に、該所定の識別情報が付与されている旨を示す情報を前記表示部に表示させるステップと、
    前記操作検出部が前記情報を選択する操作を検出した場合に、前記表示部における画像表示を、表示中の動画のフレーム又は静止画に付与されている前記所定の識別情報と同じ識別情報が付与された動画のフレーム又は静止画に切り替えるステップと、
    を実行させるプログラム。

Images