JP2022130180A - 画像処理方法、プログラム、画像処理装置および画像処理システム - Google Patents

Abstract

【課題】撮影画像の撮影位置の推定精度を向上させたバーチャルツアーを提供することを目的とする。【解決手段】所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置５０が実行する画像処理方法であって、拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、取得された動画像に基づいて、複数の静止画像の相対的な撮影位置を推定する位置推定ステップと、推定された撮影位置に基づいて関連づけられた複数の静止画像を含む処理画像（例えば、ツアー画像）を生成する画像処理ステップと、を実行する。【選択図】図１５

Description

本開示内容は、画像処理方法、プログラム、画像処理装置および画像処理システムに関する。

全方位を撮影可能な撮影装置を用いて撮影された画像データを配信し、遠隔拠点の状況を、別拠点において閲覧可能なシステムが知られている。所定の拠点を全方位で撮影した全天球画像は、閲覧者に任意の方向を閲覧させることできるため、臨場感ある情報を伝えることができる。このようなシステムは、例えば、不動産業界における物件のオンライン内見等の分野で利用されている。

さらに、不動産物件の複数の撮影位置で撮影された撮影画像を相互に接続することで、あたかも物件の内部を歩いて閲覧しているようなバーチャルツアーサービスが存在する。このバーチャルツアーの作成には、複数の撮影位置で撮影された撮影画像を正しい位置関係で接続することが重要である。このようなバーチャルツアーの作成のため、ＩＭＵ（inertial measurement unit）で計測された加速度情報を用いて撮影画像の位置推定を行う技術が既に知られている（例えば、特許文献１および特許文献２）。

米国特許第１０３７５３０６号明細書 米国特許第１０５３０９９７号明細書

しかしながら、従来のＩＭＵを用いた加速度による位置推定を行う方法では、バーチャルツアーを作成するための複数の撮影画像の位置推定の精度という観点で改善の余地があった。

上述した課題を解決すべく、請求項１に係る発明は、所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置が実行する画像処理方法であって、前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する推定ステップと、推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理ステップと、を実行する画像処理方法である。

本発明によれば、撮影画像の撮影位置の推定精度を向上させたバーチャルツアーを提供することができるという効果を奏する。

画像処理システムの全体構成の一例を示す図である。 撮影装置によって撮影された全天球画像の一例を示す図である。 （Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。 （Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 撮影装置による撮影時の状態の一例を示す図である。 全天球画像の一例を説明するための図である。 全天球画像から変換された平面画像の一例を説明するための図である。 （Ａ）（Ｂ）画像処理システムに適用可能な撮影装置の一例について説明するための概略図である。 一般撮影装置によって撮影された撮影画像の一例について説明するための図である。 （Ａ）～（Ｃ）画像処理装置によって実行される処理の一例について説明するための概略図である。 撮影装置のハードウエア構成の一例を示す図である。 画像処理装置および通信端末のハードウエア構成の一例を示す図である。 画像処理システムの機能構成の一例を示す図である。 撮影装置によるツアー撮影処理の一例を示すフローチャートである。 （Ａ）（Ｂ）撮影装置の固定方法の一例を示す図である。 手持ち撮影と固定撮影の場合における相違点について説明するための図である。 撮影装置による動画撮影と静止画撮影の切り替えについて説明するための図である。 動画撮影と静止画撮影の切り替えタイミングの一例を示す図である。 （Ａ）（Ｂ）バーチャルツアーにおけるツアーパスの一例について説明するための図である。 画像処理装置によるツアー画像の生成処理の一例を示すフローチャートである。 （Ａ）（Ｂ）部屋形状の大きさの推定処理の一例について説明するための概略図である。 （Ａ）（Ｂ）移動経路上の点が位置している部屋の判定処理の一例について説明するための概略図である。 （Ａ）（Ｂ）移動経路上の点が位置している部屋の判定処理の一例について説明するための概略図である。 パス生成部により生成されるパスの一例について説明するための概略図である。 （Ａ）（Ｂ）部屋の用途がトイレまたは浴室である場合に生成されるパスの一例について説明するための概略図である。 画像処理装置で生成されるツアー画像の一例を説明するための概略図である。 （Ａ）（Ｂ）画像処理装置で生成されるツアー画像の一例を説明するための概略図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

●実施形態●
●画像処理システムの概略
まず、図１を用いて、実施形態に係る画像処理システムの構成の概略について説明する。図１は、画像処理システムの全体構成の一例を示す図である。図１に示されている画像処理システム１は、不動産物件等の構造物の内部の空間を閲覧者にオンラインで閲覧させるための撮影画像に対する画像処理を行うシステムである。

図１に示されているように、画像処理システム１は、撮影装置１０、画像処理装置５０および通信端末９０を含む。画像処理システム１を構成する撮影装置１０、画像処理装置５０および通信端末９０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity)（登録商標）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。

画像処理装置５０は、所定の拠点である不動産物件等の構造物の内部の空間が撮影された撮影画像に対する画像処理を行うサーバコンピュータである。画像処理装置５０は、例えば、撮影装置１０が撮影した撮影画像を取得し、取得した撮影画像を用いて、ユーザにバーチャルツアーを提供するためのツアー画像を生成する。ここで、バーチャルツアーとは、不動産物件等の構造物の内部を実際に現場で内覧しているかのようにユーザに閲覧させるコンテンツである。また、ツアー画像は、撮影装置１０によって撮影された複数の撮影画像を用いて生成され、撮影画像に写る拠点内をユーザ操作によって仮想的に移動することが可能な閲覧用の画像である。

なお、画像処理装置５０は、一台のサーバコンピュータによって構成されてもよく、複数のサーバコンピュータによって構成されてもよい。また、画像処理装置５０は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、オンプレミス環境に存在するサーバであってもよい。

撮影装置１０は、撮影拠点における不動産物件等の構造物の内部の空間を全方位に撮影して全天球（３６０°）画像を取得可能な特殊なデジタルカメラ（全天球撮影装置）である。撮影装置１０は、例えば、不動産物件を管理または販売する不動産業者によって使用される。なお、撮影装置１０は、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影された画像である。すなわち、撮影装置１０は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段である。広角画像は、一般的に３５ｍｍフィルム換算で３５ｍｍ以下の焦点距離のレンズで、撮影された画像を意味する。

通信端末９０は、画像処理装置５０によって処理された画像を表示させて、閲覧者に閲覧させるスマートフォン等のコンピュータである。通信端末９０は、例えば、撮影装置１０と同じ不動産業者によって使用される。通信端末９０には、例えば、撮影装置１０に対する撮影指示および画像処理装置５０から提供される画像の閲覧を行うための専用のアプリケーションがインストールされている。また、通信端末９０は、例えば、専用のアプリケーションを用いずに、Ｗｅｂブラウザを用いて専用のＷｅｂサイトにアクセスすることにより、撮影指示および画像閲覧を行う構成であってもよい。また、撮影指示および画像閲覧は、異なる通信端末９０によって行われる構成であってもよい。

なお、通信端末９０は、スマートフォンに限られず、例えば、ＰＣ、タブレット端末、ウェアラブル端末、ＨＭＤ（head mount display）、またはＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）等であってもよい。

○撮影装置の概略○
ここで、図２乃至図１１を用いて、画像処理システム１を構成する撮影装置１０の概略について説明する。図２は、撮影装置によって撮影された全天球画像の一例を示す図である。図２に示されている画像は、撮影装置１０によって構造物の内部の空間の一例である不動産物件の部屋が撮影された全天球画像である。全天球画像は、部屋の内部が全方位で撮影することができるため、不動産物件の閲覧に適している。全天球画像の形態は、様々であるが、後述のEquirectangular(正距円筒図法)の投影方式で生成されることが多い。この正距円筒図法によって生成された画像は、画像の外形が矩形となり画像データの保存が効率的かつ容易であることや、赤道付近の歪みが少なく縦方向の直線が歪まないため、比較的自然に見えることが利点である。

○全天球画像の生成方法
次に、、図３乃至図９を用いて、全天球画像の生成方法について説明する。まず、図３および図４を用いて、撮影装置１０で撮影された画像から全天球画像が生成されるまでの処理の概略を説明する。図３（Ａ）は撮影装置で撮影された半球画像（前側）、図３（Ｂ）は撮影装置で撮影された半球画像（後側）、図３（Ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（Ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（Ｂ）は全天球画像を示した図である。

撮影装置１０は、正面側（前側）および背面側（後側）のそれぞれに撮像素子が設けられている。これらの撮像素子（画像センサ）は、半球画像（画角１８０°以上）の撮影が可能なレンズ等の光学部材と併せて用いられる。撮影装置１０は、二つの撮像素子によって、それぞれユーザの周りの被写体が撮像されることで、二つの半球画像を得ることができる。

図３（Ａ）,（Ｂ）に示されているように、撮影装置１０の撮像素子によって得られた画像は、湾曲した半球画像（前側および後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（Ｃ）に示されているような正距円筒射影画像ＥＣを作成する。

そして、撮影装置１０は、OpenGL ES（Open Graphics Library for Embedded Systems）を利用することで、図４（Ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図４（Ｂ）に示されているような全天球画像（全天球パノラマ画像）ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。さらに、変換手法は、OpenGL ESに限らず、半球画像から正距円筒射影図法に変換可能な手法であればよく、例えば、ＣＰＵによる演算またはOpenCLによる演算であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置１０は、全天球画像ＣＥの一部の所定領域Ｔ（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５および図６を用いて説明する。

図５は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。図５は、全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる。

そして、所定領域画像Ｑは、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図６を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図６は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図６に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向(ea,aa)で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰ（x,ｙ）となるように変更される。図６に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰ（x,ｙ）が、所定領域情報のパラメータ(（x,ｙ）)となる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰ（x,ｙ）までの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰ（x,ｙ）との距離である（２Ｌは対角線）。そして、図６では、一般的に以下の（式１）で示される三角関数が成り立つ。

次に、図７を用いて、撮影装置１０による撮影時の様子について説明する。図７は、撮影装置による撮影時の状態の一例を示す図である。不動産物件等の部屋の全体を見渡せるように撮影するためには、撮影装置１０を人間の目に高さに近い位置に設置することが好ましい。そのため、図７に示されているように、撮影装置１０は、一脚または三脚等の支持部材２０で撮影装置１０を固定して撮影を行うことが一般的である。撮影装置１０は、上述のように、全周囲の全ての方向の光線を取得可能な全天球撮影装置であり、撮影装置１０の周囲の単位球上の画像（全天球画像ＣＥ）を取得するともいえる。撮影装置１０は、撮影方向が決まれば、全天球画像の座標が決定する。例えば、図７において、点Ａは、撮影装置１０の中心点Ｃから（ｄ，－ｈ)だけ離れた距離にあり、このとき線分ＡＣと水平方向のなす角度をθとすると、角度θは、以下の（式２）で表すことができる。

そして、点Ａが俯角θにあると仮定すると、点Ａと点Ｂの距離ｄは、撮影装置１０の設置高さｈを用いて、以下の（式３）で表すことができる。

ここで、全天球画像上の位置情報を、全天球画像から変換された平面画像上の座標に変換する処理について概略的に説明する。図８は、全天球画像の一例を説明するための図である。なお、図８（Ａ）は、図３（Ａ）に示されている半球画像を光軸に対して水平方向および垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。

また、図９（Ａ）は、正距円筒図法によって処理された画像の一例を説明する図である。具体的には、図８に示されている画像を予め生成されるＬＵＴ(Look Up Table)等で対応させ、正距円筒図法によって処理し、処理された図８（Ａ）および図８（Ｂ）に示されているそれぞれの画像を合成すると、全天球画像に対応する図９（Ａ）に示されている平面画像が、撮影装置１０によって生成される。図３（Ｃ）に示されている正距円筒射影画像ＥＣは、図９（Ａ）に示されている平面画像の一例である。

図９（Ａ）に示されているように、正距円筒図法によって処理された画像では、緯度（θ）と経度（φ）が直交する。図９（Ａ）に示されている例では、画像の中心を（０，０）とし、緯度方向を－９０～＋９０、経度方向を－１８０～＋１８０で表現することで、全天球画像中の任意の位置を示すことができる。例えば、画像左上の座標は、（－１８０，－９０）となる。なお、全天球画像の座標は、図９（Ａ）に示されているような３６０度数を用いた形式で表されてもよいし、ラジアン表示または現実の画像のようなピクセル数の表示で表されてもよい。また、全天球画像の座標は、図９（Ｂ）に示されているような二次元座標（x,y）に変換されて表されてもよい。

なお、図９（Ａ）または図９（Ｂ）に示されている平面画像への合成処理は、図８（Ａ）および図８（Ｂ）に示されている半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ＝１８０°でない場合には、合成処理において、撮影装置１０は、まず、図３（Ｃ）に示されている半球画像を前処理し、全天球画像の中心に配置する。次に、撮影装置１０は、生成する画像の左右部分に、図３（Ｂ）に示されている半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図３（Ｃ）に示されている正距円筒射影画像ＥＣを生成してもよい。

また、図９（Ａ）に示されている平面画像において、図８（Ａ）および図８（Ｂ）に示されている半球画像（全天球画像）の極点（ＰＬ１またはＰＬ２）に対応する箇所は、線分ＣＴ１またはＣＴ２となる。図４（Ａ）および図４（Ｂ）に示されているように、全天球画像（例えば、全天球画像ＣＥ）は、OpenGL ESを利用することで、図９（Ａ）に示されている平面画像（正距円筒射影画像ＥＣ）を球面に貼り付けることにより作成されたものであるからである。

○画像処理システムに適用可能な撮影装置の例
次に、図１０および図１１を用いて、実施形態に係る画像処理システム１に適用可能な撮影装置１０の例について説明する。図１０は、画像処理システムに適用可能な撮影装置の一例について説明するための概略図である。図１０（Ａ）は、上述のような生成方法によって全天球画像を生成することができる複数の撮像素子を備えた特殊撮影装置を示す。特殊撮影装置は、画角の広い広角レンズまたは魚眼レンズを使用し、複数の撮像素子の出力を組み合わせて全方位が撮影された画像を取得できる。図１０（Ｂ）は、いわゆる通常のカメラである一般撮影装置を示す。一般撮影装置は、例えば、通常のデジタルカメラまたはカメラを備えたスマートフォン等の携帯端末等である。撮影者は、一般撮影装置を手に持って回転しながら撮影を行う。一般撮影装置は、得られた画像を合成することで全方位の画像を取得できる。特殊撮影装置および一般撮影装置は、いずれも複数の撮影結果を画像処理によってつなぎ合わせる（スティッチング処理）ことによって、最終的な撮影画像を生成する。なお、複数の撮影結果を得るための撮影装置１０の光学中心は、同一であることが好ましい。

図１１は、一般撮影装置によって撮影された撮影画像の一例について説明するための図である。図１１は、撮影者が図１０（Ｂ）に示されているような一般撮影装置を撮影者が手に持って回転しながら撮影を行った場合の撮影画像を示す。一般撮影装置は、画角が小さいため（一般的には１００度以下）、図１１に示されているように、上下の極が撮影できないという問題がある。また、撮影者自身での回転によっては、撮影装置の光学中心の位置がずれによって撮影時の視差が生じ、スティッチング処理にも段差等の不自然なエラーが生じやすい。すなわち、本実施形態における撮影装置１０としては、図１０に示されているような特殊撮影装置および一般撮影装置のいずれも適用可能であるが、好適には図１０（Ａ）に示されているような特殊撮影装置を適用することが好ましい。画像処理システム１は、図１０（Ａ）に示されているような特殊撮影装置（全天球撮影装置）を用いることによって、広告のような品質が求められるバーチャルツアーに用いる画像として、破綻のない自然な高品質の全天球画像を使用することができる。以下の説明においては、撮影装置１０は、特殊撮影装置（全天球撮影装置）であるものとして説明する。

○画像処理装置の処理の概略○
次に、図１２を用いて画像処理装置５０によって実行される処理の概略について説明する。図１２は、画像処理装置によって実行される処理の一例について説明するための概略図である。図１２は、撮影装置１０によって撮影された撮影画像の撮影位置と、複数の撮影画像を関連づけるパスの関係を示す。

画像処理装置５０は、ｖｉｓｕａｌ ＳＬＡＭ(Simultaneous Localization and Mapping)、またはＳｆＭ(Structure from Motion)等の手法を用いて、撮影装置１０から取得された撮影画像の撮影位置（図１２（Ａ））を推定する。撮影位置の推定結果は、図１２（Ｂ）に示されているように、複数の撮影画像のそれぞれの撮影位置の相対位置として表現される。また、撮影位置の推定結果は、各撮影位置が一つの座標系で表現される。

また、画像処理装置５０は、撮影位置の推定のほかに、撮影画像の撮影時に移動した経路も復元することができ、各撮影位置をどの順番でどうような経路を通って撮影されたのかも復元できる。画像処理装置５０は、推定された撮影位置と撮影時に移動した経路に基づいて、パス（ツアーパス）を生成する。ツアーパスとは、ツアー画像上での複数の撮影画像の接続関係を示すものである。図１２（Ｃ）に示されているように、推定された各撮影位置で撮影された撮影画像をそれぞれ接続し、接続された撮影画像を相互に行き来できるようにすることで、撮影画像によるバーチャルツアーを作成することできる。

●ハードウエア構成
続いて、図１３および図１４を用いて、実施形態に係る画像処理システムを構成する各装置または端末のハードウエア構成を説明する。なお、図１３および図１４に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

○撮影装置のハードウエア構成○
まず、図１３を用いて、撮影装置１０のハードウエア構成を説明する。図１３は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１０は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１０と同じ機能を有するようにしてもよい。

図１３に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ(Interface)１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、および各レンズに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、およびこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（Ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ,１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ,１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ,１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ,１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、および表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時および画像データのデータ容量の各データも含む。また、ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮影装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。

○画像処理装置のハードウエア構成○
まず、図１４を用いて、画像処理装置５０のハードウエア構成を説明する。図１４は、画像処理装置のハードウエア構成の一例を示す図である。画像処理装置５０の各ハードウエア構成は、５００番台の符号で示されている。画像処理装置５０は、コンピュータによって構築されており、図１４に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ(Hard Disk)５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、およびメディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、画像処理装置５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。なお、ディスプレイ５０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図１４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

また、キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード５１１およびポインティングデバイス５１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、着脱可能な記録媒体は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

○通信端末のハードウエア構成○
図１４は、通信端末９０のハードウエア構成の一例も示している。通信端末９０の各ハードウエア構成は、括弧内の９００番台の符号で示されている。通信端末９０は、コンピュータによって構築されており、図１４に示されているように、画像処理装置５０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。通信端末９０は、画像処理装置５０と同様の構成に加え、近距離通信回路９１７および近距離通信回路９１７のアンテナ９１７ａを備えている。近距離通信回路９１７は、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉ等の通信回路である。

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、画像処理装置５０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

●機能構成
続いて、図１５を用いて、実施形態に係る画像処理システムの機能構成について説明する。図１５は、画像処理システムの機能構成の一例を示す図である。なお、図１５は、図１に示されている装置または端末のうち、後述の処理または動作に関連しているものを示す。

○撮影装置の機能構成○
まず、図１５を用いて、撮影装置１０の機能構成について説明する。撮影装置１０は、送受信部１１、操作受付部１２、撮影制御部１３、動画撮影部１４、静止画撮影部１５、移動検知部１６、通信部１７および記憶・読出部１９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮影装置１０は、図１３に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００は、自装置のＧＵＩＤ(Globally Unique Identifier)を記憶している。

送受信部１１は、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。さらに、送受信部１１は、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワーク１００を介したデータ通信を行う。

操作受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、撮影者となるユーザから各種の選択または入力を受け付ける。

撮影制御部１３は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。撮影制御部１３は、例えば、動画撮影部１４による動画撮影と静止画撮影部１５による静止画撮影を時分割に切り替えて撮影を行う。

動画撮影部１４は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、撮影装置１０による動画撮影を行う。動画撮影部１４は、例えば、所定の拠点である不動産物件等の構造物内を移動しながら撮影された動画像の撮影を行う。動画撮影部１４は、撮影装置１０を保持する撮影者の移動中に、低解像度の連続フレームでの動画撮影を行い、撮影された画像データを記憶部１０００に記憶させる。動画撮影部１４は、例えば、撮影装置１０を保持した撮影者が所定の拠点である不動産物件内の第１の地点から第２の地点までを移動している際に動画撮影を行う。

静止画撮影部１５は、主に、撮像ユニット１０１の処理によって実現され、風景等の被写体を撮像し、撮影装置１０による静止画を行う。静止画撮影部１５は、例えば、所定の拠点である不動産部兼等の構造物内の異なる撮影位置で撮影された複数の静止画像の撮影を行う。静止画撮影部１５は、例えば、動画撮影部１４により撮影される動画像よりも高解像度の静止画（写真）撮影を行い、撮影される画像データを記憶部１０００に記憶させる。静止画撮影部１５によって撮影される静止画像は、１フレームの画像であってもよいし、複数の画像を合成したＨＤＲ(High Dynamic Range)画像であってもよい。

ここで、静止画撮影部１５によって撮影される静止画像は、例えば、４Ｋ解像度以上の高解像度であることが好ましい。一方で、動画撮影部１４によって撮影される動画像は、位置推定に用いる画像であり、動画像に写る被写体が識別可能でありさえすればよいため、静止画像よりも解像度の低い画像である。動画像は、例えば、４８０ｐ程度またはそれ以下の解像度であってもよい。撮影装置１０は、低解像度の動画像を撮影することによって、ツアー撮影における全体のデータ量を低減させることができる。

移動検知部１６は、主に、ジャイロセンサ１１９および加速度センサ１２０に対するＣＰＵ１１１の処理によって実現され、撮影装置１０の移動状態を検知する。移動検知部１６は、例えば、撮影装置１０による撮影中に、撮影装置１０を保持する撮影者が移動しているか（移動状態であるか）または静止しているか（静止状態であるか）を検知する。

通信部１７は、主に、入出力Ｉ／Ｆ１１６または近距離通信回路１１７に対するＣＰＵ１１１の処理によって実現され、他の装置または端末との間で各種データまたは情報の送受信を行う。通信部１７は、例えば、入出力Ｉ／Ｆ１１６を用いて、通信端末９０との間で、各種ケーブル等を介したデータ通信を行う。また、通信部１７は、近距離通信回路１１７を用いて、通信端末９０との間で、近距離無線通信技術によるデータ通信を行う。

記憶・読出部１９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。また、記憶部１０００には、動画撮影部１４および静止画撮影部１５によって撮影された画像データが記憶される。記憶部１０００に記憶される画像データには、撮影画像の撮影時刻がメタデータとして関連づけられている。

○画像処理装置の機能構成○
まず、図１５を用いて、画像処理装置５０の機能構成について説明する。画像処理装置５０は、送受信部５１、受付部５２、判断部５３、用途判定部５４、形状推定部５５、位置推定部５６、検知部５７、パス生成部５８、画像処理部６０および記憶・読出部５９を有している。これら各部は、図１４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像処理装置用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、画像処理装置５０は、図１４に示されているＲＯＭ５０２、ＲＡＭ５０３およびＨＤ５０４によって構築される記憶部５０００を有している。

送受信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。送受信部５１は、例えば、撮影装置１０によって撮影された動画像を、撮影装置１０または通信端末９０から受信（取得）する。また、送受信部５１は、例えば、撮影装置１０によって撮影された静止画像を、撮影装置１０または通信端末９０から受信（取得）する。

受付部５２は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、ユーザから各種の選択または入力を受け付ける。判断部５３は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。

用途判定部５４は、ＣＰＵ５０１の処理によって実現され、構造物の内部の空間が全方位で示されている撮影画像に基づいて、撮影画像に写る空間の用途を判定する。用途は、換言すると、撮影装置１０が実際に撮影した空間の分類、ジャンル、または使用目的等である。撮影装置１０によって撮影された拠点として不動産物件が撮影された場合、撮影画像に写る空間である部屋の用途は、例えば、トイレ、浴室または玄関等である。

形状推定部５５は、ＣＰＵ５０１の処理によって実現され、構造物の内部の空間が全方位で示されている撮影画像に基づいて、撮影画像に写る空間の形状を推定する。

位置推定部５６は、ＣＰＵ５０１の処理によって実現され、撮影装置１０から取得された動画像に基づいて、撮影装置１０から取得された静止画像の相対的な撮影位置を推定する。位置推定部５６は、例えば、ｖｉｓｕａｌ ＳＬＡＭ、またはＳｆＭ等の手法を用いて、低解像度連続フレームである動画像から、静止画像が撮影された静止画像の相対的な位置を推定する。このｖｉｓｕａｌ ＳＬＡＭ、またはＳｆＭ等の手法は、複数の画像から、画像上の特徴点の位置、カメラの位置およびパラメータを算出することができる。一方で、算出される位置は、相対的なものであり、絶対的な位置を得るためには基準となる位置が必要となる。

検知部５７は、ＣＰＵ５０１の処理によって実現され、形状推定部５５によって推定された空間形状に属する動画像の撮影点を検知する。動画像の撮影点は、例えば、動画像の撮影時の移動経路が復元された座標値である。

パス生成部５８は、ＣＰＵ５０１の処理によって実現され、位置推定部５６によって推定された撮影位置に基づいて、複数の静止画像の接続関係を示すパスを生成する。パス生成部５８は、例えば、推定された撮影位置に基づいて、複数の静止画像のうちの最近傍の静止画像をそれぞれ関連づけるパスを生成する。

画像処理部６０は、ＣＰＵ５０１の処理によって実現され、位置推定部５６によって推定された撮影位置に基づいて、バーチャルツアー用のツアー画像を生成する画像処理を行う。画像処理部６０は、例えば、推定された撮影位置に基づいて関連づけられた複数の静止画像を含む処理画像であるツアー画像を生成する。画像処理部６０は、推定された静止画像の撮影位置、静止画像の撮影時刻、およびパス生成部５８によって生成されたパス（ツアーパス）から、ツアー画像における静止画像を配置すべき位置を決定する。

記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００への各種データ（または情報）の記憶、および記憶部５０００から各種データ（または情報）の読出を行う。また、記憶部５０００は、画像処理部６０によって作成されたツアー画像を記憶する。

○通信端末の機能構成○
次に、図１５を用いて、通信端末９０の機能構成について説明する。通信端末９０は、送受信部９１、受付部９２、表示制御部９３、通信部９４および記憶・読出部９９を有している。これら各部は、図１５に示されている各構成要素のいずれかが、ＨＤ９０４からＲＡＭ９０３上に展開された通信端末用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能または手段である。また、通信端末９０は、図１５に示されているＲＯＭ９０２、ＲＡＭ９０３およびＨＤ９０４によって構築される記憶部９０００を有している。

送受信部９１は、主に、ネットワークＩ／Ｆ９０９に対するＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。

受付部９２は、主に、キーボード９１１またはポインティングデバイス９１２に対するＣＰＵ９０１の処理によって実現され、ユーザから各種の選択または入力を受け付ける。

表示制御部９３は、主に、ＣＰＵ９０１の処理によって実現され、ディスプレイ９０６に、各種画像または文字等を表示させる。表示制御部９３は、例えば、Ｗｅｂブラウザまたは専用のアプリケーションを用いて画像処理装置５０にアクセスにして、画像処理装置５０から配信されるデータに対応する画像を、ディスプレイ９０６に表示させる。

通信部９４は、主に、外部機器接続Ｉ／Ｆ９０８または近距離通信回路９１７に対するＣＰＵ９０１の処理によって実現され、他の装置または端末との間で各種データまたは情報の送受信を行う。通信部９４は、例えば、外部機器接続Ｉ／Ｆ９０８を用いて、撮影装置１０との間で、各種ケーブル等を介したデータ通信を行う。また、通信部９４は、近距離通信回路９１７を用いて、撮影装置１０との間で、近距離無線通信技術によるデータ通信を行う。

記憶・読出部９９は、主に、ＣＰＵ９０１の処理によって実現され、記憶部９０００への各種データ（または情報）の記憶、および記憶部９０００から各種データ（または情報）の読出を行う。

●実施形態の処理または動作
○ツアー撮影処理○
続いて、図１６乃至図２９を用いて、実施形態に係る画像処理システムの処理または動作について説明する。以下の説明において、所定の拠点である構造物の内部の空間の一例として、不動産物件である部屋の例を示す。まず、図１６乃至図２０を用いて、画像処理装置５０によるツアー画像の生成に用いる撮影画像の取得処理について説明する。図１６は、撮影装置によるツアー撮影処理の一例を示すフローチャートである。

まず、撮影装置１０は、通信端末９０からの所定の要求に応じて、ツアー撮影処理を開始する（ステップＳ１１）。ここで、ツアー撮影とは、バーチャルツアーを提供するための所定の拠点内の撮影を行うことである。具体的には、通信端末９０は、インストールされた専用のアプリケーションの起動および実行、またはＷｅｂブラウザを用いた所定のＷｅｂサイトへのアクセスによってツアー撮影機能を実行する。そして、通信端末９０の通信部９４は、撮影装置１０に対して、ツアー撮影要求を送信する。撮影装置１０は、通信部１７によって受信されたツアー撮影要求に応じて、ツアー撮影処理を開始する。

次に、撮影装置１０の動画撮影部１４は、撮影装置１０を保持して拠点内を移動しながら動画撮影を開始する（ステップＳ１２）。具体的には、撮影装置１０の撮影制御部１３は、ツアー撮影が開始されると、動画撮影部１４に対して、動画撮影の開始を要求する。そして、動画撮影部１４は、撮影制御部１３からの要求に応じて、動画像の撮影を開始する。

ここで、図１７および図１８を用いて、撮影装置１０による撮影方法について説明する。図１７は、撮影装置の固定方法の一例を示す図である。撮影装置１０は、撮影者が写らないように、図１７（Ａ）に示されているような一脚２０ａまたは図１７（Ｂ）に示されているような三脚２０ｂ等の支持部材２０に固定することが好ましい。また、撮影装置１０は、画像閲覧の際に望まれる高さに固定される。撮影装置１０は、例えば、不動産物件を自然に見せるため、人の視線の高さに配置することが好ましい。

図１８は、手持ち撮影と固定撮影の場合における相違点について説明するための図である。図１８は、撮影装置１０を撮影者が手に持って撮影する場合（手持ち撮影）と、撮影装置１０を一脚２０ａで固定して撮影する場合（固定撮影）する場合における物理的な動きの違いを示す。図１７で示したように、移動撮影の際、撮影装置１０を、一脚２０ａ等の支持部材２０に装着したまま移動することが最も簡便な方法であるが、手持ち撮影と固定撮影の場合では、物理的な動きに差異が生じる。具体的には、例えば、比較的長く大きな一脚２０ａを取り付けることで、物理モーメントが大きくなり、撮影装置自体の動きが減衰する。

特許文献１では、ＩＭＵ等のセンサを用いた位置推定およびＰＤＲによって撮影位置を推定している。しかしながら、一脚２０ａを装着した状態では、図１８に示されているように、加速度および角速度の変異が減衰するため、特許文献１に記載のような撮影位置の推定方法では十分な精度が出ないという問題があった。そこで、画像処理システム１は、撮影者が写り込まないように一脚２０ａ等の支持部材２０に撮影装置１０を固定して撮影する場合であっても、処理精度に影響を及ぼさないように、後述する画像処理方法を採用する。

図１６に戻り、撮影装置１０は、撮影モードの切り替えを検知した場合（ステップＳ１３のＹＥＳ）、処理をステップＳ１４へ移行させる。この場合、撮影装置１０は、動画撮影モードから静止画撮影モードへの切り替えを行う。撮影装置１０は、例えば、撮影装置１０の操作部１１５のシャッターボタンが押下された場合、動画撮影モードから静止画撮影モードへの切り替えを行う。撮影モードの切り替えを検知する。また、撮影装置１０は、移動検知部１６によって停止したこと（静止状態）が検知された場合、動画撮影モードから静止画撮影モードへの切り替えを行う構成であってもよい。一方で、撮影装置１０は、撮影部１４は、撮影モードの切り替えが検知されない場合（ステップＳ１３のＮＯ）、ステップＳ１２における動画撮影を継続する。

次に、撮影装置１０の動画撮影部１４は、ステップＳ１３における撮影モードの切り替えの検知に応じて、動画撮影を停止する（ステップＳ１４）。そして、静止画撮影部１５は、ユーザによる操作部１１５のシャッターボタンの押下に応じて静止画撮影を行う（ステップＳ１５）。

次に、撮影装置１０は、ステップＳ１３の処理と同様に、撮影モードの切り替えを検知した場合（ステップＳ１６のＹＥＳ）、処理をステップＳ１８へ移行させる。この場合、撮影装置１０は、静止画撮影モードから動画撮影モードへの切り替えを行う。撮影装置１０は、例えば、移動検知部１６によって移動再開が検知された場合、静止画撮影モードから動画撮影モードへの切り替えを行う。また、撮影装置１０は、静止画撮影部１５による静止画撮影が行われた後に、自動的に静止画撮影モードから動画撮影モードへの切り替えを行う構成であってもよい。

動画撮影部１４は、ステップＳ１６における撮影モードの切り替えの検知に応じて、動画撮影を再開する（ステップＳ１７）。動画撮影部１４は、ステップＳ１２と同様に、撮影装置１０を保持して拠点内を移動しながら撮影を継続する。そして、撮影装置１０は、ツアー撮影が終了した場合（ステップＳ１８のＹＥＳ）、処理を終了する。ツアー撮影の終了は、例えば、撮影者による撮影装置１０または通信端末９０に対する所定の操作によって判断される。一方で、撮影装置１０は、ツアー撮影が終了していない場合（ステップＳ１８のＮＯ）、ステップＳ１３からの処理を繰り返し、ツアー撮影を継続する。

一方で、ステップＳ１６において、撮影装置１０は、撮影装置１０は、撮影モードの切り替えが検知されない場合（ステップＳ１６のＮＯ）、処理をステップＳ１９へ移行させる。撮影装置１０は、ステップＳ１８と同様に、ツアー撮影が終了した場合（ステップＳ１９のＹＥＳ）、処理を終了する。一方で、撮影装置１０は、ツアー撮影が終了していない場合（ステップＳ１９のＮＯ）、ステップＳ１９からの処理を繰り返し、静止画撮影部１５による静止画撮影を継続する。

ここで、図１９および図２０を用いて、撮影装置１０における動画撮影および静止画撮影について説明する。図１９は、撮影装置による動画撮影と静止画撮影の切り替えについて説明するための図である。撮影装置１０は、上述のように、動画撮影と静止画撮影の二つの用途で用いられる。このうち、動画撮影は、位置推定の目的で行われ、静止画撮影は、閲覧用画像取得の目的で行われる。また、動画撮影は、移動時に行われ、静止画撮影は、静止時に行われる。

ここで、動画撮影と静止画撮影は、それぞれの撮影目的に対応して要求される撮影スペックが異なる。動画撮影の場合、位置推定に用いるため高フレームレートの連続画像（連続フレーム）で取得される一方で、撮影画像の高解像度およびカラーレイヤが不要で、低解像度およびグレースケールで十分である。また、静止画撮影の場合、連続フレームの取得は不要である一方で、高解像度、カラー情報(RGB)および高ダイナミックレンジの撮影が求められる。さらに、動画撮影は、移動時に行われ、静止画撮影は、静止時に行われる。

図２０は、動画撮影と静止画撮影の切り替えタイミングの一例を示す図である。図２０は、図１６に示されている処理における動画撮影と静止画撮影の切り替えのタイムチャートを示す。

撮影装置１０は、動画撮影と静止画撮影を時分割に切り替えて行う。上述のように、動画撮影は、位置推定用の画像を取得するために行われるため、連続フレームの撮影が行われることが必要になる。一方で、静止画撮影は、バーチャルツアーの閲覧用の画像を取得するために行われるため、連続フレームの撮影である必要はなく、１枚の画像が取得される構成でよいが、複数フレームの画像を用いたハイダイナミックレンジ合成による画像を取得してもよい。

静止画撮影は、撮影者の位置が反映されるべき項目であり、撮影者の何等かの明示的な動作で撮影が行われるものとする。例えば、静止画撮影は、撮影装置１０の操作部１１５のシャッターボタンが押下された場合に、動画撮影から切り替えて行われる。この場合、操作者により押下されるシャッターは、撮影装置１０の本体のシャッターボタンであってもよいし、リモート操作可能なアプリまたはコントローラの操作に基づくシャッターであってもよい。例えば、不動産物件の撮影時には、撮影者が撮影画像中に写っていないことが好ましい。そのため、撮影装置１０の本体のシャッターボタンに対する操作を行う場合には、撮影装置１０は、シャッターボタンの押下後の所定の時間後に、静止画像を撮影および記憶することが好ましい。これにより、撮影者は、シャッターボタンを押下した後に、撮影範囲の外に移動することで、撮影画像に写らないようにすることができる。また、リモート操作を行う場合には、撮影者は、撮影範囲の外から操作を行って撮影することが好ましい。

また、動画撮影から静止画撮影に切り替える方法として、支持部材２０に固定した撮影装置１０を所望の位置に置いた際または撮影者自身が静止した際に、移動検知部１６によって静止状態を検知することで、静止画撮影に切り替える構成であってもし、動画撮影が開始されてから所定の時間経過した場合に自動的に静止画撮影に切り替える構成であってもい。これらの方法の場合は、操作者によるシャッター操作が不要であるため、ツアー撮影をスムーズに行うことができるという利点がある。

一方で、動画撮影は、撮影者の意図とは無関係に撮影する項目であるため、自動的に撮影が行われることが好ましい。例えば、動画撮影は、静止画撮影が行われた後に自動的に静止画撮影から切り替えて行われる。また、動画撮影は、撮影画像のデータ量を抑えるため、移動検知部１６によって移動再開したことを検知した場合に、静止画撮影から切り替えて行われる構成であってもよい。

このように、撮影装置１０は、位置推定用の低解像度の動画像を撮影する動画撮影とバーチャルツアーにおける閲覧用の高解像度の静止画像を撮影する静止画撮影とを時系列に切り替えて行うことによって、ツアー画像を生成するための撮影画像を効率的に取得することができる。なお、上述の説明において、ツアー撮影の開始時には動画撮影が行われる構成を説明したが、撮影装置１０は、ツアー撮影の開始時に、まず静止画撮影を行う構成であってもよい。

撮影装置１０は、撮影された動画像および静止画像を、通信端末９０を介して、画像処理装置５０へ随時アップロードする。画像処理装置５０は、撮影装置１０から送信された動画像および静止画像を、ツアー画像の生成のため、記憶部５０００に一時的に記憶する。なお、撮影装置１０は、動画像および静止画像を、通信端末９０を介さずに画像処理装置５０へ直接アップロードする構成であってもよい。

○ツアー画像生成処理○
続いて、図２１乃至図２９を用いて、撮影装置１０によって撮影された撮影画像を用いたツアー画像の生成処理について説明する。

図２１は、バーチャルツアーにおけるツアーパスの一例について説明するための図である。ツアーパスは、実際の不動産物件の内部の空間である部屋の隣接関係と等しくなるように生成されるのが好ましい。例えば、部屋Ａと部屋Ｂが隣接しドアによって行き来できる場合、部屋Ａと部屋Ｂで撮影された静止画像がパスで結ばれるべきである。一方、部屋Ａと部屋Ｃが隣接しているがドアによって行き来できない場合、部屋Ａと部屋Ｃで撮影された静止画像がパスで結ばれるべきでない。したがって、バーチャルツアーを自動生成する際に、静止画像の撮影位置とその間の経路を用いて、どの撮影画像間をパスで結ぶかを自動決定することが必要になる。

図２１に示されているように、ツアーパスは、基本的に静止画像が撮影された順番に結ばれて生成されていく。例えば、図２１（Ａ）に示されている例の場合、撮影順にパスを結び、「部屋Ａ⇔部屋Ｂ⇔部屋Ｃ」というパスを生成する。一方で、図２１（Ｂ）に示されている例の場合、部屋Ｂと部屋Ｃは撮影順が連続していても物理的につながっていないため、実際の空間では一旦もとにいた部屋Ａに戻ってから部屋Ｃに入室しなければならない。このような場合、単純に撮影順でパスを結ぶと本来は行き来できない部屋同士をパスで結んでしまい、現実とは異なるツアーになってしまう。そのため、図２１（Ｂ）に示されているように、現実の空間の構造を考慮し、部屋Ｂと部屋Ｃを結ぶパスを、再び部屋Ａを通る経路で生成する。

このように、画像処理装置５０は、生成するツアー画像において、正しくパスを結べるように、撮影時の移動経路上の各撮影点がどの部屋に位置しているかを考慮したアルゴリズムによってパスを生成する。以下、画像処理装置５０においてパスを自動生成するためのアルゴリズムについて詳細に説明する。

図２２は、画像処理装置によるツアー画像の生成処理の一例を示すフローチャートである。画像処理装置５０は、撮影装置１０によって撮影された撮影画像である動画像および静止画像を用いて、ツアー画像の生成処理を実行する。なお、画像処理装置５０は、予め撮影装置１０によって撮影された動画像および静止画像を取得しているものとして説明する。この際に、画像処理装置５０の送受信部５１は、撮影装置１０から送信された動画像および静止画像を受信（取得）する。また、図２３乃至図２７に示されている例において、静止画像は、部屋Ａ、部屋Ｂおよび部屋Ｃ内の撮影位置（各図面の「１～３」）でそれぞれ部屋Ａ、部屋Ｂおよび部屋Ｃが撮影されたものとする。

まず、画像処理装置５０の用途判定部５４は、取得された動画像に写る部屋の用途を判定する（ステップＳ３１）。具体的には、用途判定部５４は、一般的な機械学習または動画像の特徴量等のパラメータを用いて、動画像に写る部屋の用途（ジャンル）を判定する。ここで、判定される部屋の用途は、例えば、トイレ、浴室または玄関等である。

次に、形状推定部５５は、取得された動画像に写る部屋の形状を推定する（ステップＳ３２）。具体的には、形状推定部５５は、動画像に写る被写体の直線を検知し、検知した直線の消失点を求め、床、壁または天井等の境目から部屋の構造を推定する方法、撮影装置１０から取得された三次元情報を用いる方法、または一般的な機械学習を用いる方法等によって動画像に写る部屋の形状を推定して三次元復元を行い、俯瞰した部屋形状を取得する。

また、形状推定部５５は、ステップＳ３２で構造が推定された部屋形状の大きさを推定する（ステップＳ３３）。具体的には、形状推定部５５は、推定された部屋形状の大きさを、移動経路上の動画像の各点の座標系に合わせて調整する。図２３（Ａ）のように、ステップＳ３２で推定された部屋形状は、単一の画像から復元された場合、絶対的な大きさがわからない。図２３（Ｂ）のように、動画撮影時の移動経路上に正しい大きさで各部屋形状を配置するため、形状推定部５５は、それぞれの部屋形状の大きさを、動画撮影時の移動経路上にある動画像の各点の座標系で定める。形状推定部５５は、動画撮影時の撮影高さ、および隣接する部屋形状の間の隙間を０にするような大きさの平均値等を用いて、各部屋形状の大きさを推定する。このように、形状推定部５５によって動画像に写る部屋の形状および大きさを推定することによって、位置推定部５６は、動画像と時分割で撮影された複数の静止画像の相対的な撮影位置を推定する。

次に、検知部５７は、移動経路上の動画像の各点が、ステップＳ３２およびステップＳ３３で推定された部屋形状のうち、どの部屋形状内に位置しているかを判定する（ステップＳ３４）。検知部５７は、移動経路上の各点がステップＳ３３で配置された部屋形状のうち、どの部屋の内部に位置しているかを座標値から検知する。これにより、検知部５７は、移動経路上の各点がそれぞれどの部屋内に位置していたのかを検知する。画像処理装置５０は、例えば、図２４（Ｂ）のように、復元された動画像の撮影時の移動経路上の座標値に基づき、各点がどの部屋内に位置しているかを一意に判定する。図２４（Ｂ）に示されている例では、経路Ｒ１の点が部屋Ａ内に位置し、経路Ｒ２の点が部屋Ｂ内に位置し、経路Ｒ３の点が部屋Ｃ内に位置していると判定する。

また、検知部５７は、移動経路上の動画像の点が、単一の部屋形状内に存在していないと検知した場合（ステップＳ３４のＮＯ）、処理をステップＳ３５へ移行させる。図２５（Ａ）に示すＳ１の区間のように、移動経路上の点が単一の部屋に属していない場合、すなわち移動経路上の点が複数の部屋形状内（図２５の例では部屋Ａと部屋Ｂ）に位置する場合、その点が撮影時にどの部屋に位置していたのかを一意に定められない。また、図２５（Ａ）に示すＳ２の区間のように、移動経路上の点がいずれの部屋形状内にも位置していない場合も、その点が撮影時にどの部屋に位置していたのかを一意に定められない。このようなことは、移動経路の復元の誤差、部屋形状の推定の誤差、および部屋形状の大きさの誤差が原因で発生する。

そこで、検知部５７は、移動経路上の動画像の点が、単一の部屋形状内に存在していない場合、対象の点がどの部屋形状内に存在しているかを一意にするため、対象の点に最も近い移動経路上の点が位置している部屋を、対象の点が存在する部屋であると判定する（ステップＳ３５）。検知部５７は、図２５（Ａ）のＳ１およびＳ２の区間の点に対して最近傍の移動経路上の点を計算し、図２５（Ｂ）のＭ１およびＭ２の区間のように、それぞれ最近傍の移動経路上の点が位置する部屋を、対象の点が位置している部屋と判定する。

一方で、ステップＳ３４において、検知部５７は、移動経路上の動画像の各点が、単一の部屋形状内に存在すると検知した場合（ステップＳ３４のＹＥＳ）、処理をステップＳ３６へ移行させる。

次に、パス生成部５８は、移動経路上の動画像の点が存在する部屋と、次の点が存在する部屋を結ぶパスを生成する（ステップＳ３６）。パス生成部５８は、ステップＳ３４およびＳ３５の処理によって移動経路上の各点がそれぞれどの部屋形状内に位置しているかが一意に定められたため、移動経路上の各点に対して、ある一点が存在する部屋とその次の点が存在する部屋を次の部屋としてパスで結ぶ。図２６の例において、パス生成部５８は、部屋Ａの次に入室した部屋Ｂをパス（Ｎ１）で結ぶ。また、部屋Ｂから一旦部屋Ａに戻って部屋Ｃに入室している動きも、撮影位置２と撮影位置３との間に部屋Ａの区間（Ｎ２およびＮ３）があることから、パス生成部５８は、ステップＳ３２およびステップＳ３３での推定結果に基づき、部屋Ａから部屋Ｃのパスを正しく結べる。最終的に、パス生成部５８は、図２６に示されているような経路「Ｒ１⇔Ｒ２⇔Ｒ１⇔Ｒ３」のパスを生成することができる。つまり、「部屋Ａ⇔部屋Ｂ」というパスと「部屋Ａ⇔部屋Ｃ」というパスとが生成される。すなわち、パス生成部５８は、各部屋を結ぶパスを生成することにより、各部屋が撮影された複数の静止画像のうちの最近傍の静止画像をそれぞれ関連づけることができる。

次に、判断部５３は、ステップＳ３１で判定された次の部屋の用途がトイレまたは浴室である場合（ステップＳ３７のＹＥＳ）、処理をステップＳ３８へ移行させる。一方で、判断部５３は、ステップＳ３１で判定された次の部屋の用途がトイレまたは浴室でない場合（ステップＳ３７のＮＯ）、処理をステップＳ３９へ移行させる。

トイレまたは浴室に通じる部屋は、ほとんどの家屋において一つの部屋、すなわち戻る部屋が一つしかないことを利用し、間違ったパスが結ばれることを防ぐ。例えば、図２７（Ａ）のように、上述の処理の誤差によって重複領域が多いような場合、部屋Ａからトイレまたは浴室を経て部屋Ｂを結ぶようなパスが生成される場合がある。図２７（Ａ）の例では、ステップＳ３５による最近傍の移動経路上の点に基づく判断により、重複する区間Ｊ１の点が存在する部屋は、部屋Ｂである判定され、トイレまたは浴室を結ぶパスが生成される。しかしながら、現実の家屋において、トイレまたは浴室が二つの異なる部屋に通じているケースはほとんどない。

そこで、判断部５３は、次の部屋の用途がトイレまたは浴室である場合、次の部屋と隣接している部屋として、現在の部屋を設定する（ステップＳ３８）。判断部５３は、例えば、移動経路上のある点の次の点が位置する部屋の用途がトイレまたは浴室で合った場合、ある点の存在する部屋を、トイレまたは浴室に隣接している部屋として記憶する。

次に、判断部５３は、ステップＳ３１で判定された一つ前の部屋の用途がトイレまたは浴室である場合（ステップＳ３９のＹＥＳ）、処理をステップＳ４０へ移行させる。一方で、判断部５３は、ステップＳ３１で判定された一つ前の部屋の用途がトイレまたは浴室でない場合（ステップＳ３９のＮＯ）、処理をステップＳ４１へ移行させる。移動経路上のある点の一つ前の部屋がトイレまたは浴室である場合、その点は、トイレまたは浴室を退室したことを意味する。例えば、図２７（Ａ）の区間Ｊ１における点は、トイレまたは浴室を退室した際の点を示す。

パス生成部５８は、一つ前の部屋の用途がトイレまたは浴室である場合、一つ前の部屋に隣接している部屋とのパスを生成する（ステップＳ４０）。パス生成部５８は、移動経路上のある点の一つ前の点が存在する部屋がトイレまたは浴室である場合、ある点が存在する部屋とステップＳ３８で設定された隣接する部屋とをパスで結ぶ。これにより、トイレまたは浴室から退室した先の部屋を、ステップＳ３８で設定したトイレまたは浴室に入室する前にいた部屋と同じにすることができる。図２７（Ｂ）のように、トイレまたは浴室に入室した際に直前にいた部屋ＡをステップＳ３８で設定しているため、パス生成部５８は、退室時の移動経路上の点として、最近傍の部屋Ｂではなく、トイレまたは浴室に入室した直前にいた部屋Ａとパスで結ぶ（区間Ｊ２）。これにより、画像処理装置５０は、トイレまたは浴室から退室する場合、入室した部屋に戻ることが強制され、図２７（Ａ）のような間違ったパスが生成されることを防ぐことができる。

次に、画像処理装置５０は、撮影装置１０によって撮影された動画像に対する全ての処理が完了した場合（ステップＳ４１のＹＥＳ）、処理をステップＳ４２へ移行させる。一方で、画像処理装置５０は、撮影装置１０によって撮影された動画像に対する全ての処理が完了するまで（ステップＳ４１のＮＯ）、ステップＳ３１からの処理を繰り返す。

次に、パス生成部５８は、ステップＳ３１で判定された部屋の用途に基づいて、生成されたパスの始点を設定する（ステップＳ４２）。パス生成部５８は、例えば、判定された用途が玄関である部屋に対応する位置を、パスの始点として設定する。

そして、画像処理部６０は、上述の処理結果に基づいて、撮影装置１０によって撮影された複数の静止画像を含む処理画像であるツアー画像を生成する（ステップＳ４２）。具体的には、画像処理部６０は、図２８に示されているように、形状推定部５５による形状推定結果上に、位置推定部５６によって推定された撮影位置を関連づけることによって、複数の静止画像が関連づけられたツアー画像を生成する。また、画像処理部６０は、図２９（Ａ）に示されているように、図２８に示されている構成に加えて、パス生成部５８によって生成されたパスを、相対的な撮影位置によって関連づけられた複数の静止画像上に重畳させる。さらに、画像処理部６０は、図２９（Ｂ）に示されているように、ステップＳ４２で設定されたパスの始点（Ｓ）をツアー画像上に示すことができる。

このように、画像処理装置５０は、撮影装置１０によって撮影された動画像における移動経路に基づいて、高解像度の静止画像の撮影位置を推定する。また、画像処理装置５０は、推定された撮影位置、撮影画像に写る部屋の形状、および撮影装置１０の移動経路に基づいて、どのような順番で撮影が行われたかを示すパスを生成する。

画像処理装置５０によって生成されたツアー画像は、通信端末９０を用いて閲覧者に閲覧させることができる。画像処理装置５０は、ツアー画像の生成が完了した場合、ツアー撮影の要求元である通信端末９０に対して通知する。通信端末９０の表示制御部９３は、画像処理装置５０から提供されるツアー画像をディスプレイ９０６に表示させる。閲覧者は、通信端末９０を用いて、画像処理装置５０から提供されるツアー画像を用いて、不動産物件等のバーチャルツアーを閲覧することができる。

●実施形態の効果
以上説明したように、画像処理システム１は、バーチャルツアーの作成に用いる高解像度の静止画像と、撮影装置１０によって撮影された動画像を用いて推定された複数の静止画像の撮影位置とを精度良く関連づけることで、撮影画像の撮影位置の推定精度を向上させることができる。そして、画像処理システム１は、パス(経路)が適切なバーチャルツアー（高品質なバーチャルツアー）を自動的に作成することができる。

また、画像処理システム１は、撮影装置１０を用いて、閲覧用の画像を取得するための高解像度の静止画撮影と位置推定用の低解像度の動画撮影を時分割に切り替えて行うことで、バーチャルツアーを作成するための撮影画像を効率的に取得することができる。

さらに、画像処理システム１は、所定の拠点である不動産物件等の内部を一度に全方位で撮影する全天球撮影装置を用いて撮影を行い、撮影時の視差等によるエラーの無い自然な画像をバーチャルツアーに使用することで、自然なバーチャルツアー（高品質なバーチャルツアー）を作成することができる。また、画像処理システム１は、撮影画像に撮影者が写り込まないように、撮影装置１０を一脚等の支持部材２０に固定して撮影を行う場合であっても、位置推定精度を向上させたバーチャルツアーを作成することができる。

●まとめ●
以上説明したように、本発明の一実施形態に係る画像処理方法は、所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置５０が実行する画像処理方法であって、拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、取得された動画像に基づいて、複数の静止画像の相対的な撮影位置を推定する位置推定ステップと、推定された撮影位置に基づいて関連づけられた複数の静止画像を含む処理画像（例えば、ツアー画像）を生成する画像処理ステップと、を実行する。これにより、画像処理方法は、撮影画像の撮影位置の推定精度を向上させたバーチャルツアーを提供することができる。

また、本発明の一実施形態に係る画像処理方法は、更に、動画像に写る前記拠点内の空間（例えば、部屋）の形状を推定する形状推定ステップと、位置推定ステップによって推定された撮影位置、および形状推定ステップによって推定された形状に基づいて、複数の静止画像を関連づけるパスを生成するパス生成ステップと、を実行し、位置推定ステップは、形状推定ステップによって推定された形状に基づいて、複数の静止画像の相対的な撮影位置を推定し、画像処理ステップは、複数の静止画像に対応するパスを含む処理画像（例えば、ツアー画像）を生成する。これにより、画像処理方法は、動画像を用いて推定された静止画像の撮影位置、撮影画像に写る空間の形状および生成されたパスに基づいて、複数の静止画像と各静止画像の撮影位置とを精度良く関連づけることができる。そして、画像処理方法は、位置精度が高く、パス（経路）が適切なバーチャルツアー（高品質なバーチャルツアー）を自動的に作成することができる。

また、本発明の一実施形態に係る画像処理方法において、動画像は、静止画像よりも解像度の低い画像である。また、画像処理方法において、静止画像および動画像は、全天球撮影装置によって撮影された画像である。これにより、画像処理方法は、パス（経路）が適切なバーチャルツアー（高品質なバーチャルツアー）の作成を効率的に行うことができる。

さらに、本発明の一実施形態に係る画像処理システムは、画像処理装置５０と、撮影装置１０と、を備えた画像処理システム１であって、撮影装置１０は、静止画像および動画像を時分割に切り替えて撮影する。また、撮影装置１０は、拠点内における移動状態に応じて、静止画像および動画像の撮影を切り替える。これにより、画像処理システム１は、バーチャルツアーを作成するための撮影画像を効率的に取得することができる。

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。

これまで本発明の一実施形態に係る画像処理方法、プログラム、画像処理装置および画像処理システムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１ 画像処理システム
１０ 撮影装置
１１ 送受信部
１２ 操作受付部
１３ 撮影制御部（撮影制御手段の一例）
１４ 動画撮影部
１５ 静止画撮影部
１６ 移動検知部
２０ 支持部材
５０ 画像処理装置
５１ 送受信部（静止画像取得手段の一例、動画像取得手段の一例）
５４ 用途判定部
５５ 形状推定部
５６ 位置推定部（位置推定手段の一例）
５７ 検知部
５８ パス生成部（パス生成手段の一例）
６０ 画像処理部（画像処理手段の一例）
９０ 通信端末
９１ 送受信部
９２ 受付部
９３ 表示制御部（表示制御手段の一例）

Claims (15)

1. 所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置が実行する画像処理方法であって、
   前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、
   前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、
   取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する位置推定ステップと、
   推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理ステップと、
   を実行する画像処理方法。
2. 請求項１に記載の画像処理方法であって、更に、
   前記複数の静止画像を関連づけるパスを生成するパス生成ステップを実行し、
   前記画像処理ステップは、前記複数の静止画像に対応する前記パスを含む前記処理画像を生成する画像処理方法。
3. 請求項２に記載の画像処理方法であって、更に、
   前記動画像に写る前記拠点内の空間の形状を推定する形状推定ステップを実行し、
   前記位置推定ステップは、前記形状推定ステップによって推定された前記形状に基づいて、前記複数の静止画像の相対的な撮影位置を推定し、
   前記パス生成ステップは、前記位置推定ステップによって推定された前記撮影位置、および前記形状推定ステップによって推定された前記形状に基づいて、前記パスを生成する画像処理方法。
4. 請求項３に記載の画像処理方法であって、更に、
   前記動画像が撮影された移動経路上の地点が属する前記形状を検知する検知ステップを実行し、
   前記パス生成ステップは、複数の前記形状に属する前記動画像が撮影された地点が検知された場合、前記地点が最近傍の前記形状に属するように、前記パスを生成する画像処理方法。
5. 請求項４に記載の画像処理方法であって、更に、
   前記空間の用途を判定する用途判定ステップを実行し、
   前記パス生成ステップは、判定された前記用途に基づいて、前記パスを生成する画像処理方法。
6. 前記パス生成ステップは、判定された前記用途に基づいて、生成された前記パスの始点を設定する請求項５に記載の画像処理方法。
7. 前記動画像は、前記静止画像よりも解像度の低い画像である請求項１乃至６のいずれか一項に記載の画像処理方法。
8. 前記静止画像および前記動画像は、全天球撮影装置によって撮影された画像である請求項１乃至７のいずれか一項に記載の画像処理方法。
9. コンピュータに、請求項１乃至８のいずれか一項に記載の画像処理方法を実行させるプログラム。
10. 所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置であって、
    前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得手段と、
    前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得手段と、
    取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する位置推定手段と、
    推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理手段と、
    を備える画像処理装置。
11. 請求項１０に記載の画像処理装置と、撮影装置と、を備えた画像処理システムであって、
    前記撮影装置は、
    前記静止画像および前記動画像を時分割に切り替えて撮影する撮影制御手段を備える画像処理システム。
12. 請求項１１に記載の画像処理システムであって、
    前記撮影制御手段は、前記拠点内における移動状態に応じて、前記静止画像および前記動画像の撮影を切り替える画像処理システム。
13. 請求項１０乃至１２のいずれか一項に記載の画像処理システムであって、更に、前記画像処理装置と通信可能な通信端末を備え、
    前記通信端末は、
    前記画像処理装置によって生成された前記処理画像を表示する表示制御手段を備える画像処理システム。
14. 請求項１３に記載の画像処理システムであって、
    前記画像処理装置は、
    前記位置推定手段によって推定された前記撮影位置に基づいて、前記複数の静止画像を関連づけるパスを生成するパス生成手段を備え、
    前記画像処理手段は、前記複数の静止画像に対応する前記パスを含む前記処理画像を生成する画像処理システム。
15. 請求項１４に記載の画像処理システムであって、
    前記表示制御手段は、前記複数の静止画像に対して、対応する前記パスを重畳させた前記処理画像を表示させる画像処理システム。

Images