JP2015149600A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の光学部それぞれに対応する複数の撮像画像が、撮像デバイスにおける基準位置から撮像された画像であるように、撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定部１１４を備え、撮像デバイスから対象オブジェクトまでの距離と、基準位置における基準線から対象オブジェクトまでの角度とに基づいて、移動量を決定する。【選択図】図２７

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、複数の光学部を有し、撮像範囲を全方位とする撮像デバイス（以下、「全天球型の撮像デバイス」と示す場合がある。）が登場している。全天球型の撮像デバイスに係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２０１３−０２５２５５号公報

全天球型の撮像デバイスにおいて複数の光学部（例えば、レンズや受光素子で構成される。）により撮像された撮像画像を、全天球型ではない一般的な平面の表示画面に表示させる場合には、例えば、複数の撮像画像が合成された画像における所定の方位に対応する一部の領域が、表示画面に表示される。しかしながら、複数の撮像画像が合成される場合における境界部分である合成境界部分に含まれる、被写体に対応するオブジェクトの状態によっては、“合成された画像における合成境界部分において画像が不連続となる”などの、望ましくない事態が生じうる。

ここで、例えば特許文献１に記載の技術では、全天球型の撮像デバイスにおいて複数の光学部の撮像視点の距離を短縮しているので、上記のような合成境界部分において画像が不連続となる程度を緩和することができる可能性はある。しかしながら、例えば特許文献１に記載の技術を用いたとしても、全天球型の撮像デバイスにおいて複数の光学部の撮像視点の距離を、物理的に０（ゼロ）とすることはできないので、上記のような合成境界部分において画像が不連続となるという、望ましくない事態が生じうる。

本開示では、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。

本開示によれば、少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の上記光学部それぞれに対応する複数の撮像画像が、上記撮像デバイスにおける基準位置から撮像された画像であるように、上記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定部を備え、上記移動量決定部は、上記撮像デバイスから上記対象オブジェクトまでの距離と、上記基準位置における基準線から上記対象オブジェクトまでの角度とに基づいて、上記移動量を決定する、画像処理装置が提供される。

また、本開示によれば、少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の上記光学部それぞれに対応する複数の撮像画像が、上記撮像デバイスにおける基準位置から撮像された画像であるように、上記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップを有し、上記移動量決定ステップでは、上記撮像デバイスから上記対象オブジェクトまでの距離と、上記基準位置における基準線から上記対象オブジェクトまでの角度とに基づいて、上記移動量が決定される、画像処理装置により実行される画像処理方法が提供される。

また、本開示によれば、少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の上記光学部それぞれに対応する複数の撮像画像が、上記撮像デバイスにおける基準位置から撮像された画像であるように、上記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップ、をコンピュータに実行させ、上記移動量決定ステップでは、上記撮像デバイスから上記対象オブジェクトまでの距離と、上記基準位置における基準線から上記対象オブジェクトまでの角度とに基づいて、上記移動量が決定される、プログラムが提供される。

本開示によれば、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る全天球型の撮像デバイスの一例を示す説明図である。 本実施形態に係る全天球型の撮像デバイスによる撮像の状況の一例を示す説明図である。 本実施形態に係る全天球型の撮像デバイスにより撮像された撮像画像の一例を示す説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の第１の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の第１の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の第２の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の第２の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の第３の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の第４の例を説明するための流れ図である。 本実施形態に係る画像処理方法に係る処理の第５の例を説明するための流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。

［１］全天球型の撮像デバイスの一例と、全天球型の撮像デバイスにより撮像される撮像画像の一例
まず、本実施形態に係る画像処理装置が処理対象とする撮像画像の一例と、当該撮像画像を撮像する全天球型の撮像デバイスの一例とについて説明する。

図１は、本実施形態に係る全天球型の撮像デバイスの一例を示す説明図である。図１のＡは、棒状の筐体の両面にレンズＬ１、Ｌ２が配置されている全天球型の撮像デバイスの一例を示しており、図１のＢは、球状の筐体内部にレンズＬ１、Ｌ２が配置されている全天球型の撮像デバイスの一例を示している。

図１に示す全天球型の撮像デバイスは、例えば、レンズＬ１、Ｌ２を介して受光された光を電気信号に変換する受光素子（図示せず）をさらに備える。受光素子（図示せず）は、いわゆるイメージセンサの役目を果たす。なお、受光素子（図示せず）は、レンズＬ１、Ｌ２ごとに設けられていてもよいし、レンズＬ１、Ｌ２共有のものであってもよい。図１に示す全天球型の撮像デバイスでは、例えば、レンズと受光素子（図示せず）とが、光学部に該当する。すなわち、図１は、２つの光学部を備える全天球型の撮像デバイスの一例を示している。なお、本実施形態に係る全天球型の撮像デバイスが備える光学部は、２つに限られず、本実施形態に係る全天球型の撮像デバイスは、３以上の光学部を備えていてもよい。つまり、本実施形態に係る全天球型の撮像デバイスは、複数の光学部を備える構成をとる。

以下では、本実施形態に係る全天球型の撮像デバイスが、図１のＢに示す球状の撮像デバイスである場合を例に挙げる。

図２は、本実施形態に係る全天球型の撮像デバイスによる撮像の状況の一例を示す説明図である。図２に示す“視野角１”は、レンズＬ１を含む光学部における撮像範囲を示しており、図２に示す“視野角２”は、レンズＬ２を含む光学部における撮像範囲を示している。図２に示すように、レンズＬ１を含む光学部における撮像範囲と、レンズＬ２を含む光学部における撮像範囲とには、重複する撮像範囲が存在する。

また、図２では、撮像範囲内に、オブジェクトＯ１、オブジェクトＯ２、およびオブジェクトＯ３という３つのオブジェクトが、被写体として存在する例を示している。図２では、全天球型の撮像デバイスにおける重複する撮像範囲内において、全天球型の撮像デバイスにより近い位置にオブジェクトＯ１が存在し、全天球型の撮像デバイスにより遠い位置にオブジェクトＯ２およびオブジェクトＯ３が存在している例を示している。ここで、本実施形態に係るオブジェクトとしては、例えば、人間や動物などの生体や、建物や乗り物などのモノなど、任意の物体が挙げられる。

以下では、図２においてオブジェクトＯ２およびオブジェクトＯ３が存在する全天球型の撮像デバイスにより遠い位置を「遠点」と示し、また、図２においてオブジェクトＯ１が存在する天球型の撮像デバイスにより近い位置を「近点」と示す場合がある。

図３は、本実施形態に係る全天球型の撮像デバイスにより撮像された撮像画像の一例を示す説明図である。

図３のＡは、図２に示す状況においてレンズＬ１を含む光学部により撮像された撮像画像の一例を示しており、撮像画像のうち、図２に示す重複する撮像範囲に対応する方位に対応する撮像画像を示している。また、図３のＢは、図２に示す状況においてレンズＬ２を含む光学部により撮像された撮像画像の一例を示しており、撮像画像のうち、図２に示す重複する撮像範囲に対応する方位に対応する撮像画像を示している。

また、図３に示すＣは、図３のＡに示す撮像画像と、図３のＢに示す撮像画像とが合成された画像の一例を示しており、図２における遠点を基準として合成された画像の一例を示している。図３に示すＣは、遠点を基準として各撮像画像から画像を切り出し、切り出した画像を結合することにより合成された画像を示している。例えば、図３に示すように、全天球型の撮像デバイスにおいて撮像された複数の撮像画像を合成する場合には、全天球型の撮像デバイスにおける重複する撮像範囲に対応する撮像画像に、合成境界部分が含まれる。

図３のＡ、図３のＢに示すように、全天球型の撮像デバイスにおける重複する撮像範囲に対応する撮像画像（合成境界部分を含む撮像画像）では、レンズＬ１とレンズＬ２とで同じオブジェクトを撮像しているにも関わらず、異なる画像となる。そのため、図３のＡに示す撮像画像と、図３のＢに示す撮像画像とを、単に遠点基準で合成すると、図３のＣに示すように、近点に存在するオブジェクトＯ１が、合成された画像から消えてしまう。

なお、図３の例では、オブジェクトＯ２のサイズが小さいために、近点に存在するオブジェクトＯ１が、合成された画像から消えているが、近点に存在するオブジェクトＯ１のサイズがよい大きな物体である場合には、オブジェクトＯ１の一部が消え、合成された画像が不連続な画像となる。また、図３に示すような、一部のオブジェクトが合成された画像から消える現象や、合成された画像が不連続となる現象は、図１のＢに示す球状の撮像デバイスにより撮像された撮像画像を処理する場合に限られず、図１のＡに示す棒状の撮像デバイスなど、任意の形状の全天球型の撮像デバイスにより撮像された撮像画像を処理する場合に生じうる。

［２］本実施形態に係る画像処理方法に係る処理の概要
例えば図３に示すような一部のオブジェクトが合成された画像から消える現象や、合成された画像が不連続となる現象が生じることを防止する一の方法としては、例えば、“全天球型の撮像デバイスにより撮像された複数の撮像画像が、撮像デバイスにおける基準位置から撮像された画像であるように、撮像画像に含まれるオブジェクトのうちの移動対象となるオブジェクトを、移動させる方法”が挙げられる。以下では、撮像画像に含まれるオブジェクトのうちの移動対象となるオブジェクトを、「対象オブジェクト」と示す場合がある。

ここで、本実施形態に係る基準位置としては、例えば、“図１のＢに示す球状の撮像デバイスにおける中心位置”や、“光学部を構成するレンズの中心位置を結ぶ線分の中点の位置（光学部が２つの場合の基準位置の一例）”、“光学部を構成するレンズの中心位置を頂点とする多角形内の任意の位置（光学部が３つ以上の場合の基準位置の一例）”、“光学部を構成するレンズの中心位置を頂点とする錐体内の任意の位置（光学部が４つ以上の場合の基準位置の一例）”などが挙げられる。本実施形態に係る基準位置は、予め設定された固定の位置であってもよいし、ユーザ操作などにより変更可能な可変の位置であってもよい。

以下では、“撮像デバイスにより撮像された複数の撮像画像が、基準位置から撮像された画像であるように、対象オブジェクトを移動させること”を、「視点移動」と示す場合がある。また、以下では、例えば、撮像デバイスにおけるＸ位置から撮像が行われること、または、撮像デバイスにおけるＸ位置から撮像が行われることを想定することを、「Ｘ視点」と示す場合がある。本実施形態に係る視点としては、例えば、球状の撮像デバイスの中心位置から撮像が行われる場合に相当する“中心視点”や、光学部を構成するレンズの所定の位置から撮像が行われる場合に相当する“レンズ視点”が挙げられる。

図４は、本実施形態に係る画像処理方法を説明するための説明図である。

図４のＡは、図３のＡと同様に、図２に示す状況においてレンズＬ１を含む光学部により撮像された撮像画像の一例を示している。また、図４のＢは、図３のＢと同様に、図２に示す状況においてレンズＬ２を含む光学部により撮像された撮像画像の一例を示している。

また、図４のＣは、図４のＡに示す撮像画像に対して、視点移動が行われた場合の撮像画像の一例を示し、図４のＤは、図４のＢに示す撮像画像に対して、視点移動が行われた場合の撮像画像の一例を示している。図４のＣ、Ｄは、基準位置が“光学部を構成するレンズＬ１、Ｌ２の中心位置を結ぶ線分の中点の位置”となるように視点移動が行われた場合を示しており、図４のＣ、Ｄに示す例では、オブジェクトＯ１が、対象オブジェクトとして撮像画像における中心に向かって移動している。

ここで、本実施形態に係る対象オブジェクトの移動とは、例えば、“撮像画像から対象オブジェクト部分を切り出し、切り出した対象オブジェクト部分を移動先の位置に合成し、他の光学部により撮像された撮像画像によって、切り出された部分を補間すること”をいう。なお、本実施形態に係る対象オブジェクトの移動は、上記に限られず、本実施形態に係る対象オブジェクトの移動には、上記“他の光学部により撮像された撮像画像によって、切り出された部分を補間すること”が含まれていなくてもよい。

また、図４のＥは、図４のＣに示す撮像画像と、図４のＤに示す撮像画像とが合成された画像の一例を示しており、図４のＣに示す撮像画像と図４のＤに示す撮像画像とから切り出した画像を結合することにより合成された画像を示している。

例えば図４のＣ、Ｄに示すように、視点移動により対象オブジェクトを移動させた上で、合成を行えば、図４のＥに示すように、例えば、オブジェクトが消えることや、合成された画像が不連続となることが生じない、基準位置から撮像された場合におけるより自然な画像を得ることが可能となる。

よって、上記“全天球型の撮像デバイスにより撮像された複数の撮像画像が、撮像デバイスにおける基準位置から撮像された画像であるように、対象オブジェクトを移動させる方法”が用いられることによって、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。

図５は、本実施形態に係る画像処理方法を説明するための説明図であり、全天球型の撮像デバイスにおいて視点移動を行う場合の比較例として、立体画像（３Ｄ画像）を撮像する撮像デバイスにおいて視点移動を行う場合の一例を示している。図５に示す“Ｖ１”、“Ｖ２”は、立体画像を構成する左目用の画像の生成に係る視点位置と、立体画像を構成する右目用の画像の生成に係る視点位置とを示している。また、図５に示す“Ｖ３”は、新たに生成する視点位置を示しており、図５に示す“Ｖ１”および“Ｖ２”の中間位置、すなわち、中間視点を生成する場合の視点位置を示している。

立体画像を撮像する撮像デバイスによる撮像において視点移動を行う場合において、図５の“Ｖ３”に示すような中間視点を作るときには、中間点となるように対象オブジェクトを移動させればよい。よって、立体画像を撮像する撮像デバイスにおいて視点移動を行う場合には、仮に、視点位置から被写体に対応するオブジェクトＯ２やオブジェクトＯ３までの距離が同じであれば、“Ｖ１”に対応する対象オブジェクトの移動量と、“Ｖ２”に対応する対象オブジェクトの移動量とは、同一となる。

図６は、本実施形態に係る画像処理方法を説明するための説明図である。図６は、“球状の撮像デバイスの表面からの距離”、“図１のＢに示す球状の撮像デバイスの中心位置（基準位置の一例）におけるオブジェクトＯまでの角度”、および“光学部を構成するレンズの中心位置（光学部に対応する位置の一例）におけるオブジェクトＯまでの角度”の関係の一例を示している。

ここで、本実施形態に係る“球状の撮像デバイスの表面からの距離”とは、例えば、球状の撮像デバイスにおける所定の位置と、オブジェクトにおける所定の位置とを結んだ線分のうち、球状の撮像デバイスの表面とオブジェクト表面との間の距離をいう。本実施形態に係る球状の撮像デバイスにおける所定の位置としては、例えば、球状の撮像デバイスの中心位置や、光学部を構成するレンズに対応する位置が挙げられる。また、本実施形態に係るオブジェクトにおける所定の位置としては、例えば、オブジェクトの中心位置や、オブジェクトの重心位置が挙げられる。

図６では、球状の撮像デバイスにおける中心位置と、オブジェクトにおける中心位置とを結んだ線分のうちの、球状の撮像デバイスの表面とオブジェクト表面との間の距離を、「球状の撮像デバイスの表面からの距離」としている。

また、図６では、“球状の撮像デバイスの中心位置におけるオブジェクトＯまでの角度”を「球の中心からの角度」と示し、“光学部を構成するレンズの中心位置におけるオブジェクトＯまでの角度”を「撮像視点角度」と示している。図６のＡに示すように、図６に示す“球の中心からの角度”とは、撮像デバイスの中心位置からレンズの中心位置方向と、撮像デバイスの中心位置からオブジェクトＯ方向とがなす角度である。また、図６のＡに示すように、図６に示す“撮像視点角度”とは、撮像デバイスの中心位置からレンズの中心位置方向と、レンズの中心位置からオブジェクトＯ方向とがなす角度である。

図６のＢに示すように、レンズ中心位置から離れる、球状の撮像デバイスの表面に近いオブジェクト程、“球の中心からの角度”と“撮像視点角度”との相違が大きくなる。

図７は、本実施形態に係る画像処理方法を説明するための説明図である。図７は、図６のＡに示す状況において、球状の撮像デバイスの中心位置とオブジェクトＯとの距離が一定である場合における、“球の中心からの角度”と“撮像視点角度”との関係の一例を示している。ここで、図７に示すＡは、“球の中心からの角度”と“撮像視点角度”との関係の一例を示している。また、図７に示すＢは、“球の中心からの角度”と“撮像視点角度”とが０度近辺の比である場合の“球の中心からの角度”と“撮像視点角度”との関係を示しており、“球の中心からの角度”と“撮像視点角度”との関係は、直線で表される。

図７のＡに示すように、“球の中心からの角度”と“撮像視点角度”とが大きくなるにしたがって、“球の中心からの角度”と“撮像視点角度”との関係は０度近辺との差が大きくなる。そのため、“球の中心からの角度”と“撮像視点角度”とが大きくなるにしたがって、“球の中心からの角度”と“撮像視点角度”との関係は、図７のＢに示す直線からずれていく。つまり、図７より、図６のＡに示す状況において、球状の撮像デバイスの中心位置とオブジェクトＯとの距離が一定であっても、“球の中心からの角度”に応じて対象オブジェクトを移動させる移動量は異なることが分かる。

よって、上記“全天球型の撮像デバイスにより撮像された複数の撮像画像が、撮像デバイスにおける基準位置から撮像された画像であるように、対象オブジェクトを移動させる方法”により、合成された画像をより自然な画像とさせる場合には、図５を参照して説明した“立体画像を撮像する撮像デバイスによる撮像において視点移動”とは異なる移動量で、対象オブジェクトを移動させる必要がある。

そこで、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、本実施形態に係る全天球型の撮像デバイスにより撮像された、複数の光学部それぞれに対応する複数の撮像画像が、撮像デバイスにおける基準位置から撮像された画像であるように、対象オブジェクトを移動させるための移動量を決定する。以下では、本実施形態に係る対象オブジェクトを移動させるための移動量を決定する処理を、「移動量決定処理」と示す。

本実施形態に係る画像処理装置が移動量決定処理により決定した移動量に基づき撮像画像に含まれる対象オブジェクトが移動された、複数の撮像画像が合成されることによって、本実施形態に係る全天球型の撮像デバイス（撮像範囲を全方位とする撮像デバイス）により撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることが可能となる。また、より自然な画像である合成された画像から、設定された方位に対応する画像が生成されることによって、生成された画像をより自然な画像とさせることが可能となる。以下では、合成された画像から生成される設定された方位に対応する画像を、「視点画像」と示す。

ここで、本実施形態に係る“決定された移動量に基づき撮像画像に含まれる対象オブジェクトを移動させる処理”（以下、「移動処理」と示す。）は、例えば、本実施形態に係る画像処理装置が行うことが可能である。つまり、本実施形態に画像処理方法に係る処理には、移動処理が含まれていてもよい。なお、本実施形態に係る移動処理は、例えば、本実施形態に係る画像処理装置の外部装置において行われてもよい。

また、本実施形態に係る“対象オブジェクトが移動された複数の撮像画像を合成する処理”には、例えば、球面投影を行う球面投影処理が含まれる。以下では、本実施形態に係る“対象オブジェクトが移動された複数の撮像画像を合成する処理”を「球面投影処理」と示す。本実施形態に係る球面投影処理は、例えば本実施形態に係る画像処理装置により行われる。つまり、本実施形態に画像処理方法に係る処理には、球面投影処理が含まれていてもよい。なお、本実施形態に係る球面投影処理は、例えば、本実施形態に係る画像処理装置の外部装置において行われてもよい。

また、本実施形態に係る“視点画像を生成する処理”（以下、「視点画像生成処理」と示す。）は、例えば、本実施形態に係る画像処理装置が行うことが可能である。つまり、本実施形態に画像処理方法に係る処理には、視点画像生成処理が含まれていてもよい。なお、本実施形態に係る視点画像生成処理は、例えば、本実施形態に係る画像処理装置の外部装置において行われてもよい。

以下、本実施形態に係る画像処理方法に係る処理についてより具体的に説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理として、移動量決定処理、移動処理、球面投影処理、および視点画像生成処理を行う場合を主に例に挙げて、本実施形態に係る画像処理方法に係る処理の一例について説明する。

［３］本実施形態に係る画像処理方法に係る処理の一例
［３−１］本実施形態に係る画像処理方法に係る処理により実現される視点移動について
本実施形態に係る画像処理方法に係る処理の具体例について説明する前に、本実施形態に係る画像処理方法に係る処理により実現される視点移動について説明する。

図８は、本実施形態に係る画像処理方法を説明するための説明図であり、図２と同様の状況における、球状の撮像デバイスの表面からの距離に応じた撮像範囲の一例を示している。

図８を参照すると、レンズＬ２に対応する位置を基準とした場合の撮像範囲は、当該位置からオブジェクトまでの距離によって一定である。これに対して、球状の撮像デバイスの中心位置を基準位置とした場合の撮像範囲は、当該位置からオブジェクトまでの距離が近い程狭く、遠くなるにしたがって大きくなる。

つまり、例えば、レンズＬ１を含む光学部と、レンズＬ２を含む光学部との２つの光学部により撮像が行われる場合には、撮像範囲が重複する部分は、球状の撮像デバイスの中心位置（基準位置の一例）からオブジェクトまでの距離が遠い程大きくなり、当該距離が近い程小さくなる。

また、図８を参照すると、レンズＬ２に対応する位置を基準とした場合と、球状の撮像デバイスの中心位置を基準位置とした場合とでは、遠点と近点との位置関係もずれてしまうことが分かる。具体例を挙げると、図８に示す例では、レンズＬ２に対応する位置を基準とした視点では、オブジェクトＯ１とオブジェクトＯ２とが同一の方向に見えるが、球状の撮像デバイスの中心位置を基準位置とした視点では、オブジェクトＯ１とオブジェクトＯ３とが同一の方向に見えることとなる。

なお、本実施形態に係る球状の撮像デバイスは、例えば、球の表面部分から焦点を合わせることが可能な光学部を備えることによって、図８に示すオブジェクトＯ１のように筐体の表面付近に存在するオブジェクトを、被写体として撮像することが可能である。本実施形態に係る球状の撮像デバイスが、筐体の表面付近に存在するオブジェクトを被写体として撮像することが可能であることによって、例えば、被写体に撮像デバイスを意識させず、また、本実施形態に係る球状の撮像デバイスを用いるユーザに、撮像デバイスの向きを気にさせずに、本実施形態に係る球状の撮像デバイスを被写体の至近距離まで近づけることができる。

図９は、本実施形態に係る画像処理方法を説明するための説明図であり、レンズＬ１を含む光学部と、レンズＬ２を含む光学部との２つの光学部を有する球状の撮像デバイス（図９に示すＡ）における、撮像範囲の重複部分を中心視点で示している。なお、図９に示す“ｒ１”、“ｒ２”、および“ｒ３”において撮像された場合の撮像画像における領域は、後述する図１０、図１１、図１３、図２１に示す領域“Ｒ１”、“Ｒ２”、および“Ｒ３”
にそれぞれ対応する。

図９に示すように、球状の撮像デバイスの表面からオブジェクトまでの距離が遠くなればなる程、レンズＬ１を含む光学部と、レンズＬ２を含む光学部とにおける撮像範囲の重複部分は、多くなる。

図１０は、本実施形態に係る画像処理方法を説明するための説明図であり、オブジェクトの移動の一例を示している。図１０は、レンズＬ１を含む光学部と、レンズＬ２を含む光学部との２つの光学部を有する球状の撮像デバイスにより撮像された２つの撮像画像により、全方位が撮像範囲となる場合における、オブジェクトの移動の一例を示している。

図１０のＡ１は、一方の光学部を構成するレンズの中心など基準位置から近い（近点）部分において撮像される撮像画像のイメージ図であり、図１０のＢ１は、一方の光学部を構成するレンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像のイメージ図である。また、図１０のＡ２、Ｂ２は、図１０のＡ１に示す撮像画像を、図１０のＢ１に示す撮像画像に合わせて移動させる場合の画像の一例を示している。

図１０に示す“Ｒ１”は、図９に示す“ｒ１”において撮像された場合の撮像画像における領域に対応し、図１０に示す“Ｒ２”は、図９に示す“ｒ２”において撮像された場合の撮像画像における領域に対応する。また、図１０に示す“Ｒ３”は、図９に示す“ｒ３”において撮像された場合の撮像画像における領域に対応する。

図１０の“Ｒ２”および図９の“ｒ２”に示すように、図１０の“Ｒ２”に示す領域は、遠点においても重複して撮像されない撮像範囲に対応する領域を示しており、当該領域については、レンズの中心など基準位置から近い（近点）部分により撮像された撮像画像の領域と、レンズの中心など基準位置から遠い（遠点）部分により撮像された撮像画像の領域とを判別することが困難である。よって、図１０のＡ２、図１０のＢ２に示すように、図１０の“Ｒ２”に示す領域については、そのままの状態とされる。

なお、図１０の“Ｒ２”に示す領域については、レンズの中心など基準位置から近い（近点）部分により撮像された撮像画像の領域と、レンズの中心軸と撮像素子の交点に近い部分の被写体（撮像画像の中心に写る）が撮像された撮像画像の領域との位置関係を維持したまま拡大または縮小してもよい。例えば図１０のＲ２における破線は、縮小を行う場合の一例を示している。

図１０のＲ２において破線で示すように、縮小が行われた場合には、擬似的に視点が遠くになるような効果を有するが、前後関係が変わらないため、あくまで擬似的なものとなる。擬似的な場合であっても、レンズの中心など基準位置から遠い（遠点）部分では視差が小さいため、画像を見たユーザが違和感を覚える可能性は低い。

また、図１０の“Ｒ２”に示す領域以外の重複部分については、例えば、レンズの中心など基準位置から近い（近点）部分において撮像される撮像画像を、レンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像に合わせて、球状の撮像デバイスの中心位置（基準位置の一例）方向に移動させる。

元々、レンズの中心など基準位置から近い（近点）部分では、半球より大きな範囲で撮像されないと球状の撮像デバイスの中心位置からみた半球が撮像できないので、図１０のＡ１では、“Ｒ１”に示す領域が、図１０のＢ１に示す“Ｒ１”に示す領域よりも大きくなっている。そのため、図１０の例では、図１０のＡ２に示すように、レンズの中心など基準位置から近い（近点）部分において撮像される撮像画像における“Ｒ１”に示す領域を、球状の撮像デバイスの中心位置方向に移動させている。なお、レンズの中心など基準位置から近い（近点）部分において撮像される撮像画像における移動に伴い、隠蔽されていた不足部分が、レンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像において発生するが、当該不足部分は、他方の光学部を構成するレンズにおいて重複して撮像されているので、補間することが可能である。

また、レンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像については、図１０の“Ｒ３”に示す領域のように、重複して撮像される部分が存在する。よって、重複して撮像される部分である図１０の“Ｒ３”に示す領域は、他方の光学部を構成するレンズにおいて撮像された撮像画像における補間に用いられた後に、図１０のＢ２に示すように削除される。

図１１は、本実施形態に係る画像処理方法を説明するための説明図であり、オブジェクトの移動の他の例を示している。図１１は、図１０と同様に、レンズＬ１を含む光学部と、レンズＬ２を含む光学部との２つの光学部を有する球状の撮像デバイスにより撮像された２つの撮像画像により、全方位が撮像範囲となる場合における、オブジェクトの移動の一例を示している。

図１１のＡ１は、一方の光学部を構成するレンズの中心など基準位置から近い（近点）部分において撮像される撮像画像のイメージ図であり、図１１のＢ１は、一方の光学部を構成するレンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像のイメージ図である。また、図１１のＡ２、Ｂ２は、図１１のＢ１に示す撮像画像を、図１１のＡ１に示す撮像画像に合わせて移動させる場合の画像の一例を示しており、図１１のＡ３、Ｂ３は、図１１のＢ１に示す撮像画像を、図１１のＡ１に示す撮像画像に合わせて移動させる場合の画像の他の例を示している。

図１１に示す“Ｒ１”は、図９に示す“ｒ１”において撮像された場合の撮像画像における領域に対応し、図１１に示す“Ｒ２”は、図９に示す“ｒ２”において撮像された場合の撮像画像における領域に対応する。また、図１１に示す“Ｒ３”は、図９に示す“ｒ３”において撮像された場合の撮像画像における領域に対応する。

図１１の“Ｒ２”および図９の“ｒ２”に示すように、図１１の“Ｒ２”に示す領域は、重複して撮像されない撮像範囲に対応する領域を示しており、当該領域については、レンズの中心など基準位置から近い（近点）部分により撮像された撮像画像の領域と、レンズの中心など基準位置から遠い（遠点）部分により撮像された撮像画像の領域とを判別することが困難である。よって、図１１のＡ２、図１１のＢ２に示すように、図１０の“Ｒ２”に示す領域については、そのままの状態とされる。

なお、図１１の“Ｒ２”に示す領域については、レンズの中心など基準位置から近い（近点）部分により撮像された撮像画像の領域と、レンズの中心軸と撮像素子の交点に近い部分の被写体（撮像画像の中心に写る）が撮像された撮像画像の領域との位置関係を維持したまま拡大または縮小してもよい。例えば図１１のＡ３、図１１のＢ３の“Ｒ２”における破線は、縮小を行う場合の一例を示している。

図１１のＡ３、図１１のＢ３の“Ｒ２”において破線で示すように、縮小が行われた場合には、擬似的に視点が遠くになるような効果を有するが、前後関係が変わらないため、あくまで擬似的なものとなる。擬似的な場合であっても、レンズの中心など基準位置から遠い（遠点）部分では視差が小さいため、画像を見たユーザが違和感を覚える可能性は低い。

図１１の例では、図１１のＡ２、Ｂ２に示すように、レンズの中心など基準位置から近い（近点）部分において撮像される撮像画像における“Ｒ１”に示す領域について、レンズの中心など基準位置から遠い（遠点）部分により撮像された撮像画像を、レンズの中心など基準位置から近い（近点）部分を基準として円周方向に移動させている。また、上記移動に際して、レンズの中心など基準位置から遠い（遠点）部分により撮像された撮像画像では、不足部分が存在することとなるが、他方の光学部を構成するレンズにおいて重複して撮像されているので、当該不足部分を補間することが可能である。

また、レンズの中心など基準位置から遠い（遠点）部分において撮像される撮像画像については、図１１の“Ｒ３”に示す領域のように、重複して撮像される部分が存在する。よって、重複して撮像される部分である図１１の“Ｒ３”に示す領域は、他方の光学部を構成するレンズにおいて撮像された撮像画像における補間に用いられた後に、図１１のＢ２に示すように削除される。

また、例えば図１１のＡ３、図１１のＢ３に示すように、図１１のＡ２に示すレンズの中心など基準位置から近い（近点）部分に対応する画像と、図１１のＢ２に示すレンズの中心など基準位置から遠い（遠点）部分に対応する画像との双方を移動させることも可能である。図１１のＡ３、および図１１のＢ３に示す例では、図１１のＡ２に示す画像、および図１１のＢ２に示す画像を、半球に収まるように移動された例を示している。

本実施形態に係る画像処理方法に係る処理により、例えば、図１０や図１１に示すような移動が行われることによって、視点移動を実現することができる。

図１２は、本実施形態に係る画像処理方法を説明するための説明図であり、視点移動の一例を示している。図１２は、レンズＬ１を含む光学部と、レンズＬ２を含む光学部との２つの光学部を有する球状の撮像デバイスにより撮像された２つの撮像画像に基づく、視点移動の一例を示している。

本実施形態に係る視点移動は、図１２のＢにおいて実線で示すように行われてもよいし、図１２のＢにおいて破線で示すように、傾きが連続となるように行われてもよい。

図１３は、本実施形態に係る画像処理方法を説明するための説明図であり、視点移動の他の例を示している。図１３は、光学部を構成するレンズにおける位置を中心とした視点での視点移動の一例を示している。

図１３に示す“Ｒ１”は、図９に示す“ｒ１”において撮像された場合の撮像画像における領域に対応し、図１３に示す“Ｒ２”は、図９に示す“ｒ２”において撮像された場合の撮像画像における領域に対応する。また、図１３に示す“Ｒ３”は、図９に示す“ｒ３”において撮像された場合の撮像画像における領域に対応する。

図１３の“Ｒ２”および図９の“ｒ２”に示すように、図１３の“Ｒ２”に示す領域は、重複して撮像されない撮像範囲に対応する領域を示しており、図１３では、一方の光学部を構成するレンズＬ１単独の撮像範囲に対応する領域に該当する。よって、図１３に示すように、一方の光学部を構成するレンズＬ１単独の撮像範囲では、視点移動が行われず、図１３の“Ｒ１”、“Ｒ３”に示す、他方の光学部を構成するレンズＬ２の撮像範囲と重複する撮像範囲に該当する部分において、視点移動が行われる。

なお、図１３では、一方の光学部を構成するレンズＬ１に着目しているが、他方の光学部を構成するレンズＬ２に着目した場合についても、同様である。

本実施形態に係る画像処理方法に係る処理が行われる場合には、例えば図１２や図１３に示すように、複数の光学部において重複して撮像される撮像範囲において、視点移動を行うことが可能である。

なお、上記では、例えば図１などに示すように、本実施形態に係る画像処理方法に係る処理が、レンズＬ１を含む光学部とレンズＬ２を含む光学部との２つの光学部により撮像された２つの撮像画像を処理する例について説明したが、本実施形態に係る画像処理方法において処理対象となる撮像画像は、上記に限られない。

図１４は、本実施形態に係る画像処理方法を説明するための説明図であり、全方位（撮像範囲の全体）を複数の光学部の撮像範囲により重複させる場合の第１の例を示している。図１４のＡは、本実施形態に係る全天球型の撮像デバイスが、それぞれの撮像範囲が２４０［度］であり、レンズをそれぞれ含む３つの光学部で撮像を行うことによって、全方位を複数の光学部の撮像範囲により重複させている例を示している。

全方位を複数の光学部の撮像範囲により重複させる場合には、本実施形態に係る全天球型の撮像デバイスは、例えば図１４のＡに示すように、少なくとも３以上の光学部を有する。例えば図１４のＡに示すように、撮像範囲の全体である全方位が、複数の光学部の撮像範囲によって重複されている場合には、全ての方位、および全ての本実施形態に係る撮像装置からの距離が、複数の光学部により重複して撮像されることとなる。

よって、図１４のＡに示すように、撮像範囲の全体である全方位が、複数の光学部の撮像範囲により重複されている場合には、図１４のＢに示すように、複数の光学部において重複して撮像される撮像範囲の全体において、視点移動を行うことが可能となる。なお、図１４のＢでは、球状の撮像デバイスの中心位置を基準位置として、視点移動を行う例を示しているが、本実施形態に係る視点移動の例は、図１４のＢに示す例に限られない。

図１５は、本実施形態に係る画像処理方法を説明するための説明図であり、全方位（撮像範囲の全体）を複数の光学部の撮像範囲により重複させる場合の第２の例を示している。図１５のＡは、図１４のＡと同様に、本実施形態に係る全天球型の撮像デバイスが、それぞれの撮像範囲が２４０［度］であり、レンズをそれぞれ含む３つの光学部で撮像を行うことによって、全方位を複数の光学部の撮像範囲により重複させている例を示している。

本実施形態に係る画像処理方法に係る処理が行われる場合には、例えば、３以上の光学部それぞれに対応する位置を頂点とするｎ角形（ｎは、光学部の数）内に含まれる２つの位置を基準位置（第１の基準位置、および第２の基準位置）として、視点移動が行われてもよい。ここで、本実施形態に係る光学部に対応する位置としては、例えば光学部を構成するレンズの中心位置など、光学部における任意の位置が挙げられる。図１５のＢは、３つの光学部を有する例であるので、図１５のＢに示す例では、３つの光学部それぞれに対応する位置を頂点とする三角形内の２つの位置を基準位置（第１の基準位置の一例、および第２の基準位置の一例）として、視点移動が行われる例を示している。

例えば図１５のＢに示すように、３以上の光学部それぞれに対応する位置を頂点とするｎ角形内に含まれる２つの位置を基準位置として視点移動が行われることによって、立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することが可能となる。ここで、本実施形態に係る“３以上の光学部それぞれに対応する位置を頂点とするｎ角形内に含まれる２つの位置”としては、例えば、ｎ角形内に含まれる２つの点であって、２点間の距離が、画像をみるユーザの瞳孔間距離に相当する距離である任意の点が挙げられる。上記画像をみるユーザの瞳孔間距離は、予め設定された固定値であってもよいし、ユーザ操作や瞳孔間距離の測定結果を示すデータに基づき変更可能な可変値であってもよい。上記２点間の距離が、画像をみるユーザの瞳孔間距離である場合には、ユーザは、より自然な立体画像を認識することができる。

また、３以上の光学部それぞれに対応する位置を頂点とするｎ角形内に含まれる２つの位置を基準位置として視点移動が行われる場合には、例えば、本実施形態に係る全天球型の撮像デバイスからの距離に対応してフィルタをかけることによって、注目点と同じ距離のオブジェクト以外のオブジェクトを、画像処理によってぼかすことも可能である。

なお、立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することを実現するための視点移動は、上記“３以上の光学部それぞれに対応する位置を頂点とするｎ角形内に含まれる２つの位置を基準位置とする、視点移動”に限られない。

例えば、本実施形態に係る全天球型の撮像デバイスが、角錐上に配置された４以上の光学部を有し、撮像範囲の全体である全方位を複数の光学部の撮像範囲により重複させる構成である場合には、本実施形態に係る画像処理方法に係る処理によって、“４以上の光学部それぞれに対応する位置を頂点とする角錐内に含まれる２つの位置を基準位置とする、視点移動”を実現することが可能である。

図１６は、本実施形態に係る画像処理方法を説明するための説明図であり、全方位（撮像範囲の全体）を複数の光学部の撮像範囲により重複させる場合の第３の例を示している。図１６は、四角錐上に配置された、レンズをそれぞれ含む４つの光学部で撮像を行うことによって、全方位を複数の光学部の撮像範囲により重複させる場合を示している。

例えば図１６に示すように、四角錐（角錐の一例）内に含まれる２つの位置を、基準位置（第１の基準位置、および第２の基準位置）として、視点移動が行われる場合には、２つの基準位置の自由度をさらに上げることができ、任意の向きに対応する、立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することが可能となる。

［３−２］本実施形態に係る画像処理方法に係る処理の具体例
次に、本実施形態に係る画像処理方法に係る処理について、より具体的に説明する。以下では、本実施形態に係る全天球型の撮像デバイスが、図１のＢに示すような球状の撮像デバイスである場合を例に挙げる。なお、上述したように、本実施形態に係る全天球型の撮像デバイスは、球状の撮像デバイスに限られない。

［３−２−１］本実施形態に係る画像処理方法に係る処理の第１の例
本実施形態に係る画像処理方法に係る処理の第１の例として、撮像画像を表示画面に表示させる、画像の再生に係る処理において、本実施形態に係る画像処理方法に係る処理が行われる場合の処理を説明する。

図１７、図１８は、本実施形態に係る画像処理方法に係る処理の第１の例を説明するための流れ図である。

図１７は、撮像に係る処理の一例を示しており、２つの光学部を有する本実施形態に係る全天球型の撮像デバイスにおける処理の一例を示している。

また、図１８は、画像の再生に係る処理の一例を示しており、また、本実施形態に係る画像処理装置が、本実施形態に係る全天球型の撮像デバイスにおける撮像により生成された２つの撮像画像に対して行う、本実施形態に係る画像処理方法に係る処理の一例を示している。

図１８では、ステップＳ２０４の処理が、本実施形態に係る移動量決定処理、および本実施形態に係る移動処理に該当する。また、図１８では、ステップＳ２０６の処理が、本実施形態に係る球面投影処理に該当し、ステップＳ２０８の処理が、本実施形態に係る視点画像生成処理に該当する。

なお、以下では、図１７に示す処理を本実施形態に係る全天球型の撮像デバイスが行い、図１８に示す処理を本実施形態に係る画像処理装置が行うものとして説明するが、本実施形態に係る画像処理装置における処理は、以下に示す処理に限られない。例えば、本実施形態に係る画像処理装置が、本実施形態に係る全天球型の撮像デバイスと同様の撮像機能を有する場合には、図１７に示す処理と図１８に示す処理とを、本実施形態に係る画像処理装置が行うことも可能である。

まず図１７を参照して、本実施形態に係る全天球型の撮像デバイスにおける、撮像に係る処理の一例について説明する。

本実施形態に係る全天球型の撮像デバイスは、少なくとも撮像範囲の一部が重複する２つの光学部によって、全方位を撮像する（Ｓ１００）。

本実施形態に係る全天球型の撮像デバイスは、ステップＳ１００における撮像により生成されたＲＡＷデータに対して設定された所定の処理を行う現像処理を行う（Ｓ１０２）。

そして、本実施形態に係る全天球型の撮像デバイスは、現像処理が行われた撮像画像を記録媒体に記録させる（Ｓ１０４）。本実施形態に係る全天球型の撮像デバイスが撮像画像を記録させる記録媒体としては、例えば、本実施形態に係る全天球型の撮像デバイスが備える記録媒体や、本実施形態に係る全天球型の撮像デバイスに接続された外部記録媒体、本実施形態に係る画像処理装置が備える記憶部（後述する）などの外部装置が備える記録媒体などが挙げられる。外部装置に撮像画像を記録させる場合、本実施形態に係る全天球型の撮像デバイスは、例えば、備えている通信デバイスまたは接続されている外部通信デバイスに、撮像画像を示す画像データと記録命令とを、当該外部装置に対して送信させる。

本実施形態に係る全天球型の撮像デバイスは、撮像を続けるか否かを判定する（Ｓ１０６）。本実施形態に係る全天球型の撮像デバイスは、例えば、ユーザ操作などに基づく、撮像を終了する信号が検出された場合に、撮像を続けると判定しない。また、本実施形態に係る全天球型の撮像デバイスは、例えば、撮像を終了する信号が検出されない場合には、撮像を続けると判定する。

ステップＳ１０６において撮像を続けると判定された場合には、本実施形態に係る全天球型の撮像デバイスは、ステップＳ１００からの処理を繰り返す。また、ステップＳ１０６において撮像を続けると判定された場合には、本実施形態に係る全天球型の撮像デバイスは、処理を終了する。

本実施形態に係る全天球型の撮像デバイスは、例えば図１７に示す処理を行うことによって、２つの撮像画像を生成する。

なお、本実施形態に係る全天球型の撮像デバイスにおける処理は、図１７に示す処理に限られない。

例えば、“本実施形態に係る全天球型の撮像デバイスが、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、３以上の光学部を有する場合”や、“本実施形態に係る全天球型の撮像デバイスが、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、角錐上に配置された４以上の光学部を有する場合”には、本実施形態に係る全天球型の撮像デバイスは、例えば図１７に示す処理と同様の処理を行うことによって、３以上の撮像画像を生成することも可能である。

また、例えば、本実施形態に係る画像処理装置が、ＲＡＷデータを処理することが可能な場合や、本実施形態に係る全天球型の撮像デバイスの外部装置において現像処理が行われる場合には、本実施形態に係る全天球型の撮像デバイスは、図１７のステップＳ１０２の処理を行わなくてもよい。

また、本実施形態に係る全天球型の撮像デバイスは、例えば、ステップＳ１０４の処理を行わず、備えている通信デバイスまたは接続されている外部通信デバイスに、撮像画像を示す画像データを、本実施形態に係る画像処理装置に対して送信させてもよい。上記の場合には、本実施形態に係る画像処理装置は、通信により取得された撮像画像を処理することとなる。

さらに、本実施形態に係る画像処理装置が、本実施形態に係る全天球型の撮像デバイスと同様の撮像機能を有する場合には、本実施形態に係る画像処理装置は、ステップＳ１０４の処理を行わずに、生成された撮像画像を処理することも可能である。

次に図１８を参照して、画像の再生に係る処理における、本実施形態に係る画像処理方法に係る処理の一例について説明する。

本実施形態に係る画像処理装置は、２つの光学部によりそれぞれ生成された２つの撮像画像を取得する（Ｓ２００）。本実施形態に係る画像処理装置は、例えば、“記憶部（後述する）や、接続されている外部記録媒体などの記録媒体から、撮像画像を示す画像データを読み出すこと”や、“本実施形態に係る画像処理装置が備える通信部（後述する）や、本実施形態に係る画像処理装置に接続された外部通信デバイスから、受信された撮像画像を示す画像データが伝達されること”によって、２つの撮像画像を取得する。

本実施形態に係る画像処理装置は、ユーザの視点方向を特定する（Ｓ２０２）。本実施形態に係る視点方向とは、例えば、全方位が撮像範囲とされた複数の撮像画像に含まれる領域のうちの、ある方向に対応する領域を特定するための方向をいう。本実施形態に係る視点方向は、全方位のうちのユーザが見る向きに相当する。また、本実施形態に係る画像処理装置が特定する本実施形態に係る視点方向には、例えば、どの方向を上下左右とするかが含まれる。

つまり、本実施形態に係る画像処理装置は、ステップＳ２０２の処理を行うことによって、全方位が撮像範囲とされた複数の撮像画像に含まれる領域のうちの、どの向きに対応する領域を示す画像を生成するかを決定する。

本実施形態に係る画像処理装置は、例えば、視点方向を指定するユーザ操作に基づく操作信号が示す方向を、視点方向として特定する。また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る全天球型の撮像デバイスが備える方位センサや、ユーザに装着されているウェアラブル装置が備える方位センサなどの検出データが示す方向を、視点方向として特定することも可能である。本実施形態に係る方位センサとしては、例えば、ジャイロセンサおよび地磁気センサなど、方位を検出することが可能な任意のセンサ（またはセンサ群）が挙げられる。

本実施形態に係る画像処理装置は、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、所定範囲で視点を移動させる（Ｓ２０４）。本実施形態に係る基準線の一例については、後述する。

図１９は、本実施形態に係る画像処理方法に係る処理の一例を説明するための流れ図であり、図１８に示すステップＳ２０４の処理の一例を示している。

本実施形態に係る画像処理装置は、例えば、対象オブジェクトとなる各被写体の、球状の撮像デバイスからの距離（以下、「本実施形態に係る球状の撮像デバイスからの距離」と示す場合がある。）を特定する（Ｓ３００）。

本実施形態に係る画像処理装置は、例えば、複数の撮像画像における、重複する領域に含まれる対象オブジェクトに基づいて、撮像デバイスから対象オブジェクトまでの距離を算出する。本実施形態に係る画像処理装置は、例えば、複数の撮像画像の重複部分の視差を利用して、撮像デバイスから対象オブジェクトまでの距離を算出する。そして、本実施形態に係る画像処理装置は、算出された撮像デバイスからオブジェクトまでの距離を、各被写体の、球状の撮像デバイスからの距離として特定する。

図２０は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る球状の撮像デバイスからの距離の算出に係る、撮像デバイスと被写体Ｏとの位置関係の一例を示している。図２０のＢは、図２０のＡに示す位置関係のうちの、撮像デバイスから対象オブジェクトまでの距離の算出に係る位置関係を抜き出した図である。図２０では、本実施形態に係る球状の撮像デバイスを、便宜上「球」と示している。また、図２０では、球状の撮像デバイスの中心位置が、レンズＬ１の中心位置およびレンズＬ２の中心位置間の中点に該当する例を示している。

ここで、図２０に示す“視点間の距離ｆ”は、本実施形態に係る全天球型の撮像デバイスが備える複数の光学部間の距離を示しており、例えば、本実施形態に係る全天球型の撮像デバイスの種類に対応する値が設定される。

また、図２０に示す“レンズ中心からの角度ａ”は、レンズＬ１の中心位置における基準線から被写体Ｏまでの角度を示しており、図２０に示す“レンズ中心からの角度ｂ”は、レンズＬ２の中心位置における基準線から被写体Ｏまでの角度を示している。また、図２０に示す“球中心からの角度ｃ”は、球状の撮像デバイスの中心位置（基準位置の一例）における基準線から被写体Ｏまでの角度を示している。本実施形態に係る基準線としては、例えば、図２０に示すように、球状の撮像デバイスの中心位置、レンズＬ１の中心位置、およびレンズＬ２の中心位置を通る直線が挙げられる。

また、図２０に示す“視点間からの垂線と、球中心および被写体を結ぶ直線とが成す角度ｄ”は、例えば下記の数式１で算出される。

また、図２０に示す“視点間からの垂直方向の距離ｈ”は、例えば下記の数式２で算出される。

また、図２０に示す“球中心からの角度ｃ”は、例えば下記の数式３で算出される。

また、図２０に示す“球中心からの被写体距離ｌ”は、例えば下記の数式４で算出される。

撮像デバイスから対象オブジェクトまでの距離が、球状の撮像デバイスの表面から被写体までの距離である場合、本実施形態に係る画像処理装置は、例えば、上記数式４により算出された距離ｌから、球状の撮像デバイスの半径に対応する距離を減算することによって、撮像デバイスから対象オブジェクトまでの距離を算出する。

なお、本実施形態に係る全天球型の撮像デバイスから対象オブジェクトまでの距離は、球状の撮像デバイスの表面から被写体までの距離に限られない。

例えば、本実施形態に係る画像処理装置は、光学部に対応する所定の位置（例えば、光学部を構成するレンズの中心位置など）から対象オブジェクトまでの距離を、撮像デバイスから対象オブジェクトまでの距離として算出することも可能である。球状の撮像デバイスの中心位置が、レンズＬ１の中心位置およびレンズＬ２の中心位置間の中点に該当する場合には、一方の光学部に対応する距離が特定されれば、他方の光学部に対応する距離も特定することが可能であるからである。

本実施形態に係る画像処理装置は、例えば上記のように、撮像デバイスから対象オブジェクトまでの距離を算出することによって、本実施形態に係る球状の撮像デバイスからの距離を特定する。

なお、本実施形態に係る球状の撮像デバイスからの距離の特定方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、下記に示すように、本実施形態に係る球状の撮像デバイスからの距離を特定することも可能である。

・撮像デバイスから取得された、ピントが合っている領域の距離を示す“コントラストＡＦ（Auto Focus）の情報”（データ）に基づいて、ピントが合っている領域の距離を、本実施形態に係る球状の撮像デバイスからの距離として特定する。
・撮像デバイスから取得された、位相差センサの出力を示す出力データを含む“位相差ＡＦの情報”（データ）に基づいて、位相差センサの出力データの差に基づく距離を、本実施形態に係る球状の撮像デバイスからの距離として特定する。
・撮像デバイスから取得された、出力した電磁波、赤外線、超音波などが被写体から反射して帰ってくるまでの時間を示す“時間情報”（データ）に基づいて、時間情報が示す時間に基づく距離を、本実施形態に係る球状の撮像デバイスからの距離として特定する。
・撮像デバイスから取得された“出力した可視光、電磁波波、赤外線などの既知パターンの信号の変形量を示す情報”（データ）に基づいて、当該情報が示す変形量に基づく距離を、本実施形態に係る球状の撮像デバイスからの距離として特定する。
・複数の撮像画像から得られる、被写体に対応するオブジェクトの角度と、複数の光学部間の距離とに基づく距離（三角測量により算出される距離）を、本実施形態に係る球状の撮像デバイスからの距離として特定する。
・複数のレンズの光をミラーで１つに導き合成された画像（レンジファインダー方式により得られる撮像画像）から得られる、被写体に対応するオブジェクトのずれと、レンズ間距離とに基づく距離（三角測量により算出される距離）を、本実施形態に係る球状の撮像デバイスからの距離として特定する。

再度図１９を参照して、図１８に示すステップＳ２０４の処理の一例について説明する。本実施形態に係る画像処理装置は、例えば、対象オブジェクトとなる各被写体の、球状の撮像デバイスからの基準位置からの角度（以下、「本実施形態に係る球状の撮像デバイスからの角度」と示す場合がある。）を特定する（Ｓ３０２）。

図２１は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る球状の撮像デバイスからの角度の特定方法の一例を示している。図２１に示す“Ｒ１”は、図９に示す“ｒ１”において撮像された場合の撮像画像における領域に対応し、図２１に示す“Ｒ２”は、図９に示す“ｒ２”において撮像された場合の撮像画像における領域に対応する。また、図２１に示す“Ｒ３”は、図９に示す“ｒ３”において撮像された場合の撮像画像における領域に対応する。

本実施形態に係る画像処理装置は、例えば、本実施形態に係る球状の撮像デバイスで撮像された画像上での距離（図２１に示す“撮像画像の中心からの被写体像の距離”に対応）と、本実施形態に係る球状の撮像デバイスからの角度（図２１に示す“レンズ中心からの角度”に対応）との関係を示す、像中心からの角度のレンズ特性を示す関数を用いて、本実施形態に係る球状の撮像デバイスで撮像された画像上での距離に対応する角度を算出する。そして、本実施形態に係る画像処理装置は、算出された角度を、本実施形態に係る球状の撮像デバイスからの角度として特定する。

なお、本実施形態に係る球状の撮像デバイスからの角度の特定方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、下記に示すように、本実施形態に係る球状の撮像デバイスからの角度を特定することも可能である。

・撮像デバイスから取得された“レンズの特性を示す情報”（データ）と、撮像画像とに基づいて、レンズ特性と被写体の画像内位置から得られる角度を、本実施形態に係る球状の撮像デバイスからの角度として特定する。
・撮像デバイスから取得された、位相差センサの出力（像面位相差を含む）を示す出力データを含む“位相差ＡＦの情報”（データ）と、“レンズの特性を示す情報”（データ）とに基づいて、レンズ特性と被写体の位相差センサ内位置から得られる角度を、本実施形態に係る球状の撮像デバイスからの角度として特定する。
・撮像デバイスから取得された、出力した電磁波、赤外線、超音波などが被写体から反射して帰ってくる方向を示す“方向情報”（データ）に基づく角度を、本実施形態に係る球状の撮像デバイスからの角度として特定する。
・撮像デバイスから取得された“出力した可視光、電磁波波、赤外線などの既知パターンの信号の変形の位置を示す情報”（データ）に基づく角度を、本実施形態に係る球状の撮像デバイスからの角度として特定する。

再度図１９を参照して、図１８に示すステップＳ２０４の処理の一例について説明する。本実施形態に係る画像処理装置は、例えば、ステップＳ３００において特定された本実施形態に係る球状の撮像デバイスからの距離と、ステップＳ３０２において特定された本実施形態に係る球状の撮像デバイスからの角度とに基づいて、撮像画像に含まれる対象オブジェクトを移動させる移動量を決定する（Ｓ３０４）。ここで、本実施形態に係る画像処理装置は、ステップＳ３０４において、例えば図１０や図１１を参照して説明した移動方法を適用し、当該移動方法が実現されるように、移動量を決定する。

本実施形態に係る画像処理装置は、２つの撮像画像に含まれる対象オブジェクトを、ステップＳ３０４において決定された移動量に応じて移動させる（Ｓ３０６）。

本実施形態に係る画像処理装置は、図１８に示すステップＳ２０４において、例えば図１９に示す処理を行うことにより、視点を移動させる。

再度図１８を参照して、本実施形態に係る画像処理装置における処理の一例について説明する。本実施形態に係る画像処理装置は、ステップＳ２０４により、対象オブジェクトが移動された２つの撮像画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ２０６）。

本実施形態に係る画像処理装置は、ステップＳ２０６において球面投影された画像から、ステップＳ２０２において特定された視点方向に対応する領域の画像を切り出す（Ｓ２０８）。ステップＳ２０８の処理は、対象オブジェクトが移動された複数の撮像画像に基づいて、視点画像を生成する処理に該当する。

そして、本実施形態に係る画像処理装置は、切り出された画像（視点画像）を表示画面に表示させる（Ｓ２１０）。本実施形態に係る画像処理装置が画像を表示させる表示画面としては、例えば、本実施形態に係る画像処理装置が備える表示部（後述する）の表示画面や、本実施形態に係る画像処理装置に接続された外部表示デバイスの表示画面、外部装置が備える表示デバイスの表示画面などが挙げられる。外部装置における表示画面に画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、本実施形態に係る画像処理装置が備える通信部（後述する）や、本実施形態に係る画像処理装置に接続されている外部通信デバイスに、切り出された画像を示す画像データと表示命令とを、当該外部装置に対して送信させる。

本実施形態に係る画像処理装置は、異なる表示を行うか否かを判定する（Ｓ２１２）。

ここで、本実施形態に係る画像処理装置は、例えば、表示を変更する信号が検出された場合に、異なる表示を行うと判定する。本実施形態に係る表示を変更する信号としては、例えば、表示を変更するユーザ操作に基づく信号が挙げられる。また、本実施形態に係る表示を変更する信号は、本実施形態に係る画像処理装置や外部装置において、定期的または非定期的に生成される信号であってもよい。

また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る表示を変更する信号が、設定された所定の時間検出されない場合や、表示を終了する信号が検出された場合に、異なる表示を行うと判定しない。

ステップＳ２１２において異なる表示を行うと判定された場合には、本実施形態に係る画像処理装置は、視点方向を変えるか否かを判定する（Ｓ２１４）。本実施形態に係る画像処理装置は、例えば、本実施形態に係る表示を変更する信号が、視点方向を変えることを示す場合に、視点方向を変えると判定する。

ステップＳ２１４において視点方向を変えると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ２０２からの処理を繰り返す。また、ステップＳ２１４において視点方向を変えると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ２００からの処理を繰り返す。

ステップＳ２１２において異なる表示を行うと判定されない場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図１８に示す処理を行う。

ここで、本実施形態に係る画像処理装置は、複数の撮像画像に基づいて対象オブジェクトを移動させるための移動量を決定し、決定された移動量に基づき対象オブジェクトが移動された複数の撮像画像を、球面投影して合成する。

よって、本実施形態に係る画像処理装置が、例えば図１８に示す処理を行うことによって、本実施形態に係る全天球型の撮像デバイス（撮像範囲を全方位とする撮像デバイス）により撮像された複数の撮像画像が合成された画像を、より自然な画像とすることができる。

また、本実施形態に係る画像処理装置は、合成された画像から切り出された視点画像を表示画面に表示させる。よって、本実施形態に係る画像処理装置が、例えば図１８に示す処理を行うことによって、より自然な画像を表示画面に表示させることができる。

なお、本実施形態に係る画像処理装置における、第１の例に係る画像処理方法に係る処理は、図１８に示す処理に限られない。

例えば、本実施形態に係る画像処理装置は、図１８のステップＳ２０４の一部の処理（より具体的には、図１９のステップＳ３００〜Ｓ３０４の処理）を行い、図１８の他の処理は外部装置において行われてもよい。

上記の場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る移動量決定処理によって、複数の撮像画像に基づいて対象オブジェクトを移動させるための移動量を決定することができる。よって、上記の場合であっても、本実施形態に係る画像処理装置は、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。

［３−２−２］本実施形態に係る画像処理方法に係る処理の第２の例
本実施形態に係る画像処理方法に係る処理の第２の例として、撮像に係る処理において、本実施形態に係る移動量決定処理が行われる場合の処理を説明する。

図２２、図２３は、本実施形態に係る画像処理方法に係る処理の第２の例を説明するための流れ図である。

図２２は、撮像に係る処理の一例を示しており、２つの光学部により撮像された２つの撮像画像に対して行う、本実施形態に係る画像処理方法に係る処理の一例を示している。図２２では、ステップＳ４０４の処理が、本実施形態に係る移動量決定処理、および本実施形態に係る移動処理に該当する。

また、図２３は、画像の再生に係る処理の一例を示している。図２３では、ステップＳ５０４の処理が、本実施形態に係る球面投影処理に該当し、ステップＳ５０６の処理が、本実施形態に係る視点画像生成処理に該当する。

なお、以下では、図２２、および図２３の処理を、本実施形態に係る画像処理装置が行うものとして説明するが、第２の例に係る画像処理方法に係る処理は、上記に限られない。

例えば、図２２のステップＳ４０４における本実施形態に係る移動量決定処理に該当する一部の処理を、本実施形態に係る画像処理装置が行い、図２２の他の処理は、本実施形態に係る全天球型の撮像デバイスなど、外部デバイスや外部装置において行われてもよい。また、上述したように、本実施形態に係る球面投影処理と本実施形態に係る視点画像生成処理とは、外部装置が行うことが可能であるので、図２３の処理は、外部装置により行われてもよい。

まず図２２を参照して、撮像に係る処理における、本実施形態に係る画像処理方法に係る処理の一例について説明する。

本実施形態に係る画像処理装置は、少なくとも撮像範囲の一部が重複する２つの光学部によって、全方位を撮像する（Ｓ４００）。そして、本実施形態に係る画像処理装置は、図１７のステップＳ１００と同様に、ステップＳ４００における撮像により生成されたＲＡＷデータに対して設定された所定の処理を行う現像処理を行う（Ｓ４０２）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様に、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、所定範囲で視点を移動させる（Ｓ４０４）。

本実施形態に係る画像処理装置は、ステップＳ４０４の処理により対象オブジェクトが移動された２つの撮像画像における重複部分のうちの不要部分を、削除する（Ｓ４０６）。そして、本実施形態に係る画像処理装置は、ステップＳ４０６の処理が行われた撮像画像を、図１７のステップＳ１０４と同様に、記録媒体に記録させる（Ｓ４０８）。

本実施形態に係る画像処理装置は、図１７のステップＳ１０６と同様に、撮像を続けるか否かを判定する（Ｓ４０８）。

ステップＳ４０８において撮像を続けると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ４００からの処理を繰り返す。また、ステップＳ４０８において撮像を続けると判定された場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、例えば図２２に示す処理を行うことによって、本実施形態に係る移動量決定処理において決定された移動量に基づき対象オブジェクトが移動された２つの撮像画像を生成する。

なお、本実施形態に係る画像処理装置における処理は、図２２に示す処理に限られない。

例えば、“本実施形態に係る画像処理装置が、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、３以上の光学部を有する場合”や、“本実施形態に係る画像処理装置が、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、角錐上に配置された４以上の光学部を有する場合”には、本実施形態に係る画像処理装置は、例えば図２２に示す処理と同様の処理を行うことによって、３以上の撮像画像を生成することも可能である。

また、例えば、本実施形態に係る画像処理装置が、ＲＡＷデータを処理することが可能な場合や、外部装置において現像処理が行われる場合には、本実施形態に係る画像処理装置は、図１７のステップＳ４０２の処理を行わなくてもよい。

また、本実施形態に係る画像処理装置は、例えば、ステップＳ４０８の処理を行わず、ステップＳ４０６の処理が行われた撮像画像に対して、図２３の処理を行ってもよい。また、図２３の処理が外部装置において行われる場合、本実施形態に係る画像処理装置は、例えば、ステップＳ４０８の処理を行わず、備えている通信部（後述する）または接続されている外部通信デバイスに、撮像画像を示す画像データを、当該外部装置に対して送信させてもよい。

次に図２３を参照して、画像の再生に係る処理の一例について説明する。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２００と同様に、２つの光学部によりそれぞれ生成された２つの撮像画像を取得する（Ｓ５００）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０２と同様に、ユーザの視点方向を特定する（Ｓ５０２）。

本実施形態に係る画像処理装置は、ステップＳ５００により、取得された２つの撮像画像（対象オブジェクトが移動された２つの撮像画像）を球面投影する（Ｓ５０４）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０８と同様に、ステップＳ５０４において球面投影された画像から、ステップＳ５０２において特定された視点方向に対応する領域の画像を切り出す（Ｓ５０６）。そして、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１０と同様に、切り出された画像（視点画像）を表示画面に表示させる（Ｓ５０８）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１２と同様に、異なる表示を行うか否かを判定する（Ｓ５１０）。

ステップＳ５１０において異なる表示を行うと判定された場合には、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１４と同様に、視点方向を変えるか否かを判定する（Ｓ５１２）。

ステップＳ５１２において視点方向を変えると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ５０２からの処理を繰り返す。また、ステップＳ５１２において視点方向を変えると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ５００からの処理を繰り返す。

ステップＳ５１０において異なる表示を行うと判定されない場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、画像の再生に係る処理として、例えば図２３に示す処理を行う。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２２、図２３に示す処理を行う。

ここで、本実施形態に係る画像処理装置は、撮像に係る処理の一環として、複数の撮像画像に基づいて対象オブジェクトを移動させるための移動量を決定し、決定された移動量に基づき対象オブジェクトを移動させた画像を撮像画像とする。また、本実施形態に係る画像処理装置は、再生に係る処理の一環として、決定された移動量に基づき対象オブジェクトが移動された複数の撮像画像を、球面投影して合成する。

よって、本実施形態に係る画像処理装置が、例えば図２２、図２３に示す処理を行うことによって、本実施形態に係る全天球型の撮像デバイス（撮像範囲を全方位とする撮像デバイス）に相当する撮像機能により撮像された複数の撮像画像が合成された画像を、より自然な画像とすることができる。

また、本実施形態に係る画像処理装置は、再生に係る処理の一環として、合成された画像から切り出された視点画像を表示画面に表示させる。よって、本実施形態に係る画像処理装置が、例えば図２３に示す処理を行うことによって、より自然な画像を表示画面に表示させることができる。

［３−２−３］本実施形態に係る画像処理方法に係る処理の第３の例
上記［３−２−１］に示す第１の例に係る画像処理方法に係る処理、および上記［３−２−２］に示す第２の例に係る画像処理方法に係る処理では、本実施形態に係る画像処理装置が、２つの撮像画像を処理する例を示した。しかしながら、例えば、“本実施形態に係る全天球型の撮像デバイスが、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、３以上の光学部を有する場合”には、図１４を参照して説明したように、本実施形態に係る画像処理装置は、全ての方位、および全ての本実施形態に係る撮像装置からの距離が、複数の光学部により重複して撮像された、３以上の撮像画像を処理することが可能である。

以下では、本実施形態に係る移動量決定処理が、再生に係る処理において行われる場合を例に挙げて、全ての方位、および全ての本実施形態に係る撮像装置からの距離が、複数の光学部により重複して撮像された、３以上の撮像画像を処理する場合の処理の一例について説明する。

図２４は、本実施形態に係る画像処理方法に係る処理の第３の例を説明するための流れ図である。図２４では、ステップＳ６０４の処理が、本実施形態に係る移動量決定処理、および本実施形態に係る移動処理に該当する。また、図２４では、ステップＳ６０６の処理が、本実施形態に係る球面投影処理に該当し、ステップＳ６０８の処理が、本実施形態に係る視点画像生成処理に該当する。

本実施形態に係る画像処理装置は、３つの光学部によりそれぞれ生成された３つの撮像画像を取得する（Ｓ６００）。本実施形態に係る画像処理装置は、例えば例えば図１８のステップＳ２００と同様に、撮像画像を取得する。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０２と同様に、ユーザの視点方向を特定する（Ｓ６０２）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様に、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、所定範囲で視点を移動させる（Ｓ６０４）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０６と同様に、ステップＳ６０４により対象オブジェクトが移動された２つの撮像画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ６０６）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０８と同様に、ステップＳ６０４において球面投影された画像から、ステップＳ６０２において特定された視点方向に対応する領域の画像を切り出す（Ｓ６０８）。そして、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１０と同様に、切り出された画像（視点画像）を表示画面に表示させる（Ｓ６１０）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１２と同様に、異なる表示を行うか否かを判定する（Ｓ６１２）。

ステップＳ６１２において異なる表示を行うと判定された場合には、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１４と同様に、視点方向を変えるか否かを判定する（Ｓ６１４）。

ステップＳ６１４において視点方向を変えると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ６０２からの処理を繰り返す。また、ステップＳ６１４において視点方向を変えると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ６００からの処理を繰り返す。

ステップＳ６１２において異なる表示を行うと判定されない場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、画像の再生に係る処理として、例えば図２４に示す処理を行う。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２４に示す処理を行う。図２４に示すように、本実施形態に係る画像処理装置は、２つの撮像画像を処理する図１８に示す、第１の例に係る画像処理方法に係る処理と同様の処理を行う。

よって、例えば図２４に示す処理を行う場合であっても、本実施形態に係る画像処理装置は、上記［３−２−１］に示す第１の例に係る画像処理方法に係る処理と同様の効果を奏することができる。

なお、第３の例に係る画像処理方法に係る処理は、図２４に示す処理に限られない。

例えば、本実施形態に係る画像処理装置は、２つの撮像画像を処理する図２２、図２３に示す、第２の例に係る画像処理方法に係る処理と同様の処理を行うことも可能である。

また、本実施形態に係る画像処理装置は、上記［３−２−１］に示す第１の例に係る画像処理方法に係る処理、または、上記［３−２−２］に示す第２の例に係る画像処理方法に係る処理と同様の変形例に係る処理を行ってもよい。

［３−２−４］本実施形態に係る画像処理方法に係る処理の第４の例
図１５を参照して説明したように、３以上の光学部それぞれに対応する位置を頂点とするｎ角形内に含まれる２つの位置を、基準位置（第１の基準位置、および第２の基準位置）として、視点移動が行われることによって、立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することが可能である。

以下では、本実施形態に係る移動量決定処理が、再生に係る処理において行われる場合を例に挙げて、立体視を実現可能な２つの画像が生成される場合の処理の一例について説明する。また、以下では、立体視を実現可能な２つの画像のうち、右目用の画像に対応する画像を「右視点画像」と示し、左目用の画像に対応する画像を「左視点画像」と示す。

図２５は、本実施形態に係る画像処理方法に係る処理の第４の例を説明するための流れ図である。図２５では、ステップＳ７０４の処理、およびステップＳ７０６の処理が、本実施形態に係る移動量決定処理、および本実施形態に係る移動処理に該当する。また、図２５では、ステップＳ７０８の処理、およびステップＳ７１０の処理が、本実施形態に係る球面投影処理に該当する。また、図２５では、ステップＳ７１２の処理が、本実施形態に係る視点画像生成処理に該当する。

本実施形態に係る画像処理装置は、例えば図２４のステップＳ６００と同様に、３つの光学部によりそれぞれ生成された３つの撮像画像を取得する（Ｓ７００）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０２と同様に、ユーザの視点方向を特定する（Ｓ７０２）。

本実施形態に係る画像処理装置は、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、左視点画像を生成する（Ｓ７０４）。本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様の処理により視点移動を行うことによって、本実施形態に係る全天球型の撮像デバイスが備える３つの光学部それぞれに対応する位置を頂点とする三角形内に含まれる、第１の基準位置に対応する画像を、左視点画像として生成する。

より具体的には、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３００〜Ｓ３０４と同様の処理を行うことによって、上記３つの光学部それぞれに対応する３つの撮像画像が、第１の基準位置から撮像された画像であるように対象オブジェクトを移動させるための第１の移動量を決定する。そして、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３０６と同様の処理を行うことによって、決定された第１の移動量に基づき撮像画像に含まれる対象オブジェクトを移動させる。

本実施形態に係る画像処理装置は、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、右視点画像を生成する（Ｓ７０６）。本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様の処理により視点移動を行うことによって、本実施形態に係る全天球型の撮像デバイスが備える３つの光学部それぞれに対応する位置を頂点とする三角形内に含まれる、第２の基準位置に対応する画像を、右視点画像として生成する。

より具体的には、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３００〜Ｓ３０４と同様の処理を行うことによって、上記３つの光学部それぞれに対応する３つの撮像画像が、第２の基準位置から撮像された画像であるように対象オブジェクトを移動させるための第２の移動量を決定する。そして、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３０６と同様の処理を行うことによって、決定された第２の移動量に基づき撮像画像に含まれる対象オブジェクトを移動させる。

なお、図２５では、ステップＳ７０４の処理の後にステップＳ７０６の処理が行われる例を示しているが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、ステップＳ７０６の処理の後にステップＳ７０４の処理を行ってもよいし、ステップＳ７０４の処理とステップＳ７０６の処理とを同期して行ってもよい。

本実施形態に係る画像処理装置は、ステップＳ７０４により生成された左視点画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ７０８）。本実施形態に係る画像処理装置は、例えば、ステップＳ７０８において図１８のステップＳ２０６と同様の処理を行う。

本実施形態に係る画像処理装置は、ステップＳ７０６により生成された右視点画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ７１０）。本実施形態に係る画像処理装置は、例えば、ステップＳ７１０において図１８のステップＳ２０６と同様の処理を行う。

なお、図２５では、ステップＳ７０８の処理の後にステップＳ７１０の処理が行われる例を示しているが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、ステップＳ７１０の処理の後にステップＳ７０８の処理を行ってもよいし、ステップＳ７０８の処理とステップＳ７１０の処理とを同期して行ってもよい。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０８と同様に、ステップＳ７０８において球面投影された画像、およびステップＳ７１０において球面投影された画像それぞれから、ステップＳ７０２において特定された視点方向に対応する領域の画像をそれぞれ切り出す（Ｓ７１２）。

そして、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１０と同様に、切り出された画像である左視点画像と右視点画像とを表示画面に表示させる（Ｓ７１４）。ここで、ステップＳ７１２において切り出された左視点画像と右視点画像とは、“第１の移動量に基づき対象オブジェクトが移動された複数の撮像画像に基づく、視点画像”（第１の視点画像）と、“第２の移動量に基づき対象オブジェクトが移動された、複数の撮像画像に基づく、視点画像”（第２の視点画像）とに該当する。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１２と同様に、異なる表示を行うか否かを判定する（Ｓ７１６）。

ステップＳ７１６において異なる表示を行うと判定された場合には、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１４と同様に、視点方向を変えるか否かを判定する（Ｓ７１８）。

ステップＳ７１８において視点方向を変えると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ７０２からの処理を繰り返す。また、ステップＳ７１８において視点方向を変えると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ７００からの処理を繰り返す。

ステップＳ７１６において異なる表示を行うと判定されない場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２５に示す処理を行う。

図２５に示すように、本実施形態に係る画像処理装置は、図２４に示す第３の例に係る画像処理方法に係る処理と同様の処理によって、立体視を実現可能な２つの画像（右目用の画像に対応する右視点画像と、左目用の画像に対応する左視点画像）を生成する。よって、例えば図２５に示す処理を行う場合であっても、本実施形態に係る画像処理装置は、上記［３−２−３］に示す第３の例に係る画像処理方法に係る処理と同様の効果を奏することができる。

なお、第４の例に係る画像処理方法に係る処理は、図２５に示す処理に限られない。例えば、本実施形態に係る画像処理装置は、上記［３−２−３］に示す第３の例に係る画像処理方法に係る処理と同様の変形例に係る処理を行うことが可能である。

［３−２−５］本実施形態に係る画像処理方法に係る処理の第５の例
立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することが可能な処理は、上記［３−２−４］に示す第４の例に係る画像処理方法に係る処理に限られない。図１６を参照して説明したように、４以上の光学部それぞれに対応する位置を頂点とする角錐内に含まれる２つの位置を基準位置（第１の基準位置、および第２の基準位置）として、視点移動が行われることによって、立体視を実現可能な２つの画像（右目用の画像と、左目用の画像）を生成することが可能である。

以下では、本実施形態に係る移動量決定処理が、再生に係る処理において行われる場合を例に挙げて、立体視を実現可能な２つの画像が生成される場合の処理の一例について説明する。

図２６は、本実施形態に係る画像処理方法に係る処理の第５の例を説明するための流れ図である。図２６では、ステップＳ８０４の処理、およびステップＳ８０６の処理が、本実施形態に係る移動量決定処理、および本実施形態に係る移動処理に該当する。また、図２６では、ステップＳ８０８の処理、およびステップＳ８１０の処理が、本実施形態に係る球面投影処理に該当する。また、図２６では、ステップＳ８１２の処理が、本実施形態に係る視点画像生成処理に該当する。

本実施形態に係る画像処理装置は、例えば図２４のステップＳ６００と同様に、４つの光学部によりそれぞれ生成された３つの撮像画像を取得する（Ｓ８００）。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０２と同様に、ユーザの視点方向を特定する（Ｓ８０２）。

本実施形態に係る画像処理装置は、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、左視点画像を生成する（Ｓ８０４）。本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様の処理により視点移動を行うことによって、本実施形態に係る全天球型の撮像デバイスが備える４つの光学部それぞれに対応する位置を頂点とする四角錐内に含まれる、第１の基準位置に対応する画像を、左視点画像として生成する。

より具体的には、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３００〜Ｓ３０４と同様の処理を行うことによって、上記４つの光学部それぞれに対応する４つの撮像画像が、第１の基準位置から撮像された画像であるように対象オブジェクトを移動させるための第１の移動量を決定する。そして、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３０６と同様の処理を行うことによって、決定された第１の移動量に基づき撮像画像に含まれる対象オブジェクトを移動させる。

本実施形態に係る画像処理装置は、本実施形態に係る全天球型の撮像デバイスから被写体である対象オブジェクトまでの距離と、本実施形態に係る全天球型の撮像デバイスの基準位置における基準線から対象オブジェクトまでの角度とにより、右視点画像を生成する（Ｓ８０６）。本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０４と同様の処理により視点移動を行うことによって、本実施形態に係る全天球型の撮像デバイスが備える４つの光学部それぞれに対応する位置を頂点とする四角錐内に含まれる、第２の基準位置に対応する画像を、右視点画像として生成する。

より具体的には、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３００〜Ｓ３０４と同様の処理を行うことによって、上記４つの光学部それぞれに対応する４つの撮像画像が、第２の基準位置から撮像された画像であるように対象オブジェクトを移動させるための第２の移動量を決定する。そして、本実施形態に係る画像処理装置は、例えば図１９のステップＳ３０６と同様の処理を行うことによって、決定された第２の移動量に基づき撮像画像に含まれる対象オブジェクトを移動させる。

なお、図２６では、ステップＳ８０４の処理の後にステップＳ８０６の処理が行われる例を示しているが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、ステップＳ８０６の処理の後にステップＳ８０４の処理を行ってもよいし、ステップＳ８０４の処理とステップＳ８０６の処理とを同期して行ってもよい。

本実施形態に係る画像処理装置は、例えば図２５のステップＳ７０８と同様に、ステップＳ８０４により生成された左視点画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ８０８）。

本実施形態に係る画像処理装置は、例えば図２５のステップＳ７１０と同様に、ステップＳ８０６により生成された右視点画像を球面投影し、重複部分のうちの不要部分を削除する（Ｓ８１０）。

なお、図２６では、ステップＳ８０８の処理の後にステップＳ８１０の処理が行われる例を示しているが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、ステップＳ８１０の処理の後にステップＳ８０８の処理を行ってもよいし、ステップＳ８０８の処理とステップＳ８１０の処理とを同期して行ってもよい。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２０８と同様に、ステップＳ８０８において球面投影された画像、およびステップＳ８１０において球面投影された画像それぞれから、ステップＳ８０２において特定された視点方向に対応する領域の画像をそれぞれ切り出す（Ｓ８１２）。

そして、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１０と同様に、切り出された画像である左視点画像と右視点画像とを表示画面に表示させる（Ｓ８１４）。ここで、ステップＳ８１２において切り出された左視点画像と右視点画像とは、“第１の移動量に基づき対象オブジェクトが移動された複数の撮像画像に基づく、視点画像”（第１の視点画像）と、“第２の移動量に基づき対象オブジェクトが移動された、複数の撮像画像に基づく、視点画像”（第２の視点画像）とに該当する。

本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１２と同様に、異なる表示を行うか否かを判定する（Ｓ８１６）。

ステップＳ８１６において異なる表示を行うと判定された場合には、本実施形態に係る画像処理装置は、例えば図１８のステップＳ２１４と同様に、視点方向を変えるか否かを判定する（Ｓ８１８）。

ステップＳ８１８において視点方向を変えると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ８０２からの処理を繰り返す。また、ステップＳ８１８において視点方向を変えると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ８００からの処理を繰り返す。

ステップＳ８１６において異なる表示を行うと判定されない場合には、本実施形態に係る画像処理装置は、処理を終了する。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２６に示す処理を行う。

図２６に示すように、本実施形態に係る画像処理装置は、図２５に示す第４の例に係る画像処理方法に係る処理と同様の処理によって、立体視を実現可能な２つの画像（右目用の画像に対応する右視点画像と、左目用の画像に対応する左視点画像）を生成する。よって、例えば図２６に示す処理を行う場合であっても、本実施形態に係る画像処理装置は、上記［３−２−４］に示す第４の例に係る画像処理方法に係る処理と同様の効果を奏することができる。

なお、第５の例に係る画像処理方法に係る処理は、図２６に示す処理に限られない。例えば、本実施形態に係る画像処理装置は、上記［３−２−４］に示す第４の例に係る画像処理方法に係る処理と同様の変形例に係る処理を行うことが可能である。

（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について説明する。

図２７は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、撮像部１０２と、記憶部１０４と、制御部１０６とを備える。

また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ＲＯＭ（図示せず）は、制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０６により実行されるプログラムなどを一時的に記憶する。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや、外部装置と、無線または有線で通信を行う。また、通信部（図示せず）は、例えば制御部１０６により通信が制御される。通信部（図示せず）としては、後述する通信インタフェースが挙げられる。

操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［画像処理装置１００のハードウェア構成例］
図２８は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成されるプロセッサや、各種処理回路などで構成され、画像処理装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する現像処理部１１０、記録処理部１１２、移動量決定部１１４、移動処理部１１６、球面投影部１１８、視点画像生成部１２０、および表示制御部１２２の役目を果たす。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部１０４として機能し、例えば、撮像画像を示すデータや、像中心からの角度のレンズ特性を示す関数を示すデータなどの本実施形態に係る画像処理方法に係るデータ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての外部操作入力デバイス（例えば、キーボードやマウスなど）や外部表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の設定対象の装置などの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像デバイス１６６は、画像処理装置１００が備える撮像手段であり、複数の光学部を有し、全方位を撮像範囲とする。つまり、撮像デバイス１６６は、本実施形態に係る全天球型の撮像デバイスの役目を果たす。

図２９は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図であり、図２９のＡと図２９のＢとは、画像処理装置１００が備える撮像デバイス１６６の構成の一例をそれぞれ示している。

図２９のＡに示す構成をとる撮像デバイス１６６は、例えば、レンズＬ１と、レンズＬ２と、レンズＬ１に対応する受光素子Ｓ１と、レンズＬ２に対応する受光素子Ｓ２とを備える。図２９のＡに示す構成をとる撮像デバイス１６６では、“レンズＬ１および受光素子Ｓ１”と、“レンズＬ２および受光素子Ｓ２”とが、それぞれ光学部に該当する。つまり、図２９のＡに示す構成は、２つのレンズそれぞれに対応する２つの受光素子を有する構成である。

また、図２９のＡに示す構成をとる撮像デバイス１６６では、２つの光学部において少なくとも撮像範囲の一部が重複し、全方位が撮像範囲とされる。

図２９のＡに示す構成をとる場合、撮像デバイス１６６は、“レンズＬ１および受光素子Ｓ１”を有する光学部において生成された撮像画像を示す信号と、“レンズＬ２および受光素子Ｓ２”を有する光学部において生成された撮像画像を示す信号とを出力する。ここで、図２９のＡに示す構成をとる撮像デバイス１６６から出力される各光学部に対応する撮像画像を示す信号は、ＲＡＷデータを示す信号に該当する。

図２９のＢに示す構成をとる撮像デバイス１６６は、例えば、レンズＬ１と、レンズＬ２と、ミラーＭと、レンズＬ１およびレンズＬ２に対応する受光素子Ｓとを備える。図２９のＢに示す構成をとる撮像デバイス１６６では、“レンズＬ１、ミラーＭ、および受光素子Ｓ”と、“レンズＬ２、ミラーＭ、および受光素子Ｓ”とが、それぞれ光学部に該当する。つまり、図２９のＢに示す構成は、１つの受光素子を２つのレンズで共有する構成である。

また、図２９のＢに示す構成をとる撮像デバイス１６６では、２つの光学部において少なくとも撮像範囲の一部が重複し、全方位が撮像範囲とされる。

図２９のＢに示す構成をとる場合、撮像デバイス１６６は、“レンズＬ１、ミラーＭ、および受光素子Ｓ”を有する光学部において生成された撮像画像を示す信号と、“レンズＬ２、ミラーＭ、および受光素子Ｓ”を有する光学部において生成された撮像画像を示す信号とを出力する。ここで、図２９のＢに示す構成をとる撮像デバイス１６６から出力される各光学部に対応する撮像画像を示す信号は、ＲＡＷデータを示す信号に該当する。

撮像デバイス１６６は、例えば図２９に示す構成を有することによって、少なくとも一部の領域が重複する２つの撮像画像を得ることができる。

なお、本実施形態に係る画像処理装置１００が備える撮像デバイス１６６の構成は、図２９に示す構成に限られない。例えば、撮像デバイス１６６は、図１４や図１５を参照して説明したように、３以上の光学部を有する構成であってもよい。

画像処理装置１００は、例えば図２８示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図２８に示す構成に限られない。

例えば、外部の本実施形態に係る全天球型の撮像デバイスにおいて生成された、複数の撮像画像を処理する場合には、画像処理装置１００は、撮像デバイス１６６を備えていなくてもよい。

また、画像処理装置１００は、例えば、接続されている外部通信デバイスを介して、外部装置と通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、画像処理装置１００は、記憶媒体１５６や、操作デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。

再度図２７を参照して、画像処理装置１００の構成の一例について説明する。撮像部１０２は、画像処理装置１００が備える撮像手段であり、少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする。撮像部１０２は、例えば図２９に示すような構成を有する本実施形態に係る全天球型の撮像デバイスを含んで構成される。

記憶部１０４は、画像処理装置１００が備える記憶手段であり、例えば、撮像画像を示すデータや、像中心からの角度のレンズ特性を示す関数を示すデータなどの本実施形態に係る画像処理方法に係るデータ、アプリケーションなど様々なデータを記憶する。図２７では、撮像画像データ１３０、…が記憶部１０４に記憶されている例を示している。

ここで、記憶部１０４としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部１０４は、画像処理装置１００から着脱可能であってもよい。

制御部１０６は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０６は、例えば、現像処理部１１０と、記録処理部１１２と、移動量決定部１１４と、移動処理部１１６と、球面投影部１１８と、視点画像生成部１２０と、表示制御部１２２とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。

現像処理部１１０は、例えば、撮像部１０２から伝達される撮像画像を示す信号や、通信部（図示せず）が受信した、本実施形態に係る全天球型の撮像デバイスにおいて生成された撮像画像を示す信号に対して、現像処理を行う。現像処理部１１０における処理は、例えば図１７のステップＳ１０２の処理に該当する。

記録処理部１１２は、現像処理部１１０において現像処理が行われた撮像画像を、記憶部１０４などの記録媒体に記録させる。記録処理部１１２における処理は、例えば図１７のステップＳ１０４の処理に該当する。

また、記録処理部１１２は、撮像部１０２や外部の本実施形態に係る全天球型の撮像デバイスにおける撮像姿勢を示すデータを、撮像画像と共に記録媒体に記憶させてもよい。本実施形態に係る撮像姿勢を示すデータとしては、例えば、画像処理装置１００や外部の本実施形態に係る全天球型の撮像デバイスが備える姿勢検出が可能なセンサ（ジャイロセンサなど）の出力を示すデータや、画像処理装置１００や外部の本実施形態に係る全天球型の撮像デバイスに接続された、外部の姿勢検出が可能なセンサの出力を示すデータなどが挙げられる。

また、例えば図２２に示すように、撮像に係る処理の一環として本実施形態に係る移動量決定処理、および本実施形態に係る移動処理が行われる場合には、記録処理部１１２は、後述する移動処理部１１６において処理された撮像画像を記録媒体に記録してもよい。記録処理部１１２における上記記録媒体への撮像画像の記録に係る処理は、例えば図２２のステップＳ４０８の処理に該当する。

本実施形態に係る撮像姿勢を示すデータは、例えば、後述する視点画像生成部１２０における画像の切り出しに係る処理において用いられる。なお、視点画像生成部１２０が、設定されている撮像姿勢に基づいて処理を行う場合には、記録処理部１１２は、本実施形態に係る撮像姿勢を示すデータを記録媒体に記憶させなくてもよい。

移動量決定部１１４は、本実施形態に係る移動量決定処理を行う役目を果たす。移動量決定部１１４は、本実施形態に係る全天球型の撮像デバイスが有する複数の光学部それぞれに対応する複数の撮像画像が基準位置から撮像された画像であるように対象オブジェクトを移動させるための移動量を、決定する。移動量決定部１１４は、“本実施形態に係る全天球型の撮像デバイスから対象オブジェクトまでの距離”と、“基準位置における基準線から対象オブジェクトまでの角度”とに基づいて、移動量を決定する。

ここで、移動量決定部１１４が処理する撮像画像としては、例えば、撮像部１０２や外部の本実施形態に係る全天球型の撮像デバイスにおいて生成され、記憶部１０２などの記録媒体に記憶されている撮像画像データが示す画像が挙げられる。また、移動量決定部１１４は、例えば、撮像部１０２から伝達される撮像画像や、通信部（図示せず）などにより受信された、外部の本実施形態に係る全天球型の撮像デバイスにおいて生成された撮像画像を、処理することも可能である。

より具体的には、移動量決定部１１４は、例えば、図１９に示すステップＳ３００〜Ｓ３０４に示す処理を行うことによって、移動量を決定する。また、移動量決定部１１４は、例えば、図２５のステップＳ７０４、Ｓ７０６や、図２６のステップＳ８０４、Ｓ８０６に示すように、第１の移動量と第２の移動量とを決定してもよい。

また、例えば図２２に示すように、撮像に係る処理の一環として本実施形態に係る移動量決定処理が行われる場合には、移動処理部１１６は、例えば、現像処理部１１０において現像処理が行われた複数の撮像画像に基づいて、移動量を決定してもよい。

移動処理部１１６は、本実施形態に係る移動処理を行う役目を果たし、移動量決定部１１４において決定された移動量に基づいて、撮像画像に含まれる対象オブジェクトを移動させる。移動処理部１１６における処理は、例えば図１９のステップＳ３０６の処理に該当する。また、移動処理部１１６は、例えば、図２５のステップＳ７０４、Ｓ７０６や、図２６のステップＳ８０４、Ｓ８０６に示すように、第１の移動量に基づき対象オブジェクトを移動させ、また、第２の移動量に基づき対象オブジェクトを移動させてもよい。

球面投影部１１８は、本実施形態に係る球面投影処理を行う役目を果たし、対象オブジェクトが移動された複数の撮像画像を球面投影する。球面投影部１１８における処理は、例えば図１８のステップＳ２０６の処理に該当する。

視点画像生成部１２０は、本実施形態に係る視点画像生成処理を行う役目を果たし、球面投影された画像から、設定された方位に対応する画像を切り出して、視点画像を生成する。視点画像生成部１２０における処理は、例えば図１８のステップＳ２０８の処理に該当する。

ここで、移動処理部１１６の処理、球面投影部１１８の処理、および視点画像生成部１２０の処理は、移動量決定部１１４において決定された移動量に基づいて視点画像を生成する一連の処理に相当する。よって、移動処理部１１６、球面投影部１１８、および視点画像生成部１２０は、画像処理装置１００における画像生成部と捉えることが可能である。

表示制御部１２２は、視点画像生成部１２０において生成された視点画像を表示画面に表示させる。表示制御部１２２における処理は、例えば図１８のステップＳ２１０の処理に該当する。

画像処理装置１００は、例えば図２７に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、移動量決定処理、移動処理、球面投影処理、および視点画像生成処理）を行う。よって、画像処理装置１００が例えば図２７に示す構成を有することによって、上記［３−２−１］に示す第１の例に係る画像処理方法に係る処理〜上記［３−２−５］に示す第５の例に係る画像処理方法に係る処理に示すような、本実施形態に係る画像処理方法に係る処理を実現することができる。

したがって、画像処理装置１００は、例えば図２７に示す構成によって、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。また、例えば図２７に示す構成によって、画像処理装置１００は、例えば上述したような、本実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。

なお、本実施形態に係る画像処理装置の構成は、図２７に示す構成に限られない。

例えば、外部の本実施形態に係る全天球型の撮像デバイスにおいて撮像された複数の撮像画像に対して、本実施形態に係る画像処理方法に係る処理を行う場合には、本実施形態に係る画像処理装置は、図２７に示す撮像部１０２を備えていなくてもよい。

また、例えば、“外部の本実施形態に係る全天球型の撮像デバイスにおいて撮像された複数の撮像画像に対して、本実施形態に係る画像処理方法に係る処理を行う場合”や、“ＲＡＷデータである撮像画像に対して、本実施形態に係る画像処理方法に係る処理を行う場合”には、本実施形態に係る画像処理装置は、図２７に示す現像処理部１１０を備えていなくてもよい。

また、例えば、“外部の本実施形態に係る全天球型の撮像デバイスにおいて撮像された複数の撮像画像に対して、本実施形態に係る画像処理方法に係る処理を行う場合”や、“ＲＡＷデータである撮像画像または現像処理が行われた撮像画像に対して、本実施形態に係る画像処理方法に係る処理が行われる場合”には、本実施形態に係る画像処理装置は、図２７に示す記録処理部１１２を備えていなくてもよい。

また、例えば、“外部の記録媒体などに記憶された撮像画像に対して、本実施形態に係る画像処理方法に係る処理を行う場合”や、“ＲＡＷデータである撮像画像または現像処理が行われた撮像画像に対して、本実施形態に係る画像処理方法に係る処理が行われる場合”には、本実施形態に係る画像処理装置は、図２７に示す記憶部１０４を備えていなくてもよい。

また、本実施形態に係る画像処理装置は、移動処理部１１６、球面投影部１１８、視点画像生成部１２０、および表示制御部１２２のうちの１または２以上を備えない構成をとることも可能である。

上記のいずれの変形例に係る構成、または、上記の変形例に係る構成を組み合わせた構成をとる場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る移動量決定処理を行うことができる。よって、上記のいずれの変形例に係る構成、または、上記の変形例に係る構成を組み合わせた構成をとる場合であっても、本実施形態に係る画像処理装置は、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。

また、本実施形態に係る画像処理装置は、例えば、図２７に示す現像処理部１１０、記録処理部１１２、移動量決定部１１４、移動処理部１１６、球面投影部１１８、視点画像生成部１２０、および表示制御部１２２のうちの１または２以上を、制御部１０６とは個別に備える（例えば、別の処理回路で実現する）ことができる。一例を挙げると、例えば、移動処理部１１６、球面投影部１１８、および視点画像生成部１２０は、上述した画像処理部に該当する１つの処理回路で実現されてもよい。

以上、本実施形態として、画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、図１に示すような全天球型の撮像デバイスや、ＰＣ（Personal Computer）やサーバなどのコンピュータ、表示装置、テレビ受像機、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る画像処理装置は、例えば、複数の装置からなる画像処理システムとして実現することも可能である。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“本実施形態に係る移動量決定処理”や、“上記［３−２−１］に示す第１の例に係る画像処理方法に係る処理〜上記［３−２−５］に示す第５の例に係る画像処理方法に係る処理に示すような、本実施形態に係る移動量決定処理を含む処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、撮像範囲を全方位とする撮像デバイスにより撮像された複数の撮像画像が合成された画像を、より自然な画像とさせることができる。

また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定部を備え、
前記移動量決定部は、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量を決定する、画像処理装置。
（２）
前記移動量決定部は、
複数の前記撮像画像における、重複する領域に含まれる前記対象オブジェクトに基づいて、前記撮像デバイスから前記対象オブジェクトまでの距離を算出し、
算出された距離に基づいて、前記移動量を決定する、（１）に記載の画像処理装置。
（３）
前記移動量決定部は、
複数の前記光学部それぞれに対応する位置における基準線から前記対象オブジェクトまでの角度と、設定された複数の前記光学部間の距離とに基づいて、前記撮像デバイスから前記対象オブジェクトまでの距離を算出する、（２）に記載の画像処理装置。
（４）
決定された移動量に基づき前記撮像画像に含まれる前記対象オブジェクトを移動させ、前記対象オブジェクトが移動された複数の前記撮像画像に基づいて、設定された方位に対応する画像である視点画像を生成する画像生成部をさらに備える、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像生成部は、
決定された前記移動量に基づいて、前記撮像画像に含まれる前記対象オブジェクトを移動させる移動処理部と、
前記対象オブジェクトが移動された複数の前記撮像画像を球面投影する球面投影部と、
球面投影された画像から、設定された方位に対応する画像を切り出して、前記視点画像を生成する視点画像生成部と、
を備える、（４）に記載の画像処理装置。
（６）
生成された前記視点画像を表示画面に表示させる表示制御部をさらに備える、（４）、または（５）に記載の画像処理装置。
（７）
前記撮像デバイスは、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、３以上の光学部を有し、
前記基準位置は、３以上の前記光学部それぞれに対応する位置を頂点とするｎ角形（ｎは、前記光学部の数）内に含まれる、第１の基準位置と、第２の基準位置であり、
前記移動量決定部は、３以上の前記光学部それぞれに対応する３以上の撮像画像が、前記第１の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第１の移動量と、前記３以上の撮像画像が前記第２の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第２の移動量とを、決定する、（１）、または（２）に記載の画像処理装置。
（８）
前記撮像デバイスは、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、角錐上に配置された４以上の光学部を有し、
前記基準位置は、４以上の前記光学部それぞれに対応する位置を頂点とする角錐内に含まれる、第１の基準位置と、第２の基準位置であり、
前記移動量決定部は、４以上の前記光学部それぞれに対応する４以上の撮像画像が、前記第１の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第１の移動量と、前記４以上の撮像画像が前記第２の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第２の移動量とを、決定する、（１）、または（２）に記載の画像処理装置。
（９）
決定された前記第１の移動量に基づき前記撮像画像に含まれる前記対象オブジェクトが移動された、複数の前記撮像画像に基づいて、設定された方位に対応する画像である第１の視点画像を生成し、
決定された前記第２の移動量に基づき前記撮像画像に含まれる前記対象オブジェクトが移動された、複数の前記撮像画像に基づいて、設定された方位に対応する画像である第２の視点画像を生成する、画像生成部をさらに備える、（７）、または（８）に記載の画像処理装置。
（１０）
前記撮像デバイスを含んで構成される撮像部をさらに備え、
前記移動量決定部は、前記撮像部において撮像された複数の撮像画像に対する前記移動量を決定する、（１）〜（９）のいずれか１つに記載の画像処理装置。
（１１）
少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップを有し、
前記移動量決定ステップでは、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量が決定される、画像処理装置により実行される画像処理方法。
（１２）
少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップ、
をコンピュータに実行させ、
前記移動量決定ステップでは、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量が決定される、プログラム。

１００ 画像処理装置
１０２ 撮像部
１０４ 記憶部
１０６ 制御部
１１０ 現像処理部
１１２ 記録処理部
１１４ 移動量決定部
１１６ 移動処理部
１１８ 球面投影部
１２０ 視点画像生成部
１２２ 表示制御部

Claims (12)

1. 少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定部を備え、
   前記移動量決定部は、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量を決定する、画像処理装置。
2. 前記移動量決定部は、
   複数の前記撮像画像における、重複する領域に含まれる前記対象オブジェクトに基づいて、前記撮像デバイスから前記対象オブジェクトまでの距離を算出し、
   算出された距離に基づいて、前記移動量を決定する、請求項１に記載の画像処理装置。
3. 前記移動量決定部は、
   複数の前記光学部それぞれに対応する位置における基準線から前記対象オブジェクトまでの角度と、設定された複数の前記光学部間の距離とに基づいて、前記撮像デバイスから前記対象オブジェクトまでの距離を算出する、請求項２に記載の画像処理装置。
4. 決定された移動量に基づき前記撮像画像に含まれる前記対象オブジェクトを移動させ、前記対象オブジェクトが移動された複数の前記撮像画像に基づいて、設定された方位に対応する画像である視点画像を生成する画像生成部をさらに備える、請求項１に記載の画像処理装置。
5. 前記画像生成部は、
   決定された前記移動量に基づいて、前記撮像画像に含まれる前記対象オブジェクトを移動させる移動処理部と、
   前記対象オブジェクトが移動された複数の前記撮像画像を球面投影する球面投影部と、
   球面投影された画像から、設定された方位に対応する画像を切り出して、前記視点画像を生成する視点画像生成部と、
   を備える、請求項４に記載の画像処理装置。
6. 生成された前記視点画像を表示画面に表示させる表示制御部をさらに備える、請求項４に記載の画像処理装置。
7. 前記撮像デバイスは、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、３以上の光学部を有し、
   前記基準位置は、３以上の前記光学部それぞれに対応する位置を頂点とするｎ角形（ｎは、前記光学部の数）内に含まれる、第１の基準位置と、第２の基準位置であり、
   前記移動量決定部は、３以上の前記光学部それぞれに対応する３以上の撮像画像が、前記第１の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第１の移動量と、前記３以上の撮像画像が前記第２の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第２の移動量とを、決定する、請求項１に記載の画像処理装置。
8. 前記撮像デバイスは、撮像範囲の全体を複数の光学部の撮像範囲により重複させる、角錐上に配置された４以上の光学部を有し、
   前記基準位置は、４以上の前記光学部それぞれに対応する位置を頂点とする角錐内に含まれる、第１の基準位置と、第２の基準位置であり、
   前記移動量決定部は、４以上の前記光学部それぞれに対応する４以上の撮像画像が、前記第１の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第１の移動量と、前記４以上の撮像画像が前記第２の基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための第２の移動量とを、決定する、請求項１に記載の画像処理装置。
9. 決定された前記第１の移動量に基づき前記撮像画像に含まれる前記対象オブジェクトが移動された、複数の前記撮像画像に基づいて、設定された方位に対応する画像である第１の視点画像を生成し、
   決定された前記第２の移動量に基づき前記撮像画像に含まれる前記対象オブジェクトが移動された、複数の前記撮像画像に基づいて、設定された方位に対応する画像である第２の視点画像を生成する、画像生成部をさらに備える、請求項７に記載の画像処理装置。
10. 前記撮像デバイスを含んで構成される撮像部をさらに備え、
    前記移動量決定部は、前記撮像部において撮像された複数の撮像画像に対する前記移動量を決定する、請求項１に記載の画像処理装置。
11. 少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップを有し、
    前記移動量決定ステップでは、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量が決定される、画像処理装置により実行される画像処理方法。
12. 少なくとも撮像範囲の一部が重複する複数の光学部を有し、撮像範囲を全方位とする撮像デバイスにより撮像された、複数の前記光学部それぞれに対応する複数の撮像画像が、前記撮像デバイスにおける基準位置から撮像された画像であるように、前記撮像画像に含まれるオブジェクトのうちの移動対象となる対象オブジェクトを移動させるための移動量を決定する、移動量決定ステップ、
    をコンピュータに実行させ、
    前記移動量決定ステップでは、前記撮像デバイスから前記対象オブジェクトまでの距離と、前記基準位置における基準線から前記対象オブジェクトまでの角度とに基づいて、前記移動量が決定される、プログラム。

Images