JP7306089B2 - 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム - Google Patents

Description

本開示は、画像処理技術に関し、より詳細には、画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラムに関する。

従来、全方位を撮像する装置においては、複数の魚眼レンズや広角レンズを用いて撮影し、得られた複数の画像に対し、歪み補正および射影変換を行い、各レンズにより撮影された部分画像をつなぎ合わせて、１枚の全天球画像とする処理が行われる。画像をつなぎ合わせる処理においては、各部分画像の重複領域において、パターン・マッチング手法などの適用することによって、撮影されている被写体が重なる位置が検出される。

ところで、全方位を撮像する撮像装置においては、その性質上、撮影者や撮像装置を固定する固定治具といった不要な被写体が写り込んでしまう場合がある。撮像装置を固定する固定治具については、一脚などを利用すれば、写り込みを少なくすることができる。

また、撮影者の写り込みに関連しては、特許第６５１４４１８号公報（特許文献１）が知られている。特許文献１は、施設や不動産物件等の現場での全天球画像の撮像作業を容易に行うことができ、且つ、取得した全天球画像から撮影者の像などの不要な部分を簡単な画像処理で消去することができる撮像システムを提供することを目的とした技術を開示する。特許文献１の撮像システムは、一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、該撮像装置に同一の被写体を複数回撮像させることにより生成される複数の画像であって、撮像装置に対する被写体以外の物体の位置が異なる複数の画像の画像データを取得する画像データ取得部が設けられた携帯端末と、上記複数の画像を合成することにより、物体の像が消去された画像を生成する画像処理部が設けられたサーバとを備える。

しかしながら、上記特許文献１の従来技術では、依然として、撮像装置の一部の写り込みを避けることが困難である点で、充分なものではなかった。

本開示は、上記点に鑑みてなされたものであり、複数の入力画像をつなぎ合わせて生成された画像において、画像内への撮像装置の写り込みを最小化することが可能な画像処理システムを提供することを目的とする。

本開示では、上記課題を解決するために、下記特徴を有する画像処理システムが提供される。本画像処理システムは、複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部とを含む。上記複数のモードは、複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、つなぎ処理によって生成された出力画像中に撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、つなぎ処理によって生成された出力画像中への撮像装置の写り込みが第１のモードより小さいかまたは撮像装置が写り込まずに出力される第２のモードとを含む。

上記構成により、複数の入力画像をつなぎ合わせて生成された画像において、画像内への撮像装置の写り込みを最小化することが可能となる。

図１は、本実施形態による全天球撮像システムを構成する全天球カメラの断面図である。 図２は、本実施形態による全天球撮像システムのハードウェア構成図。 図３は、本実施形態による全天球撮像システムにおける複数のモードの画像処理パスを説明する概略図である。 図４は、本実施形態による全天球撮像システム上に実現される、複数のモードでの全天球画像合成機能に関連する主要な機能ブロックである。 図５は、本実施形態による全天球撮像システムにおける射影関係を説明する図である。 図６は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。 図７は、本実施形態による位置検出用歪み補正部および画像合成用歪み補正部が参照する変換データを説明する図である。 図８は、本実施形態による、本体表示モードと本体非表示モードとの間のつなぎ位置検出のパラメータの違いを説明する図である。 図９は、本実施形態による位置検出処理の際における、２つの魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。 図１０は、本実施形態によるテンプレート生成部によるテンプレート画像の生成方法を説明する図である。 図１１は、本実施形態におけるつなぎ位置検出結果のデータ構造を示す図。 図１２は、本実施形態による画像合成処理の際における、２つの魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図。 図１３は、本実施形態による全天球撮像システムが実行する、モードに応じた全天球画像合成処理を示すフローチャートである。 図１４は、本実施形態による全天球撮像システムにおいて生成される本体表示モードおよび本体非表示モードの各モードで得られる画像の違いを説明する図である。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理システムおよび撮像システムの一例として、２つの魚眼レンズを備える全天球カメラ１１０と、全天球カメラ１１０と通信するユーザ端末装置１５０とを備える全天球撮像システム１００を用いて説明する。なお、以下の実施形態では、２つの魚眼レンズとしているが、３つ以上の魚眼レンズが用いられてもよい。また、魚眼レンズには、広角レンズや超広角レンズも含み得るものとする。

全天球撮像システムの基本構成
以下、図１および図２を参照しながら、本実施形態による全天球撮像システム１００の全体構成について説明する。図１は、本実施形態による全天球撮像システム１００を構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。図１に示す全天球カメラ１１０は、縦長形状を有しており、筐体１４における撮影ボタン１８が設けられた位置の下部あたりの部位が、ユーザが全天球カメラ１１０を把持するための把持部Ｇとなる。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０は、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。説明する実施形態では、好ましくは、全天球画像を生成するものとして説明するが、生成する画像は、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

図２（Ａ）は、本実施形態による全天球撮像システム１００を構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、静止画圧縮ブロック１１９と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、さらに、撮像素子１３０から取得された複数の画像を合成処理し、これにより、上述した全天球画像を生成する。

動画圧縮ブロック１１８は、ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを生成するために用いられる。静止画圧縮ブロック１１９は、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）などの静止画圧縮および伸張を行うコーデック・ブロックである。静止画圧縮ブロック１１９は、生成された全天球画像の静止画データを生成するために用いられる。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ１３６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。

全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８と、映像出力インタフェース１２９とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。

ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、撮像した画像を外部ディスプレイなどに映像出力することができる。また、無線は、３Ｇや４Ｇなどの移動通信システムや、第５世代移動通信システムである「５Ｇ」であってもよい。５Ｇは４Ｇと比べ、高速・大容量・低遅延などの点で優れており、全天球カメラ１１０から外部装置へ画像データを送信する際に有利である。

電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。

図２（Ｂ）は、本実施形態による全天球撮像システム１００を構成するユーザ端末装置１５０のハードウェア構成を示す。図２（Ｂ）に示すユーザ端末装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。なお、ＨＤＤ１５６は、適宜、ＳＳＤ（Solid State Drive）などの記憶媒体に変更することが可能である。ここでユーザ端末装置１５０は、ＰＣ（Personal Computer）やスマートフォンやタブレット端末などの携帯情報端末ＰＤＡ（Personal Digital Assistant）が想定されている。

ＣＰＵ１５２は、ユーザ端末装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態によるユーザ端末装置１５０側の処理を担うアプリケーションなどのプログラムを格納する。

入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ１６４およびＵＳＢコネクタ１６６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。また、無線は、上述したように、３Ｇ、４Ｇ、５Ｇなどの移動通信システムであってもよい。

ディスプレイ１６２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球カメラ１１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行う。ディスプレイ１６２および入力装置１５８により、ユーザは、操作画面を介して全天球カメラ１１０に対する撮影指示や各種設定変更を行うことが可能となる。

ユーザ端末装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６からプログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、ユーザ端末装置１５０の後述する各機能部および処理が実現される。

上述したように、本実施形態による全天球カメラ１１０によって撮像される全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。このすべての方向には、全天球カメラ１１０を用いて撮影を行う撮影者、全天球カメラ１１０を固定するための固定治具および全天球カメラ１１０自身（例えば筐体１４の一部）が含まれ得る。撮影者については、撮影者が全天球カメラ１１０の死角（例えば被写体の陰）に移動したり、両眼での撮影タイミングをずらして、各タイミングで撮影者が死角に移動することで、その写り込みを防ぐことができる。また、撮影者自身が被写体として有用である場合もある。固定治具については、固定治具として一脚などを利用することにより、固定治具の写り込みを限りなく少なくすることができる。

しかしながら、全天球カメラ１１０自身については、その筐体１４の一部が写り込んでしまうことを避けることが難しかった。そして、全天球カメラ１１０の筐体は、通常、撮影者のように被写体として有用であるというものでもない。また、ＨＭＤ（ヘッドマウントディスプレイ）などで全天球画像を視聴する場合に、撮像装置自身が写り込んでいると、没入感が損なわれることとなる。したがって、全天球画像内で全天球カメラ１１０の筐体の写り込みを避けて、それが全天球画像中に含まれないようにすることに対し要望がある。

そこで、本実施形態においては、全天球カメラ１１０の筐体１４の写り込みに関し、複数のモードの画像処理パスが提供される。複数のモードとしては、第１のモードは、筐体１４の一部が写り込むことを許容しながらもつなぎ目の自然さを優先する本体表示モードであり、第２のモードは、特に第１のモードで筐体１４の一部が写り込む領域周辺でのつなぎ目の不自然さを許容しながら筐体１４の写り込みの回避を優先する本体非表示モードである。そして、全天球カメラ１１０は、好ましくは、ユーザによる手動または自動での選択を受け付けて、各モードにおいては、全天球カメラ１１０の筐体の一部が写り込む領域に関しつなぎ処理を変更するよう構成されている。

上記構成により、筐体の写り込みをできる限り避けたいという用途においては、ユーザは、（２）本体非表示モードを選択すればよく、これにより、筐体１４の一部が写り込み得る領域から離れた部分で可能な限り自然になるようなつなぎ処理が行われながらも筐体の一部が写り込まないようにした結果を得ることが可能なる。これにより、全天球画像において、撮像装置自身の写り込みを最小化、好ましくは消去できるようになる。

画像処理の流れ
以下、図３を参照しながら、本実施形態による全天球撮像システム１００における複数のモードの画像処理の流れについて説明する。図３は、本実施形態による全天球撮像システム１００における、複数のモードの画像処理パスを概略説明する図である。

図３には、（１）本体表示モードおよび（２）本体非表示モードの２つのモードの各画像処理の流れが示されている。（１）本体表示モードおよび（２）本体非表示モードのいずれのモードにおいても、画像処理２００は、モードの選択処理２１０から開始される。その後、部分画像取得処理２３０では、全天球カメラ１１０は、２つの撮像素子１３０Ａ，１３０Ｂを制御し、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれで撮像される各フレームの画像を部分画像と参照する。

選択処理２１０では、ユーザの指示によるモード指定の受付およびそれに応じた設定処理を行う。ユーザによるモード指定は、（１）本体表示モードおよび（２）本体非表示モードの２つのうちのいずれかとして特定される。次に、パラメータ切替処理２２０では、設定されたモードに応じて、つなぎ位置検出処理２４０に渡すパラメータの切り替えを行う。

つなぎ位置検出処理２４０では、パラメータ切替処理２２０で選択されたパラメータを用いて、部分画像取得処理２３０で取得された２つの部分画像間のつなぎ位置を検出するつなぎ位置検出処理２４０を実行する。つなぎ位置検出処理２４０では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われ、つなぎ位置検出結果が生成される。

つなぎ位置検出処理２４０に引き続きあるいは並行して、傾き検出処理２５０が実行される。傾き検出処理２５０では、全天球カメラ１１０は、図２（Ａ）に示した加速度センサ１３６を制御し、所定の基準方向に対する全天球カメラ１１０の傾きを検出する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出処理２５０により、フレーム毎に、３軸加速度センサ１３６の各加速度成分が測定され、傾き検出結果が生成される。

上述したつなぎ位置検出処理２４０によるつなぎ位置検出結果および傾き検出処理２５０による傾き検出結果により、各フレームの複数の部分画像を合成するためのつなぎパラメータ２６０が構成される。

全天球カメラ１１０は、引き続き、得られたつなぎパラメータ２６０に基づいて、部分画像取得処理２３０で取得された２つの部分画像（入力画像）をつなぎ処理するつなぎ処理２７０を実行する。つなぎ処理２７０では、つなぎ位置検出結果に基づくつなぎ位置で複数の部分画像の位置合わせが行われ、傾き検出結果に基づいて天頂補正が行われる。これにより、部分画像取得処理２３０で取得された２つの部分画像が合成され、全天球画像が生成される。３つ以上の複数の魚眼レンズの場合は、３以上の部分画像が合成され、全天球画像が生成される。

フレーム毎につなぎ位置検出および傾き検出が行われるので、つなぎパラメータ２６０は、フレーム毎に動的に更新される。そして、つなぎ処理は、これらの検出結果が反映されたつなぎパラメータ２６０を適用してフレーム毎に実行される。そのため、撮影中、全天球カメラ１１０の傾きや向きが変化したり、重複領域付近の被写体が移動したりした場合であっても、適切に天頂補正およびつなぎ補正が施された状態で出力画像を生成することができる。

つなぎ処理２７０が完了した後、全天球カメラ１１０は、データ出力処理２８０を実行し、全天球カメラの記憶媒体にフレームを順次保存したり、全天球カメラ１１０からユーザ端末装置１５０にデータ出力し、ユーザ端末装置１５０側で、出力された画像に基づきモニタ表示を行ったりする。

ユーザ端末装置１５０でのモニタ表示では、出力データをモニタに表示する。なお、モニタ表示では、全天球画像をそのまま表示してもよいし、全天球画像を所定の画角で射影表示して生成された画像（全天球画像から指定された画角で切り出された画像）を表示してもよい。

全天球撮像システムのより具体的な説明
以下、図４～図１４を参照しながら、本実施形態による全天球撮像システム１００についてより詳細に説明する。図４は、本実施形態による全天球撮像システム１００上に実現される、複数のモードでの全天球画像合成機能に関する主要な機能ブロックを示す。本実施形態による画像処理ブロック３００は、図４に示すように、位置検出用歪み補正部３０２と、つなぎ位置検出部３０４と、テーブル修正部３０６と、テーブル生成部３０８と、傾き検出部３１０と、画像合成用歪み補正部３１２と、画像合成部３１４と、モード選択部３１８と、パラメータ切替部３１９と、画像データ保存部３２０と、モニタ画像生成部３２２とを含み構成される。

（射影方式）
画像処理ブロック３００には、２つの撮像素子１３０Ａ，１３０Ｂから、各種画像信号処理を経て、フレーム毎に２つの部分画像が入力される。ここで、撮像素子１３０Ａをソースとするフレームの画像を「部分画像０」のように参照し、撮像素子１３０Ｂをソースとするフレームの画像を「部分画像１」のように参照する。画像処理ブロック３００には、さらに、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用変換テーブル３３０が提供される。

位置検出用歪み補正部３０２は、入力される部分画像０，１に対し、位置検出用変換テーブル３３０を用いて歪み補正を施し、位置検出用補正画像（以下、単に補正画像と参照する場合がある。）０および位置検出用補正画像１を生成する。入力される部分画像０，１は、平面座標系（ｘ，ｙ）で表現された画像データであり、これに対し、位置検出用変換テーブル３３０を用いて歪み補正がかけられた補正画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる。

図５は、本実施形態による全天球撮像システム１００における射影関係を説明する図である。１つの魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズでは、図５（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。また、説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図６は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。図６に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。

図７は、本実施形態による位置検出用歪み補正部３０２が参照する変換データを説明する図である。変換テーブル３３０は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換テーブル３３０は、図７（Ａ）および（Ｂ）に示すように、魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図７の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。つなぎ位置検出の際に用いられる位置検出用変換テーブル３３０は、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。

（モード設定および切替）
モード選択部３１８は、ユーザからの指定されるモードを受け付け、受け付けたモードに応じて、パラメータ切替部３１９の動作を切り替える。ユーザによるモード指定は、例えば、全天球カメラ１１０に接続されたユーザ端末装置１５０上で動作するアプリケーション上のソフトキー、全天球カメラ１１０が備えるハードキー、または全天球カメラ１１０に接続されたリモートコントローラなどのユーザ・インタフェースを介して行われる。説明する実施形態において、ユーザが指定可能なモードは、上述した本体表示モードと本体非表示モードの２つである。モード選択部３１８は、本実施形態において、ユーザからの指定されたモードを受け付ける受付部およびモードを特定する特定部を構成する。

なお、説明する実施形態では、本体表示モードおよび本体非表示モードの２つのモードを例として説明するが、モードは、必ずしも「本体表示モード」および「本体非表示モード」の名称でユーザに提示されることを要さない。別名称で、これら２つのモードが参照されてもよいし、本体表示モードおよび本体非表示モードがそれぞれ別のモードに組み込まれてもよい。

（モード切替タイミング）
モード切替のタイミングは、基本的には撮影開始前にユーザからモードの指定を受け付けたタイミングである。ユーザによりモード変更がされれば、次の撮影でモードを切替えて撮影する。なお、連続的に静止画が撮影される撮影方法（例えば、インターバル撮影やタイムラプス撮影）で撮影中であるなど特定条件にある間は、撮影途中でユーザによってモードの変更が設定されたとしても、撮影終了までモードを固定し、変更させないようにするのが望ましい。つなぎ処理が画像毎に変わってしまうと、被写体の大きさや形が画像間で変わってしまうこともあるためである。

（パラメータ切替）
次に、パラメータ切替部３１９で切替えるパラメータ３３７、３３８について説明する。パラメータ３３７、３３８は、位置検出用変換テーブル３３０として使用されるパラメータであり、全天球カメラ１１０の工場出荷時の校正等で予め生成されたパラメータや、前回の撮影モードでの撮影時に生成されたパラメータなど、少なくとも部分画像が取得される前から存在するパラメータが用いられる。パラメータ切替部３１９は、モード選択部３１８で選択されたモードに応じて、本体表示モードのときは本体表示用パラメータ３３７を、本体非表示モードのときは本体非表示用パラメータ３３８を選択する。本体表示用パラメータ３３７と本体非表示用パラメータ３３８とは、全天球カメラ１１０の筐体１４が部分画像に写り込む領域に対するパラメータが異なっている。

図８を用いて本体表示用パラメータ３３７と本体非表示用パラメータ３３８の違いを説明する。図８（Ａ）は、全天球カメラ１１０の１つの魚眼レンズで撮影された部分画像を示している。図８（Ａ）に示す部分画像の下部には、全天球カメラ１１０本体の筐体１４が写り込んだ本体写り込み領域が生じている。使用する魚眼レンズの撮影範囲が半球（１８０度）を越える場合、このような状態が生じやすい。また、どのような被写体を撮影しても、部分画像に筐体１４が写り込んでしまうことを避けることが難しい。

図８（Ｂ）は、部分画像で本体写り込み領域が発生している筐体１４の長手方向に対して、つなぎ位置を変更した時の筐体１４の写り込みを示した概念図である。２つの結像光学系２０Ａ，２０Ｂからの距離を、距離Ａのように短焦点距離につなぎ位置とした場合、実線で示すように２つの結像光学系２０Ａ，２０Ｂからつなぎ位置までの間に筐体１４が入るため、２つの部分画像をつないだ合成画像には、筐体１４の一部が写り込むことになる。特に、全天球カメラ１１０が把持部Ｇを有し、縦長形状である場合に、図８（Ｂ）に示すように、写り込みが発生し易くなる。一方、距離Ｂのように長焦点距離につなぎ位置とした場合、点線で示すようにつなぎ位置までの間に筐体１４が入らないため、２つの部分画像をつないだ合成画像には筐体１４は写り込まないようになる。つまり、本体表示用パラメータ３３７と本体非表示用パラメータ３３８とで、筐体１４が写り込む本体写り込み領域に関し、つなぎ位置の距離を変更することで、２つの部分画像をつないだ合成画像に本体（筐体１４）が写り込むか、写り込まないかを変更することができる。

本体非表示用パラメータ３３８は、つなぎ位置の焦点距離が、少なくとも部分的に、本体表示用パラメータ３３７よりも長焦点距離であるモードである。より具体的には、本体非表示用パラメータ３３８は、本体が写り込む領域外では本体表示用パラメータ３３７と同一のつなぎ位置の距離のものを含み、本体が写り込む領域では、本体表示用パラメータ３３７と異なるつなぎ位置の距離のものを含むことができる。好ましくは、本体が写り込む領域において、本体非表示の方が、本体表示モードよりも長焦点距離となっている。本体が写り込む領域外で本体表示用パラメータ３３７と同じとすることにより、後段のパターン・マッチングで、本体が写り込む領域外について正確につなぎ位置を検出することが可能となる。

説明する実施形態では、パラメータ３３７，３３８は、図７で示した魚眼レンズ毎に平面座標系で表現される部分画像から球面座標系で表現される画像へ変換する変換テーブルとすることができる。図７に示すような変換テーブルとした場合、本体非表示用パラメータ３３８は、より具体的には、本体表示用パラメータ３３７において、部分画像の写り込み領域およびその周辺に該当する変換前座標値に対応づけられていた変換後座標値の範囲に対し、部分画像の写り込み領域外のずらした位置の変換前座標値に対応づけたものとなる。また、別の実施形態では、変換テーブルに代えて、またはこれとともに、魚眼レンズ毎に魚眼レンズの光学データとつなぎ位置（本体が写り込む領域と写り込まない領域）の距離をセットでパラメータ３３７，３３８として保持し、保持データから変換テーブルを算出できるようにすることができる。また、本体（筐体１４）が写り込む領域を異ならせるため、変換テーブルでは、本体表示用パラメータ３３７で本体が写り込まない領域では本体表示および本体非表示モードでデータ共用するとともに、本体が写り込む領域で異なるデータを保持するようにすれば、情報を記憶する容量を削減することができる。

また、便宜上、単に本体が写り込む領域と該領域外とでつなぎ位置の距離を変更するとして説明したが、つなぎ位置の距離が急激に変化しないように、本体が写り込む領域を含む所定範囲で、例えばつなぎ位置の距離を段階的に変えるなどをすることが好ましい。これにより、本体が写り込む領域と該領域外とで違和感の少ない自然な画像となる。

（つなぎ位置検出）
図９は、本実施形態による位置検出処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。位置検出用歪み補正部３０２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図９に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね上半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね下半球にマッピングされる。全天球フォーマットで表現された補正画像０および補正画像１は、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出している。その結果、補正画像０および補正画像１を重ね合わせると、画像間で撮影範囲が重複する重複領域が発生する。

つなぎ位置検出部３０４は、位置検出用歪み補正部３０２により変換された補正画像０，１の入力を受けて、パターン・マッチング処理により、入力された補正画像０，１間のつなぎ位置を検出し、つなぎ位置検出結果３３２を生成する。本実施形態による位置検出用変換テーブル３３０では、図９に示すように、２つのレンズ光学系各々の光軸を球面の２つの極に射影するとともに、画像間の重複領域を球面の赤道近傍に射影するように作成される。球面座標系では、垂直角度φが０度または１８０度である極に近接するほど歪みが大きくなり、つなぎ位置検出精度が劣化してしまう。これに対し、上述したような射影とすることによって、つなぎ位置検出精度を向上させることができる。なお、図９は２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図であるが、３つ以上の複数の魚眼レンズでもよい。

図１０は、本実施形態によるつなぎ位置検出処理を説明する図である。説明する実施形態では、テンプレート用画像５００は、位置検出用補正画像１の重複領域の部分の画像であり、探索用画像５１０は、位置検出用補正画像０の重複領域の部分の画像である。ここで、指定されたサイズＷ、指定された生成間隔Ｓｔｅｐでテンプレート画像が生成されるものとすると、図９に示すような態様で複数のテンプレート画像５０２－１～５０２－＃が生成される。

生成された複数のテンプレート画像５０２－１～５０２－＃に対し、テンプレート・マッチングにより、探索用画像５１０上での対応部分５１４が所定の探索範囲５１２内で探索される。この各テンプレート画像５０２－１～５０２－＃に対して、それぞれ、マッチングスコアが最大となる位置の基準位置からのずらし量が検出される。

本体が写り込む領域以外に関しては、図１０に示したようなテンプレート・マッチングなどによりつなぎ位置を検出し、検出されたつなぎ位置に応じてつなぎ処理を行うことが好ましい。一方、本体が写り込む領域については、図１０に示したようなテンプレート・マッチングを行ってもよいし、テンプレート・マッチングを行わず位置検出用変換テーブル３３０で設定されているつなぎ位置に固定してもよい。また、本体非表示モードの時にテンプレート・マッチングを行うと、テンプレート・マッチングの結果によって本体が写り込むようになる可能性がある。このため、テンプレート・マッチングを行う場合は、その探索範囲を限定し、位置検出用変換テーブル３３０で設定されているつなぎ位置より長焦点距離方向に探索するようにすることで、本体が写り込むことがないようにすることが望ましい。この場合、長焦点距離方向に探索してマッチングしない場合でも、位置検出用変換テーブル３３０で設定されているつなぎ位置をつなぎ検出結果に設定すればよい。これにより、本体非表示モードで本体を写り込ませずに２つの部分画像のつなぎ精度を向上させることができる。

ここで、長焦点距離方向とは、図１０ではテンプレート用画像５００を位置検出用補正画像１で作成し、探索用画像５１０を位置検出用補正画像０で作成したとすると、探索用画像５１０上でテンプレート用画像５００をφで０度側に探索する方向が長焦点距離方向となる。これとは逆に、テンプレート用画像を位置検出用補正画像０で作成し、探索用画像を位置検出用補正画像１で作成した場合は、探索用画像上でテンプレート用画像をφで１８０度側に探索する方向が長焦点距離方向となる。

図１０に示すΔφ＝０が位置検出用変換テーブル３３０で設定されているつなぎ位置を指しており、本体非表示モードの時は、このつなぎ位置でも本体の写り込みは生じない。長焦点距離方向（Δφ＝０からマイナス方向）に探索してつなぎ位置を決定しても、本体は写り込まないが、一方で、短焦点距離方向（Δφ＝０からプラス方向）に探索してつなぎ位置を決定すると、本体が写り込んでくる可能性がある。このため、テンプレート・マッチングを行う場合は、その探索範囲を限定して位置検出用変換テーブル３３０で設定されているつなぎ位置より長焦点距離方向に探索するようにすることが好ましいということになる。

（つなぎパラメータ）
図１１は、本実施形態におけるつなぎ位置検出結果のデータ構造を示す図である。つなぎ位置検出処理に基づき、図１１に示すような、変換後の各座標値（θ，φ）に対して、ずらし量（Δθ，Δφ）が対応付けられた情報を全座標値について保持するデータが生成される。このとき、上記つなぎ位置検出により求められたテンプレート・ブロック毎のずらし量（Δθｉ，Δφｉ）を、テンプレート・ブロックの中心座標の値として設定し、各座標値（θ，φ）に対応するずらし量（Δθ，Δφ）を補間して、つなぎ位置データが計算される。

テーブル修正部３０６は、つなぎ位置検出結果３３２に基づいて、事前準備された位置検出用変換テーブル３３０に対し修正を施し、テーブル生成部３０８に渡す。なお、位置検出用変換テーブル３３０は、本体表示用パラメータ３３７および本体非表示用パラメータ３３８のいずれか選択された方である。上述したつなぎ位置検出により、図１１に示すように、全天球画像フォーマットの座標値毎にずらし量が求まっているので、テーブル修正部３０６は、部分画像０の歪み補正に用いた検出用歪み補正テーブル０において、入力座標値（θ，φ）に対し、修正前に（θ＋Δθ，φ＋Δφ）に対応付けられていた（ｘ，ｙ）を対応付けるように修正する。なお、部分画像１の歪み補正に用いた検出用歪み補正テーブル１については対応付けを変える必要がない。

テーブル生成部３０８は、上記テーブル修正部３０６により修正された変換データから、回転座標変換に基づき、画像合成用変換テーブル３３６を生成する。なお、この際に、傾き検出部３１０が生成した傾き検出結果３３４に基づいて、傾き補正を反映させて画像合成用変換テーブル３３６を生成することができる。

このように、フレーム毎につなぎ位置検出が行われ、画像合成用変換テーブル３３６が更新される。位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６およびテーブル生成部３０８が実行する処理は、図３に示したつなぎ位置検出処理２４０に対応しており、傾き検出部３１０が実行する処理は、傾き検出処理２５０に対応している。生成される画像合成用変換テーブル３３６は、つなぎパラメータ２６０に対応する。

（つなぎ処理）

画像合成用歪み補正部３１２は、画像合成処理の前段の処理として、部分画像０および部分画像１に対し、変換テーブルを用いて歪み補正をかけ、画像合成用補正画像０および画像合成用補正画像１を生成する。生成される画像合成用補正画像０，１は、位置検出用補正画像と同様に、球面座標系で表現されている一方で、上記回転座標変換により、位置検出用補正画像とは座標軸の定義が異なったものとなる。画像合成部３１４は、得られた画像合成用補正画像０および画像合成用補正画像１を合成し、全天球画像フォーマットの合成画像のフレームを生成する。

図１２は、本実施形態による画像合成処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。上記回転座標変換により、図９に示すような、一方のレンズ光学系の光軸を軸とした水平角度および垂直角度の座標軸の定義から、図１２に示すような、光軸に垂直な軸を基準とした水平角度および垂直角度の定義に変換される。これにより、画像合成用歪み補正部３１２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１２に示すように全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね右半球にマッピングされる。なお、図１２は、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングについて説明しているが、３つ以上の複数の魚眼レンズの場合は、３以上の部分画像が合成され、全天球画像が生成される。

また、画像合成用歪み補正部３１２による処理の結果、図１２に示すように全天球画像フォーマット上に、魚眼レンズ０により画像合成用補正画像０が右側に、魚眼レンズ１による画像合成用補正画像１が左側に並べられた形で展開されるものとして描かれているが、これに限定されない。他の実施形態では、魚眼レンズ０により画像合成用補正画像０が左側にあってもよい。さらに、他の実施形態では、全天球画像フォーマット上において、画像合成用補正画像０が中央に、画像合成用補正画像１が、画像合成用補正画像０の両脇に分離して並べられた形で展開されてもよいし、逆に画像合成用補正画像１が中央に配置されてもよい。また、図１２は、全天球画像フォーマット上で天頂補正がかけられない場合を例示している。全天球画像フォーマット上で天頂補正をかける場合は、光軸に垂直な軸を基準とした水平角度および垂直角度の定義に変換するための回転座標変換において、傾き検出部３１０が生成した傾き検出結果３３４に応じた回転がさらに加味されることとなる。

フレーム毎に、つなぎ位置検出処理２４０により更新される画像合成用変換テーブル３３６が参照される。

（表示および保存）
図４に示す画像処理ブロック３００は、さらに、モニタ画像生成部３２２を含むことができる。上記生成された合成画像は、全天球画像フォーマットで表現されるため、そのまま、ディスプレイなどの平面表示デバイスに表示させると、垂直角度０度および１８０度に近づくほど画像が歪んで表示されることになる。画角の確認という目的では、全天球画像フォーマットのまま表示させてもよいが、好ましい実施形態では、全天球画像を平面表示デバイスに投影するための画像処理を実行することができる。

モニタ画像生成部３２２は、全天球画像フォーマットの合成画像から、球面座標系から特定方向および特定画角の平面座標系への順次変換し、ユーザが指定する特定の視野方向の一定画角の画像に投影する処理を行う。これにより、視聴者は、所定の視点および視野で観察した場合に相当する画像をモニタすることができるようになる。

また、上述した説明では、撮影前または撮影中のモニタ画像表示について説明した。しかしながら、上述した画像処理パスで生成される全天球画像の静止画を生成し、または、全天球画像の複数のフレームからなる画像列を動画圧縮して動画像を生成し、これらの静止画または動画の画像データを保存することもできる。

画像データ保存部３２０は、静止画または動画を画像データとして保存する処理を行う。静止画の場合には、静止画圧縮ブロック１１９でＪＰＥＧ、ＴＩＦＦなどの静止画フォーマットへ圧縮を行い、動画の場合は、動画圧縮ブロック１１８でＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮を行う。生成された画像データは、外部ストレージ１３４などの記憶領域に保存する。

保存する画像データには、どのモードでつなぎ処理が行われたかを後から判別できるように、処理を行ったモードの種別を関連付けて記録するとよい。例えば、静止画であればＥＸＩＦ（Exchangeable Image File Format）、ＴＩＦＦなどの既存のメタデータフォーマットを、動画であればＭＰ４など既存のコンテナフォーマットを使用して記録してもよいし、独自にメタデータフォーマットを作成して記録してもよい。これにより、利用方法に応じた画像データの選別が容易となる。また、モードの種別とともに、またはこれに代えて、つなぎ処理に使用した変換テーブルや光学データなどのパラメータを画像データのメタデータ内に記録してもよい。

また、一般的にＲＡＷデータと呼ばれる撮像素子１３０から出力されたままの形式で、画像処理ブロック１１６などで画像処理（特につなぎ処理）されていない画像データ（中間画像データ）を出力部よりファイル出力し、保存する場合も考えられる。ＲＡＷデータでは、つなぎ処理が行われていないため、ユーザ端末装置１５０など全天球カメラ１１０以外の装置でつなぎ処理が行われる。全天球カメラ１１０以外の装置でも同様につなぎ処理のモードを変更できるようにするために、出力部は、ＲＡＷデータのメタデータ内に２つのモードの変換テーブルや光学データを記録することができる。ＲＡＷデータでは、ＤＮＧ（Digital Negative）などの既存のメタデータフォーマットが利用可能である。全天球カメラ１１０以外の装置（例えばユーザ端末装置１５０）では、ＲＡＷデータのメタデータ内に記録された２つのモードの変換テーブルや光学データを使用し、全天球カメラ１１０と同じつなぎ処理方法を行うアプリケーション（上述した位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６、テーブル生成部３０８、画像合成用歪み補正部３１２、画像合成部３１４、モード選択部３１８およびパラメータ切替部３１９を実装するアプリケーション）などを実行することで、全天球カメラ１１０と同一のつなぎ処理を行うことができる。

全天球画像合成処理
図１３を参照しながら、本実施形態による全天球画像合成処理についてより詳細に説明する。なお、図１３に示す処理は、静止画の全天球画像を撮影する場合に対応する。また、図１３に示す各ステップの処理は、全天球カメラ１１０が行うものとして説明するが、全天球カメラ１１０のＣＰＵ１１２や他の適切なハードウェアブロック（画像処理ブロック１１６（ＩＳＰを含む。）や静止画圧縮ブロック１１９）が実行を担う。

図１３に示す処理は、例えば、ユーザからの撮影ボタン１８の押下を検出して、ステップＳ１００から開始される。ステップＳ１０１では、全天球カメラ１１０は、自身になされた設定値を参照し、選択されたモードが、本体表示モードおよび本体非表示モードのいずれであるかを特定する。ステップＳ１０２では、特定されたモードに応じて処理を分岐させる。ステップＳ１０２で、本体表示モードであると判定された場合は、ステップＳ１０３へ処理が分岐され、全天球カメラ１１０は、本体表示用パラメータ３３７を位置検出用変換テーブル３３０として取得する。一方、ステップＳ１０２で、本体非表示モードであると判定された場合は、ステップＳ１０４へ処理が分岐され、全天球カメラ１１０は、本体非表示用パラメータ３３８を位置検出用変換テーブル３３０として取得する。

ステップＳ１０５では、全天球カメラ１１０は、図２（Ａ）に示した２つの撮像素子１３０Ａ，１３０Ｂを制御し、２つの部分画像を取得する。３つ以上の複数の魚眼レンズの場合は、３以上の部分画像が取得される。ステップＳ１０６では、全天球カメラ１１０は、図２（Ａ）に示した加速度センサ１３６を制御し、所定の基準方向に対する全天球カメラ１１０の傾きを検出し、傾き検出結果を取得する。なお、ステップＳ１０５およびステップＳ１０６の順に説明されているが、その順序は限定されず、傾き検出を先に行ってもよいし、同時に行ってもよい。

ステップＳ１０７では、全天球カメラ１１０は、ステップＳ１０３またはステップＳ１０４で取得された位置検出用変換テーブル３３０を用いて部分画像を歪み補正し、２つの位置検出用補正画像を取得する。３つ以上の複数の魚眼レンズの場合は、３以上の位置検出用補正画像が取得される。

ステップＳ１０８では、全天球カメラ１１０は、パターン・マッチング等により、２つの位置検出用補正画像間のつなぎ位置を検出し、つなぎ位置検出結果３３２を取得する。３つ以上の複数の魚眼レンズの場合は、３以上の位置検出用補正画像のうちの、重なる２つの画像の各組について、画像間のつなぎ位置が取得される。

ステップＳ１０９では、全天球カメラ１１０は、つなぎ位置検出結果３３２に基づいて、位置検出用変換テーブル３３０に対し修正を施す。ステップＳ１１０では、修正された変換データから、回転座標変換に基づき、適宜、傾き検出部３１０が生成した傾き検出結果３３４を反映させて、画像合成用変換テーブル３３６を生成する。

ステップＳ１１１では、全天球カメラ１１０は、画像合成用変換テーブル３３６を用いて、ステップＳ１０５で取得された部分画像を歪み補正し、２つの画像合成用補正画像を取得する。３つ以上の複数の魚眼レンズの場合は、３以上の画像合成用補正画像が取得される。ステップＳ１１２では、全天球カメラ１１０は、得られた２つの画像合成用補正画像を合成し、全天球画像を生成する。この際に、画像合成用補正画像間の重複領域において、適宜、ブレンディングなどが行われる。ステップＳ１１３では、全天球カメラ１１０は、合成された全天球画像を、適切な方式（ＪＰＥＧなど）で、記録媒体やモニタなどの装置に出力し、ステップＳ１１４で本処理を終了させる。

なお、図１３を参照しながら静止画の全天球画像を撮影する場合を一例として全天球画像合成処理を説明したが、動画撮影や連続した複数の静止画からなるインターバル撮影やタイムラプス撮影の場合には、ステップＳ１０５～ステップ１１３の処理が、動画のフレーム毎または静止画毎に繰り返される。

また、図１３を参照しながら、全天球画像を撮影するとともに全天球画像合成する、全天球カメラ１１０が実行する処理として説明したが、撮影後の画像データに基づいてユーザ端末装置１５０側で行う場合も同様である。その場合、ステップＳ１０１では、画像データのメタデータからの読み出しによりモードが特定されたり、アプリケーション上でのユーザによるモードの指定を受けたりする。ステップＳ１０５では、魚眼画像を並べたデュアルフィッシュアイ形式の画像データからの読み出しにより２つの部分画像が取得され、ステップＳ１０５では、画像データのメタデータの読み出しにより傾き検出結果が取得される。ステップＳ１０３およびステップＳ１０４での本体表示用パラメータ３３７および本体非表示用パラメータ３３８の取得も、画像データのメタデータなどから取得される。また、これらの処理は、ユーザ端末装置１５０のＣＰＵ１５２や他の適切なハードウェアブロック（ハードウェアアクセラレータなど）が実行を担う。また、全天球カメラ１１０およびユーザ端末装置１５０が協働して全天球画像を撮影するとともに全天球画像合成することもでき、その場合の全天球カメラ１１０およびユーザ端末装置１５０間の処理分担は、任意である。

本体表示モードおよび本体非表示モードの間の画像の違い
図１４を用いて本体表示モードと本体非表示モードで生成される画像の違いを説明する。図１４（Ａ）は、各モードで撮影された全天球画像フォーマットの画像を球面座標上にマッピングしたときの視点方向を示している。全天球カメラ１１０の上方から床方向に視線を向けている。ここで、床面Ｔには格子状の模様があるものとする。

本体表示モード時には、つなぎ位置検出を行い、２つの結像光学系２０Ａ，２０Ｂから等距離の床面Ｔ上の点Ｐ０が２つの部分画像をつなぐつなぎ位置となる。一方、本体非表示モード時には、本体が写り込まない入射角度（点線）と床面Ｔとの交点Ｐ１、Ｐ２が２つの部分画像をつなぐつなぎ位置となる。

図１４（Ｂ）は、本体表示モードで撮影された画像のイメージ図であり、図１４（Ｃ）は、本体非表示モードで撮影された画像のイメージ図であり、点線の位置で２つの部分画像がつながれているものとする。図１４（Ｂ）に示す本体表示モードでは、撮影画像に本体の写り込み領域が発生するが、床面Ｔの格子状の模様は、比較的に正確につながれている。このように、本体表示モードは、全天球カメラ１１０の筐体１４が写り込む複数の部分画像間のつなぎ処理に関し、つなぎ処理によって生成された全天球画像中に筐体が少なくとも部分的に写り込んで出力されるモードである。本体表示モードは、筐体１４の一部が写り込むことを許容しながらもつなぎ目の自然さを優先するモードということができる。

一方、図１４（Ｂ）に示す本体非表示モードでは、撮影画像に本体の写り込みは最小化され、好ましくは回避されているが、本体の写り込みをなくすためにつなぎ部分で一部画像が欠損しており、床面Ｔの格子状の模様には若干の矛盾が生じている。このように、本体非表示モードは、全天球カメラ１１０の筐体１４が写り込む複数の部分画像間のつなぎ処理に関し、つなぎ処理によって生成された全天球画像中への筐体１４の写り込みが本体表示モードより小さいか、または好ましくは筐体１４が実質的に写り込まずに出力されるモードである。ここで、筐体１４が実質的に写り込まないとは、筐体１４の一部が数画素など全体的な画像品質に影響がない範囲で写り込む場合を含むものである。本体非表示モードは、特に筐体１４が写り込み得る領域周辺でのつなぎ目の不自然さを許容しながら筐体１４の一部が写り込むことを可能な限り回避するモードということができる。

なお、図１４においては、説明の便宜上、本体非表示モードでは、全体的に床面Ｔの模様がつながらないように描かれている。しかしながら、つなぎ処理を変更するのは、好ましくは写り込み領域を含む一定範囲であり、図１４（Ｃ）では、より正確には、本体から離れる上下方向で徐々に床面Ｔの模様がつながって行くようになる。つまり、本体非表示モードでも、筐体１４が写り込み得る領域から離れた部分では、本体表示モードと同一のつなぎ処理となる。

このように、本体は写り込んでしまうが被写体を正しくつなぎたい場合は本体表示モードを、本体を写り込ませたくない場合は本体非表示モードをユーザは選択して使用するとよい。

以上説明したように、上述した実施形態によれば、複数の入力画像をつなぎ合わせて生成された画像において、画像内への撮像装置の写り込みを最小化、好ましくは、消去または回避することが可能な画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラムを提供することができる。

特に、つなぎ目の不自然さを許容しながら本体筐体の一部が写り込むことを回避する本体非表示モードが用意され、モード選択に応じて、少なくとも本体筐体の一部が写り込む領域のつなぎ処理を変更するよう構成される。このため、撮像装置の本体の写り込みあり、なしを選択して画像を出力することが可能となる。特に、把持部を有し、縦長形状である全天球カメラ１１０では、図８（Ｂ）に示すように、写り込みが発生し易くなるため、本体非表示モードが有用となる。

例えば、風景撮影時に本体非表示モードは有効である。自然の中（空間周波数が高い）で撮影する場合、つなぎ目の不自然さは多少残るものの、本体筐体の一部の写り込みを回避することで、より良い風景画像が撮像できる。特に屋外における自然界は空間周波数が高く、図１４のような規則的な格子パターンが存在することは少ない。よって、多少つなぎ目の不自然さがあったとしても、撮像画像全体として不自然には感じにくい。このように、つなぎ目を不自然に感じにくい撮像シーンにおいては、本体非表示モードは有効である。

なお、上述までの実施形態では、全天球カメラ１１０と、全天球カメラ１１０と通信するユーザ端末装置１５０とを備える全天球撮像システム１００を一例として、画像処理システムおよび撮像システムについて説明した。

上述した全天球撮像システム１００において、特定の実施形態では、選択処理２１０、パラメータ切替処理２２０、部分画像取得処理２３０、つなぎ位置検出処理２４０、傾き検出処理２５０、つなぎ処理２７０およびデータ出力処理２８０を全天球カメラ１１０のハードウェア上で実装し、モニタ表示処をユーザ端末装置１５０上で実装することができる。この特定の実施形態では、全天球カメラ１１０は、指定されるモードに応じた出力画像を出力し、ユーザ端末装置１５０は、モードに応じた出力画像に基づくモニタ画像を表示することができる。また、全天球カメラ１１０は、指定されるモードに応じた静止画または動画を画像データとして保存することができる。しかしながら、画像処理システムおよび撮像システムの構成は、上述した構成に限定されるものではない。

上述した実施形態では、ユーザが手動でユーザ端末装置１５０や全天球カメラ１１０からモードを指定して、全天球カメラ１１０がそれを受け付けていた。しかしながら、他の実施形態では、本体が写り込む領域および該領域の周辺領域の被写体情報に基づいて、パターン認識や物体認識により本体が写り込む領域の被写体を判定し、自動的にモードを選択するようにしてもよい。例えば、本体写り込み領域近傍に特徴のある被写体（規則的な模様のある床など）があるならば本体表示モードを自動的に選択し、被写体を正確につなぐためのつなぎ処理を行う一方で、特徴のない被写体（模様のない床やランダムな模様の床、芝生、砂地）があるならば本体非表示モードを自動的に選択し被写体のつなぎ精度は落として、本体を写り込まないつなぎ処理を行うようにしてもよい。かかる自動モードは、ユーザ手動による本体非表示モードおよび本体表示モードとともに、ユーザ選択可能なモードとして、全天球カメラ１１０が有していてもよい。他の実施形態では、ユーザ手動による本体非表示モードおよび本体表示モードに代えて、ユーザ選択可能なモードとして自動モードを全天球カメラ１１０が有し、本体非表示モードおよび本体表示モードを内部モードとしてもよい。この場合、写り込む領域の被写体を判定し、内部モードを選択するモジュールから、モード選択部３１８が、決定された内部モードを受け付ける。

他の実施形態では、上述した画像処理２１０～２８０および表示処理をすべて全天球カメラ１１０上で実行し、全天球カメラ１１０のみで画像処理システム、画像処理装置および撮像システムを構成してもよい。さらに他の実施形態では、上述した部分画像取得処理２３０を除く画像処理２１０～２８０および表示処理を、ユーザ端末装置１５０を含む１以上の外部のパーソナル・コンピュータやサーバなどの画像処理装置上で分散実装してもよい。例えば、特定の実施形態では、画像処理２１０～２８０（部分画像取得処理２３０を除く。）を、画像処理装置としてのユーザ端末装置１５０上で実行することができる。このような実施形態では、全天球カメラ１１０は、モードにかかわらず複数の部分画像を取得して出力し、ユーザ端末装置１５０は、全天球カメラ１１０から出力された複数の部分画像の入力を受け、指定されるモードに応じた出力画像を生成し、モニタ画像を表示したり、画像データを保存したりすることができる。

以上の実施形態では、筐体１４の写り込みについて説明してきたが、筐体１４以外にも、全天球カメラ１１０に取り付ける部材、オプション品（防水ハウジング、外付けマイクなど）、固定器具（三脚、一脚）の台座などの写り込みに対しても本技術は適用することが可能である。この場合、写り込み領域が不定であるため、一度、本体表示モードで合成した画像データをユーザ端末装置などに表示させて、本体以外の写り込み領域をユーザに指定させることで、写り込み領域を特定し、図７で示した変換テーブルを変更することで対応することができる。また、純正アクセサリなどのオプション品であれば、形状が既知であり、写り込み領域も定まるので、オプション品毎に図７で示した各モードの変換テーブルを事前に準備しておくこともできる。

さらに、上記実施形態では、傾き補正において、鉛直方向を基準として傾き角を求めるとしたが、鉛直方向以外で、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。また、上記実施形態では、傾きの検出に加速度センサを用いたが、加速度センサと角速度センサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ１１０や全天球カメラ１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…撮影ボタン、２０…結像光学系、２２…撮像素子、１００…全天球撮像システム、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１１９…静止画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１２９…映像出力インタフェース、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、１４２…バス、１５０…ユーザ端末装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線ＮＩＣ、１６６…ＵＳＢコネクタ、１６８…バス、２００…画像処理、２１０…選択処理、２２０…パラメータ切替処理、２３０…部分画像取得処理、２４０…つなぎ位置検出処理、２５０…傾き検出処理、２６０…つなぎパラメータ、２７０…つなぎ処理、２８０…データ出力処理、３００…画像処理ブロック、３０２…位置検出用歪み補正部、３０４…つなぎ位置検出部、３０６…テーブル修正部、３０８…テーブル生成部、３１０…傾き検出部、３１２…画像合成用歪み補正部、３１４…画像合成部、３１６…画像切出部、３１８…モード選択部、３１９…パラメータ切替部、３２０…画像データ保存部、３２２…モニタ画像生成部、３３０…位置検出用変換テーブル、３３２…つなぎ位置検出結果、３３４…傾き検出結果、３３６…画像合成用変換テーブル、３３７…本体表示用パラメータ、３３８…本体非表示用パラメータ、５００…テンプレート用画像、５０２…テンプレート画像、５１０…探索用画像、５１２…探索範囲、５１４…対応部分

特許第６５１４４１８号公報

Claims (18)

1. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
   前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
   を含み、前記複数のモードは、
   前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
   を含み、前記第１のモードと前記第２のモードでは、少なくとも前記撮像装置が写り込む領域に関しつなぎ処理が変更され、前記つなぎ処理の変更は、つなぎ位置の焦点距離の変更を含み、前記第２のモードの方が、前記第１のモードよりも長焦点距離となっている、画像処理システム。
2. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
   前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
   を含み、前記複数のモードは、
   つなぎ位置の焦点距離が所定の距離である第１のモードと、
   つなぎ位置の焦点距離が少なくとも部分的に第１のモードよりも長焦点距離である第２のモードと
   を含む、画像処理システム。
3. 前記出力画像に関連付けて、前記つなぎ処理で使用したモード、および、該モードに対応したパラメータのいずれか一方または両方が記録され、前記パラメータは、変換テーブルおよび魚眼レンズの光学データとつなぎ位置の距離のセットのいずれか一方または両方を含む、請求項１または２に記載の画像処理システム。
4. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
   前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
   を含み、前記複数のモードは、
   前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
   を含み、前記つなぎ処理が施される前の前記複数の入力画像を、前記第１のモードに対応したパラメータと、前記第２のモードに対応したパラメータとともに中間画像データとして出力する出力部を含み、前記つなぎ処理部は、前記中間画像データを読み出して、前記複数の入力画像を取得するとともに、前記受付部により受け付けたモードに対応したパラメータを取得して、前記つなぎ処理を実行する、画像処理システム。
5. 前記受付部は、ユーザの指示に基づいてモードを受け付けることを特徴とする、請求項１～４のいずれか１項に記載の画像処理システム。
6. 前記ユーザの指示は、撮像装置が備えるユーザ・インタフェース、前記撮像装置に接続されたユーザ・インタフェース、または、前記撮像装置に接続された端末装置が備えるユーザ・インタフェースを介して行われる、請求項５に記載の画像処理システム。
7. 前記受付部は、前記複数の入力画像における撮像装置が写り込む領域および該領域の周辺領域の被写体情報に基づいて選択されたモードを受け付けることを特徴とする、請求項１～４のいずれか１項に記載の画像処理システム。
8. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
   前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
   を含み、前記複数のモードは、
   前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
   を含み、特定条件にある間は、選択した前記モードが固定されることを特徴とする、画像処理システム。
9. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
   前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
   を含み、前記複数のモードは、
   前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
   を含み、前記複数の入力画像間のつなぎ位置を検出する検出処理部を含み、前記つなぎ処理部は、少なくとも前記複数の入力画像内の撮像装置が写り込んだ領域以外に関し、前記つなぎ処理を、検出された前記つなぎ位置に応じて行うことを特徴とする、画像処理システム。
10. 前記入力画像は、平面座標系で表現された部分画像であり、前記出力画像は、球面座標系で表現された全天球画像である、請求項１～９のいずれか１項に記載の画像処理システム。
11. 前記入力画像および前記出力画像は、静止画または動画の形式である、請求項１～１０のいずれか１項に記載の画像処理システム。
12. 請求項１～１１のいずれか１項に記載の画像処理システムと
    前記複数の入力画像を撮像する複数の光学系および撮像素子と
    を含む撮像システム。
13. 複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
    前記つなぎ処理に関し、複数のモードのうちの選択された１つのモードを特定する特定部と
    を含み、前記複数のモードは、
    前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
    を含み、前記第１のモードと前記第２のモードでは、少なくとも前記撮像装置が写り込む領域に関しつなぎ処理が変更される、画像処理装置。
14. 前記つなぎ処理の変更は、つなぎ位置の焦点距離の変更を含み、前記第２のモードの方が、前記第１のモードよりも長焦点距離となっている、請求項１３に記載の画像処理装置。
15. 入力画像を撮像する光学系および撮像素子を複数含む撮像装置であって、
    複数の前記光学系および前記撮像素子それぞれで撮像された複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部と、
    前記つなぎ処理に関し、複数のモードのうちの１つを受け付ける受付部と
    を含み、前記複数のモードは、
    自装置である前記撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中への前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
    を含む、撮像装置。
16. 入力画像を撮像する光学系および撮像素子を複数含む撮像装置を、
    複数の前記光学系および前記撮像素子それぞれで撮像された複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部、
    前記つなぎ処理に関し、複数のモードのうちの選択された１つのモードを特定する特定部
    として機能させるためのプログラムであって、前記複数のモードは、
    自装置である前記撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中へ前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
    を含む、プログラム。
17. コンピュータを、
    複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理部、
    前記つなぎ処理に関し、複数のモードのうちの選択された１つのモードを特定する特定部
    として機能させるためのプログラムであって、前記複数のモードは、
    前記複数の入力画像の撮影に使用した撮像装置が写り込む複数の入力画像間のつなぎ処理に関し、前記つなぎ処理によって生成された出力画像中に前記撮像装置が少なくとも部分的に写り込んで出力される第１のモードと、前記つなぎ処理によって生成された出力画像中へ前記撮像装置の写り込みが前記第１のモードより小さいかまたは前記撮像装置が写り込まずに出力される第２のモードと
    を含み、前記第１のモードと前記第２のモードでは、少なくとも前記撮像装置が写り込む領域に関しつなぎ処理が変更される、プログラム。
18. 前記つなぎ処理の変更は、つなぎ位置の焦点距離の変更を含み、前記第２のモードの方が、前記第１のモードよりも長焦点距離となっている、請求項１７に記載のプログラム。

Images