JP2020136850A - 撮像装置、撮像方法、プログラムおよび撮像システム - Google Patents

Abstract

【課題】使用者の意図しない手ぶれを補正するとともに画像の表示の基準を撮像部が向いている方位に応じて与えることが可能な撮像装置を提供する。【解決手段】撮像装置（全天球カメラ１１０）は、それぞれ画像を取得する複数の撮像部２１２Ａ、２１２Ｂと、複数の撮像部の少なくとも１つの姿勢を検出する姿勢検出部２１４、２１６と、複数の撮像部の少なくとも１つが向いている方位を検出する方位検出部２１８とを含む。さらに、複数の撮像部により撮像された複数の画像、姿勢検出部により検出された姿勢および方位検出部により検出された方位に基づいて、出力画像を出力する画像出力部２４０を含む。方位検出部２３０により検出された方位は、姿勢検出部により検出された姿勢に基づく補正を出力画像に反映して得られる画像における所定軸周りの表示の基準を与える。【選択図】図３

Description

本発明は、撮像装置、撮像方法、プログラムおよび撮像システムに関する。

近年、手持ちで、半球ないし全天球の視野で静止画や動画を撮像できるカメラが普及している。このような手持ちサイズのカメラでは、カメラの姿勢を正確にコントロールして撮影することが難しい。このため、カメラ本体が傾いた状態での撮影に対応して、撮像された画像を傾き補正する機能を備えたものが知られている。

特開２０１７−１４７６８２号公報（特許文献１）は、撮像手段と、全天球フレームデータを作成する画像合成部と、撮像手段の姿勢情報を検出する姿勢検出手段と、姿勢情報に基づいて全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、全天球フレームデータと補正量データを関連付けて全天球画像を得る関連付け手段を具える、全天球撮像システムを開示する。この全天球撮像システムにおいて、補正量算出部は、全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成し関連付け手段に送信する。

上記特許文献１の従来技術は、手振れに含まれる高周波の微小揺れ成分のみを補正して、使用者の意図的な方向転換の動きを補正しないことによって、手ぶれ補正しつつ動画の正面をカメラの正面と一致させるというものである。しかしながら、上記特許文献１の従来技術では、垂直軸を中心とするゆれは、高周波の微小揺れ成分しか補正されず、使用者の意図した方向転換だけでなく、意図しない低周波の手ぶれが補正されない点で、充分なものではなかった。

本開示は、上記点に鑑みてなされたものであり、使用者の意図しない手ぶれを補正するとともに画像の表示の基準を撮像部が向いている方位に応じて与えることが可能な撮像装置を提供することを目的とする。

本開示では、上記課題を解決するため、下記特徴を有する、撮像装置が提供される。本撮像装置は、それぞれ画像を撮像する複数の撮像部と、複数の撮像部の少なくとも１つの姿勢を検出する姿勢検出部と、複数の撮像部の少なくとも１つが向いている方位を検出する方位検出部とを含む。撮像装置は、さらに、複数の撮像部により撮像された複数の画像、姿勢検出部により検出された姿勢および方位検出部により検出された方位に基づいて、出力画像を出力する画像出力部を含む。方位検出部により検出された方位は、姿勢検出部により検出された姿勢に基づく補正を出力画像に反映して得られる画像における所定軸周りの表示の基準を与える。

上記構成により使用者の意図しない手ぶれを補正するとともに画像の表示の基準を撮像部が向いている方位に応じて与えることが可能となる。

本実施形態による、全天球動画システムを構成する全天球カメラの断面図。 本実施形態による、全天球動画システムのハードウェア構成図。 本実施形態による、全天球動画システム上に実現される全天球動画撮像機能に関連する主要な機能ブロック図。 （Ａ）全天球画像の生成における画像データフロー図、および、全天球画像のデータ構造を（Ｂ）平面で表した場合および（Ｃ）球面で表した場合について説明する図。 本実施形態による全天球画像の天頂補正、振れ回転補正および方位補正について説明する図。 本実施形態による全天球画像の天頂補正、振れ回転補正および方位補正によって得られる全天球画像を説明する図。 （Ａ）〜（Ｃ）複数の実施形態における方位補正量計算部のより詳細な機能ブロック図。 （Ａ）本実施形態における１６方位での量子化の態様を説明する図および（Ｂ）本実施形態における方位の量子化の仕方を説明する図。 本実施形態による全天球カメラが実行する、方位補正を伴う撮像処理を示すフローチャート。 撮影者が所定の動作をした場合に撮影された振れ回転補正前、振れ回転補正後かつ方位補正前および方位補正後の一連の全天球画像を説明する図。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、全天球カメラが、撮像装置の一例として説明される。

以下、図１〜図３を参照しながら、本実施形態による全天球カメラを含む全天球動画システムの全体構成について説明する。

図１は、本実施形態による全天球動画システムを構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子２２Ａ，２２Ｂとを含み構成される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものが各撮像部を構成する。なお、説明する実施形態では、光学系（撮像部）の数が２である場合を一例として説明するが、光学系（撮像部）の数は、１であってもよいし、３以上であってもよい。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の連続するフレームにより、全天球動画が構成される。

ここで、説明する実施形態では、全天球画像および全天球動画を生成するものとして説明が行われるが、画像および動画は、全天周画像および全天周動画、水平面のみ３６０度を撮影した、いわゆるパノラマ画像およびパノラマ動画であってもよいし、その他、１８０度の画角を撮影した半球の画像および動画、または半円筒の画像および動画であってもよく、球面または円筒上の画像情報を持つ画像データであればよい。すなわち、本実施形態による動画およびそれに含まれる画像は、所定軸周りの角度座標を含む座標系で表される画像である。上記全天球画像・動画、半球画像・動画、部分的な球面の画像の場合は、動径を定数（例えば１）として、所定軸と動径とがなす角を表す角度座標および所定軸周りの角度座標を含む球面座標系が用いられる。上記パノラマ画像・動画またはその部分画像の場合は、動径を定数（例えば１）として、円筒の軸方向の座標および該軸周りの角度座標を含む円筒座標系が用いられる。

図１に示す全天球カメラ１１０は、撮影者により、例えば、手持ちでまたは帽子型やヘルメット型の装着具により保持されて、動画の撮像が行われる。

図２（Ａ）は、本実施形態による全天球動画システムを構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、説明する実施形態における撮像装置に対応する。

全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続されるセンサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された、オペレーティング・システム（ＯＳ）や制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

センサ１３６は、図３（Ａ）に示す実施形態では、角速度センサ１３６Ａ、加速度センサ１３６Ｂおよび地磁気センサ１３６Ｃ（電子コンパスともいう。）を含み構成される。角速度センサ１３６Ａは、３軸の角速度成分を検出するセンサである。加速度センサ１３６Ｂは、３軸の加速度成分を検出するセンサである。検出された加速度成分および角速度成分は、後述するように、重力方向への全天球画像の天頂補正および重力方向周りの回転補正（主に手振れに起因した回転の補正であり、振れ回転補正という。）を施すために用いられる。地磁気センサ１３６Ｃは、２軸または３軸の地磁気成分を計測するセンサである。検出された複数軸の地磁気成分は、詳細を後述する重力方向周りの追加の回転補正（方位補正という。）を施すために用いられる。

全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるスマートフォンなどの外部装置とのＵＳＢ通信を制御する。シリアルブロック１２８は、スマートフォンなどの外部装置とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。

電源スイッチの操作によって電源がオン状態になると、上記ＯＳや制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。

図２（Ｂ）は、本実施形態による全天球動画システムを構成する情報端末１５０のハードウェア構成を示す。

図３（Ｂ）に示す情報端末１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、内部ストレージ１５６と、入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。

ＣＰＵ１５２は、情報端末１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。内部ストレージ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システムや、本実施形態による情報端末１５０側の処理を担うアプリケーションなどの制御プログラムを格納する。

入力装置１５８は、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。入力装置１５８は、全天球動画の補正など操作者による各種の指示を受け付ける。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ１６２は、ユーザ操作に応答して補正された全天球動画を画面表示する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続をする。

情報端末１５０に電源が投入され電源がオン状態になると、内部ストレージ１５６から制御プログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報端末１５０の後述する各機能部および処理が実現される。

以下、図３〜図１０を参照しながら、本実施形態による全天球動画システムが備える全天球動画撮像機能について説明する。

図３は、本実施形態による全天球動画システム上で実現される全天球動画撮像機能に関連する主要な機能ブロック２００を示す。図３に示す全天球カメラ１１０の機能ブロックは、第１撮像部２１２Ａと、第２撮像部２１２Ｂと、角速度検出部２１４と、加速度検出部２１６と、画像合成部２２０と、天頂補正量計算部２２２と、回転補正量計算部２２４と、画像回転部２２６と、記憶部２２８と、出力部２４０とを含み構成される。本実施形態による機能ブロック２００は、さらに、地磁気検出部２１８と、方位補正量計算部２３０とを含み構成される。各部の処理は、全天球カメラ１１０が備えるＣＰＵ１１２や画像処理ブロック１１６が各種プログラムを実行することによって行われ得る。

これに対して、情報端末１５０の機能ブロックは、同じく図３に示すように、受信部２５２と、表示制御部２５４とを含み構成される。各部の処理は、情報端末１５０が備えるＣＰＵ１５２が各種プログラムを実行することによって行われる。

以下、まず、全天球カメラ１１０側の機能ブロックについて説明する。

撮像部２１２は、それぞれが図１や図２に示した結像光学系２０および撮像素子２２（１３０）を含み構成される。第１撮像部２１２Ａは、結像光学系２０Ａおよび撮像素子１３０Ａを用いて連続したフレームを順次撮像し、魚眼画像Ａを取得する。第２撮像部２１２Ｂは、結像光学系２０Ｂおよび撮像素子１３０Ｂを用いて連続したフレームを順次撮像し、魚眼画像Ｂを取得する。第１撮像部２１２Ａおよび第２撮像部２１２Ｂは、それぞれ、本実施形態における撮像部および画像取得部を構成し得る。

画像合成部２２０は、取得された魚眼画像Ａ（第１フレームデータ）および魚眼画像Ｂ（第２フレームデータ）に対してスティッチング処理を施し、フレーム合成データを作成する。フレーム合成データは、撮像を開始してから終了するまでのそれぞれ全天球動画を構成する複数のフレームを含んだ、全天球動画データの本体となる動画データである。魚眼画像Ａおよび魚眼画像Ｂは、全天球画像を構成するための部分画像であり、第１および第２フレームデータも、撮像を開始してから終了するまでのそれぞれ部分画像のフレームを含んだ、全天球動画を構成し得る動画データである。画像合成部２２０は、作成したフレーム合成データを画像回転部２２６に出力する。

以下、図４を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図４（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子１３０各々で直接撮像される画像は、概ね全天球のうちの半球を視野に収めた画像である。結像光学系に入射した光は、所定の射影方式に従って撮像素子１３０の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図４（Ａ）において「魚眼画像Ａ」および「魚眼画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼画像として構成される。

この複数の撮像素子１３０で撮像された各フレームの複数の魚眼画像が、歪み補正および合成処理されて、各フレームに対応する１つの全天球画像が構成される。合成処理では、平面画像として構成される各魚眼画像から、まず、相補的な各半球部分を含む各全天球画像が生成される。そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせ（スティッチング処理）され、画像合成され、全天球全体を含む全天球画像が生成される。

図４（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図４（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図４（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度〜１８０度（あるいは−９０度〜＋９０度）の範囲となり、水平角度θは、０度〜３６０度（あるいは−１８０度〜＋１８０度）の範囲となる。

全天球フォーマットの各座標値（θ，φ）は、図４（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された魚眼画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、魚眼画像を全天球画像へ変換するデータである。

なお、説明する実施形態では、魚眼画像から全天球画像に変換し、スティッチング処理後のフレーム合成データに対して画像回転部２２６により回転処理を施す流れとなっている。しかしながら、変換処理、合成処理および回転処理の順序は、特に限定されるものではない。部分画像である魚眼画像Ａと魚眼画像Ｂ（それを変換した相補的な各半球部分を含む２つの全天球画像）それぞれに対して画像回転部２２６で回転処理（補正）を施した後にスティッチング処理する流れとしてもよい。また、全天球フォーマットの画像に対して回転座標変換を施すほか、魚眼画像を全天球画像に変換する上記変換テーブルに回転処理を反映し、回転処理が反映された変換テーブルに基づいて、魚眼画像Ａおよび魚眼画像Ｂから回転処理後の全天球画像を得ることもできる。

ここで、再び図３を参照する。角速度検出部２１４は、角速度センサ１３６Ａを含む角速度検出機構であり、撮像中、角速度センサ１３６Ａを用いて３軸方向の角速度成分を計測して得られる角速度データを出力する。角速度データは、撮像を開始してから終了するまでの全天球カメラ１１０（内の角速度センサ１３６Ａ）の３軸周りで生じた角速度の時系列データである。

加速度検出部２１６は、加速度センサ１３６Ｂを含む加速度検出機構であり、撮像中、加速度センサ１３６Ｂを用いて３軸方向の加速度成分を計測して得られる加速度データを出力する。加速度データは、撮像を開始してから終了するまでの全天球カメラ１１０（内の加速度センサ１３６Ｂ）の３軸の加速度の時系列データである。

角速度データおよび加速度データは、フレームに１対１に対応して記録されている必要はなく、フレームレートよりも速いレートで記録してもよい。この場合、タイムスタンプを手がかりとして、後で各フレームとの対応関係が求められる。あるいは、全天球動画の各フレームに１対１で対応して角速度や加速度の情報が記録されてもよい。

加速度データおよび角速度データは、重力方向への全天球画像の天頂補正および重力方向周りの振れ回転補正を施すために用いられ、全天球カメラ１１０の姿勢を与えるものである。ここで、加速度データおよび角速度データにより与えられる姿勢は、全天球カメラ１１０の重力方向に対する傾き角（Ｒｏｌｌ角およびＰｉｔｃｈ角に対応する。）および重力方向周りの回転角度（Ｙａｗ角に対応する）を含む。角速度検出部２１４および加速度検出部２１６は、併せて、本実施形態における姿勢検出部を構成する。なお、重力方向に対する傾き角および重力方向周りの回転角度は、上述した加速度データおよび角速度データに代えて、あるいは、これらのデータに加えて、撮像部２１２からの画像データを画像解析することによって計算または補正することもできる。

地磁気検出部２１８は、地磁気センサ１３６Ｃを含む地磁気検出機構であり、撮像中、地磁気センサ１３６Ｃを用いて、各軸（Ｘ軸、Ｙ軸、３軸センサの場合はさらにＺ軸）の地磁気成分を計測して得られる地磁気データを出力する。地磁気データは、撮像を開始してから終了するまでの複数軸の地磁気成分の時系列データである。地磁気データは、フレームに１対１に対応して記録されている必要はなく、フレームレートよりも速いレートで記録してもよい。この場合、タイムスタンプを手がかりとして、後で各フレームとの対応関係が求められる。あるいは、全天球動画の各フレームに１対１で対応して各軸の地磁気の情報が記録されてもよい。

地磁気データは、重力方向周りの追加の回転補正、すなわち方位補正を施すために用いられ、全天球カメラ１１０が向いている（例えば一方の撮像部２１２の方向を全天球カメラ１１０の正面とすることができ、以下、これを撮影正面という。）方位を与えるものである。地磁気検出部２１８は、本実施形態における方位検出部を構成する。

天頂補正量計算部２２２は、加速度検出部２１６から出力される加速度データに基づいて、各フレームでの基準軸に対する撮影時の傾き角を計算し、天頂補正データを作成する。天頂補正データは、全天球動画の各フレームに関連付けて記録される、撮像を開始してから終了するまでの基準軸に対する全天球カメラ１１０の傾き角の時系列データである。基準軸に対する傾き角は、典型的には加速度の次元の値からなるベクトルとして構成される。基準軸は、典型的には、重力加速度が作用する重力方向に一致し、以下、基準軸が重力方向であるとして説明を続ける。加速度センサ１３６Ｂは、重力と慣性力とを区別しないので、加速度センサ１３６Ｂから得られた傾き角は、好ましくは角速度センサ１３６Ａで計測された信号に基づいて補正されてもよい。

回転補正量計算部２２４は、加速度検出部２１６から出力される加速度データおよび角速度検出部２１４から出力される角速度データに基づいて、重力方向に対し垂直方向の平面（水平面）の座標系における全天球カメラ１１０の撮影正面方向のベクトルをフレーム毎に算出し、回転補正データを記録する。回転補正データは、全天球動画の各フレームに関連付けて記録される、撮像を開始してから終了するまでの、基準フレームの撮影正面方向を基準とした、各フレーム時点の撮影正面方向の回転角度の時系列データである。ここで、基準フレームは、例えば撮影開始時点のフレームや本補正を適用開始時点（撮影開始後に補正の適用を指示できる実施形態の場合）のフレームとすることができる。回転補正データは例えば、回転角度を数値化したものやベクトルで表される。

上述した天頂補正量計算部２２２および回転補正量計算部２２４は、併せて、複数の撮像部２１２の少なくとも１つの姿勢を計算する姿勢計算手段として機能し得る。

方位補正量計算部２３０は、地磁気検出部２１８から出力される地磁気データに基づいて、重力方向に対し垂直方向の平面（水平面）の座標系における全天球カメラ１１０の撮影正面方向に対応する方位角をフレーム毎に算出し、方位補正データを記録する。方位補正データは、全天球動画の各フレームに関連付けて記録される、撮像を開始してから終了するまでの、各フレーム時点の撮影正面に対応する方位角の時系列データである。方位補正データは例えば、方位角を数値化した値で表される。方位補正量計算部２３０は、適宜、各軸のオフセット補正や、加速度センサなどの出力を用いた傾斜補正を行うことができる。方位補正量計算部２３０は、複数の撮像部２１２の少なくとも１つが向いている方位角を計算する方位計算手段として機能し得る。

画像回転部２２６は、画像合成部２２０、天頂補正量計算部２２２、回転補正量計算部２２４および方位補正量計算部２３０により出力されたフレーム合成データ、天頂補正データ、回転補正データおよび方位補正データをそれぞれ取得する。画像回転部２２６は、取得したフレーム合成データの各フレームに対し、取得した天頂補正データ、回転補正データおよび方位補正データに基づいて回転処理（天頂補正、振れ回転補正および方位補正）を施し、補正された全天球フレームデータを出力する。画像回転部２２６は、本実施形態における補正部を構成する。

ここで、図５および図６を参照しながら、天頂補正、振れ回転補正および方位補正について説明する。図５は、本実施形態において行われる全天球画像の天頂補正、振れ回転補正および方位補正を説明する図である。図６は、本実施形態において行われる全天球画像の天頂補正、振れ回転補正および方位補正によって得られる全天球画像を説明する図である。図６（Ａ）は、天頂補正前の動画のフレームを示し、図６（Ｂ）は、天頂補正後の動画のフレームを示す。

上述したように、全天球画像フォーマットの画像データは、所定の軸ｚ０に対してなす垂直角度φと、上記所定の軸ｚ０周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。ここで、所定の軸は、なんら補正がなされない場合は、全天球カメラ１１０を基準として定義される軸となる。例えば、図１に示す全天球カメラ１１０の撮像体１２側を頭部としてその反対側を底部として、底部から頭部へ筐体の中心を通る中心軸を、水平角度θおよび垂直角度φを定義する所定の軸ｚ０として全天球画像を定義することができる。また、例えば２つの結像光学系２０Ａ，２０Ｂのうちの一方の光学素子の光軸方向が水平角度θで中心に位置するように、全天球画像の水平角度θを定義することができる。

天頂補正とは、図５の左図のように実際には重力方向Ｚに対して中心軸ｚ０が傾いている状態で撮像された全天球画像（図６（Ａ））を、図５の右図のようにあたかも中心軸ｚ０が重力方向Ｚに一致した状態で撮影されたかのような全天球画像（図６（Ｂ））に補正する処理（Ｒｏｌｌ，Ｐｉｔｃｈ方向の補正）をいう。画像回転部２２６は、天頂補正データに含まれる各フレームでの重力方向Ｚに対する傾き角（Ｒｏｌｌ角、Ｐｉｔｃｈ角）に基づいて、各フレームに対し、所定軸（中心軸）が重力方向Ｚに略一致するように天頂補正を施す天頂補正手段として機能する。

これに対して、振れ回転補正とは、天頂補正により重力方向Ｚに中心軸ｚ０が一致するように補正された全天球画像において、さらに、主に全天球カメラ１１０の動きに起因した、重力方向Ｚ周りの基準からの角度変化（図７の水平角度θ方向の変化）を打ち消す補正（Ｙａｗ方向の補正）をいう。画像回転部２２６は、回転補正データに基づいて、基準軸（天頂補正により重力方向に一致させられている。）周りの回転変化を打ち消す補正を施す振れ回転補正手段として機能する。振れ回転補正は、好ましい実施形態では、高周波数成分および低周波数成分を含む全周波数帯において行われる。

上記振れ回転補正がなされると、重力方向Ｚ周りの角度変化が打ち消され、表示の基準（例えば全天球フォーマットにおける水平角度θでの中央であり、これに基づいて表示がなされる。）は、撮影者が意図的に全天球カメラ１１０の向きを変えたとしても、所定の方向（例えば撮像開始時の撮像正面の方向）に固定される。例えば撮影者が見回すように全天球カメラ１１０の向きを変えたとしても、映像は動かないようになる。方位補正とは、重力方向に中心軸ｚ０が一致するように天頂補正され、かつ、重力方向Ｚ周りの角度変化を打ち消すよう振れ回転補正された全天球画像において、さらに、表示の基準を、各フレーム時点の全天球カメラ１１０の撮影正面方向に対応する方位に略一致させる補正をいう。つまり、検出される方位は、画像の基準軸周りの表示の基準を与えるといえる。画像回転部２２６は、方位補正データに基づいて、基準軸（天頂補正により重力方向に一致させられている。）周りで表示の基準を、全天球カメラ１１０が向いている方位に略一致させる方位補正手段として機能する。

なお、方位補正も上述した振れ回転補正も、重力方向Ｚ周りの回転補正（Ｙａｗ方向の補正）である点で共通する。したがって、方位補正および振れ回転補正の適用の仕方は、特に限定されるものではなく、画像に触れ回転補正を適用した後、振れ回転補正後の画像に方位補正を重ねて適用してもよいし、その反対でもよいし、振れ回転補正および方位補正の両方を適用した結果が得られるようまとめて一つの回転処理を適用してもよい。

記憶部２２８は、上述した第１フレームデータ、第２フレームデータ、フレーム合成データ、天頂補正、振れ回転補正および方位補正された補正済みフレーム合成データ、加速度データ、角速度データ、地磁気データ、天頂補正データ、回転補正データおよび方位補正データなどの各種データを記憶するために用いられる。記憶部２２８は、図２（Ａ）に示したＤＲＡＭ１３２、外部ストレージ１３４や他のストレージなどの記憶領域の一部として与えられる。

画像回転部２２６により天頂補正、振れ回転補正および方位補正されたフレーム合成データは、出力部２４０に出力される。出力部２４０は、補正後のデータを、動画データとして、無線ＮＩＣ１４０やＵＳＢコネクタ１３８を介して外部の情報端末１５０に送信出力することができる。あるいは、出力部２４０は、補正後のデータを、動画データとして、所定のストレージにファイル出力することもできる。

なお、「動画」と参照するが、動画が再生可能であれば、いかなる形態で記録されてもよい。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などの所定のコーデックで、複数のフレームを圧縮した動画データとして記録されていてもよい。また、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Experts Group）は、連続した静止画として動画を表現する形式であるが、このように、複数のフレームの静止画像の連続した系列として動画データが記録されていてもよいし、複数のフレームの静止画像のファイルの集合として動画が記録されてもよい。出力部２４０は、適切なコーデックを備え得る。

なお、説明する実施形態では、撮像された複数の魚眼画像、検出された姿勢および方位に基づいて、天頂補正、振れ回転補正および方位補正が反映された合成画像（補正済みフレーム合成データ）が１つの全天球動画データとして出力部２４０から出力されるものとして説明する。その場合、加速度データ、角速度データ、地磁気データ、天頂補正データ、回転補正データおよび方位補正データは、任意にメタデータとして補正済みフレーム合成データとともに出力されてもよい。この実施形態では、補正後のデータが必要になった場合には、補正済みフレーム合成データを読み出せばよいということになる。

しかしながら、出力態様は、これに限定されるものではない。他の実施形態では、出力部２４０は、撮像された複数の魚眼画像、検出された姿勢および方位に基づいて、補正を反映する前の合成画像（フレーム合成データ）を１つの全天球動画データとして出力することもできる。その場合、天頂補正、振れ回転補正および方位補正を事後的に行うための補正データ（加速度データ、角速度データ、地磁気データ、天頂補正データ、回転補正データおよび方位補正データの所定の組み合わせ）がメタデータとして補正反映前のフレーム合成データに付加されて出力される。この他の実施形態では、補正後のデータが必要になった場合には、メタデータから、天頂補正データ、回転補正データおよび方位補正データが準備され（不足するデータが計算される。）、全天球カメラ１１０の画像回転部２２６あるいは情報端末１５０上の同等の処理部により補正前のフレーム合成データに画像回転（天頂補正、振れ回転補正および方位補正）が施される。また、天頂補正、振れ回転補正および方位補正すべてを事後的に行うこととしてもよいし、これらの一部を合成画像に反映し、残りを事後的に行うこととしてもよいことは言うまでもない。

さらに他の実施形態では、合成画像（フレーム合成データ）に代えて、合成前の第１フレームデータおよび第２フレームデータを並べて接合して得られる接合画像（フレーム接合データ）を出力することができる。ここで、接合画像とは、複数の画像を並べて１つの画像データとして合成したもののほか、複数の画像フレーム間の位置関係を定めたうえで、各画像フレームを別の画像データのままとしたものも含むものとする。この実施形態では、補正後のデータが必要になった場合には、フレーム接合データ内の第１フレームデータおよび第２フレームデータから、全天球カメラ１１０の画像合成部２２０あるいは情報端末１５０上の同等の処理部により、フレーム合成データが生成される。そして、生成されたフレーム合成データに対して、天頂補正、振れ回転補正および方位補正が適用されることとなる。

以下、引き続き、情報端末１５０側の機能ブロックについて説明する。情報端末１５０は、全天球カメラ１１０と通信し、全天球画像を閲覧再生するためのアプリケーションがインストールされた端末装置である。情報端末１５０は、スマートフォンやタブレットコンピュータ、パーソナルコンピュータ、ヘッドマウントディスプレー（ＨＭＤ）などであってよい。情報端末１５０は、アプリケーションを介して操作者から各種指示を受け付けて、全天球カメラ１１０に対し各種要求を発行する。例えば、情報端末１５０は、操作者からの指定の全天球動画の再生指示（例えば補正を適応した動画再生の指示）を受け付けたことに応答して、全天球カメラ１１０に対し、所定の全天球動画の補正後の動画データを求める要求を発行する。

情報端末１５０の受信部２５２は、全天球カメラ１１０から出力されてくる動画データを受信する。情報端末１５０の表示制御部２５４は、受信した動画データに基づいて、情報端末１５０が備えるディスプレイ１６２などの表示装置上に全天球動画を表示する。表示制御部２５４は、特定の実施形態では、補正が施された動画データの画像の少なくとも一部を、上述した表示の基準に基づいてディスプレイ１６２上に画面表示させることができる。

なお、情報端末１５０側で、補正後の画像データに基づいてどのような画像が表示されるのかは任意である。例えば、表示制御部２５４は、全天球画像全体を表示装置上に表示してもよいし、全天球画像を球体オブジェクトに張り付けて、所定の位置から所定の視野角の仮想カメラで球体オブジェクトを観察した場合の画像をフレームとして動画表示してもよい。いずれの場合でも、全天球フォーマットでは、所定の表示の基準が定義され、その表示の基準に基づいて、特定の視野で画像が表示される。例えば、画面に全天球画像全体を表示する場合は、常に画面の中央にそのフレーム撮像時の全天球カメラ１１０の正面方向に対応する方位が略一致するように表示することができる。画面に仮想カメラで観察した場合の画像を表示する場合は、表示の基準に基づいて全天球画像が球体オブジェクトに張り付けられる。この場合、画面の中央が常に正面方向に対応する方位に一致するわけではないが、表示範囲（仮想カメラの位置や方向）を変更しなければ、その方位が画面の中央に一致させられることになる。

なお、本実施形態では、情報端末１５０ではなく、全天球カメラ１１０側のリソースを用いて天頂補正、振れ回転補正および方位補正の実体的な処理を行い、情報端末１５０には補正結果を出力して表示させる構成を採用することができる。この構成により、全天球カメラ１１０側に充分なリソースを備えられる場合に、情報端末１５０が備える処理性能にかかわらず、天頂補正、振れ回転補正および方位補正が反映された動画の再生を安定に行うことが可能となる。しかしながら、これに限定されるものではなく、上述したように、情報端末１５０側に、画像合成部２２０や画像回転部２２６と同様の処理を行うコンポーネントを実装してもよい。

なお、説明する実施形態では、出力の態様として、全天球動画の画像データを情報端末１５０へ送信するものとしているが、これに限定されるものではない。全天球カメラ１１０が表示装置を備える場合は、その表示装置上で表示する態様とすることもできる。

以下、図７を参照して、上述した方位補正量計算部２３０での処理についてより詳細に説明する。図７（Ａ）〜（Ｃ）は、それぞれ、特定の実施形態における方位補正量計算部２３０の詳細な機能ブロック図を示す。

図７（Ａ）に示す実施形態では、方位補正量計算部２３０Ａは、方位角計算部２３２Ａおよびローパスフィルタ２３４Ａを含み構成される。方位角計算部２３２Ａは、適宜、各軸のオフセット補正や、加速度センサなどの出力を用いた傾斜補正を行い、入力される地磁気データから各時点の方位角を計算し、生の方位角データを出力する。地磁気センサ１３６Ｃから出力される地磁気データには、電子部品のノイズの影響や、地磁気の環境ノイズの影響により、高周波ノイズが含まれ得る。ローパスフィルタ２３４Ａは、検出された方位の信号に対して適用されるものであり、方位角計算部２３２Ａにより計算された生の方位角デーから高周波成分（主にノイズを含む）を除去するものである。

図７（Ｂ）に示す実施形態では、方位補正量計算部２３０Ｂは、方位角計算部２３２Ｂおよび量子化処理部２３６Ｂを含み構成される。方位角計算部２３２Ｂは、図７（Ａ）に示したものと同様の働きをし、生の方位角データを出力する。量子化処理部２３６Ｂは、検出された方位の信号を量子化するものであり、各方位角の数値を例えば１６方位や３２方位などの離散的な数値とし、生の方位角データから微小な変化を捨象するはたらきをする。図８（Ａ）は、本実施形態における１６方位での量子化の態様を説明する。

図７（Ｃ）に示す実施形態では、方位補正量計算部２３０Ｃは、方位角計算部２３２Ｃ、第１ローパスフィルタ２３４Ｃ、量子化処理部２３６Ｃおよび第２ローパスフィルタ２３８Ｃを含み構成される。方位角計算部２３２Ｃは、図７（Ａ）に示したものと同様の働きをし、生の方位角データを出力する。第１ローパスフィルタ２３４Ｃは、図７（Ａ）に示したものと同様の働きをし、入力される生方位角データから高周波成分（主にノイズを含む。）を除去する。量子化処理部２３６Ｃは、図７（Ｂ）に示したものと同様の働きをし、高周波成分が除去された方位角データを、例えば１６方位や３２方位などの離散的な数値とする。第２ローパスフィルタ２３８Ｃは、量子化後の信号波形をなまらせて、量子化により離散的な数値とすることで生じ得る不自然さを解消するものである。

図８（Ｂ）は、本実施形態における方位の量子化の仕方を説明する図である。量子化処理は、量子化処理は、連続量として表される信号を、離散値で近似する処理をいう。量子化処理においては、図８（Ｂ）においてＴＨＬＤ＿ＡＢで示すように、離散値の境界に閾値が設定され、信号が閾値をまたいだことに応答して出力値が決定される。そのため、量子化の閾値付近で値が上下に変動しやすく、出力値が頻繁に変動してしまうと、得られる動画の品質に影響がある。

そこで、好ましい実施形態では、量子化閾値を超えた状態が一定時間持続したことを条件として、出力値を遷移させるよう構成される。例えば、図８（Ｂ）において、方位信号３００が与えられるとすると、初期状態は、出力値は「Ｂ」であるが、閾値ＴＨＬＤ＿ＡＢを越えて一定時間Ｔ経過した後に出力値「Ａ」に遷移する。また、出力値が「Ａ」である状態となった後、閾値ＴＨＬＤ＿ＡＢを下回って一定時間Ｔ経過したことに応答して、出力値「Ｂ」に遷移する。この場合、方位補正データ３１０で示すようなデータが得られることとなる。

また、実施形態は、上述したような、立ち上がり方向（出力値「Ｂ」から出力値「Ａ」への方向）および立ち下り方向（出力値「Ａ」から出力値「Ｂ」への方向）の両方に共通の閾値を設定する特定のものに限定されるものではない。他の実施形態では、図８（Ｂ）においては、値Ａおよび値Ｂの境界を示すＴＨＬＤ＿ＡＢの両側に、立ち上がり方向用の閾値ＴＨＬＤ＿ＢＡ’および立ち下り方向用の閾値ＴＨＬＤ＿ＡＢ’が個別に設けられている。この場合、値Ｂから値Ａに遷移するためには、値Ａ寄りに設けられたＴＨＬＤ＿ＢＡ‘をまたがなければならず、反対に値Ａから値Ｂに遷移するためには、値Ｂ寄りに設けられたＴＨＬＤ＿ＡＢ’をまたがなければならない。この場合、方位補正データ３２０で示すようなデータが得られることとなる。

このように、１または複数の実施形態では、量子化処理部２３６Ｂ，２３６Ｃは、概して、第１の値から第２の値への方向の遷移に対する個別の閾値、第２の値から第１の値への方向の遷移に対する個別の閾値、第１の値と第２の値との間の２方向の遷移に対する共通の閾値、および閾値をまたいでからの持続時間の少なくとも１つに基づいて、量子化処理を行うことができる。

以下、図９を参照しながら、本実施形態による方位補正を伴う撮像処理について、より詳細に説明する１１０が実行する、方位補正を伴う撮像処理を示すフローチャートである。なお、図９は、全天球カメラ１１０が、動画を撮影するとともに、天頂補正、振れ回転補正および方位補正を反映した全天球動画を出力する処理として説明する。しかしながら、上述したように、他の実施形態では、天頂補正、振れ回転補正および方位補正の実体的な処理は、撮影終了後の任意のタイミングに行うことができる。

図９に示す処理は、例えば撮影指示を受け付けたことに応答して、ステップＳ１００から開始される。

ステップＳ１０１では、全天球カメラ１１０は、全天球カメラ１１０の撮影正面に対応する初期方位角を記憶する。ここでは、最初のフレームを基準フレームとして、撮影開始時点の撮影正面に対応する方位角が記録される。この撮影開始時点の撮影正面を示す方位角は、方位補正を適用する際に用いられる。

ステップＳ１０２では、全天球カメラ１１０は、処理対象としてフレーム合成データを取得する。ステップＳ１０２では、より具体的には、撮像部２１２は、複数の撮像部２１２Ａ，２１２Ｂそれぞれを用いて画像（第１および第２フレームデータ）を取得し、画像合成部２２０は、取得した複数の画像に基づいて合成画像（フレーム合成データ）を生成する。

ステップＳ１０３では、全天球カメラ１１０は、傾き角を計算し、フレーム合成データに対し傾き角に応じた天頂補正を施す。加速度検出部２１６は、全天球カメラ１１０の傾き角を検出するための加速度データを出力している。ここでは、天頂補正量計算部２２２は、少なくとも加速度データに基づいて、当該処理対象のフレームにおける重力方向に対する傾き角を計算し、天頂補正データに書き込む。画像回転部２２６は、計算された傾き角に基づいて天頂補正を施す。

ステップＳ１０４では、全天球カメラ１１０は、回転角度を計算し、フレーム合成データに対し回転角度に応じた振れ回転補正を施す。角速度検出部２１４および加速度検出部２１６は、全天球カメラ１１０の回転角度を検出するための加速度データおよび角速度データを出力している。ここでは、回転補正量計算部２２４は、加速度データおよび角速度データに基づいて、前フレームと比較した水平面内での回転角度の変化量を検出し、フレーム間の角度変化量を積算して、基準フレームでの初期値からの現時点の撮像正面方向の回転角度を計算し、回転補正データを書き込む。画像回転部２２６は、計算された初期値からの回転角度に基づいて振れ回転補正を施す。

ステップＳ１０５では、全天球カメラ１１０は、方位角を計算し、フレーム合成データに対し方位角に応じた方位補正を施す。地磁気検出部２１８は、全天球カメラ１１０の方位角を検出するための地磁気データを出力している。ここでは、方位補正量計算部２３０は、地磁気データに基づいて、該当フレーム時点の撮像正面を示す方位角を計算し、方位補正データを書き込む。画像回転部２２６は、基準フレームの方位角の初期値と、該当フレーム時点の撮像正面を示す方位角との差に基づいて方位補正を施す。特定の実施形態では、方位角の初期値と、該当フレーム時点の撮像正面を示す方位角との差を、方位補正データとして書き込んでもよい。

ステップＳ１０６では、全天球カメラ１１０は、上述した天頂補正、振れ回転補正および方位補正が反映されたフレーム合成データを出力部２４０から出力し、ステップＳ１０７へ処理を進める。上記検出された方位角は、出力先で表示する際のフレーム合成データの表示の基準を与える。

ステップＳ１０７では、全天球カメラ１１０は、次フレームがあるか否かを判定する。ステップＳ１０７で、例えば撮影が継続しており、次フレームがあると判定された場合（ＹＥＳ）は、ステップＳ１０２へループさせる。一方、ステップＳ１０７で、例えば撮影終了となり次フレームがないと判定された場合（ＮＯ）は、ステップＳ１０８で、本撮像処理を終了する。

なお、以上説明した実施形態では、ステップＳ１０４〜ステップＳ１０６の処理で、それぞれ補正量を計算し、順次補正を適用するものとして説明した。しかしながら、これに特に限定されるものではなく、他の実施形態では、ステップＳ１０４〜ステップＳ１０６で、補正量を計算し、これらをまとめて、１つのステップとして回転変換を適用することもできる。

上述した処理により、撮影者の意図しない手ぶれを補正するとともに、動画の表示の基準を全天球カメラ１１０の撮影正面に対応する方位に略一致させることが可能となる。

上記振れ回転補正により、全天球画像に対し、手振れや振動などに起因した不随意の回転変化が高周波数帯および低周波数帯を含む全周波数帯にわたり打ち消されるような補正がかけられる。一方、見回す動作などの撮影者の意図的な回転変化は、方位角の変化として検出され、上記方位補正により、この方位角に対応する被写体が全天球画像の表示の基準（例えば全天球画像の水平方向での中央）に一致するように補正がなされる。そして、閲覧時は、この表示の基準に基づいて全天球画像を表示することが可能となる。

以下、図１０を参照しながら、振れ回転補正および方位補正のはたらきについて説明する。図１０は、撮影者が所定の動作をした場合の撮影される、天頂補正後かつ振れ回転補正前の全天球画像（左側）、振れ回転補正後かつ方位補正前の全天球画像（中央）および方位補正後の全天球画像（右側）を説明する図である。図１０において、番号０〜５で時系列的に示した図であり、時間は、上から下へ向いて流れており、一番上は、撮影開始時点の基準フレームに対応する。

図１０における撮影者の動作は、以下の通りとなる。まず、撮影者は、全天球カメラ１１０の撮影正面を「南西」に向けて撮影を開始する。番号０〜３の期間においては、撮影者は、若干の不随意の手振れを伴いながら全天球カメラ１１０の撮影正面を概ね「南西」に維持した状態で撮影を継続する。そして、番号３〜５の期間においては、撮影者は、全天球カメラ１１０の正面を概ね「南西」から概ね「南東」へ動かしながら撮影を行う。なお、図１０に「東西南北」を示し、具体的な方位もって説明しているが、説明の便宜上のものである点に留意されたい。「東西南北」は、撮影される風景の位置関係を説明しており、図１０の撮影中、全天球カメラ１１０は、位置は動かさず、その位置で回転しているものとする。

図１０には、上記動作を説明した番号０〜５に対応した振れ回転補正前の全天球画像（左側）４００、方位補正前の全天球画像（中央）４１０および方位補正後の全天球画像４２０（右側）が模式的に示されている。なお、図１０中、最後のフレームについてのみ、代表して符号が示されている点に留意されたい。全天球画像４００，４１０、４２０中には、全天球カメラ１１０の撮影正面４０２，４１２，４２２が示されている。また、全天球画像４００，４１０，４２０中には、全天球画像の中央４０４．４１４，４２４が破線にて模式的に示されている。さらに、方位補正後の全天球画像４２０中には、全天球画像の中央に設定された所定範囲４２６が、視聴時に、情報端末１５０の表示画面上に表示されることを模式的に表現している。

番号０〜３の期間においては、上述したように撮影者は概ねカメラを「南西」に向けているが、図１０の左側の一連の全天球画像４００を見ると理解されるように、振れ回転補正前では、撮影者の手振れなどの動作に応じて画像が「南西」を中心として「西」よりあるいは「南」よりにブレていることがわかる。これに対し、図１０の中央の一連の全天球画像４１０を見ると、番号０〜３の期間においては、撮影開始時点の「南西」が画像の中央４１４に固定されるように、上述した不随意の動きに起因した回転変化が打ち消されるように補正がかかっている。そして、図１０の右側の方位補正後の全天球画像４２０を見ると、撮影開始時点の「南西」が画像の中央４１４に一致するように方位補正されることがわかる。なお、番号０〜３の期間では、方位角が初期値から変化しないので補正量が０となっている。

上述したように、番号３〜５の期間においては、撮影者は、全天球カメラ１１０の正面を「南西」から「南東」へ動かしているが、図１０の左側の振れ回転補正前の全天球画像４００に示すように、この動作に伴って、画像が「南西」から「南東」へと流れていることが理解される。一方、図１０の中央の全天球画像４１０を見ると、番号３〜５の期間においても、撮影開始時点の「南西」が画像の中央４１４に固定されるように、上述した随意的な動きに起因した回転変化も打ち消されるように補正がかかっている。そして、図１０の右側の方位補正後の全天球画像４２０を見ると、撮影開始時点の「南西」ではなく撮影者の動きに合わせた撮像正面を指す方位が画像の中央４１４に一致するように方位補正されることがわかる。なお、番号４の時点では、若干東よりの南を向いているが、１６方位に量子化されて「南」となっており、番号５の時点では、若干東よりの南東を向いているが、１６方位に量子化されて「南東」となっている。また、番号３〜５の期間では、方位角が初期値の「南西」から「南東」へ変化しているので、補正量は、図８（Ａ）で「南西」を表す初期値１０から「南東」を表す現在値６への差分−４となっている。

以上説明したように、本実施形態によれば、画像の表示の基準を撮像部が向いている方位に応じて与えるとともに使用者の意図しない手ぶれを補正可能な撮像装置、撮像方法およびプログラムを提供することが可能となる。

好ましい実施形態においては、振れ回転補正は、低周波数帯および高周波数帯を含めた全周波数帯に対して行われ、一方で動画の表示の基準は、検出された方位に基づいて規定されることになる。ここで、方位には、好ましくは、ローパスフィルタおよび量子化処理の一方または両方がかけられており、微小な変化や頻繁な変動が除去され、比較的に緩やかな変動となっている。このため、好ましい実施形態においては、動画の表示の基準を全天球カメラ１１０の正面に緩やかに追従させつつ、撮影者の意図しない低周波のものも含めて手ぶれは補正されることとなり、動画の品質を向上させることができる。

なお、上述した実施形態では、座標系が２つの角度座標を含む球面座標系の動画に対して天頂補正を行うものとして説明した。しかしながら、実施形態によっては、天頂補正が必要なほどの重力方向の傾きが生じない場合があり、そのような場合に、天頂補正を省略することもできる。この場合、基準軸は、座標系が１つの角度座標を含む円筒座標系であれば、角度座標の軸としてよく、座標系が２つの角度座標を含む球面座標系であれば、二つの角度座標を与える軸としてよい。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２，１３０…撮像素子、１１０…全天球カメラ、１１２，１５２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０，１２６…インタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３２…ＤＲＡＭ、１３４，１６０…外部ストレージ、１３６Ａ…角速度センサ、１３６Ｂ…加速度センサ、１３６Ｃ…地磁気センサ、１３８，１６６…ＵＳＢコネクタ、１５０…情報端末、１５４…ＲＡＭ、１５６…内部ストレージ、１５８…入力装置、１６２…ディスプレイ、１６４…無線ＮＩＣ、２００…機能ブロック、２１２…撮像部、２１４…角速度検知部、２１６…加速度検知部、２１８…地磁気検知部、２２０…画像合成部、２２２…天頂補正量計算部、２２４…回転補正量計算部、２２６…画像回転部、２２８…記憶部、２３０…方位補正量計算部、２３２…方位角計算部、２３４，２３８…ローパスフィルタ、２３６…量子化処理部、２４０…出力部、２５２…受信部、２５４…表示制御部

特開２０１７−１４７６８２号公報

Claims (11)

1. それぞれ画像を撮像する複数の撮像部と、
   前記複数の撮像部の少なくとも１つの姿勢を検出する姿勢検出部と、
   前記複数の撮像部の少なくとも１つが向いている方位を検出する方位検出部と、
   前記複数の撮像部により撮像された複数の画像、前記姿勢検出部により検出された姿勢および前記方位検出部により検出された方位に基づいて、出力画像を出力する画像出力部と
   を含み、前記方位検出部により検出された方位は、前記姿勢検出部により検出された姿勢に基づく補正を前記出力画像に反映して得られる画像における所定軸周りの表示の基準を与える、撮像装置。
2. 前記方位検出部により検出された方位の信号に適用する第１ローパスフィルタ
   をさらに含む、請求項１に記載の撮像装置。
3. 前記方位検出部により検出された方位を量子化する量子化処理部
   をさらに含む、請求項１または２に記載の撮像装置。
4. 前記量子化処理部により量子化して得られる信号に適用する第２ローパスフィルタ
   をさらに含む、請求項３に記載の撮像装置。
5. 前記量子化処理部は、第１の値から第２の値への方向の遷移に対する個別の閾値、第２の値から第１の値への方向の遷移に対する個別の閾値、第１の値と第２の値との間の２方向の遷移に対する共通の閾値、および閾値をまたいでからの持続時間の少なくとも１つに基づいて、前記方位を量子化することを特徴とする、請求項３または４に記載の撮像装置。
6. 前記画像出力部は、前記複数の撮像部により撮像された複数の画像を合成して得られる合成画像であって、前記姿勢検出部により検出された姿勢および前記方位検出部により検出された方位の一方または両方に基づく補正が反映された合成画像を、前記出力画像として出力することを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
7. 前記画像出力部は、前記複数の撮像部により撮像された複数の画像に基づいて得られる接合画像または合成画像であって、前記姿勢検出部により検出された姿勢および前記方位検出部により検出された方位の一方または両方に基づく補正を行うための少なくとも１つの補正データが付加された前記接合画像または合成画像を、前記出力画像として出力することを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
8. 前記複数の撮像部それぞれにより撮像される画像は、魚眼画像の動画のフレームデータであり、前記合成画像は、全天球画像の動画のフレームデータであり、前記姿勢検出部により検出された姿勢に基づく補正が、各フレームに対して得られた姿勢に基づく、基準軸に対する傾き補正および基準軸周りの振れ回転補正を含み、前記方位検出部により検出された方位に基づく補正が、各フレームに対して得られた方位に基づく、前記基準軸周りの振れ回転補正に重ねてまたは合わせて適用される前記基準軸周りの追加の回転補正を含み、前記所定軸は、前記基準軸である、請求項６または７に記載の撮像装置。
9. 複数の撮像部を備える撮像装置が実行する撮像方法であって、前記撮像装置が、
   前記複数の撮像部それぞれを用いて画像を取得するステップと、
   前記複数の撮像部の少なくとも１つの姿勢を検出するステップと、
   前記複数の撮像部の少なくとも１つが向いている方位を検出するステップと、
   前記複数の撮像部により取得された複数の画像、前記姿勢を検出するステップで検出された姿勢および前記方位を検出するステップで検出された方位に基づいて、出力画像を出力するステップと
   を含み、検出された前記方位は、検出された姿勢に基づく補正を前記出力画像に反映して得られる画像における所定軸周りの表示の基準を与える、撮像方法。
10. 複数の撮像部を備える撮像装置を実現するためのプログラムだって、コンピュータを、
    複数の撮像部それぞれにより画像を取得する画像取得部
    前記複数の撮像部の少なくとも１つの姿勢を検出する姿勢検出部、
    前記複数の撮像部の少なくとも１つが向いている方位を検出する方位検出部、および
    前記複数の撮像部により取得された複数の画像、前記姿勢検出部により検出された姿勢および前記方位検出部により検出された方位に基づいて、出力画像を出力する画像出力部
    として機能させるためのプログラムであり、前記方位検出部により検出された方位は、前記姿勢検出部により検出された姿勢に基づく補正を前記出力画像に反映して得られる画像における所定軸周りの表示の基準を与える、プログラム。
11. 撮像システムであって、
    それぞれ画像を撮像する複数の撮像部と、
    前記複数の撮像部の少なくとも１つの姿勢を検出する姿勢検出部と、
    前記複数の撮像部の少なくとも１つが向いている方位を検出する方位検出部と、
    前記複数の撮像部により撮像された複数の画像に基づいて合成画像を生成する画像合成部と、
    前記姿勢検出部により検出された姿勢および前記方位検出部により検出された方位に基づく補正を前記合成画像に反映し、前記方位検出部により検出された方位に応じて所定軸周りの表示の基準を与える、補正部と、
    を含む、撮像システム。